NVIDIA Nemotron uspěl v testech bezpečnostního dolaďování otevřených modelů

Alice představila výsledky dvou spoluprací, které ukazují, jak lze otevřené modely Nemotron od NVIDIA (NVDA) přizpůsobit konkrétním bezpečnostním pravidlům. Společnost Alice dodala adversariální data a tréninkové prostředí; Inflection AI a AI21 na nich modely dále dolaďovaly. Oznámení se týká možnosti začlenit bezpečnostní chování přímo do modelu, nikoli spoléhat pouze na systémové instrukce.

První projekt se zaměřil na konverzačního asistenta Pi a rizika, která se mohou projevit až při delším kontaktu s uživatelem. Inflection AI upravila model Nemotron 3 Super 120B-A12B pomocí dat vytvořených pro odhalování přehnaného souhlasu s uživatelem a zabránění tomu, aby model podporoval nezdravou citovou vazbu. Alice připravila více než 20 realistických uživatelských profilů a simulovala vícekolové konverzace, včetně situací s manipulativním chováním. Podle zveřejněných výsledků vzrostlo skóre sladění modelu o 30 %, zatímco podíl zbytečných odmítnutí činil 1,6 %.

Druhá spolupráce řešila nepřímou injekci pokynů, při níž se útočník pokouší ovlivnit podnikového agenta prostřednictvím obsahu, který agent zpracovává při běžné práci. Výzva nespočívá jen v odmítnutí škodlivého pokynu: agent má útok rozpoznat a současně pokračovat v legitimním úkolu. AI21 použila prostředí pro posilované učení připravené Alicí k dolaďování modelu Nemotron 3.5 Super-VL. Alice uvádí, že jeho odolnost vůči tomuto typu útoku se zvýšila o 41 bodů a konkurovala výsledku modelu GPT-6.1 Sol.

Výsledky tak představují praktickou ukázku toho, jak lze otevřené váhy Nemotronu přizpůsobovat různým rizikům bez toho, aby bezpečnostní zásahy automaticky znamenaly méně schopný model. V prvním případě se trénink zaměřil na kvalitu dlouhodobé interakce s člověkem, ve druhém na ochranu podnikových agentů a zachování jejich schopnosti plnit úkoly. Jde o rozdílné oblasti, které však využívají společný postup: realistická data o hrozbách, cílené dolaďování a testování v připravených prostředích.

Pro NVIDIA je oznámení ukázkou využití ekosystému Nemotron: organizace mohou pracovat s otevřenými modely a upravovat jejich chování pro vlastní nasazení. Výsledky pocházejí ze dvou konkrétních projektů a samy o sobě nedokládají stejnou úroveň ochrany ve všech provozních podmínkách. Podstatným sdělením je, že bezpečnost lze začlenit do tréninku modelu a ověřovat ji na útocích připomínajících reálné scénáře, místo aby se posuzovala pouze podle obecných testů.