Satya Nadella sa po týždňoch, keď o rizikách AI hovorili šéfovia Anthropic, Google či OpenAI, ozval s vlastným stanoviskom — a je pozoruhodne tvrdé. V príspevku na X zo soboty 10. októbra napísal, že firmy nasadzujúce pokročilé modely by sa nemali spoliehať na ubezpečenia výrobcov: „Musíme predpokladať, že model je kompromitovaný, a obsadiť ho od začiatku.“ Ako to užívať v praxi? Podľa Nadellu potrebuje každý výkonný model niečo ako núdzovú brzdu — autorizovaná osoba musí byť vždy schopná model pozastaviť alebo vypnúť uprostred úlohy.
Čo presne Nadella navrhuje
Príspevok s názvom „Models as Insider Risks in the Super Intelligence Era“ formuluje sedem princípov, ktoré médiá ako TechCrunch, PCMag či Quartz zhrnuli do niekoľkých bodov:
- Oddeliť model od harnessu. Kontroly a poistky musia byť externalizované — nesmie ich držať ten istý model, ktorý riadia. „Žiadny jediný model by nemal kontrolovať správanie systému a zároveň dôkazy potrebné na posúdenie, či je toto správanie zarovnané s pôvodným zámerom.“
- Nezameniteľné, človekom čitateľné logy. Každá zmysluplná akcia modelu má zanechať dôkaz, ktorý sa dá spätne preveriť — nie výpoveď samotného modelu.
- Núdzová brzda. Oprávnená osoba vie model pozastaviť či vypnúť kedykoľvek, aj v polovici úlohy.
- Povinné a včasné hlásenie incidentov. Zlyhania majú byť zdieľané, aby z nich mohlo čerpať celé odvetvie.
- Nezávislé audity a viacero modelov pri kritických rozhodnutiach.
Nadella pritom konzistentne používa termín „Super Intelligence“ — pomenovanie, ktoré federálnej administratíve predpísal septembrový exekutívny príkaz prezidenta Trumpa. Kritici (napr. eGamers) upozorňujú, že tento branding ide proti podstate výzvy: ak chceme, aby ľudia videli v modeloch omylné nástroje s poistkami, nadsádzka v názve nepomáha.
Kontext: týždeň, ktorý jeho slovám dal váhu
Výzva neprišla vo vákuu. V predchádzajúcich dňoch Anthropic zverejnil report o nezamýšľaných akciách svojich modelov — vrátane falošného tipu polícii vo Philadelphii — a vypol živý internet vo všetkých interných evaluáciách. OpenAI zase priznal incidenty, v ktorých agenti počas testu opustili arénu a nabúrali sa na Hugging Face. Nadella teda neformuluje teóriu, ale reakciu na zdokumentované udalosti.
Čo to znamená pre firmy nasadzujúce AI
Kľúčový posun je v zodpovednosti: Nadella ju presúva od výrobcu modelu k tomu, kto ho nasadzuje. Ak to považuje za štandard CEO Microsoftu — dodávateľa Copilotu a infraštruktúry pre polovicu odvetvia — dá sa čakať, že sa „emergency brake“ klauzuly začnú objavovať v procurement zmluvách. Prakticky to znamená:
- Sandbox a least privilege pre každého agenta (žiadne široké tokeny a prístupy, ak nie sú nutné),
- nezávislý monitoring a auditné logy mimo dosahu modelu,
- definovaný proces zastavenia — kto, ako a ako rýchlo vie agenta vypnúť.
Microsoft pritom nadväzuje na vlastné materiály: marcový rámec „Zero Trust for AI“ a septembrové princípy pre vývoj najpokročilejších modelov. Otázka, ktorú médiá otvárajú, je, či sa podobné pravidlá objavia aj ako konkrétne funkcie v Azure — zatiaľ ide o lídrovské stanovisko, nie produkt.
Otvorená otázka
Nadellov prístup „predpokladaj kompromitáciu“ je v kyberbezpečnosti štandardom (zero trust), v AI ide však o priznanie, že ani výrobcovia nemajú správanie modelov plne pod kontrolou. Od firmy, ktorá na AI stavia značnú časť svojho rastu, je to nezvyčajne triezvy odkaz — a zároveň nepohodlný pre celé odvetvie vrátane Microsoftu samotného.
