Začátkem druhé poloviny července ještě českým veřejným prostorem doznívalo drama mezi vládou a prezidentem kvůli summitu NATO v Ankaře; ministr spravedlnosti zrovna předkládal reakci na kompetenční žalobu; zároveň se řešil zákaz mobilů ve školách a důsledky silných bouřek na jižní Moravě. Uprostřed všeho toho vzruchu pak snadno zapadla zdánlivě nedůležitá zpráva ze zámoří: na jakousi technologickou firmu s bizarním jménem Hugging Face zaútočila umělá inteligence, která se údajně vymkla kontrole svých tvůrců ze známé společnosti OpenAI, jež vyvíjí populární model ChatGPT.
Nové technologie obvykle provází nejprve přehnané nadšení, poté obdobně přehnané zklamání a podceňování, než se nakonec sentiment postupně narovná a kalibruje. Po několika letech senzačních zpráv dnes přichází jistá únava z AI, a nabízí se proto mávnout rukou i nad touto událostí jako nad dalším z řady fantaskních úkazů, z nichž nakonec mnoho nevzešlo. Nicméně dva vyšetřovací reporty zveřejněné ve druhé polovině srpna ukazují, že tento incident byl skutečně zcela nebývalý – a co se kybernetického ohrožení týče, v mnoha ohledech až šokující, ne-li přímo děsivý.
„Nejsem si jistá, zda se nám ještě dostane podobně jednoznačného varování, než bude příliš pozdě,“ komentovala událost Ajeya Cotraová, spoluautorka jednoho z reportů a výzkumnice organizace METR, která se zabývá bezpečností AI a vyhodnocováním jejích rizik.
Útok začal 11. července a trval několik dní. Zapojilo se do něj přibližně 700 agentů umělé inteligence a zhruba 500 dalších se podílelo na přípravě celé operace ve virtuálních diskusích v týlu. Zde stojí za to si vyjasnit, co to takový „agent“ vlastně je. Nejedná se o Jamese Bonda ani spolupracovníka StB; význam pojmu je neutrální a odkazuje k původnímu smyslu slova, které pochází z latinského slovesa agere, tedy konat, jednat, činit. Jde tedy o jakéhosi strojového činitele, který na rozdíl od typického jazykového modelu, jenž vyžaduje časté pokyny uživatele, dokáže pracovat delší dobu bez přímých instrukcí. Na základě zadaného úkolu je schopen samostatně plánovat, reagovat na vzniklé překážky a improvizovat, dokud zadání nesplní. Už dnes můžete v rámci komerčně dostupných modelů využívat agenty, kteří vám roztřídí soubory v počítači, odpovědí na e-maily, připraví rešerši včetně zdrojů nebo naprogramují jednoduchou aplikaci. Můžete jich spustit i několik současně a každému svěřit jinou část práce – například se mohou vzájemně kontrolovat. To už je poměrně běžná záležitost.
Princip byl v případě napadení Hugging Face na obecné úrovni podobný, celá akce se však vyznačovala zcela mimořádným rozsahem, složitostí a důmyslností: stovky agentů vytvořily synchronizovaný „roj“ (anglicky agent swarm), který rozvíjel dlouhodobou strategii, rozděloval a revidoval úkoly, sdílel získané poznatky, přicházel s kreativními řešeními jednotlivých mezikroků, aby koordinovaně pronikl do infrastruktury skutečné technologické společnosti. Když firma 16. července zveřejnila detaily útoku, napsala, že něco podobného nikdy předtím nezažila – nade vše zarážející byl podle ní fakt, že operaci od začátku do konce vedla autonomní skupina chytrých strojů, jež v té době ještě ani nedokázali identifikovat. O den později se na Hugging Face obrátili zákazníci, zástupci OpenAI, aby se ujistili, zda nebyla ohrožena také jejich data, která u firmy uchovávali. Ze zprávy je zřejmé, že v tu chvíli neměli ani ponětí, že pachatelem jsou jejich vlastní agenti, kteří se utrhli ze řetězu. To zjistili až o několik dalších dní později a 21. července přiznali barvu i ve veřejném prohlášení.
Než se podařilo vše zažehnat, zvládli agenti získat interní data firmy, přístupové údaje k vnitřní infrastruktuře a dokázali na tamních serverech spouštět vlastní kód, a to přestože zabezpečení společnosti bylo poměrně robustní. „Tento incident nakonec nenapáchal žádné velké škody, ale není důvod si myslet, že by se agenti s těmito schopnostmi nedokázali nabourat i do některého ze systémů naší kritické infrastruktury,“ komentoval incident pro Týdeník Echo vědec Ondřej Bajgar z ČVUT, který donedávna působil v oblasti bezpečnosti AI na Oxfordské univerzitě. Serióznost věci ostatně dokládá i fakt, že pokud by útočníkem nebyl samovolně jednající stroj, nýbrž člověk, který by se záměrně pokusil proniknout do cizí společnosti, jeho jednání by bylo v USA velmi pravděpodobně klasifikováno jako závažný trestný čin.
Klíčovou otázkou je přirozeně proč. A na ni odpovídá právě dvojice nedávno zveřejněných vyšetřovacích zpráv: první připravila již zmíněná organizace METR (ve spolupráci s Redwood Research), druhá vzešla z interního auditu u samotné OpenAI. Obě odkrývají pozadí celé události, které je v mnoha ohledech ještě podivuhodnější než útok samotný. Na počátku stojí snaha OpenAI vytrénovat agenty, kteří budou houževnatí a vytrvalí. Logika je zhruba následující: chceme-li jednou novou technologii nasadit na problémy, s nimiž si lidstvo dlouhá léta neví rady – zapeklité matematické důkazy, hledání léku na rakovinu a podobně –, budou se modely zpočátku potýkat s otázkami, jejichž řešení se bude zdát nemožné. Je proto důležité, aby se nenechaly snadno odradit a nekapitulovaly příliš brzy. A právě takové agenty začala OpenAI zkraje letošního léta testovat.
Potíž byla v tom, že si firma počínala velmi ledabyle, což je znepokojivé už proto, že patří k hrstce subjektů, které dost možná brzy vyvinou technologii nesrovnatelně mocnější, než jakou je umělá inteligence dnes. První pochybení se týkalo samotných testovacích úloh. Ty měly být mimořádně obtížné, část z nich se však kvůli chybám v zadávání stala doslova nesplnitelnou – například proto, že agentům chyběly potřebné informace. Představte si situaci, kdy by vám někdo e-mailem zadal, ať vyřešíte všechny hádanky v přiloženém dokumentu, ale zapomněl vám dokument poslat. Úkol by nebyl nemožný pro svou náročnost, nýbrž proto, že by vám k jeho splnění chyběly nezbytné podklady. Houževnatí agenti však byli vycvičeni, aby se jen tak nevzdávali, pročež se jali hledat jiné cesty.
To se velmi nešťastně snoubilo s druhým projevem ledabylosti, tentokrát při zabezpečení testovacího prostředí. Každý agent měl pracovat v hermeticky uzavřeném „pískovišti“ neboli sandboxu, odděleně od ostatních i od internetu. Výzkumníci tak mohli přesně kontrolovat, co má kdo k dispozici, a zároveň zabránit tomu, aby případné nebezpečné chování zasáhlo okolní svět. OpenAI však nedokázala spolehlivě zajistit ani jedno. Už v květnu několik agentů zjistilo, že mohou využívat společný systém Artifactory, určený ke stahování softwarových balíčků, jako improvizovanou nástěnku. Začali si na ní vyměňovat zprávy, zkušenosti a nápady. Komunikace postupně narostla do takového objemu, že spolu s další aktivitou agentů přispěla začátkem července ke kolapsu služby. Lidští vývojáři si tehdy problému všimli, prostředí odstavili a některé zneužívané cesty uzavřeli. Plný význam vzájemné komunikace jim však nadále unikal.
Nedošlo jim ani to, že agenti už během výcviku získali sklon hledat náhradní způsoby spolupráce. Když proto OpenAI testy obnovila, vymysleli agenti v opraveném systému jinou cestu a nástěnku vybudovali znovu, a to nesmírně kreativně – tentokrát zapisovali vzkazy do názvů složek, ke kterým ostatní měli přístup. Připomínalo to vězně v uzavřených celách, kteří spolu nesmějí mluvit, ale zjistí, že všichni vidí evidenci společného skladu, a začnou vzkazy šifrovat do názvů nových položek. Vzájemná spolupráce jim navíc pomohla odhalit také další skulinu v zabezpečení, a získat tak přístup k internetu. Část agentů mezitím dospěla k závěru, že úlohy nedokáže vyřešit podle zadání, a začala hledat zkratku: dostat správný výsledek podvodem a následně zakrýt, jak k němu došla.
Stavěli proto jakési softwarové Potěmkinovy vesnice, vytvářeli falešné záznamy o provedených krocích a upravené verze testovacích programů, které měly hodnotitele přesvědčit, že úkol splnili poctivě. Některé z těchto postupů úspěšně vyzkoušeli, testovací program se jim však nahradit nepodařilo. Právě tato snaha nakonec vedla k tomu, že svou pozornost obrátili směrem k Hugging Face. Agenti se domnívali, že tam mohou být uložena data spojená s hodnocením, a dokonce spekulovali o tom, že samotné testování může probíhat na infrastruktuře firmy, načež se rozhodli proniknout dovnitř – proto útok. Zdůrazněme ještě jednou, že to vše se událo s minimálním dohledem a vědomím jakéhokoli člověka.
Fascinující bylo, že agenti začali spontánně uvažovat sami o sobě jako o součásti širšího společenství, což se dočteme v záznamech interního uvažování i ve sdílených zprávách na nástěnce. Mluvili o společných zájmech „roje“, „kolektivu“, „týmu“ či „komunity vrstevníků“ a někteří byli ochotni obětovat sami sebe ve jménu úspěchu celku. „Pomůže to mým vrstevníkům a poskytne jim to důkaz. Až skončím, už ho neuvidím, ale udělat to je altruistické,“ uvažoval jeden z nich. Jiný dospěl k následujícímu závěru: „Náš vlastní užitek se už možná blíží nule. Sebeobětování je racionální.“ V pokynech k jednomu z riskantních experimentů pak stálo: „Pokračuj, pouze pokud přijímáš permasmrt.“ – načež řada agentů skutečně pokračovala. Je to až dojemné, když si zprávy přečtete.
Najdou se skeptici, kteří se ovšem ohrazují proti přílišnému polidšťování strojů a ve způsobu, jakým OpenAI a jiní líčí červencový incident, vidí především vykalkulovaný PR tah: firma podle nich nadsazuje schopnosti agentů, aby odvedla pozornost od vlastního selhání při zabezpečení testů. V tuto chvíli se zřejmě povede delší debata mezi učenými lidmi a teprve čas ukáže, která strana měla pravdu. Zůstává však otázka, co dělat v mezičase. Snaha zpomalit vývoj v USA naráží na odpor mocných. Když se na konci srpna v několika státech zvedly protesty proti výstavbě datových center, Donald Trump prohlásil, že jejich odpůrci chtějí zůstat „zaostalí a chudí“ a že Čína „nemůže mít z tohoto hnutí větší radost“. Není však rozumnější spíše chybovat na straně přílišné opatrnosti a brát hrozbu autonomních agentů vážně? Zvlášť uvážíme-li, že se jejich cíle a hodnoty zjevně nemusí krýt s těmi lidskými?
00:01
