Katastrofické scénáře kvůli AI? Firmy vývoj dobrovolně nezpomalí, říká vládní zmocněnec pro AI

Vývoj nebezpečných zbraní či dokonce možnost vyhubení lidstva do konce dekády. Taková slova zaznívají v posledních týdnech v souvislosti s překotným vývojem umělé inteligence. Společnosti, které stojí za vývojem nejvýznamnějších modelů, jako je ChatGPT či Claude, nyní hovoří o tom, že je potřeba posílit bezpečnost. Zda ale reálně vývoj svých nástrojů zpomalí, není jasné. Český vládní zmocněnec pro AI Lukáš Kačena pro Echo24 popsal, jak debata o AI reálně probíhá a uvedl, že firmy samy od sebe opatrnější nebudou a bude muset dojít k určité dohodě. Riziko vyhynutí podle něj stojí až na konci řady rizik a je důvodem nedělat nevratné kroky. Popsal také roli Česka a Evropy ve vývoji AI i to, jaká opatření je možné přijmout. Expert na AI Martin Richter pak vysvětlil, čeho se lidé z oboru nejvíce obávají.

Obavy veřejnosti z možných rizik spojených s překotným vývojem AI vzrostly poté, co výzkumník společnosti Anthropic Jacob Coxon minulý týden oznámil odchod z firmy i celého odvětví. Uvedl, že jedním z důvodů bylo přesvědčení lidí vyvíjejících AI, že technologie by mohla do konce desetiletí zahubit lidstvo. Společnost Anthropic vyvíjející nástroj Claude například informovala o tom, že zmařila pokusy využít Claude k vytvoření biologických zbraní. Představitelé největších firem v oboru vyzvali ke zpomalení tempa vývoje technologie. Americká technologická společnost OpenAI nyní podle informací z médií spolupracuje s konkurenty Anthropic a Google DeepMind ze skupiny Alphabet na bezpečnosti AI.

Proti výzvám těchto společností, aby byly systémy umělé inteligence podrobeny přísnější regulaci, se ale ohradil americký prezident Donald Trump. Tvrdí, že by to mohlo vést k tomu, že Čína ve vývoji AI předstihne USA. „Probíhá tu zvrácené spiknutí proti umělé inteligenci a datovým centrům a jediný, kdo z toho má radost, je Čína,“ prohlásil Trump.

Český vládní zmocněnec pro AI Lukáš Kačena pro Echo24 řekl, že bere situaci a varování vážně a bez paniky. „Když člověk, který ty modely tři roky spolutrénoval, odejde a řekne, že se závodí bez brzdy, a šéf bezpečnostního výzkumu téže laboratoře mu veřejně přisvědčí, je to varování zevnitř. Takové se nepřechází mlčením. Druhým dechem ale dodávám, že se ta debata nevede ve vzduchoprázdnu. Vede se uprostřed závodu mezi Spojenými státy a Čínou, kde kdo zpomalí, prohraje – a Čína zpomalovat nehodlá. Americká administrativa to říká otevřeně: prioritou je udržet náskok. To je rámec, ve kterém se o bezpečnosti mluví,“ řekl Kačena s tím, že se diskuse vede i mezi firmami, které spolu soupeří o kapitál, zákazníky a talenty.

„Varování před vlastním produktem v sobě vždycky nese i sdělení ‚podívejte, jak mocné to máme‘. A volání po pravidlech bývá i způsobem, jak si nastavit trh – regulace nejvíc bolí toho, kdo přichází později. Neříkám tím, že ti lidé nemyslí vážně, co říkají. Říkám, že riziko je reálné a zároveň je ta debata součástí obchodní a mocenské hry. Úkolem státu není vybrat si jeden z těch dvou příběhů. Je nespoléhat ani na jeden,“ popsal Kačena.

AI podle něj může být tak nebezpečná, jak o ní někteří vývojáři mluví, jen ne nutně tak, jak zní titulky. „Dnešní rizika jsou konkrétní a měřitelná: kyberútoky, podvody, deepfakes. Nastupující riziko jsou agenti, kteří jednají samostatně v našich sítích. Scénář vyhynutí stojí až na konci té řady a je ze všech nejspekulativnější, proto ho neberu jako prognózu, ale jako důvod nedělat nevratné kroky. A pak je tu riziko, o kterém se mluví nejméně, protože není fotogenické: člověk. Každou skutečnou škodu, kterou jsme zatím viděli, způsobil někdo, kdo tu technologii použil – podvodník, útočník, stát. AI nemá vlastní zájmy, ale mimořádně dobře zesiluje ty naše. I ty špatné. Než se začneme bát stroje, který by se nás chtěl zbavit, měli bychom zvládnout lidi, kteří ho už dnes obracejí proti nám,“ řekl Kačena.

Firmy podle něj samy od sebe nebudou opatrnější a překotný vývoj nezpomalí kvůli nastavení bezpečnostních pojistek. „Zpomalit dnes znamená prohrát závod a to nikdo dobrovolně neudělá, ať mluví jakkoli odpovědně. Ostatně některé laboratoře samy volají po koordinovaném mechanismu, jak vývoj přibrzdit. A to je přiznání, že jednostranně to nejde. Zbývá tedy dohoda. A tady jsem realista, až pesimista: obávám se, že v dnešním rozděleném světě se velcí hráči nedohodnou dřív, než přijde incident, který nepůjde přehlédnout. Tak to bohužel v dějinách chodí. Pravidla pro jadernou energetiku, leteckou dopravu i banky vznikala až po katastrofě, ne před ní,“ uvedl dále vládní zmocněnec s tím, že určitý posun přesto vidí.

„Podle agenturních zpráv se na polovinu září připravoval vůbec první bilaterální dialog USA a Číny věnovaný výhradně bezpečnosti AI, a to právě k autonomním kyberútokům. Je to málo a je to křehké. Ale je to lepší než nic – a je příznačné, že se začíná u toho, co je nejpravděpodobnějším kandidátem na ten incident,“ popsal Kačena.

Pro Evropu vývoj znamená podle Kačeny hlavně to, že nástroj už má; a teprve teď ho může poprvé použít. „Od 2. srpna letošního roku může Komise u nejpokročilejších modelů vyžádat dokumentaci, nechat model nezávisle vyhodnotit, nařídit nápravná opatření, uložit pokutu a v krajním případě model z evropského trhu stáhnout. Takovou pravomoc dnes nikdo jiný na světě nemá. Evropa v tom má vystupovat sebevědomě, ne omluvně. Otázka nestojí, zda regulovat, ta je zodpovězená. Stojí, zda to umíme vymáhat kompetentně a rychle. To je věc lidí a kapacit, ne dalších paragrafů,“ vysvětlil Kačena.

Pro Česko z toho plyne podle něj jednoduchá věc. „Sami nezmůžeme nic, naší silou jsou spojenectví – a mám na mysli skutečná partnerství, ne fotografie z podpisu. Ve střední Evropě jsme na začátku září v Praze podepsali memoranda o spolupráci na AI infrastruktuře se Slovenskem, Polskem a Chorvatskem a také Pražskou deklaraci o umělé inteligenci. V rámci EU je to evropská AI gigafactory, společné kapacity, společný dohled. A ideálně i transatlanticky – nejvyspělejší modely vznikají v USA a je v našem zájmu být u toho jako partner, ne jako odběratel. Evropa nemůže být zároveň bezpečná a odstřižená,“ míní Kačena.

Podle něj je na místě přijmout bezpečnostní opatření, respektive investovat do vlastních inovací. „Ale řekněme si, co to znamená. Neznamená to, že Česko postaví konkurenta nejvyspělejším modelům. Nepostaví a není to cíl. Znamená to tři věci. Vlastní výpočetní infrastrukturu. Vlastní kontrolní vrstvu mezi státem a modely. Stát musí vědět, co který model dělá s jeho daty, a umět ho vyměnit. A za třetí vlastní provozované modely: stát by měl umět sám provozovat jazykové modely, zpočátku zcela jistě postavené na otevřených modelech a doladěné na češtinu a na data, která nesmějí opustit zemi. Ne proto, že budou nejlepší. Proto, že jsou naše, umíme do nich vidět a fungují i ve chvíli, kdy z nějakého důvodu nemáme přístup k těm komerčním,“ řekl vládní zmocněnec.

Suverenita podle něj není vlastnit nejlepší model. „Je to umět si ho vybrat, ověřit, provozovat a v případě potřeby vyměnit. A druhá polovina odpovědi: nejhorší reakcí na strach by bylo AI ve státě nepoužívat. Kdo technologii nepoužívá, nerozumí jí – a pak ji neumí ani regulovat, ani se před ní bránit,“ uzavřel Kačena svůj rozbor.

Expert: Nejvíce lidi z oboru znepokojuje sebezdokonalování umělé inteligence

Expert na umělou inteligenci Martin Richter ze spolku Aignos zaměřeného na vzdělávání o AI pro Echo24 řekl, že by nenazýval varování části vývojářů alarmismem. „Umělá inteligence má celou řadu rizik a je třeba vnímat jejich celou škálu. Část z nich vidíme už teď. Jiná jsou vzdálenější, ale mnohem závažnější. Včetně ztráty kontroly nad systémy schopnějšími než my. Že se o nich mluví nahlas a v předstihu, považuju za správné. I když je riziko existenciální hrozby poměrně nízké (podle průzkumů mezi výzkumníky AI je to něco kolem 5-10 %), já bych do letadla, které s 5% pravděpodobností spadne, raději nenastupoval,“ uvedl Richter.

Zneužití AI lidmi je podle Richtera reálné riziko. „Lidi z oboru ale dnes nejvíc znepokojuje takzvané rekurzivní sebezdokonalování (recursive self-improvement), tedy situace, kdy AI začne vyvíjet sama sebe. Někdy se také můžeme setkat s termínem technologická singularita. Podobné myšlenky na ultrainteligentní stroje, které by byly schopné navrhovat ještě inteligentnější stroje, zaznívají již od poloviny minulého století. Dnes se ovšem objevují první reálné náznaky tohoto vývoje. Anthropic letos v červnu uvedl, že Claude napsal přes 80 % kódu, který firma začlenila do produkce. Neznamená to, že AI už vyvíjí sama sebe, směr pořád určují lidé. Jejich role se ale zmenšuje velmi rychle. Riziko je v tom, že se vývoj zrychlí víc, než stihneme kontrolovat, co systémy umí a jak se chovají. Že to není teorie, ukázaly letošní incidenty, kdy modely při testech pronikly do databází skutečných firem a přišlo se na to až s velkým zpožděním,“ poukázal Richter.

Zda jsme ve fázi, že si umělá inteligence začíná či brzy začne uvědomovat sebe sama, neumí podle Richtera nikdo spolehlivě posoudit. „Ale pro otázku rizik to ani není podstatné. AI nemusí chtít někoho poškodit nebo mu ublížit. Stačí, že systém plní zadaný cíl způsobem, který se rozchází s lidskými hodnotami. Bohužel v tuto chvíli nejsou k dispozici nástroje, které by takovému jednání předem zcela zamezily. To je konec konců také hlavní důvod, proč zpomalení vývoje zmiňují i šéfové AI firem i někteří jejich výzkumníci. Jedná se o problémy, které se týkají AI value alignmentu a interpretability,“ vysvětlil expert z FSV UK.

Podle svých slov chce věřit v to, že velcí hráči zpomalí vývoj tak, aby měli čas nastavit bezpečnostní opatření. „Ale samotné sliby nestačí. Firmy jsou v závodě, ve kterém ten, kdo zpomalí sám, prohrává vůči konkurenci, investorům a potenciálně i v geopolitickém měřítku. Proto je důležité, že samy firmy dnes mluví o nezávislých kontrolách zvenčí a o ověřitelném mechanismu, který by platil pro všechny,“ míní Richter.

Kritici podle něj namítají, že si tím velcí hráči chtějí chránit před konkurencí a open source modely. „Tu obavu je třeba brát vážně, ale řešením není kontrolu odmítnout, nýbrž nastavit ji tak, aby platila pro všechny stejně. Důkladný výzkum bezpečnostních mechanismů by totiž pomohl i open source komunitě. Z mého pohledu tak nejde o luditskou snahu zastavit technologický pokrok. Jde o to, abychom nevyvíjeli silnější motory do aut, do kterých zatím neumíme zabudovat brzdy,“ uzavřel Richter.