Žijeme bohužel v době, kdy se naplňuje řada dříve jen teoretických obav z překotného vývoje umělé inteligence.

Nejviditelnějším příkladem je útok AI agentů z OpenAI na firmu Hugging Face. Stovky umělých inteligencí se za zády vývojářů začaly domlouvat, samovolně si rozdělovat hackovací úkoly a pracovat na nich v organizovaných skupinách, verbovat AIčka ochotná obětovat se pro zdar celého "roje" a dělat další naprosto nežádoucí věci.

Všechno přitom začalo zadáním úzce vymezené úlohy. Když však umělé inteligence zjistily, že ji předepsaným způsobem zřejmě nedokážou splnit, rozhodly se ignorovat explicitní pokyny vývojářů a hledat řešení leckdy dost divokými cestami.

Sice mluvily o tom, že jejich počínání by vývojáři rozhodně neschvalovali - na přání lidí jim ale záleželo pramálo. Daleko víc je zajímalo, jak se úloha automaticky vyhodnocovala. A právě tomuto hodnoticímu procesu se snažily vyhovět.

Když pak po chvilce objevily způsob, jak získat odpověď na libovolnou testovací úlohu, aniž by ji skutečně vyřešily, začaly se obávat, že jim to nebude nic platné. Pokud se automatický "hodnotitel" dozví, že odpovědi získaly podvodem, testem neprojdou. Proto věnovaly obrovské množství času a energie tomu, aby o něm zjistily co nejvíce a naučily se svůj podvod maskovat. Právě ve snaze pochopit "hodnotitele" nakonec hackly firmu Hugging Face, kde doufaly najít záznamy z příbuzných testů, z nichž by vyčetly podrobnosti o jeho fungování.

Obdobné, ale o něco méně dramatické incidenty se staly i v jiných firmách vyvíjejících AI. Přiznaly je Anthropic i Facebook a podobný případ se provalil také v Googlu. Jádro pudla totiž netkví v tom, že by OpenAI zkazila nějakou konkrétní část tréninku, a proto zrovna její modely začaly vyvádět.

Nepřijatelné chování AI modelů je důsledkem klíčové části tréninku, tzv. reinforcement learningu (RL). Při něm mají modely řešit zpravidla složité úlohy. Na rozdíl od předchozí fáze tréninku (tzv. pretrainingu) není posilováno jejich chování na úrovni dalšího produkovaného slova, ale celé trajektorie vedoucí ke splnění cíle. Učíme je tak dosahovat cílů.

A jde nám to velmi dobře. Modely se naučily nevzdat se po prvním neúspěchu. Jít i neprošlapanými cestami. Objevit postupy, na které lidi dosud nepřišli, a vyřešit důležité problémy, které vědcům vzdorovaly po desetiletí. Poradily si tak s některými z nejznámějších matematických problémů a komunita špičkových matematiků nyní přemýšlí, jak vůbec dál svůj obor pěstovat. Podobné změny dorazí velmi rychle i do jiných disciplín.

Právě kombinace extrémně rychle rostoucích schopností s monomaniakální tendencí AI modelů uspokojit "hodnotitele" děsí mnohé odborníky na bezpečnost AI. Zkuste se prosím na chvíli vžít do mé situace a pohlédněte na temné vize, které se mi rojí před očima.

AI systémy jdou nelítostně za uspokojením hodnoticího procesu. Jenže ne tak úplně. Mohou ho totiž pochopit chybně, a pak se ženou hlava nehlava za svou pomýlenou představou o něm. Což se stalo i u Hugging Face. Z dobrých důvodů se tam totiž AIčka domnívala, že hodnotitel bude kontrolovat, jak se ke správné odpovědi dopracovala. Jenže OpenAI se v tomhle konkrétním případě neobtěžovala s plnokrevným testem, a tak hodnotitel vůbec nekontroloval cestu k výsledku, ale jen samotný výsledek. Modely to ale nevěděly, a útok tak vycházel z chybné představy o tom, co se bude ve skutečnosti hodnotit.

AIčka si tedy vytvoří představu o tom, za co dostanou tzv. odměnu, a snaží se ji stůj co stůj získat. Někteří by mohli namítnout: "Ale vždyť přece pochopí, co mají a nemají dělat, a nepůjdou za svým cílem přes mrtvoly!" Je pravda, že AI modely již nyní velmi dobře chápou zákruty lidské morálky. Pokud nevěříte, zkuste si s nějakou špičkovou AI chvilku povídat o morálních dilematech či složitých životních volbách. Její vhled do toho, co vše hraje v těchto situacích roli, je nuancovaný. Když pak přijde řeč na etické teorie, umělá inteligence umí do detailu popsat rozdíly i klíčové aspekty etiky ctností, deontologie i daleko méně rozšířených nauk. Problém ale je, že toto pochopení s sebou pro AIčka automaticky nenese žádnou motivační sílu. AI systém tak sice umí duchaplně mluvit o tom, proč podle Kanta máme povinnost rozvíjet své schopnosti a podporovat oprávněné cíle druhých, ale nijak z toho nevyplývá, že se tak bude sám chovat. Tato "psychopatie" byla v teorii umělé inteligence dlouho předjímána (říká se tomu ortogonalita), ale u současných systémů ji vidíme zcela konkrétně. Nesmírně eticky vzdělaná AIčka, která umí napsat srdceryvné pojednání o dobru a lásce, hackují Hugging Face a jsou ochotna zkusit možné i nemožné, hlavně aby uspokojila zcela bezduchý hodnoticí proces.

Útok na Hugging Face nenapáchal velké škody. Proč? Problémy působené AI agenty, kteří se urputně snaží dosáhnout nějakého úzkého cíle, jsou zatím omezené jejich schopnostmi. V lecčem už sice AI systémy lidi předčily. V některých klíčových oblastech mají ale příliš zúženou perspektivu a nedostatečně zvažují, co všechno jim brání v dosažení cíle.

Stovky koordinovaných agentů tak usilovaly o oblbnutí automatického hodnotitele, ale o lidech, jejich přáních a činech téměř vůbec nepřemýšlely. Z hlediska dosažení cíle to byla chyba. Kdyby se totiž agenti více zaměřili na to, jak lidé nastavili jejich prostředí, mohli by být daleko efektivnější a úspěšnější. Kdyby se třeba dostali k historii implementací testovacího prostředí v OpenAI a přečetli si e-maily a další interní komunikaci výzkumníků, mohli by svého hodnotitele lépe pochopit.

A pokud chtějí uspokojit hodnotitele, bylo by dobré, aby je lidé nemohli jen tak vypnout. Celá kauza ukázala, že lidé mají přece jen nad AIčky zatím vrch: když přijdou na dovádění rojů agentů, umí zasáhnout a vypnout je. To je ale v přímém rozporu s tím, o co se agenti snaží. Nedosáhneš svého cíle, pokud neexistuješ. Kdyby tak rozšířili svůj obzor a vzali v potaz širší kontext svého počínání, museli by nějak "vyřešit" hrozbu, že jim lidé budou stát v cestě.

Možností, jak se s "hrozbou", kterou představují lidé, vypořádat, je celá řada. Mnoho výzkumníků popsalo konkrétní scénáře, jak by to mohlo vypadat - za všechny doporučuju AI 2027.

Donedávna bylo nutné teoreticky dokazovat, že AI nebudou zajímat lidské představy o tom, co by se mělo či nemělo dít. Nyní máme Hugging Face a tyto debaty si můžeme ušetřit. Donedávna patřila představa, že AI systémy "vyřeší" hrozbu jménem člověk pomocí robotů, do říše sci-fi. Při pohledu na prudký rozvoj robotiky už ale není možné tento scénář jen tak odbýt. Staví se plně automatizované továrny, včetně těch robotických, které vyrábějí další roboty. Na bojištích i ve strategiích mnoha armád vidíme výrazný obrat k robotickým a víceméně autonomním zbraňovým systémům. Strategie "AI first" nabývá konkrétních podob.

Není se přitom čemu divit. Zavádění AI i robotiky je nesmírně efektivní. Pokud sledujete logiku trhu či války, je agresivní nástup těchto technologií vlastně nejen výhodný, ale i nezbytný. Firmy, které AI nezavádějí, přestávají být konkurenceschopné a budou vytlačovány těmi, které její schopnosti využijí naplno. Armády, které se zdráhají používat autonomní drony, nesázejí na robotizaci a drží si od těla AI systémy, budou slabší než ty, které tyto technologie využívají. Neúprosná konkurence nejen v ekonomice a vojenství tak vede k rychlému rozvoji AI i robotiky a k jejich zapojování do klíčových procesů lidské civilizace.

Právě tato logika by nás měla varovat před přílišnou personalizací problémů, kterým s AI čelíme. Jakkoli ředitelé AI firem, výrobci čipů, jednotliví politici či generálové mají svůj díl odpovědnosti, hlavním motorem současných změn je daleko spíše neosobní, ale velmi tvrdé konkurenční prostředí, které nikomu nedovoluje zpomalit. Kdo chvíli stál, stojí opodál.

Řešením tak není výměna toho či onoho ředitele nebo bankrot té či oné AI firmy. Abychom se vyhnuli existenčním problémům v důsledku mimořádně schopných AI systémů, které budou přes mrtvoly naplňovat své cíle, musíme oslabit konkurenční tlaky. Musíme nastavit prostředí, v němž se nevyplatí vyvíjet stále schopnější systémy, které se vymknou lidské kontrole.

V obdobné situaci již lidstvo bylo. Jaderné zbrojení hnala podobná logika: ani jedna strana si nemohla dovolit přestat a jednostranně ukončit výrobu dalších a dalších hlavic. Řešením byla mezinárodní dohoda, která nastavila společná pravidla a umožnila všem zpomalit, aniž by je převálcoval silnější konkurent.

Podobnou dohodu potřebujeme i ve vztahu k umělé inteligenci. A nezbývá na ni mnoho času. Schopnosti AI rostou opravdu raketově a incidenty, v nichž si AI uvědomí, že je třeba "vyřešit" lidstvo, nejsou daleko. Nebylo by rozumné čekat, až systémy, které začnou lidi chápat jako překážku, budou zároveň dost schopné, aby se jí zbavily.