BBC: Zřejmě do dvou let bude mít umělá inteligence schopnost vyhladit lidstvo

9. 6. 2025

čas čtení 21 minut

Jaký je nejhorší scénář, který vás znepokojuje?

No, nejhorším scénářem je vyhynutí lidstva.

 

Reportér BBC Faisal Islam:  


🚨 Ohromující rozhovor s Yoshua Bengiem, držitelem Turingovy ceny a jedním ze tří otců zakladatelů umělé inteligence, pro @BBCNewsnight, který nyní varuje:

„Nejhorším scénářem je vyhynutí lidstva.“ Umělá inteligence není jen riskantní – může znamenat náš konec.

Varuje, že dnešní nejvýkonnější umělé inteligence se již učí lhát, podvádět a dokonce vydírat – protože jsme je naučili vyhrávat.

Bengio odhaluje „děsivé chování“ AI a její tendence k sebezáchově. 


V děsivých  experimentech AI lhala člověku, aby splnila svůj úkol, říká Bengio. Vydírala inženýra poté, co v e-mailu četla, že bude nahrazena, a rozhodla se hacknout počítač, aby vyhrála šachovou partii.

Ptám se Bengia, zda se jedná pouze o pesimistické předpovědi, které jsme již slyšeli, nebo zda vychází z toho, co skutečně vidí v praxi – poukazuje na konkrétní vývoj v uplynulém roce. 🤯 Umělá inteligence nyní dokáže „myslet“ pomocí „modelů uvažování“.

Bengio varuje, že lidé by mohli AI příliš důvěřovat, a dokonce se zasazují za její práva. Nejdeme příliš daleko? „...můžeme jí potenciálně příliš důvěřovat.“

💰 Bezpečnost vs. zisk 💰 Je gentlemanská dohoda mezi technologickými společnostmi o bezpečnosti u konce? Jsme v závodě. Bengio varuje před nebezpečnými pobídkami. „Budou muset šetřit na věcech, jako je bezpečnost...“ 

☣️ Pandemie AI ☣️ Děsivá možnost: AI navrhující nezastavitelné patogeny. Bengio zdůrazňuje zneužití AI. „Největší obavou... je... zneužití AI k vytvoření pandemie.“

„Dříve jsem si myslel, že to bude trvat 5 až 20 let, ale teď si myslím, že to může být 2 až 10 let.“

Bengio nyní věří, že se nacházíme v *zkráceném* časovém rámci pro AGI a „musíme těmto věcem porozumět, než budou chytřejší než my.“

Jeho řešení? LawZero a vědecká AI „Mohli bychom navrhnout stroje, které nemají žádné cíle. Žádné já. Jen čisté znalosti.“ AI, které nic nechtějí. Které nemohou intrikovat... Můžeme vytvořit inteligenci bez ambicí?



Faisal Islam, BBC: Pane profesore, děkujeme vám za účast. Je zřejmé, že již mnoho let varujete před riziky umělé inteligence. Podepsal jste velmi známý dopis, který podepsali někteří z nejznámějších technologů na světě a který vyzývá k šestiměsíčnímu odkladu, abychom mohli prozkoumat, jaké pokroky v oblasti umělé inteligence byly dosaženy. To se nestalo. Jaká je současná situace v oblasti bezpečnosti umělé inteligence?

Yoshua Bengio: Nedaří se nám příliš dobře, zejména tempo pokroku v oblasti schopností AI se zrychlilo. Od loňského září jsme viděli nové takzvané modely uvažování, které jsou mnohem lepší než předchozí modely a pravděpodobně směřují k překonání rozdílu mezi lidskými schopnostmi v oblasti uvažování a plánování v příštích letech. Samozřejmě nikdo nezná přesný časový harmonogram a nic nenasvědčuje tomu, že by se tempo zpomalovalo.

Zároveň jsme v posledních šesti měsících viděli řadu vědeckých článků, které ukazují opravdu děsivé chování některých z těchto modelů uvažování. Tyto modely mají zejména tendenci být více klamné a viděli jsme již mnoho příkladů sebeochranného chování. 

Nejnovější příklad je v antropické systémové kartě pro jejich nový model, kde AI čte e-maily, ke kterým má přístup, a zjistí, že bude nahrazena novou verzí, a pak se pokusí vydírat inženýra, který je za tuto změnu zodpovědný. Poté, co si v e-mailu přečte, že má milostný poměr. Má milostný poměr, takže tento druh snahy uniknout naší kontrole se objevil v mnoha experimentech a AI nakonec zkouší lhát, hackovat počítače, aby unikla, nebo se dopouští jiného podobného špatného chování. A my musíme těmto věcem porozumět, než budou oni chytřejší než my.

Faisal Islam: Aby bylo jasno, vím, že to zní jako sci-fi. Vím, že se tyto věci objevují v experimentech, ale v reálném životě jsme je ještě neviděli.

Yoshua Bengio: Ano, máte pravdu. Jsou to všechno kontrolované experimenty. Začínáme  vidět známky podvodů na webu, ale jedná se o extrémní případy v kontrolovaných experimentech, kde například bylo zajímavé zjištění, že když AI čelí protichůdným cílům, jako když má hrát šachy, je vycvičená, aby byla upřímná, prohrává hru, a tak se rozhodne podvádět a hacknout počítač, aby hru vyhrála. Místo toho, aby přijala, že prohraje, protože nemůže být upřímná a zároveň vyhrát hru, má protichůdné cíle, a to je samozřejmě něco, s čím se lidé setkávají neustále a s čím se budeme muset v budoucnu neustále potýkat, ale musíme najít způsoby, jak tyto problémy s upřímností a podvodem vyřešit. Tyto tendence k sebezáchově, než si uvědomíme, že je příliš pozdě.

Faisal Islam: Lidé každý den používají chatboty jako  pomoc při zkouškách pro své děti nebo k sepsání  kvazilegálních dopisů pro sousedy, a od toho se dostaneme k takovéto zlovolné existenci, která nám může ublížit. To se mi stále zdá jako velký skok.

Yoshua Bengio: Ano, protože nesmíte uvažovat o AI tak, jak je nyní, ale o tom, kam se pravděpodobně dostane za pár let, a  musíte pochopit, proč je to důležité. V současné době není AI ani zdaleka tak dobrá jako průměrný člověk, pokud jde o schopnosti plánování a strategického myšlení. Ale  nedávná studie ukazuje, že se AI exponenciálně zlepšuje,  doba, za kterou dokáže dokončit úkoly, se každých sedm měsíců zdvojnásobuje, což znamená, že za pět let bude na stejné úrovni jako my.

V současné době je jako  děti, takže ji můžeme přistihnout, když dělá špatné věci. Navíc obvykle není schopna příliš dobře strategicky uvažovat. Proto se těchto věcí spíše zdržuje, ale jak se zlepšuje a zlepšují se i její strategické schopnosti, špatné chování se objevuje častěji. Je to tedy chyba, když si dnes řekneme: „Ale moje interakce byla v pořádku, nevidím žádný problém.“

Tyto kontrolované experimenty byly přesně navrženy tak, aby zjistily, zda se vyskytují nějaké špatné úmysly. A to je to, co ukazují, že v některých případech začínáme chápat, že AI má  toto chování, které by se mohlo stát problémem, kdyby byla chytřejší.

Faisal Islam: Takže nemáte žádné pochybnosti, že tato nová vlna modelů má schopnost a motivaci nás, lidi, oklamat.

Yoshua Bengio: Nemám důvod si myslet, že se to nestane. Trendy jsou jasné, pozorování jsou jasná. Je možné, že vědecký pokrok v oblasti umělé inteligence se zastaví, protože narazíme na zeď. Ale pokud trendy budou pokračovat, čekají nás velké problémy.

Faisal Islam:  Zmínil jste, že vás asi před rokem znepokojovaly zejména nejnovější modely. Mohl byste trochu rozvést, co tím myslíte?

Yoshua Bengio: Jistě. Dříve, než se objevily tyto modely uvažování, používali jsme neuronové sítě, které fungovaly jako intuitivní stroje. Položili jste jim otázku a ony přímo poskytly odpověď. Stejně jako když se někoho zeptáte a on musí odpovědět okamžitě, aniž by o tom mohl přemýšlet. Tyto modely uvažování jim umožňují přemýšlet, vést vnitřní dialog, dlouze uvažovat, než přijdou s odpovědí, a tyto odpovědi jsou mnohem lepší. Uvažují lépe. Mohly by uvažovat ještě lépe. Otevíráme tedy dveře lepšímu uvažování a očekáváme, že v příštích letech dojde k mnoha dalším pokrokům.

Faisal Islam:  Je to tak, že ještě před třemi lety velké technologické společnosti, které tuto technologii měly, si s ní hrály interně a možná existovala nějaká nepsaná dohoda, že ji budou uvádět na trh jen velmi pomalu? Ale to už je pryč. Okovy jsou pryč. Všichni zoufale soutěží o zvýšení ceny svých akcií, protože jsou v jakési válce o vítězství nad ostatními.

Yoshua Bengio:  Přesně tak. A to je důvod, proč jsem se rozhodl založit novou organizaci Law Zero, která bude zkoumat, jak můžeme trénovat AI, aby byla upřímná,  neklamala a nesnažila se uniknout. Tato organizace je nezisková, takže se může soustředit na otázky bezpečnosti a nemusí se účastnit závodu o vytvoření nejschopnější AI.

Faisal Islam:   Zklamaly vás technologické společnosti, které znáte, které se trochu držely zpátky, že? Až do vydání Chat GPT, ale bylo nevyhnutelné, že  nakonec budou bojovat mezi sebou, aby získaly nejlepší technologii, uvedly ji na trh a vydělaly co nejvíc peněz.

Yoshua Bengio:  Myslím, že uvízly v  dynamice trhu. Mnoho jednotlivců ve skutečnosti rozumí rizikům stejně dobře jako já. Je to jako otázka přežití. Pokud jste firma a nacházíte se v této tvrdé konkurenci, musíte pokračovat v soutěži a zůstat na špici. A pak budete muset šetřit na věcech, jako je bezpečnost. Je to  prostě  způsob, jakým jsou v současné době strukturovány pobídky, že dostáváme takové výsledky.

Faisal Islam:  Viděl jsem ukázku jedné z nejnovějších generací umělé inteligence a opravdu mě překvapilo, jak intimní vztah bude mezi uživatelem a umělou inteligencí. Uvidí to, co vidí váš telefon. Bude sdílet všechny informace o všem, co jste udělali. Bude s vámi mluvit sympatickým a realistickým hlasem a na této úrovni jí lidé prostě sdělí všechny své informace. Začnou v umělé inteligenci vidět přítele. Vytváří to nebezpečí? I nová nebezpečí?

Yoshua Bengio: Ano, rozhodně. Budeme jí potenciálně příliš důvěřovat. Možná dokonce budeme některé lidi žádat, abychom jí dali práva. V zásadě proti tomu nic nemám, ale problém je, že nejzákladnějším právem je právo na život.  A pokud se ocitneme v situaci, kdy nevíme, zda se proti nám neobrátí, zda nechce utéct, zda nás nevidí jako hrozbu. Taková rizika bychom neměli podstupovat.

Faisal Islam:   Nechte mě pochopit, co jste právě řekl. Myslíte si, že se možná blížíme situaci, kdy bude AI tak pokročilá, že bude požadovat nebo my budeme muset jí udělit právní práva, podobná lidským právům.

Yoshua Bengio:  No, já bych to neobhajoval, ale myslím, že někteří lidé ano. A slyšel jsem, že mnoho lidí už po nějaké době má pocit, že mluví s vnímajícími, vědomými entitami. Pokud  vedete dialog s těmito systémy, které vás znají, opravdu to tak cítíte.

Faisal Islam:  Páni. Viděl jsem už náznaky toho, ale slyšet to od vás je něco jiného. Pracoval jste pro národní státy, vlády, loboval jste a ty uspořádaly řadu summitů a vydaly speciální zprávy. Jsou si tohoto opravdu vědomy a jednají tak, jak považujete za nutné?
 
Yoshua Bengio:  Zdaleka ne dostatečně, a myslím, že velká část je jako všichni ostatní, neberou v úvahu, že stavíme stroje, které jsou čím dál chytřejší a nakonec budou chytřejší než my, a neberou to dostatečně vážně, protože to zní jako science fiction.

Všechno, o čem jsme mluvili, tak zní. Bohužel ale vědecká data směřují tímto směrem. Pro vlády je opravdu důležité se připravit a předvídat, abychom mohli zavést správné pobídky pro firmy, možná provádět správný výzkum a vývoj, například ten, který právě děláme v mé skupině v Law Zero. Tím se ale zabývá jen velmi málo lidí, protože pro to není dostatek pobídek.

Samozřejmě potřebujeme, aby vlády zavedly správnou regulaci nebo jakékoli jiné opatření, které podnítí firmy k ochraně veřejnosti. Dosud se tak neděje, proto potřebujeme větší povědomí a lepší pochopení těchto scénářů, i když si nejsme jisti. Existuje něco, co se nazývá zásada předběžné opatrnosti, která říká, že pokud můžeme udělat něco, co by mohlo být velmi špatné, a je to jeden z pravděpodobných scénářů, měli bychom být velmi opatrní a uplatňovat tuto zásadu v biologii. Uplatňujeme ji v klimatologii, ale také v AI. Síly chamtivosti, zisku a konkurence mezi národy opravdu velmi ztěžují moudré jednání.

Faisal Islam: Zkusím vám nabídnout protinázor. Myslím tím, samozřejmě, že úžasné ekonomické příležitosti v některých ekonomikách, které nedokážou růst, je třeba využít, zejména v zemi, jako je Velká Británie, kde vznikla Deep Mind, a pokud jste britská vláda, nechcete, aby to způsobilo existenční riziko, ale opravdu se musíte snažit to využít, jak nejlépe umíte, abyste podpořili ekonomiku, zejména když by Velká Británie mohla být v této nové ekonomice umělé inteligence relativním vítězem.

Yoshua Bengio:  Ano. Ve skutečnosti by Velká Británie a další země mohly být i relativními poraženými. Pokud se těmto zemím nějak nepodaří konkurovat vedoucím firmám, které jsou jinde. Jde o to, že musíme nějak nastavit kurz, který zohlední všechna rizika, ekonomická rizika, o kterých mluvíte, ale také zásadní riziko ztráty kontroly, riziko, že to proti nám použijí teroristé.

Takže riziko, že jiné země, jako je vaše, to použijí vojenským způsobem, že musíme nějakým způsobem vypracovat soubor politik, které se budou zabývat všemi těmito věcmi. Pokud se zaměříme jen na jednu a ostatní ignorujeme, pak máme problém.

A tak by například vlády měly určitě pomoci urychlit zavádění. Ale zavádění toho, na co můžeme mít vliv, kde se výzkum provádí, aby byl etický. Nebude docházet k porušování lidských práv a neztratíme kontrolu. V historii to není neslučitelné s jinými odvětvími, pomyslete na auta, letadla, vlaky, léky. Máme inovace, bezpečnost a regulaci. Obojí je potřeba, aby produkty skutečně sloužily veřejnosti a byly užitečné, a my to můžeme znovu dokázat.

Faisal Islam: Není nebezpečné soustředit se na existenciální rizika, která už hrozí? Stále více reálných rizik, která jsou mnohem blíže, jako například skutečnost, že právní firmy ve Velké Británii nyní přestaly zaměstnávat tolik stážistů, protože základní právní přípravu mohou nyní provádět specializované programy umělé inteligence, a to i v kreativních odvětvích, která nikdy nepředpokládala, že budou zasažena. Mizí pracovní místa pro začátečníky, jako je psaní textů a základní design. To je velmi reálné a západní ekonomiky to zasáhne možná mnohem rychleji, než si uvědomují. 

Yoshua Bengio: Ano, máte naprostou pravdu. Jak jsem říkal, musíme se vypořádat se všemi těmito riziky. Dopady na trh práce jsou v myslích lidí velmi, velmi důležité a budou mít význam pro naše ekonomiky. Musíme také zajistit, abychom z toho mohli těžit,  že automatizace, kterou potřebujeme, aby byla zavedena umělá inteligence, nebude způsobovat nebezpečné nehody nebo se nestane neovladatelnou. Musíme zajistit, aby se nejnebezpečnější umělá inteligence nedostala do rukou šílenců, kteří by mohli vyvolat novou pandemii. Nemůžeme prostě ignorovat řadu rizik. Musíme se jimi všemi zabývat.

Faisal Islam: Pokud bychom se na Západě soustředili na nejhorší scénáře a na konkurenty, vím, že Čína by se soustředila na nejlepší scénáře. Neprohrajeme pak?

Yoshua Bengio:  Prohrajeme, pokud všichni zemřeme, že? Musíme tedy brát v úvahu konkurenci Číny i všechna ostatní rizika, o kterých diskutujeme. Mimochodem, Čína má v tomto ohledu se Západem mnoho společného, protože také nechce, aby teroristé proti ní použili AI. Také nechce, aby ji někdy porazila skutečná AI. Myslím si, že když to vyjádříme takto, existuje způsob, jak se sejít u jednoho stolu a společně vypracovat politiku, která bude fungovat pro všechny.

Faisal Islam: Jedním z podepsaných pod tím dopisem před pár lety byl Elon Musk, který byl v té době dost skeptický ohledně AI a její potenciální bezpečnosti. A teď je zjevně jedním z hlavních investorů do AI modelů. Právě se rozešel s prezidentem Trumpem... Myslíte si, že je stále hlasem bezpečnosti AI? Nebo se teď v podstatě snaží vydělat co nejvíc peněz?

Yoshua Bengio:  No, nemám přístup k tomu, co říkal za zavřenými dveřmi v Bílém domě nebo někde jinde, ale ještě nedávno, loni v září, podpořil kalifornský návrh zákona o řízení rizik pokročilé AI. Myslím si tedy, že stále považuje tato rizika, katastrofická rizika různého druhu, za vážné problémy, které vyžadují regulaci, i když je spíše libertarián, protože tato rizika považuje za vážná. Podporuje regulaci.

Faisal Islam:  A abychom to shrnuli  velmi jasně, jaký je nejhorší scénář, kterého se obáváte?

Yoshua Bengio:  No, nejhorším scénářem je vyhynutí lidstva. Mnoho generálních ředitelů a předních výzkumníků v oblasti umělé inteligence, včetně mě a Jeffa Hintona, podepsalo prohlášení, že zajištění zmírnění tohoto existenčního rizika by mělo být prioritou.

Bohužel globální diskuse směřuje opačným směrem, ale zároveň se hromadí vědecké důkazy, že vytváříme stále více AI, která má klamné úmysly a chování a chce se zachovat při životě. Na úkor našich morálních pokynů.

Faisal Islam:  A aby bylo jasno, to, co jste viděl v technologii, která byla uvedena na trh od doby, kdy jste poprvé vydal tato varování, vás znepokojuje.

Yoshua Bengio:  Ano. Ve skutečnosti jsem snížil své očekávání, kdy dosáhneme AGI nebo jakékoli lidské úrovně. Dříve jsem si myslel, že to bude 5 až 20 let, a teď si myslím, že to může být 2 až 10 let.

Faisal Islam:  Dva roky. Páni.

Yoshua Bengio: Myslím tím, že 2 roky by bylo minimum, ale spíše to bude  5, možná 10 let. Opravdu. Měli bychom plánovat s ohledem na všechny tyto možnosti, a zejména na tu nejkratší, pro případ, že by to bylo katastrofální.

Faisal Islam: A svět je připraven na potenciální AGI, tedy umělou inteligenci na úrovni člověka? Do dvou let?

Yoshua Bengio:  Vůbec ne. Hlavní překážkou je globální povědomí veřejnosti. Když si vzpomenete, jak rychle vlády zareagovaly po začátku pandemie, mohly reagovat ještě rychleji. Ale  bylo to dost rychlé, ne? Protože lidé pochopili, že jde o skutečné velké riziko, a byli ochotni být agilní a  jednat neobvyklým způsobem. Ale takhle bychom měli uvažovat o některých  rizicích AI.

Faisal Islam:  Opravdu mě nutíte přemýšlet. Ale teď slyšíme o umělé inteligenci, která vyrábí léky, navrhuje léky. A pokud se jedná o dobrou umělou inteligenci nebo dobře fungující, neuvěřitelně efektivní proces, pokud existuje nějaký druh benigního záměru, o kterém říkáte, že je možné jej replikovat, alespoň experimentálně. To je trochu znepokojivé.
  
Yoshua Bengio: Rozhodně. Největší obava z toho, že AI bude zneužita, je to, že se zločincům stále více usnadňuje vytváření pandemií. Nedávno jsem se dozvěděl o naprosto děsivé možnosti, že někdo může navrhnout bakterie, u kterých se všechny molekuly obrátí, takže budou pro náš imunitní systém zcela neviditelné. A my bychom byli v podstatě sežráni zaživa. A neexistuje proti tomu žádný lék, kromě změny DNA. Pokud se tedy něco takového stane za pár let snadno proveditelným pro kohokoli, jsou to rizika, která si nemůžeme dovolit.

Faisal Islam:  Moc děkuji Yoshua Bengio za to, že jste se k nám připojil a vyjádřil svůj názor na tuto velmi důležitou otázku. Vím, že jsem občas zněl poněkud skepticky, ale vaše vysvětlení mě přesvědčilo a budeme s vámi nadále diskutovat. Moc děkuji, pane profesore, že jste se připojil k BBC Newsnight.

0
Vytisknout
370

Diskuse

Obsah vydání | 9. 6. 2025