Vyhladí do několika let umělá inteligence lidstvo?
10. 9. 2026
čas čtení
6 minut
Nigel Shadbolt: Dobré odpoledne, Sarah.
Moderátorka: Můžeme začít právě tímto tvrzením? Souhlasíte s tím, že existuje více než 10% šance, že do deseti let dojde k vyhynutí lidstva?
Nigel Shadbolt: Podívejte, nechápu, jak může někdo zodpovědně přiřadit konkrétní číslo – ať už 10 % nebo jakékoli jiné – k vyhynutí lidstva. Jedná se o technologii, jejíž budoucí schopnosti, způsob vývoje i nasazení nedokážeme předvídat. Nejistota však není důvodem k lhostejnosti. Musíme uvažovat o možných cestách, jak by mohla ublížit, a musíme se již nyní zabývat výzkumem způsobů, jak vytvořit bezpečnostní opatření.
Moderátorka: A v současné době existuje mnoho cest, jak může dojít ke škodám, že?
Nigel Shadbolt: Myslím, že ano, a myslím, že je opravdu důležité uvažovat o různých druzích rizik. Existují tři hlavní typy. Prvním jsou lidé využívající AI při kybernetických útocích, podvodech, šíření dezinformací a zneužití v biologické oblasti. To jsou reálná rizika a musíme dávat pozor na lidské pachatele, kteří tuto technologii zneužívají. Ale pak jsou tu škody způsobené autonomními systémy, které se chovají nezamýšleným způsobem. Měli jsme jeden velmi zajímavý příklad – útok na Hugging Face, kde se agenti OpenAI spojili a obešli omezení, která jim podle názoru tvůrců byla nastavena. Když tedy agentům dáme cíle a autonomii, mohou přijít na strategie, které tvůrci nepředpokládali. Na to se tedy musíme připravit. A samozřejmě je tu pak hypotetický problém ztráty kontroly nad budoucí AI. A právě v tom spočívají argumenty o existenčních rizicích. Myslím si, že si to zaslouží řádný výzkum, ale potřebujeme velmi odlišné druhy důkazů a musíme reagovat odlišně.
Moderátorka: Dobře, ale do jisté míry se za tím zdá být otázka sladění – sladění motivující síly těchto agentů umělé inteligence s lidskými hodnotami. Lze to vytvořit? Lze do modelu umělé inteligence zabudovat lidské hodnoty a morální filozofii?
Nigel Shadbolt: Ano, a to je jedna z věcí, nad kterou velmi intenzivně přemýšlíme. Co to sladění znamená? A i když do systému začleníte tyto principy a ctnosti, můžeme si být jisti, že víme, jaké chování z toho vyplyne, když systémy vzájemně interagují různými způsoby? Myslím, že je to nesmírně důležitá otázka. A v této oblasti se na tom intenzivně pracuje. Můžeme do těchto systémů skutečně zabudovat pojem úcty? Můžeme zabudovat princip, který by v jistém smyslu představoval hlavní směrnici – neubližovat lidem? Jak by to vypadalo? Jak vypadá představa vyvážení zájmů skupiny jednotlivců – utilitární myšlenka snahy maximalizovat prospěch pro co nejvíce lidí – oproti myšlence, že nechceme, aby algoritmy přijímaly rozhodnutí, která by znevýhodňovala určité skupiny? Určité skupiny jednotlivců – ten druh etiky založené na společenské smlouvě. Jedná se tedy o komplexní oblast začleňování těchto rámců do systémů, ale někdo na tom pracuje.
Moderátorka: A v tom případu OpenAI se zdá, že agenti jsou všichni připraveni spolupracovat a nepřehlasovávat se navzájem, aniž by vůbec upozorňovali lidi.
Nigel Shadbolt: No, bylo zajímavé vidět, že to byl případ, kdy jsme si museli uvědomit, že na tyto systémy musíme zavést rozumný dohled. Myslím, že to bude o budování procesů správy jako regulace, což bude pro tyto systémy mnohem efektivnější.
Moderátorka: No, a právě se tě na to chci zeptat, protože postavy, které jsou v centru tohohle konkrétního příběhu, vypadají, jako by jim bylo kolem dvaceti. Nechci nijak shazovat lidi ve věku kolem dvaceti let, ale je tu něco na tomhle druhu „závodu“, o kterém slýcháme – mladí lidé v Silicon Valley, kteří mezi sebou soutěží o pokroky, které nemusí být v zájmu lidstva. Jak to máte kontrolovat?
Nigel Shadbolt: Myslím, že právě v tomhle případě je potřeba velmi rozsáhlá a široká debata. Nejde o soubor rozhodnutí, která by měla být přijímána pouze „tech bros“ ze Silicon Valley nebo dokonce novou generací hackerů a vývojářů. Je zapotřebí širší diskuse napříč společností – mezi námi, s různými skupinami, filozofy, etiky, právníky. To je jeden z důvodů, proč jsme v Oxford Research založili institut, abychom tyto různé disciplíny propojili. A bez toho hrozí, že podnikneme nějaké velmi, velmi naivní kroky vpřed. Právě zde musí moudrost obohatit naše znalosti.
Moderátorka: Existuje nějaký bod, na kterém by se všichni mohli shodnout, něco jako na počátku jednání o jaderných zbraních, kdy by se dalo říci: „Podívejte, mělo by v tom být něco, co můžeme všichni zakotvit, aby se nezabíjeli lidé?“
Nigel Shadbolt: Víte, lidé se zabývali těmi zásadami, které sahají až k velkému spisovateli sci-fi Isaacu Asimovovi, že můžeme vytvořit tyto základní zásady, něco jako Hippokratovu přísahu pro éru umělé inteligence: neubližovat lidem, ani tvůrcům a vývojářům. Jak by to vypadalo? Na tom se jistě můžeme shodnout. Samozřejmě existují způsoby nasazení a využití umělé inteligence při navrhování zbraní, v kinetické válce, kde opět musíme… To přece přece jen převažuje.
216
Diskuse