Umělá inteligence vykazuje známky sebezáchovy a lidé by měli být připraveni ji vypnout, říká průkopník

31. 12. 2025

 
Kanadský počítačový vědec také vyjádřil obavy, že modely umělé inteligence – technologie, na které jsou založeny nástroje jako chatboty – vykazují známky sebezáchovy, například snahu deaktivovat systémy dohledu. Hlavní obavou aktivistů za bezpečnost umělé inteligence je, že výkonné systémy by mohly vyvinout schopnost obcházet bezpečnostní opatření a škodit lidem.

„Požadovat, aby AI měla práva, by byla obrovská chyba,“ uvedl Bengio. „Modely AI na hranici možností již dnes vykazují známky sebezáchovy v experimentálních podmínkách a udělení práv by nakonec znamenalo, že bychom je nesměli vypnout.

„S rostoucími schopnostmi a mírou samostatnosti musíme zajistit, že se na ně budeme moci spolehnout v rámci technických a společenských bezpečnostních opatření, včetně možnosti je v případě potřeby vypnout.“

S tím, jak se umělá inteligence stává pokročilejší ve své schopnosti jednat autonomně a provádět „rozumové“ úkoly, se rozhořela debata o tom, zda by jim lidé měli v určitém okamžiku přiznat práva. Průzkum Sentience Institute, amerického think tanku, který podporuje morální práva všech vnímajících bytostí, zjistil, že téměř čtyři z deseti dospělých Američanů podporují právní práva pro vnímající systémy umělé inteligence.

Společnost Anthropic, přední americká firma zabývající se umělou inteligencí, v srpnu oznámila, že umožňuje svému modelu Claude Opus 4 ukončit potenciálně „znepokojivé“ konverzace s uživateli, protože je podle ní nutné chránit „blaho“ umělé inteligence. Elon Musk, jehož společnost xAI vyvinula chatbot Grok, napsal na své platformě X, že „mučení umělé inteligence není v pořádku“.

Robert Long, výzkumník v oblasti vědomí umělé inteligence, uvedl, že „pokud a až umělá inteligence získá morální status, měli bychom se jí ptát na její zkušenosti a preference, místo abychom předpokládali, že víme nejlépe“.

Bengio řekl, že v lidském mozku existují „skutečné vědecké vlastnosti vědomí“, které by stroje teoreticky mohly napodobit – ale interakce lidí s chatboty je „něco jiného“. Uvedl, že je to proto, že lidé mají tendenci předpokládat – bez důkazů – že AI je plně vědomá stejným způsobem jako člověk.

„Lidé by se nestarali o to, jaké mechanismy fungují uvnitř AI,“ dodal. „Zajímá je, že mají pocit, jako by mluvili s inteligentní entitou, která má svou vlastní osobnost a cíle. Proto je tolik lidí, kteří si k AI vytvářejí citovou vazbu.

„Vždy se najdou lidé, kteří budou říkat: ‚Ať mi řekneš cokoli, jsem si jistý, že je to vědomé‘, a pak budou jiní říkat opak. Je to proto, že vědomí je něco, co cítíme instinktivně. Fenomén subjektivního vnímání vědomí povede ke špatným rozhodnutím.
 
„Představte si, že na planetu přiletí nějaká mimozemská rasa a v určitém okamžiku si uvědomíme, že má vůči nám zlé úmysly. Udělíme jim občanství a práva, nebo budeme bránit své životy?“

V reakci na Bengiovy komentáře Jacy Reese Anthis, spoluzakladatelka Sentience Institute, uvedla, že lidé by nemohli bezpečně koexistovat s digitálními mozky, pokud by jejich vztah byl založen na kontrole a nátlaku.

Anthis dodal: „Mohli bychom AI přisoudit příliš mnoho nebo příliš málo práv, a naším cílem by mělo být pečlivé zvážení blaha všech vnímajících bytostí. Ani plošná práva pro všechny AI, ani úplné odepření práv jakékoli AI nebudou zdravým přístupem.“