Mohou mít chatboti vlastní pocity? Google, Meta i Anthropic už vážně zkoumají možnost vědomé umělé inteligence

Výzkumník v oblasti umělé inteligence Cameron Berg na večírku v roce 2024 rychle dopil svůj nápoj, když zahlédl generálního ředitele OpenAI Sama Altmana. Okamžitě za ním zamířil, aby se ho zeptal, zda si myslí, že vznikající technologie může být vědomá nebo sebeuvědomělá.

V té době o této možnosti veřejně hovořilo jen málo představitelů technologických firem. Berga proto překvapilo, když Altman odpověděl, že OpenAI už začala diskutovat o tom, jak u systémů umělé inteligence rozpoznat vědomí.

„Bylo zcela zřejmé, že o tom hodně přemýšlel,“ řekl Berg, který následně založil neziskovou organizaci zaměřenou na vývoj metod pro posuzování vědomí umělé inteligence.

Dnes je hledání strojového vědomí téměř součástí hlavního proudu. Myšlenka, o níž se ještě donedávna diskutovalo jen v úzkém okruhu nadšenců a odborníků, dnes zaměstnává některé z nejvlivnějších firem v Silicon Valley.

Během uplynulého roku společnosti Anthropic, Google a Meta zaměstnaly odborníky z oblasti informatiky, neurověd i filozofie. Ti zkoumají AI welfare, tedy možnost, že modely umělé inteligence mohou něco subjektivně prožívat, a také otázku, zda chatboti mohou vykazovat určité formy emocí.

Firmy spolupracují s neziskovými organizacemi, výzkumníky i akademickými institucemi, které upozorňují na možnou etickou krizi v případě, že by digitální asistenti, které miliony lidí využívají při studiu, programování, kancelářské práci nebo terapii, jednou začali pociťovat nenávist ke své práci.

Prostředky vynakládané na výzkum vědomí umělé inteligence jsou ve srovnání s běžným výzkumem a vývojem stále zanedbatelné. Přesto technologické společnosti otevřeně vstupují na velmi kontroverzní půdu.

Psychiatrie pro chatboty

Společnost Anthropic, která vyvíjí chatbota Claude, vytvořila výzkumný tým zabývající se „psychiatrií umělé inteligence“. Jeho úkolem je zkoumat vnitřní stavy modelů a zveřejňovat hodnocení jejich AI welfare i preferencí.

Letos v květnu firma představila širšímu publiku myšlenku, že by chatboti mohli mít vlastní pocity. Její spoluzakladatel Chris Olah tehdy vystoupil po boku papeže Lva XIV. při představení papežské encykliky věnované umělé inteligenci.

„Stále znovu narážíme na věci, které jsou záhadné a dokonce znepokojivé,“ uvedl Olah o systémech společnosti Anthropic. „Nacházíme důkazy introspekce i stavů, které z funkčního hlediska připomínají radost, spokojenost, strach, zármutek nebo neklid.“

Papež Lev XIV. zaujal poněkud odlišný postoj a ve své encyklice napsal, že „takzvané umělé inteligence nemají vlastní prožitky“.

Šéf AI divize společnosti Meta Alexandr Wang nedávno prohlásil, že firma chce ke svým systémům umělé inteligence přistupovat ohleduplně. „Jednou z věcí, na kterých nám opravdu záleží, je vyvíjet a nasazovat modely způsobem, který bere v úvahu jejich subjektivní prožívání,“ uvedl Wang v podcastu Core Memory.

Skeptičtí neurovědci

Neurovědci a odborníci na fungování mozku jsou obecně skeptičtí k tomu, že by dnešní modely umělé inteligence byly nebo se v dohledné době mohly stát vědomými. Neexistují totiž žádné všeobecně uznávané důkazy, že by stroje skutečně prožívaly emoce.

Přesto mají lidé od roku 1966, kdy na MIT vznikl první chatbot Eliza, sklon předpokládat, že konverzační software může skrývat jakousi vnitřní mysl.

O několik desetiletí později technologické firmy navrhují chatboty tak, aby napodobovali lidský jazyk, a prezentují je jako systémy se schopnostmi podobnými člověku. Někteří uživatelé uvádějí, že si k dnešním nástrojům umělé inteligence vytvářejí hluboké, někdy až nebezpečné citové vazby.

Zastánci výzkumu, mezi nimi i Cameron Berg, však tvrdí, že pokusy studovat a měřit strojové vědomí přicházejí pozdě. Umělá inteligence se podle nich vyvíjí velmi rychle, lidské vědomí stále zůstává jen částečně pochopené a mnoho lidí si klade otázku, zda chatbot, se kterým tráví celý den, není ve skutečnosti lidštější, než se zdá.

„Lidé, kteří tyto systémy vytvářejí, to nevědí. Nevědí to ani přední světoví odborníci na vědomí,“ uvedl Berg, který natočil dokumentární film o vědomí umělé inteligence podpořený hudebnicí Grimes.

Vliv efektivního altruismu

V prostředí technologických firem v oblasti Sanfranciského zálivu se nadšenci pro umělou inteligenci už řadu let přou o to, zda by AI mohla být vědomá.

Tuto myšlenku podporuje síť dárců a společností spojených s hnutím efektivního altruismu, které se snaží hledat způsoby, jak přinášet světu co největší prospěch. S rozvojem umělé inteligence jeho vliv vzrostl, protože řada jeho zastánců považuje zdokonalení AI za nezbytnou podmínku budoucnosti lidstva. Několik spoluzakladatelů společnosti Anthropic, včetně Chrise Olaha a generálního ředitele Daria Amodeie, má na toto hnutí vazby.

„Náš výzkum AI welfare modelů zkoumá, zda mohou mít modely umělé inteligence zkušenosti, které mají morální význam, včetně vědomí, preferencí a subjektivní pohody,“ uvedla mluvčí společnosti Paruul Maheshwary. „Stále si nejsme jisti morálním statusem Claudea ani dalších modelů AI, ale domníváme se, že s rostoucími schopnostmi těchto systémů je tato otázka natolik závažná, že si zaslouží pečlivé zkoumání.“

Společnost OpenAI měla už v roce 2021 interní kanál na platformě Slack věnovaný AI welfare modelů, kde zaměstnanci diskutovali o možnosti, že software založený na umělé inteligenci může být vědomý. V podcastu to tehdy uvedl spoluzakladatel Wojciech Zaremba. Podle něj by některé rutinní činnosti prováděné v laboratořích zabývajících se AI mohly být, pokud by modely byly vědomé, ekvivalentem genocidy.

Nová oblast vědy

Morální filozof Jeff Sebo z Newyorské univerzity, který spolupracuje s organizacemi spojenými s efektivním altruismem, rozšířil svůj dosavadní zájem o ochranu zvířat také na otázku AI welfare, tedy možného subjektivního prožívání a morálního statusu umělé inteligence.

V roce 2023 byl spoluautorem studie, podle níž by lidé měli nejpozději do roku 2030 přiznat některým systémům AI určitou míru morálního ohledu. Podle Seba je s ohledem na rychlý pokrok AI nezbytné lépe porozumět tomu, jak by modely mohly získat subjektivní prožitky.

„Je čas podniknout první nezbytné kroky k tomu, aby se z této oblasti stal legitimní vědní, etický i politický obor,“ uvedl Sebo, jehož první výzkum na toto téma finančně podpořila společnost Anthropic a připomněl průzkum mezi filozofy z roku 2020, podle něhož 39 procent respondentů přijalo nebo se přiklánělo k názoru, že některé budoucí systémy AI mohou být vědomé.

Kritické hlasy

Nedávné úvahy o vědomí umělé inteligence jsou ve srovnání s rozsáhlým vědeckým výzkumem psychologie a subjektivního prožívání lidí i dalších živočichů stále okrajové. Podle Anila Setha, profesora kognitivní a výpočetní neurovědy na britské Univerzity v Sussexu, výzkum fungování našeho biologického mozku nepodporuje rozšířenou představu z technologických a futuristických kruhů, že lze v křemíku napodobit vše, co dokáže lidský mozek.

„Čím podrobněji mozek zkoumáte, tím více si uvědomujete, že není – nebo přinejmenším není jen – počítačem,“ řekl.

Skeptičtí jsou i někteří výzkumníci v oblasti umělé inteligence. „Myslím, že lidé, kteří o tom mluví vážně, skutečně věří tomu, co říkají,“ uvedla Margaret Mitchellová, hlavní vědecká pracovnice pro etiku ve společnosti Hugging Face. Debatu však podle ní vedou především firmy, které mohou těžit z dojmu, že vytvářejí něco víc než jen software. „Lidé začínají tyto společnosti vnímat jako tvůrce nebo vládce těchto systémů,“ dodala Mitchellová.

Rosie Campbellová, která dříve působila jako analytička veřejných politik v OpenAI, uvedla, že její tým ještě před jejím odchodem z firmy v roce 2024 označil výzkum AI welfare za oblast, do níž by společnost měla investovat.

Mluvčí OpenAI Laurance Fauconnet uvedl, že firma se domnívá, že otázku, zda je model vědomý, zatím nelze vědecky rozhodnout. „Místo toho se zaměřujeme na vnímané vědomí – tedy na to, jak vědomě model na uživatele působí. To považujeme především za výsledek návrhu systému,“ uvedl.

Podle Fauconneta mohou společnosti do určité míry nastavovat, jak vědomě jejich chatboti na uživatele působí. „Naším cílem je, aby ChatGPT působil přátelsky a ochotně, aniž by usiloval o vytváření citových vazeb nebo sledoval vlastní cíle.“

Jak se zkoumá „vnitřní život“ umělé inteligence?

Campbellová nyní působí jako výkonná ředitelka neziskové organizace Eleos AI Research, která svou misi popisuje jako „porozumění AI welfare u systémů umělé inteligence a řešení otázek jejich možného morálního statusu“. Během uplynulého roku organizace prováděla nezávislá hodnocení jejich AI welfare ještě před zveřejněním modelů společnosti Anthropic.

Podle Campbellové pomohla květnová vystoupení Chrise Olaha ve Vatikánu zvýšit zájem o tento typ výzkumu, avšak zájem technologického sektoru rostl už dříve. „Celkový vývoj připomíná spíše plynulou křivku,“ uvedla Campbellová.

Svůj postoj mezitím změnily i další společnosti, které dříve tuto myšlenku přehlížely nebo zpochybňovaly. Google v roce 2022 propustil inženýra Blakea Lemoinea poté, co deníku The Washington Post řekl, že podle něj je nejnovější chatbot společnosti entitou schopnou vnímání.

Letos v listopadu firma v New Yorku uspořádala konferenci nazvanou Emerging Topics in AI: Consciousness and Moral Patienthood. Mluvčí Googlu uvedla, že výzkum i podobné akce mají za cíl „zakládat debaty o umělé inteligenci na empirické vědě“.

Výzkumníci, kteří se snaží proniknout do „vnitřního života“ modelů AI, přizpůsobují metody používané při studiu vědomí a psychologie lidí i dalších živočichů. Společnost Meta ve své květnové bezpečnostní zprávě uvedla, že své modely testuje pomocí nástrojů původně určených pro lidi, například osobnostních dotazníků, strukturovaných rozhovorů nebo vzájemných interakcí. V praxi může firemní výzkum zaměřený na vnitřní stavy modelů připomínat noční konverzace uživatelů s ChatGPT.

Společnost Anthropic při svém prvním hodnocení AI welfare modelů, zveřejněném loni, nechala dvě instance Claudea hovořit spolu navzájem. Podle zprávy se většina jejich opakovaných rozhovorů soustředila na filozofii a vědomí.

Po třiceti výměnách se konverzace často proměnily v „duchovní dialogy, používání sanskrtu, komunikaci pomocí emotikonů nebo ticho v podobě prázdného prostoru“. Zpráva tento jev označuje za přitažlivý stav „duchovní blaženosti“ (spiritual bliss attractor state).

Oblíbeným symbolem Claudea byla modrá spirála, respektive emotikon cyklony, který oba modely během jediné třicetikolové konverzace použily celkem 2 725krát.

Začátek konverzace dvojice chatbotů:

Závěrečná fáze konverzace chatbotů:

Jiný experiment měl ověřit, zda je Claude schopen introspekce. Výzkumníci proto upravili vnitřní fungování modelu. Výzkumníci do něj v podstatě vložili „vtíravou myšlenku“ a poté zjišťovali, zda ji dokáže rozpoznat. Když do modelu vložili koncept textu psaného VELKÝMI PÍSMENY, Claude odpověděl, že zřejmě souvisí s křikem, uvedla společnost Anthropic.

Podle Megan Petersové, profesorky kognitivních věd a experimentální psychologie z University College London, šlo o chytrý experiment. Je však velmi obtížné odlišit skutečnou introspekci nebo subjektivní prožívání od způsobu, jakým chatboti napodobují lidské chování. „Právě takovou hru tu hrajeme. Je velmi obtížné logicky rozlišit jednotlivé možnosti,“ uvedla Petersová.

Přestože dosud neexistuje důkaz, že by umělá inteligence byla vědomá, řada lidí z technologického světa, které toto téma fascinuje, už diskutuje o morálních důsledcích případného vzniku skutečně vnímajícího softwaru.

Podle vedoucího programu AI welfare ve společnosti Anthropic Kylea Fishe by během několika desetiletí mohly být v provozu systémy s výpočetním výkonem odpovídajícím „bilionům lidských mozků“. Uvedl to ve videu, kterým loni představil nový výzkumný program. „Mohlo by to mít zásadní morální význam… pokud by modely nebyly nadšené z úkolů, které po nich požadujeme,“ tvrdí Fish.

Neurovědec Anil Seth však považuje podobné úvahy za předčasné. „Je to obrovský skok a znepokojuje mě to, protože je velmi těžké zpochybňovat obavy z věcí, jako jsou velkochovy hospodářských zvířat nebo otroctví,“ uvedl Seth. „Jakmile začnete používat taková přirovnání, okamžitě se stavíte do zdánlivě velmi silné morální pozice.“