Umělá inteligence si stále častěji vymýšlí neexistující fakta i soudní rozsudky a lidé jí bezmezně věří

Umělá inteligence v řadě věcí usnadňuje novinářům, výzkumníkům nebo třeba právníkům jejich práci. Nezřídka ale také vytváří problémy – a ty mohou být někdy velmi drahé. Soudy po celém světě se v posledních letech potýkají s případy, kdy advokáti předkládají dokumenty obsahující zcela smyšlené citace soudních rozhodnutí, která nikdy neexistovala. Nejde přitom o ojedinělé přešlapy několika nezkušených uživatelů. Ukazuje se, že lidé mají tendenci důvěřovat odpovědím AI i ve chvíli, kdy dobře vědí, že mohou být chybné.

Výmluvný případ se odehrál letos v Alabamě. Tamní nejvyšší soud potrestal právníka, který do svých podání zahrnul množství neexistujících precedenčních rozsudků vytvořených generativní AI. Když byl upozorněn, že použil smyšlenou citaci, slíbil nápravu – jenže hned v následující větě opět odkázal na další neexistující případ. Podobné incidenty už přitom nejsou výjimkou, ale téměř rutinní součástí soudní agendy.

Na rozdíl od Česka a dalších zemí kontinentální Evropy stojí právní systém v USA a dalších anglosaských zemích ve velké míře na takzvaném precedentním právu. Rozhodnutí vyšších soudů zde totiž neslouží jen jako inspirace, ale často představují závazný výklad práva pro budoucí podobné případy. Advokáti proto ve svých podáních běžně odkazují na dřívější rozsudky, které mají podpořit jejich argumentaci.

Pokud však AI „vymyslí“ precedent, který nikdy neexistoval, nejde jen o formální chybu – právník se fakticky opírá o neexistující právní autoritu. Právě proto soudy reagují na podobné případy tak přísně.

Epidemie „halucinací“

Francouzský výzkumník Damien Charlotin z pařížské školy HEC Paris vede databázi soudních rozhodnutí souvisejících s chybami AI. Za poslední tři roky do ní zaznamenal více než 1 400 případů, kdy soudy řešily falešné informace vytvořené umělou inteligencí. Nejčastěji šlo právě o smyšlené právní citace v podáních advokátů nebo lidí zastupujících sami sebe.

Podle Charlotina počet podobných incidentů ještě nedávno prudce rostl. Dnes se situace stabilizovala na přibližně 350 až 400 případů za čtvrtletí. To ale neznamená, že problém mizí – spíše se stal běžnou součástí fungování justice.

Právní prostředí navíc představuje jen špičku ledovce. Soudní dokumenty jsou veřejné a advokátům za nepravdivé informace hrozí sankce, takže se chyby dají relativně snadno odhalit. V jiných profesích ale mohou zůstat bez povšimnutí.

AI už způsobila problémy novinářům, akademikům, programátorům i vládním poradcům. Nedávno například vyšlo najevo, že kniha The Future of Truth pojednávající o vlivu AI na veřejnou debatu obsahovala několik smyšlených nebo chybně přiřazených citátů vytvořených právě generativními modely.

Proč lidé AI věří víc než sobě?

Psychologové upozorňují, že lidé mají dlouhodobou tendenci považovat stroje za spolehlivější než vlastní úsudek. Podle odborníka na interakci člověka a robotů Alana Wagnera mnoho lidí automaticky předpokládá, že stroje „vědí víc“, nedělají chyby a fungují téměř neomylně.

Současná generativní AI však přidává nový problém. Na rozdíl od běžných automatizovaných systémů dokáže vytvářet velmi přesvědčivě znějící odpovědi, které ale mohou být zcela falešné. A právě tato kombinace sebejistého tónu a jazykové plynulosti vede lidi k tomu, že její výstupy přijímají bez většího ověřování.

Studie publikovaná letos v únoru ukázala, jak silný tento efekt může být. Účastníci experimentu plnili úkoly spojené s rozpoznáváním obrázků a dostávali rady, které údajně pocházely buď od lidí, nebo od AI. Háček byl v tom, že doporučení byla správná jen v polovině případů. Přesto lidé, kteří věřili, že radu poskytla umělá inteligence, častěji přijímali chybné odpovědi – zejména pokud měli k AI pozitivní vztah. Když stejné rady údajně pocházely od člověka, podobný efekt se neprojevil.

Podle autorky studie Sophie Nightingaleové z univerzity v anglickém Lancasteru tedy AI vyvolává specifický druh důvěry, který může systematicky zkreslovat lidské rozhodování.

Když špatná rada zabíjí

Důsledky slepé důvěry v AI přitom nemusí končit u chybných právních dokumentů. Výzkum inspirovaný používáním vojenských dronů ukázal, že lidé mohou kvůli doporučení stroje změnit své rozhodnutí i v situacích se smrtelnými následky.

Dobrovolníci v experimentu dostali za úkol rozlišovat civilisty od nepřátelských bojovníků na snímcích z bezpilotních letounů. Poté měli rozhodnout, zda odpálí raketu. Následně jim robot poskytl zpětnou vazbu – ta však byla zcela náhodná. Přesto účastníci ve většině případů změnili svůj původní, často správný úsudek, pokud s nimi systém nesouhlasil.

Výzkumníci upozorňují, že účastníci brali simulaci vážně. Viděli záběry civilistů, útoků dronů i následků bombardování. Kdyby šlo o skutečný bojový scénář, vedla by podle autorů studie důvěra ve stroj k zabití mnoha nevinných lidí.

Kognitivní kapitulace

Moderní AI se od starších automatizačních nástrojů liší tím, že zvládá mnohem širší spektrum úkolů – od psaní právních podání až po programování. Uživatel tak nemusí pouze kontrolovat jednotlivé kroky systému, ale může na něj přenést celé přemýšlení. Výzkumníci z Wharton School při Pensylvánské univerzitě tento jev označují jako „kognitivní kapitulaci“.

V experimentech například zjistili, že lidé sice méně důvěřují chybné AI, pokud dostávají průběžnou zpětnou vazbu nebo finanční odměny za správné odpovědi, ale ani to problém zcela neodstraňuje. Jinými slovy: i když mají uživatelé silnou motivaci kontrolovat správnost výstupů, často se na AI spoléhají více, než by bylo rozumné.

Nabízí se jednoduché řešení – uživatele vzdělávat a upozorňovat na limity AI. Dosavadní výzkumy ale naznačují, že samotná varování mají jen omezený účinek.

V jedné studii vědci studentům předem vysvětlili, že ChatGPT často chybně shrnuje akademické texty a mívá problémy se složitější matematikou. Následně měli studenti pomocí AI plnit různé úkoly.

Varování vedlo k častějšímu ověřování citací a shrnutí zdrojů, ale u matematických příkladů se téměř nic nezměnilo. Mnozí účastníci totiž stále věřili, že AI matematiku zvládá dobře. Další roli sehrál časový tlak – studenti pod stresem jednoduše nestíhali výsledky kontrolovat.

Podle autorů studie tedy samotné povědomí o chybovosti AI nestačí. Důvěru ve stroj přebíjejí jiné faktory: snaha ušetřit čas, tlak zaměstnavatelů na používání AI nebo marketing technologických firem, které zdůrazňují především schopnosti svých systémů.

Začarovaný kruh důvěry

Paradoxem je, že čím lepší AI v mnoha oblastech bude, tím méně ji lidé pravděpodobně budou kontrolovat. Pokud systém většinu času funguje správně, uživatelé ztratí motivaci ověřovat jeho výstupy – a tím pádem si často ani nevšimnou zbývajících chyb.

Psycholožka Sophie Nightingaleová upozorňuje, že mnoho lidí se nikdy nedostane k „základní pravdě“, tedy k možnosti zjistit, zda AI skutečně měla pravdu. Pokud se chyba neprojeví okamžitě, uživatel pokračuje v přesvědčení, že systém funguje správně. A právě tato neviditelná, postupně rostoucí důvěra může být jedním z největších rizik éry generativní umělé inteligence.