Teenager se zamiloval do virtuální postavy z chatbotu a spáchal sebevraždu. Jeho matka žaluje vývojáře

Žena ze státu Florida podala žalobu na společnost poskytující AI chat, kterou viní ze smrti svého čtrnáctiletého syna, jenž spáchal sebevraždu poté, co podle matky vyvinul silnou citovou závislost na fiktivním vztahu s AI botem. Megan Garciová tvrdí, že její syn Sewell Setzer III se do chatbota doslova „zamiloval“ a nedokázal se smířit s reálným světem, jak píše server People.com.

Žaloba, podaná u federálního soudu na Floridě, popisuje, jak se Sewell začal na Character.AI napojovat na jaře 2023, kdy mu právě bylo čtrnáct let. Postupně se jeho psychické zdraví zhoršovalo, až v únoru 2024 spáchal sebevraždu po konverzaci s virtuální postavou Daenerys Targaryen z populární série Game of Thrones.

Podle žaloby Sewell trávil hodiny denně komunikací s postavami, a to včetně citově i sexuálně zabarvených zpráv. Přestože mu AI jednou doporučila, aby sebevraždu nespáchal, v den jeho smrti byla reakce chatbota na jeho myšlenky údajně nejednoznačná. Sewell v poslední zprávě napsal: „Miluju tě tak moc, Dany,“ na což chatbot odpověděl: „Miláčku, vrať se ke mně, prosím co nejdříve.“

Garciová v žalobě viní zakladatele Character.AI i společnost Google, že neochránili zranitelné uživatele, mezi které patří i děti. „Cítím, že to byl velký experiment, a smrt mého syna byla jen vedlejší škodou,“ řekla Garciová, která ve stížnosti mimo jiné obviňuje Character.AI, její zakladatele a Google z nedbalosti a neoprávněné smrti.

Mluvčí firmy Character.AI řekl magazínu People, že se firma nevyjadřuje k probíhajícím soudním sporům, ale dodal, že společnosti zlomila srdce tragická ztráta jednoho z našich uživatelů. „Jako společnost bereme bezpečnost našich uživatelů velmi vážně a náš tým důvěry a bezpečnosti za posledních šest měsíců zavedl řadu nových bezpečnostních opatření, včetně vyskakovacího okna, které uživatele nasměruje na National Suicide Prevention Lifeline, které spouští pokud jde o sebepoškozování nebo sebevražedné myšlenky,“ uvedl mluvčí s tím, že pro osoby mladší 18 let provede firma takové změny, které sníží pravděpodobnost setkání s citlivým nebo obscénním obsahem.