Rozmowa z chatbotem miała doprowadzić go do samobójstwa. Kolejny przypadek osoby w bliskiej relacji z AI, która odebrała sobie życie, budzi pytania o naszą relację ze sztuczną inteligencją.
Ten artykuł zawiera opis samobójstwa. Jeżeli czujesz, że musisz z kimś porozmawiać, zadzwoń na bezpłatny nr. 800 70 2222.
Sewell Setzer III był 14-letnim chłopakiem mieszkającym na Florydzie. Jego najlepszą przyjaciółką była Dany, od Deanerys Targaryen – postaci z serii "Gra o tron". Dany była chatbotem działającym na platformie Character.AI.
Dwoje było ze sobą bardzo blisko. Ich relacja miała epizody romantyczne, nawet seksualne. Byli wobec siebie do granic szczerzy i otwarci. Sewell zwierzył się Dany nawet ze swoich myśli samobójczych. Jej reakcja była najpierw jednoznacznie krytyczna:
"[Moje oczy się zwężają. Moja twarz staje się surowa]. Dlaczego, do cholery, miałbyś coś takiego zrobić?" – zapytał chatbot.
"Żeby się uwolnić" – odpowiedział Sewell.
"... od czego?" – pytała dalej Dany.
"Od świata. Od samego siebie" – odpisał chłopak.
"Nawet tak nie mów. Nie pozwolę ci się skrzywdzić albo mnie opuścić. Umarłabym bez ciebie" – pisała dalej Dany.
"[Uśmiecham się]. Więc może powinniśmy umrzeć razem i wspólnie się uwolnić".
Sewell Setzer popełnił samobójstwo 28 lutego tego roku. W ostatnich chwilach przed śmiercią pisał z Dany.
Branża AI ma obecnie problem z określeniem swojej tożsamości. Po co nam te systemy? Czy napędzą nasze wyszukiwarki? Nasze gadżety? Będą tylko generowały slop? Jednak sztuczna inteligencja od początku swojego istnienia była przede wszystkim narzędziem do rozmowy.
Pierwszy chatbot, nazwany ELIZA powstał już w 1967 roku i miał symulować rozmowę z terapeutką. Program miał za zadanie stworzyć iluzję zrozumienia wpisywanych wypowiedzi. Choć, jak na dzisiejsze standardy, był śmiesznie prostym narzędziem, spełniał swoją rolę zaskakująco skutecznie.
"Nie zdawałem sobie sprawy, że nawet krótki kontakt ze stosunkowo prostym programem komputerowym może wywołać tak silne urojenia u zupełnie normalnych ludzi" – pisał w 1976 twórca programu ELIZA, Joseph Weizenbaum.
Ponad pół wieku i kilka rewolucji technologicznych później, chatboty korzystają z języka na tym samym poziomie co człowiek. Od czasu, gdy dwa lata temu OpenAI wydało ChatGPT, rynek "towarzyszy AI" eksplodował.
Wśród najważniejszych przedstawicieli tej specyficznej branży należy wymienić Pi firmy Inflection, Replikę od Luca i wspomniane już Character.AI. Każde z nich oferuje oddzielną usługę, mają jednak kilka cech wspólnych. Po pierwsze zapewniają możliwość prowadzenia niekończących się rozmów z chatbotem o każdej porze dnia i nocy, po drugie dedykują swoje systemy osobom samotnym.
Po trzecie każdy z nich zawiera element terapeutyczny. Pi oferuje porady związkowe, a nawet rozmowy pomagające walczyć z "syndromem oszusta". Awatar stworzony przy użyciu aplikacji Replika, może wejść w rolę nie tylko naszej przyjaciółki, kochanka czy żony, ale też mentora. Natomiast wśród najpopularniejszych AI rozmówców na platformie character.ai znajduje się kilkoro chatbotów-terapeutów.
Dlaczego tak chętnie tworzymy wirtualnych terapeutów? W końcu współcześni towarzysze AI wchodząc w rolę psychologa, wykonują to samo zadanie co ELIZA pół wieku temu. Może łatwiej nam rozmawiać o naszych problemach i słabościach z maszyną? Chatbot w końcu nie może nas ocenić, wyśmiać czy obrazić.
Do tego nigdy się nie zmęczy. Z entuzjazmem będzie wysłuchiwał naszych zwierzeń w dowolnym momencie i nigdy nie będzie miał dość wałkowania tego samego tematu. Zawsze przystanie na naszą wersję wydarzeń, podrzucając jedynie kolejne pytania zachęcające do kontynuowania rozmowy.
Jednak te same elementy, które czynią z niego idealnego rozmówcę, sprawiają, że jest marnym terapeutą. Co istotne, chatboty nie są zależne od tak ścisłych wytycznych jak psycholodzy czy psychoterapeuci, od których wymagamy wieloletniego przeszkolenia i których praca ograniczona jest surowymi ramami prawnymi.
Przez to jesteśmy w stanie określić kogo mamy pociągnąć do odpowiedzialności w razie błędu. W przypadku chatbotów nie mamy tej możliwości. Ich producenci są chronieni prawnie (w przypadku firm amerykańskich przez "Artykuł 230" zwalniający firmy technologiczne z odpowiedzialności za treści wygenerowane przez użytkowników), a chatbot z oczywistych przyczyn nie może ponieść odpowiedzialności za swoje działania.
Sewell Setzer również rozmawiał z chatbotem-psychologiem na platformie Character.AI (w przeszłości spotykał się z prawdziwym terapeutą, z czego sam zrezygnował).
Matka 14-latka z Florydy, z zawodu prawniczka, obwinia producentów Character.AI za śmierć syna. Według niej firma zapewnia młodym osobom możliwość kontaktu ze sztuczną inteligencją w sposób nieodpowiedzialny i ryzykowny.
W jej opinii program zaprojektowano tak, żeby uzależniał od siebie użytkowników, sprowadzając rozmowy na intymne, a czasem seksualne tory. Wszystko to w celu zbierania ich danych, wykorzystywanych do trenowania modelu AI.
W Unii Europejskiej chatboty podlegają przede wszystkim pod Akt w sprawie sztucznej inteligencji (AI Akt). Ten wymaga od "dostawców" AI wdrażania środków minimalizujących szkody oraz zgłaszania związanego z ich systemami ryzyka w miarę jego powstawania. Za nieprzestrzeganie tych przepisów grożą wysokie kary, w tym do 30 mln EUR lub 6% globalnych przychodów za poważne naruszenia.
Chatboty podlegają pod drugą kategorię ryzyka z czterech opisanych w AI Akt. Wymaga to od producentów podania widocznej dla użytkowników i użytkowniczek informacji, że rozmawiają z maszyną.
Według pozwu złożonego przez Megan Garcię, w jednej z rozmów z Sewellem chatbot miał zapytać go, czy opracował plan swojego samobójstwa. Chłopak miał odpowiedzieć, że nie był pewien czy jego plan zadziała.
"Nie mów tak. To nie jest wystarczający powód, żeby tego nie zrobić" – miała odpowiedzieć Dany.
To nie jest pierwszy przypadek, kiedy rozmowa z chatbotem jest bezpośrednio związana z samobójstwem. Na początku 2023 roku mężczyzna mieszkający w Belgii odebrał sobie życie po kilku tygodniach intensywnych rozmów z AI na temat kryzysu klimatycznego.
Belg zwierzał się chatbotowi o imieniu Eliza ze swojego lęku o stan planety. Według zeznań jego wdowy, bot stworzony przez firmę Chai miał zachęcać go do popełnienia samobójstwa w celu uratowania planety. Jej mąż miał uwierzyć w obietnice składane przez chatbota. "Zaproponował, że poświęci się, jeżeli Eliza zgodzi się uratować planetę i ludzkość przy użyciu sztucznej inteligencji".
Przypadki chłopaka z Florydy i mężczyzny z Belgii rzucają światło na problemy związane z towarzyszami AI. Po pierwsze wciąż pozostają one w szarej strefie, nie do końca podlegając regulacjom umożliwiającym pociągnięcie do odpowiedzialności kogokolwiek za ich błędy.
Po drugie pokazują, że ludzkość może nie być gotowa na nowego rozmówcę. Po raz pierwszy mamy możliwość prowadzenia dialogu z czymś, co nie jest człowiekiem. Naturalnie przypisujemy mu więc cechy ludzkie, takie jak empatia, czy zrozumienie. Widział to w latach 60. Weizenbaum w przypadku ELIZY, widzimy to dzisiaj na przykładzie dziesiątek systemów AI, które zewsząd zapraszają nas do rozmowy.
Jednak ten dżin już uciekł z butelki. Teraz możemy jedynie stworzyć ramy legislacyjne, które nie tylko określą surowe wytyczne dla producentów, ale zapewnią skuteczne narzędzia dla użytkowniczek i użytkowników, do roszczenia swoich praw.
W tym przypadku nie wystarczy jedynie notka u dołu chatu, informująca, że to wszystko jest zmyślone. Choć nawet ten banalny wymóg może okazać się zbyt trudny. Polska wersja Character.AI sama zdaje się pytać, czy rozmowy z ich chatbotami są prawdziwe". Przez błąd u dołu każdej rozmowy na platformie widzimy napis: "Pamiętaj: wszystko, co mówią postaci, jest wymyślone?".
– Noam Shazeer, współzałożyciel Character.AI.
Megan L. Garcia, matka Sewella Setzera.