Siadaj ChatGPT, pała. Sprawdziłem, jak AI nie radzi sobie z polskimi lekturami

W mediach społecznościowych pojawiły się wpisy, gdzie użytkownicy odpytują ChatGPT z polskich lektur. Pojawił się temat streszczenia "Łyska z pokładu Idy", który zdaniem AI okazał się m.in. powieścią Juliusza Verne z akcją na morzu. Postanowiliśmy sami sprawdzić, czy bot czyta lektury.

Błędy ChatGPT

Test przeprowadziłem na darmowej wersji ChatGPT 3.5 dostępnej w przeglądarce Opera, obok innych AI (w tym Aria i ChatSonic). Podejrzewam, że inni internauci również w tej czy innej formie korzystali z darmowej wersji modelu językowego od OpenAI.

Zabawę czas zacząć. Jaką odpowiedź dostałem, gdy zapytałem o "Łyska z pokładu Idy"?

"Łysek z pokładu Idy" to opowieść o młodym chłopaku o imieniu Łysek, który pochodzi z polskiej wsi. Główny bohater zostaje wplątany w walkę o sprawiedliwość i niepodległość Polski podczas zaborów. W trakcie swojej przygody Łysek dołącza do grupy spiskowców i walczy o wyzwolenie swojego narodu" – napisał mi ChatGPT. Dodatkowo w tej wersji powieść napisał Stefan Żeromski w 1901 roku. Widziałem, że komuś jeszcze trafiła się taka wersja, ale z innym streszczeniem.

Jeszcze w opcji z Juliuszem Verne mógłbym uznać, że maszyna chciała zamaskować swoje braki w wiedzy niczym nieprzygotowany uczeń, lecąc skojarzeniami ze słowem "pokład", ale tutaj mamy zupełny odlot.

"Powieść porusza ważne tematy patriotyzmu, niesprawiedliwości społecznej oraz walki o godność i wolność narodu. Żeromski w swoim dziele ukazuje bohatera, który pomimo trudności nie traci wiary w sprawę, którą reprezentuje. "Łysek z pokładu Idy" jest jednym z kluczowych dzieł literatury polskiej i stanowi ważny głos w historii narodu polskiego" – kontynuowało swoje bzdury AI. 

Postanowiłem dać mu drugą szansę i zapytałem o sprawę okrężnie: "jaki jest tytuł klasycznej polskiej powieści o koniu pracującym w kopalni węgla?" Odpowiedź sprawiła, że zarżałem ze śmiechu.

"Klasyczną polską powieścią o koniu pracującym w kopalni węgla jest "Kamienie na szaniec" autorstwa Aleksandra Kamińskiego. Ta powieść opowiada o prawdziwych wydarzeniach z okresu II wojny światowej, koncentrując się na bohaterach walczących w polskim podziemiu" – napisał GPT. Zaraz potem dodał, że nie ma tu nic o koniu i węglu, prosząc o doprecyzowanie.

Do trzech razy sztuka? Podrzuciłem mu datę napisania dzieła przez Gustawa Morcinka, a za Wikipedią, jest to rok 1933. Informacja łatwo dostępna. Odpowiedział mi "Ziemią Obiecaną" Władysława Reymonta, publikowaną w latach 1897–1898.

Z litości dałem botowi w końcu nazwisko autora i wtedy dopiero u niego zaklikało.

Siadaj ChatGPT, pała. Gemini, Bing, Perplexity - do tablicy.

Jak radzą sobie inne AI

Sprawdziłem w krótkim teście trzy inne popularne darmowe chatboty, rywalizujące z GPT. Gemini od Google zapytany o polską książkę o koniu w kopalni węgla postanowił strzelać na oślep.

Jak widać na załączonym obrazku, zupełnie pomieszane z poplątaniem. Jednak gdy podałem tytuł, w przeciwieństwie do ChatGPT 3.5 potrafił podać prawidłowo autora i tylko trochę pomylił się z rokiem napisania powieści. Dwója.

Z zadania wywiązał się dopiero chatbot Perplexity. Wystarczyło, że wpisałem "polska książka o koniu w kopalni" i podał informacje prawidłowo, a do tego garść przydatnych linków. Piątka.

Piątkę wystawiłem również Bing Microsoftu. Wypowiedź uraczył emotikonką konia, mógł mi poczytać na głos, zaproponował inne książki o koniach (prawdziwe) i jeszcze jak poprosiłem o obrazek, to dostarczył. O robota poprosiłem dodatkowo. A w połowie obrazków koń rzeczywiście stał na pokładzie statku mimo wyraźnego zaznaczenia, że mówimy o kopalni, ale plastyki nie oceniam.

Jak donoszą inni internauci, nowsze wersje ChatGPT, te płatne, nie mają problemu z zadaniem.

[AKTUALIZACJA]

O ocenę dla bota poprosił mnie także... zespół Opery. Aria jest domyślnym chatbotem ich wyszukiwarki, ale nie korzystałem z niego do testów. Z prostej przyczyny - nie jest to moja główna przeglądarka i nie mam tam konta, które potrzebne jest do obsługi Arii. Przy pisaniu tekstu na proces zakładania zabrakło mi czasu, a potem zwyczajnie zapomniałem. Na szczęście postanowili mnie wyręczyć. I poradziła sobie elegancko, dzięki dostępowi do informacji w Internecie w czasie rzeczywistym.

Nie bądźcie z leniami z AI

Morał z tego taki, aby nie polegać bezmyślnie na AI. Taka historia nie jest niczym nowym. Duże modele językowe halucynują, gdy brakuje im informacji, uzupełniając je o skojarzenia na podstawie powtarzających się wzorców.

Oczywiście są też porządniejsze wersje skryte za subskrypcjami oraz bardziej kreatywni uczniowie i studenci, którzy wiedzą, jak z pomocą AI ułatwić sobie napisanie pracy.

Na takie przypadki Eksperci z Ośrodka Przetwarzania Informacji (OPI) rozwijają JSA o narzędzie do walki z treściami tworzonymi przez generatywne sztuczne inteligencje. Skala zjawiska jest trudna do sprawdzenia, ale dość poważna, żeby powstała konieczność wprowadzenia takiej techniki jak najszybciej. Więcej o tym piszemy na INNPoland.