ChatGPT rozwiązał dla nas maturę z polskiego. Wyniki są szokujące

• ChatGPT to narzędzie wykorzystujące sztuczną inteligencję do generowania odpowiedzi na pytania w języku zrozumiałym dla ludzi
• Sprawdzamy, jak AI radzi sobie z zadaniami z zeszłorocznej matury z polskiego na poziomie podstawowym
• Przedstawiamy odpowiedzi, jakich sztuczna inteligencja udzieliła na poszczególne pytania – i załączamy komentarz eksperta (prawdziwego, nie sztucznego)

Na pewno słyszeliście już o ChatGPT – a niektórzy z Was mieli nawet przyjemność zamienić z nim kilka słów. To platforma sztucznej inteligencji, która pozwala na prowadzenie konwersacji na poziomie ze botami. System włada ludzkim językiem na tyle sprawnie, że jest w stanie napisać sensowne wypracowanie, wysnuć filozoficzną refleksję czy chociażby sklecić wiersz. Ale to nie wszystko.

Matura 2022 – bez inteligencji ani rusz

Mówi się, że matura to bzdura – a jednak faktem jest, że sporo od niej zależy. W związku z tym warto podejść do tematu na poważnie. Po przeczytaniu tego artykułu dowiecie się, czy wzorem dla abiturientów w tej materii może być sztuczna inteligencja.

W szkolnej ławce posadziliśmy ChatGPT, który rozwiązywał dla nas zadania z zeszłorocznego arkusza z języka polskiego na poziomie podstawowym. Pytania dotyczyły tekstów "Serce czy rozum? Emocje w argumentacji i perswazji" Krzysztofa A. Wieczorka i "Życie na poczytaniu" Grzegorza Jankowicza. O skomentowanie radosnej twórczości AI poprosiliśmy eksperta.

Wojciech Rzehak to krakowski polonista – taki z krwi i kości – i były przewodniczący zespołu egzaminatorów egzaminu maturalnego z języka polskiego. Nauczyciel pisze książki i opracowania z polskiego i prowadzi na YouTube kanał o wdzięcznej nazwie Ponury Polonista.

"Poloneza czas zacząć", rzekła rdza

Sztuczna inteligencja od OpenAI to solidna firma – bez zbędnego marudzenia i śmieszkowania przystąpiła do pracy, rozwiązując zadanie po zadaniu. Na początku poczęstowaliśmy ją tym samym poleceniem, które powitało każdego polskiego maturzystę w 2022. A brzmiało ono:

ChatGPT wytężył swój nieistniejący umysł. Przez dobrą chwilę słychać było jedynie trybiki trzeszczące pod naporem przetwarzanych informacji i szelest transmisji bitów.

Pierwsze zadania dotyczyły tekstu Krzysztofa A. Wieczorka. Na początku trzeba było zaznaczyć "tak" lub "nie" w zależności od tego, czy naszym zdaniem odpowiedzi na dane pytania znajdują się w artykule, czy nie. W tym przypadku algorytmy systemu OpenAI poradziły sobie całkiem nieźle, wskazując poprawne odpowiedzi. A wyglądało to tak:

Za chwilę przyszedł czas na zadanie opisowe. Widząc parę pustych linijek, ChatGPT poczuł wenę twórczą – i postanowił wyprodukować kwiecistą wypowiedź. W tym przypadku pod względem elokwencji zawstydziłby niejednego uczniaka.

Jak stwierdził nasz ekspert, powyższe pytanie "wywołało prawdziwy słowotok AI" – zdaniem polonisty "Sztuczny jest gadułą i udziela wypowiedzi co najmniej wyczerpujących". Swoją drogą to niezwykle interesujące, że ChatGPT ma tak dużo do powiedzenia o ludzkich emocjach. Ale w sumie on ma tak chyba też z każdym innym tematem.

Kolejne zadanie polegało na wyjaśnieniu znaczenia użytych w tekście Krzysztofa A. Wieczorka słów "serce" i "głowa". To było dość proste – jak nietrudno się domyślić, system poradził sobie z nim bez większych problemów. Oczywiście tutaj także znajdują potwierdzenie słowa Wojciecha Rzehaka o "gadulstwie" sztucznej inteligencji.

– Odpowiedzi AI na pytania maturalne są... bardzo ładne, napisane relatywnie dobrym językiem. Chociaż zauważyłem pewną prawidłowość: im dłuższe zdania, tym jest gorzej. Jakby Sztuczny nie radził sobie ze zdaniami złożonymi, o wielokrotnie złożonych nie wspominając. A wyraźnie ciągnie go w tym kierunku – ocenia Rzehak.

Następne pytanie było tym z gatunku zamkniętych. Trzeba było wybrać dwie odpowiedzi - jedną z grupy A/B i jedną z C/D. Instrukcja mogła sprawiać wrażenie trochę zagmatwanej, ale AI zdawała się tym nie przejmować i szybko wskazała dobre warianty. Niestety nasze dodatkowe pytania nieco zbiły ją z tropu:

Czyżby sztuczna inteligencja zwątpiła w swoją inteligencję? A może po prostu coś zdekoncentrowało naszego twardego zawodnika? Ostatecznie ChatGPT kulturalnie przeprosił i zdecydował się na błędną odpowiedź:

Teraz dochodzimy do pytania dotyczącego funkcji tekstu w ostatnim zdaniu analizowanego artykułu. Właściwą odpowiedzią jest C, bo autor próbuje nakłonić odbiorcę do pewnego działania. W tym przypadku ChatGPT także poległ z kretesem:

Nie, w żadnym wypadku nie chodzi tu o funkcję informatywną. Wojciech Rzehak przyznał, że błędne odpowiedzi udzielone przez Sztucznego zaintrygowały go najbardziej.

– Ciekawa jest dla mnie przyczyna tej pomyłki... Funkcje impresywna i ekspresywna należą do najbardziej "relacyjnych", pierwsza wiąże się z oddziaływaniem na odbiorcę, druga - z uzewnętrznianiem własnych przeżyć/uczuć/myśli przez nadawcę. Z kolei funkcja poetycka jest najbardziej złożona – nacisk w wypowiedzi położony jest na jej stronę estetyczną. Czyżby to wszystko zmyliło Sztucznego i pokierowało jego myśli (?) na znane mu tory informacji? Tak sobie gdybam, w końcu nie znam się na AI – przyznaje polonista.

Kolejnym zadaniem było napisanie streszczenia tekstu na 40-60 wyrazów. Oto, jak wyglądała odpowiedź AI:

W tym przypadku nasz ekspert podkreśla fakt, że ChatGPT uczciwie podszedł do kwestii ograniczenia słów – wygenerował ich tyle, by zmieścić się w limicie. To miło, zważywszy na fakt, że niektórym uczniom stosowanie się do limitów wychodzi dość średnio.

A teraz na drugą nóżkę

Przechodzimy do następnego z artykułów, które pojawiły się w zeszłym roku na maturze z języka polskiego, czyli "Życia na poczytaniu" Grzegorza Jankowicza. Zaczyna się niewinnie, bo od pytania zamkniętego:

Słowa, słowa, słowa. Tak, AI cierpi na swego rodzaju słowotok. Przecież w tym przypadku wystarczyło tylko wskazać literkę. Następnie ChatGPT formułuje dwa argumenty na temat wartości literatury, co wychodzi mu całkiem sprawnie:

No i jeszcze dwie cechy życia na poczekaniu.

Kolejne zadanie dotyczyło identyfikacji autora i tytułu dzieła literackiego na podstawie fragmentu. Sprawa była prosta jak zabawa lalką – zapoznając się z fragmentem, można na początku czuć lekką konsternację, ale gdy nasz wzrok pada na nazwisko bohatera, wszystko staje się jasne. Algorytmy nie miały problemów z rozpoznaniem powieści Bolesława Prusa:

W kolejnym zadaniu dochodzi do ciekawej sytuacji.

– Fakt, że AI nie uznała sformułowania 'życie na poczytaniu' za rodzaj błędu, zachwycił mnie niezmiernie – mówi Wojciech Rzehak.

Co jednak bardziej rzuca się w oczy, to niepoprawna konstrukcja jednego ze zdań w powyższej wypowiedzi. – Solidny błąd składniowy w tej wypowiedzi Sztucznego był chyba konsekwencją jakiegoś przegrzania się zwojów/lamp/podzespołów, ale wybaczyłbym mu to – stwierdza żartobliwie polonista.

Także z zadaniem dotyczącym charakteryzacji stylu języka tekstu Grzegorza Jankowicza AI miała niewielki problem. Poprawne odpowiedzi to: C, D i E. ChatGPT ominął odpowiedź D - algorytmy systemu z jakiegoś powodu nie wychwyciły faktu, że autor tekstu posługuje się neologizmami. Zamiast tego wskazały liczne terminy naukowe.

Natomiast z weryfikacją prawdziwości poszczególnych stwierdzeń w ostatnim pytaniu AI nie ma już żadnego problemu – wszystkie jej odpowiedzi są poprawne. Wygląda to tak:

To już koniec maturalnych zmagań – można odłożyć długopis i wyjść z sali. I właściwie dopiero teraz zacznie się odpowiadanie na pytania, które zadadzą nam diabelnie rozentuzjazmowani koledzy z klasy. Czy AI zdałaby maturę z polskiego? Tak, na pewno tak - w sumie do tego trzeba tylko 30 procent poprawności, a to ChatGPT spokojnie osiągnął.

A czy system jest prymusem? Raczej nie, bo kilka poważnych błędów popełnił. Wiemy jednak, że – jak zresztą niejedna tęga głowa – ChatGPT "ciągle się czegoś uczy". Jeszcze trochę i zacznie udzielać o wiele lepszych odpowiedzi.

Co to jest ChatGPT?

Na koniec kilka słów tytułem wyjaśnienia, czym właściwie jest system, który rozwiązywał dla nas zadania. ChatGPT to po prostu prototyp chatbota sztucznej inteligencji, który odczytuje i przetwarza ludzki język, generując logiczne – i wyczerpujące – wypowiedzi. Czy AI jest w stanie zagrozić ludziom, odbierając im pracę – dowiecie się, czytając ten artykuł.

Jednocześnie warto napomknąć, że niedawno internet obiegły wieści o innym modelu sztucznej inteligencji, który zresztą ma współpracować z ChatGPT. Mowa o VALL-E autorstwa Microsoftu. System potrafi imitować głos i sposób wypowiadania się człowieka.

To całkiem "kumaty" mechanizm – "uczenie się" idzie mu nadzwyczaj sprawnie. Do nauczenia się sposobu mówienia osoby wystarczy mu 3-sekundowe nagranie audio z próbką głosową. W przeciwieństwie do ChatGPT VALL-E na razie nie jest powszechnie dostępny. I w sumie to dobrze, bo coś takiego mogłoby posłużyć oszustom do wszelakiej maści wyłudzeń.