Trwa sezon studniówkowy, a to znaczy, że matura już za chwilkę i trzeba zacząć się uczyć. Sprawdzamy, jak z egzaminem dojrzałości radzi sobie AI. Odpowiedzi sztucznej inteligencji ocenił dla nas były przewodniczący zespołu egzaminatorów egzaminu maturalnego z języka polskiego Wojciech Rzehak.
Na pewno słyszeliście już o ChatGPT – a niektórzy z Was mieli nawet przyjemność zamienić z nim kilka słów. To platforma sztucznej inteligencji, która pozwala na prowadzenie konwersacji na poziomie ze botami. System włada ludzkim językiem na tyle sprawnie, że jest w stanie napisać sensowne wypracowanie, wysnuć filozoficzną refleksję czy chociażby sklecić wiersz. Ale to nie wszystko.
Mówi się, że matura to bzdura – a jednak faktem jest, że sporo od niej zależy. W związku z tym warto podejść do tematu na poważnie. Po przeczytaniu tego artykułu dowiecie się, czy wzorem dla abiturientów w tej materii może być sztuczna inteligencja.
W szkolnej ławce posadziliśmy ChatGPT, który rozwiązywał dla nas zadania z zeszłorocznego arkusza z języka polskiego na poziomie podstawowym. Pytania dotyczyły tekstów "Serce czy rozum? Emocje w argumentacji i perswazji" Krzysztofa A. Wieczorka i "Życie na poczytaniu" Grzegorza Jankowicza. O skomentowanie radosnej twórczości AI poprosiliśmy eksperta.
Wojciech Rzehak to krakowski polonista – taki z krwi i kości – i były przewodniczący zespołu egzaminatorów egzaminu maturalnego z języka polskiego. Nauczyciel pisze książki i opracowania z polskiego i prowadzi na YouTube kanał o wdzięcznej nazwie Ponury Polonista.
Sztuczna inteligencja od OpenAI to solidna firma – bez zbędnego marudzenia i śmieszkowania przystąpiła do pracy, rozwiązując zadanie po zadaniu. Na początku poczęstowaliśmy ją tym samym poleceniem, które powitało każdego polskiego maturzystę w 2022. A brzmiało ono:
ChatGPT wytężył swój nieistniejący umysł. Przez dobrą chwilę słychać było jedynie trybiki trzeszczące pod naporem przetwarzanych informacji i szelest transmisji bitów.
Pierwsze zadania dotyczyły tekstu Krzysztofa A. Wieczorka. Na początku trzeba było zaznaczyć "tak" lub "nie" w zależności od tego, czy naszym zdaniem odpowiedzi na dane pytania znajdują się w artykule, czy nie. W tym przypadku algorytmy systemu OpenAI poradziły sobie całkiem nieźle, wskazując poprawne odpowiedzi. A wyglądało to tak:
Za chwilę przyszedł czas na zadanie opisowe. Widząc parę pustych linijek, ChatGPT poczuł wenę twórczą – i postanowił wyprodukować kwiecistą wypowiedź. W tym przypadku pod względem elokwencji zawstydziłby niejednego uczniaka.
Jak stwierdził nasz ekspert, powyższe pytanie "wywołało prawdziwy słowotok AI" – zdaniem polonisty "Sztuczny jest gadułą i udziela wypowiedzi co najmniej wyczerpujących". Swoją drogą to niezwykle interesujące, że ChatGPT ma tak dużo do powiedzenia o ludzkich emocjach. Ale w sumie on ma tak chyba też z każdym innym tematem.
Kolejne zadanie polegało na wyjaśnieniu znaczenia użytych w tekście Krzysztofa A. Wieczorka słów "serce" i "głowa". To było dość proste – jak nietrudno się domyślić, system poradził sobie z nim bez większych problemów. Oczywiście tutaj także znajdują potwierdzenie słowa Wojciecha Rzehaka o "gadulstwie" sztucznej inteligencji.
– Odpowiedzi AI na pytania maturalne są... bardzo ładne, napisane relatywnie dobrym językiem. Chociaż zauważyłem pewną prawidłowość: im dłuższe zdania, tym jest gorzej. Jakby Sztuczny nie radził sobie ze zdaniami złożonymi, o wielokrotnie złożonych nie wspominając. A wyraźnie ciągnie go w tym kierunku – ocenia Rzehak.
Następne pytanie było tym z gatunku zamkniętych. Trzeba było wybrać dwie odpowiedzi - jedną z grupy A/B i jedną z C/D. Instrukcja mogła sprawiać wrażenie trochę zagmatwanej, ale AI zdawała się tym nie przejmować i szybko wskazała dobre warianty. Niestety nasze dodatkowe pytania nieco zbiły ją z tropu:
Czyżby sztuczna inteligencja zwątpiła w swoją inteligencję? A może po prostu coś zdekoncentrowało naszego twardego zawodnika? Ostatecznie ChatGPT kulturalnie przeprosił i zdecydował się na błędną odpowiedź:
Teraz dochodzimy do pytania dotyczącego funkcji tekstu w ostatnim zdaniu analizowanego artykułu. Właściwą odpowiedzią jest C, bo autor próbuje nakłonić odbiorcę do pewnego działania. W tym przypadku ChatGPT także poległ z kretesem:
Nie, w żadnym wypadku nie chodzi tu o funkcję informatywną. Wojciech Rzehak przyznał, że błędne odpowiedzi udzielone przez Sztucznego zaintrygowały go najbardziej.
– Ciekawa jest dla mnie przyczyna tej pomyłki... Funkcje impresywna i ekspresywna należą do najbardziej "relacyjnych", pierwsza wiąże się z oddziaływaniem na odbiorcę, druga - z uzewnętrznianiem własnych przeżyć/uczuć/myśli przez nadawcę. Z kolei funkcja poetycka jest najbardziej złożona – nacisk w wypowiedzi położony jest na jej stronę estetyczną. Czyżby to wszystko zmyliło Sztucznego i pokierowało jego myśli (?) na znane mu tory informacji? Tak sobie gdybam, w końcu nie znam się na AI – przyznaje polonista.
Kolejnym zadaniem było napisanie streszczenia tekstu na 40-60 wyrazów. Oto, jak wyglądała odpowiedź AI:
W tym przypadku nasz ekspert podkreśla fakt, że ChatGPT uczciwie podszedł do kwestii ograniczenia słów – wygenerował ich tyle, by zmieścić się w limicie. To miło, zważywszy na fakt, że niektórym uczniom stosowanie się do limitów wychodzi dość średnio.
Przechodzimy do następnego z artykułów, które pojawiły się w zeszłym roku na maturze z języka polskiego, czyli "Życia na poczytaniu" Grzegorza Jankowicza. Zaczyna się niewinnie, bo od pytania zamkniętego:
Słowa, słowa, słowa. Tak, AI cierpi na swego rodzaju słowotok. Przecież w tym przypadku wystarczyło tylko wskazać literkę. Następnie ChatGPT formułuje dwa argumenty na temat wartości literatury, co wychodzi mu całkiem sprawnie:
No i jeszcze dwie cechy życia na poczekaniu.
Kolejne zadanie dotyczyło identyfikacji autora i tytułu dzieła literackiego na podstawie fragmentu. Sprawa była prosta jak zabawa lalką – zapoznając się z fragmentem, można na początku czuć lekką konsternację, ale gdy nasz wzrok pada na nazwisko bohatera, wszystko staje się jasne. Algorytmy nie miały problemów z rozpoznaniem powieści Bolesława Prusa:
W kolejnym zadaniu dochodzi do ciekawej sytuacji.
– Fakt, że AI nie uznała sformułowania 'życie na poczytaniu' za rodzaj błędu, zachwycił mnie niezmiernie – mówi Wojciech Rzehak.
Co jednak bardziej rzuca się w oczy, to niepoprawna konstrukcja jednego ze zdań w powyższej wypowiedzi. – Solidny błąd składniowy w tej wypowiedzi Sztucznego był chyba konsekwencją jakiegoś przegrzania się zwojów/lamp/podzespołów, ale wybaczyłbym mu to – stwierdza żartobliwie polonista.
Także z zadaniem dotyczącym charakteryzacji stylu języka tekstu Grzegorza Jankowicza AI miała niewielki problem. Poprawne odpowiedzi to: C, D i E. ChatGPT ominął odpowiedź D - algorytmy systemu z jakiegoś powodu nie wychwyciły faktu, że autor tekstu posługuje się neologizmami. Zamiast tego wskazały liczne terminy naukowe.
Natomiast z weryfikacją prawdziwości poszczególnych stwierdzeń w ostatnim pytaniu AI nie ma już żadnego problemu – wszystkie jej odpowiedzi są poprawne. Wygląda to tak:
To już koniec maturalnych zmagań – można odłożyć długopis i wyjść z sali. I właściwie dopiero teraz zacznie się odpowiadanie na pytania, które zadadzą nam diabelnie rozentuzjazmowani koledzy z klasy. Czy AI zdałaby maturę z polskiego? Tak, na pewno tak - w sumie do tego trzeba tylko 30 procent poprawności, a to ChatGPT spokojnie osiągnął.
A czy system jest prymusem? Raczej nie, bo kilka poważnych błędów popełnił. Wiemy jednak, że – jak zresztą niejedna tęga głowa – ChatGPT "ciągle się czegoś uczy". Jeszcze trochę i zacznie udzielać o wiele lepszych odpowiedzi.
Na koniec kilka słów tytułem wyjaśnienia, czym właściwie jest system, który rozwiązywał dla nas zadania. ChatGPT to po prostu prototyp chatbota sztucznej inteligencji, który odczytuje i przetwarza ludzki język, generując logiczne – i wyczerpujące – wypowiedzi. Czy AI jest w stanie zagrozić ludziom, odbierając im pracę – dowiecie się, czytając ten artykuł.
Jednocześnie warto napomknąć, że niedawno internet obiegły wieści o innym modelu sztucznej inteligencji, który zresztą ma współpracować z ChatGPT. Mowa o VALL-E autorstwa Microsoftu. System potrafi imitować głos i sposób wypowiadania się człowieka.
To całkiem "kumaty" mechanizm – "uczenie się" idzie mu nadzwyczaj sprawnie. Do nauczenia się sposobu mówienia osoby wystarczy mu 3-sekundowe nagranie audio z próbką głosową. W przeciwieństwie do ChatGPT VALL-E na razie nie jest powszechnie dostępny. I w sumie to dobrze, bo coś takiego mogłoby posłużyć oszustom do wszelakiej maści wyłudzeń.