A ChatGPT cégének is beletört a bicskája az MI-szövegek felismerésébe, mi lesz most az egyetemekkel?

Az elmúlt hónapokban többször is foglalkoztunk az egyetemek és a mesterséges intelligencia (MI) viszonyával. Egy áprilisi cikkünkből kiderült, hogy a Szegedi Tudományegyetemen (SZTE) például már olyan detektáló alkalmazásokat is használnak, mint a GPTZero. Az MI-detektor azon alapszik, hogy az emberi szövegek kevéssé kiszámíthatók, kevésbé szabályszerűek, több bennük a véletlenszerűség vagy éppen a váltakozó hosszúságú mondatok, mint a gép által generáltakban. A GPTZero világszerte népszerű, azonban sajnos magyarul nem túl hasznos, ezúttal is kipróbáltuk néhány random magyar nyelvű ChatGPT-szöveggel, amelyek mindegyikét ember által írottnak vélte.

Ugyanakkor többféle hasonló szolgáltatás is létezik, tavaszi cikkünkben hármat is kipróbáltunk magyarul. Egy volt köztük, amelyik e lángoktól ölelt kis ország nyelvén is használható volt, vagyis felismerte, hogy a ChatGPT szövegét nem ember írta, ez nem más, mint az Open AI, a ChatGPT fejlesztőcégének a sajátja. (Mondjuk utána a készülő cikkem részleteiről nem tudta eldönteni, ember írta-e vagy sem.) Ez hiába tűnt nagy dolognak a tizenpármilliós, szinte egzotikusnak mondható nyelvünkön, összességében a fejlesztő cég nem volt megelégedve a saját termékével. Erre utal a július második felében érkezett hír, miszerint

az Open AI annak alacsony pontossága miatt csendben lekapcsolta a szolgáltatást.

Július 20-a óta már nem is érhető el, a helyén sima tört linkes hibajelzés fogad minket. A róla szóló ismertetőoldalra pedig egy rövid közleményt biggyesztettek. Ebben arról is írnak, hogy a visszajelzéseket felhasználva dolgoznak a szövegek eredetét meghatározó hatékonyabb technikákon és elkötelezték magukat olyan mechanizmusok fejlesztése és működtetése mellett is, amikkel a felhasználók megkülönböztethetik az MI-készítette audió, illetve képi tartalmakat. Magyarul nem csupán nem adták fel az MI-detektálást, mint irányt, szintet is lépnének benne – de előtte elismerték, hogy az eddigi megoldásuk kudarcos volt.

Ki lehetett játszani

Már a most lekapcsolt MI „osztályozó” program élesítésekor jelezték, hogy annak erőteljes korlátai vannak és nem teljesen megbízható. Saját leírásuk szerint angolul is csak 26 százalék volt a valós pozitív érzékeléseinek aránya, vagyis amikor helyesen MI-ként jelölt meg egy tényleg MI-generálta szöveget, míg 9 százalékban a saját próbájukon is emberi szöveget azonosított gépiként.

Ám akkor még azt írták, minél hosszabb szöveget másolunk be, annál pontosabban tudja majd azt azonosítani és a korábbi változathoz képest a mostani felismerő szolgáltatásuk már jobban működik. Viszont azt a legelején tisztázták, hogy azért publikálják, hogy visszajelzéseket kapjanak, egy ilyen, tökéletlen felismerő szoftver is hasznos-e és remélik, a jövőben már egy továbbfejlesztett verziót tehetnek közzé.

A korlátai közt leírták – a korábbi tapasztalatunk után furcsa módon –, hogy csak angolul javasolják a használatát, más nyelveken sokkal rosszabbul működik és programkódokat sem tud ellenőrizni. Ahogy azt is, ha valaki nagyon kiszámítható dolgokat ír be, mondjuk leírja az első ezer prímszámot, akkor ne várja, hogy tud vele bármit is kezdeni a gép. Illetve, hogy az ember által kissé átírt MI-szövegekkel sem igazán tud mit kezdeni a rendszer.

MTI Fotó: Vajda János

Ez utóbbi még hagyján, az is hamar kiderült, hogy a ChatGPT szülőcége rendszerét is könnyedén át tudja verni. Ha az ember azt kérte tőle, hogy úgy írjon, hogy az ne legyen detektálható, ezt is megugrotta, például szleng kifejezések és rövidítések használatával. A terület nehézsége értelemszerűen az, hogy a felismerő programok csak loholnak a folyamatosan fejlődő MI-megoldások után.

Kérdéses megbízhatóságú szűrők

Ez azonban nem feltétlenül jelenti azt, hogy teljesen temetni kellene az MI-felismerő szolgáltatásokat. A fentebb már emlegetett GPTZerót elindító 22 éves számítástechnika szakos Princeton-hallgató Edward Tian például korábban arról beszélt, azért nem fél, hogy gond lesz azzal, hogy lépést tartson a rendszer az MI fejlődésével, mert egy ilyen érzékelő modellt jóval könnyebb betanítani. Nagy kérdés ugyanakkor, hogy lesz-e köztük magyarul is használható. Cikkünk írásakor további három szolgáltatást (Content at Scale, Writer.com, Scribbr) próbáltunk ki, amely a magyar ChatGPT-szövegről nem mondta meg, hogy MI-készítette és egy (Copyleaks) volt, amelyik meg sem vizsgálta nem támogatott nyelvre hivatkozva.

Ugyanakkor messze nem az Open AI megoldása volt egyedül tökéletlen. Ez inkább csak ráirányíthatja a figyelmet arra, amit egyes kutatók már régóta hangoztatnak:

nem érdemes túl nagy mértékben támaszkodni az ilyen felismerő rendszerekre.

Ugyanis gyakran hoznak ki fals eredményt, például MI-generálta szövegnek titulálnak olyan angol nyelvű anyagokat, amelyeket a nyelvet nem anyanyelvként beszélők írtak. Ez pedig alaptalan vádakhoz és kirekesztődéshez is vezethet egyetemi körökben. Ahogyan a probléma visszafelé is fennáll, hamis biztonságérzetet adhatnak az ilyen megoldások úgy, hogy bőven nem ismernek fel minden gépi anyagot. Ezért van, aki azt a véleményt képviseli, hogy egyáltalán nem érdemes ezekre hagyatkozni, mert a mögöttük meghúzódó módszertan bizonytalan, spekulatív és nem igazán igazolódott be, hogy az MI-szövegeket általánosan fel lehet ismerni egy algoritmussal.

Tianék rendszere mindenesetre közben nemcsak fejlődik, de már a másik irányból is igyekeznek megközelíteni az egész MI-plágium dilemmát. Július elején az alapító ugyanis arról posztolt a Twitter-oldalán, hogy unja, hogy a ChatGPT hónapok óta csak ígérgeti, hogy valahogyan „vízjelezi” majd a szövegeit, ezért kiadnak egy olyan megoldást, amellyel az emberileg írt szövegeket jelölik. Az általuk nemrég publikált, egész weboldalakat is ellenőrző böngészőkiegészítőbe be is építettek egy, a Google Dokumentumokban használható funkciót, mely lényegében a verzióelőzményeket vizualizálja.

Arról már korábban is írtunk, hogy egy jó bizonyíték lehet arra, hogy tényleg te írtál egy anyagot, hogyha visszakeresed, amikor két napja még csak fél oldalnál tartottál és hogy folyamatában hogyan állt össze a szöveg. Ennek animációs megjelenítése pedig még szemléletesebb. Így, ha ez az eszköz sem használható magyarul utólagos ellenőrzésre és egyébként is kérdőjeles az egész detektálás, a másik oldalon az esetleges MI-vel kapcsolatos vádak ellen mégis hasznos lehet.

Vannak megoldások

Ugyanakkor az egész MI-szűrés kérdése csak az érme egyik oldala és a felsőoktatásban messze nem tűnik ez az elsődleges megoldásnak. Sokkal kézenfekvőbb és kiszúrhatóbb, hogy a ChatGPT például rendszeresen hallucinál. Elsőre okosnak tűnő szövegeket kreál bármiről, ám amikor az ember egy kicsit belekérdez, kiderül, hogy olyan eseményekre „emlékezik”, amelyek nem történtek meg soha. Mi is beszámoltunk olyan történetről, ahol egy hazai hallgató így bukott le. „Itt úgy bukott ki a dolog, hogy olyan kamu állítások voltak a szövegben, amik annak, aki járatos a témában, gyanússá válnak” – mondta akkor az érintett diák oktatója, Szalay Dániel, aki az oktatók felkészültségében látja a megoldást.

Az ilyen esetek azért is tanulságosak, mert azért tudott pár kérdés után ki is derülni a csalás, hiszen hamar látható, ha a hallgató valójában nem fektetett érdemi energiát egy beadandó elkészítésébe. Persze ez több száz hallgató esetén jóval nehezebben ellenőrizhető, illetve elképzelhető, hogy az írásbeli beadandók visszaszorulásával járhat. Korábban erről Radó Péter oktatáskutató azt mondta nekünk, egyelőre visszatért a szóbeli vizsgákhoz, nem irat esszéket, ugyanakkor nem csak emiatt, ezt más tényezők is erősítik.

Az SZTE is korábban nekünk küldött válaszában csak mint egy, bizonyos karokon használt lehetséges eszközként írt a detektáló programokról, szerintük hosszú távon nem is ez a megoldás, hanem a számonkérés újragondolása. Mégpedig úgy, hogy az az MI-alkalmazásoknak kevésbé kitett elemeket is tartalmazzon, illetve több lépcsőben, több megközelítésből keresztlogikával ellenőrizze a számonkért tudást. Más ugyanis a mintázata annak, aki magától válaszol, mint aki segédeszközt használ.

Hosszabb távon azonban az MI alaposabb újragondolásra késztetheti a teljes oktatási rendszert, amely egyébként is régóta küszködik a lexikális tudás elavultságának a dilemmájával. De nem csak a csalások felől lehet megközelíteni a kérdést, hanem az MI etikus felhasználása irányából is. A GPTZero például a fent emlegetett kiegészítő mellett nemrég arról írt, egy emberi-MI szövegszerkesztőn is dolgoznak, amivel felelősségteljesen lehet, valamennyi MI-t is felhasználva szövegeket alkotni.

Persze lesznek olyanok is, akik a tiltásban látják a megoldást, még ha ez szélmalomharcnak is tűnhet. Egy dolog van, amit semmiképpen sem javaslunk a detektáló program bezárása után, hogy valaki közvetlenül a ChatGPT-t próbálja meg ilyen célokra használni. Volt ugyanis a közelmúltban legalább egy olyan pedagógus, aki erre alapozva akart minden szakdolgozat-írót megbuktatni, elég nagy kalamajka is lett a vége – aki még nem olvasta a vonatkozó sztorit, itt megteheti.

(Kiemelt kép: Mojahid Mottakin, Unsplash)