Több csapás is érte az oktatást az elmúlt években. Az első a Google volt: hűségesen megtalálta az internetre korábban kitett, hasonló témájú esszéket. Most pedig a ChatGPT megírja az egész esszét szőröstül-bőröstül, úgy néz ki, mint az eredeti. Szerencsére, csak úgy néz ki. Az avatott szem – vagy egy ügyes szoftver – felfedezi a különbséget. És ha nem?
Nemcsak az oktatás számára életfontosságú az MI-eredet feltüntetése. Maga az MI számára is az, ugyanis ahogy egyre több az MI-tartalom az interneten, úgy egyre inkább a saját farkukba harapnak a betanító anyagot az internetről beszerző MI-szolgáltatások. Ahogy a betanító anyagban nő a „mesterséges” anyag aránya, a kimenet nyelvi és kognitív minősége gyorsan romlik.
Mivel nem várható, hogy a tartalomgyártók önként feltüntetnék az MI-eredetet, ezért gyorsan nő a kereslet az MI-detektáló eszközökre, amitől gyorsan nő a kereslet az MI-eredetet elfedő eszközökre is. Ez az ágyú-páncél harc, más néven evolúció.
A „guglizmus”ellen ott volt a „Turnitin” nevű, eredetileg plágiumdetektornak fejlesztett online eszköz. Közép- és felsőoktatási esszék tízmillióin tanult, és sajátos algoritmusai segítségével minősíti a vizsgálatra feltöltött anyagot. Idén április óta kiegészült MI-detektor szolgáltatással is, és nyilván már nemcsak esszéken edződött.
A GPTzero nevű szolgáltatást megalapozó szoftvert egy bizonyos Edward Tian írta, aki az amerikai Princeton egyetem informatikai szakán végzett, és történetesen szépirodalmi író is szeretett volna lenni, de a New Yorker magazin írástechnikai tanfolyamán azt mondták neki, hogy újságcikkekben jó lehet, másban nem, mert sok mintát gyorsan felismer, de szárazon fogalmaz.
Úgyhogy összeházasította az informatikát a szövegekkel, és megírt egy statisztikai alapon működő, Twitter-bot felismerő szoftvert (mindez 2021-2022 fordulóján zajlott, és Mr. Tian ismerte a GPT-3 nagy nyelvi modellt). A diplomamunkája is arról szólt, hogy lehet megkülönböztetni az MI- és a természetes eredetű szövegeket.
Az MI és a detektorok kora
Ekkor (2022 őszén) felrobbant az OpenAI/ChatGPT-bomba, és a GPTzero az egyik első MI-detektor lett. 2023 áprilisában a Microsoft beépítette a Wordbe. A ChatGPT-t fejlesztő OpenAI-nak is volt MI-detektora, de júliusban a 30 százalék alatti találati arány (lásd alább) miatt felfüggesztette a használatát. Hogy mennyien indítottak még MI-detektor szolgáltatást, azt az mutatja, hogy e cikk írásakor a Google az „AI detector” keresőkifejezésre 2 milliárdnál több találatot jelzett, nyilván az „AI” komponens miatt. (És a találatok túlnyomórészt egymással átfedők, de a független megoldások számát több százra lehet becsülni.)
Minden jelzőeszköz legfontosabb tulajdonsága a pontossága, jelen esetben a találati aránya. Egy MI-detektor két dolgot mondhat: hogy az input MI-eredetű-e vagy nem, a találati pontosság pedig, hogy amit MI-nek mond, az valóban MI-e, és amit emberinek mond, azt valóban ember alkotta. Ezek a jó esetek, a többi a hamis negatív (emberinek mondja, de MI eredetű) és a hamis pozitív (MI-nek mondja, de emberi eredetű). Akkor jó egy detektor, ha a hamis (negatív és pozitív) minősítések aránya 20 százalék alatt van, azaz a találati pontosság 80 százalék fölött.
Az egyetemi beandandókra kihegyezett GPTzero találati pontossága 90 százalék fölötti, de az ÁSZF-ben ott van, hogy dalszövegekre és versekre nem alkalmas, a több (sok) bekezdés hosszúságú dolgozatokon teljesít a legjobban. Ennek ellenére a diákok szabvány panasza a hamis pozitív minősítés, amikor az ő abszolút „tiszta” művüket MI-nek tartja a detektor. Ha az eszközt ügydöntően alkalmaznák, akkor a 10 százalék hamis pozitív arány 100-ból 10 diák igazságtalan bukását jelentené, az amerikai gyakorlatban ez perek tízezreit jelentené, tehát nem így alkalmazzák.
A „klasszikus” Turnitin MI-detektorának pontossága is a saját bevallása szerint 90 százalék feletti, amit néhány lépcsőben végrehajtott finomítás során ért el – ezen egyébként a GPTzero is átesett. Egy másik jól ismert plágium- és MI-detektor, a Copyleaks 92 százalék feletti pontosságot ígér.
Ebben a „műfajban” a több lépcsős finomítás azt jelenti, hogy beindítják a szolgáltatást, rengeteg negatív visszajelzés érkezik (a GPTzero első kiadása az amerikai Alkotmány egyes passzusait MI-eredetűnek mondta…), ezek alapján hangolgatnak rajta, és egy idő után a reklamációk száma és súlyossága mondhatni kezelhető szintre csökken.
Ami a szokványos eljárás a szoftverfejlesztésben. Erre mondják gúnyosan, hogy a cégek félkész szoftvereket bocsátanak piacra. Dehát az IKEA is így tesz a bútoriparban…
Lettek gépszerkesztők
Ahol a kereslet, ott a kínálat, megszülettek azok a szoftverek, amelyek elrejtik a szövegek mesterségesintelligencia-eredetét. Ezek az átfogalmazók. Alapszinten egyes szavakat, kifejezéseket hasonló értelműekre cserélnek, de már képesek a mondatokat átrendezni, megadott fogalomkörből választanak helyettesítő kifejezéseket, állításokat átfogalmaznak tagadóra és hasonlók. Egyébként nem az MI-hullám hozta fel ezeket, a plágiumot már korábban kerülni kellett… Hogy az olvasónak legyen mire rákeresni, álljon itt az „UndetectableAI”, a „HideMyAI” és a „Quillbot” szolgáltatások neve. De egy tanácsadó cikk ezek mellett a jól bevált, humán szerkesztést is megemlíti MI-detektálást megkerülő eszközként – amit egyébként a szerző is alkalmaz gépi fordítások magyarról magyarra fordítása esetén.
Tisztességtelen alkalmazás
Talán nem közismert, hogy nem nagyon bonyolult az interneten működő szoftvert írni. Úgyhogy meg is írták azt a „forgatókönyvet” (scriptet), amely a ChatGPT-vel megíratott művet betáplálja egy MI-detektorba, ha az mesterségesnek detektálja, akkor átküldi egy „átfogalmazóba”, az eredményt ismét beadja az MI-detektorba, és így tovább, amíg emberi eredetűnek nem minősül a mű. Ezt teszi egy WorkNinja nevű webes szoftver automatikusan, de a forgatókönyvet persze „kézzel” is el lehet játszani.
Egyelőre az átfogalmazók nem nagyon ügyesek, úgyhogy az így keletkezett „természetes” művek többé-kevésbé értelmetlenek. Ami tökéletes bizonyítéka lenne annak, hogy a generatív MI-nek nincs köze a valósághoz. Ha viszont az átfogalmazók tovább fejlődnek, akkor a helyzet javulhat (romolhat?), azaz a művet számítógép alkotta, számítógép dolgozta föl, de teljesen emberi eredetűnek látszik. De ez már az általános mesterséges intelligencia (artificial general intelligence, AGI) területére vezet, amelytől talán tényleg lehet egy kicsit tartani. A terület több neves tudósa önmérsékletet javasol és/vagy tart a kutatásban, fejlesztésben.
