Nyt værktøj hjælper lærere med at spotte snyd med kunstig intelligens

Skoleelever, der havde håbet på at kunne bruge kunstig intelligens til at laver lektier for dem, for eksempel ChatGPT, skal tænke sig om en ekstra gang.

Edward Tian er en 22-årig studerende ved Princeton University og han har skabt en webside, der kan afsløre, om en tekst er skrevet ved hjælp af AI-værktøjer som ChatGPT.

Se også: ChatGPT skriver opgaver til dumpekarakter

ChatGPT3 kan misbruges til opgavesnyd

Den nyeste version af ChatGPT, GPT3, kom ud til offentligheden i slutningen af november. Med værktøjet kan man få det, der ligner en meget velskrevet tekst ud fra en kort beskrivelse. Værktøjet kan bruges til mange positive ting, men også der også mange negative ting at påpege ved teknikken.

Lærere er for eksempel bange for, at elever i gymnasiet eller på universitetet vil bruge teknologien til at klare lektierne, hvis det ikke forekommer så lokkende at skulle skrive en opgave selv. Der er belæg for lærernes bekymring. En journalist fra Wall Street Journal bestod for nylig en engelsk eksamen ved at bruge ChatGPT.

Iføge Chalkbeat har de offentlige skoler i New York City blokeret adgangen til ChatGPT-websiden på skolens maskiner og internet-netværk.

Se også: OpenAIs chatrobot har imponerende skrivefærdigheder

Sådan afslører GPTZero snyd med ChatGPT

Edward Tian, der studerer computer science og journalistik, udviklede værktøjet i løbet af sin vinterferie. Han er ikke imod at bruge AI-værktøjer til at skrive, men han ser det som en svær tid for fænomenet og der bør være nogle retningslinjer for brugen, mener han.

GPTZero fungerer ved at analysere et stykke tekst og bestemme, om det i høj eller lav grad tyder på, at en bot har skrevet teksten. Det leder efter noget, der kan afsløre det, på to parametre: ”kompleksitet” og ”burstiness”. Kompleksitet handler om, hvor sandsynligt det er, at et ord er blevet foreslået af en bot, fordi et menneske ville vælge ord mere tilfældigt.

Burstiness måler graden af, hvor varieret de enkelte sætning er opbygget. En bot har højst sandsynligt samme grad af kompleksitet i alle sætninger, mens et menneske opbygger sætningerne mere forskelligt – visse sætninger lange og indviklede, andre kort og præcises.

Se også: Hvad kan man gøre med kunstig intelligens?

Stor forskel på tekster skrevet af AI og mennesker

For at teste Tians webside, kan man give den et essay skrevet af ChatGPT ud fra en opgavebeskrivelse, der kan passe på gymnasieniveau. Det kan for eksempel være: beskriv hovedtemaet Hamlet.

Da en journalist gjorde netop dette, gav GPTZero essayet en kompleksitet-score på 10 og en burstiness-score på 19. Det er ifølge Tian ret lave scorer, og det giver indikation om, at det er en bot, der er forfatteren. Den afslørede altså helt korrekt, at teksten var skrevet af AI.

Hvis man i stedet for essayet giver GPTZero en artikel skrevet af en journalist, så får man andre scorer. Den før omtalte journalist gjorde også det og fik da scorerne 39 for perplexity og 387 for burstiness. Med de scorer afsiger GPTZero dommen, at artiklen er skrevet af et menneske.

Se også: De smarteste telefoner

GPTZero skal være gratis

I et interview med Daily Beast har Tian fortalt, at han har fået mange henvendelser fra folk, der vil investere.

Indtil videre vil han dog holde websiden gratis og tilgængelig for alle.