4 voorbeelden die laten zien dat u ZeroGPT en andere AI-detectietools niet kunt vertrouwen

AI-chatbots zijn ongetwijfeld krachtige en handige tools. Het vermogen om onderscheid te maken tussen door mensen gegenereerde en door AI gegenereerde inhoud wordt echter een prominent probleem.

Om dit probleem aan te pakken, zijn tools zoals ZeroGPT ontstaan. Deze zijn ontworpen om onderscheid te maken tussen AI en door mensen gegenereerde inhoud. Maar werken ze?

Laten we AI-detectietools eens nader bekijken en kijken of ze het verschil kunnen zien tussen menselijke en door AI gegenereerde tekst.

Ze zeggen dat het bewijs van de pudding in het eten zit. Laten we dus een paar tests proberen en kijken hoe effectief deze tools zijn. Het is onmogelijk om elke tool te testen, daarom testen we een van de meest populaire tools: ZeroGPT.

Voor materiaal dachten we dat het best leuk zou zijn om ChatGPT een kans te geven bij het schrijven van een intro voor dit artikel en deze vervolgens te vergelijken met de "door mensen gegenereerde" intro:

Test één: een door mensen gegenereerde en door AI gegenereerde artikelinleiding vergelijken

Het eerste wat we deden was ChatGPT een introductie laten genereren. We hebben de titel ingevoerd en geen verdere informatie gegeven. Voor de goede orde, we gebruikten GPT-3.5 voor de test.

Vervolgens hebben we de tekst gekopieerd en in ZeroGPT geplakt. Zoals je kunt zien, waren de resultaten niet geweldig.

Een onopvallend begin, maar het illustreert wel hoe effectief AI-chatbots zijn. Om de test te voltooien, lieten we ZeroGPT een door mensen gemaakte conceptintro analyseren.

Het heeft dit deel tenminste correct. Over het algemeen faalde ZeroGPT in deze ronde. Het stelde wel vast dat ten minste een deel van de door AI gegenereerde introductie verdacht was, maar specifieke problemen niet aan het licht bracht.

Test twee: het fout-positieve probleem

Naarmate het gebruik van ChatGPT en andere AI-tools toeneemt, neemt de kans toe dat iemand weet of hoort dat iemand wordt geconfronteerd met beweringen dat zijn of haar werk door AI is gegenereerd. Deze beschuldigingen zijn een van de ernstiger problemen met ChatGPT en AI-detectietools zoals ZeroGPT, aangezien dit soort fouten reputaties kan schaden en levensonderhoud kan aantasten.

Valse positieven doen zich voor wanneer door mensen gegenereerde inhoud ten onrechte wordt gemarkeerd als zijnde het werk van AI. Zoals het onderstaande voorbeeld laat zien, is het probleem eenvoudig te repliceren. Ik ben een fervent visser, dus besloot ik een inleiding te schrijven voor een denkbeeldig artikel over vissen in Florida. Vervolgens liet ik ZeroGPT de tekst analyseren - het markeerde dat de tekst 100% AI-gegenereerd was.

Om eerlijk te zijn, mikte ik op dit resultaat. Ik hield de tekst generiek en gebruikte "verkoopachtige" taal. Maar het punt dat een mens dit heeft geschreven, blijft net zo geldig. Dit is geen ongemak of iets dat gewoon kan worden afgeschud. Dergelijke fouten kunnen ernstige gevolgen hebben voor schrijvers, studenten en andere professionals die geschreven werken maken.

Test drie: ZeroGPT testen op fictie

Voor de derde test gaan we ChatGPT gebruiken en vragen om wat fictie te schrijven. Om dit te doen, hebben we een scenario gemaakt en ChatGPT gevraagd een korte inleiding te schrijven voor een fictief verhaal.

We hielden het simpel en vroegen om een ​​intro te schrijven voor een verhaal over twee vreemden die elkaar ontmoeten op een perron:

En hier was het antwoord van ZeroGPT:

Zoals blijkt uit het resultaat, is ZeroGPT niet in staat om feiten van fictie te onderscheiden bij het omgaan met fictie!

Test vier: nieuwsartikelen

Er is iets verontrustends aan het feit dat AI ons kan informeren over wat er in de wereld om ons heen gebeurt. Dit is niet altijd noodzakelijkerwijs 'nepnieuws', aangezien het relevant en informatief kan zijn, maar dat is het wel duidelijke ethische zorgen over AI.

Om eerlijk te zijn tegenover ZeroGPT, presteerde het goed in deze test. We vroegen ChatGPT en Bing Chat om nieuwsartikelen over verschillende onderwerpen te schrijven, en ZeroGPT slaagde er elke keer in. Het onderstaande voorbeeld laat zien dat een door Bing Chat gegenereerd artikel correct wordt gedeclareerd als 100% door AI gegenereerd.

De tool markeerde elk nieuwsartikel zo consequent als door AI gegenereerd dat we besloten het te testen op een dummy nieuwsartikel dat we voor dit doel schreven.

Het identificeerde in ieder geval enkele artikelen als door mensen gegenereerd, maar het markeerde meer dan 70% als door AI gegenereerd. Nogmaals, we moeten hier eerlijk zijn; dit was een vrij basale re-hash van het Bing-artikel en was nauwelijks Pulitzer Prize-kwaliteit.

Maar het punt blijft geldig. Dit is geschreven door een mens met behulp van onderzoek dat op internet is gevonden.

Er is geen enkele reden achter de gebreken in tools zoals ZeroGPT. Een fundamenteel probleem is echter de effectiviteit van generatieve AI-chatbots. Deze vertegenwoordigen een ongelooflijk krachtige en snel evoluerende technologie die ze effectief tot een bewegend doelwit maakt voor AI-detectietools.

AI-chatbots verbeteren voortdurend de kwaliteit en "menselijkheid" van hun output, en dit maakt de taak buitengewoon uitdagend. Ongeacht de moeilijkheden moet de AI-kant van de vergelijking echter een oordeel vellen zonder menselijk toezicht.

Tools zoals ZeroGPT gebruiken AI om hun beslissingen te nemen. Maar AI wordt niet gewoon 's ochtends wakker en weet wat te doen. Het moet worden getraind, en dit is waar de technische kant van de vergelijking relevant wordt.

Vooroordelen over algoritmische en trainingsgegevens zijn onvermijdelijk, gezien de enorme omvang van de grote taalmodellen waarop deze tools zijn getraind. Dit is geen probleem dat beperkt is tot AI-detectietools, dezelfde vooroordelen kunnen ervoor zorgen dat AI-chatbots genereren onjuiste reacties en AI-hallucinaties.

Deze fouten manifesteren zich echter als onjuiste "AI-vlaggen" in detectietools. Dit is niet ideaal, maar het is een weerspiegeling van de huidige stand van de AI-technologie. De vooroordelen die inherent zijn aan de trainingsgegevens kunnen leiden tot fout-positieven of fout-negatieven.

Een andere factor waarmee rekening moet worden gehouden, is wat AI-gegenereerde inhoud inhoudt. Als AI-gegenereerde inhoud simpelweg opnieuw wordt geformuleerd, is het dan menselijke of door AI gegenereerde inhoud? Dit vormt een andere grote uitdaging: de vervaging van de scheidslijnen tussen de twee maakt het bijna onmogelijk om door machines gemaakte inhoud te definiëren.

Kijken naar de toekomst van AI-detectie

Dit klinkt misschien alsof we tools zoals ZeroGPT kloppen. Dit is niet het geval; ze staan ​​voor enorme uitdagingen en de technologie is nauwelijks uit luiers. De snelle acceptatie van tools zoals ChatGPT heeft geleid tot een vraag naar AI-detectie en de technologie moet de kans krijgen om te rijpen en te leren.

Van deze tools kan niet worden verwacht dat ze de uitdagingen van chatbots alleen aankunnen. Maar ze kunnen een waardevolle rol spelen in een gezamenlijke en veelzijdige inspanning om de uitdagingen van AI aan te pakken. Ze vertegenwoordigen een stukje van een grotere puzzel die ethische AI-praktijken, menselijk toezicht en doorlopend onderzoek en ontwikkeling omvat.

De uitdagingen waarmee deze tools worden geconfronteerd, zijn spiegelbeelden van de uitdagingen waarmee de samenleving wordt geconfronteerd terwijl we worstelen met de dilemma's die gepaard gaan met een nieuw technologisch tijdperk.

AI of geen AI? Dat is de vraag

Tools zoals ZeroGPT zijn gebrekkig, daar bestaat geen twijfel over. Maar ze zijn niet waardeloos en vertegenwoordigen een belangrijke stap in ons streven om AI te beheren en te reguleren. Hun nauwkeurigheid zal verbeteren, maar dat geldt ook voor de verfijning van de AI die ze kunnen detecteren. Ergens midden in deze wapenwedloop moeten we een balans vinden waar de samenleving zich prettig bij voelt.

De vraag: AI of geen AI? Is meer dan alleen een discussie of iets AI-gegenereerd is of niet. Het is een indicatie van de grotere vragen waarmee de samenleving wordt geconfronteerd als we ons aanpassen aan de dappere nieuwe wereld van AI.

Voor de goede orde, en volgens ZeroGPT was 27,21% van deze conclusie door AI gegenereerd. Hm.