Wie detecteert deepfakes beter: mens of machine?

Belangrijkste leerpunten

• Deepfakes vormen een aanzienlijke bedreiging voor de samenleving, waaronder het verspreiden van desinformatie, het beschadigen van reputaties door nabootsing van identiteit en het aanzetten tot conflicten voor de nationale veiligheid.
• Hoewel AI-technologie hulpmiddelen biedt voor de detectie van deepfakes, zijn ze niet perfect en blijft menselijke discretie cruciaal bij het identificeren van deepfakes.
• Detectietools voor mensen en AI hebben verschillende sterke en zwakke punten bij het identificeren van deepfakes het combineren van hun vaardigheden kan de slagingspercentages bij het opsporen en beperken van de gevaren van deepfake verbeteren technologie.

Deepfakes bedreigen elk aspect van de samenleving. Ons vermogen om nep-inhoud te identificeren is cruciaal voor het tenietdoen van desinformatie, maar naarmate de AI-technologie verbetert, wie kunnen we vertrouwen om deepfakes te detecteren: mens of machine?

De gevaren van deepfakes

Naarmate de AI-technologie vordert, de gevaren van deepfakes vormen een steeds grotere bedreiging voor ons allemaal. Hier is een korte samenvatting van enkele van de meest urgente problemen die deepfakes met zich meebrengen:

• Desinformatie: Deepfaked video’s en stemopnames kunnen desinformatie verspreiden, zoals nepnieuws.
• Nabootsing: Door zich voor te doen als individuen kunnen deepfakes de reputatie van mensen schaden of iedereen bij wie ze bekend zijn, misleiden.
• Nationale veiligheid: Het voor de hand liggende doemscenario bij deepfakes zijn gefabriceerde beelden of audio van een wereldleider die een conflict aanzet.
• Maatschappelijke onrust: Misleidende beelden en audio kunnen ook door partijen worden gebruikt om woede en burgerlijke onrust onder specifieke groepen aan te wakkeren.
• Cyberbeveiliging: Cybercriminelen maken al gebruik van AI-tools voor het klonen van stemmen om individuen te targeten met overtuigende berichten van mensen die ze kennen.
• Privacy en toestemming: Het kwaadaardige gebruik van deepfakes neemt de gelijkenis van individuen over zonder hun toestemming.
• Vertrouwen en vertrouwen: Als je geen onderscheid kunt maken tussen waarheid en bedrog, wordt nauwkeurige informatie even onbetrouwbaar.

Deepfakes zullen alleen maar overtuigender worden, dus we hebben robuuste tools en processen nodig om ze te detecteren. AI biedt zo’n hulpmiddel in de vorm van deepfake-detectiemodellen. Echter, zoals algoritmen die zijn ontworpen om door AI gegenereerd schrijven te identificerenzijn deepfake-detectietools niet perfect.

Op dit moment is menselijke discretie het enige andere instrument waarop we kunnen vertrouwen. Zijn we dus beter dan algoritmen in het identificeren van deepfakes?

Kunnen algoritmen deepfakes beter detecteren dan mensen?

Deepfakes vormen een bedreiging die zo ernstig is dat technologiegiganten en onderzoeksgroepen enorme middelen besteden aan onderzoek en ontwikkeling. In 2019 boden bedrijven als Meta, Microsoft en Amazon $ 1.000.000 aan prijzen aan tijdens een Deepfake-detectie-uitdaging voor het meest nauwkeurige detectiemodel.

Het best presterende model was 82,56% nauwkeurig vergeleken met een dataset van openbaar beschikbare video's. Toen dezelfde modellen echter werden getest aan de hand van een ‘black box-dataset’ van 10.000 ongeziene video’s, was het best presterende model slechts 65,18% nauwkeurig.

We hebben ook tal van onderzoeken waarin de prestaties van AI-deepfake-detectietools tegen mensen worden geanalyseerd. Uiteraard variëren de resultaten van onderzoek tot onderzoek, maar over het algemeen presteren mensen even goed of beter dan het succespercentage van deepfake-detectietools.

Eén onderzoek uit 2021 gepubliceerd op PNAS ontdekte dat "gewone menselijke waarnemers" een iets hogere nauwkeurigheid behaalden dan de toonaangevende deepfake-detectietools. Uit het onderzoek bleek echter ook dat de menselijke deelnemers en AI-modellen vatbaar waren voor verschillende soorten fouten.

Interessant genoeg is onderzoek uitgevoerd door De Universiteit van Sydney heeft ontdekt dat het menselijk brein onbewust effectiever is in het opsporen van deepfakes dan onze bewuste inspanningen.

Visuele aanwijzingen in deepfakes detecteren

De wetenschap van deepfake-detectie is complex en de vereiste analyse varieert, afhankelijk van de aard van de beelden. De beruchte deepfake-video van de Noord-Koreaanse leider Kim Jong-un uit 2020 is bijvoorbeeld in feite een pratende hoofdvideo. In dit geval zou de meest effectieve deepfake-detectiemethode het analyseren van visemen (mondbewegingen) en fonemen (fonetische geluiden) kunnen zijn op inconsistenties.

Menselijke experts, gewone kijkers en algoritmen kunnen allemaal dit soort analyses uitvoeren, zelfs als de resultaten variëren. De MIT definieert acht vragen om te helpen deepfake-video's identificeren:

• Besteed aandacht aan het gezicht. Hoogwaardige DeepFake-manipulaties zijn bijna altijd gezichtstransformaties.
• Besteed aandacht aan de wangen en het voorhoofd. Ziet de huid er te glad of te rimpelig uit? Is de veroudering van de huid vergelijkbaar met de veroudering van het haar en de ogen? DeepFakes kan op sommige dimensies incongruent zijn.
• Let op de ogen en wenkbrauwen. Verschijnen er schaduwen op plekken waar je dat zou verwachten? Het kan zijn dat DeepFakes er niet in slaagt de natuurlijke fysica van een scène volledig weer te geven.
• Let op de bril. Is er sprake van verblinding? Is er te veel verblinding? Verandert de hoek van de verblinding wanneer de persoon beweegt? Opnieuw is het mogelijk dat DeepFakes er niet in slaagt de natuurlijke fysica van verlichting volledig weer te geven.
• Besteed aandacht aan gezichtshaar of het ontbreken daarvan. Ziet dit gezichtshaar er echt uit? DeepFakes kan een snor, bakkebaarden of baard toevoegen of verwijderen. Het kan echter zijn dat DeepFakes er niet in slaagt gezichtshaartransformaties volledig natuurlijk te maken.
• Besteed aandacht aan gezichtsvlekken. Ziet de mol er echt uit?
• Let op het knipperen. Knippert de persoon voldoende of te veel?
• Let op de lipbewegingen. Sommige deepfakes zijn gebaseerd op lipsynchronisatie. Zien de lipbewegingen er natuurlijk uit?

De nieuwste AI-deepfake-detectietools kunnen dezelfde factoren opnieuw analyseren, met wisselend succes. Datawetenschappers ontwikkelen ook voortdurend nieuwe methoden, zoals het detecteren van de natuurlijke bloedstroom in de gezichten van luidsprekers op het scherm. Nieuwe benaderingen en verbeteringen aan de bestaande kunnen ertoe leiden dat AI-deepfake-detectietools in de toekomst consequent beter presteren dan mensen.

Audio-aanwijzingen in deepfakes detecteren

Het detecteren van deepfake-audio is een heel andere uitdaging. Zonder de visuele signalen van video en de mogelijkheid om audiovisuele inconsistenties te identificeren, deepfake detectie is sterk afhankelijk van audioanalyse (andere methoden zoals metadataverificatie kunnen in sommige gevallen ook helpen gevallen).

Een studie gepubliceerd door Universiteits Hogeschool Londen in 2023 bleek dat mensen 73% van de tijd deepfake-spraak kunnen detecteren (Engels en Mandarijn). Net als bij deepfake-video's detecteren menselijke luisteraars vaak intuïtief onnatuurlijke spraakpatronen in door AI gegenereerde spraak, zelfs als ze niet kunnen specificeren wat er niet klopt.

Veelvoorkomende symptomen zijn onder meer:

• Slurpend
• Gebrek aan expressie
• Achtergrond- of interferentiegeluid
• Stem- of spraakinconsistenties
• Gebrek aan "volheid" in stemmen
• Overmatig gescripte levering
• Gebrek aan onvolkomenheden (valse starts, correcties, keelschrapen, enz.)

Opnieuw kunnen algoritmen ook spraak analyseren op dezelfde deepfake-signalen, maar nieuwe methoden maken tools effectiever. Onderzoek door USENIX identificeerde patronen in de reconstructie van het AI-stemkanaal die er niet in slagen natuurlijke spraak na te bootsen. Het vat samen dat AI-stemgeneratoren audio produceren die overeenkomt met smalle stemkanalen (ongeveer de grootte van een rietje) zonder de natuurlijke bewegingen van menselijke spraak.

Eerder onderzoek van de Horst Görtz Instituut analyseerde echte en deepfakes-audio in het Engels en Japans, waarbij subtiele verschillen in de hogere frequenties van echte spraak en deepfakes aan het licht kwamen.

Zowel de inconsistenties van het stemkanaal als de hoogfrequente inconsistenties zijn waarneembaar voor menselijke luisteraars en AI-detectiemodellen. In het geval van hoogfrequente verschillen zouden AI-modellen theoretisch steeds nauwkeuriger kunnen worden – hoewel hetzelfde ook zou kunnen worden gezegd voor AI-deepfakes.

Mensen en algoritmen worden allebei voor de gek gehouden door deepfakes, maar op verschillende manieren

Studies suggereren dat mensen en de nieuwste AI-detectietools eveneens in staat zijn deepfakes te identificeren. Succespercentages kunnen variëren tussen 50% en 90+%, afhankelijk van de testparameters.

Bij uitbreiding worden mensen en machines in vergelijkbare mate ook voor de gek gehouden door deepfakes. Cruciaal is echter dat we op verschillende manieren vatbaar zijn, en dit zou onze grootste troef kunnen zijn bij het aanpakken van de gevaren van deepfake-technologie. Het combineren van de sterke punten van mensen en deepfake-detectietools zal de zwakke punten van beide verzachten en de succespercentages verbeteren.

Bijvoorbeeld, MIT Uit onderzoek is gebleken dat mensen beter in het identificeren van deepfakes van wereldleiders en beroemde mensen zijn dan AI-modellen. Het onthulde ook dat de AI-modellen worstelden met beelden van meerdere mensen, hoewel het suggereerde dat dit het gevolg zou kunnen zijn van algoritmen die werden getraind op beelden met enkele sprekers.

Omgekeerd bleek uit hetzelfde onderzoek dat AI-modellen beter presteerden dan mensen met beelden van lage kwaliteit (wazig, korrelig, donker, enz.) die opzettelijk konden worden gebruikt om menselijke kijkers te misleiden. Op dezelfde manier omvatten recente AI-detectiemethoden, zoals het monitoren van de bloedstroom in bepaalde gezichtsgebieden, analyses waartoe mensen niet in staat zijn.

Naarmate er meer methoden worden ontwikkeld, zal het vermogen van AI om signalen te detecteren die we niet kunnen detecteren, alleen maar verbeteren, maar ook het vermogen om te misleiden. De grote vraag is of de deepfake-detectietechnologie de deepfakes zelf zal blijven overtreffen.

Dingen anders zien in het tijdperk van deepfakes

AI-deepfake-detectietools zullen blijven verbeteren, evenals de kwaliteit van deepfake-inhoud zelf. Als het vermogen van AI om te misleiden groter is dan het vermogen om te detecteren (zoals het geval is met door AI gegenereerde tekst), zou menselijke discretie het enige instrument kunnen zijn dat we nog hebben om deepfakes te bestrijden.

Iedereen heeft de verantwoordelijkheid om de tekenen van deepfakes te leren kennen en deze te herkennen. Afgezien van het beschermen van onszelf tegen oplichting en veiligheidsbedreigingen, is alles wat we online bespreken en delen kwetsbaar voor desinformatie als we de grip op de realiteit verliezen.