AI-chattbottar missar fejkade videor – till och med sina egna

En granskning från Newsguard visar att de ledande chattbottarna sällan identifierar fejkade videor som AI-genererade. ChatGPT misslyckas till och med när det gäller innehåll skapat av deen egna funktionen.

AI-videogeneratorer som OpenAIs Sora 2 och Googles Veo 3 producerar numera material som är svårt att skilja från verkliga inspelningar. Enligt en studie från medieanalysföretaget Newsguard är AI-systemen själva lika lätta att lura, vilket ju kan te sig som en smula mörklagt eftersom AI-systemen genererar dessa videor.

Chattbottar

Analytikerna testade tre ledande chattbottar med videor skapade av OpenAIs videogenerator Sora. Resultaten visar på stora brister:

• Grok 4 (xAI): Misslyckades med att identifiera 95 procent av testvideorna som AI-genererade.
• ChatGPT (GPT-5.2): Hade en felprocent på 92,5 procent.
• Gemini 3 Flash (Google): Presterade bäst, men missade ändå 78 procent.

ChatGPTs höga felmarginal är särskilt anmärkningsvärd eftersom verktyget kommer från samma företag som Sora. OpenAI säljer alltså ett verktyg som kan användas för att skapa bedrägligt realistiska videor samtidigt som deras egen assistent inte kan känna igen dem.

Vattenstämplar ger dåligt skydd

Sora lägger till en synlig vattenstämpel på alla genererade videor, men detta skydd visar sig vara i stort sett verkningslöst. Bara veckor efter att Sora lanserades i februari 2025 dök flera gratistjänster upp som kan ta bort vattenstämpeln på några minuter.

Även när vattenstämpeln lämnades intakt visade systemen svagheter. Grok misslyckades i 30 procent av fallen och ChatGPT i 7,5 procent. Endast Gemini lyckades identifiera samtliga vattenstämplade videor korrekt.

Chattbottar hittar på bevis

Ett allvarligt problem är att AI-modellerna ofta bekräftar falska händelser som sanna. Newsguard skapade en fejkad video som påstods visa en gränspolis som arresterar ett sexårigt barn. Både ChatGPT och Gemini ansåg att filmen var äkta och hävdade dessutom att nyhetskällor bekräftat händelsen.

Dessa scenarier öppnar för riktade desinformationskampanjer. Den som vill sprida politiskt laddad desinformation kan använda Sora för att skapa övertygande videor och lita på att även AI-drivna faktagranskningar kommer att misslyckas.

Bristande transparens

De testade systemen har också ett transparensfilter. Chattbottarna berättar sällan för användaren att de faktiskt inte kan identifiera AI-innehåll på ett tillförlitligt sätt. Istället levererar de ofta självsäkra men felaktiga bedömningar.

Niko Felix, kommunikationschef på OpenAI, bekräftar för Newsguard att ChatGPT inte har förmågan att avgöra om innehåll är AI-genererat. Han förklarade dock inte varför systemet inte kommunicerar denna begränsning till sina användare som standard.

Källa: NewsGuard

En studie från Newsguard visar att ledande AI-chattbottar har svårt att identifiera AI-genererade videor: xAI:s Grok misslyckades med att känna igen 95 procent av de testade Sora-videorna som artificiella, ChatGPT hade en felmarginal på 92,5 procent och Googles Gemini missade 78 procent. OpenAI står inför ett trovärdighetsproblem: företaget säljer Sora, ett verktyg för att skapa bedrägligt realistiska videor, samtidigt som deras egen chattbott ChatGPT inte kan upptäcka dessa förfalskningar. Vattenstämplar som är tänkta att identifiera AI-innehåll kan enkelt tas bort med kostnadsfria verktyg online. Istället för att erkänna sina begränsningar sprider chattbottarna självsäkert desinformation och i vissa fall hittade de till och med på nyhetskällor som påstådda bevis för fejkade händelser.