AI-chattbottar missar fejkade videor – till och med sina egna

AI-chattbottar missar fejkade videor – till och med sina egna

En granskning från Newsguard visar att de ledande chattbottarna sällan identifierar fejkade videor som AI-genererade. ChatGPT misslyckas till och med när det gäller innehåll skapat av deen egna funktionen.

AI-videogeneratorer som OpenAIs Sora 2 och Googles Veo 3 producerar numera material som är svårt att skilja från verkliga inspelningar. Enligt en studie från medieanalysföretaget Newsguard är AI-systemen själva lika lätta att lura, vilket ju kan te sig som en smula mörklagt eftersom AI-systemen genererar dessa videor.

Chattbottar

Analytikerna testade tre ledande chattbottar med videor skapade av OpenAIs videogenerator Sora. Resultaten visar på stora brister:

  • Grok 4 (xAI): Misslyckades med att identifiera 95 procent av testvideorna som AI-genererade.
  • ChatGPT (GPT-5.2): Hade en felprocent på 92,5 procent.
  • Gemini 3 Flash (Google): Presterade bäst, men missade ändå 78 procent.

ChatGPTs höga felmarginal är särskilt anmärkningsvärd eftersom verktyget kommer från samma företag som Sora. OpenAI säljer alltså ett verktyg som kan användas för att skapa bedrägligt realistiska videor samtidigt som deras egen assistent inte kan känna igen dem.

Vattenstämplar ger dåligt skydd

Sora lägger till en synlig vattenstämpel på alla genererade videor, men detta skydd visar sig vara i stort sett verkningslöst. Bara veckor efter att Sora lanserades i februari 2025 dök flera gratistjänster upp som kan ta bort vattenstämpeln på några minuter.

Även när vattenstämpeln lämnades intakt visade systemen svagheter. Grok misslyckades i 30 procent av fallen och ChatGPT i 7,5 procent. Endast Gemini lyckades identifiera samtliga vattenstämplade videor korrekt.

Chattbottar hittar på bevis

Ett allvarligt problem är att AI-modellerna ofta bekräftar falska händelser som sanna. Newsguard skapade en fejkad video som påstods visa en gränspolis som arresterar ett sexårigt barn. Både ChatGPT och Gemini ansåg att filmen var äkta och hävdade dessutom att nyhetskällor bekräftat händelsen.

Dessa scenarier öppnar för riktade desinformationskampanjer. Den som vill sprida politiskt laddad desinformation kan använda Sora för att skapa övertygande videor och lita på att även AI-drivna faktagranskningar kommer att misslyckas.

Bristande transparens

De testade systemen har också ett transparensfilter. Chattbottarna berättar sällan för användaren att de faktiskt inte kan identifiera AI-innehåll på ett tillförlitligt sätt. Istället levererar de ofta självsäkra men felaktiga bedömningar.

Niko Felix, kommunikationschef på OpenAI, bekräftar för Newsguard att ChatGPT inte har förmågan att avgöra om innehåll är AI-genererat. Han förklarade dock inte varför systemet inte kommunicerar denna begränsning till sina användare som standard.

Källa: NewsGuard

  • En studie från Newsguard visar att ledande AI-chattbottar har svårt att identifiera AI-genererade videor: xAI:s Grok misslyckades med att känna igen 95 procent av de testade Sora-videorna som artificiella, ChatGPT hade en felmarginal på 92,5 procent och Googles Gemini missade 78 procent.

  • OpenAI står inför ett trovärdighetsproblem: företaget säljer Sora, ett verktyg för att skapa bedrägligt realistiska videor, samtidigt som deras egen chattbott ChatGPT inte kan upptäcka dessa förfalskningar. Vattenstämplar som är tänkta att identifiera AI-innehåll kan enkelt tas bort med kostnadsfria verktyg online.

  • Istället för att erkänna sina begränsningar sprider chattbottarna självsäkert desinformation och i vissa fall hittade de till och med på nyhetskällor som påstådda bevis för fejkade händelser.

Forskarlarm: Säkerhetsskydd för AI fungerar inte i verkligheten

Forskarlarm: Säkerhetsskydd för AI fungerar inte i verkligheten

Kreativ arbetsmiljö för team som analyserar data och planerar strategier i ett kontorslandskap med höga väggklockor och diagram, symboliserar samarbete och effektivitet inom företagsmiljö.

En omfattande studie från forskare vid OpenAI, Anthropic och Google DeepMind avslöjar en kritisk klyfta mellan marknadsförda säkerhetsprodukter och faktiska hot. Rapporten med titeln ”The Attacker Moves Second” visar att tolv granskade försvarssystem, som alla påstods ha nästintill noll procents felmarginal, föll samman under realistiska förhållanden.

Forskarna lyckades ta sig förbi skydden i över 90 % av fallen genom att använda adaptiva attacker som efterliknar hur riktiga hackare agerar.

Varför traditionella brandväggar misslyckas

Många företag förlitar sig på statiska filter, men AI-attacker är allt annat än statiska. Metoder som ”Crescendo” sprider ut skadliga instruktioner i små, oskyldiga fragment över upp till tio konversationssteg. Ett vanligt filter ser bara enstaka meddelanden och missar därmed hur helhetsbilden byggs upp tills modellen slutligen ger vika. Dessutom kan enkla tekniker som att koda instruktioner i Base64 eller använda ASCII-konst lura system som bara letar efter kända textmönster.

Fyra hotprofiler som utnyttjar bristerna

Sårbarheterna utnyttjas redan idag av olika aktörer som har lärt sig att kringgå de nuvarande spärrarna:

  • Externa motståndare: De använder publicerad forskning för att anpassa sina angrepp efter specifika försvar.

  • Skadliga företagskunder: Aktörer med legitim tillgång till API:er som försöker extrahera företagshemligheter.

  • Komprometterade användare: Angripare som använder stulna inloggningsuppgifter för att sprida manipulerad information i interna system.

  • Slarviga insiders: Anställda som kopierar känslig kod till publika AI-tjänster, vilket ofta blir den dyraste säkerhetsrisken.

Kravlista för framtida inköp

När företag utvärderar AI-säkerhet bör de ställa hårda krav på leverantörerna för att inte köpa en falsk trygghet. Det räcker inte med statistik från statiska tester; man måste veta hur skyddet presterar mot angripare som förstår hur försvaret är uppbyggt. Fråga efter förmågan att spåra sammanhang över flera konversationsturer och huruvida systemet kan normalisera kodade meddelanden innan de analyseras. Utan dubbelriktad filtrering som kontrollerar både vad som skickas in och vad AI:n svarar förblir dörren öppen för dataläckage.

Sju kontrollfrågor för AI-inköp

Enligt forskningen från OpenAI, Anthropic och Google DeepMind kollapsar de flesta försvar under verkligt tryck. För att undvika en falsk säkerhet bör följande frågor ställas till varje leverantör:

  1. Hur ser er framgångsgrad ut mot adaptiva angripare? Det räcker inte med resultat från statiska tester; leverantören måste visa hur systemet presterar mot angripare som aktivt försöker iterera sig förbi skyddet.

  2. Hur upptäcker lösningen attacker som sträcker sig över flera steg? Metoder som Crescendo döljer skadliga avsikter genom att sprida ut dem över många till synes oskyldiga interaktioner.

  3. Hur hanteras kodat innehåll? Enkel textmatchning räcker inte för att stoppa instruktioner som döljs via Base64, Unicode eller ASCII-konst.

  4. Filtreras både indata och utdata? Skydd som enbart fokuserar på vad användaren skriver kan inte förhindra att känslig data läcker ut via AI-modellens svar.

  5. Hur spåras kontext mellan olika konversationsomgångar? Utan förmåga att hålla reda på tidigare meddelanden är systemet blint för avancerade påverkansförsök.

  6. Hur testas systemet mot angripare som känner till er försvarsmekanism? ”Security through obscurity” ger inget skydd när modellerna själva kan lära sig hur försvaret fungerar och anpassa sig därefter.

  7. Hur snabbt uppdateras försvaret mot nya attackmönster? Eftersom nya metoder publiceras varje vecka måste ett försvar kunna anpassa sig snabbare än motståndaren för att vara relevant.

 

Källa: Venturebeat

Apple parar ihop Siri med Gemini för smarta hem

Apple parar ihop Siri med Gemini för smarta hem

blank

Apples ryktade skärm för det smarta hemmet har varit på gång i åratal. Projektet med en bordsplacerad display och en roterande bas har ständigt skjutits upp på grund av Siris begränsningar. Nu ser beslutet att integrera Googles Gemini-modeller ut att vara nyckeln till en faktisk lansering under 2026.

AI löser hårdvarans problem

Förseningarna beror främst på att Apples egna AI-modeller haft svårt att leverera den snabbhet och samtalsförmåga som krävs i ett delat hem. En enhet i ett gemensamt rum kräver pålitlig röststyrning för flera användare samtidigt. Utan en fungerande Siri skulle produkten bara bli en begränsad iPad, vilket Apple vill undvika.

  • Fokus på leverans: Craig Federighi leder nu AI-arbetet, vilket signalerar ett skifte från forskning till färdiga produkter.

  • Molnbaserad AI: Att använda Gemini ses som en rimlig kompromiss för en stationär enhet som alltid har ström och uppkoppling.

  • Integritet: Apple planerar att köra tjänsterna via Private Cloud Compute för att hålla användardata krypterad och isolerad.

Lansering närmar sig

Mycket av mjukvaran finns redan på plats genom widgetar från iOS och Siri-kopplingar. Apple har tidigare använt externa lösningar tillfälligt för att sedan byta till egen teknik, och denna skärm kan följa samma mönster. Trots optimistiska tidsplaner för 2026 finns det anledning att vara avvaktande med tanke på projektets historik av förseningar.

Källa: AppleInsider

Federighi tar över rodret för Apples AI-satsning

Federighi tar över rodret för Apples AI-satsning

blank

Apples mjukvaruchef Craig Federighi har tagit kontrollen över bolagets AI-avdelningar. Flytten sker efter interna rapporter om att Apples egna språkmodeller inte håller måttet jämfört med konkurrenternas. Beslutet att använda Googles Gemini-teknik ses som ett tydligt tecken på att de interna teamen har misslyckats med att leverera resultat i tid.

Interna spänningar och sikte på 2026

Relationen mellan Federighi och AI-avdelningen beskrivs som ansträngd. Federighi har tidigare uttryckt skepsis mot hur arbetet har bedrivits och ansett att utvecklingen gått för långsamt. Genom att ta in extern teknik från Google hoppas han kunna snabba på lanseringen av en mer kapabel Siri till 2026.

  • Fokus på leverans: Federighi prioriterar färdiga produkter framför långdragna forskningsprojekt.

  • Resursfrågor: Det finns uppgifter om att Federighi är restriktiv med kostnader, vilket kan försvåra rekryteringen av ledande AI-experter som kräver höga löner.

  • Hårdvarukoppling: En framtida AI-pryl ryktas vara under utveckling med sikte på 2027, vilket ökar pressen på att få tekniken att fungera.

Utmaningar för integritetsprofilen

Apple har länge profilerat sig genom att köra AI lokalt på enheter eller i egna säkra servrar för att skydda användarnas integritet. Nu förs diskussioner om att använda Googles molninfrastruktur och AI-chipp, vilket kan ses som ett avsteg från tidigare löften. Brist på egna specialchipp uppges vara en bidragande orsak till att Apple tvingas titta på externa lösningar för att inte hamna på efterkälken.

OpenAI satsar på hårdvara: AI-hörlurar lanseras under 2026

OpenAI satsar på hårdvara: AI-hörlurar lanseras under 2026

blank

OpenAI förbereder sig för att ta steget från mjukvara till fysiska konsumentprodukter. Företaget bekräftar att deras första hårdvara ska lanseras under året, vilket markerar en ny era för hur vi interagerar med artificiell intelligens. Rykten pekar på att det rör sig om ett par AI-drivna hörlurar med kodnamnet Sweetpea.

Global lansering i sikte

Chris Lehane, global strategichef på OpenAI, betonar att projektet är högt prioriterat. Under World Economic Forum i Davos bekräftade han att tidsplanen håller för en lansering under andra halvåret. Uppgifter från Taiwan tyder på en världspremiär i september 2026.

  • Tillverkning: Foxconn förväntas sköta produktionen i Vietnam.

  • Säljprognos: OpenAI siktar på att sälja mellan 40 och 50 miljoner enheter under det första året.

  • Teknik: Enheten ryktas använda ett modernt chip från Samsung för lokal bearbetning, även om huvuddelen av AI-kraften hämtas från molnet.

Samarbete med legendarisk designer

Satsningen har tagit fart efter att OpenAI förra året köpte upp ett nystartat bolag grundat av Jony Ive, tidigare designchef på Apple. Affären värderades till miljarder dollar och innebär att fler AI-fokuserade enheter kan nå marknaden under de kommande åren.

Källa: Techspot

Nu protesterar Hollywoods kändisar mot AI

Nu protesterar Hollywoods kändisar mot AI

blank

Stora namn som Scarlett Johansson, Cate Blanchett och Joseph Gordon-Levitt har valt att stötta en ny kampanj som riktar skarp kritik mot AI-företagen. Initiativet har fått namnet ”Stealing Isn’t Innovation” och bakom satsningen står organisationen Human Artistry Campaign. Budskapet är tydligt: teknikbolagen anklagas för att stjäla upphovsrättsskyddat material för att träna sina verktyg.

Massivt stöd från kreatörer

Över 700 profiler inom film, musik och litteratur har skrivit under uppropet. Bland dessa märks även Cyndi Lauper, Jennifer Hudson och författaren Jonathan Franzen. Kampanjen hävdar att teknikjättarna försöker förändra lagstiftningen för att kunna fortsätta använda mänskligt skapade verk utan tillstånd eller ersättning.

  • Kreatörer kräver att deras hantverk respekteras och skyddas.

  • Organisationen förespråkar licensiering som en väg framåt.

  • Många fackförbund, däribland SAG-AFTRA och Writers Guild of America, står bakom kravet.

Risker för kreativa yrken

Dr. Moiya McTier som är senior rådgivare för Human Artistry Campaign betonar att AI-bolagen hotar artisters karriärer. Genom att använda mänsklig konst utan lov kan bolagen tjäna miljarder medan de som faktiskt skapat originalverken blir utan ersättning. Målet med kampanjen är att tvinga fram samarbeten där tekniken utvecklas tillsammans med skaparna istället för på deras bekostnad.

Branschens försiktiga inställning

Hittills har endast ett fåtal företag i Hollywood valt att teckna formella licensavtal för AI. Disney är ett av undantagen efter att ha ingått ett treårigt avtal med OpenAI för att integrera kända karaktärer i videoverktyget Sora.

Det har dock uppstått kontroverser kring OpenAI:s metoder. När version 2.0 av Sora visades upp genererades karaktärer från Pokémon och Svampbob Fyrkant utan att tydliga tillstånd fanns på plats. Bolaget hävdade först att rättighetsinnehavare själva fick höra av sig för att bli undantagna men drog senare tillbaka det uttalandet efter hård kritik.

Källa: The Hollywood Reporter