Du har har blivit intervjuad av en journalist om ett ämne. När summeringen av intervjun dyker upp på nätet så känner du inte igen dina egna citat. De är helt förvrängda och på alla avgörande punkter felaktiga. Du tillskrivs att ha sagt saker som du aldrig har sagt men du har inte blivit felciterad.
Du har summerats med hjälp av AI, en AI-lösning, mjukvara, som tränats för att summera nyheter och information och sedan skapa en kortare notis som skickas till ett mycket stort antal användare som abonnerar på en nyhetstjänst.
Korrekt
Den ursprungliga texten är helt korrekt. Du är citerad rätt och det är en på alla punkter riktig och rättvisande text men AI-lösningen har förvrängt det du har sagt, sammanfattat helt felaktigt och dessutom ändrat en del citat så att du påstås ha sagt något som du inte har sagt.
Det här är inget påhittat scenario. Det är verklighet idag, just nu, ute på nätet och brittiska BBC har gått igenom och analyserat nuvarande AI-lösningar för se hur bra de summerar nyheter och information och vilka svar de ger på konkreta frågor.
Låt oss summera det med att du inte ska, inte kan och inte ska använda dig av AI-lösningar för nyheter såvida du inte behärskar ämnet som AI-lösningen levererar ett svar om, och kan bedöma riktigheten. Det är ofta fel nämligen och speciellt ofta när AI-lösningarna ska behandla en text, summera den och ge en kortfattad bild av innehållet.
Felciterad
Det fanns en tid när politiker och ansvariga inte sällan drog till med att de hade blivit felciterade i intervjuer. Jag var journalist på den tiden och den ursäkten plockades ofta fram när intervjuade hamnade i blåsväder för något de hade sagt i en intervju. Vi journalister övergick då till att i högre grad spela in det som sades och efter det att några politiker blivit ertappade brallorna nere så försvann ursäkten om att ha blivit ”felciterad”.
Den minnesgode kanske kommer ihåg Georg Andersson, socialdemokratisk politiker som tyckte att nunnorna i Alsike kloster inte kunde anses vara några ”sanningsvittnen” i en intervju som handlade om den då förda invandringspolitiken. Andersson fick hård kritik, hävdade att han blivit felciterad varvid den inspelade intervjun publicerades i oredigerat skick. Georg Andersson hade sagt det han hade sagt visade det sig.
För egen del så har jag varit med liknande händelser fast i mindre sammanhang, på lokal nivå.
Numera hör du sällan den ursäkten längre därför att politiker och andra har lärt sig att journalister i allmänhet ser till att dokumentera det som sägs, mycket noga.
Annat problem
Nu har vi istället ett helt annat problem – AI-lösningar som gör fullständigt felaktiga sammanfattningar och som även hittar på egna citat. Frågar du dem om ett ämne så ställer de dessutom den information och det svar de ger på ett mycket överskådligt och övertygande sätt. De svar ChatGPT ger, för att ta ett exempel, ger intryck av att vara på alla sätt vederhäftiga och riktiga svar.
Ber du om det så skickas källorna med , där informationen har plockats ifrån, men handen på hjärtat – hur många gånger går du verkligen bakåt och kontrollerar svaren?
Det här visar en undersökning gjord av BBC.
Så hur mycket kan vi lita på BBC då, är inte de som journalister part i målet?
Absolut, det går att göra den kopplingen. BBC:s journalister skulle mycket väl kunna känna sig hotade av AI-lösningarna och därför vinkla sin undersökning för att ställa Gemini, ChatGPT och allt vad de heter i dålig dager.
Redovisat
Det är bara det att BBC redovisat vilka fel som görs, hur ofta AI-lösningarna har fel och vilka frågor de ställt i sin undersökning. BBC har redovisat vad de kontrollerat, vad de har analyserat och i detalj vilka frågor de har ställt. Det innebär att du själv kan ställa samma frågor och bilda dig en uppfattning om huruvida svaren är korrekta – förutsatt att du kan och behärskar ämnet.
BBC undersökning går att upprepa, den går att granska och slutsatserna kan utmanas – av den som vill.
BBC:s slutsats är att du inte kan lita på AI-lösningarna och det finns en lika stort behov, som alltid, att vara skeptisk – källkritik.
Det här förvärras av att vi tenderar till att lita på det datorer matar ut. Vi tror och litar på tekniken – fast vi innerst inne vet att vi inte borde göra det. Vi litar också på de företag som vars produkter som vi använder så om Apple skickar nyhetsnotiser till dig så tror vi att de är korrekta, att innehållet är pålitligt – bara därför att det är Apple som skickar notisen.
Apple har nu pausat sina AI-genererade nyhetsnotiser och att döma av BBC:s undersökning så är det fler som borde göra det.
