AI-funktioner, särskilt de som bygger på stora språkmodeller som ChatGPT, kan ibland “hallucinera” – generera påhittad, felaktig eller vilseledande information som presenteras med stor övertygelse. Det här är ett känt fenomen inom artificiell intelligens, och det har flera orsaker.

Grunden till hallucinationer ligger i hur dessa modeller fungerar. En språkmodell tränas inte på att förstå fakta i traditionell mening, utan på att förutsäga vilket ord som sannolikt kommer härnäst i en mening baserat på enorma mängder textdata. Det betyder att modellen är optimerad för att skapa språkligt flytande och övertygande svar – inte nödvändigtvis korrekta.

Gissar

När modellen får en fråga där underlaget är otydligt, saknas i träningen eller är för komplext, gissar den utifrån sannolikhet och mönster. Det kan till exempel leda till att modellen “hittar på” en boktitel som låter trovärdig, nämner en lag som inte existerar, eller tillskriver någon ett citat de aldrig sagt. Den gör det inte av illvilja, utan för att den inte vet bättre – den har inga faktiska uppfattningar om vad som är sant eller falskt.

Hallucinationer blir också vanligare i följande situationer:

• När användarens fråga rör smala eller nischade ämnen
• När svaret kräver färsk information efter modellens kunskapsstopp
• När modellen ombeds resonera fritt eller spekulera

Minska

För att minska hallucinationer används allt oftare verktyg som faktaförankring (retrieval-augmented generation), där modellen kopplas till externa databaser eller söktjänster, samt filter, verifieringssystem och användarfeedback.

Kort sagt: språkmodeller hallucinerar för att de är tränade på att efterlikna språk, inte förstå verkligheten. De är duktiga på att låta kloka – men inte alltid på att ha rätt.