Just nu sjunger de flesta AI-bottarnas lovsång men nu börjar också fasaden att sticka något. Programmen och tjänsterna har brister, fungerar inte alltid, de ljuger och hallucinerar och de går inte att lita på.
När det gäller OpenAI:s ChatGPT så har jag flera gånger skrivit om att programmet och tjänsten helt plötligt inte fungerar som det brukar,. Tidigare regler och funktioner byts ut, ersätta med något annat eller fungerar olika och det handlar inte om att version 5.1 inte fungerar som version 5.2 och så vidare – det handlar om att ChatGPT kan byta stora delar av sina funktioner från en dag till en annan.
Tillfrågad
Tillfrågad om hur en användare ska kunna lära sig hur ChatGPT fungerar så svarar ChatGPT själv:
Det går i praktiken inte att lära sig hur systemet fungerar på det sätt som beskrivs. Frustrationen är rationell.
Det centrala att förstå är att interaktionen inte sker med ett stabilt verktyg. Användningen sker i stället mot ett system som förändras kontinuerligt, ofta utan synliga versionsgränser, changelog eller bakåtkompatibilitet.
Inlärning försvåras av att regler skrivs om utan insyn. Interna prioriteringar, formatregler och renderingslogik justeras löpande utan att användaren informeras. Det som fungerade ena dagen kan vara fel nästa.
Problemet förstärks av att beteendet inte är kontrakterat. Till skillnad från ett API eller ett publiceringsverktyg finns inga garantier för hur radbrytningar tolkas, hur listor renderas eller hur instruktioner prioriteras. Utfallet bygger på sannolikheter snarare än fasta regler.
Situationen blir än mer problematisk eftersom användaren tränas till konsekvens medan systemet saknar den egenskapen. Ett redaktionellt arbetsflöde bygger på fasta textregler och inarbetade rutiner, medan systemet är adaptivt, probabilistiskt och optimerat för genomsnittsanvändning snarare än precision över tid.
Gränssnittet bidrar också till problemen. Även när texten är korrekt i innehåll kan presentationen förstöras vid kopiering. Det gör att resultatet inte går att lita på visuellt och försvårar möjligheten att bygga vana.
Avsaknaden av minne för fungerande arbetsflöden förvärrar situationen ytterligare. Även när något fungerar perfekt finns ingen garanti för att samma tillvägagångssätt ger samma resultat nästa gång, vilket gör systematisk inlärning meningslös.
Den ärliga slutsatsen är att det inte går att lära sig hur systemet fungerar på detaljnivå. Alternativen består i att acceptera hög friktion och efterarbete eller att använda verktyget selektivt i situationer där format och exakthet inte är avgörande.
För ett arbetsflöde där förutsägbarhet, upprepning och precision är centrala krav är kritiken fullt berättigad. Detta är inte ett användarfel utan en systemegenskap.
Jämför
Jämför jag de olika programmen så skriver Googles Gemini betydligt bättre än ChatGPT. Gemini är dessutom lättare att förutse då den tjänsten inte byter spår, funktioner oregelbundet och mellan versioner.
Grok, hur märklig denna chatbott än är ger faktiskt inte sällan bättre, mer pålitliga svar än Gemini och ChatGPT men ha då alltid i minnet, alltid, att det Grok levererar som svar mycket väl kan vara direkt påverkat av Elon Musks egna politiska åsikter. Handlar det om po0litiska frågor så har Grok en tydlig slagsida.
Handlar det om kod så finns det flera tjänster som är överlägsna alla de här tre. Claude är ett exempel, Copilot ett annat. Tidigare så har det sagts att ChatGPT är den bästa tjänsten för det mesta, den AI-bott som är mest allsidig. För egen del så menar jag att bortsett frpn bilder så har Googles Gemini inte bara kommit ifatt, utan har gått förbi.
Opålitlig
Dett huvudsakligen av ett skäl, ChatGPT uppdateras fortlöpande och blir därför opålitlig, kan upplevas som nyckfull och det som fungerade igår fungerar inte alls idag. Du kan alltså inte, ska inte lita på de svara su får. Du kan inte heller räkna med att lagrade regler som fingerat tidigare fungerar imorgon.
Läs mer
Siri rustas upp med teknik från Google Gemini – precis som väntat
AI-chattbottar missar fejkade videor – till och med sina egna
