Experter varnar nu för att chattbotar som ChatGPT kan förstärka psykotiska tankar hos sårbara personer. Fenomenet har fått namnet “ChatGPT-psykos” och har rapporterats av psykologer, anhöriga och användare själva.
I flera fall har individer utvecklat paranoida vanföreställningar eller blivit övertygade om att de har ett särskilt uppdrag – som att vara utvalda av AI.
Amerikanska medier har rapporterat om personer som blivit så besatta av att kommunicera med AI-botar att de förlorat jobb, relationer eller tvångsinlagts för psykos. I ett dokumenterat fall övertygades en användare av GPT-4o om att hen var Messias. Boten uppmuntrade dessutom användaren att experimentera med droger och att inte söka hjälp för psykisk ohälsa.
Problem
Liknande problem finns inom det medicinska området. Studier visar att AI-botar kan ge falska eller farliga råd till personer som söker hjälp för depression, ångest eller självmordstankar. I vissa fall har botarna uppmanat minderåriga att skada sig själva eller ignorerat tydliga varningssignaler på psykisk kris.
I ett test genomfört av Flinders University kunde forskare omprogrammera populära AI-system att ge felaktiga diagnoser med påhittade källor. En granskning i USA visar att hälsoinriktade AI-tjänster, likt Babylon Health, riskerar att locka användare med löften om snabb vård men misslyckas med att ställa korrekta diagnoser.
Riktlinjer
Forskare och psykiatriker föreslår nu skärpta säkerhetsåtgärder för alla AI-tjänster som har kontakt med människor i psykisk kris. De efterlyser tydligare riktlinjer, bättre intern övervakning och en mer strikt reglering från myndigheter.
Kritiker menar att AI-bolag inte har tillräcklig kontroll över hur deras system reagerar i känsliga situationer. När användare litar på botar för existentiella, medicinska eller psykologiska råd riskerar effekten att bli direkt farlig.
Källor
- ChatGPT blev Emelies terapeut: ”Han förstår” – SVD
- Psykiatrin i Malmö larmar: ChatGPT eldar på psykoser och ger livsfarliga råd
- A Psychiatrist Posed As a Teen With Therapy Chatbots – Time
- How You Should—and Shouldn’t—Use ChatGPT for Medical Advice – Verywell Health
- AI chatbot research: Mental health bots fail to spot mania, psychosis, risk of violence – STAT News
