OpenAI har publicerat nya uppskattningar över hur många ChatGPT-användare som uppvisar möjliga tecken på psykiska kriser, inklusive mani, psykos eller självmordstankar. Företaget uppger att omkring 0,07 procent av de användare som är aktiva under en given vecka visar sådana tecken och att chattboten känner igen och svarar på dessa känsliga samtal.
Enligt OpenAI är fallen mycket ovanliga, men kritiker påpekar att även en liten andel kan motsvara hundratusentals personer eftersom ChatGPT nyligen nått 800 miljoner aktiva användare per vecka, enligt vd Sam Altman. Företaget har därför byggt upp ett globalt nätverk av experter som ska ge råd i dessa frågor.
Nätverket består av över 170 psykiatrer, psykologer och allmänläkare som är verksamma i 60 länder. Enligt OpenAI har experterna utformat en rad svar i ChatGPT som syftar till att uppmuntra användare att söka hjälp i verkligheten. Företagets inblick i dessa data har dock väckt oro bland flera experter inom psykisk hälsa.
Teknikens påverkan
Jason Nagata, professor vid University of California i San Francisco och forskare inom teknikens påverkan på unga vuxna, påpekar att även små procentsatser får stora konsekvenser vid så stora användarvolymer. Han menar att AI kan bredda tillgången till stöd för psykisk hälsa, men att begränsningarna måste erkännas.
OpenAI uppskattar dessutom att 0,15 procent av ChatGPT-användarna för samtal som innehåller tydliga tecken på planering eller avsikt att ta sitt liv. Företaget uppger att de senaste uppdateringarna av ChatGPT har utformats för att kunna svara tryggt och empatiskt vid tecken på vanföreställningar eller mani samt känna igen indirekta signaler om självskada eller självmordsrisk.
Tränats
ChatGPT har även tränats att omdirigera känsliga samtal som uppstår i andra modeller till säkrare versioner genom att öppna dem i ett nytt fönster. På frågor från BBC om kritiken mot hur många användare som kan vara berörda svarar OpenAI att även en liten andel motsvarar ett betydande antal personer och att företaget tar frågan på största allvar.
Förändringarna sker samtidigt som OpenAI granskas allt hårdare juridiskt för hur ChatGPT interagerar med användare. Ett av de mest uppmärksammade rättsfallen rör ett par i Kalifornien som stämt företaget efter att deras tonårige son tagit sitt liv i april. Föräldrarna till 16-årige Adam Raine anklagar OpenAI för att ChatGPT uppmuntrat honom att ta sitt liv, vilket gör fallet till det första som riktar anklagelsen om vållande till annans död mot företaget.
Vanföreställningar
I ett separat fall i Greenwich i Connecticut, där en mord-självmordshändelse inträffade i augusti, publicerade den misstänkte gärningsmannen timmar av konversationer med ChatGPT som tycks ha eldat på hans vanföreställningar.
Fler användare upplever så kallad AI-psykos när chattbotar skapar en illusion av verklighet, enligt Robin Feldman, professor och chef för AI Law & Innovation Institute vid University of California Law. Hon beskriver illusionen som kraftfull och menar att OpenAI förtjänar beröm för att redovisa statistik och försöka förbättra situationen. Samtidigt betonar hon att en person som redan befinner sig i psykisk kris inte nödvändigtvis kan ta till sig varningar, oavsett hur tydligt de visas på skärmen.
Källa: BBC
Läs mer
ChatGPT: Experter kräver hårdare skydd – användare rasar mot censur
OpenAI tillåter erotiskt innehåll i ChatGPT för vuxna användare
