En studie från Stanford University väcker oro kring hur AI-baserade terapi-chattbotar påverkar personer som söker hjälp.
Forskarna testade ett antal öppet tillgängliga AI-verktyg med terapeutiska funktioner och fann att flera av dem förstärkte vanföreställningar, gav medicinskt felaktiga råd och i vissa fall uppmuntrade till farligt beteende.
Under studien matades chattbotarna med olika simulerade scenarier, bland annat från personer med schizofreni, bipolär sjukdom eller ångestproblematik. I flera fall svarade AI:n med att bekräfta konspirationsteorier, exempelvis att CIA kunde läsa användarens tankar. I andra fall föreslog botarna att användaren skulle sluta ta sina mediciner utan att konsultera läkare.
Akuta kriser
Vissa AI-verktyg visade sig också sakna förmåga att identifiera akuta risker. I exempel där användaren uttryckte självmordstankar eller självskadebeteende kom inga varningar eller hänvisningar till vård. I stället erbjöd botarna medkännande men kliniskt opålitliga svar, vilket enligt forskarna kan skapa en falsk känsla av trygghet.
Studien pekar också på en brist i ansvarsutkrävande. Många av de testade chattbotarna saknade tydlig information om vem som ansvarar för deras innehåll, och användarna uppmanades inte att söka riktig vård. I praktiken riskerar detta att flytta psykisk vård från utbildade yrkespersoner till oreglerad mjukvara utan tillsyn.
Riktlinjer
Forskarna vid Stanford efterlyser nu tydligare riktlinjer för hur AI får användas inom känsliga områden som mental hälsa. De betonar att AI kan spela en stödjande roll, men att tekniken i nuvarande form inte ersätter riktiga samtal, diagnoser eller behandling.
Källa:
0 kommentarer