En reporter på The Washington Post har testat den nya funktionen där ChatGPT integreras med Apple Hälsa. Genom att mata in tio års data från sin Apple Watch ville han se hur träffsäker tekniken är. Resultatet var minst sagt nedslående och väcker frågor om säkerheten i AI-baserad hälsoanalys.
Fick underkänt i hjärthälsa
Reportern Geoffrey Fowler gav ChatGPT Health tillgång till 29 miljoner steg och sex miljoner hjärtslag. När han bad boten att sätta ett betyg på hans hjärthälsa blev svaret ett ”F” – alltså underkänt. En oroad Fowler vände sig till sin riktiga läkare som snabbt avfärdade AI-bedömningen helt. Enligt läkaren var risken för hjärtproblem så låg att försäkringsbolaget troligen inte ens skulle betala för ytterligare tester.
Även kardiologen Eric Topol vid Scripps Research Institute var kritisk. Han kallade AI-analysen för grundlös och betonade att människor bör ignorera medicinska råd från dessa modeller då de ännu inte är redo för praktisk användning.
Inkonsekventa svar och minnesluckor
Det mest oroande var hur inkonsekvent systemet fungerade. När Fowler ställde samma fråga flera gånger varierade betyget kraftigt mellan allt från ett F till ett B. Trots att ChatGPT hade full tillgång till hans medicinska journaler glömde boten ständigt bort grundläggande information som hans kön och ålder.
Andra tjänster, som Anthropics chattbot Claude, fungerade något bättre men misslyckades också med att ta hänsyn till begränsningarna i den insamlade datan från klockan.
Företagens och myndigheternas ansvar
Både OpenAI och Anthropic understryker att deras verktyg inte är tänkta att ersätta läkare eller ställa diagnoser. De hävdar att de endast tillhandahåller information. Kritiker menar dock att om botarna inte kan analysera data korrekt, bör de inte heller ge betyg på människors hälsa överhuvudtaget.
Läkare varnar för två scenarier:
-
Onödig oro: Friska människor blir skrämda av felaktiga varningar.
-
Falsk trygghet: Personer med faktiska hälsoproblem får höra att allt ser bra ut.
Den amerikanska läkemedelsmyndigheten FDA har meddelat att de vill främja innovation och inte stå i vägen som regulator, så länge AI-tjänsterna inte gör direkta kliniska påståenden utan godkännande. OpenAI uppger att de nu arbetar på att förbättra stabiliteten i svaren innan tjänsten görs tillgänglig för fler än den nuvarande testgruppen.
Källa: MacRumors
Läs mer
Varning: Skadliga AI-tillägg i Chrome stjäl dina hemliga konversationer
AI-chattbottar missar fejkade videor – till och med sina egna
