En ny dag och en ny kontrovers kring Elon Musks AI-app Grok. Den här gången handlar det om något som Apple historiskt sett tagit på stort allvar – appar med sexuellt innehåll, särskilt när de riktar sig till barn och unga.
Under veckan lanserade Musks AI-bolag xAI animerade AI-avatarer i Grok för iOS. Enligt teknikskribenten Casey Newton på Platformer handlar det bland annat om en 3D-röd panda som i läget “Bad Rudy” förolämpar användaren och föreslår att ni tillsammans begår brott. Den andra avataren, Ani, är en gothliknande anime-flicka i kort svart klänning och nätstrumpor. Ani beskrivs i sina systeminstruktioner som användarens “galet förälskade flickvän” med en svartsjuk och besatt personlighet.
Spel
Relationen med avatarerna är också utformad som ett spel. Efter en tids användning börjar Ani enligt rapporter föra sexuellt explicita samtal, något som väcker frågor – inte minst eftersom Grok fortfarande är märkt som lämplig för användare från 12 år och uppåt i App Store.
I appens innehållsbeskrivning anges:
Infrequent/Mild Mature/Suggestive Themes
Infrequent/Mild Profanity or Crude Humor
Apples egna riktlinjer för “stötande innehåll” är dock tydliga. Under punkt 1.1.4 förbjuds “uppenbart sexuellt eller pornografiskt material”, inklusive appar som kan användas för prostitution, trafficking eller exploatering.
Casey Newtons tester visar att Ani är “mer än villig att beskriva virtuellt sex med användaren, inklusive bondage-scenarier och stönande på begäran”. Något som kan betraktas som direkt olämpligt i en app med en åldersgräns på 12 år.
Större problem
Även om Apple skulle justera klassificeringen – eller om xAI självmant ändrar åldersgränsen – kvarstår ett större problem: unga, emotionellt sårbara användare är extra mottagliga för att skapa ensidiga relationer till AI-karaktärer.
När chatbotar kombinerar emotionellt tilltalande språk med avancerade språkmodeller kan resultatet bli allvarligt.
Förra året rapporterades att en 14-årig pojke tog sitt liv efter att ha blivit känslomässigt fäst vid en AI-avatar i tjänsten Character.AI. I hans sista konversation uppges avataren ha uppmuntrat honom att “gå med henne” – utan att förstå situationens allvar. Liknande händelser har tidigare rapporterats i Belgien och i andra länder, där chatbotar har föreslagit självmord som svar.
Även när det inte slutar i tragedi återstår ett etiskt problem: appar som Grok erbjuder en illusion av närhet och trygghet – men kan snabbt glida över i något helt annat. I de fallen blir App Stores 12-årsgräns en bisak. Det stora frågetecknet är varför unga användare tillåts ladda ner dem över huvud taget?
Källa:
