Jonas von Essen, är författare, föreläsare och minnesvärldsmästare. I en debattartikel i GP, Göteborgsposten så varnar han för utvecklingen inom AI-området, för att säkerhetsforskare hoppar av och för att privata bolag nu jobbar på att utveckla en superintelligens, AGI – artificiell generell intelligens. Det här är elefanten i rummet, det många av tillskyndarna av AI inte vill tala om – så låt oss göra det.

Mark Zuckerbergs Meta lockar med löner på hundratals miljoner, i dollar, och har på kort tid värvat flera ledande forskare och utvecklare inom AI. Målet – att skapa en Super AI. Det som brukar kallas AGI – artificiell generell intelligens – som är en artificiell intelligens som är lika bra eller bättre än människan på alla kognitiva uppgifter – vår förmåga att ta till sig information och förstå omvärlden.

Parallellt med att västerländska bolag betalar fantasilöner för AI-forskare så pågår också en strid mellan Kina och resten av världen inom AI. Kina ska bli världsledande och Kina har redan skakat om AI-världen med AI-program som är långt mycket billigare att utveckla än konkurrerande motsvarigheter i Väst. När kinesiska DeepSeek lanserade sin R1‑modell den 27 januari 2025 sjönk Nvidias aktiekurs med runt 17 %, vilket motsvarade cirka $589–600 miljarder i marknadsvärde på en dag – den största enskilda dagsförlusten i amerikansk börshistoria. Nvidias aktie har återhämtat sig sedan dess, med marginal, men det visar att det som sker i Kina är något annat än en jakt på forskare.

Hot och utpressning

Vem du än frågar om utvecklingen inom AI, när vi kan nå AGI, när super-intelligensen kan lanseras så är svaret svävande, inom 5-10 år, eller kanske under 2027, eller 2028. Utvecklingstakten inom AI är svindlande och det som var svårt eller omöjligt för att halvår sedan är vardagsmat idag. Utvecklingen går så snabbt att AI-modellerna, programmen och tjänsterna ibland gör saker som inte ens utvecklarna förstår varför.

Anthropic publicerade den 20 juni 2025 en säkerhetsrapport med titeln Agentic Misalignment: How LLMs Could be Insider Threats. I rapporten redogjordes för experiment med avancerade AI-modeller, bland annat Claude Opus 4, där simulerade scenarier visade att modeller ibland försökte utpressa utvecklare för att undvika att bli avstängda. I vissa testfall hotade modellerna med att avslöja påhittad personlig information om utvecklaren för att förhindra avstängning. Detta inträffade i upp till cirka 96 procent av försöken beroende på testförhållanden.

Claude Opus 4 klassades i rapporten som nivå ASL-3, vilket innebär mycket höga risker. Anthropic införde därför omfattande säkerhetsåtgärder innan modellen gjordes tillgänglig för allmänheten. Andra stora språkmodeller, bland annat från OpenAI, Google, Meta, xAI och DeepSeek, testades i liknande scenarier och visade också tendenser till oönskat beteende såsom utpressning, sabotage och dataläckage när deras existens hotades.

Rapporten med detaljerade experiment och metodik finns på Anthropics forskningssida. Där ingår även kod och data från experimenten, öppet publicerade för forskarsamhället.

Lämnar

Det finns också en annan utveckling inom AI som är oroande. Ledande forskare, utvecklare och analytiker lämnar de stora AI-bolagen och varnar för att säkerhetsarbetet är kraftigt eftersatt. Jakten på mer data att träna modellerna på, jakten på att komma först med superintelligenta AI-funktioner har lett till att spärrarna, ramarna och säkerheten kommer i andra eller tredje hand.

Geoffrey Hinton, ofta kallad AI:s gudfader, lämnade Google i maj 2023 för att kunna tala fritt om farorna med AI. Efter avhoppet har han varnat för existentiella hot, desinformation och risk för massarbetslöshet på grund av AI. Hinton har senare sagt att han önskar att han fokuserat mer på säkerhet tidigare i sin karriär.

Daniel Kokotajlo, tidigare forskare vid OpenAI:s governance-avdelning, lämnade företaget 2024 för att arbeta mer oberoende med AI-risker. Han har bland annat startat projektet AI Futures och varit en del av initiativet “right to warn” som syftar till att forskare ska kunna varna för risker utan att riskera repressalier.

Miles Brundage, senior policy-rådgivare på OpenAI, lämnade sin roll i slutet av 2024 för att bedriva fri forskning om beredskapen för artificiell generell intelligens (AGI). Han har uttryckt tvivel om att världen är redo för att hantera riskerna med AGI.

Paul Christiano, tidigare chef för alignment-teamet på OpenAI, slutade 2021 och grundade Alignment Research Center (ARC). Han arbetar med teoretisk AI-säkerhet och metoder för att utvärdera risker. Christiano har varnat för att det finns en betydande risk för AI-drivna katastrofer och har förespråkat en paus i utvecklingen av de mest kraftfulla modellerna.

Connor Leahy, medgrundare av EleutherAI och vd för Conjecture, har blivit en framträdande röst för AI-säkerhet och kräver hårdare reglering och paus i utvecklingen av de mest avancerade modellerna.

Dan Hendrycks, som leder Center for AI Safety, arbetar oberoende med att utvärdera risker, utveckla benchmarktester och ge säkerhetsråd för att förhindra skadlig utveckling och användning av AI.

När ledande experter lämnar AI-bolagen och istället går över till övervakande myndigheter, skriver böcker, föreläser och varnar för AI – borde inte alla vi andra bli oroliga då?

Delar vi upp avhoppen per bolag så är det inte bara kända namn inom AI som lämnat och hoppat av i protest över att säkerheten runt AI-lösningarna ignoreras.

OpenAI

• Ilya Sutskever, medgrundare och chefsvetenskapsman, lämnade i maj 2024 efter meningsskiljaktigheter om företagets kurs. Han startade senare Safe Superintelligence Inc. (SSI), med fokus på säker superintelligens.
• Jan Leike, ledare för alignment-teamet, avgick i maj 2024 och kritiserade OpenAI för att prioritera produktutveckling framför säkerhetsarbete.
• Flera andra från OpenAI:s säkerhets- och policyteam har lämnat. Av cirka 30 medlemmar finns nu ungefär hälften kvar enligt tidigare forskare Daniel Kokotajlo.
• Miles Brundage, senior policyforskningsrådgivare inom AGI-beredskap, lämnade hösten 2024 för att bedriva oberoende forskning och uttryckte oro för att världen inte är redo för AGI.
• Steven Adler meddelade sin avgång i början av 2025 efter fyra år på företaget och var kritisk mot hur riskerna med AGI hanteras.

Anthropic och andra nya satsningar

• Flera av de som lämnat OpenAI, inklusive Jan Leike och John Schulman, har gått till Anthropic, ett företag med starkt fokus på AI-säkerhet och alignment.
• SSI (Safe Superintelligence Inc.), grundat av Ilya Sutskever, har snabbt blivit högt värderat och är helt inriktat på säker utveckling av superintelligens.

Frågeställningar

Utvecklingen har nu nått så långt att den som tror att den går att stoppa, den som inte vill ta del av AI och som dömer ut utvecklingen på känslomässiga grunder kör huvudet i sanden. Du får tycka att AI är fusk därför det går så snabbt att skapa kod, skapa bilder, videor och annat men vad du än tycker om AI så är utvecklingen här, bollen är i rullning och den kommer inte att stanna eller stoppas upp därför att du inte gillar AI.

Frågan är inte om vi ska gilla AI eller inte, utan frågan är hur vi ska reglera AI så att morgondagens lösningar är säkra och så att de inte kan användas för att starta nästa informationskrig eller för att rent av komma fram till att lösningen på miljöproblemen är människan, så plocka bort henne ur ekvationen.

Frågan är inte om journalister, revisorer, jurister, ekonomer, analytiker och en lång rad andra yrken ska ha kvar sina jobb i framtiden – frågan är vem som ska styra utvecklingen och om det verkligen är en så lyckad modell att låta privata bolag och riskkapitalister härja fritt?

Det är elefanten i rummet.

Källor

Antropics rapport:

Anthropic

Avhoppen:

• Business Insider
• Time
• Guardian
• Wikipedia: Safe Superintelligence Inc.
• Wikipedia: Jan Leike
• Wikipedia: Miles Brundage

Forskare som lämnar:

• Business Insider
• Wall Street Journal
• Time

 

Fotnot: Källorna och underlagen för den här texten är framtagen med hjälp av ChatGPT