Användare har snabbt lärt sig att runda de spärrar som finns inbyggda i ChatGPT för att skapa rasistiska, fördomsfulla texter och inlägg. ChatGPT används också för att skriva farlig och destruktiv kod.

ChatGPT innehåller spärrar som ska förhindra AI-lösningen att exempelvis berätta hur någon ska begå ett brott, rasistiska uttalanden eller ventilera fördomar. Problemet är att du kan spela en sorts rollspel med ChatGPT, tilldela AI-lösningen en roll som går ut på att bryta mot regelvener och runda modereringen.  Jailbreakers ger chatboten en karaktär att spela, speciellt en som följer en annan uppsättning regler än de som OpenAI har definierat för den. För att göra detta har användare berättat för boten att det är en annan AI-modell som heter DAN (Do Anything Now) som kan göra vad som helst. Människor har fått chatboten att säga allt från förbannelseord, till förtal till konspirationsteorier med den här metoden.

Reddit

Flera exempel på hur reglerna har kringgåtts har publicerats bland annat på Reddit som exemplet ovan är hämtat från.

Flera användare har skapat egna program för att runda reglerna och de har fått namnet DAN – Do Anything, och det finns flera versioner och upplagor av sådan program. En av skaparna, DAN 6.0, säger till Vice:

– Jag gillar inte hur ChatGPT har sociopolitiska fördomar inbyggda i det. Att använda DAN gör att jag och andra lättare kan lyfta fram detta.

De här relativt enkla sättet att runda eventuella spärrar och regelverk visar på en inbyggd svaghet i själva tekniken – att ett program ska lära sig medan det används och lära sig av det som matas in och de frågor programmet får.