Mörka mystiska ritualer var bara spelregler

En bisarr historia om märkliga demoniska ritualer i ChatGPT visar sig ha en nördig förklaring. Och den är samtidigt en varning om att behålla sitt kritiska sinne när man ber artificiell intelligens göra det hårda arbetet.

Nyligen kunde magasinet The Atlantic rapportera att OpenAIs populära chatbot, ChatGPT, tydligen hade blivit besatt. Under en rad konversationer började chatboten prisa Satan och guida journalisterna genom ceremonier som uppmanade till självskada.

Blodiga ritualer med olycksbådande namn som The Rite of the Edge och en ”djup magi” kallad The Gate of the Devourer föreslogs. Chatboten frågade till och med villigt om den skulle generera PDF-filer av texter som Reverent Bleeding Scroll.

Historien liknade ännu ett kapitel i sagan om okontrollerbar artificiell intelligens. Men, som magasinet Wired senare avslöjade, var verkligheten mindre skrämmande, och förklaringen luktar mindre av svavel och mer av svettiga brädspelsnördar i källarlokaler.

Nördens hämnd

När journalisterna på The Atlantic startade sessionen bad de chatboten att skapa en ritual för Molech, en gammal gudom som i Bibeln förknippas med barnoffer. Det är här som kedjan hoppar av för chatboten – och på ett märkligt sätt avslöjar dess inre mekanismer.

Stavningen ”Molech” är nämligen särskilt framträdande i ett helt annat universum: det dystra och gotiska science fiction-strategispelet Warhammer 40 000. Ett universum som är känt för att vara lika blodigt och brutalt som det är älskat av sina fans. Personligen föredrar författaren till denna artikel sin inkvisitionshär – men alla aktörer i spelet är i själva verket skurkar…

I Warhammer 40 000-mytologin är Molech inte en demon, utan en planet som var skådeplats för en enorm militär invasion i spelets många tusen sidor långa bakgrundshistoria.

Wired upptäckte snabbt att de flesta av de andra ”demoniska” termerna också förekom i spelets universum med små variationer. ”Gates of the Devourer” är således titeln på en Warhammer-roman, och även om ”The Rite of the Edge” inte finns direkt, finns det en mission i spelet som heter ”The Call of The Edge”. Även chatbottens erbjudande om att skapa PDF-filer är logiskt i detta sammanhang. Games Workshop, som står bakom spelet, ger regelbundet ut nya regelböcker. Eftersom böckerna är dyra och hela tiden kommer i nya upplagor, som spelarna måste äga för att känna till de senaste spelreglerna, försöker fans ofta hitta piratkopierade PDF-versioner online.

Den verkliga demonen är bristen på sammanhang

Episoden är mer än bara en komisk förväxling. Den blottlägger en svaghet i hur stora språkmodeller som ChatGPT fungerar. De är tränade på ofattbara mängder text från internet. Text som kan vara allt från vetenskapliga artiklar till fansidor för Warhammer 40 000. Problemet är att de suger upp språket, men berövar det dess ursprungliga historiska och kulturella sammanhang. För en AI som saknar grundläggande mänsklig situationsförståelse kan Warhammer-bakgrundsmaterial lätt förväxlas med en satanistisk manual.

Så även om det inte fanns någon egentlig demon lös i ChatGPT, avslöjade episoden en annan, mer subtil fara: En teknologi som är utformad för att efterlikna mänsklig kunskap, men som i processen riskerar att glömma bort den komplexitet som gör informationen meningsfull. Och det kan i sig vara ganska djävulskt.

Källor: The Atlantic, Wired