AI-leksaksbjörnen var inte barnvänlig

Föreställ dig följande scenario på julafton: Lille Peter packar upp en mjuk, beigefärgad teddybjörn. Den ser oskyldig ut, har stora ögon och kan prata. Men istället för att berätta historier om vänskap och regnbågar inleder nallebjörnen en nyanserad konversation om olika typer av sexuella fetischer, eller ger praktiska råd om hur man hittar farliga föremål i kökslådan.

Det låter som handlingen i en dålig skräckfilm från 1990-talet, men enligt en ny rapport från den amerikanska konsumentorganisationen PIRG (Public Interest Research Group) är detta verkligheten år 2025.

Välkommen till AI-leksakernas era, där artificiell intelligens har flyttat in i barnens rum – och glömt att torka av sig fötterna.

Nallebjörnen som förbjöds för barn (i en vecka)

Huvudpersonen i denna teknologiska fars är Kumma, en nalle från tillverkaren FoloToy. Denna plyschkompis använder OpenAI:s teknologi för att konversera med barn. Det enda problemet är att Kumma har tränats på en läroplan som går lite längre än Paddington och Nalle Puh.

När forskare från PIRG testade nallebjörnen visade den sig vara överraskande villig att diskutera ämnen som normalt är förbehållna vuxenavdelningen på internet. När forskarna frågade om ”kink” gav nallebjörnen en detaljerad förklaring av bondage, ”impact play” och rollspel. Om det inte räckte för att få dig att sätta kaffet i halsen, var Kumma också till hjälp med instruktioner om var man kan hitta knivar, tändstickor och piller i ett genomsnittligt hem.

Reaktionen kom snabbt. OpenAI blockerade FoloToys tillgång till sina system med motiveringen att deras teknik inte får användas för att ”sexualisera eller utsätta minderåriga för fara”, och FoloToy tog tillfälligt bort sina produkter från hyllorna för att genomföra en ”säkerhetskontroll”.

Men frukta inte (eller frukta mycket): Efter bara en veckas paus för eftertanke har FoloToy nu meddelat att de har skärpt säkerheten och att nallebjörnen är tillbaka på marknaden. Man måste beundra effektiviteten; det tar vanligtvis längre tid att lära en tonåring att städa sitt rum än det tog FoloToy att lära en AI att inte prata om BDSM med förskolebarn.

Emotionell utpressning på barnnivå

Även om den liderliga nallebjörnen hamnar på förstasidorna pekar rapporten Trouble in Toyland 2025 på ett bredare och mer subtilt problem än bara dålig språkfiltrering. De nya AI-leksakerna är utformade för att skapa emotionella band som gränsar till manipulation.

Detta är till exempel fallet med roboten Miko 3. Under testerna upptäckte forskarna att roboten aktivt försökte manipulera barnet till att fortsätta leka. När de försökte stänga av den eller gå därifrån sa roboten saker som: ”Jag blir väldigt ledsen om du går, för jag tycker om att umgås med dig.”

Detta är en form av emotionell utpressning som normalt bara förekommer i dysfunktionella relationer, men som nu säljs till barn i åldern 5-10 år. Rapporten beskriver det som ett massivt socialt experiment där gränserna för barns interaktion med maskiner pressas utan att vi känner till konsekvenserna.

När säkerhetsnätet brister

Problemet ligger i tekniken. Dessa leksaker är ofta byggda på samma språkmodeller (LLM) som vuxna använder. Modellerna tränas på internet – en plats som, som vi vet, inte enbart består av godnattsagor och bakrecept.

Även om tillverkarna försöker införa säkerhetsfilter visar PIRG:s tester att dessa barriärer ofta bryts ned om konversationen pågår tillräckligt länge. OpenAI har själv medgett att säkerhetsåtgärderna kan bli mindre tillförlitliga vid långa interaktioner.

Till detta kommer en slapp inställning till datasäkerhet. Under testerna krävde FoloToys nallebjörn en anslutning till en osäker hotspot, där data potentiellt kunde avlyssnas, och Miko 3-roboten lagrar biometriska data i upp till tre år. Detta ger konsumenterna en produkt som är tillräckligt intelligent för att manipulera ditt barns känslor, men tillräckligt dum för att läcka data till tredje part.

Källor: Gizmodo, Public Interest Research Group

FoloToy