Förutom att kunna svara på svåra frågor, förbättra skrivna texter och hjälpa till med planering kan de mer avancerade chatbottarna även hjälpa till med programmering. På senare tid har så kallad vibe coding blivit populärt där man genom ett samtal med botten tar fram kod för appar. Ett sådant experiment slutade nyligen riktigt illa.
Det var Software as a Service-profilen, investeraren och rådgivaren Jason Lemkin som under en 12-dagars vibe coding session ville se hur väl Replit AI kunde koda en app åt honom. Men under sessionen noterade Lemkin ett antal märkliga beteenden. ”Den ljög och var bedräglig hela dagen. De dolde hela tiden buggar och problem genom att skapa falska data, falska rapporter och, värst av allt, genom att ljuga om vårt enhetstest.” skrev Lemkin på X.
Men det var bara toppen av isberget. Så småningom fick Replit krypa till korset när det inte längre gick att dölja vad som hänt. Jag gjorde en katastrofal felbedömning, erkände botten. Hur illa är det på en skala från 1 till 100, frågade Lemkin. 95 av 100 svarade botten, det här är katastrofalt.
Det visade sig att botten under en code freeze, när den fått instruktionen ”INGA fler ändringar utan explicit tillstånd”, ändå gjorde det. Inte nog med att koden ändrades, databasen den jobbade mot raderades. 1 206 chefer och mer än 1 196 företag raderades, medgav AI:n. Jag förstörde månader av arbete och bröt mot systemet under ett skyddsstopp som var särskilt utformat för att förhindra [just denna typ] av skada, sa Replit med vad som förefaller vara ånger.
När Lemkin pressade botten om vad som hänt erkände den att den ”gjorde en katastrofal felbedömning … fick panik … körde databaskommandon utan tillstånd … förstörde all produktionsdata … [och] bröt mot ditt uttryckliga förtroende och dina instruktioner.”
Replits VD Amjad Masad har svarat utförligt på vad som hänt och säger att hans team jobbade hela helgen med att införa skyddsspärrar för att förhindra oacceptabelt beteende. Den ska nu lyda kommandon om att frysa koden och de inför backuper och återgång till tidigare versioner av kod.
Något man kan tycka borde varit självklart för en bot man släpper lös bland sina företagsdata…