De stora AI-språkmodellerna verkar bedrägligt intelligenta och kan ge fylliga svar på även de mest komplexa frågor. De misslyckas dock med enkla uppgifter som de flesta barn i första klass klarar av.
En grupp forskare vid University of Edinburgh i Skottland har kommit fram till att de flesta artificiella intelligenser har svårt att läsa av visarna på klockor. De kan inte heller känna igen datum i en kalender.
Forskarna bad AI-modellerna att läsa av tiden på olika urtavlor med visare. Studien visade att AI:erna i bästa fall gjorde rätt en fjärdedel av gångerna! Värst var det på klockor med romerska siffror eller stiliserade visare.
Våra resultat visar på ett betydande gap i AI:s förmåga att utföra vad som är absolut grundläggande färdigheter för människor. Dessa brister måste åtgärdas om AI-system framgångsrikt ska kunna integreras i tidskänsliga tillämpningar i verkligheten, till exempel planläggning, automatisering och hjälpteknologier.”
– Rohit Saxena, School of Informatics
En vanlig skrivbordskalender med flera dagar på samma sida gav också AI:erna problem. Felprocenten var lägre än på urtavlorna, men AI:erna gjorde ändå fel i 20 procent av fallen när de ombads identifiera helgdagar.
Så kanske är det för tidigt att be din AI-assistent att boka en semesterresa under påskhelgen. Åtminstone om det är viktigt för dig att den äger rum de dagar du har ledigt…
Resultaten av studien kommer att presenteras vid en workshop om storskalig språkmodellering vid en konferens om artificiell intelligens i april i år.
Källa: University of Edinburgh