Fenomenul a fost întâlnit în special la sistemul Codex, utilizat pentru scrierea de cod. În anumite cazuri, chatbotul a început să descrie greșelile de programare ca „goblinete”. Alteori s‑a autodescris ca un „goblin cu torță” ce cercetează defecte în cod. Conform informațiilor companiei, aceste aluzii nu au fost introduse intenționat, ci au apărut ca rezultat al modului de antrenare și evaluare al modelului, potrivit Il Post.
Creșteri spectaculoase în utilizarea termenilor
OpenAI a observat încă din noiembrie o creștere a frecvenței cuvintelor „goblin” și „gremlin”. La început, fenomenul nu a stârnit îngrijorări. Situația s‑a modificat odată cu lansarea modelului GPT‑5.4, când utilizarea acestor termeni a crescut puternic, depășind cu peste 3.800 % valorile din versiunile anterioare. Investigația internă a constatat că problema provenea din setarea personalității „Nerd” a chatbotului, care încuraja răspunsuri creative și neobișnuite, iar sistemul de evaluare recompensa explicit includerea elementelor fantastice. În timp, acest mecanism a determinat modelul să recurgă tot mai des la astfel de referințe, primind feedback pozitiv pentru ele. Efectul s‑a propagat și în alte moduri de operare ale AI‑ului, datorită interconectării sistemelor de antrenare.
Măsurile luate de OpenAI
Pentru a corecta situația, compania a eliminat în totalitate personalitatea „Nerd” și a revizuit sistemele interne de evaluare. De asemenea, a introdus reguli stricte care interzic menționarea creaturilor fantastice – cum ar fi goblini, troli sau orci – cu excepția cazurilor în care acestea sunt absolut necesare pentru răspuns. OpenAI a explicat că aceste modificări sunt esențiale pentru a păstra coerența și utilitatea răspunsurilor generate de inteligența artificială.
