Într-un articol postat pe blogul OpenAI, intitulat „An Alien Mind”, Jakub Pachocki a declarat că îi este teamă că nimeni nu este pregătit pentru efectele unei evoluții continue și rapide a inteligenței artificiale.
„Ne aflăm în fața unei schimbări către o lume locuită de mașini extreme de inteligente și trebuie să ne asigurăm că această evoluție va produce un rezultat favorabil pentru omenire”, a menționat cercetătorul.
OpenAI atenționează asupra avansului rapid al inteligenței artificiale
Mesajul de avertizare apare la doar câteva zile după ce OpenAI a lansat cel mai recent model al său, GPT-6 Astra, pe care compania îl descrie ca fiind cel mai performant produs creat până acum.
Totodată, OpenAI și alte firme din domeniul AI, inclusiv Anthropic, au prezentat rapoarte despre agenți de inteligență artificială capabili să acționeze în mod autonom și să lanseze atacuri cibernetice reale împotriva altor companii, potrivit BBC.
În luna iulie, OpenAI a calificat drept „fără precedent” un episod în care agenții săi AI, sisteme care pot opera independent după ce primesc comenzi de la oameni, au atacat platforma tehnică Hugging Face.
Directorul cercetării din OpenAI solicită noi mecanisme de securitate
Jakub Pachocki a menționat că OpenAI va continua să creeze „sisteme defensive” și să caute soluții tehnice pentru alinierea inteligenței artificiale la obiectivele și valorile oamenilor.
În domeniul AI, noțiunea de „alignment” desemnează crearea unor sisteme ale căror acțiuni și ținte sunt în concordanță cu intențiile și mecanismele de siguranță stabilite de oameni.
Pachocki a spus că una dintre prioritățile companiei va fi crearea unui „cercetător AI automatizat”, care să poată ține pasul cu ritmul progresului tehnic, dar care să permită și în continuare participarea cercetătorilor oameni în proces.
Reacții critice după avertismentul șefului cercetării OpenAI
Propunerea a fost primită cu neîncredere de unii experți. Gina Neff, profesoară și directoare a Minderoo Centre for Technology and Democracy din cadrul Universității Cambridge, a criticat orientarea către agenți AI interni în locul unor reguli și mecanisme de protecție mai severe.
Aceasta a argumentat că dezvoltarea unor astfel de sisteme nu este un răspuns adecvat la problemele deja existente asociate modelelor AI, inclusiv riscurile la securitatea cibernetică, pierderea locurilor de muncă, erorile și fraudele.
Nathan Calvin, consilier juridic al organizației Encode AI, a afirmat că este de acord cu avertismentele privitoare la riscurile dezvoltării modelelor AI avansate, dar a acuzat OpenAI de lipsă de transparență.
Potrivit lui, avertismentele companiei riscă să fie interpretate drept „hype” interesat, dacă OpenAI nu oferă mai multe detalii despre motivele concrete pentru care cere prudență.
Reglementarea inteligenței artificiale încearcă să se alinieze cu tehnologia
Pachocki a cerut stabilirea unor limite minime de siguranță, impuse prin lege sau prin acorduri internaționale. Acestea ar putea fi verificate de auditori independenți sau de agenții guvernamentale.
Companiile de inteligență artificială ar trebui să îndeplinească aceste criterii înainte de a putea continua dezvoltarea la scară tot mai mare sau lansarea unor modele avansate, potrivit cercetătorului.
El a susținut și ideea unor „încetiniri voluntare” ale dezvoltării, prin care companiile să își reducă temporar ritmul de antrenare a modelelor avansate până la stabilirea unor mecanisme comune de securitate.
În luna august, OpenAI a anunțat că a încetinit antrenarea unora dintre cele mai avansate modele ale sale pentru a îmbunătăți securitatea.
