Claude supervizează 26% din munca de cercetare și dezvoltare a modelelor Anthropic, ceea ce, potrivit companiei, indică faptul că modelul poate duce la îndeplinire majoritatea unei sarcini „de la capăt la capăt, pornind de la o directivă de nivel înalt”, rămânând în continuare sub control uman, conform Associated Press.
Sistemul nu operează încă în totalitate în mod independent. Cu toate acestea, circa 90% din activitatea de cercetare și dezvoltare a organizației se realizează în „colaborare” cu Claude, ceea ce, conform Anthropic, permite modelului să execute „volume substanțiale de muncă sub supravegherea atentă a oamenilor”.
Comunicarea a apărut într-un moment în care mai mulți experți renumiți din domeniul AI, conduși în principal de directorul general Anthropic, Dario Amodei, cer o încetinire a ritmului de progresare a tehnologiei din rațiuni de securitate.
În timp ce conducătorii analizează posibilitatea încetinirii ritmului de avansare a inteligenței artificiale, „ar trebui să depunem eforturi maxime pentru a micșora decalajul dintre ceea ce cunosc laboratoarele de elită și ceea ce știe publicul larg”, a afirmat Anthropic, într-o postare pe blog.
„Aceasta presupune o evaluare mai riguroasă a progresului în domeniul AI, comunicarea publică a rezultatelor și oferirea către societate a șansei de a hotărî cum să folosească aceste cunoștințe”, potrivit companiei.
Organizația a menționat că modelele care își accelerează propriul proces de evoluție ar putea face ca „înțelegerea sau controlul acestor sisteme de către oameni să devină mai complicate”.
Aceasta a argumentat că împărtășirea acestor metrici ar putea facilita o înțelegere mai clară a gradului de apropiere al laboratoarelor de elită din domeniul AI față de autoîmbunătățirea recursivă, practic capacitatea unui model de a-și crea autonom succesorul.
Compania a oferit, totodată, detalii despre măsurile de monitorizare a agenților pe care le-a aplicat, precizând că, în luna august, aproximativ 30.000 de agenți desfășurau activități de cercetare și inginerie.
Măsurile de supraveghere sunt esențiale pentru a identifica frecvența cu care comportamentul neadecvat al agenților este descoperit de sistemele de monitorizare, potrivit Anthropic.
Compania s-a obligat, recent, să desemneze evaluatori externi independenți, care vor fi integrați în cadrul companiei pentru a supraveghea eforturile în materie de securitate.
