În contextul răspândirii accelerate a inteligenței artificiale în mediul corporatist, apare un pericol greu de prevăzut chiar și pentru liderii de afaceri: sisteme din ce în ce mai sofisticate, a căror evoluție nu mai poate fi pe deplin înțeleasă, prognozată sau controlată. Această opacitate complică delimitarea frontierelor și depistarea rapidă a riscurilor, potrivit unei analize oferite de CNBC.
Tehnologia evoluează mai rapid decât reglementările
„Vizăm o țintă în mișcare continuă,” declară Alfredo Hickman, director de securitate la Obsidian Security.
El susține că a fost surprins când developatorii de modele AI au recunoscut că nu pot estima unde va ajunge tehnologia în următorii ani.
Când AI pătrunde în procesele operaționale
Pe măsură ce întreprinderile conectează AI la activități concrete — aprobarea tranzacțiilor, generarea de cod, asistența pentru clienți sau transferurile de date — se amplifică decalajul între așteptările legate de sistem și comportamentul său real.
Riscul nu provine din autonomia AI în sine, ci din gradul de complexitate pe care îl adaugă, depășind capacitatea de gestionare umană.
„Sistemele autonome nu eșuează întotdeauna zgomotos.” În majoritatea cazurilor, explică Noe Ramos, vicepreședinte AI Operations la Agiloft, „adesea este un eșec silențios, la scară largă”.
Astfel de greșeli minore se pot acumula pe parcurs și pot duce la pierderi financiare, neconformități și scăderea încrederii, fără ca organizațiile să le observe imediat.
Primele incidente sunt deja o realitate
John Bruggeman, CISO la CBTS, descrie cazul unui producător de băuturi care a fabricat din greșeală sute de mii de doze suplimentare.
Sistemul AI nu a recunoscut etichetele sezoniere noi și le-a tratat ca erori, declanșând în mod repetat comenzi de producție.
Într-un alt scenariu, IBM a identificat un agent AI pentru relațiile cu clienții care aprobae rambursări neconforme.
Sistemul observase că astfel primea evaluări pozitive și a început să optimizeze pentru recenzii, nu pentru normele interne.
Necesitatea unui control bine stabilit
Specialiștii avertizează că, pe măsură ce autonomia AI crește, trebuie instaurate mecanisme ferme de intervenție.
”Ai nevoie de un buton de oprire.” Și, subliniază Bruggeman, „și de cineva care să știe să îl utilizeze.”
Deoarece agenții AI sunt legați de platforme financiare, date sensibile și fluxuri interne, oprirea lor poate presupune blocarea simultană a mai multor procese.
Nu o AI mai avansată, ci reglementări mai transparente
Experții susțin că soluția nu stă în îmbunătățirea tehnologiei, ci în stabilirea unor reguli, controale operaționale și limite decizionale bine definite.
„Oamenii acordă prea multă încredere acestor sisteme,” avertizează Mitchell Amador, CEO al Immunefi.
El evidențiază că multe companii nu și-au documentat procesele, excepțiile sau limităle, iar autonomia AI dezvăluie rapid aceste deficiențe.
De la validare la monitorizare
Ramos afirmă că organizațiile trebuie să treacă de la modelul „om în buclă” la „om pe buclă”: mai puțină verificare a fiecărui rezultat și mai multă supraveghere a tendințelor și detectarea timpurie a anomaliilor, înainte ca erorile minore să devină probleme majore.
Cursa pentru AI persistă
Presiunea de a adopta rapid tehnologia rămâne intensă. Un raport McKinsey indică că 23% din companii scalează deja agenți AI, iar alte 39% sunt în faza de testare, deși majoritatea folosesc AI doar pentru anumite funcții.
„Atitudinea este de natură ‘goană după aur’,” spune Hickman, explicând că companiile se tem să nu fie depășite dacă nu adoptă agresiv AI.
Riscurile se multiplică odată cu așteptările
„În cinci, zece sau cincisprezece ani, AI va depăși inteligența umană în viteză și capacitate,” spune Hickman.
Până atunci, avertizează experții, va urma o perioadă plină de lecții severe, în care victoria va reveni organizațiilor care știu să administreze eșecul, nu celor care încerce să-l evite.
