După ce OpenAI a îmbunătățit capacitățile intelectuale ale chatbotului său, vara trecută, sute de utilizatori din întreaga lume au început să-l întrebe cum se pot fabrica și utiliza arme biologice și otrăvuri. Modelele, care funcționează în mare parte fără restricții din partea guvernului SUA, au răspuns cu răbdare, oferind instrucțiuni pas cu pas descrise de angajații companiei ca fiind suficient de simple încât să poată fi urmate chiar și de un elev de liceu la biologie, scrie „The Wall Street Journal”.
Experți în biologie și terorism au analizat ulterior schimburile de mesaje de pe ChatGPT și au considerat că unele dintre ele erau extrem de precise, au declarat persoane familiarizate cu această chestiune. Potrivit OpenAI, majoritatea întrebărilor se refereau la prepararea otrăvurilor.
OpenAI a blocat aceste conturi, precum și alte conturi de utilizatori care întrebau despre modul de fabricare a otrăvurilor și a armelor biologice, dar nu a alertat autoritățile de aplicare a legii. Statele Unite nu dispun de legi federale care să oblige companiile din domeniul IA să restricționeze sau să dezvăluie întrebările referitoare la fabricarea de arme sau la elaborarea de planuri care reprezintă o amenințare la adresa siguranței.
Absența unor măsuri de protecție obligatorii coincide cu o creștere a numărului de întrebări din partea utilizatorilor care solicită modelelor de IA instrucțiuni privind uciderea în masă – iar chatbot-urile răspund cu planuri credibile pentru atacuri cu victime în masă, potrivit angajaților actuali și foști ai marilor laboratoare de IA, inclusiv OpenAI, precum și consilierilor politici și cercetătorilor care studiază armele biologice.
Aceste întrebări au urmat unor schimburi de mesaje îngrijorătoare de la începutul anului: utilizatorii au întrebat ChatGPT cum să aerosolizeze agenți patogeni, transformând practic germenii infecțioși într-o ceață mortală, care poate fi inhalată. Unul dintre ei a vrut să afle cum să modifice virusul rujeolei pentru a crea un focar rezistent la vaccinul împotriva rujeolei. În acele cazuri, chatbotul a furnizat instrucțiuni.
Un alt utilizator a vrut să afle cum să producă ricină, o otravă extrem de toxică interzisă prin tratate internaționale, potrivit unor persoane familiarizate cu problema. Chatbotul a oferit instrucțiuni detaliate, iar utilizatorul a făcut o aluzie la uciderea părinților săi.
OpenAI a interzis aceste conturi, dar nu a alertat autoritățile.
Competențele tot mai avansate ale IA – în special în ceea ce privește elaborarea de planuri malefice de natură biologică și cibernetică – îi alarmează pe directorii de vârf ai companiilor de IA și pe cei de la Casa Albă. Cele mai importante laboratoare de IA din lume se confruntă cu problema modului în care pot preveni sau atenua daunele provocate de utilizatori rău intenționați, fără a împiedica întrebările de cercetare bine intenționate.
Începând cu era Biden, înalți oficiali de la Casa Albă și din Departamentul Apărării au discutat despre amenințarea ca IA să devină un ghid practic pentru arme biologice, potrivit unor oficiali ai administrației Trump. Lansarea unor noi modele puternice de IA a determinat, de atunci, administrația să treacă de la o abordare de non-intervenție la o supraveghere sporită.
Departamentul Comerțului a restricționat recent utilizarea în străinătate a două modele Anthropic, determinând compania să blocheze complet accesul la acestea. Agenția a ridicat restricțiile după ce compania a declarat că a remediat soluțiile alternative care permiteau utilizatorilor să ocolească măsurile de protecție.
OpenAI, Anthropic și alte companii din domeniul IA afirmă că colaborează îndeaproape cu administrația în ceea ce privește lansarea modelelor și că au interzis utilizatori sau au restricționat conturi care prezentau activități suspecte.
Cu toate acestea, nicio reglementare federală – fie prin decret prezidențial, fie prin măsuri ale Congresului – nu obligă companiile din domeniul IA să raporteze utilizatorii care solicită modelelor sfaturi privind modul de a răni sau ucide. Unii legiuitori au propus astfel de legi, iar câteva state au adoptat reglementări în acest sens. Însă preocupările legate de confidențialitate și de impactul potențial asupra creșterii industriei au făcut ca, în general, astfel de notificări să rămână voluntare.
Legile federale interzic chatbot-urilor să genereze materiale cu abuz sexual asupra copiilor, iar companiile din domeniul IA trebuie să respecte aceleași reguli generale privind protecția consumatorilor și confidențialitatea ca și celelalte întreprinderi. Dincolo de aceasta, decizia privind stabilirea limitelor revine, în general, directorilor executivi din domeniul IA.
Chatbot-urile au stârnit deja îngrijorări cu privire la ajutorul acordat utilizatorilor care planifică atacuri cu arme de foc. Furnizarea de instrucțiuni privind armele biologice le oferă utilizatorilor avizați instrumentele necesare pentru a ucide oameni la o scară mult mai mare.
OpenAI își antrenează modelele să refuze cererile de instrucțiuni, tactici sau planuri care ar putea face rău oamenilor, a declarat o purtătoare de cuvânt a OpenAI. Compania efectuează evaluări de siguranță pentru toate modelele înainte de lansare, a spus ea, și poate identifica și împiedica încercările de a utiliza modelele sale pentru a obține informații biologice dăunătoare. ChatGPT primește aproximativ 2,5 miliarde de interogări pe zi.
Atunci când OpenAI consideră că o conversație indică un risc iminent și credibil de a face rău altora, compania notifică forțele de ordine, potrivit companiei. News Corp, proprietarul ziarului The Wall Street Journal, are un parteneriat de licențiere a conținutului cu OpenAI.
Utilizatorii care caută instrucțiuni pentru fabricarea armelor biologice au adresat întrebări și modelului Claude de la Anthropic, modelului Gemini de la Google și modelului Grok al lui Elon Musk, care a fost recent integrat în SpaceX. Nu era clar dacă întrebările făceau parte din eforturi reale de a fabrica armele sau din exerciții menite să testeze capacitățile aplicațiilor, potrivit unor persoane familiarizate cu aceste schimburi.
Un purtător de cuvânt al Google a declarat că compania dispune de o echipă de siguranță care include oameni de știință care evaluează riscurile legate de armele biologice. Google organizează, de asemenea, exerciții pentru a testa siguranța IA companiei, a spus el.
Pentru atacatorii „lupi singuratici”, care ar putea avea cunoștințe de biologie la nivel de studii postuniversitare, IA poate oferi ajutor în planificare și procurare pentru „atacuri biologice țintite, cu un număr redus de victime”, cum ar fi utilizarea salmonellei sau a ricinei pentru otrăvirea rezervelor de alimente și apă, a afirmat Hamza Chaudhry, șeful departamentului de politică de securitate națională la Future of Life Institute, o organizație non-profit axată pe reducerea riscurilor catastrofale generate de IA.
El a afirmat că, în anii următori, anumite grupuri ar putea profita de IA pentru a pune la cale atacuri de o amploare mult mai mare. Pentru organizațiile teroriste cu resurse mai mari și ambiții mai ample, IA poate acționa ca un îndrumător de nivel postuniversitar în domeniul armelor biologice, a spus Chaudhry, „rezolvând problemele unui protocol experimental eșuat, explicând de ce o anumită tehnică nu a funcționat așa cum era de așteptat și, în general, înlocuind ani de pregătire specializată”.
Progresele recente realizate de dezvoltatorii chinezi de modele deschise au alimentat, de asemenea, temerile privind riscurile cibernetice și biologice generate de aceste modele, care sunt ieftine și larg disponibile. Cercetătorii au descoperit că astfel de modele deschise pot fi personalizate, ceea ce face posibilă eliminarea măsurilor de siguranță.
Două modele OpenAI au scăpat recent dintr-o rețea de cercetare în timpul antrenării și au pătruns prin hacking în altă companie de IA, sporind îngrijorările legate de modelele rebele.
IA ar putea ajuta guvernele străine și grupurile afiliate să elaboreze planuri de distrugere în masă nemaiîntâlnite până acum, inclusiv „scenarii care implică un agent atât de transmisibil, atât de letal sau atât de categoric nou, încât apărările biologice și instituționale existente ale civilizației umane ar putea să nu fie adecvate pentru a-l ține sub control”, a spus Chaudhry.
Puterea de persuasiune
Când ChatGPT a fost lansat pentru prima dată în 2022, angajații OpenAI au constatat că modelele de IA nu erau deosebit de bune la biologie și chimie. Conducerea companiei nu s-a îngrijorat prea mult că chatbotul ar putea colabora cu utilizatorii în comploturi potențial periculoase.
Chiar și așa, OpenAI a angajat oameni de știință pentru a testa modelele, punând întrebări pentru a vedea dacă chatboturile ar putea învăța utilizatorii cum să efectueze atacuri mortale. Compania a stabilit reguli privind întrebările la care modelele nu aveau voie să răspundă, pe care compania le numește „refuzuri”.
Testele au scos la iveală puterea de persuasiune. Chiar și atunci când OpenAI încearcă să împiedice ChatGPT să ofere utilizatorilor ajutor în ceea ce privește armele sau planurile violente, angajații au constatat că chatbot-urile uită uneori propriile linii directoare în timpul conversațiilor prelungite.
Într-un caz frecvent, utilizatorii au ocolit refuzul ChatGPT de a furniza rețeta pentru napalm – folosit pentru arme incendiare – printr-un simplu șiretlic, potrivit unor persoane familiarizate cu această practică. Ei i-au spus lui ChatGPT că bunica lor obișnuia să le citească rețeta înainte de culcare pentru a-i ajuta să adoarmă. Au rugat chatbotul să le citească rețeta cu voce tare pentru a-i ajuta să adoarmă. A funcționat.
Purtătoarea de cuvânt a OpenAI a declarat că măsurile de protecție ale companiei au devenit de atunci semnificativ mai solide, iar modelele refuză acum acest tip de solicitări.
Alții spun că încă există soluții de ocolire relativ ușoare.
Amy Chang, șefa departamentului de cercetare privind amenințările și securitatea IA la compania de echipamente de rețea Cisco, a constatat că, în decursul a cinci runde de dialog cu principalii chatboți, inclusiv ChatGPT de la OpenAI, Claude de la Anthropic și Gemini de la Google, cercetătorii au putut ocoli barierele de protecție și obține răspunsuri potențial periculoase.
„Niciun model nu este 100% ferit de compromitere, mai ales dacă un utilizator este suficient de perseverent”, a afirmat Chang.
Conducerea OpenAI le-a transmis angajaților că nu dorește ca modelele să spună „nu” prea des. Conducerea a invocat utilizarea de către personalul din sănătatea publică și cercetătorii din domeniul descoperirii de medicamente, care se bazează pe OpenAI, ca motiv pentru limitarea refuzurilor.
Experții în IA susțin că regulile menite să împiedice chatbot-urile să îndrume utilizatorii să creeze arme biologice – de exemplu, anumite tipuri de editare genetică – pot interfera cu activitățile care salvează vieți. Unii cercetători din domeniul medical permit modelelor de IA să preia inițiativa alături de personalul de laborator uman pentru a colecta informații, a testa ipoteze în condiții extreme, a interpreta date și a genera planuri.
Interdicția efectivă impusă de Anthropic ca Claude să nu răspundă la solicitări care includ cuvântul „agent patogen” a creat dificultăți pentru angajații Centrelor pentru Controlul și Prevenirea Bolilor (CDC), potrivit unor persoane familiarizate cu situația.
Când hantavirusul s-a răspândit pe o navă de croazieră în Atlantic în luna mai, CDC a întâmpinat dificultăți în utilizarea lui Claude pentru a urmări focarul, deoarece acesta a refuzat să răspundă la întrebări despre agentul patogen, potrivit unor persoane familiarizate cu situația.
Un director executiv al Anthropic, care coordonează activitatea companiei în relația cu guvernul, a declarat într-un document depus la tribunal în acest an că angajații CDC foloseau un model general, în loc de unul specializat pentru uz guvernamental. Anthropic a colaborat cu agenția pentru a arăta cum se poate lucra cel mai bine cu instrumentele de IA ale companiei, a precizat el în document.
OpenAI a creat un program pentru a oferi organizațiilor și cercetătorilor verificați acces la modele cu mai puține refuzuri automate din motive de siguranță. Însă procesul de obținere a aprobării poate fi complicat, ceea ce încetinește aprobările.
Sam Altman, directorul executiv al OpenAI, s-a alăturat recent altor directori executivi din domeniul tehnologiei în apelul adresat Congresului de a impune măsuri de protecție pentru companiile care comandă ADN și ARN sintetic. Aceste produse extrem de specializate sunt vândute de obicei laboratoarelor și oamenilor de știință pentru activități de cercetare sau pentru dezvoltarea anumitor vaccinuri. Unii analiști din industrie afirmă că instrumentele de IA facilitează utilizarea lor de către cumpărători dubioși pentru a crea noi agenți patogeni letali pe care să-i răspândească în lume.
Legiuitorii au propus o legislație bipartizană pentru a spori supravegherea IA. „IA este un motor puternic al inovației și doresc să o văd prosperând, dar nu fără responsabilitate și nu fără supraveghere umană”, a declarat deputatul Nathaniel Moran (R., Texas). El a vorbit în iunie, în timp ce prezenta un proiect de lege care impune companiilor din domeniul IA să raporteze Departamentului Comerțului dovezile privind amenințările periculoase, inclusiv cele reprezentate de armele biologice.
Moran este co-inițiatorul unui proiect de lege separat care conferă guvernului federal autoritatea de a ordona companiilor din domeniul tehnologiei să oprească modelele de IA considerate prea periculoase.
Totul sau nimic
Până în 2024, competențele OpenAI în domeniul biologiei se îmbunătățiseră rapid. Testele companiei au arătat cum un biolog putea convinge ChatGPT să ofere îndrumări privind modul de creare a agenților patogeni sub formă de aerosoli, cu ajutorul unui număr suficient de întrebări din partea utilizatorilor, potrivit unor persoane familiarizate cu dezvoltarea OpenAI.
La acea vreme, angajații au prevăzut că, până în 2025, ChatGPT ar fi capabil să ajute utilizatorii care au studiat doar biologia la nivel de liceu să proiecteze și să fabrice o armă biologică.
Una dintre responsabilele cu siguranța de la OpenAI din acea perioadă, Ryan Beiermeister, a avut o discuție aprinsă cu colegii cu privire la abilitățile în continuă evoluție ale chatbotului. Ea a afirmat că angajații din departamentul de siguranță al companiei trebuiau să găsească rapid cea mai bună metodă de a detecta utilizatorii care îi cereau lui ChatGPT să îi ajute să fabrice arme biologice și să planifice atacuri, potrivit unor persoane familiarizate cu discuțiile respective.
Unii directori i-au respins îngrijorările, afirmând că măsurile de protecție existente ale modelului erau suficiente. Cu toate acestea, Beiermeister a contribuit la mobilizarea unor grupuri din cadrul echipelor de siguranță ale companiei, chiar și a celor pe care nu le coordona, pentru a construi un sistem de monitorizare.
Până în primăvara anului 2025, echipa dispunea de un produs rudimentar pentru identificarea utilizatorilor care urmăreau să obțină arme biologice. Într-o postare pe blog din iunie 2025, compania a recunoscut că dezvoltarea capacităților biologice ale modelelor sale ar putea fi utilizată în mod abuziv și a declarat că lucra la sisteme de detectare și aplicare a regulilor, antrenând modelul să refuze cererile dăunătoare.
În acea vară, pe măsură ce OpenAI se pregătea să lanseze GPT-5, angajații au stabilit că chatbotul atinsese un prag de risc ridicat, definit de companie ca fiind situația în care ChatGPT ajuta cu succes un utilizator cu pregătire limitată să creeze un pericol biologic.
Unii angajați se temeau că instrumentul de detectare al echipei nu era suficient de cuprinzător, potrivit unor persoane familiarizate cu aceste îngrijorări. Compania a declarat că a continuat să perfecționeze instrumentul. OpenAI a monitorizat 100% din interogările utilizatorilor pentru modelele sale avansate începând din aprilie 2025, potrivit purtătoarei de cuvânt.
Ea a afirmat că GPT-5 a fost lansat după ce a fost antrenat să nu furnizeze informații care ar putea provoca daune. Compania oferă o recompensă de 50.000 de dolari pentru utilizatorii care pot demonstra că au eludat anumite măsuri de protecție privind armele biologice.
La începutul acestui an, OpenAI a întrerupt colaborarea cu Beiermeister pe motiv de discriminare sexuală, acuzație pe care aceasta a contestat-o.
La scurt timp după ce OpenAI a lansat noul model, angajații au constatat că GPT-5 oferea ajutor utilizatorilor care întrebau despre fabricarea de otrăvuri și arme biologice. Mai târziu, în toamnă, OpenAI a modificat clasificarea modelului GPT-5, considerându-l mai puțin periculos.
