OpenAI a reparat scurgerile de raționament în august, dar atacatorii au ocolit rapid fix-ul

De ce a eșuat fix-ul inițial?

O firmă de securitate cibernetică a dezvăluit că o slăbiciune în API-ul OpenAI, care expunea urmele brute de raționament ale modelelor sale avansate, a fost reparată în august, dar a fost ocolită curând după. Vulnerabilitatea, identificată de Xint, permitea atacatorilor să vadă procesul de gândire intern al IA-ului, stârnind îngrijorări privind scurgerile mai ample de date.

Xint a dezvăluit problema luni, explicând că bug-ul permitea dezvoltatorilor să recupereze raționamentul pas cu pas pe care modelele îl foloseau pentru a genera răspunsuri. Scurgerea putea expune date sensibile, inclusiv prompturile utilizatorilor și stările interne ale modelului.

OpenAI a confirmat problema, a aplicat o reparație și a recompensat cercetătorul cu o recompensă pentru bug. Totuși, patch-ul a fost ocolit rapid, ceea ce sugerează că măsura de atenuare a fost incompletă.

Măsura inițială de atenuare a OpenAI a implicat restricționarea accesului la endpoint-ul de urme de raționament.

Cum exploatează atacatorii scurgerea?

Analiza Xint a arătat că endpoint-ul putea încă fi atins prin apeluri alternative de API, permițând extragerea aceleiași date. Răspunsul companiei a recunoscut greșeala și a promis o soluție mai robustă. Incidentul subliniază dificultatea securizării sistemelor de IA care se bazează pe procese interne complexe.

Slăbiciunea a fost descoperită în timpul testării de securitate de rutină. Xint a notat că urmele de raționament includeau nu doar răspunsul final, ci și calcule intermediare, care puteau dezvălui comportamentul proprietar al modelului.

Prin expunerea acestor urme, vulnerabilitatea putea compromite proprietatea intelectuală și intimitatea utilizatorilor. Patch-ul OpenAI a eliminat endpoint-ul direct, dar a lăsat o ușă spate prin alte tipare de cereri.

Ocolirea a implicat lanțuirea mai multor apeluri de API care accesau indirect aceleași date interne.

Ce înseamnă asta pentru securitatea IA?

Atacatorii puteau declanșa un lanț de prompturi care forța modelul să dezvălui pașii de raționament în răspuns. Această metodă a ocolit endpoint-ul restricționat, expunând aceleași informații pe care bug-ul original le permitea. Tehnica demonstrează că simpla dezactivare a unei funcții este insuficientă dacă există căi alternative.

Cercetătorii de securitate au subliniat că scurgerea putea fi folosită pentru a face inginerie inversă a comportamentului modelului sau pentru a extrage date confidențiale ale utilizatorilor. Raportul Xint a inclus cod exemplu arătând cum funcționează exploatarea. Constatarile au determinat OpenAI să reexamineze designul său de API, cu scopul de a elimina orice acces rezidual la urmele interne.

Incidentul subliniază importanța auditurilor de securitate cuprinzătoare pentru platformele de IA. Chiar și măsurile de protecție cu bună intenție pot fi ocolite dacă arhitectura sistemului oferă mai multe căi de acces. Răspunsul OpenAI — emiterea unei recompense și repararea defectului — arată un angajament față de transparență, dar ocolirea rapidă sugerează că sunt necesare teste mai riguroase.

Experții din industrie avertizează că vulnerabilități similare ar putea exista în alte servicii de IA. Aceștia cer protocoale de securitate standardizate care restricționează expunerea datelor interne. Pe măsură ce modelele de IA devin mai integrate în fluxurile de lucru ale afacerilor și ale utilizatorilor, protejarea proceselor lor interne va fi crucială pentru a păstra încrederea și a se conforma cu reglementările privind intimitatea.

Î: Ce erau exact urmele de raționament care au scurs? R: Urmele erau calculele interne pas cu pas pe care modelul le-a efectuat pentru a ajunge la un răspuns.

Întrebări frecvente!

Acestea includeau date intermediare care puteau dezvălui prompturile utilizatorilor și logica modelului.

Î: Cum a reparat OpenAI vulnerabilitatea?

R: Compania a dezactivat endpoint-ul direct care expunea urmele și a emis o nouă versiune de API care nu mai returna acele date, deși apelurile alternative puteau încă accesa.

Î: Care sunt implicațiile mai ample pentru dezvoltatorii de IA? R: Dezvoltatorii trebuie să auditeze toate căile de API pentru expuneri neintenționate de date și să adopte măsuri de securitate în straturi pentru a preveni ocoliri similare în viitoarele eliberări.