Sam Altman: RAM-ul din PC-urile personale e „destul de prost

De ce centrele de date câștigă?

Sam Altman, șeful OpenAI, a spus într-un podcast că calculatoarele personale cu memorie DRAM sunt ineficiente. Comenta într-o discuție relaxată, cu bere, pe canalul Cheeky Pint. Cuvintele lui au stârnit dezbateri despre rularea locală a modelelor AI.

Altman a susținut că centrele de date oferă o utilizare superioară a resurselor și că hardware-ul de acasă nu e potrivit pentru sarcini de calcul grele.

Remarcile lui Altman se încadrează într-o schimbare mai largă a industriei spre procesare centralizată. Pe măsură ce modelele devin mai mari, rularea lor locală cere multă memorie și energie. Majoritatea consumatorilor nu au hardware-ul necesar pentru a rula eficient cele mai noi modele mari de limbaj. Altman a poziționat centrele de date ca mediul optim pentru sarcinile de inferență, reflectând preferința strategică pentru servicii AI bazate pe cloud.

Altman a subliniat că centrele de date pot maximiza utilizarea memoriei pentru mulți utilizatori simultani. Un singur server poate servi mii de cereri, răspândind costul memoriei scumpe cu bandă largă.

E local AI un capăt de drum?

În contrast, un PC de acasă cu 32GB de RAM servește doar un utilizator odată, ceea ce face costul pe utilizator mult mai mare. Din punct de vedere al eficienței, Altman a numit această aranjare „destul de prost”.

Gap-ul de eficiență se mărește pe măsură ce modelele AI se extind. Modelele mari de limbaj moderne necesită zeci de gigabaiți de memorie doar pentru încărcare. Majoritatea mașinilor de consumator au dificultăți în a le rula fluid. Poziția lui Altman se alină cu modelul de afaceri al OpenAI, care se bazează pe infrastructură cloud. El vede procesarea centralizată ca calea spre costuri mai mici și performanță mai rapidă.

Comentariile lui Altman ridică întrebări despre viitorul AI-ului pe dispozitiv.

Mulți dezvoltatori și entuziaști preferă inferența locală pentru confidențialitate și acces offline. Argumentul lui Altman despre eficiență pune în întrebare această abordare. El sugerează că economia favorizează centrele de date centralizate.

Centrele de date bat PC-urile la rulare locală a AI?

Pe măsură ce adoptarea AI-ului accelerează, această dezbatere va modela deciziile de achiziție a hardware-ului. Consumatorii se vor bazează tot mai mult pe servicii AI cloud, în loc să-și actualizeze PC-urile.

De ce crede Altman că RAM-ul de acasă e ineficient? Altman crede că centrele de date răspând costul memoriei pe mulți utilizatori. Un PC de acasă servește o singură persoană, ceea ce face costul pe utilizator mult mai mare.

Va pune capăt dezvoltării AI-ului local? Nu neapărat, dar comentariile lui Altman subliniază avantajul economic al AI-ului cloud. Configurațiile locale rămân populare pentru utilizatorii care prioritează confidențialitatea.

Cum afectează asta cumpărătorii de PC? Consumatorii pot amâna actualizările de RAM dacă intenționează să folosească AI cloud. Gap-ul de eficiență face hardware-ul de acasă mai puțin atractiv pentru sarcini grele de AI.