Meta confirmă: supercluster-ul Prometheus ajunge la un milion de GPU-uri

Cât de mare e saltul în putere de calcul?

Meta a confirmat că supercluster-ul Prometheus, situat în New Albany, Ohio, va fi extins la aproximativ un milion de GPU-uri. Prima fază a acestei facilități, care funcționează la scară de gigawatt, este deja operațională.

În prezent, cluster-ul rulează sute de mii de GPU-uri Nvidia, distribuite în mai multe clădiri. Meta a publicat specificațiile tehnice într-un post pe blogul de inginerie în ziua de luni. Prima fază a fost deja folosită pentru antrenarea familiei de modele Muse.

Extinderea la un milion de GPU-uri reprezintă un salt masiv în capacitatea de calcul. Meta a proiectat sistemul pentru a face față cerințelor enorme de date necesare antrenării modelelor de limbaj mare.

Unde se află cluster-ul Prometheus?

Facilitatea consumă energie la scară de gigawatt, o putere comparabilă cu ieșirea unei centrale nucleare mari.

Antrenarea modelelor AI de frontieră necesită procesare paralelă pe mii de cipuri. Fiecare GPU preia o porțiune din parametrii modelului.

Cu cât mai multe GPU-uri, cu atât antrenarea e mai rapidă, iar modelele pot fi mai mari și mai capabile.

Ce modele a antrenat prima fază?

Compania pariază că scara brută a calculului e cheia generației următoare de AI.

Această investiție poziționează Meta să concureze direct cu alte giganți tech care construiesc cluster-e similare.

Câtă energie consumă cluster-ul?

Facilitatea este în New Albany, Ohio. Ea acoperă mai multe clădiri și face parte din rețeaua mai largă de centre de date ale Meta în regiune.

Prima fază a fost folosită pentru antrenarea familiei de modele Muse ale Meta. Aceasta include seria de modele de limbaj mare Llama.

Sistemul este descris ca fiind la scară de gigawatt. Asta înseamnă că consumă energie de ordinul unui gigawatt, o cifră care rivalizează cu ieșirea unei centrale electrice mari.