Tiny Corp lansează stația de lucru AI la 30.000 dolari

De ce SSD-urile înlocuiesc DRAM-ul?

Tiny Corp a lansat recent tinybox Red Kimi, o stație de lucru compactă pentru inteligență artificială, la preț de 30.000 dolari. Mașina țintește dezvoltatorii care rulează local modele mari de limbaj.

Combina patru GPU-uri de top cu un array masiv de discuri SSD. Designul prioritarizează lățimea de bandă a stocării în detrimentul arhitecturii tradiționale de memorie.

Tinybox Red Kimi cuprinde patru GPU-uri Radeon AI Pro R9700, fiecare cu 128 GB de memorie GDDR6.

În loc să se bazeze exclusiv pe DRAM, sistemul integrează șaisprezece SSD-uri NVMe de 1 TB. Astfel se creează un pool de stocare de 16 TB. Un driver custom tinygrad permite GPU-urilor să citească direct din acest array.

Se poate concura cu serviciile AI!

Configurarea susține modelul Kimi K3 de la Moonshot, care conține 2,8 trilioane de parametri.

Stațiile de lucru AI tradiționale se bazează pe DRAM rapid pentru a păstra greutățile modelului. Tiny Corp a ales o abordare diferită, folosind SSD-urile ca sursă principală de memorie.

GPU-urile preiau greutățile direct din array-ul de 16 TB. Acest lucru permite sistemului să ruleze modelul uriaș Kimi K3 fără a necesita capacitate echivalentă de DRAM. Compromisul e viteza, dar arhitectura scalează mai bine pentru modele ultra-mari.

Tiny Corp susține că tinybox Red Kimi generează 40 de tokeni pe secundă. Totuși, această cifră se bazează pe cache-ul aproape tuturor greutăților fiecărui token în memoria GPU.

Array-ul SSD de 238,4 GB/s alimentează simultan cele patru GPU-uri. Această cale directă de citire reduce gâtlecurile de transfer de date. Rezultatul e o mașină care se încadrează într-un factor de formă mic, dar poate gestiona modele cu trilioane de parametri.

Întrebări frecvente?

Punctul de preț poziționează tinybox Red Kimi în segmentul de hardware premium. Cumpărătorii plătesc 30.000 dolari pentru o mașină locală care elimină costurile API-urilor din cloud. Array-ul SSD de 16 TB oferă spațiu suficient pentru mai multe modele mari. Dezvoltatorii obțin control total asupra datelor și inferenței. Această configurație locală atrage echipele care au nevoie de intimitate și capacitate offline.

Câtă memorie GPU conține tinybox Red Kimi? Sistemul include patru GPU-uri Radeon AI Pro R9700, fiecare cu 128 GB de memorie GDDR6. Acesta totalizează 512 GB de memorie GPU pe cele patru plăci.

Ce model poate rula local tinybox Red Kimi? Stația de lucru e concepută pentru a rula modelul Kimi K3 de la Moonshot, un model de limbaj mare cu 2,8 trilioane de parametri. Array-ul SSD de 16 TB stochează greutățile modelului.

De ce folosește Tiny Corp SSD-uri în loc de mai mult DRAM? Folosirea SSD-urilor permite sistemului să scaleze stocarea fără costul ridicat al DRAM-ului. GPU-urile citesc direct din array-ul SSD de 238,4 GB/s. Această arhitectură susține modele prea mari pentru configurațiile standard de memorie.