Jim Keller-ledede chip-selskapet TenTorrent har gitt ut sin neste generasjons ormehullsprosessor for AI-arbeidsmengder, som den forventer å tilby god ytelse til en overkommelig pris.Selskapet tilbyr for tiden ytterligere to PCIE-kort som har plass til ett eller to ormehullsprosessorer, i tillegg til TT-Loudbox og TT-Quietbox arbeidsstasjoner for programvareutviklere. Alle dagens kunngjøringer er rettet mot utviklere, ikke de som bruker ormhullsbrett for kommersiell arbeidsmengde.
"Det er alltid gledelig å få flere av produktene våre i hendene på utviklere. Utgivelsesutviklingssystemer ved å bruke Wormhole ™ -kortene kan hjelpe utviklerne med å skalere og utvikle AI-programvare med flere chip," sa Jim Keller, administrerende direktør i TenTorrent.I tillegg til denne lanseringen, er vi glade for å se fremgangen vi gjør med båndet og oppstart av vårt andre generasjonsprodukt, Blackhole. ”
Hver ormhullsprosessor inneholder 72 Tensix-kjerner (hvorav fem støtter RISC-V-kjerner i forskjellige dataformater) og 108 MB SRAM, og leverer 262 FP8 TFLOPS ved 1 GHz med en termisk designkraft på 160W. Enkeltbrikke ormhull N150-kortet er utstyrt med 12 GB GDDR6 videominne og har en båndbredde på 288 GB/s.
Ormhullsprosessorer gir fleksibel skalerbarhet for å imøtekomme de forskjellige behovene for arbeidsmengde. I et standard arbeidsstasjonsoppsett med fire ormhull N300 -kort, kan prosessorene kombineres til en enkelt enhet som vises i programvaren som et enhetlig, bredt Tensix kjernetettverk. Denne konfigurasjonen lar gasspedalen håndtere den samme arbeidsmengden, deles mellom fire utviklere eller kjører opp til åtte forskjellige AI -modeller samtidig. Et sentralt trekk ved denne skalerbarheten er at den kan løpe lokalt uten behov for virtualisering. I et datasentermiljø vil ormehullsprosessorer bruke PCIE for utvidelse inne i maskinen, eller Ethernet for ekstern ekspansjon.
Når det gjelder ytelse, TENSTORRENTs enkeltbrikke ormhull N150-kort (72 Tensix-kjerner, 1 GHz frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/S Båndbredde) oppnådde 192 262 tavle ( Aggregert 24 GB GDDR6, 576 GB/S Båndbredde) leverer opptil 466 FP8 TFLOPS ved 300W.
For å sette 300W 466 FP8 TFLOPS i sammenheng, vil vi sammenligne det med det AI -markedsleder Nvidia tilbyr på denne termiske designkraften. NVIDIAs A100 støtter ikke FP8, men den støtter Int8, med topp ytelse på 624 topper (1 248 topper når de er sparsomme). Til sammenligning støtter NVIDIAs H100 FP8 og når topp ytelse på 1.670 TFLOPS ved 300W (3.341 TFLOPS på SPARSE), som er betydelig forskjellig fra TenTorrent's Wormhole N300.
Imidlertid er det ett stort problem. Tenstorrents ormhull N150 koster $ 999, mens N300 selger for $ 1.399. Til sammenligning koster et enkelt NVIDIA H100 grafikkort for $ 30 000, avhengig av mengde. Vi vet selvfølgelig ikke om fire eller åtte ormehullsprosessorer faktisk kan levere ytelsen til en enkelt H300, men deres TDP -er er henholdsvis 600W og 1200W.
I tillegg til kortene, tilbyr TenTorrent forhåndsbygde arbeidsstasjoner for utviklere, inkludert 4 N300-kort i den rimeligere Xeon-baserte TT-Loudbox med aktiv kjøling, og den avanserte TT-Quietbox med Epyc-basert Xiaolong) flytende kjølingsfunksjon).
Post Time: Jul-29-2024