Jim Keller-ledede brikkeselskap Tenstorrent har sluppet sin neste generasjons Wormhole-prosessor for AI-arbeidsbelastninger, som den forventer å tilby god ytelse til en overkommelig pris.Selskapet tilbyr for tiden to ekstra PCIe-kort som kan romme en eller to Wormhole-prosessorer, samt TT-LoudBox og TT-QuietBox arbeidsstasjoner for programvareutviklere. Alle dagens kunngjøringer er rettet mot utviklere, ikke de som bruker Wormhole-kort for kommersielle arbeidsmengder.
«Det er alltid gledelig å få flere av produktene våre i hendene på utviklere. Utgivelsesutviklingssystemer ved å bruke Wormhole™-kortene våre kan hjelpe utviklere med å skalere og utvikle multi-chip AI-programvare, sier Jim Keller, administrerende direktør i Tenstorrent.I tillegg til denne lanseringen er vi glade for å se fremgangen vi gjør med tape ut og oppstart av andregenerasjonsproduktet vårt, Blackhole.»
Hver Wormhole-prosessor inneholder 72 Tensix-kjerner (hvorav fem støtter RISC-V-kjerner i ulike dataformater) og 108 MB SRAM, og leverer 262 FP8 TFLOPS på 1 GHz med en termisk designeffekt på 160W. Enkeltbrikke Wormhole n150-kortet er utstyrt med 12 GB GDDR6 videominne og har en båndbredde på 288 GB/s.
Ormehullsprosessorer gir fleksibel skalerbarhet for å møte de ulike behovene til arbeidsbelastninger. I et standard arbeidsstasjonsoppsett med fire Wormhole n300-kort, kan prosessorene kombineres til en enkelt enhet som vises i programvaren som et enhetlig, bredt Tensix-kjernenettverk. Denne konfigurasjonen lar akseleratoren håndtere den samme arbeidsbelastningen, delt mellom fire utviklere eller kjøre opptil åtte forskjellige AI-modeller samtidig. En nøkkelfunksjon ved denne skalerbarheten er at den kan kjøres lokalt uten behov for virtualisering. I et datasentermiljø vil Wormhole-prosessorer bruke PCIe for utvidelse inne i maskinen, eller Ethernet for ekstern utvidelse.
Når det gjelder ytelse, oppnådde Tenstorrents enkeltbrikke Wormhole n150-kort (72 Tensix-kjerner, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s båndbredde) 262 FP8 TFLOPS ved 160W, mens dual-chip Wormhole-kortet n300 (128 Tensix-kjerner, 1 GHz-frekvens, 192 MB SRAM, samlet 24 GB GDDR6, 576 GB/s båndbredde) leverer opptil 466 FP8 TFLOPS ved 300W.
For å sette 300W av 466 FP8 TFLOPS i kontekst, vil vi sammenligne det med hva AI-markedsleder Nvidia tilbyr med denne termiske designkraften. Nvidias A100 støtter ikke FP8, men den støtter INT8, med toppytelse på 624 TOPS (1248 TOPS når sparsom). Til sammenligning støtter Nvidias H100 FP8 og når en toppytelse på 1670 TFLOPS ved 300W (3341 TFLOPS ved sparsomhet), som er vesentlig forskjellig fra Tenstorrents Wormhole n300.
Det er imidlertid ett stort problem. Tenstorrents Wormhole n150 selges for $999, mens n300 selges for $1,399. Til sammenligning selges et enkelt Nvidia H100-grafikkort for $30 000, avhengig av kvantitet. Vi vet selvfølgelig ikke om fire eller åtte Wormhole-prosessorer faktisk kan levere ytelsen til en enkelt H300, men TDP-ene deres er på henholdsvis 600W og 1200W.
I tillegg til kortene tilbyr Tenstorrent forhåndsbygde arbeidsstasjoner for utviklere, inkludert 4 n300-kort i den rimeligere Xeon-baserte TT-LoudBox med aktiv kjøling, og den avanserte TT-QuietBox med EPYC-basert Xiaolong) væskekjølingsfunksjon).
Innleggstid: 29. juli 2024