Jim Keller-ledede chipselskapet Tenstorrent har lansert neste generasjons Wormhole-prosessor for AI-arbeidsbelastninger, som de forventer å tilby god ytelse til en overkommelig pris.Selskapet tilbyr for tiden to ekstra PCIe-kort som kan romme én eller to Wormhole-prosessorer, samt TT-LoudBox- og TT-QuietBox-arbeidsstasjoner for programvareutviklere. Alle dagens kunngjøringer er rettet mot utviklere, ikke de som bruker Wormhole-kort til kommersielle arbeidsbelastninger.
«Det er alltid gledelig å få flere av produktene våre ut i hendene på utviklere. Utgivelsessystemer som bruker Wormhole™-kortene våre kan hjelpe utviklere med å skalere og utvikle AI-programvare med flere brikker», sa Jim Keller, administrerende direktør i Tenstorrent.I tillegg til denne lanseringen er vi begeistret for å se fremgangen vi gjør med tape-utløsningen og oppstarten av vårt andre generasjons produkt, Blackhole.»
Hver Wormhole-prosessor inneholder 72 Tensix-kjerner (hvorav fem støtter RISC-V-kjerner i forskjellige dataformater) og 108 MB SRAM, som leverer 262 FP8 TFLOPS ved 1 GHz med en termisk designeffekt på 160 W. Wormhole n150-kortet med én brikke er utstyrt med 12 GB GDDR6-videominne og har en båndbredde på 288 GB/s.
Wormhole-prosessorer gir fleksibel skalerbarhet for å møte de ulike behovene til arbeidsbelastninger. I et standard arbeidsstasjonsoppsett med fire Wormhole n300-kort kan prosessorene kombineres til én enhet som vises i programvaren som et samlet, bredt Tensix-kjernenettverk. Denne konfigurasjonen lar akseleratoren håndtere den samme arbeidsbelastningen, dele den mellom fire utviklere eller kjøre opptil åtte forskjellige AI-modeller samtidig. En viktig funksjon ved denne skalerbarheten er at den kan kjøres lokalt uten behov for virtualisering. I et datasentermiljø vil Wormhole-prosessorer bruke PCIe for utvidelse inne i maskinen, eller Ethernet for ekstern utvidelse.
Når det gjelder ytelse, oppnådde Tenstorrents Wormhole n150-kort med én brikke (72 Tensix-kjerner, 1 GHz-frekvens, 108 MB SRAM, 12 GB GDDR6, 288 GB/s båndbredde) 262 FP8 TFLOPS ved 160 W, mens Wormhole n300-kortet med to brikker (128 Tensix-kjerner, 1 GHz-frekvens, 192 MB SRAM, samlet 24 GB GDDR6, 576 GB/s båndbredde) leverer opptil 466 FP8 TFLOPS ved 300 W.
For å sette 300 W med 466 FP8 TFLOPS i kontekst, sammenligner vi det med hva AI-markedsleder Nvidia tilbyr med denne termiske designeffekten. Nvidias A100 støtter ikke FP8, men den støtter INT8, med en toppytelse på 624 TOPS (1248 TOPS ved sparse). Til sammenligning støtter Nvidias H100 FP8 og når en toppytelse på 1670 TFLOPS ved 300 W (3341 TFLOPS ved sparse), noe som er betydelig forskjellig fra Tenstorrents Wormhole n300.
Det er imidlertid ett stort problem. Tenstorrents Wormhole n150 selges for 999 dollar, mens n300 selges for 1399 dollar. Til sammenligning selges et enkelt Nvidia H100-grafikkort for 30 000 dollar, avhengig av antall. Vi vet selvfølgelig ikke om fire eller åtte Wormhole-prosessorer faktisk kan levere ytelsen til en enkelt H300, men TDP-ene deres er henholdsvis 600 W og 1200 W.
I tillegg til kortene tilbyr Tenstorrent ferdigbygde arbeidsstasjoner for utviklere, inkludert 4 n300-kort i den rimeligere Xeon-baserte TT-LoudBox med aktiv kjøling, og den avanserte TT-QuietBox med EPYC-basert Xiaolong væskekjølingsfunksjon.
Publisert: 29. juli 2024