Az Intel még a 2019-es esztendőben vásárolta fel a Habana Labs néven ismert céget. A szóban forgó cég az akvizíció előtt két termékskálát vitt, amelyek közül a Goya a gépi tanulás dedukció szakaszában, míg a Gaudi a tréningben jeleskedett. Ezek a maguk kategóriájában és a maguk idejében nem voltak rosszak, de nem mostanság jelentek meg, így azért manapság már nem acélos opciók, viszont gond egy szál se, mert a tréning feladatokra megérkezett a Gaudi 2, amely komoly előrelépéssel kecsegtet.
A friss fejlesztés az elődjéhez hasonlóan OAM formátumot használ, de alapvetően izmosabb dizájnról van szó, amit az is mutat, hogy 350 wattról 600 wattra nőtt a fogyasztása. Az alaparchitektúra szempontjából a Gaudi 2 leginkább finomhangolásokhoz nyúl. A fő feldolgozóelem továbbra is a TPC, azaz a Tensor Processor Core, de ebből már nem nyolc, hanem 24 található a lapkán belül. Ráadásul ennek képességei is javultak, mivel elérhetővé vált a 8 bites lebegőpontos formátum támogatása.
A Gaudi 2 felépítése [+]
A több feldolgozó miatt a friss, x16-os PCI Express 4.0-t biztosító fejlesztése a TSMC 7 nm-es node-ján készül, és négy helyett már hat darab HBM memóriastack tornyosodik a fő lapka mellett. A tokozáson elhelyezett memóriák HBM2e szabványúak, így 2,45 TB/s-mal lehet őket elérni, miközben összesen 96 GB-os kapacitást kínálnak. A lapkán belüli SRAM kapacitása 32-ről 48 MB-ra, a 100 GbE RoCE interfészek száma pedig 10-ről 24-re nőtt, továbbá új elemnek számít a multimédiás blokk, amely a tartalmak dekódolását képes gyorsítani, illetve a feldolgozással kapcsolatos munkát segíti.
A skálázhatóság tekintetében maximum nyolc darab Gaudi 2 köthető össze egy HLBA 225-ös OAM alaplapon.
Az Intel szerint a főbb partnerek számára már hozzáférhető Gaudi 2, ResNet50 és BERT tréning melletti teljesítménye nagyjából kétszer jobb az NVIDIA A100-nál.
[+]
A gépi tanulás dedukció szakaszára tervezett Goya is kap egy utódot, méghozzá Greco néven. Itt is a TSMC 7 nm-es node-ján készül a friss lapka, de az eltérő felhasználási mód miatt más irányú fejlesztéseket tartalmaz. Egyrészt az új dizájn 200 helyett 75 wattal is beéri, 50 helyett 128 MB-os SRAM-ot biztosít, és bevezeti a BF16, FP16 és Int4 formátumok támogatását, extraként pedig kap egy multimédiás blokkot. A 16 GB-nyi fedélzeti tár nem módosul, viszont DDR4 helyett már LPDDR5 szabványú memóriát használ, így 40 GB/s-ről 204 GB/s-ra nőtt a memória-sávszélesség.
Az előbbi változásokkal az év második felében érkező Greco már félmagas és egyslotos bővítőkártyaként is használható, ami kedvezőbb az egyes szerverekbe történő beépítés szempontjából.
A Gaudi 2 és a Greco továbbra is a SynapseAI szoftvercsomaggal hasznosítható, így a Habana Labs korábbi hardvereire fejlesztő érintettek számára ismerős lesz a felkínált környezet.
