A Qualcomm az előző év tavaszán beszélt az AI-ra tervezett termékcsaládjáról, amely igen kis energiaigény mellett ígért nagy teljesítményt a gépi tanulás dedukció szakaszát tekintve. A Cloud AI 100 most hivatalosan is bemutatkozott, és háromféle kialakításban igényelhetik majd az érdeklődők.
[+]
A vállalat az architektúráról nem beszélt részletesen, de annyit tudni, hogy a 7 nm-es node-on készülő lapka alapjául szolgáló AIC-k, vagyis AI magok alapvetően a gépi tanuláshoz vannak tervezve. Ezek közül maximum 16 darab feldolgozó működhet a legnagyobb teljesítményű modellen belül, és ezek összesen 144 MB-nyi SRAM gyorsítótárral rendelkeznek. A feldolgozás tekintetében támogatottak a 8 és 16 bites integer, illetve a 16 és 32 bites lebegőpontos operációk. Az ECC-t támogató memóriaalrendszer négy darab 64 bites memóriacsatornát kínál, és erre összesen 32 GB-nyi LPDDR4X szabványú memória kerül. Az effektív órajel 4200 MHz lehet, vagyis a memória-sávszélesség elérheti a 134,4 GB/s-ot. A host processzorral a kommunikációt x8-os PCI Express 4.0-s interfész valósíthatja meg.
[+]
A Qualcomm három verziót kínál majd a Cloud AI 100-ból, amelyek különböző formátumokat céloznak. A DM.2e lesz a legkisebb opció 50 TOPS alatti tempóval, viszont a fogyasztása is csak 15 watt. A DM.2 már erősebb a maga 200 TOPS-os sebességével, amihez 25 wattos energiaigény tartozik, míg a PCI Express csatolóba illeszthető kártya szintjén, vagy HHHL formátumban elérhető csúcsmodell 400 TOPS-ot kínál 75 wattos fogyasztás mellett.
[+]
A Qualcomm által megosztott ResNet-50 teljesítményadatok döbbenetesen jó rendszerről árulkodnak, hiszen a Cloud AI 100 hatékonyságban gyakorlatilag megalázza a konkurenseket, de ehhez hozzá kell tenni, hogy a rendszer leginkább akkor lesz ütőképes, ha a futtatott kernelek beleférnek a lapka belső gyorsítótárába, ezért is van benne 144 MB, és az eredményeken ennek az előnyét lehet látni. A nagyobb kernelek esetében már lehetnek teljesítményproblémák, viszont ez itt egy tervezésnél meghozott döntés. Ha a rendszer túl általánosra lesz kialakítva, akkor nagyobb kernelekkel is jól bánik majd, de jelentősen veszít a hatékonyságából. A Qualcomm inkább azt választotta, hogy egy bizonyos működés mellett a dizájnjuk extrém mértékű hatékonyságot adjon, és ha az adott megrendelő belefér a limitekbe, akkor nem is kell tovább nézelődnie. Mindemellett a vállalat úgy gondolja, hogy a nagyobb kernelek jól skálázódnak majd több Cloud AI 100-at befogva. Megvannak tehát a rendszernek az előnyei és a hátrányai, és bizonyosan lesznek olyan érdeklődők, akik számára a hátrányok nem igazán mérvadók, mert a futtatott feladataik pont jók a készülő termékre.
[+]
A Cloud AI 100 modellek egyelőre termékminta formájában érhető el, de a következő év első meg is lehet majd vásárolni. Addig is a Qualcomm biztosít egy Cloud Edge AI 100 fejlesztőcsomagot, amely már támogat számos szabványos futtatási környezetet, formátumot, illetve keretrendszert.
