Nemrég írtunk a Microsoft Windows Copilot szolgáltatásáról, amely kapcsán a gyártókra levetített technológiai részletek homályosak voltak, de mostanra viszonylat tisztán látni, hogy miképpen fog ez működni.

Már a linkelt írásban is megemlítettük, hogy ONNX futtatási környezet számos úgynevezett EP-t, azaz Execution Providers felületet támogat. Ezeket az EP-ket biztosítják maguk a gyártók, hogy futtathatóvá tegyék az adott rendszert a saját hardvereiken. Bizonyos EP amolyan általános lesz, így például az Azure és a WebNN alapját a Microsoft adja, míg a GPU-khoz tervezett támogatás a DirectML API-n keresztül működik, vagyis a gyártóknak elég ezt támogatni, és a futtatás innen biztosított. Megjegyzendő, hogy a DirectML-re nem nehéz implementációt írni, mivel a követelménye tulajdonképpen csak a DirectCompute kezelése.

Kliensoldalon ugyanakkor igazán hatékony feldolgozás a céleszközökön várható, amelyet abszolút a gépi tanulás következtetés szakaszára terveztek. Jelenleg a Qualcomm, az AMD és az Intel kínál vagy fog kínálni kompatibilis hardvereket, és ezekhez a szükséges EP-t is biztosítják. A Qualcomm a QNN, az AMD a Vitis AI, míg az Intel az OpenVino felületet adja majd, és ezeket a fejlesztők már igényelhetik, hogy elkezdjék tesztelni az alkalmazásokat rajta.

Érdemes megemlíteni, hogy az egyes hardverekben nem csak AI-ra szabott dedikált hardver, hanem IGP is található, ilyenkor akár arra is van lehetőség, hogy a rendszer két EP-t is használjon, erre a gyártók direkten készülnek is.

Fontos tényező még, hogy egyelőre a végleges szolgáltatás elérhetősége még messzebb van, de fontos az előzetes elérhetőség biztosítása, hogy a hivatalos startkor már számos alkalmazás legyen elérhető.