Már több megoldás is van

Az utóbbi évek egyik legdinamikusabban fejlődő irányának a felskálázási eljárások számítottak. Először a nem túl jó emlékeket idéző DLSS került terítékre, aminek később megjelent a sokkal jobban sikerült 2.0-s verziója, illetve ennek frissítései, majd az előző év nyarán az AMD is beszállt a FidelityFX Super Resolution 1.0-val (FSR). Mára elérhetővé vált az utóbbi konstrukció 2.0-s megvalósítása, ami működését tekintve a DLSS 2.0-hoz hasonlóan egy temporális eljárás.

Most úgy néz ki, hogy a jövőben leginkább ezek a rendszerek fognak terjedni, mivel az Intel saját XeSS alternatívája is temporális megoldásnak készül, így elmondható, hogy a DLSS 2.0-hoz és az FSR 2.0-hoz hasonló a működési elve. Ezek a temporális konstrukciók a számolt képkocka szín- és mélységadatait igénylik a mozgásvektorok mellett, továbbá a korábban elkészült felskálázott kép információit is beolvassák előzményminták formájában. A nyers elmélet szempontjából mindegyik alternatíva ugyanolyan futószalagot használ, és az adott grafikus motoron belül is ugyanoda kell őket beépíteni, ami azt a szakaszt jelenti, ahol a gyárilag használt temporális élsimítás dolgozik. Utóbbi fontos, mert az XeSS, a DLSS 2.0 és az FSR 2.0 is lecseréli az adott rendszer temporális élsimítását egy saját verzióra.

A fentiek alapján leszűrhető, hogy a temporális felskálázási konstrukciók akármelyik gyártótól is származnak, lényegében ugyanazon az elven működnek, viszont az egyes futószalaglépcsők az eredményeket más módon számolják ki. Ilyen szempontból az AMD a saját megoldását teljesen analitikai, míg az Intel és az NVIDIA gépi tanulásra építő eljárásként kategorizálja.

Ezen a ponton érdemes pár dolgot tisztába tenni, mert korábban többen is azt hangoztatták, hogy mesterséges intelligencia nélkül nem lehet jó felskálázást tervezni – viszont ez nagyon általános kijelentés, mert egy neuronhálót rengeteg dologra lehet használni. Amikor elvi szinten felmerül, hogy egy képből nagyobb felbontású verziót generálnánk, akkor alapvetően a problémára kereshetünk valamilyen matematikai modellt, vagy egy rakás adat alapján tréningeltethetünk egy neuronhálót a géppel, amikor is nyers erőből megkerestetjük a legjobbnak tűnő algoritmust.

Mindkét esetben fontos azonban szem előtt tartani, hogy milyen gyorsan szeretnénk eredményt, mert a megoldásunk számításigénye nem mindegy, ha valós idejű feldolgozásban gondolkodunk. Amikor tehát egy felskálázás akár percekig is futhat, akkor célszerű a legjobb minőséget megcélozni, és ezen a ponton a gépi tanulás valószínűleg verhetetlen is lesz, viszont ha egy-két ezredmásodperc alatt kell eredmény, akkor már nem olyan egyértelmű a helyzet. Világos, hogy a rendelkezésre álló idő annyira szűkös, hogy a minőség mellett kalkulálni kell az algoritmus számításigényével, és ebből a szempontból már erősen kérdéses a gépi tanulás általános haszna.

Sajnos egyelőre az XeSS és a DLSS 2.0 pontos működése nem ismert, de a jelenlegi adatok szerint az aktuális képkocka rekonstrukciójával kapcsolatban ott nyúlnak a neuronhálóhoz, amikor eldöntik, hogy miképp kombinálják a korábbi képkockáról származó előzménymintákat az új képkocka felskálázásához. Ugyanakkor az aktuális képkockán látható alakzatok felismerése és kezelése szempontjából már analitikai megoldásokról van szó, vagyis hasonló elven működnek, mint az FSR 2.0.

Természetesen a valós idejű feldolgozás során a rendelkezésre álló időkeret jelentősen korlátozza a lehetőségeket, így nem meglepő, hogy a percekig futó, gépi tanulásra építő felskálázási eljárások sokkal többet tudnak, mint a valós idejű eredményt igénylő alternatívák. A kérdés innentől csupán az, hogy a korábbi képkockáról származó előzményminták felhasználása megoldható-e egy emberek által kidolgozott matematikai modell alapján. Az AMD szerint ennek abszolút van realitása, sőt, a vállalat úgy gondolja, hogy így előnyösebb is dolgozni, mivel a működés szabályozása szempontjából nagyobb szabadságot jelent egy kézzel és nem gép által kidolgozott algoritmus.

Tekintve a probléma jellegét és figyelembe véve azt, hogy valós idejű feldolgozásnál tényleg jelentős hátrány, hogy a munkavégzésnek bele kell férnie pár ezredmásodpercbe, nem biztos, hogy egy neuronháló alkalmazása működésbeli előnyt jelent. Pusztán abból a szempontból lehet hasznos, hogy hamarabb dolgozható ki egy gépi tanulásra építő algoritmus, mert a gép magát a problémát, vagyis egy kellően jó algoritmus megtalálását nyers erőből oldja meg, míg gépi tanulás nélkül ezt az algoritmust embereknek kell kidolgozniuk és optimalizálniuk, ami nyilván időigényesebb a fejlesztés szempontjából. Ezért sem az FSR 2.0 jelent meg elsőként.

A cikk még nem ért véget, kérlek, lapozz!