02/04/2021

Blast "ML" Processing

Elektroizolačnú pásku už v ruke držal každý chlap a vie, že sa to rôzne krčí, keď tým olepujete nejaký dvakrát zakrivený povrch. Ak hodíte autofóliu na blatník, nebude to bez vrások a bublín. Necháme to na profíkov. Mapovanie 2D textúry na plastický 3D objekt nie je jednoduchá vec ani v hernej grafike. Ak sa ten objekt navyše aj deformuje a textúra na to má prirodzene reagovať, chce to iný chochmes. ZivaRT /realtime/ je technológia firmy Ziva Dynamics, ktorá tieto problémy rieši za vás. Model, svalové skupiny, textúra, šaty sú deformované realisticky, bez artefaktov, profesionálne, rýchlo, efektívne. A využívajú na to strojové učenie /ML - machine learning, AI/. Insomniac Games práve teraz uvoľnili patch, ktorý podporu pre ZivaRT pridáva na PS5 pre niektoré obleky Spidermana.

Na fóre neogaf.com /Beyond3d/ sa následne spustila debata, o čo tu vlastne ide. Nvidia pre ML kalkulácie používa extra HW bloky s názvom Tensor Cores. Časť silikónu GPU je proste vyhradená na špecializované maticové výpočty a tie môžu bežať paralelne so s spracovaním grafiky. Nvidia tensor jednotky používa napríklad na AI riadený upscale grafiky, aby to GPU nemuselo rátať natívne, takže ide ušetrený výkon do framerejtu. AMD GPU /PS5, XSX/ však oficiálne žiadne tensor jednotky nemajú. V špecifikáciach RDNA2 sa síce udáva schopnosť spracovať v "bežnom" GPU compute poli aj int4/8/16, fp16/32 výpočty potrebné pre ML potreby, ale ani slovo nepadlo o efektivite ich behu paralelne s grafikou alebo ešte náročnejšie, zmiešanú presnosť kalkulácií naraz /rôzne triedy integer alebo integer aj floats simultánne/.

Vieme, je to potvrdené konkrétnym talianskym SONY inžinierom, že PS5 GPU sa nedá označiť ako RDNA2 GPU. Je to mix množstvo upravených funkcií aj úplne mimo rámec RDNA2 PC grafík a člen Insomniac Games dokonca potvrdil, že ZivaRT beží na PS5 GPU bez akejkoľvek výkonnostnej penalty. Okamžite teda každého napadne, ak teda PS5 má nejake použiteľné ML schopnosti, čo tak ich nabudúce využiť pre PS5 variantu AI reškálovania rozlíšenia obrazu ala DLSS 2.0 na Nvidia GPU ? Budúce náročné hry sa teda vyriešia "iba" v 1440p/60 režime a následne ich ML nahodí do 4K rozlíšenia, blízko kvalite natívneho 4K.

SONY pri PS4 Pro zaviedlo do obehu pojem Rapid Packet Math. Ide o úpravu HW registrov GPU, aby dokázali namiesto jednej 32 bit fp inštrukcie spracovať dvojicu 16 bitových. Ak teda máte napríklad grafickú operáciu, ktorej stačí polovičná presnosť výpočtu, tak to beží dvojnásobnou rýchlosťou /z 4.2 na 8.4 TFLOPs/. Bolo mi teda naivné si myslieť, že podobné future-proof finesy /a SONY o nich stále odmieta debatovať/ nie sú implementované aj pri PS5. Máme tu teda veľmi výkonné CPU, veľmi výkonné SSD, veľmi výkonný GPU rasterizér, prijateľne výkonný raytracing a zatiaľ záhadné ML schopnosti. Pieskovisko na 10 rokov zábavy pri dolovaní potenciálnych herných diamantov.