Нова ставка NVIDIA на штучний інтелект, застосований до графіки, має власну назву: Neural Texture Compression (NTC)Ця технологія, детально продемонстрована під час останніх технічних конференцій компанії, безпосередньо вирішує одну з найбільших проблем у сучасних іграх: використання відеопам'яті або VRAM.
Згідно з даними, наданими фірмою, NTC здатна зменшити споживання пам'яті з приблизно від 6,5 ГБ до 970 МБ в тій самій тестовій сцені, зберігаючи практично незмінну якість текстур. Йдеться про зменшення використання відеопам'яті майже на 85%, що особливо актуально для ПК-геймерів із відеокартами середнього класу або старими системами, які дуже поширені в Іспанії та решті Європи.
Що саме таке стиснення нейронних текстур?
Стиснення нейронних текстур, по суті, є системою стиснення та декомпресія текстур на основі нейронних мережЗамість того, щоб зберігати кінцеву текстуру безпосередньо в пам'яті графічного процесора, як у класичних блокових форматах (BC5, BC6, BC7 та подібних), графічний двигун зберігає стиснене представлення, яке потім невелика нейронна мережа реконструює в режимі реального часу.
Ця мережа навчається представляти тексели — найменші одиниці текстури — набагато компактніше, ніж традиційні методи. Завдяки цьому попередньому навчанню, графічний процесор здатний відновлювати деталі матеріалів, поверхонь та об'єктів коли необхідно рендерити кожен кадр, без необхідності постійно займати всю оригінальну інформацію у відеопам'яті.
З точки зору розробника, ідея полягає в заміні необроблених текстур або текстур, що зберігаються у форматі BCN, на ці версії нейронної мережі. Зміна впливає на внутрішній графічний конвеєр, але кінцева мета полягає в тому, щоб гравець помітив лише різницю. Дві речі: менше споживання пам'яті та графіка хоча б на тому ж рівні., коли не краще за той самий бюджет відеопам'яті.
Сама NVIDIA у своїх технічних доповідях на GDC та GTC окреслила NTC у чіткій тенденції: інтеграція ШІ не лише у видимі завдання, такі як масштабування зображення (як у випадку DLSS), але й у ключові етапи рендерингу, які досі залежали виключно від фіксованих алгоритмів.
Зменшення відеопам'яті: з 6,5 ГБ до 970 МБ
Найбільше уваги приділяється демонстрації складної сцени, яка використовується як орієнтир у різних презентаціях. У цьому тесті вілла в тосканському стилі з великою кількістю деталізовані матеріали, щільна геометрія та текстури високої роздільної здатності Він споживав близько 6,5 ГБ відеопам'яті з використанням стандартного стиснення BCn.
Активуючи нейронне стиснення текстур на тих самих ресурсах, споживання пам'яті знизилося приблизно до 970 МБ відеопам'яті, що забезпечує практично ідентичну візуальну якістьКомпанія також наголосила, що йдеться не лише про економію пам'яті, а й про використання цієї економії для підвищення рівня деталізації, якщо цього вимагає гра.
У порівняннях NVIDIA показала, що з тим самим бюджетом відеопам'яті традиційні стиснуті текстури можуть генерувати видимі артефакти, втрата різкості та деградація матеріалівNTC, водночас зберігаючи більше дрібних деталей. На практиці це означає чистіші поверхні з меншим шумом і смугами, а також кращі відблиски та переходи кольорів.
Для користувача потенційний вплив є двояким: з одного боку, ігри, які працюють краще на відеокарти з 8 ГБ відеопам'яті або меншеЦе дуже актуально на європейському ринку, а з іншого боку, тайтли, які можуть збільшити роздільну здатність текстур без підвищення мінімальних вимог до пам'яті.
Зміна парадигми від традиційного стиснення текстур
Більшість сучасних ігор використовують формати BCN для зберігання текстур безпосередньо в пам'яті графічного процесора. Ці формати розділяють зображення на блоки та застосовують методи стиснення фіксованого типуВони швидкі, добре оптимізовані апаратним забезпеченням і вже багато років є стандартом на ПК та консолях.
Однак вони мають чітке обмеження: для підтримки певної візуальної якості їм потрібен мінімальний простір на тексельЦе, в середовищах з 4K-текстурами або величезною кількістю матеріалів, легко переповнює відеопам'ять. Ситуація посилюється в іграх з відкритим світом, щільному міському середовищі або постановках з багатьма косметичними ефектами, які дуже поширені в сучасних релізах.
Нейронне стиснення текстур пропонує інший підхід. Замість фіксованої схеми стиснення, воно спирається на моделі машинного навчання, які були попередньо навчені з великими наборами текстур і матеріалів. Ці нейронні мережі навчаються ефективніше кодувати та реконструювати візуальні патерни ніж звичайний алгоритм, особливо при роботі з дуже різноманітним контентом.
Таким чином, зберігається не кінцева текстура, а стиснене представлення, яке потім розширюється за потреби. Інтенсивне використання тензорних ядер, присутніх у графічних процесорах GeForce RTX, дозволяє виконувати ці операції виведення паралельно з рештою графічних завдань, не перевантажуючи основні ресурси, виділені для растеризації та затінення.
Вплив на відеоігри: нижчі вимоги та вища якість
Прямим наслідком усього цього є можливий значне зниження мінімальних вимог до відеопам'яті Для ігор, що використовують NTC. Якщо текстури, які зазвичай займають від 50% до 70% загальної відеопам'яті в багатьох іграх, потребують значно менше місця, то для решти елементів движка буде більше місця.
Це відкриває кілька цікавих дверей для європейських та іспанських студій, які розробляють для ПК та консолей, таких як PlayStation 6Серед потенційних переваг NVIDIA та різні аналітики вказують на можливість Використовуйте текстури вищої роздільної здатності на комп'ютерах з меншою кількістю пам'ятітаким чином балансуючи враження між гравцями з передовим обладнанням та тими, хто має скромніші відеокарти.
Розмір інсталяцій та патчів також відіграє роль. Завдяки ефективнішому стисненню ресурсів можливо, що ігри займають менше місця на диску і що оновлення важать менше, що вже турбує як користувачів ПК з обмеженими SSD-накопичувачами, так і тих, хто грає на консолях з обмеженим сховищем.
У сфері потокової передачі ресурсів, що є настільки важливим у відкритих світах та іграх, які завантажують дані на вимогу, менший розмір текстур може допомогти зменшити вузькі місця пропускної здатностіЦе призведе до меншої кількості заїкань, плавнішого завантаження та стабільнішої роботи, навіть коли гра працює з не особливо швидких дисків.
Переваги для графічних процесорів середнього класу та ноутбуків
Один з моментів, який викликав найбільший інтерес у спільноті, – це вплив, який може мати стиснення нейронних текстур на відеокарти з 8 ГБ відеопам'яті або менше, дуже поширений на іспанському та європейському ринку, включаючи деякі консолі, такі як Xbox серія XУ багатьох останніх релізах цей тип графічних процесорів вже стикається з явними обмеженнями при поєднанні високої роздільної здатності та надякісних текстур.
Якщо завдяки NTC звільниться значна частина пам'яті, ці ж ігри можуть активуватися. більш агресивне налаштування текстур без перенасичення відеопам'ятіНа практиці це може призвести до меншої кількості раптових падінь продуктивності під час завантаження нових областей, меншого заїкання, пов'язаного зі стрибками використання пам'яті, та комфортнішої роботи на дисплеях 1440p або навіть 4K зі збалансованими налаштуваннями.
Портативні системи, як ігрові, так і легкі робочі станції, також виграють. Хоча багато сучасних ноутбуків оснащені відеокартами RTX, їхні Обсяг відеопам'яті зазвичай обмежений ніж його настільні аналоги. Наявність технології, яка зменшує розмір текстур без погіршення якості зображення, особливо цікава в цьому типі обладнання.
Для невеликих або незалежних студій, поширених на європейській сцені, зниження вимог до відеопам'яті може допомогти. розширити потенційну базу користувачів без шкоди для вишуканого візуального оформлення. Це, у свою чергу, відповідає загальній тенденції галузі до пошуку інтелектуальних оптимізацій, що виходять за рамки грубої сили апаратного забезпечення.
Нейронні матеріали та інші оптимізації на основі штучного інтелекту
Стиснення нейронних текстур — не єдиний випадок. NVIDIA також представила концепцію Нейронні матеріалиЦе додаткова техніка, метою якої є спрощення обробки матеріалів у графічному конвеєрі. Замість обробки багатьох окремих каналів для кожного складного матеріалу, інформація конденсується в більш компактне представлення, яке невелика нейронна мережа декодує в режимі реального часу.
В одній з технічних демонстрацій було показано, як набір матеріалів, який спочатку вимагав 19 різних каналів можна було б скоротити до восьми використовуючи цей нейронний підхід. Згідно з наданими даними, таке спрощення призвело до покращення продуктивності від 1,4 до 7,7 разів при роздільній здатності 1080p, залежно від налаштувань сцени та моделі.
Ключовим є те, що ці мережі достатньо легкі для інтеграції безпосередньо в шейдери, що працюють на графічному процесорі. Завдяки тензорним ядрам, що присутні з серії GeForce RTX 20, вартість цих операцій контролюється, що дозволяє... Застосовуйте ці оптимізації мільйони разів за кадр не блокуючи решту процесу рендерингу.
Разом NTC та Neural Materials прагнуть створити гібридну модель конвеєра, де традиційні растеризація та трасування променів співіснують з... специфічні блоки нейронного висновкуУ цьому сценарії ШІ не лише покращує різкість кінцевого зображення, але й обробляє структурні завдання, такі як стиснення, затінення та управління пам'яттю.
Графічне майбутнє, сформоване штучним інтелектом
Хоча NVIDIA ще не встановила конкретної дати масштабного впровадження нейронного стиснення текстур у комерційних іграх, демонстрації, показані на таких заходах, як GDC та GTC, чітко свідчать про те, що компанія хоче, щоб ця технологія отримала широке впровадження. Станьте частиною наступного поколіннього стрибка в графіці.
В екосистемі ПК впровадження API та розширень, таких як Кооперативні вектори в DirectX 12 Це відкриває шлях для роботи цих типів нейронних ядер на обладнанні інших виробників. AMD вже оголосила про підтримку в майбутніх архітектурах RDNA4, а Intel працює над аналогічними ініціативами для своїх графічних рішень, тоді як такі компанії, як Sony вдосконалює візуальні обчислення.
Якщо цю перехресну підтримку консолідувати, стиснення нейронних текстур може стати фактичний стандарт у галузіЦе вигідно студіям будь-якого розміру. Для європейських геймерів це може означати довший термін служби сучасних графічних процесорів, обмеження відеопам'яті яких стануть менш вирішальним фактором у іграх, що використовують ці технології.
Паралельно, виробники консолей можуть використовувати ці рішення для подальшої максимізації інтегрованої пам'яті своїх систем, що особливо цікаво в умовах тривалих життєвих циклів, де кожна оптимізація має значення. Все вказує на те, що наступна велика графічна битва буде вестися не лише за рахунок чистої потужності, але й за... як керуються та стискаються дані, що живлять кожну сцену.
Пропозиція NVIDIA щодо нейронного стиснення текстур та пов'язаних з ним технологій відповідає зміні фокусу, яка вже очевидна в галузі: замість нескінченного збільшення пам'яті та обчислювальної потужності, метою є досягнення більшого з меншими витратами штучного інтелекту. Якщо показники, показані в демонстраціях – зі скороченням відеопам'яті приблизно на 85% та покращенням продуктивності нейронних матеріалів – будуть перенесені на комерційні ігри, гравці в Іспанії та по всій Європі зможуть отримати візуально більш амбітні, краще оптимізовані та менш інтенсивні з точки зору пам'яті ігри, чого донедавна здавалося важко досягти без шкоди для якості.
