Компанія NVidia встановлює нові рекорди в області навчання штучного інтелекту

Aug 14 7:00 2020 Друк цієї статті

І абсолютним лідером у цьому рейтингу стала компанія NVidia, відома всім як провідний світовий виробник графічних відеокарт і процесорів. Суперкомпьютерная система NVidia, основою якої є графічні прискорювачі A100, побила всі 16 наявних рекордів. Але, справедливості заради варто відзначити, що в деяких категоріях компанія NVidia була єдиним учасником, хоча в інших категоріях суперниками NVidia були такі відомі компанії, як Alibaba, Dell, Fujitsu, Google і Tencent.

Рейтинг MLPerf підтримується консорціумом, у який входять як самі значні "гравці" в області штучного інтелекту, компанії Facebook, Tencent, Google, так і компанії-стратапи Cerebras, Mythic і Sambanova. Проведені тести засновані на вимірі часу, які потрібні комп'ютера для навчання нейронних мереж до рівня необхідної точності видаваних ними результатів. Зазначимо, що з моменту публікації попереднього варіанту рейтингу MLPerf в 2019 році, продуктивність систем-лідерів збільшилася в середньому в 2.7 рази.

У нинішньому списку тестів MLPerf, по відношенню до попереднього, з'явилося два нових тесту - BERT і DLRM. Тест BERT (Bi-directional Encoder Representation from Transformers) заснований на алгоритмах, що інтенсивно використовуються в задачах обробки природної мови, таких, як переклади текстів, пошук, сприйняття інформації, відповіді на питання і генерація нових текстів. Нейронні мережі, задіяні в цьому тесті, пройшли навчання на даних Вікіпедії. Зазначимо, що з цим тестом суперкомп'ютер NVidia впорався за 0.81 хвилини. Більш кращий результат, за наявною інформацією, 0.39 хвилини, демонструє тільки експериментальна система компанії Google, побудована на спеціалізованих тензорних процесорах (Tensor Processing Unit, TPU) і використовується для проведення внутрішніх науково-дослідних робіт, яка, зі зрозумілих причин, не приймає участі в рейтингу MLPerf.

Другий новий тест DLRM (Deep Learning Recommendation Model), працює на основі алгоритмів, що використовуються в системах онлайн-торгівлі, обробки результатів і в роботі деяких рейтингових функцій соціальних мереж. Нейронні мережі, які використовуються в цьому тесті, навчалися на спеціалізованому наборі даних про кліках чотирьох мільярдів користувачів за 24-денний період, обсяг якого дорівнює одному терабайту і який був підготовлений компанією Criteo AI Lab. Суперкомп'ютера NVidia для навчання нейронної мережі було потрібно 3.3 хвилини часу і, як у випадку попереднього тесту, експериментальна система компанії Google показала кращий результат у 1.2 хвилини.

Крім введення двох нових тестів, були підвищені рівні складності і деяких інших тестів, зокрема тесту Mini-Go, який полягає у грі Go на малій дошці, розміром 19 на 19 клітин. "Це один із найскладніших тестів" - розповідають представники компанії NVidia, - "Комп'ютера треба одночасно і вміти грати Go, обробляти надходять від ігрового процесу дані і навчати на основі цих даних нейронну мережу. Складність полягає в тому, що мережа навчається не на якомусь заздалегідь підготовленому наборі даних, а на динамічно створюваному наборі, який поповнюється по мірі просування виконання завдання".

Метод самонавчання, що використовується в тесті Mini-Go, має назву Reinforcement Learning і він має важливе значення для галузі робототехніки, де за його допомогою роботи зможуть самостійно навчатися виконання нових завдань без ризику нанесення шкоди розташованого поруч обладнання або людям. У цьому тесті конкуренцію суперкомп'ютера компанії NVidia склала система компанії Intel (409 хвилин) і, знову, експериментальна система компанії Google (160 хвилин).

І насамкінець зазначимо, що суперкомп'ютером компанії NVidia, який проходив тести MLPerf, є система Selene, побудована на базі архітектури DGX SuperPOD. Ця система займає 7-у позицію в рейтингу найпотужніших суперкомп'ютерів Top500, і вона є другою за потужністю суперкомпьютерной системою індустріального призначення в світі на сьогоднішній день.