Компанія Sony почала випуск світлочутливих датчиків для камер, оснащених системою штучного інтелекту

May 25 7:00 2020 Друк цієї статті

Таке поєднання двох технологій дозволить проводити попередню обробку надходить потоку відеоінформації в режимі реального часу і передавати тільки необхідні дані в хмарний сервіс для їх подальшої і більш глибокої обробки.

Штучний інтелект вже давно є відмінною "парою" для технологій цифрової фото - і відеозйомки. Нейронні мережі "жартома" справляються з обробкою величезних потоків інформації, наприклад, інформації з мережі камер відеоспостереження, і виділяють з цієї інформації лише те, що може зацікавити спостерігачів.

Приміром, останнім часом у світі почали отримувати поширення магазини, в яких немає, або зведено до мінімуму кількість продавців, касирів та іншого обслуговуючого персоналу. У цьому випадку використовується мережа з сотень високоякісних камер спостереження, які стежать за тим, які товари беруть покупці і що вони роблять з ними далі. В даний час відеодані з мережі камер спостереження надходять на комп'ютер, на якому розгорнута система штучного інтелекту. Цей комп'ютер може перебувати фізично у цьому ж будинку, а може перебувати в одному з численних хмарних сервісів.

Але компанія Sony вирішила зробити свого роду "розподілений комп'ютер" оснастивши обчислювальною потужністю сам датчик камери. Ці нові датчики, IMX500 і IMX501, мають роздільну здатність у 12.3 мегапікселя і забезпечують швидкість зйомки до 60 кадрів в секунду при дозволі 4К. Але найголовнішим є те, що прямо на звороті кристала світлочутливої матриці і на додатковому кристалі розташований масив пам'яті достатнього обсягу і логічна інтегральна схема, в яку закладені алгоритми і принципи роботи штучного інтелекту. При цьому, у вбудовану пам'ять можна завантажити будь-яку з стандартних моделей ІІ-обробки, які виконують одну або кілька спеціалізованих функцій.

Вбудований в матрицю ІІ-процесор здатний провести аналіз відеоінформації через 3.1 мілісекунду часу, менше, ніж тривалість одного відеокадру. В результаті аналізу із загального потоку виділяються тільки важливі елементи, які передаються назовні для подальшої обробки. Якщо у згаданому вище "магазині без персоналу", наприклад, клієнт "Х" взяв товар "Y" і поклав його у кошик, то на верхній рівень буде передана обрізана картинка кошики з лежачим на ній товаром.

Крім такої "обрізки", що дозволяє істотно скоротити обсяг переданої інформації, пакети даних можуть супроводжуватися додатковою інформацією, що спрощує їх подальшу обробку. І в результаті всього цього, за умови використання спеціального програмного забезпечення на верхньому рівні, завжди на виході виходить повноцінний 4K/60-fps відео.

Таким чином, системи спостереження і забезпечення безпеки зможуть отримувати необхідну їм інформацію набагато швидше, а для її обробки потрібні менші обчислювальні потужності і меншу кількість енергії, адже вона, ця інформація, вже пройшла попередню обробку в камері безпосередньо.

І на закінчення слід зазначити, що інтелектуальні датчики компанії Sony та інші подібні, які неодмінно з'являться в найближчому майбутньому, навряд чи будуть використовуватися в камерах мобільних телефонів, побутових цифрових фото - і відеокамер. Ці датчики орієнтовані на дещо іншу область застосування - там, де, наприклад, необхідно підраховувати людино-години, визначаючи присутність або відсутність певних людей на робочому місці, стежити за діями покупців, контролювати носіння захисних масок в умовах пандемії і багато, багато іншого.