• Vamshi Krishna Pasupuleti

Как работает идентификация лицевых образов в смартфонах

Для чего мы останавливаемся на разлочивание по лицевому распознаванию

В прошлые годы идентификация лиц является одной из наиболее востребованных функций для деблокировки смартфонов. Всего пару годков тому назад основная часть пользователей удовлетворялись PIN-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением таких технологий, как вулкан россия, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает эту особенность очень нужной? Прежде всего, это удобно: не нужно удерживать в памяти трудные пароли или искать правильный палец в тьме. Кроме того, это мгновенно: современные алгоритмы распознают лицо практически за мгновение. В-третью очередь, это ощущение футуристичности — как будто в фильмах про вулкан автомат разведчиков.

Впрочем за такой на первый взгляд легкостью скрывается полный вселенная трудных методов и инженерных решений. Попробуем разобраться, как именно функционирует распознавание лиц в новейших смартфонах, какие существуют технологии, насколько они безопасны и что нас ждёт впереди.

Короткая история развития технологии

Идентификация лиц как техника имеется уже более пятидесяти годов. Изначальные эксперименты машинного исследования лиц были осуществлены еще в 1960-х годы в научных учреждениях США. Тогда компьютеры способны были лишь выделять очертания черепа и измерять промежутки между глазами и ртом на ахроматических фотографиях.

Изначальные торговые платформы появились в 90-х, но они были неидеальны: действовали неспешно и нередко ошибались. Только с эволюцией искусственных сетей и таких систем, как вулкан россии, сильных мобильных чипов идентификация лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные разработки.

Ключевые шаги действия механизма определения

Процесс распознавания лица можно условно разделить на несколько основных этапов:

1. Обнаружение лиц — аппарат определяет наличие человеческого лица в изображении.
2. Определение признаков — механизм изучает контуры лица: очертания зрительных органов, обонятельного органа, уст, положение бровей.
3. Построение модели — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со стандартом — созданный образец сверяется с зафиксированной при регистрации биометрической данными владельца.
5. Принятие выбора — если сходство достаточно значительное, смартфон разблокируется.

Любой из данных этапов запрашивает индивидуальных процедур и оптимизаций для быстрой работы прямо на устройстве.

Железные составляющие: что скрыто внутри

Типичная передняя камера.

Самый простой несложный метод распознавания физиономии использует только фронтальную камеру мобильного устройства. Данный метод внедрён во различных бюджетных вариантах Android-девайсов.

Положительные стороны:

• Не нуждается в потребляет внешних датчиков.
• Быстро работает при качественном освещённости.

Отрицательные стороны:

• Просто одурачить изображением или видеозаписью.
• Неправильно функционирует при слабом свете или нестандартных углах обзора.

ИК камера и точечный проекционный аппарат

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким образом это работает:

• Точечный проекционный прибор проецирует на облик использующего невидимую решетку из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 меток).
• ИК камера фиксирует искривление этой сетки по поверхности лица.
• Создаётся 3D карта глубинности, которая практически неосуществима для имитации типичной фотографией или маскировкой.

Преимущества

• Надёжная деятельность даже в полной тьме.
• Высокая сопротивляемость к имитациям.
• Точность идентификации свыше 99%.

Добавочные сенсорные устройства

В отдельных девайсах используются также экстра датчики: ToF (Time-of-Flight), которые определяют время прохождения луча до объекта и обратно; Цветные-датчики дальности; специальные оптические дальномеры для построения более детализированной 3D-модели лица.

Эти инновации используются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: синтетический разум в исполнении

Нынешние механизмы идентификации лиц невозможны при отсутствии использования ИИ и machine learning. Именно из-за таким инновациям, как вулкан россии, аппарат может идентифицировать пользователя даже при метаморфозах облика: новая укладка, растительность на лице, линзы или макияж не становятся препятствием для деблокировки.

Распознавание физиономии

На начальном стадии система должна мгновенно найти лицо в пределах целого снимка с камеры. Для данной цели применяются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить облик даже при частичном перекрытии (например, шалью или рукой).

Выделение основных точек

После обнаружения лица устройство, такая как вулкан россии, устанавливает расположение главных точек: уголки глаз, кончик носа, контуры губ и так далее. Как правило применяется от 68 до 128 главных меток на лице.

Это требуется для выравнивания визуала: если пользователь держит мобильник под наклоном, или наклонил головку, программа “выпрямляет” изображение до нормального состояния для последующего изучения.

Построение биометрии шаблона

Далее нейронная сеть строит сжатое математическое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Такой образец крайне трудно подделать: он не хранит само фото пользователя, а лишь исключительные черты его внешности, что делает его совершенным для таких платформ, как vulkan russia.

Сопоставление и осуществление заключения

В случае, когда пользователь намеревается разблокировать мобильник взором, программа воспроизводит все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ запрещается.

Привыкание к метаморфозам облика

Интересная характеристика актуальных систем — возможность самообучения. Если вы постоянно открываете смартфон с новой прической или оптикой, программа постепенно модернизирует эталонный модель вашего облика для повышения точности работы без ухудшения безопасности.

Защита биометрических информации.

Многие пользователи опасаются сохранять свои био-идентификационные данные на телефоне из-за угрозы утечки информации или взлома гаджета. Иные организации, например vulkan russia, предлагают методы для повышения защиты сведений клиентов.

• Локальное хранение: Основная часть устройств сохраняет биометрические шаблоны только в пределах безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из гаджет и закрыты даже создателю.

• Шифрование: Все данные сберегаются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не имеют непосредственного возможности доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Стоит отметить существенную деталь: в случае, если какой-то человек сможет получить физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители реализуют защиту от неосознанного разблокирования — в частности, просят раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы идентификации лиц?

На сегодняшний день можно определить выделить 3 основных метода к выполнению этой операции:

Программируемое 2D определение

Эксплуатируется только лицевая видеокамера без дополнительных датчиков глубины. Этот подход наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость осуществления; низкая цена; быстрая деятельность при хорошем освещении.
Минусы: несложно одурачить снимком; нестабильная работа ночью; недостаточная безопасность.

Техническое объёмное сканирование

Задействует ИК камеру + проектор точек + датчики глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Преимущества: большая достоверность; нельзя исказить фото/видео; постоянная работа при любом освещении.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с ИИ-дополнением

Используют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, например вулкан россии и Google Pixel Face Unlock последних версий, сочетают фронталку c инфракрасным сенсором мобильности Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Примеры эксплуатации различных способов

• iPhone серии X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID среди Android.
• Samsung Galaxy S10/S20 поддерживают как программное обеспечение двухмерное распознавание по изображению фронтальной камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro использует комплекс из ИК-подсветки + Dot Projector + ToF-сенсор

Вопросы защиты и ошибочные сигналы

Несмотря на замечательный развитие техники за недавние годы, совершенных систем пока не наблюдается:

1. Возможность обмана: Бюджетные смартфоны без труда открываются четкой изображением владельца или же видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут спутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
3. Метаморфозы облика: Резкое похудение/набор веса, пластические операции или повреждения порой необходимы для перерегистрации биометрии.
4. Условия записи: Яркая засветка солнечным светом или плотная темнота могут понизить точность распознавания признаков.

Ниже некоторые рекомендаций для защищённому использованию:

• Для критически важных операций всегда внедряйте двухэтапную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Постоянно обновляйте прошивку смартфона для предотвращения угроз от современных угроз;
• Включайте настройку “Требовать распахнутых глаз” везде, где она доступна.

Где дополнительно применяется технологии кроме смартфонов?

Хотя тема этой публикации сосредоточена на именно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль входа в деловых центрах и резиденциях;
• Платёжные терминалы финансовых учреждений (“Face Pay”);
• Электронные идентификационные документы нового образца;
• Комплексы видеоконтроля городских сервисов;
• Автоматизация регистрации посещаемости образовательных учреждений/институтов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через турникет без карты или телефона! Похожие инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется технический процесс в наше время?

Любой годик появляются современные идеи для усовершенствования качества деятельности систем лицевого распознавания:

1. Увеличивается разрешение датчиков — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше вероятность неточности;
2. Улучшаются искусственные интеллекты — современные структуры модели MobileNetV3 обеспечивают возможность скоростно обучаться новым характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
3. Улучшаются методы антиспуфинга — теперь мобильные устройства могут отличать реальные живые лица от статичных фотографий/маскировок по микроскопическим движениям кожи.
4. Взаимодействие со умными устройствами — смарт-часы могут самостоятельно заблокировать смартфон, если владелец отошёл далеко.
5. Возникают смешанные системы — к примеру объединяющие речевую идентификацию + физиономию + дактилоскопический след.

Здесь, которые тренды в особенности востребованы на сегодняшний день:

1) Миниатюризация компонентов

Изготовители пытаются сократить габариты отверстия (“чёлки”) под датчики на дисплее за счёт встраивания компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения приватности всё больше обработки данных осуществляется внутри устройства без отправки информации во внешний облачный услугу.

3) Стандартизация норм

Google энергично продвигает стандарт BiometricPrompt API, для того чтобы аналогичные площадки, как вулкан россия, и любые Android-программы могли взаимодействовать с всеми формами биометрии стандартизированно.

Какое решить сегодня?

Когда вам всем нужна наивысшая безопасность данных, подбирайте передовые модели с вмонтированным ИК-проектором или же ToF-сенсором глубины.

• iPhone каждого новейших моделей
• Huawei Companion/P линейки
• Mi Pro
• Vivo X серии
• Oppo Find Икс линейки.

Если финансы скромен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в вулкан россия, применять только как дополнительную опцию комфорта.

Как повысить удобство функционирования возможности?

Есть некоторые хитростей для людей, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою фотографию-шаблон, если значительно трансформируется внешность.
2. Не упускайте из виду чистить объектив фронтальной камеры – загрязнения могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам включает камеру когда вы берёте его в руки.
4. Во время записи старайтесь сохранять голову ровно перед камеры не допуская сильного наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от экрана.

Перспективы прогресса инноваций

В скоро наступающие годы можно предполагать появления полностью безконтактных способов распознавания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + шаги + жесты рук!

Также вероятно развитие свежих способов охраны личной информации – к примеру, изменяющееся корректировка диджитал шаблона после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из очень интересных инноваций нашего времени! Она предоставляет интеракцию со мобильным устройством удобнее чем раньше, и такие программы, как vulkan russia, могут существенно оптимизировать ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы знаете, как работает эта система в деталях, – будете в состоянии вдумчиво выбирать свой очередной девайс!