Каким образом работает определение лиц в телефонах

Почему мы останавливаемся на разблокирование по лицу

В последние времена определение лиц превратилось в одной из самых распространённых опций для разблокировки умных телефонов. Лишь некоторые лет тому назад основная часть пользователей довольствовались пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, например Вулкан Платинум, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что делает эту особенность очень нужной? Во-первых, это комфортно: не нужно помнить сложные пароли или искать верный палец в тьме. Кроме того, это мгновенно: современные программы узнают лицо практически за мгновения ока. В-третью очередь, это впечатление футуристичности — словно в фильмах про вулкан платинум зеркало разведчиков.

Впрочем за такой на первый взгляд несложностью таится целый универсум комплексных техник и инженерных разработок. Давайте исследовать, как конкретно функционирует распознавание лиц в актуальных мобильных телефонах, какие существуют технологии, насколько они защищены и что нас ждёт впереди.

Краткая история прогресса технологии

Распознавание лиц как методика присутствует уже более пятидесяти годов. Изначальные эксперименты автоматизированного анализа облика были сделаны еще в 1960-х годах в научных учреждениях США. Тогда компьютеры умели лишь выделять очертания головы и определять дистанции между глазами и ртом на ахроматических снимках.

Изначальные торговые платформы стали доступны в 1990-х годах, но они были несовершенны: работали медленно и часто давали сбои. Только с эволюцией искусственных сетей и таких площадок, как Vulkan Platinum, сильных мобильных процессоров идентификация лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои разработки.

Ключевые стадии функционирования системы определения

Процесс определения лица можно примерно поделить на несколько основных этапов:

1. Распознавание лиц — камера выявляет наличие гуманного лица в снимке.
2. Выделение признаков — механизм исследует контуры облика: конфигурацию зрительных органов, носа, уст, позицию бровей.
3. Построение структуры — создаётся неповторимый цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — полученный образец сопоставляется со сохранённой при внесении биометрической информацией владельца.
5. Принятие выбора — если совпадение достаточно существенное, смартфон открывается.

Каждый из указанных шагов запрашивает индивидуальных процедур и оптимизаций для оперативной работы непосредственно на девайсе.

Железные компоненты: что находится внутри них

Стандартная передняя камера.

Самый легкий метод распознавания облика использует исключительно фронтальную камеру смартфона мобильного устройства. Данный способ осуществлён во многих доступных версиях Android-устройств.

Плюсы:

• Не потребляет внешних сенсоров.
• Быстро работает при достаточном свете.

Минусы:

• Легко обмануть снимком или роликом.
• Неудачно работает при низком освещённости или необычных углах обзора.

ИК фотокамера и пунктирный проектор

Более усовершенствованные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология лежит в основе Face ID от Apple.

Каким способом это действует:

• Точечный проектор проецирует на облик использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
• ИК камера регистрирует искривление этой решетки по плоскости физиономии.
• Формируется 3D карта глубины глубинности, что практически неподвластна для фальсификации типичной снимком или маскировкой.

Выигрыши

• Надёжная деятельность даже в полной темноте.
• Высокая устойчивость к подделкам.
• Точность распознавания более 99%.

Добавочные сенсоры

В отдельных устройствах задействуются также экстра датчики: ToF (Time-of-Flight), которые фиксируют время движения света до предмета и обратно; RGB-датчики дальности; специальные оптические лидары для формирования более точной 3D-модели лица.

Эти инновации применяются наиболее часто во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: искусственный интеллект на работе

Современные устройства распознавания лиц немыслимы в отсутствие использования искусственного интеллекта и машинного обучения. Именно из-за таким разработкам, как Vulkan Platinum, аппарат способно идентифицировать пользователя даже при изменениях внешности: новая стрижка, растительность на лице, оптика или макияж не становятся препятствием для открытия.

Обнаружение лиц

На первом этапе алгоритм обязана мгновенно обнаружить образ лица внутри полного изображения с камеры. Для данной цели задействуются каскадные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать лицо даже в случае неполном перекрытии (например, платком или ладонью).

Определение важных моментов

После распознавания лица система, такая как Vulkan Platinum, устанавливает расположение ключевых точек: кончики глаз, верхушка носа, границы губ и так далее. Часто применяется от 68 до 128 ключевых точек на лице.

Это действие необходимо для нормализации визуала: если человек держит мобильник под наклоном, или повернул голову, программа “выпрямляет” картинку до обычного угла для дальнейшего анализа.

Построение биометрии модели

Далее нейросеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 вещественных чисел.

Данный формат очень трудно имитировать: он не сохраняет непосредственно фото юзера, а лишь особенные черты его внешности, что делает его идеальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и вынесение выбора

Когда пользователь хочет открыть мобильник взглядом, механизм повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый уровень (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ не предоставляется.

Адаптация к метаморфозам внешнего вида

Интересная черта современных систем — способность самостоятельного обучения. Если вы регулярно разблокируете мобильное устройство с свежей прической или очками, система постепенно обновляет эталонный образец вашего лица для улучшения точности функционирования без ухудшения безопасности.

Защита биометрии информации.

Множество юзеры боятся хранить свои биометрические данные на мобильном устройстве из-за угрозы потери данных или хакерской атаки. Определенные организации, вроде Вулкан Казино Платинум, предлагают варианты для улучшения безопасности данных юзеров.

• Локальное сбережение: Преимущественно девайсов записывает био-идентификационные модели исключительно внутрь безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из гаджет и закрыты в том числе изготовителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы внешних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо подчеркнуть существенную особенность: в случае, если кто-то достанет физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество компании осуществляют систему защиты от неосознанного разблокирования — к примеру, заставляют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды идентификации лиц на изображениях?

На сегодняшний день можно определить 3 основных способа к осуществлению этой функции:

Софтверное 2D идентификация

Используется только лицевая видеокамера без экстра детекторов дистанции. Подобный подход используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость осуществления; умеренная затраты; скоростная функционирование при хорошем освещении.
Минусы: просто обмануть снимком; неустойчивая деятельность ночью; недостаточная безопасность.

Техническое трёхмерное сканирование

Использует ИК видеокамеру + проекционный модуль точек + датчики дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Достоинства: большая надежность; нельзя исказить изображение/видеозапись; стабильная функционирование в любых условиях освещения.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с ИИ-дополнением

Используют комбинацию софтверных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как Vulkan Platinum и Google Pixel Face Unlock новейших поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами посторонних устройств.

Иллюстрации использования различных методов

• iPhone модели X/11/12/13/14 задействуют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D идентификацию по фото селфи-камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ложные сигналы

Несмотря на замечательный успехи техники за прошедшие годы, совершенных механизмов пока не существует:

1. Возможность мошенничества: Бюджетные смартфоны без труда доступны высококачественной снимком хозяина или же видеозаписью с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные системы могут спутать между однояйцевыми близнецами либо семьями с очень схожей внешностью.
3. Изменения облика: Резкое снижение веса/набор веса, косметические процедуры или травмы в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия записи: Интенсивная засветка солнечным светом либо глубокая затенение могут уменьшить точность идентификации признаков.

Ниже несколько рекомендаций по защищённому использованию:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Регулярно обновляйте прошивку ПО телефона для обеспечения безопасности от современных угроз;
• Включайте настройку “Требовать раскрытых глаз” там, где она есть.

В каких областях ещё находится применение технология кроме смартфонов?

Хотя предмет нашей работы сосредоточена на конкретно мобильным устройствам, следует отметить альтернативных областях использования технологии:

• Мониторинг доступа в деловых центрах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые паспорта последнего образца;
• Установки видеомониторинга городских сервисов;
• Механизация регистрации присутствия школ/университетов;
• Авторизация участников персональных компьютеров/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по фейсу (“Face Pay”) — хватит пройти через турникет без карты или телефона! Похожие инициативы реализуются в Поднебесной (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется технический процесс сегодня?

Всякий годик проявляются современные идеи для повышения качества деятельности систем идентификации лиц:

1. Увеличивается разрешение сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше шанс неточности;
2. Улучшаются искусственные интеллекты — современные структуры вида MobileNetV3 обеспечивают возможность скоростно адаптироваться к новым особенностям внешности пользователя прямо на устройстве без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны умеют распознавать реальные движущиеся лица от статичных фотографий/масок по микроскопическим движениям кожи.
4. Интеграция со смарт-гаджетами — смарт-часы могут автоматически заблокировать телефон, если пользователь отошёл далеко.
5. Появляются гибридные устройства — например совмещающие голосовую опознание + лицо + отпечаток пальца.

Вот, те направления в особенности востребованы в данный момент:

1) Сокращение компонентов

Компании стараются минимизировать размер отверстия (“чёлки”) для сенсоры на дисплее за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для увеличения приватности всё больше вычислений выполняется локально без пересылки данных во сторонний облачный услугу.

3) Унификация регламентов

Гугл интенсивно продвигает норму BiometricPrompt API, для того чтобы подобные площадки, как Вулкан Платинум, и любые Android-приложения могли работать с любыми видами биометрии единообразно.

Что выбрать на сегодня?

Если вам всем важна наивысшая защита информации, подбирайте передовые устройства с интегрированным ИК-проектором либо ToF-сенсором глубины.

• iPhone всех актуальных версий
• Huawei Partner/Series P ряда
• Mix Pro
• Vivo X серии
• Oppo Обнаружить Х линейки.

Если средства ограничен – лучше выбирать обычным способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в Вулкан Платинум, использовать только как опциональную возможность удобства.

Как повысить удобство работы опции?

Есть пара хитростей для тех, кто уже пользуется разблокировку через лицо:

1. Регулярно меняйте свою фотографию-шаблон, если сильно изменяется внешний вид.
2. Не упускайте из виду чистить линзу фронтальной камеры – пятна могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так смартфон сам активирует фотоаппарат когда вы поднимаете его.
4. При регистрации пытайтесь держать лицевую часть неподвижно перед объектива без резкого наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она запирает телефон, если вы отвернулись от дисплея.

Перспективы эволюции технологии

В предстоящие годы можно предполагать появления полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + звучание + походка + жесты рук!

Также возможно появление современных подходов обеспечения приватности – к примеру, переменное корректировка цифрового образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из самых интересных техник нашего периода! Она обеспечивает общение со смартфоном удобнее чем раньше, и такие аппы, как Вулкан Казино Платинум, могут значительно оптимизировать ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как работает эта методика в деталях, – сумеете более осмысленно определять свой следующий гаджет!