Каким образом работает определение лиц в смартфонах

Почему мы останавливаемся на разблокирование по лицевому распознаванию

В последние годы распознавание физиономий является одной из самых распространённых возможностей для открытия умных телефонов. Еще некоторые годков ранее основная масса пользователей удовлетворялись пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь превращает эту конкретную особенность очень нужной? Для начала, это практично: не нужно удерживать в памяти замысловатые пароли или отыскивать правильный палец в мраке. Во-вторых, это мгновенно: современные программы идентифицируют лицо практически за мгновение. В-третьем пункте, это чувство футуристичности — как будто в кинолентах про адмирал х агентов.

Тем не менее за такой видимой несложностью прячется полный универсум трудных методов и инженерных концепций. Попробуем разобраться, как точно функционирует фейсканирование в новейших гаджетах, какие применяются методы, насколько они надёжны и что нас предстоит.

Короткая повествование развития инноваций

Распознавание лиц как технология присутствует уже более 50 годов. Первые эксперименты автоматизированного исследования лиц были предприняты еще в 1960-х годах в научных учреждениях США. Тогда вычислительные машины могли лишь выделять контуры головы и измерять расстояния между очами и устами на ахроматических снимках.

Начальные торговые системы появились в девяностых годах, но они были далеки от совершенства: функционировали медленно и нередко ошибались. Только с эволюцией искусственных сетей и таких систем, как адмирал х, мощных мобильных чипов идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и другие начали внедрять личные разработки.

Основные стадии функционирования устройства определения

Процесс распознавания лица можно ориентировочно поделить на несколько ключевых этапов:

Обнаружение лица — аппарат выявляет существование людского лица в кадре.
Определение характеристик — система исследует контуры лица: форму зрительных органов, носа, уст, расположение надбровных дуг.
Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со образцом — полученный модель сопоставляется со записанной при учёте биометрической сведениями владельца.
Принятие определения — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из этих стадий нуждается в особых процедур и оптимизаций для быстрой работы непосредственно на девайсе.

Железные элементы: что скрыто внутри них

Типичная передняя камера.

Самый несложный метод определения лица использует исключительно фронтальную камеру смартфона смартфона. Данный подход внедрён во многочисленных доступных версиях Android-устройств.

Достоинства:

Не нуждается в нуждается в дополнительные датчиков.
Оперативно функционирует при качественном освещении.

Слабые стороны:

Просто одурачить снимком или видео.
Неудачно работает при низком освещении или необычных ракурсах.

Инфракрасная камера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика составляет базу Face ID от Apple.

Каким способом это работает:

Точечный проектор отображает на облик пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
Инфракрасная камера фиксирует деформацию этой сетки по поверхности лица.
Формируется трехмерная глубинная карта глубины, что почти невозможна для имитации типичной фото или маской.

Плюсы

Надёжная работа даже в полной темноте.
Высокая защита к подделкам.
Точность идентификации выше 99%.

Дополнительные сенсоры

В определённых девайсах используются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют время прохождения света до объекта и обратно; Трехцветные-датчики дальности; специальные лазерные лидары для создания более точной 3D-модели физиономии.

Эти разработки встречаются наиболее часто во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные методы: искусственный ум на действии

Нынешние механизмы опознания лиц невозможны при отсутствии эксплуатации ИИ и machine learning. Именно вследствие таким разработкам, как адмирал х, аппарат в состоянии распознавать юзера даже при трансформациях внешности: новая причёска, щетина, оптика или косметика не становятся препятствием для открытия.

Обнаружение лица

При стартовом стадии алгоритм должна быстро найти образ лица внутри полного снимка с камеры. Для данной цели применяются последовательные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые подготовлены находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN способен находить физиономию даже в случае частичном перекрытии (например, шалью или ладонью).

Выделение важных аспектов

После обнаружения лица система, такая как адмирал х, определяет положение основных точек: кончики глаз, конец носа, края губ и так далее. Часто применяется от 68 до 128 главных меток на лицевой поверхности.

Это требуется для выравнивания визуала: если юзер удерживает смартфон под углом, или наклонил головку, программа корректирует изображение до обычного угла для последующего изучения.

Формирование биометрического образца

Далее нейронная сеть строит уплотненное математическое представление (« эмбеддинг ») облика пользователя — своеобразный цифровой след лица длиной от 128 до 512 флоатов.

Данный формат очень затруднительно подделать: он не удерживает непосредственно фото юзера, а лишь особенные особенности его вида, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и принятие решения

В случае, когда пользователь хочет открыть мобильник взором, механизм воспроизводит все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно выше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Адаптация к изменениям внешности

Интересная особенность современных систем — возможность самостоятельного обучения. Если ты регулярно открываете мобильное устройство с свежей укладкой или оптикой, алгоритм постепенно модернизирует базовый образец вашего лица для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрических данных информации.

Многие пользователи беспокоятся сохранять свои биометрические данные на мобильном устройстве из-за вероятности утечки данных или взлома гаджета. Иные организации, такие как admiral-x, предлагают варианты для улучшения сохранности сведений клиентов.

Локальное сбережение: Преимущественно девайсов хранит биометрические модели лишь внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают устройство и не доступны в том числе производителю.
Шифрование: Все данные сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих разработчиков не имеют прямого возможности доступа к биометрическим; они могут лишь запрашивать подтверждение верификации личности через системный API.

Необходимо упомянуть важную особенность: в случае, если кто-либо достанет доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество компании внедряют систему защиты от неосознанного разблокирования — в частности, требуют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют виды распознавания лиц?

На сегодняшний день можно определить различить 3 ключевых способа к реализации этой задачи:

Софтверное плоское идентификация

Эксплуатируется только фронтальная видеокамера без экстра датчиков дистанции. Такой метод используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; умеренная затраты; быстрая функционирование при хорошем освещении.
Минусы: легко обмануть снимком; нестабильная функционирование ночью; недостаточная охрана.

Оборудование для объёмное сканирование

Задействует ИК видеокамеру + проектор пикселей + датчики дистанции (Face ID у Apple; аналогичные решения у Huawei Mate).
Плюсы: большая достоверность; не получится обмануть изображение/видеозапись; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (« чёлка »)

Смешанные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (« anti-spoofing »). Например, такие продукты, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для предотвращения от подделок руками/масками/видеодисплеями чужих устройств.

Образцы эксплуатации разных методов

iPhone линейки X/11/12/13/14 используют только техническое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в числе Android.
Samsung Galaxy S10 версия/S20 имеют как программное двухмерное распознавание по снимку селфи-камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro использует набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности охраны и неверные срабатывания

Несмотря на впечатляющий прогресс инноваций за недавние лет, идеальных системы пока не имеется:

Вероятность мошенничества: Бюджетные телефоны легко доступны высококачественной изображением владельца или же видео с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные системы могут спутать между однояйцевыми близнецами либо родичами с очень схожей внешностью.
Трансформации внешности: Внезапное утрата веса/набор веса, косметические процедуры либо травмы в некоторых случаях необходимы для повторной регистрации биометрии.
Условия фотографирования: Сильная подсветка солнечным светом или интенсивная тень могут снизить точность распознавания признаков.

Ниже пара подсказок по безопасному применению:

Для важных операций всегда используйте двухфакторную аутентификацию;
Не включайте возможность « Разблокировка по лицу » на дешёвых моделях без ИК-сенсоров;
Систематически обновляйте прошивку программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
Включайте настройку « Требовать распахнутых глаз » в тех местах, где она есть.

В каких областях ещё находится применение технологии помимо смартфонов?

Пускай предмет нашей работы посвящена конкретно мобильным устройствам, следует отметить альтернативных областях использования технологии:

Мониторинг прохода в офисах и многоквартирных зданиях;
Платёжные терминалы финансовых учреждений (« Face Pay »);
Электронные удостоверения личности последнего типа;
Установки видеонаблюдения муниципальных подразделений;
Автоматизация учёта посещаемости образовательных учреждений/университетов;
Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по фейсу (« Face Pay ») — достаточно пройти через турникет без карты или телефона! Схожие программы развиваются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Как изменяется техпроцесс в нынешнее время?

Каждый годик появляются свежие идеи для усовершенствования стандарта работы систем идентификации лиц:

Увеличивается чёткость датчиков — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше риск ошибки;
Улучшаются искусственные интеллекты — новейшие конструкции модели MobileNetV3 позволяют оперативно адаптироваться к свежим характеристикам внешности обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
Развиваются способы антиспуфинга — теперь мобильные устройства умеют различать настоящие движущиеся облики от фиксированных фотографий/маскировок по мельчайшим движениям кожи.
Интеграция со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к мобильный телефон, если пользователь удалился на значительное расстояние.
Появляются гибридные механизмы — например комбинирующие аудио аутентификацию + лицо + пальцевой отпечаток.

Здесь, те тренды очень востребованы сейчас:

1) Сокращение компонентов

Изготовители пытаются уменьшить габариты выреза (« чёлки ») под сенсоры на экране за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на аппарате

Для повышения конфиденциальности всё больше обработки данных выполняется на месте без пересылки данных во внешний облачный услугу.

3) Упорядочивание норм

Гугл энергично продвигает норму BiometricPrompt API, чтобы аналогичные системы, например как admiral x, и каждые Android-приложения были совместимы с любыми видами биометрии унифицированно.

Какое подобрать сегодня?

В случае если тебе необходима максимальная безопасность информации, выбирайте топовые устройства с вмонтированным ИК-проектором или же ToF-сенсором глубины.

iPhone всех существующих последних поколений
Huawei Mate/Series P ряда
Mix Professional
Vivo X линейки
Oppo Обнаружить X серий.

Если средства скромен – лучше отдавать предпочтение обычным способам безопасности (PIN-код/сканер пальца), а опцию « разблокировка по лицу », такую как в admiral x, использовать только как опциональную возможность комфорта.

Каким образом улучшить практичность функционирования возможности?

Есть несколько хитростей для людей, кто уже использует разблокировку по лицу:

Часто меняйте свою фото-шаблон, если сильно меняется внешность.
Не забывайте чистить линзу фронтальной камеры – загрязнения могут снизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам активирует камеру как только вы берёте его в руки.
При регистрации постарайтесь держать лицевую часть неподвижно перед камеры исключая сильного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отвели взгляд от экрана.

Будущее развития технологии

В скоро наступающие времена можно предвкушать появления полностью безконтактных способов опознания персоны сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + шаги + жесты рук!

Также предполагается появление свежих способов защиты личной информации – например, динамическое модификация диджитал образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из самых захватывающих технологий нашего периода! Она предоставляет интеракцию со мобильным устройством комфортнее чем раньше, и такие аппы, как admiral-x, могут в разы улучшить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как устроена эта система внутри, – сможете осознаннее определять свой будущий устройство!