Каким образом работает определение лицевых образов в мобильных устройствах

Почему мы останавливаемся на разлочивание по лицу

В недавние времена определение лиц превратилось в одной из наиболее востребованных функций для разблокировки мобильных телефонов. Всего некоторые годов тому назад основная часть юзеров удовлетворялись PIN-кодами, паролями или сканерами отпечатков пальцев. Но с появлением таких технологий, например Spinto, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь делает данную функцию такой востребованной? Во-первых, это удобно: не нужно помнить трудные пароли или искать правильный палец в темноте. Во-вторых, это оперативно: современные программы распознают лицо буквально за мгновение. В-третьих, это ощущение футуристичности — будто в фильмах про russles.ru агентов.

Однако за этой видимой простотой таится целый мир трудных техник и инженерных решений. Давайте исследовать, как точно работает идентификация по лицу в актуальных гаджетах, какие существуют технологии, насколько они надёжны и что нас предстоит.

Короткая хроника эволюции техники

Идентификация лиц как технология присутствует уже более пятидесяти годов. Начальные эксперименты автоматического исследования лиц были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ могли лишь обозначать очертания лица и измерять расстояния между очами и устами на монохромных изображениях.

Начальные бизнес платформы возникли в 1990-х годах, но они были далеки от совершенства: функционировали медленно и часто ошибались. Только с эволюцией искусственных сетей и таких площадок, как Спинто, мощных мобильных чипов определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали интегрировать свои решения.

Главные стадии функционирования механизма распознавания

Процесс идентификации лица можно примерно разделить на несколько ключевых этапов:

Распознавание лица — камера выявляет присутствие людского образа в кадре.
Определение характеристик — алгоритм исследует черты облика: очертания глаз, носа, губ, положение бровей.
Построение структуры — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со стандартом — полученный образец сопоставляется со записанной при регистрации биометрической сведениями владельца.
Принятие определения — если сходство достаточно значительное, смартфон деблокируется.

Всякий из указанных этапов запрашивает специальных методов и усовершенствований для оперативной работы прямо на устройстве.

Железные компоненты: что прячется в их недрах

Типичная фронтальная камера.

Простейший несложный вариант идентификации облика использует исключительно фронтальную видеокамеру мобильного устройства. Данный способ внедрён во многих бюджетных вариантах Android-девайсов.

Плюсы:

Не требует дополнительных датчиков.
Шустро работает при достаточном свете.

Слабые стороны:

Просто одурачить изображением или видео.
Неудачно действует при плохом освещении или нестандартных ракурсах.

ИК фотокамера и пунктирный проекционный аппарат

Более продвинутые системы, такие как Спинто, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика лежит в основе Face ID от Apple.

Как это работает:

Точечный проекционный прибор отображает на лицо пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
ИК устройство регистрирует деформацию данной сетки по поверхности физиономии.
Формируется трёхмерная карта глубинности, что практически неосуществима для имитации стандартной снимком или маской.

Преимущества

Надёжная работа даже в полной неосвещённости.
Высокая сопротивляемость к подделкам.
Точность идентификации более 99%.

Дополнительные сенсорные устройства

В некоторых девайсах используются также вспомогательные датчики: ToF (Time-of-Flight), которые фиксируют время движения света до цели и обратно; Цветные-датчики глубины; специальные оптические лидары для построения более точной 3D-модели физиономии.

Эти инновации используются наиболее часто во флагманских устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный разум на работе

Современные системы опознания лиц невозможны в отсутствие эксплуатации artificial intelligence и machine learning. Именно вследствие таким инновациям, как Спинто, устройство в состоянии идентифицировать юзера даже при метаморфозах внешности: новая стрижка, растительность на лице, оптика или косметика не становятся препятствием для деблокировки.

Обнаружение лица

На стартовом шаге алгоритм необходимо быстро найти образ лица среди целого изображения с камеры. Для данной цели задействуются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN в состоянии находить физиономию даже с частичном закрытии (например, платком или рукой).

Выделение основных моментов

После идентификации лица механизм, такая как Спинто, устанавливает положение главных точек: края глаз, конец носа, края губ и так далее. Как правило задействуется от 68 до 128 ключевых меток на лицевой поверхности.

Это действие требуется для стабилизации картинки: если юзер удерживает смартфон под наклоненным, или наклонил головку, программа корректирует картинку до стандартного положения для последующего изучения.

Формирование биометрического идентификатора образца

Далее нейросеть строит компактное математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Данный формат весьма затруднительно имитировать: он не хранит непосредственно картинку юзера, а лишь особенные характеристики его внешности, что делает его совершенным для таких систем, как Спинто казино.

Сопоставление и принятие решения

Если человек намеревается открыть мобильник взором, система повторяет все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно превышает 99%), телефон, как и платформа Спинто казино, открывается; если нет — доступ блокируется.

Привыкание к метаморфозам облика

Интересная особенность нынешних систем — возможность самостоятельного обучения. Если ты часто открываете мобильное устройство с новой укладкой или очками, программа постепенно модернизирует основной модель вашего лица для повышения точности работы без ухудшения безопасности.

Безопасность биометрии информации.

Множество пользователи боятся хранить свои биометрические данные на телефоне из-за риска утечки данных или взлома устройства. Определенные организации, вроде Спинто казино, предлагают решения для повышения защиты данных юзеров.

Локальное хранение: Большинство аппаратов хранит био-идентификационные шаблоны только внутри защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они всегда не покидают гаджет и закрыты даже создателю.
Шифрование: Все данные сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Приложения внешних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать факт верификации личности через системный API.

Стоит подчеркнуть значимую деталь: в случае, если какой-то человек получит доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие производители реализуют защиту от “слепого” разблокирования — например, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы распознавания лиц на изображениях?

В настоящее время можно выделить три ключевых подхода к выполнению этой операции:

Программируемое плоское идентификация

Эксплуатируется только фронтальная камера без дополнительных сенсоров глубины. Такой метод используется наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; низкая стоимость; скоростная функционирование при качественном освещении.
Минусы: несложно ввести в заблуждение фотографией; ненадежная работа ночью; слабая безопасность.

Аппаратное объёмное сканирование

Задействует ИК видеокамеру + проектор пикселей + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: значительная надежность; невозможно исказить фото/видео; постоянная деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с ИИ-дополнением

Задействуют комбинацию программируемых методов + аппаратно-техническую обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие изделия, например Спинто и Google Pixel Face Unlock современных версий, сочетают фронталку c ИК датчиком движения Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Примеры использования разных способов

iPhone модели X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition впервые представил аналог Face ID среди Android.
Samsung Galaxy S10/S20 обеспечивают как софтверное 2D распознавание по фото селфи-камерой, так и датчик глазного ириса.
Huawei Mate20 Pro задействует комплекс из ИК-освещения + Dot Projector + ToF-датчик

Трудности безопасности и ошибочные срабатывания

Несмотря на впечатляющий успехи технологий за последние годы, совершенных системы пока не существует:

Вероятность мошенничества: Бюджетные телефоны без труда открываются высококачественной изображением пользователя либо видеозаписью с экрана другого устройства.
Идентичные близняшки: Даже самые безупречные устройства могут спутать между монозиготными близнецами либо родичами с очень схожей внешностью.
Метаморфозы облика: Стремительное снижение веса/увеличение массы тела, пластические операции или повреждения в некоторых случаях требуют повторной регистрации биометрических данных.
Условия съёмки: Интенсивная подсветка солнечным светом или плотная затенение могут понизить точность определения признаков.

Ниже некоторые подсказок по надёжному эксплуатации:

Для критически важных операций всегда внедряйте дополнительную аутентификацию;
Не включайте опцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
Постоянно обновляйте программное обеспечение мобильного устройства для обеспечения безопасности от современных угроз;
Включайте функцию “Требовать открытых глаз” в тех местах, где она есть.

В каких областях дополнительно применяется технология кроме мобильных телефонов?

Хотя основная мысль этой работы сосредоточена на в частности портативным гаджетам, необходимо сказать о других сферах применения технологии:

Контроль входа в деловых центрах и резиденциях;
Платёжные терминалы финансовых учреждений (“Face Pay”);
Электронные идентификационные документы последнего образца;
Комплексы видеонаблюдения городских служб;
Автоматизирование учёта посещаемости школ/институтов;
Аутентификация участников компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или телефона! Похожие инициативы развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как трансформируется технический процесс в нынешнее время?

Любой годочек проявляются новые идеи для улучшения уровня деятельности систем лицевого распознавания:

Увеличивается разрешение сенсоров — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше вероятность неточности;
Совершенствуются нейронные сети — новейшие структуры модели MobileNetV3 дают возможность быстро обучаться свежим особенностям вида пользователя непосредственно на девайсе без отправки данных в облако.
Развиваются методы антиспуфинга — теперь смартфоны умеют отличать настоящие анимированные лица от статичных фотографий/маскировок по мельчайшим микродвижениям.
Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут авто закрыть доступ к телефон, если владелец отошёл далеко.
Проявляются комбинированные системы — например совмещающие речевую аутентификацию + лицо + отпечаток пальца.

Здесь, какие тенденции особенно популярны в данный момент:

1) Сокращение деталей

Компании стараются уменьшить величину выреза (“чёлки”) для датчики на экране за счёт внедрения миниатюрных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на девайсе

Для увеличения конфиденциальности всё больше обработки данных выполняется локально без передачи данных во сторонний облачный услугу.

3) Унификация регламентов

Гугл энергично пропагандирует стандарт BiometricPrompt API, с целью чтобы аналогичные платформы, как Spinto, и все Android-аппы были совместимы с любыми видами биометрии унифицированно.

Какое выбрать на сегодня?

Если тебе важна предельная сохранность информации, остановите выбор на флагманские модели с вмонтированным ИК-излучателем или ToF-сенсором глубины.

iPhone всех существующих новейших версий
Huawei Mate/P серии
Xiaomi Professional
Vivo X серии
Oppo Найти Икс серии.

Если средства невелик – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Spinto, применять только как опциональную опцию комфорта.

Каким образом улучшить удобство использования опции?

Есть несколько хитростей для тех, кто уже пользуется разблокировку по лицу:

Периодически обновляйте свою изображение-шаблон, если сильно меняется внешний вид.
Не пренебрегайте очищать линзу передней камеры – разводы могут снизить точность!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает камеру когда вы поднимаете его.
В процессе регистрации старайтесь держать лицевую часть неподвижно перед камеры не допуская значительного наклона головы.
Используйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от дисплея.

Возможности развития технологии

В предстоящие годы можно ожидать развития полностью безконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: облик + звучание + походка + жесты рук!

Также предполагается развитие свежих методов охраны личной информации – например, переменное корректировка цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – одна из очень интересных технологий нашего времени! Она делает интеракцию со мобильным устройством комфортнее чем до этого, и такие приложения, как Спинто казино, могут в разы оптимизировать ваш пользовательский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы понимаете, как работает эта технология изнутри, – сумеете осознаннее выбирать свой очередной гаджет!