Как действует определение лиц в телефонах

Для чего мы останавливаемся на разблокирование по лицу

В прошлые годы распознавание лиц стало одной из самых распространённых возможностей для разблокировки умных телефонов. Еще пару годков тому назад основная часть использующих удовлетворялись пин-кодами, паролями или датчиками отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект обуславливает эту конкретную возможность настолько популярной? Во-первых, это удобно: не нужно запоминать замысловатые пароли или искать правильный палец в мраке. Кроме того, это мгновенно: современные программы идентифицируют лицо фактически за доли секунды. В-третьих, это чувство будущего — будто в фильмах про admiral x зеркало разведчиков.

Однако за такой на первый взгляд несложностью прячется весь вселенная сложных методов и инженерных разработок. Попробуем понять, как конкретно действует фейсканирование в современных гаджетах, какие существуют технологии, насколько они защищены и что нас предстоит.

Короткая хроника прогресса инноваций

Распознавание лиц как методика существует уже более 50 лет. Начальные эксперименты автоматизированного исследования облика были сделаны еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь выделять контуры черепа и измерять промежутки между очами и губами на монохромных фотографиях.

Начальные коммерческие установки стали доступны в 90-х, но они были несовершенны: функционировали медленно и нередко ошибались. Только с эволюцией синтетических сетей и таких систем, как адмирал х, сильных мобильных чипов распознавание лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали внедрять собственные решения.

Ключевые этапы работы механизма распознавания

Процесс идентификации лица можно примерно сегментировать на несколько важных этапов:

1. Обнаружение лица — камера выявляет наличие людского образа в кадре.
2. Извлечение характеристик — алгоритм изучает особенности лица: конфигурацию глаз, обонятельного органа, губ, положение надбровных дуг.
3. Построение модели — создаётся особенный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — полученный шаблон сопоставляется со зафиксированной при внесении биометрической сведениями владельца.
5. Принятие выбора — если сходство достаточно существенное, смартфон открывается.

Всякий из этих стадий запрашивает специальных алгоритмов и усовершенствований для быстрой работы прямо на устройстве.

Аппаратные компоненты: что прячется внутри

Обычная передняя камера.

Простейший несложный способ идентификации облика использует только переднюю камеру смартфона. Подобный подход внедрён во многочисленных бюджетных вариантах Android-девайсов.

Достоинства:

• Не потребляет дополнительные датчиков.
• Быстро действует при качественном освещённости.

Недостатки:

• Несложно ввести в заблуждение снимком или видеозаписью.
• Плохо работает при низком освещённости или нестандартных углах обзора.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология лежит в основе Face ID от Apple.

Каким способом это работает:

• Точечный проекционный прибор проецирует на физиономию пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 точек).
• Инфракрасная камера записывает деформацию этой решетки по поверхности физиономии.
• Создаётся 3D карта глубины глубины, что практически неосуществима для подделки типичной снимком или маской.

Выигрыши

• Надёжная деятельность даже в полной неосвещённости.
• Сильная защита к подделкам.
• Точность определения более 99%.

Добавочные датчики

В отдельных устройствах используются также экстра сенсорные устройства: ToF (Time-of-Flight), которые определяют время движения света до объекта и обратно; Цветные-датчики дальности; специальные оптические лидары для создания более детализированной 3D-модели лица.

Эти технологии используются наиболее часто во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный интеллект на действии

Современные системы распознавания физиономий немыслимы в отсутствие эксплуатации ИИ и machine learning. Именно вследствие таким разработкам, как адмирал х, устройство в состоянии распознавать пользователя даже при метаморфозах внешнего вида: новая стрижка, щетина, линзы или косметика не становятся помехой для разблокировки.

Обнаружение лиц

При стартовом стадии алгоритм необходимо быстро распознать образ лица внутри полного кадра с камеры. Для данной цели применяются каскадные классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” находить лиц человека среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать лицо даже с неполном перекрытии (например, платком или рукой).

Идентификация важных точек

После распознавания лица система, такая как адмирал х, определяет положение главных точек: кончики глаз, кончик носа, границы губ и так далее. Как правило применяется от 68 до 128 ключевых маркеров на лицевой области.

Это действие необходимо для стабилизации изображения: если юзер удерживает мобильник под углом, или склонил голову, программа исправляет картинку до нормального состояния для дальнейшего анализа.

Построение биометрии модели

Далее искусственная сеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой шаблон очень сложно сфальсифицировать: он не удерживает само изображение юзера, а лишь особенные характеристики его облика, что делает его совершенным для таких платформ, как admiral-x.

Сопоставление и осуществление заключения

В случае, когда человек желает разлочить смартфон взором, система повторяет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ блокируется.

Адаптация к трансформациям облика

Занимательная черта современных систем — способность самостоятельного обучения. Если ты часто открываете смартфон с новой укладкой или оптикой, алгоритм постепенно освежает базовый образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических информации.

Множество клиенты беспокоятся держать свои биометрические данные на телефоне из-за угрозы утечки информации или хакерской атаки. Некоторые организации, например admiral-x, предоставляют решения для повышения защиты данных юзеров.

• Локальное сбережение: Преимущественно аппаратов сохраняет биометрические модели исключительно в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не выходят из устройство и закрыты включая производителю.

• Шифрование: Все данные сохраняются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не имеют непосредственного доступа к биометрическим; они могут лишь запрашивать факт подтверждения личности через системный API.

Стоит отметить значимую подробность: в случае, если кто-либо получит физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют защиту от автоматического разблокирования — например, заставляют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают виды идентификации лиц на изображениях?

В настоящее время можно выделить три ключевых подхода к реализации этой операции:

Программируемое плоское определение

Эксплуатируется только передняя видеокамера без дополнительных детекторов глубины. Подобный метод наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; минимальная цена; быстрая работа при достаточном свете.
Минусы: просто одурачить снимком; неустойчивая работа ночью; слабая безопасность.

Техническое 3D оцифровка

Задействует ИК видеокамеру + проекционный модуль точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Достоинства: большая надежность; не получится обмануть фото/видео; постоянная функционирование в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с ИИ-дополнением

Применяют комбинацию софтверных методов + техническую обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от подделок жестами/масками/видеодисплеями чужих устройств.

Иллюстрации применения разнообразных способов

• iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые внедрил эквивалент Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 поддерживают как софтверное плоское определение по фото фронталкой, так и датчик ириса глаза.
• Huawei Mate20 Pro применяет набор из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Вопросы защиты и неверные срабатывания

Несмотря на поразительный успехи технологий за последние годы, идеальных системы пока не наблюдается:

1. Шанс мошенничества: Бюджетные мобильники легко открываются качественной фотографией владельца или роликом с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые безупречные механизмы могут перепутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Трансформации облика: Резкое снижение веса/набор веса, пластические операции либо повреждения порой требуют перерегистрации биометрических данных.
4. Условия фотографирования: Интенсивная засветка солнечным светом или же интенсивная затенение могут понизить верность идентификации признаков.

Ниже несколько подсказок для безопасному эксплуатации:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно обновляйте ПО мобильного устройства для защиты от актуальных атак;
• Включайте настройку “Требовать распахнутых глаз” в тех местах, где она есть.

В каких областях ещё используется технология кроме мобильных телефонов?

Несмотря на то, что тема нашей работы сосредоточена на именно портативным гаджетам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль прохода в деловых центрах и резиденциях;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Цифровые паспорта современного образца;
• Системы видеонаблюдения городских подразделений;
• Автоматизирование учёта явки образовательных учреждений/университетов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В столичном метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или телефона! Похожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется техпроцесс в наше время?

Любой годик возникают новые идеи для усовершенствования качества работы систем идентификации лиц:

1. Увеличивается детализация датчиков — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
2. Развиваются нейросети — современные конструкции типа MobileNetV3 дают возможность скоростно осваивать свежим особенностям облика владельца непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Совершенствуются методы антиспуфинга — теперь мобильные устройства способны различать подлинные живые лица от статичных фото/масок по микроскопическим микродвижениям.
4. Синхронизация со интеллектуальными приборами — интеллектуальные часы могут самостоятельно блокировать телефон, если владелец удалился на значительное расстояние.
5. Появляются смешанные механизмы — к примеру объединяющие аудио идентификацию + физиономию + отпечаток пальца.

Вот, те тенденции особенно популярны в данный момент:

1) Миниатюризация компонентов

Производители стараются минимизировать габариты отверстия (“чёлки”) под датчики на экране за счёт встраивания компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на аппарате

Для улучшения приватности всё больше вычислений происходит на месте без отправки информации во сторонний облачный услугу.

3) Стандартизация стандартов

Google активно продвигает норму BiometricPrompt API, с целью чтобы такие системы, например как admiral x, и каждые Android-приложения были совместимы с любыми видами биометрии унифицированно.

Какое выбрать сегодня?

В случае если тебе нужна максимальная защита данных, выбирайте топовые устройства со встроенным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех существующих последних поколений
• Huawei Companion/P серии
• Xiaomi Expert
• Vivo X серии
• Oppo Обнаружить Х серии.

Если средства невелик – лучше отдавать предпочтение традиционным методам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, задействовать только как второстепенную возможность удобства.

Каким образом увеличить практичность функционирования функции?

Есть несколько лайфхаков для тех, кто уже использует функцию распознавания лица:

1. Периодически меняйте свою фото-шаблон, если значительно изменяется внешность.
2. Не пренебрегайте протирать объектив передней камеры – пятна могут понизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат когда вы поднимаете его.
4. При регистрации старайтесь удерживать голову прямо перед камеры не допуская резкого наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает смартфон, если вы отворачиваетесь от экрана.

Возможности эволюции технологии

В скоро наступающие годы можно ожидать возникновения полностью бесконтактных способов опознания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + манера ходьбы + жесты рук!

Также предполагается развитие свежих способов обеспечения конфиденциальности – скажем, изменяющееся корректировка цифрового образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее захватывающих инноваций нашего периода! Она делает общение со смартфоном комфортнее чем до этого, и такие приложения, как admiral-x, могут в разы повысить ваш пользовательский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы знаете, как устроена эта методика изнутри, – сумеете вдумчиво выбирать свой очередной гаджет!