Fawkes — инструмент, разработанный для защиты от систем распознавания лиц, и его работа основана на концепции "клоакинга" (cloaking), которая вносит незаметные для человеческого глаза изменения в изображения, чтобы сбить с толку алгоритмы машинного обучения.
Принцип действия
Анализ исходного изображения: Fawkes анализирует фото с помощью собственной нейронной сети, чтобы понять, как системы распознавания лиц (например, те, что используют глубокие сверточные сети) интерпретируют ключевые черты вашего лица — расстояние между глазами, форму носа, контуры щёк и т.д. Эти черты обычно преобразуются в числовой вектор (эмбеддинг), уникальный для каждого человека.
Создание "маскирующего шума": Программа генерирует минимальные изменения в пикселях изображения — так называемый "противоположный шум" (adversarial noise). Этот шум рассчитан таким образом, чтобы сместить эмбеддинг в пространстве признаков ближе к эмбеддингу другого человека (или вымышленного "среднего лица"), но при этом не менять визуальное восприятие фото для человека. Например, это может быть лёгкое изменение оттенков кожи или текстуры в определённых областях.
Применение изменений: Шум накладывается на исходное изображение. Для человеческого глаза разница почти незаметна, но для алгоритма лицо становится нераспознаваемым.
Результат: Если вы опубликуете такое изменённое фото в интернете, и его попробуют прогнать через систему распознавания лиц (например, Amazon Rekognition или FaceNet), алгоритм либо не сможет вас идентифицировать, либо ошибочно свяжет с другим человеком.
Технические детали
Математическая основа: Fawkes использует технику, известную как "противоборные примеры" (adversarial examples). Это подход, при котором в данные вносятся целенаправленные искажения, чтобы обмануть нейросети. В данном случае оптимизация проводится с помощью градиентного спуска, где целью является минимизация сходства между исходным эмбеддингом и изменённым, при сохранении визуальной схожести.
Модель: Инструмент опирается на предварительно обученные модели распознавания лиц (например, подобные FaceNet), чтобы предсказать, как системы будут интерпретировать изображение, и затем "ломает" этот процесс.
Режимы работы: У Fawkes есть несколько уровней защиты (low, mid, high), которые регулируют интенсивность изменений. Более высокий уровень делает защиту сильнее, но может слегка повлиять на качество изображения.
А я смогу! - А поглядим! - А я упрямый!
