Технологию обмана нейросетей перенесли в офлайн

Технологию обмана нейросетей перенесли в офлайн

Опубликовано: 2016-07-25 Сотрудники Google Brain и исследовательской компании OpenAI создали метод обмана распознающих изображения нейросетей, который работает даже в офлайне — получаемые им изображения обманывают компьютер не только когда их напрямую «скармливают» нейросети, но и тогда, когда их распечатывают, фотографируют и только потом пытаются распознать. Описание нового метода и исследование его применимости опубликовано в архиве препринтов arXive.org

Речь идет о изображениях-обманках (adversarial examples), которые можно сделать на основе любой исходной картинки. Для человека такие изображения почти не отличимы от оригинала, однако в них внесены некоторые изменения, которые существенно усложняют их распознавание нейросетью. Потенциально, такие изображения можно использовать для обхода автоматических фильтров спама, систем распознавания лиц или для подделки биометрии.

Методы создания обманок для нейросетей разного типа (распознающих не только изображения, но и, например, звуки) исследуются как минимум с 2004 года. Традиционно для этого используются соперничающие нейросети, одна из которых стемится создать обманку, а другая — правильно ее идентифицировать (отсюда терминология adversarial examples, т. е. соперничающих примеров). Однако важные практические результаты в этой области получены только в последние несколько лет. Например, в одном из исследований ученым удалось модифицировать музыкальные аудизаписи таким образом, что нейросеть смартфона могла их идентифицировать и исполнять как голосовые команды, в то время как человек вообще не замечал постороннего вмешательства в музыку.

В области распознавания изображений подобные эксперименты также уже проводились, однако до сих пор они преимущественно оставались in silico, то есть изображения-обманки напрямую передавали нейросети для распознавания. Однако технология создания обманок подразумевает введение очень тонких, незаметных изменений, которые могут теряться при масштабировании, затенении, обесцвечивании и других искажениях, которые неизбежно появляются при фотографировании через камеру. Поэтому неизвестно, насколько создание обманок может быть опасно для нейросетей в реальной жизни. В новой работе ученые исследовали устойчивоть существующих методов создания обманок к подобным искажениям и разработали новый алгоритм, который делает обманки гораздо эффективнее известных аналогов.

За основу в работе были взяты изображения из стандартной базы ImageNet, которые ученые модифицировали одним из трех алгоритмов и затем отдавали на распознавание неросети Google’s Inception v3. Часть изображений нейросеть получала напрямую, часть авторы статьи распечатывали на бумаге и фотографировали на камеру современного смартфона. В работе ученые проверяли, как влияет на уровень ошибок нейросети не только тип алгоритма, но и степень контрастности, яркости и «замыленности» снимков.

Что касается эффективности разных методов создания обманок, то она оказалась весьма неодинаковой для простых-и-быстрых и сложных-и-медленных алгоритмов. Наиболее эффективные обманки производил метод, который не просто увеличивал энтропию снимка, но путем внесения мелких изменений направлял нейросеть на наиболее далекий от оригинала предмет. «Традиционные методы [создания обманок] дают неинтересные ошибки вроде определения ездовых собах одной породы как ездовых собак другой породы. [Наш новый метод наименее похожего класса] дает гораздо более интересные ошибки вроде распознавания собаки как аэроплана» — пишут авторы в статье.

Александр Ершов







N+1

Похожие новости: Пользователи «Яндекс.Диска» получили доступ к файлам в режиме офлайн Пользователи «облачного» сервиса «Яндекс.Диск» для мобильных платформ iOS и Android получили возможность работать со своими файлами без интернет-подключения. Об этом сообщила компания «Яндекс». В результате владельцы мобильных устройств смогут смотреть загруженные в «Яндекс.Диск» фильмы, читать книги или слушать музыку, .. 2014-08-05 1081 0 Интернет, IT 0 Google Translate начал понимать 99 процентов человечества Разработчики добавили поддержку 13 новых языков в Google Translate. Таким образом, общее число поддерживаемых сервисом языков выросло до 103, говорится в официальном блоге Google Translate. По словам разработчиков сервиса, теперь Google Translate может переводить на языки, .. 2016-02-18 1561 0 Интернет, IT 0 Google открыл для всех новый способ сжатия JPEG Компания Google открыла доступ к новому алгоритму сжатия изображения изображений формата JPEG — Guetzli (в переводе со швейцарского диалекта немецкого языка — «печенье»). Он позволяет получать высококачественные файлы изображений, объем которых на 35 процентов меньше, чем в результате работы стандартных .. 2017-03-18 5398 0 Интернет, IT 0 Google Translate для Android научился работать без Интернета Google Translate — это прекрасный инструмент для  перевода текстов. Благодаря тому, что переведенную фразу можно озвучить, он незаменим при зарубежных поездках. Правда, стоимость Интернета в роуминге может быть очень высокой, так что Google научила свое детище работать в офлайн-режиме. Чтобы .. 2013-03-29 982 0 Интернет, IT 0 Сервис Ustream атаковали из-за трансляций протестов Сервис Ustream подвергся DDoS-атакам из-за видеотрансляций с московских оппозиционных акций. Об этом 9 мая сообщается в официальном микроблоге сервиса на Twitter.»Доступ к #Ustream закрыт из-за масштабной DDoS-атаки, целью которой были работающие на сервисе каналы российской оппозиции», — говорится в сообщении.Сайт .. 2012-05-9 731 0 Интернет, IT 0 Президентский сайт укрепили дополнительной защитой Официальный сайт Кремля Kremlin.ru укрепили дополнительной защитой. Об этом сообщает агентство «Интерфакс». Защита призвана помочь сайту справиться масштабной DDoS-атакой, начавшейся утром в пятницу, 14 марта. По словам пресс-секретаря Владимира Путина Дмитрия Пескова, в настоящее время приняты все необходимые .. 2014-03-14 558 0 Интернет, IT 0 В Японии создали программу для выявления мошенника по голосу Новая программа для мобильного телефона, разработанная совместными усилиями японской компании Fujitsu и университета Нагоя, сможет определить мошенников по голосу и предупредить владельца телефона об опасности. Об этом сообщает РИА Новости со ссылкой на пресс-релиз компании. Разработанная компанией технология мгновенно анализирует .. 2012-03-19 666 0 Интернет, IT 0 Twitter даст скачать архив твитов Сервис микроблогов Twitter запустил новую функцию, позволяющую скачать полный архив сообщений, начиная с самого первого. Чтобы сделать это, нужно зайти в настройки аккаунта и нажать на кнопку "Запросить архив" (Request your archive). Ссылка на файл .. 2012-12-18 824 0 Интернет, IT 0 Сайты российских СМИ атаковали хакеры Сайты ряда российских СМИ оказались недоступны днем 6 мая. В офлайн ушли сайт телеканала «Дождь» и интернет-издания Slon.ru, а сайт радиостанции «Эхо Москвы» работает с перебоями. Как сообщается в микроблоге «Дождя», речь, вероятно, идет о DDoS-атаке. Заместитель главного редактора .. 2012-05-7 887 0 Интернет, IT 0 LiveJournal ушел в офлайн Популярнейший российский блогохостинг LiveJournal ушел в офлайн из-за DDoS-атаки. Об этом, как передает