истории

Тоже мечтаете увидеть Путина в Гааге? (Пока) это возможно только с помощью нейросети Midjourney Но изображения такие реалистичные, что разработчики уже запретили генерировать новые — и даже забанили создателя Bellingcat

Источник: Meduza

Прокуратура штата Нью-Йорк готовится предъявить обвинения Дональду Трампу по делу о нарушении правил финансирования предвыборной кампании — бывший президент США уже несколько дней утверждает, что в ближайшее время его намерены арестовать. Хотя Трамп (на момент публикации материала) находится на свободе, уже сейчас крайне легко найти множество «фотографий» его задержания. Это фейки, сгенерированные с помощью нейросети Midjourney, авторы которой уже ограничили создание таких изображений. «Медуза» рассказывает о фото, которые заставили разработчиков беспокоиться из-за дезинформации, и объясняет, как новые правила работают в случае с Владимиром Путиным в Гааге (да, такие изображения тоже уже есть).

В середине марта авторы нейросети Midjourney представили V5 — пятую версию алгоритма, позволяющего быстро создавать крайне реалистичные изображения по текстовому запросу. Именно после ее выхода в соцсетях появилось множество фейковых (но довольно впечатляющих) изображений c задержанием Дональда Трампа. И такие картинки заставили многих поверить, что это действительно произошло. Вот некоторые из них.

Популярнее (и реалистичнее) всего оказались «фото задержания Трампа» от основателя Bellingcat. В итоге его забанили

На изображениях, которые только в одном твиттер-аккаунте собрали 5,6 миллиона просмотров, Трамп публично сопротивляется задержанию и убегает от полицейских. То полицейские кладут его на землю, то против его воли несут на руках. В конфликте участвуют его сын и жена: Дональд Трамп — младший и Мелания Трамп. На следующих снимках бывший президент США одиноко сидит на койке в камере, затем плачет в суде, а потом (очевидно, после приговора) в оранжевом комбинезоне драит полы и чистит туалет тюрьмы. В какой-то момент он находит способ сбежать и добирается до «Макдоналдса».

Вся эта история, конечно же, вымышленная: Трамп находится на свободе и пока только ожидает предъявления обвинений. Автор сгенерированных в Midjourney фотографий — британский аналитик и создатель расследовательского проекта Bellingcat Элиот Хиггинс. Близкие к Трампу СМИ уже обвиняют расследователя в распространении фейков, хотя он и не скрывал, что картинки ненастоящие.

Хиггинс, как и все, пользовался Midjourney через бот на официальном сервере компании в Discord. В среду, 22 марта, после того как изображения разошлись по соцсетям, расследователь написал в твиттере, что его забанили.

Никаких объяснений от представителей Midjourney Хиггинс не получил и не знает, какие именно правила он нарушил, рассказал он изданию The Washington Post (WP). Впрочем, вероятнее всего, дело в виральности твитов Хиггинса: даже если Трампа не арестуют, именно эти сгенерированные изображения при случае придут на ум многим людям, рассуждает в разговоре с WP глава организации Media Matters for America.

Даже если у человека со сгенерированной фотографии шесть пальцев на руке, картинка все равно обладает «разрушительным потенциалом» в плане дезинформации, отметил в беседе с WP исполнительный директор правозащитной организации Witness Сэм Грегори. Главные опасения, объясняет он, связаны не с тем, что люди благодаря фейковым фото могут поверить в то или иное событие, а с тем, что они перестанут доверять вообще всему.

Чтобы фейков с Трампом стало меньше, Midjourney забанила слова «арест» и «тюрьма». Но запрет можно обойти

Новые версии алгоритмов в нейросетях предварительно проходят множество проверок, а разработчики заранее ставят чат-ботам массу ограничений. У той же Midjourney есть огромный список слов, которые невозможно использовать в запросах.

Когда фейковые фотографии задержания Трампа разошлись по твиттеру, Midjourney ввела новые ограничения для пользователей. Под запретом оказались слова «arrested» (арестованный) и «jail» (тюрьма), указало издание BuzzFeed и сообщили пользователи нейросети в Discord. «Медуза» убедилась: при попытке сгенерировать изображения с указанными словами бот Midjourney сообщает, что это невозможно. Введен запрет временно или навсегда, неизвестно.

Этот запрет возможно обойти, если использовать другое слово для обозначения тюрьмы — prison. С ним, как проверила «Медуза», на момент публикации материала с помощью Midjourney все еще возможно сгенерировать изображения, которые по смыслу близки к тем, что теперь создавать запрещено.

Правила Midjourney действуют не только в отношении Трампа. К примеру, сделать «фото» с Путиным в Гааге тоже стало сложнее

17 марта Международный уголовный суд в Гааге выдал ордер на арест Владимира Путина, признав личную ответственность президента РФ в незаконной депортации детей с оккупированных территорий Украины в Россию.

И перед этим, и вскоре после решения суда в твиттере и телеграме появилось много «фотографий», на которых Путина задерживают, судят в Гааге или отправляют в тюрьму. Все они сгенерированы с помощью нейросети.

Что касается нового запрета Midjourney, то он не «привязан» к имени Трампа: к примеру, сгенерировать изображения с Путиным под арестом (то есть со словами «arrested» и «in jail») на текущий момент не выйдет. Но в тюрьму («prison») его, как и Трампа, «отправить» все еще можно.

Хотя картинки с президентом России в Гааге в разы менее реалистичны, чем изображения с Трампом, кто-то может поверить и в некачественные фейки. Наглядный пример — созданное с помощью нейросети изображение, на котором Путин якобы преклоняет колени перед Си Цзиньпином.

Картинка так широко разошлась в соцсетях во время реального визита главы КНР в Россию, что некоторые СМИ решили выпустить отдельные материалы о том, что это фейк. Несмотря на то что на сгенерированном изображении тела Путина и Си серьезно деформированы и не соответствуют реальным пропорциям, нашлись те, кто даже это изображение — с видными невооруженным глазом артефактами — счел настоящим.