Посты такого рода обычно начинаются с пассажа о том, как автор не имеет никакого представления о принципах работы нейросетей, а значит, дни человечества сочтены и мы добровольно подкладываем голову (метафорическую, общечеловеческую) под стремительно приближающуюся синтетическую пяту.
Но я человек простой, я вижу новую модель, генерирующую картиночки по текстовому описанию1 – я загоняю в неё названия видеоигр с метакритика, как иначе?
BigSleep на верхнем уровне, однако, достаточно простая вещь: она состоит на самом деле из двух моделей – CLIP, оценивающей, что происходит на изображении, и BigGAN, изображения генерирующей. Вся большая идея заключается в том, чтобы многократно (каждая картинка проходит сотни и тысячи итераций) и последовательно модифицировать вывод BigGAN так, чтобы CLIP была всё более и более уверенна в том, что на картинке происходят именно вещи, которых просил пользователь.
Украденная из чужого поста картинка, объясняющая общие принципы
Вы можете видеть на картинке с визуализацией промежуточных итераций, как по запросу «Bioshock» узнаваемый стиль постепенно прорастает из изображения собачки с интересным выражением мордочки.
Отвечает ли мордочка собаки на «shock» из запроса? Я намерен мучаться этим вопросом до конца своих дней.
Всё, дальше в этом посте только сгенерированные BigSleep изображения, подпись к кажодму – как несложно догадаться, запрос, по которому оно было сгенерированно. Иногда с моим страшно остроумным комментарием после дефиса, всем спасибо за внимание.
Assassin’s Creed – классический (даже чуть странно писать это слово)! На вышке!
Baldur’s Gate II: Shadows of Amn – я в принципе вполне способен разглядеть здесь скриншот из игры
Batman: Arkham City
Bayonetta – да, это безошибочно Байонетта
Bioshock – нет ни единого шанса разобраться, что здесь изображено, но это каким-то образом несомненно именно тот шейдинг
Bioshock: Infinite
Bloodborne
Braid – что ж, да, это косичка
Burnout 3: Takedown – главное, допустим, сеть ухватила!
Call of Duty: Modern Warfare
Castlevania: Symphony of the Night
Celeste – мммм, у меня здесь впечатление, будто нас серьёзным образом не так поняли, явно какая-то другая Celeste.
Chrono Cross – здесь впервые не уверен, что хоть что-то вижу
Company of Heroes
Demon’s Souls
Devil May Cry – а вот это то ли просто скриншот из четвёртой части, то ли кадр из не вышедшего пока ещё лайвэкшна. Фантастика.
Diablo – да, это серьёзно злой щеночек, стоящий на паркетном полу
Disco Elysium
Gears of War
GoldenEye 007 – Окей, явно слишком буквально.
Gran Turismo
Grand Theft Auto
Grand Theft Auto: Vice City – ehhh, по крайней мере она всё правильно поняла про цветовое решение
Grim Fandango
Hades – ух ты, даже подписала
Half-Life – она нарисовала лямбду?..
Halo: Combat Evolved – нравится думать, что та гифка с мастерчифом-котиком сбила с толку (я понятия не имею, если честно, что там у CLIP за датасет)
Hollow Knight
Homeworld
Jet Set Radio – ааааааааааааа
Journey
LittleBigPlanet
Loop Hero – редкий случай: игра ещё не вышла на момент обучения CLIP
Mass Effect – не могу вспомнить, какая это из концовок
Metal Gear Solid: Sons of Liberty
Metroid Prime
Microsoft Flight Simulator
Minecraft
Neverwinter Nights
Ninja Gaiden Black – отовсюду понатаскала, уважаю!
Okami – больше всего каждый раз восхищаюсь попытками ухватить стиль, хотя это кажется и вещь, которую GAN-сети умеют лучше всего
Ori and the Will of the Wisps
Perfect Dark
Portal
Quake – ммм, ооооокей, нас точно чуть не так поняли.
Quake III: Arena – да, так гораздо лучше
Red Dead Redemption
Resident Evil
Rome: Total War – это… это оверлей телеканала?..
Sekiro: Shadows Die Twice
Sid Meier’s Civilization – вы меня извините, конечно, но я здесь абсолютно точно вижу Ричарда Столлмана, прогуливающегося по глобальной карте.
SoulCalibur
Splinter Cell: Chaos Theory – (смахивая слезу) да, да, именно так он и выглядел
Star Wars: Knights of the Old Republic
Super Mario Galaxy – интересно: это достаточно близко… композиционно, что ли… к некоторым скриншотам игры.
System Shock
The Elder Scrolls III: Morrowind
The Elder Scrolls V: Skyrim
The Last of Us – наконец-то видеоигры безошибочно искусство
The Legend of Zelda: Ocarina of Time – что ж, по цветам попадание, допустим, почти стопроцентное
The Orange Box – да ещё и не одна
The Witcher 3: Wild Hunt – а что, и вполне даже похож.
Tomb Raider
Tony Hawk’s Pro Skater – хотели буквально, но в датасете не было нужной птички, наверное
Twisted Metal: Black
Uncharted: Among Thieves – да, я знаю, что она «2», но цифры иногда сбивают модель с толку абсолютно
Undertale
Unreal Tournament – определённо, присутствуют вайбы некоторых карт (почему-то больше из Unreal, мне кажется)
Vagrant Story
What Remains of Edith Finch
World of Goo – велп, и ведь даже не получится сказать, что ничего такого не просил
Захотите поиграться – там есть линк на простейший в использовании Google Colab-набросок. Если же будет желание развернуть у себя – имейте в виду, понадобится CUDA (на всякий случай: с её установкой могут быть проблемы; если вы не знаете точно, на что идёте – предприятие рискует затянуться) и более-менее современный Nvidia-GPU с 8 или более ГБайт VRAM.
[return]
