Посты такого рода обычно начинаются с пассажа о том, как автор не имеет никакого представления о принципах работы нейросетей, а значит, дни человечества сочтены и мы добровольно подкладываем голову (метафорическую, общечеловеческую) под стремительно приближающуюся синтетическую пяту.
Но я человек простой, я вижу новую модель, генерирующую картиночки по текстовому описанию1 – я загоняю в неё названия видеоигр с метакритика, как иначе?
BigSleep на верхнем уровне, однако, достаточно простая вещь: она состоит на самом деле из двух моделей – CLIP, оценивающей, что происходит на изображении, и BigGAN, изображения генерирующей. Вся большая идея заключается в том, чтобы многократно (каждая картинка проходит сотни и тысячи итераций) и последовательно модифицировать вывод BigGAN так, чтобы CLIP была всё более и более уверенна в том, что на картинке происходят именно вещи, которых просил пользователь.
Вы можете видеть на картинке с визуализацией промежуточных итераций, как по запросу “Bioshock” узнаваемый стиль постепенно прорастает из изображения собачки с интересным выражением мордочки.
Отвечает ли мордочка собаки на "shock" из запроса? Я намерен мучаться этим вопросом до конца своих дней.
Всё, дальше в этом посте только сгенерированные BigSleep изображения, подпись к кажодму – как несложно догадаться, запрос, по которому оно было сгенерированно. Иногда с моим страшно остроумным комментарием после дефиса, всем спасибо за внимание.
Assassin's Creed — классический (даже чуть странно писать это слово)! На вышке!
Baldur's Gate II: Shadows of Amn — я в принципе вполне способен разглядеть здесь скриншот из игры
Batman: Arkham City
Bayonetta — да, это безошибочно Байонетта
Bioshock — нет ни единого шанса разобраться, что здесь изображено, но это каким-то образом несомненно именно тот шейдинг
Bioshock: Infinite
Bloodborne
Braid — что ж, да, это косичка
Burnout 3: Takedown — главное, допустим, сеть ухватила!
Call of Duty: Modern Warfare
Castlevania: Symphony of the Night
Celeste — мммм, у меня здесь впечатление, будто нас серьёзным образом не так поняли, явно какая-то другая Celeste.
Chrono Cross — здесь впервые не уверен, что хоть что-то вижу
Company of Heroes
Demon's Souls
Devil May Cry — а вот это то ли просто скриншот из четвёртой части, то ли кадр из не вышедшего пока ещё лайвэкшна. Фантастика.
Diablo — да, это серьёзно злой щеночек, стоящий на паркетном полу
Disco Elysium
Gears of War
GoldenEye 007 — Окей, явно слишком буквально.
Gran Turismo
Grand Theft Auto
Grand Theft Auto: Vice City — ehhh, по крайней мере она всё правильно поняла про цветовое решение
Grim Fandango
Hades — ух ты, даже подписала
Half-Life — она нарисовала лямбду?..
Halo: Combat Evolved — нравится думать, что та гифка с мастерчифом-котиком сбила с толку (я понятия не имею, если честно, что там у CLIP за датасет)
Hollow Knight
Homeworld
Jet Set Radio — ааааааааааааа
Journey
LittleBigPlanet
Loop Hero — редкий случай: игра ещё не вышла на момент обучения CLIP
Mass Effect — не могу вспомнить, какая это из концовок
Metal Gear Solid: Sons of Liberty
Metroid Prime
Microsoft Flight Simulator
Minecraft
Neverwinter Nights
Ninja Gaiden Black — отовсюду понатаскала, уважаю!
Okami — больше всего каждый раз восхищаюсь попытками ухватить стиль, хотя это кажется и вещь, которую GAN-сети умеют лучше всего
Ori and the Will of the Wisps
Perfect Dark
Portal
Quake — ммм, ооооокей, нас точно чуть не так поняли.
Quake III: Arena — да, так гораздо лучше
Red Dead Redemption
Resident Evil
Rome: Total War — это... это оверлей телеканала?..
Sekiro: Shadows Die Twice
Sid Meier's Civilization — вы меня извините, конечно, но я здесь абсолютно точно вижу Ричарда Столлмана, прогуливающегося по глобальной карте.
SoulCalibur
Splinter Cell: Chaos Theory — (смахивая слезу) да, да, именно так он и выглядел
Star Wars: Knights of the Old Republic
Super Mario Galaxy — интересно: это достаточно близко... композиционно, что ли... к некоторым скриншотам игры.
System Shock
The Elder Scrolls III: Morrowind
The Elder Scrolls V: Skyrim
The Last of Us — наконец-то видеоигры безошибочно искусство
The Legend of Zelda: Ocarina of Time — что ж, по цветам попадание, допустим, почти стопроцентное
The Orange Box — да ещё и не одна
The Witcher 3: Wild Hunt — а что, и вполне даже похож.
Tomb Raider
Tony Hawk's Pro Skater — хотели буквально, но в датасете не было нужной птички, наверное
Twisted Metal: Black
Uncharted: Among Thieves — да, я знаю, что она "2", но цифры иногда сбивают модель с толку абсолютно
Undertale
Unreal Tournament — определённо, присутствуют вайбы некоторых карт (почему-то больше из Unreal, мне кажется)
Vagrant Story
What Remains of Edith Finch
World of Goo — велп, и ведь даже не получится сказать, что ничего такого не просил
Захотите поиграться – там есть линк на простейший в использовании Google Colab-набросок. Если же будет желание развернуть у себя – имейте в виду, понадобится CUDA (на всякий случай: с её установкой могут быть проблемы; если вы не знаете точно, на что идёте – предприятие рискует затянуться) и более-менее современный Nvidia-GPU с 8 или более ГБайт VRAM. ↩︎
