Один из этих постов про нейросети

Ну, в смысле, с картиночками

Посты такого рода обычно начинаются с пассажа о том, как автор не имеет никакого представления о принципах работы нейросетей, а значит, дни человечества сочтены и мы добровольно подкладываем голову (метафорическую, общечеловеческую) под стремительно приближающуюся синтетическую пяту.

Но я человек простой, я вижу новую модель, генерирующую картиночки по текстовому описанию1 – я загоняю в неё названия видеоигр с метакритика, как иначе?

BigSleep на верхнем уровне, однако, достаточно простая вещь: она состоит на самом деле из двух моделей – CLIP, оценивающей, что происходит на изображении, и BigGAN, изображения генерирующей. Вся большая идея заключается в том, чтобы многократно (каждая картинка проходит сотни и тысячи итераций) и последовательно модифицировать вывод BigGAN так, чтобы CLIP была всё более и более уверенна в том, что на картинке происходят именно вещи, которых просил пользователь.

/2021/gaming-gave-me-an-aneurysm/images/howitworks_hue3568d1771e8776281d2edc1adb25fa0_95859_64x64_fit_q60_lanczos_3.png
Украденная из чужого поста картинка, объясняющая общие принципы


Вы можете видеть на картинке с визуализацией промежуточных итераций, как по запросу «Bioshock» узнаваемый стиль постепенно прорастает из изображения собачки с интересным выражением мордочки.

/2021/gaming-gave-me-an-aneurysm/images/bioshock-iterations_hu7690c58d6911b53613262d8ffbbf967c_1578694_64x64_fit_q60_lanczos_3.png
Отвечает ли мордочка собаки на «shock» из запроса? Я намерен мучаться этим вопросом до конца своих дней.


Всё, дальше в этом посте только сгенерированные BigSleep изображения, подпись к кажодму – как несложно догадаться, запрос, по которому оно было сгенерированно. Иногда с моим страшно остроумным комментарием после дефиса, всем спасибо за внимание.


/2021/gaming-gave-me-an-aneurysm/images/Assassins_Creed_hu34926bbcd162509977d161a431edb0ed_420382_64x64_fit_q60_lanczos_3.png
Assassin’s Creed – классический (даже чуть странно писать это слово)! На вышке!


/2021/gaming-gave-me-an-aneurysm/images/Baldurs_Gate_Shadows_of_Amn_hua998252fe0f83d027b27dd73aaf23aee_393395_64x64_fit_q60_lanczos_3.png
Baldur’s Gate II: Shadows of Amn – я в принципе вполне способен разглядеть здесь скриншот из игры


/2021/gaming-gave-me-an-aneurysm/images/Batman_Arkham_City_hu83753142c25d78e73fcc47555bc8e6fe_410225_64x64_fit_q60_lanczos_3.png
Batman: Arkham City


/2021/gaming-gave-me-an-aneurysm/images/Bayonetta_hu9897a77ecebb5b54d16efb8d5037dcc9_384561_64x64_fit_q60_lanczos_3.png
Bayonetta – да, это безошибочно Байонетта


/2021/gaming-gave-me-an-aneurysm/images/BioShock_hu5de6faaafbcff5e027998af5176d622d_413933_64x64_fit_q60_lanczos_3.png
Bioshock – нет ни единого шанса разобраться, что здесь изображено, но это каким-то образом несомненно именно тот шейдинг


/2021/gaming-gave-me-an-aneurysm/images/BioShock_Infinite_huc609a55c3dc72a8c427664fa5da35f89_372240_64x64_fit_q60_lanczos_3.png
Bioshock: Infinite


/2021/gaming-gave-me-an-aneurysm/images/Bloodborne_huc0da4a9eed6ab3123a0e11518f68e38f_515022_64x64_fit_q60_lanczos_3.png
Bloodborne


/2021/gaming-gave-me-an-aneurysm/images/Braid_hu375fb050b7849cb5839b1f7004ab02ec_480065_64x64_fit_q60_lanczos_3.png
Braid – что ж, да, это косичка


/2021/gaming-gave-me-an-aneurysm/images/Burnout_Takedown_hu9debb2f87879bfee395930372b1af5d8_502431_64x64_fit_q60_lanczos_3.png
Burnout 3: Takedown – главное, допустим, сеть ухватила!


/2021/gaming-gave-me-an-aneurysm/images/Call_of_Duty_Modern_Warfare_hufbddb88c8e291d1645b26518502e9d1a_375307_64x64_fit_q60_lanczos_3.png
Call of Duty: Modern Warfare


/2021/gaming-gave-me-an-aneurysm/images/Castlevania_Symphony_of_the_Night_hu2b3ab35cbb3ad6aeb106b2e1a3cf3340_430261_64x64_fit_q60_lanczos_3.png
Castlevania: Symphony of the Night


/2021/gaming-gave-me-an-aneurysm/images/Celeste_hubcdc6ef5ff13f58d0fd2bf14a801f922_501651_64x64_fit_q60_lanczos_3.png
Celeste – мммм, у меня здесь впечатление, будто нас серьёзным образом не так поняли, явно какая-то другая Celeste.


/2021/gaming-gave-me-an-aneurysm/images/Chrono_Cross_hu6ebc0dafee18e734d3171726166738da_555929_64x64_fit_q60_lanczos_3.png
Chrono Cross – здесь впервые не уверен, что хоть что-то вижу


/2021/gaming-gave-me-an-aneurysm/images/Company_of_Heroes_hu540fa07007bfbbb9190658e9a274ef19_491779_64x64_fit_q60_lanczos_3.png
Company of Heroes


/2021/gaming-gave-me-an-aneurysm/images/Demons_Souls_hu964b3171596e6e576f4d219a6c5c18dc_400361_64x64_fit_q60_lanczos_3.png
Demon’s Souls


/2021/gaming-gave-me-an-aneurysm/images/Devil_May_Cry_huf4d0840c451913bab0670f7324fd096f_513400_64x64_fit_q60_lanczos_3.png
Devil May Cry – а вот это то ли просто скриншот из четвёртой части, то ли кадр из не вышедшего пока ещё лайвэкшна. Фантастика.


/2021/gaming-gave-me-an-aneurysm/images/Diablo_hu1d667f48e550dde0db19a529fa69f308_482451_64x64_fit_q60_lanczos_3.png
Diablo – да, это серьёзно злой щеночек, стоящий на паркетном полу


/2021/gaming-gave-me-an-aneurysm/images/Disco_Elysium_hu430b392c7e3ab26252176ceb96565644_523298_64x64_fit_q60_lanczos_3.png
Disco Elysium


/2021/gaming-gave-me-an-aneurysm/images/Gears_of_War_hud95d365954e660a16f83c89380f39ee8_466073_64x64_fit_q60_lanczos_3.png
Gears of War


/2021/gaming-gave-me-an-aneurysm/images/GoldenEye_007_huc079735462d07101cc08578e6b096d68_346625_64x64_fit_q60_lanczos_3.png
GoldenEye 007 – Окей, явно слишком буквально.


/2021/gaming-gave-me-an-aneurysm/images/Gran_Turismo_hu0a5606037ea6c7d1af15974642444be2_391977_64x64_fit_q60_lanczos_3.png
Gran Turismo


/2021/gaming-gave-me-an-aneurysm/images/Grand_Theft_Auto_hu83d825d18f629ec1f7443ae40a0b1fc4_395909_64x64_fit_q60_lanczos_3.png
Grand Theft Auto


/2021/gaming-gave-me-an-aneurysm/images/Grand_Theft_Auto_Vice_City_hu4848b772f0ce8bed5b6add94fc0cd28b_527121_64x64_fit_q60_lanczos_3.png
Grand Theft Auto: Vice City – ehhh, по крайней мере она всё правильно поняла про цветовое решение


/2021/gaming-gave-me-an-aneurysm/images/Grim_Fandango_hub5b44b7947babb30c98ee0c92e7adec4_429479_64x64_fit_q60_lanczos_3.png
Grim Fandango


/2021/gaming-gave-me-an-aneurysm/images/Hades_hu35fde9aaaad2967c575034c0ac6a28e1_381721_64x64_fit_q60_lanczos_3.png
Hades – ух ты, даже подписала


/2021/gaming-gave-me-an-aneurysm/images/HalfLife_hud80f4b16fbdd4f1fe25bcf2b01726528_342711_64x64_fit_q60_lanczos_3.png
Half-Life – она нарисовала лямбду?..


/2021/gaming-gave-me-an-aneurysm/images/Halo_Combat_Evolved_huc02f93bb7eafe9a8f63b288c2533110c_391631_64x64_fit_q60_lanczos_3.png
Halo: Combat Evolved – нравится думать, что та гифка с мастерчифом-котиком сбила с толку (я понятия не имею, если честно, что там у CLIP за датасет)


/2021/gaming-gave-me-an-aneurysm/images/Hollow_Knight_hu2fe2f3636f4a79ac1a23a058e10c974a_427898_64x64_fit_q60_lanczos_3.png
Hollow Knight


/2021/gaming-gave-me-an-aneurysm/images/Homeworld_hu58464050a89c9a93da4c0fb9c223b560_440466_64x64_fit_q60_lanczos_3.png
Homeworld


/2021/gaming-gave-me-an-aneurysm/images/Jet_Set_Radio_hub5c66518e87f25110209afc4cc3a63a7_411589_64x64_fit_q60_lanczos_3.png
Jet Set Radio – ааааааааааааа


/2021/gaming-gave-me-an-aneurysm/images/Journey_huc3574168c62b04c45b10656b0189584e_465763_64x64_fit_q60_lanczos_3.png
Journey


/2021/gaming-gave-me-an-aneurysm/images/LittleBigPlanet_hu8742e66d7faf3ac837c5ad730ffaa42b_352084_64x64_fit_q60_lanczos_3.png
LittleBigPlanet


/2021/gaming-gave-me-an-aneurysm/images/Loop_Hero_huf61d8c9a3896196c75c9c4947049540b_345008_64x64_fit_q60_lanczos_3.png
Loop Hero – редкий случай: игра ещё не вышла на момент обучения CLIP


/2021/gaming-gave-me-an-aneurysm/images/Mass_Effect_hu28c3a7ae8324d0e59459cb67a546205f_422938_64x64_fit_q60_lanczos_3.png
Mass Effect – не могу вспомнить, какая это из концовок


/2021/gaming-gave-me-an-aneurysm/images/Metal_Gear_Solid_Sons_of_Liberty_hu0b46361d1f4abbe92b414ffe01293a96_323175_64x64_fit_q60_lanczos_3.png
Metal Gear Solid: Sons of Liberty


/2021/gaming-gave-me-an-aneurysm/images/Metroid_Prime_hub63f140862f8dcdb1bdafbe8b7bb6755_413759_64x64_fit_q60_lanczos_3.png
Metroid Prime


/2021/gaming-gave-me-an-aneurysm/images/Microsoft_Flight_Simulator_hu3f7bb1b7fd4a6739ca3e3f28e6e50c86_296390_64x64_fit_q60_lanczos_3.png
Microsoft Flight Simulator


/2021/gaming-gave-me-an-aneurysm/images/Minecraft_hu2e1c35f3c6c3d2e9f355d581b8f03994_400961_64x64_fit_q60_lanczos_3.png
Minecraft


/2021/gaming-gave-me-an-aneurysm/images/Neverwinter_Nights_hua31a402e0df4c5d51210d3d79862f2b6_340368_64x64_fit_q60_lanczos_3.png
Neverwinter Nights


/2021/gaming-gave-me-an-aneurysm/images/Ninja_Gaiden_Black_hu56d8820ce981d2b036f2b2739b18388a_533734_64x64_fit_q60_lanczos_3.png
Ninja Gaiden Black – отовсюду понатаскала, уважаю!


/2021/gaming-gave-me-an-aneurysm/images/Okami_hub2eaea21938cbb3d49e942817281265f_518675_64x64_fit_q60_lanczos_3.png
Okami – больше всего каждый раз восхищаюсь попытками ухватить стиль, хотя это кажется и вещь, которую GAN-сети умеют лучше всего


/2021/gaming-gave-me-an-aneurysm/images/Ori_and_the_Will_of_the_Wisps_huf4595ebad2369caedf8c86ca7fd873d0_338338_64x64_fit_q60_lanczos_3.png
Ori and the Will of the Wisps


/2021/gaming-gave-me-an-aneurysm/images/Perfect_Dark_hubc670a8a5ecf56170f52f82c5ce834c8_306541_64x64_fit_q60_lanczos_3.png
Perfect Dark


/2021/gaming-gave-me-an-aneurysm/images/Portal_huc9091ec51eddee274c17059c959fb501_444681_64x64_fit_q60_lanczos_3.png
Portal


/2021/gaming-gave-me-an-aneurysm/images/Quake_huafe652f7bac931da0bad821609ffe81c_623509_64x64_fit_q60_lanczos_3.png
Quake – ммм, ооооокей, нас точно чуть не так поняли.


/2021/gaming-gave-me-an-aneurysm/images/Quake_III_Arena_hud7f4001e56b0d51bca7aaf7d071e7cf7_356823_64x64_fit_q60_lanczos_3.png
Quake III: Arena – да, так гораздо лучше


/2021/gaming-gave-me-an-aneurysm/images/Red_Dead_Redemption_hu14a8c987627b5b09dd5ee9f5c0825e1f_312868_64x64_fit_q60_lanczos_3.png
Red Dead Redemption


/2021/gaming-gave-me-an-aneurysm/images/Resident_Evil_hucfd788ed3abcf9a620211460b4108ab4_439687_64x64_fit_q60_lanczos_3.png
Resident Evil


/2021/gaming-gave-me-an-aneurysm/images/Rome_Total_War_huf659098ff1cf51936a817de16cb221a1_497149_64x64_fit_q60_lanczos_3.png
Rome: Total War – это… это оверлей телеканала?..


/2021/gaming-gave-me-an-aneurysm/images/Sekiro_Shadows_Die_Twice_hucde7aa9da1ece702beed7f226d039857_473326_64x64_fit_q60_lanczos_3.png
Sekiro: Shadows Die Twice


/2021/gaming-gave-me-an-aneurysm/images/Sid_Meiers_Civilization_huc1ef65b826c2f15ac7a563b21b0ac303_439360_64x64_fit_q60_lanczos_3.png
Sid Meier’s Civilization – вы меня извините, конечно, но я здесь абсолютно точно вижу Ричарда Столлмана, прогуливающегося по глобальной карте.


/2021/gaming-gave-me-an-aneurysm/images/SoulCalibur_hucb960c31ebc3e13d718b897bb5174489_638122_64x64_fit_q60_lanczos_3.png
SoulCalibur


/2021/gaming-gave-me-an-aneurysm/images/Splinter_Cell_Chaos_Theory_huc83cc7e84e455236c2cd46dcc1943e90_518388_64x64_fit_q60_lanczos_3.png
Splinter Cell: Chaos Theory – (смахивая слезу) да, да, именно так он и выглядел


/2021/gaming-gave-me-an-aneurysm/images/Star_Wars_Knights_of_the_Old_Republic_hu20c1a27279262b9d9b0f8d4d7891cf7e_348386_64x64_fit_q60_lanczos_3.png
Star Wars: Knights of the Old Republic


/2021/gaming-gave-me-an-aneurysm/images/Super_Mario_Galaxy_hucaa67d07787fc72b6d17b3f19c9a7cdd_466661_64x64_fit_q60_lanczos_3.png
Super Mario Galaxy – интересно: это достаточно близко… композиционно, что ли… к некоторым скриншотам игры.


/2021/gaming-gave-me-an-aneurysm/images/System_Shock_hu7c86de6cd3639fe9c58bc5782f85f72e_459774_64x64_fit_q60_lanczos_3.png
System Shock


/2021/gaming-gave-me-an-aneurysm/images/Morrowind_hu64120d05f170d4a4e6d715f9dfe1eafc_369191_64x64_fit_q60_lanczos_3.png
The Elder Scrolls III: Morrowind


/2021/gaming-gave-me-an-aneurysm/images/The_Elder_Scrolls_Skyrim_hu70cbe1a35fd2e5884ba5362c08fe3939_431845_64x64_fit_q60_lanczos_3.png
The Elder Scrolls V: Skyrim


/2021/gaming-gave-me-an-aneurysm/images/The_Last_of_Us_hu070946c79d88f3a4a63bbd1b6b7eecce_428090_64x64_fit_q60_lanczos_3.png
The Last of Us – наконец-то видеоигры безошибочно искусство


/2021/gaming-gave-me-an-aneurysm/images/The_Legend_of_Zelda_Ocarina_of_Time_huf5efeede186a5436e1274cdbf9ffa196_434089_64x64_fit_q60_lanczos_3.png
The Legend of Zelda: Ocarina of Time – что ж, по цветам попадание, допустим, почти стопроцентное


/2021/gaming-gave-me-an-aneurysm/images/The_Orange_Box_hub95aa2bc1d6a5d2cdec705fad1393a8a_429530_64x64_fit_q60_lanczos_3.png
The Orange Box – да ещё и не одна


/2021/gaming-gave-me-an-aneurysm/images/The_Witcher_Wild_Hunt_hu70635958ae99279e8d7e5fb289404306_374837_64x64_fit_q60_lanczos_3.png
The Witcher 3: Wild Hunt – а что, и вполне даже похож.


/2021/gaming-gave-me-an-aneurysm/images/Tomb_Raider_hu543f37fb8e6d95872f5e4d9273276e87_357987_64x64_fit_q60_lanczos_3.png
Tomb Raider


/2021/gaming-gave-me-an-aneurysm/images/Tony_Hawks_Pro_Skater_hu18deb5551dd3f49e90b96953b2e1c9eb_282659_64x64_fit_q60_lanczos_3.png
Tony Hawk’s Pro Skater – хотели буквально, но в датасете не было нужной птички, наверное


/2021/gaming-gave-me-an-aneurysm/images/Twisted_Metal_Black_hu0dfa03c3d76ade86fac5933adafdf0e5_347209_64x64_fit_q60_lanczos_3.png
Twisted Metal: Black


/2021/gaming-gave-me-an-aneurysm/images/Uncharted_Among_Thieves_hu9f2207a8cb2b6d50eb0b8745999869e1_388933_64x64_fit_q60_lanczos_3.png
Uncharted: Among Thieves – да, я знаю, что она «2», но цифры иногда сбивают модель с толку абсолютно


/2021/gaming-gave-me-an-aneurysm/images/Undertale_hu9e1c80ebb08f2e1e5ce35fe6ff836822_455513_64x64_fit_q60_lanczos_3.png
Undertale


/2021/gaming-gave-me-an-aneurysm/images/Unreal_Tournament_hu37cc786928c39569aab0415e1df312c9_312444_64x64_fit_q60_lanczos_3.png
Unreal Tournament – определённо, присутствуют вайбы некоторых карт (почему-то больше из Unreal, мне кажется)


/2021/gaming-gave-me-an-aneurysm/images/Vagrant_Story_hua8529cedfce6ae788e418f820c3be276_478807_64x64_fit_q60_lanczos_3.png
Vagrant Story


/2021/gaming-gave-me-an-aneurysm/images/What_Remains_of_Edith_Finch_hued8073ce139ee680f37eb0066ce2a3c0_388284_64x64_fit_q60_lanczos_3.png
What Remains of Edith Finch


/2021/gaming-gave-me-an-aneurysm/images/World_of_Goo_hud0670d140ea34fcc907f70143910ab9d_494245_64x64_fit_q60_lanczos_3.png
World of Goo – велп, и ведь даже не получится сказать, что ничего такого не просил


  1. Захотите поиграться – там есть линк на простейший в использовании Google Colab-набросок. Если же будет желание развернуть у себя – имейте в виду, понадобится CUDA (на всякий случай: с её установкой могут быть проблемы; если вы не знаете точно, на что идёте – предприятие рискует затянуться) и более-менее современный Nvidia-GPU с 8 или более ГБайт VRAM. [return]

Смотрите также