Вашият универсален обяснител на Deepfakes и да ги правите лесно с Faceswap.
Изкуственият интелект вече не е толкова „изкуствен“. Тези времена го поставиха опасно близо до нас, хората.
Може да предлага, пише, създава изкуство и сега изглежда и говори като жив.
Това е едно от най-новите разработки в тази област, от което трябва да се възползваме. Това обаче също е нещо, от което трябва да се пазим.
Съдържание
Какво представляват Deepfakes?
Думата Deepfake е измислена чрез комбиниране на дълбоко обучение и фалшив. С прости думи, можете също да предположите, че това е експертно манипулирана или дълбоко фалшива медия.
Според Wikipedia това е известно също като синтетична медия, в която съществуващо изображение, аудио или видео се модифицират, за да представят изцяло някой друг.
Обикновено deepfakes карат известни личности да изглеждат така, че да кажат нещо, което иначе не биха казали.
Въз основа на уменията на създателя му може да бъде изключително трудно да се каже дали е истинско или фалшиво.
Как работят Deepfakes?
Казано по-просто, част от оригиналния видеоклип (да речем лице) се заменя с подобно изглеждащо фалшиво. В такъв случай това може да се нарече и размяна на лица, както в това видео „Обама“.
Въпреки това, това не се ограничава само до видеото и имаме дълбоки фалшиви изображения и аудио също (и кой знае, дълбоки фалшиви VR аватари в близко бъдеще).
Източник: Disney
Работната методология зад подобни трикове зависи основно от приложението и основния алгоритъм.
Според този изследователски документ на Disney има различни техники, включително енкодери-декодери, Generative Adversarial Networks (GANs), Geometry-based deepfakes и др.
Следните раздели обаче са силно засегнати от това как работи с Facewap. Това е безплатен софтуер Deepfake с отворен код, който позволява множество алгоритми за получаване на очаквания резултат.
Има три основни процеса за генериране на deepfakes: извличане, обучение и преобразуване.
#1. Екстракция
Става въпрос за откриване и изтръгване на предметната област от интерес от медийни проби, оригинала и този за размяната.
Въз основа на хардуерните възможности може да има много алгоритми за избор на ефективно откриване.
Например, Faceswap има няколко различни опции за извличане, подравняване и маскиране въз основа на ефективността на CPU или GPU.
Извличането просто идентифицира лицето в цялото видео. Петна за подравняване определят ключови черти на всяко лице (очи, нос, брадичка и т.н.). И накрая, маскирането блокира други елементи на изображението, с изключение на зоната на интерес.
Общото време, необходимо за изхода, е важно при избора на която и да е опция, тъй като изборът на изискващи ресурси алгоритми на посредствен хардуер може да доведе до повреда или значително дълго време за представяне на приемливи резултати.
Освен от хардуера, изборът зависи и от параметрите, като например дали входното видео страда от лицеви пречки като движения на ръцете или очила.
Необходим елемент в крайна сметка е почистването (обяснено по-късно) на изхода, тъй като екстракциите ще имат няколко фалшиви положителни резултати.
В крайна сметка извличането се повтаря за оригиналното видео и фалшивото (използвано за размяна).
#2. обучение
Това е сърцето на създаването на deepfakes.
Обучението е за невронната мрежа, която се състои от енкодер и декодер. Тук алгоритмите се захранват с извлечените данни, за да създадат модел за преобразуване по-късно.
Енкодерът преобразува входа във векторно представяне, за да обучи алгоритъма за пресъздаване на лицата обратно от вектори, както се прави от декодера.
След това невронната мрежа оценява своите итерации и ги сравнява с оригинала, като присвоява резултат за загуба. Тази стойност на загубата пада с течение на времето, тъй като алгоритъмът продължава да повтаря и вие спирате, когато визуализациите са приемливи.
Обучението е отнемащ време процес и резултатите обикновено се подобряват въз основа на итерациите, които изпълнява, и качеството на входните данни.
Например, Faceawap предлага минимум 500 изображения всяко, оригинално и за размяна. Освен това изображенията трябва да се различават значително помежду си, като покриват всички възможни ъгли в уникално осветление за най-добър отдих.
В зависимост от продължителността на обучението, някои приложения (като Faceswap) позволяват да спрете обучението по средата или да продължите по-късно.
Трябва да се отбележи, че фотореализмът на изхода също зависи от ефективността на алгоритъма и входа. И единият отново е ограничен от хардуерните възможности.
#3. Преобразуване
Това е последната глава в създаването на deepfake. Алгоритмите за преобразуване се нуждаят от изходното видео, обучения модел и файла за подравняване на източника.
Впоследствие можете да промените няколко опции, свързани с корекция на цвета, тип маска, желан изходен формат и т.н.
След като конфигурирате тези няколко опции, просто изчакайте окончателното изобразяване.
Както споменахме, Faceswap работи с много алгоритми и човек може да играе между тях, за да получи поносимо faceswap.
Това ли е всичко?
Не!
Това беше просто размяна на лица, подмножество от технологията deepfake. Размяната на лица, подобно на буквалното значение, замества само част от лицето, за да даде бегла представа какво могат да направят deepfakes.
За достоверна размяна може да се наложи да имитирате аудиото (по-известно като клониране на глас) и цялата физика, включително всичко, което се побира в рамката, като това:
И така, какво се играе тук?
Това, което може да се е случило, е, че авторът на deepfake сам е заснел видеоклипа (както е посочено в последните няколко секунди), синхронизирал е диалога със синтетичния глас на Морган Фрийман и е сменил главата си.
В заключение, не става дума само за размяна на лица, а за целия кадър, включително аудиото.
Можете да намерите тонове deepfakes в YouTube до степен, че става страшно на какво да се доверите. Всичко, което е необходимо, е мощен компютър с ефективна графична карта, за да започнете.
Съвършенството обаче се постига трудно и това е особено вярно при deepfakes.
За убедителен дийпфейк, който може да подведе или удиви публиката, са необходими умения и няколко дни до седмици обработка на минута или две от видеоклип.
Интересното е, че тези алгоритми са толкова способни към момента. Но това, което крие бъдещето, включително колко ефективни могат да бъдат тези приложения на хардуер от по-нисък клас, е нещо, което изнерви цели правителства.
Ние обаче няма да се потопим в бъдещите му последици. Вместо това, нека проверим как да го направите сами за малко забавление.
Създаване на (основни) Deepfake видеоклипове
Можете да проверите много приложения в този списък с deepfake приложения за създаване на мемета.
Един от тях е Faceswap, който ще използваме.
Има няколко неща, които ще гарантираме, преди да продължим. Първо, трябва да имаме видео с добро качество на целта, изобразяващо различни емоции. След това ще ни е необходим изходен видеоклип, който да сменим към целта.
Освен това затворете всички приложения, които интензивно работят с графична карта, като браузъри или игри, преди да продължите с Faceswap. Това е особено вярно, ако имате по-малко от 2 гига VRAM (видео RAM).
Стъпка 1: Извличане на лица
Първата стъпка в този процес е извличането на лицата от видеото. За целта трябва да изберем целевото видео във входната директория и да посочим изходна директория за извличанията.
Освен това има няколко опции, включително детектор, подравняващ инструмент, маскиращ инструмент и т.н.; обясненията за всеки от тях са във Faceawap ЧЗВ и би било излишно да повтаряме информацията тук.
Източник: Faceswap ЧЗВ
Като цяло е добре да прегледате документацията за по-добро разбиране и приличен резултат. Има обаче полезни текстове във Faceswap, които можете да намерите, като задържите курсора на мишката върху конкретната опция.
Казано по-просто, няма универсален начин и човек трябва да започне с най-добрите алгоритми и да продължи успешно, за да създаде убедителен deepfake.
За контекст използвах Mtcnn (детектор), Fan (алайнер) и Bisenet-Fp (masker), като запазих всички останали опции такива, каквито са.
Първоначално го пробвах с S3Fd (най-добър детектор) и няколко други маски в комбинация. Въпреки това моята 2Gb Nvidia GeForce GTX 750Ti не издържа на тежестта и процесът се проваля многократно.
Най-накрая намалих очакванията си и настройките, за да го изпълня.
Освен избора на подходящия детектор, маскири и т.н., има още няколко опции в Настройки > Конфигуриране на настройките, които помагат за допълнително настройване на отделните настройки, за да помогнат на хардуера.
Казано по-просто, изберете най-ниския възможен размер на пакета, размер на входа и размер на изхода и проверете LowMem и т.н. Тези опции не са достъпни универсално и се основават на конкретен раздел. Освен това помощните текстове допълнително помагат при избора на най-добрите опции.
Въпреки че този инструмент върши отлична работа за извличане на лица, изходните кадри могат да имат много повече от необходимото за обучение (обсъдено по-късно) на модела. Например, ще има всички лица (ако видеоклипът има повече от едно) и някои неправилни откривания, които изобщо нямат целевото лице.
Това води до почистване на наборите от данни. Всеки може да провери изходната папка и да се изтрие или да използва сортирането на Faceswap, за да получи помощ.
Използването на гореспоменатия инструмент ще подреди различни лица в последователност, откъдето можете да групирате необходимите заедно в една папка и да изтриете останалите.
Като напомняне, вие също ще искате да повторите извличането за видеоклипа, който е източник.
Стъпка 2: Обучение на модела
Това е най-дългият процес в създаването на deepfake. Тук Input A се отнася за целевото лице, а Input B е за лицето на източника. Освен това, моделът Dir е мястото, където ще се записват файловете за обучение.
Тук най-важната опция е Trainer. Има много с индивидуални опции за мащабиране; обаче, това, което работи за моя хардуер, е Dfl-H128 и леки тренажори с най-ниските настройки за конфигурация.
Следва размерът на партидата. По-големият размер на партидата намалява общото време за обучение, но консумира повече VRAM. Итерациите нямат фиксиран ефект върху изхода и трябва да зададете достатъчно висока стойност и да спрете обучението, след като прегледите са приемливи.
Има още няколко настройки, включително създаване на timelapse с предварително зададени интервали; обаче обучих модела с минималния минимум.
Стъпка 3: Смяна на оригинала
Това е последният подвиг в създаването на deepfake.
Това обикновено не отнема много време и можете да играете с много опции, за да получите бързо желания резултат.
Както е посочено в изображението по-горе, това са няколко опции, които човек трябва да избере, за да започне преобразуването.
Повечето опции вече са обсъдени, като директория за вход и изход, директория за модели и т.н. Едно изключително важно нещо са подравняванията, които се отнасят до файла за подравняване (.fsa) на целевото видео. Той се създава във входната директория по време на извличането.
Полето Подравнявания може да се остави празно, ако този конкретен файл не е бил преместен. В противен случай можете да изберете файла и да преминете към други опции. Не забравяйте обаче да почистите файла за подравняване, ако сте почистили извличанията по-рано.
За целта този мини инструмент се намира в Инструменти > Подравнявания.
Започнете, като изберете Remove-Faces в секцията Job, изберете оригиналния файл за подравняване и папката с почистените целеви лица и щракнете върху Alignments долу вдясно.
Това ще създаде модифициран файл за подравняване, съответстващ на папката за оптимизирани лица. Моля, не забравяйте, че имаме нужда от това за целевия видеоклип, в който искаме да сменим.
Още няколко конфигурации включват настройка на цвета и тип маска. Корекцията на цвета диктува смесването на маската и можете да опитате няколко, да проверите визуализацията и да изберете оптималната опция.
Видът на маската е по-важен. Това отново зависи от вашите очаквания и наличния хардуер. Обикновено трябва да вземете предвид и характеристиките на входното видео. Например Vgg-Clear работи добре с лицеви лица без препятствия, докато Vgg-Obstructed може да се справи и с препятствия, като жестове с ръце, очила и др.
След това Writer представя няколко възможности за избор въз основа на резултата, който искате. Например изберете Ffmpeg за рендиране на видео.
Като цяло, ключът към успешното дълбоко фалшифициране е визуализирането на няколко изхода и оптимизирането според наличността на времето и мощността на хардуера.
Приложения на Deepfake
Има добри, лоши и опасни приложения на deepfakes.
Добрите се състоят в пресъздаване на уроци по история от онези, които действително са били там за по-голяма ангажираност.
Освен това те се използват от платформи за онлайн обучение за генериране на видеоклипове от текстове.
Но един от най-големите бенефициенти ще бъде филмовата индустрия. Тук ще бъде лесно да си представим действителната главна роля, изпълняваща каскади, дори когато каскадьорът ще рискува живота си. Освен това правенето на многоезични филми ще бъде по-лесно от всякога.
Що се отнася до лошите, за съжаление има много. Най-голямото приложение за deepfake до момента, всъщност 96% (според този доклад на Deeptrace), е в порно индустрията за замяна на лица на знаменитости с порно актьори.
Освен това дълбоките фалшификати също са оръжие срещу „стандартните“ жени, които не са знаменитости. Обикновено такива жертви имат висококачествени снимки или видеоклипове в профилите си в социалните медии, които се използват за създаване на дълбоки фейкове.
Друго страшно приложение е vishing, известен още като гласов фишинг. В един такъв случай главният изпълнителен директор на базирана в Обединеното кралство фирма прехвърли 243 000 долара по нареждане на „главния изпълнителен директор“ на немската компания майка, само за да разбере по-късно, че това всъщност е било дълбоко фалшиво телефонно обаждане.
Но това, което е още по-опасно, е дълбокото провокиране на войни или искане за предаване. При най-скорошен опит украинският президент Володимир Зеленски каза на своите сили и народ да се предадат в продължаващата война. Истината обаче този път беше разкрита от подличното видео.
В заключение, има много приложения за deepfake и тепърва започват.
Това ни води до въпроса за милиони долари…
Законен ли е Deepfakes?
Това до голяма степен зависи от местната администрация. Въпреки това, добре дефинирани закони, включително какво е позволено и какво не, все още предстои да бъдат видени.
И все пак, това, което е очевидно, е, че зависи от това за какво използвате deepfakes – намерението. Едва ли има някаква вреда, ако възнамерявате да забавлявате или образовате някого, без да разстройвате целта за размяна.
От друга страна, злонамерените приложения трябва да бъдат наказуеми от закона, независимо от юрисдикцията. Друга сива зона е нарушаването на авторски права, което се нуждае от подходящо разглеждане.
Но за да повторим, трябва да се консултирате с местните правителствени органи за законни приложения за дълбоко фалшифициране.
Дръжте под око!
Deepfkaes използва изкуствения интелект, за да накара всеки да каже неща.
Не се доверявайте на нищо, което виждате в интернет, е първият съвет, по който трябва да действаме. Има тонове дезинформация и тяхната ефикасност само се увеличава.
И тъй като само ще бъде по-лесно да ги създадете, време е да се научим как да разпознаваме deepfakes.