Deepfake – co to takiego i jak go zrobić?

– Tato!!! – nagle zawołała Jagoda ze swojego pokoju.

– Co się stało?

– Otylka mnie papuguje – poskarżyła Jagódka na siostrę.

– Jesteś jej starszą siostrą, więc nie dziw się, że Ciebie naśladuje. W taki sposób nasz maluszek się uczy – uśmiechnąłem się, a następnie zaproponowałem dziewczynkom – jak chcecie zobaczyć, jak komputer potrafi papugować, to chodźcie za mną i coś  Wam pokażę!

Przyszło nam żyć w czasach, w których „Fake news” stają się codziennością, w związku z czym powoli się do nich przyzwyczajamy. Z roku na rok, z miesiąca na miesiąc technologia rozwija się coraz szybciej a wraz z nią możliwości, jakie mamy. Tak powstała bardziej zaawansowana wersja „Fake news”, czyli deepfake.

Deepfake – co to takiego?

Słowo deepfake powstało z połączenia dwóch angielskich słów:

• deep – jako skrót od głębokiego uczenia (ang. deep learning)
• fake – czyli fałszywy.

Powyższe tłumaczenie już pokazuje, czym jest to pojęcie. Jest to tak naprawdę określenie technik obróbki wideo, które mają za zadanie spreparować obraz przy pomocy sztucznej inteligencji. Dokładniej chodzi o podmianę twarzy lub ciała konkretnej osoby na dowolną inną postać. Dzięki temu można zmienić wypowiedź osoby lub to, jak się rusza.

Sformułowanie deepfake pojawiło się pierwszy raz w 2017 roku jako pseudonimu użytkownika, który stworzył i opublikował filmy pornograficzne z wykorzystaniem wizerunków znanych gwiazd.

Deepfake nie dotyczy tylko obrazu. Dźwięk również można zmieniać tworząc na przykład fałszywe „klony głosu”. Ciekawym przykładem jest historia szefa jednej z brytyjskich spółek, który w marcu 2019 roku wpłacił prawie 243.000 funtów na węgierski rachunek bankowy po telefonie od oszusta, który naśladował głos dyrektora generalnego firmy (źródło).

Zagrożenie czy możliwości?

W zależności od intencji twórcy deepfake może stanowić zagrożenie, ale w niektórych sytuacjach może także okazać się pomocny. Ja osobiście widzę mnóstwo pozytywnych możliwości wykorzystania deepfake. Dzięki niemu znów będzie można w nowych filmach zobaczyć naszych ulubionych zmarłych aktorów lub będzie można usłyszeć utwory śpiewane przez artystów, których już nie ma. Osoby, które nie lubią występować przed kamera będą mógłby mieć swojego awatara. Ponadto osoby, które nie potrafią mówić, będą mogły odzyskać swój głos… itd. itp.

Niestety, znając życie, w mediach głównie będzie głośno o negatywnym wykorzystaniu tej technologii m.in. do manipulacji i próbie wpływania na innych ludzi. Osobiście nie wierzę, że wykorzystując technologię deepfake będzie można manipulować na poziomie konfliktów międzynarodowych (każdy kraj ma zbyt dobrą niezależną technologię / wywiad / zdjęcia satelitarne itp.). Natomiast jestem pewien, że deepfake będzie mógł w jakiś sposób wpłynąć na ceny akcji, wybór prezydenta lub będzie mógł zostać wykorzystany jako podrobiony materiał w sądzie.

Ze względu na zagrożenia, jakie niesie deepfake, można by zakazać jego stosowania. Natomiast nie wyeliminowałoby to problemu. Przecież video może być w 100% prawdziwe, ale to, co usłyszymy, może być spreparowane. Można także powycinać kawałki wypowiedzi i posklejać zmieniając kontekst.

Jak się przed nimi bronić?

Jeszcze jakieś 2 lata temu moglibyśmy powalczyć z deepfake. Wówczas ta technologia nie były jeszcze tak dobrej jakości jak obecnie. W 2018 roku amerykańscy naukowcy odkryli, że fałszywe twarze nie mrugają. Wynika to z tego, że przez większość czasu mamy otwarte oczy. W związku z tym pierwsze algorytmy nie nauczyły się mrugać. Kiedy problem ten został wyeliminowany, to kolejne programy do wykrywania fałszywych obrazów obserwowały nienaturalne zachowanie twarzy w okolicy kącików ust, które w deepfake wyglądały sztucznie.

Technologia nie czeka i ciągle się rozwija. W związku, z czym kolejne deepfake są z miesiąca na miesiąc coraz trudniejsze do wykrycia. Popularność nowej generacji fake newsów cały czas rośnie i stanowi coraz większe zagrożenie w sieci internetowej. Obecnie jest prowadzonych wiele badań naukowych na świecie w celu wykrywania filmów zmodyfikowanych sztuczną inteligencją. Najczęstszą techniką jest używanie algorytmów podobnych do ich budowania. Sprawa nie jest prosta, dlatego do walki z nimi stają coraz więksi giganci i firmy takie jak Facebook czy Microsoft. Organizują konkursy „Deepfake Detection Challenge”, gdzie do wygrania są nagrody rzędu miliona dolarów za stworzenie najlepszych narzędzi do wykrywania fałszywych video.

Słyszałem jeszcze o drugiej idei, która mówi o wykorzystaniu w przyszłości Blockchain do weryfikacji źródła powstania wideo. Do internetu trafiałyby tylko filmy ze zweryfikowanych źródeł, dzięki czemu można byłoby (teoretycznie :))  zapanować nad rozprzestrzenianiem się deepfaków.

Sam się zastanawiam, w którym kierunku to pójdzie. Podziel się w komentarzu swoją opinią i przemyśleniami 🙂

Jak działają algorytmy deepfake?

Większość deepfake wykorzystuje autoenkodery [tutaj dokładnie je opisuję] lub sieci GAN (Generative Adversarial Network).

Dla pierwszego sposobu w pierwszym kroku przepuszczamy zdjęcia dwóch osób przez enkoder. Następnie enkoder uczy się podobieństw między tymi dwoma twarzami i redukuje je do wspólnych cech jednocześnie kompresując dane w tym procesie. Później trenujemy dwa dekodery – każdy do odzyskania twarzy obu osób. Aby wykonać podmianę twarzy wystarczy już tylko skompresowany obraz pierwszej osoby dać do dekodera drugiej osoby. Dekoder ten zrekonstruuje twarz drugiej osoby z orientacją jaka była dla wprowadzonego obrazu.

Natomiast (w skrócie – napiszę o tym dłuższy artykuł) sieci GAN zestawiają ze sobą dwa algorytmy sztucznej inteligencji. Pierwszy nazwany generatorem, który zasilany jest losowym szumem i zamienia go w obraz. A drugi nazywany dyskryminatorem, do którego wprowadza się prawdziwe obrazy z dodanym syntetycznym z generatora. W końcu generator zacznie generować całkowicie realistyczne twarze.

Deepfake – przykłady

Chciałem pokazać Ci kilka przykładów deepfake:

1) Najbardziej znane filmy

Zamiast wymieniać pojedynczo, poniżej załączam link do filmu z TOP 10 najbardziej znanych „oficjalnych” deepfake:

2) Polityka

W Indiach w 2020 podczas kampanii wyborczej partia Janata Bharatiya wykorzystała technologię do rozpowszechnienia wersji anglojęzycznej reklamy kampani jej lidera Manoj Tiwari. Sztuczną inteligencję wykorzystano do synchronizacji ust przemówień lidera w innym języku. Członek partii opisał to jako „pozytywne” wykorzystanie technologii deepfake, ponieważ pozwoliła „przekonująco zbliżyć się do docelowych odbiorców, nawet jeśli kandydat nie mówił językiem wyborcy”. Ciekawe, prawda? 😉

3) Aplikacja Zao

Pod koniec 2019 udostępniona została chińska aplikacja na telefony komórkowe Zao, która pozwala użytkownikom dodawać twarze do listy postaci telewizyjnych i filmowych, na których trenował system. Warto przeczytać regulamin, który mówił o wyrażeniu zgody na udostępnianie swoich zdjęć.

Biblioteki w Python

W python możesz znaleźć coraz więcej ciekawych bibliotek. Poniżej kilka z nich.

1) First order Model

Biblioteka, która na nagrane wideo nakłada twarz z pojedynczego zdjęcia. Tutaj znajdziecie szczegółowe wyjaśnienie jej działania:

2) Faceswap

Jedna z bardziej znanych bibliotek do podmiany twarzy na zdjęciach i wideo. Warto przeczytać Manifest twórców z zakresie wykorzystywania ich biblioteki.

3) DeepFaceLab

Inna biblioteka do podmian twarzy.

I wiele, wiele innych… Wystarczy na przykład na GitHub wpisać „deepfake” i zobaczyć ile wyskoczy wyników.

Jak zrobić deepfake?

Ja skupię się na przykładzie biblioteki pyton numer 1, ponieważ jest najprostsze. Można wygenerować film w 5 minut z przygotowanie danych! Super jest to, że wystarczy 1 zdjęcie, aby zacząć poruszać obiektem. Należy przygotować:

• zdjęcie – najlepiej o rozmiarze 256 x 256, aby nie trzeba było go skalować,
• firm – również w rozmiarze 256 x 256.

Następnie wgrać oba na nasz Google Drive. W repozytorium biblioteki na GitHub jest dostępny link, gdzie od razu przechodzimy na środowisko Colab:

TUTAJ JEST MAGICZNY LINK 🙂

Teraz wystarczy podążać zgodnie z opisaną instrukcją podmieniając jedynie linki do zdjęcia i filmu na nasze. A oto wyniki mojej zabawy:

Całość skleiłem wykorzystując https://www.kapwing.com/

Uwaga końcowa.

Wiem, że znajdą się osoby, które będą chciały nadużywać tej technologii. Więc dlaczego o tym piszę i rozpowszechniam tą wiedzę? Głównie po to, aby edukować ludzi, że podrabianie wideo to nie science-ficton i jest w zasięgu każdego. Chciałbym, aby każdy miał świadomość, że nie warto wierzyć we wszystko co widzimy…

Pozdrawiam serdeczniem,