Super Vision
Posts
Schijnbewegingen maken met AI - Super Vision #25

Schijnbewegingen maken met AI - Super Vision #25

March 10, 2022

Hi lezer 👋,

In deze editie behandelen we het laatste onderdeel in de serie 'Tools for fakes'. Als je nu denkt: "Ja? Eindelijk? Echt? Gaan we... is het zover... deepfakes maken?" Je gaat het zien. 😉

Vorige week behandelden we text-to-text,text-to-speech,text-to-image en text-to-video, waarmee je niet-bestaande landschappen, illustraties en synthetische stemmen kunt genereren op basis van alleen tekst(commando's).

Deze week...

Tippen we je zes toepassingen waarbij AI wordt gebruikt om:

videobeelden aan te passen,
deepfakes mee te analyseren en te detecteren, en
deepfakes mee te maken.

Waarom je deze tools en kennis nodig hebt?

Ze zijn:

handig voor editors en journalisten,
inspirerend voor videomakers en content creators,
ontnuchterend voor de hoopvollen en
beangstigend voor de onwetenden.

Met het ontvangen van deze nieuwsbrief heb je in ieder geval al geen excuus meer om tot die laatste groep te behoren. #withgreatpower🕷🤸🏽‍♂️

PS. Welkom aan alle nieuwe lezers die ons vonden via Halfvet . (❤️ Dank voor de mention, Jeroen)

Veel leesplezier! Groeten van Laurens en Marlies.

Wil jij weten hoe creatieve makers in Nederland en Vlaanderen machine learning toepassen in hun werk? En: hoe jij dat zelf kunt doen? Lees dan straks ons boek 'The Art of AI' als eerste. Zet je naam hier op de lijst.

Tools for fakes: video en AI

1/3 - Manipulatie

👉🏽 Runway Inpainting. Waar we twee weken terug cleanup.pictures tipten voor statische beelden, daar biedt Runway met Inpainting eenzelfde soort functie voor video: je kunt logo's, kettinkjes of hinderlijke achtergrondelementen uit videobeeld 'weggummen' in een paar keyframes, et voilai. (Sorry, flauw.)

Objecten en details verwijderen uit video's met Runway Inpainting

2/3 - Deepfake detectie

Hier nog twee tools om toe te voegen aan je videoverificatiearsenaal. (Naast de tool waar we vorige week mee afsloten: DuckDuckGoose.)

Deepware.ai

Met 👉🏽 deepware.ai kun je videobestanden en links scannen om te determineren of het materiaal fake is of niet. Je kunt dit vanaf je smartphone doen of via de 'Scanner' web-app. Deepware gebruikt verschillende modellen voor verificatie en geeft je per model een score. Voor de Rutte-klimaat-deepfake kregen we bij drie van de vier modellen een zekerheidsscore onder de 50% dat het geen deepfake betrof. Met andere woorden: ook hier weer genoeg reden om nader onderzoek te doen, zouden we de voorkennis niet hebben.

Deepfakes detecteren vanaf je smartphone met Deepware.ai

Sensity.ai

Met hun naar eigen zeggen 'forensische aanpak' kun je met 👉🏽Sensity in een paar seconden een online deepfake detecteren. Je upload je beeld- of videobestand (of plakt een link) en Sensity slaat aan het analyseren. De technologie helpt bij het detecteren van deepfake video's en GAN-gegenereerde gezichten. Je kunt meerdere video's en afbeeldingen tegelijk verwerken en krijgt de analyseresultaten in een paar seconden. De detectoren in de software kunnen op AI-gebaseerde mediamanipulatie en synthesetechnieken herkennen, zoals 'valse' gezichten in socialmediaprofielen en realistische face swaps (gezichtsverwisselingen) in video's. Bestandsformaten waar Sensity mee werkt zijn: mp4, mov; png, jpeg, jfif, tiff.

Gezichtswissels en andere gebruikte deepfake-technieken detecteren met Sensity

Noot: er zijn legio aanbieders van dit soort diensten, die allemaal met verschillende ('bedrijfsgeheime' en open) detector-technologie werken. Hun mate van betrouwbaarheid, toegankelijkheid en prijs verschilt nogal. Mocht je de videoverificatie-rabbithole toch in willen, Google dan eens op Blackbird.ai, Truepic, Fullfact en Adverif.ai (voor valse online advertenties).

Humans.Are.Bad.

Iedereen roept dat je als mens (zonder hulp van AI) prima in staat bent om fake van real te onderscheiden - er is zelfs een handleiding met criteria waar je op moet letten (zie ook Further Reading onderaan). Tegelijkertijd is er heel recent onderzoek dat aantoont dat de mens hier toch steeds vaker in faalt. Sterker nog: wij atomaire wezens scoren in ieder geval niet beter dan machines wanneer het gaat om vaststellen van vermoedens van valsheid in video.

3 / 3 Deepfakes maken: het eerlijke verhaal

Met de vrije toegang tot deepfake-technologie wordt het voor jou steeds makkelijker om op een overtuigende manier audio- en videomateriaal te manipuleren of compleet vanuit het niets te genereren. Zoals we in deze en eerdere edities van de nieuwsbrief demonstreerden heb je daar geen (stem)acteurs meer voor nodig, geen speciale pakken, geen montageruimte en geen hi-end studio.

De vorige alinea sluit waarschijnlijk goed aan bij wat je kent uit nieuwsberichten. #deepfakebias

🚪🏠.

Om eerlijk te zijn: snel en eenvoudig, realistische deepfakes maken ... dat valt in de praktijk niet mee. Je hebt er anno 2022 veel voor nodig: geduld, veel ervaring met verschillende beeldbewerkings- en montagesoftware en nog veel meer technische kennis. En dat vijf internetjaren na de eerste deepfake in het wild!

Neem alleen al de verantwoording bij de knap uitgevoerde deepfake van De Correspondent waarin de Nederlandse premier Mark Rutte een ‘eerlijk klimaatverhaal’ vertelt. Daar zijn nogal wat specialisten bij betrokken: een tekstschrijver, geluidsmixer, beeldredacteur en editor. Ook werd een acteur ingezet en een green screen studio gehuurd in Almere. Zelfs Bob de Jong alias DiepNep - de deepfake-specialist van Nederland - werd aangetrokken omdat hij nu eenmaal veel ervaring heeft.

Lang verhaal kort: zo makkelijk is 'snel, eenvoudig en realistisch' dus niet. Aan de andere kant: is dit niet het bewijs dat het toepassen van AI ook weer nieuw werk oplevert voor creatieve makers?! 👍🏽

Stukje historie over pornodeepfake

Er zijn diverse tools om deepfakes mee te maken. Ze gebruiken meerdere technologieën en losse programma’s om tot hun eindresultaat te komen.

Naamgever ‘deepfakes’ berichtte op het Amerikaanse forum Reddit al in 2017 over zijn eerste experiment: een gemanipuleerde pornovideo. Hij gebruikte daarvoor zijn programmeerkennis van Python, zijn ervaring met machine learning en open source software (waaronder Google’s TensorFlow) en beelden die hij haalde uit stockphotosets en Youtubevideo's.

In januari 2018 kwam er een desktopapplicatie online: FakeApp. Hiermee konden gebruikers eenvoudig(er) video's maken en delen, waarin gezichten met elkaar waren verwisseld. Vanaf 2019 werd FakeApp achterhaald door nieuwere alternatieven zoals Faceswap, DeepFaceLab en webgebaseerde apps zoals DeepfakesWeb.com

Tool 1: DeepFaceLab

Het is dus niet eenvoudig om zelf een deepfake van hoge kwaliteit te maken die precies voldoet aan je eisen en wensen - zeker als je niet kunt programmeren. Maar: het is ook niet onmogelijk.

Om er een te maken met het programma 👉🏽 DeepFaceLab heb je minimaal twee video’s nodig. Een video met daarin de persoon wiens gezicht je wilt gebruiken; Persoon Een. Een tweede video bevat de persoon naar wie de gezichtsuitdrukkingen van Persoon Eén moeten worden overgebracht. Uit deze video's worden beelden gegenereerd waarop de software vervolgens de contouren van het gezicht herkent en de belangrijke punten zoals ogen, mond en neus.

Stukje tech - de ‘deep’ in deepfake

We gaan er nog even wat deeper (😬) op in...

Zodra deze voorbereiding is voltooid, begint de kunstmatige intelligentie met de training van de neurale netwerken (deep nets) door de afzonderlijke beelden van beide video's in een encoder uit elkaar te halen en ze vervolgens weer samen te voegen in twee decoders; één voor elke video of elk gezicht van de personen in de video. Aan het eind vergelijkt de kunstmatige intelligentie het origineel met de output van de decoder voor elk beeld in de twee video's en wijzigt dan de wegingen van het kunstmatige neurale netwerk. Dit proces wordt ontelbare malen herhaald totdat het resultaat van de decoder sterk lijkt op het originele beeld.

Even een tussentijdse check bij de lezers van het eerste uur... Deze manier van werken herkende jij al als supervised learning, toch?!

De volgende stap bestaat erin de encoder van de ene persoon te verbinden met de decoder van de andere persoon om de gezichtsuitdrukkingen van de ene persoon op de andere over te brengen.

Deepfakes in een kladblok

Wil je het nu alsnog allemaal eens proberen zonder iets te installeren en te programmeren? Gebruik dan dit Google Colab Notebook voor DeepFace Lab. Door in dat digitale codekladblok een-voor-een alle stappen te doorlopen, zou het moeten lukken om met je eigen beelden een deepfake maken.

Let op: je hebt hier een Google-account, Google Drive-opslag, de juiste video’s, programmeerkennis en veel, heel veel geduld voor nodig. En je moet op heel veel ▶️-buttons drukken. Succes en stuur ons je resultaat!

Tool 2: DeepFaceLive

Misschien herinner je je de ophef van april 2021 nog, toen Nederlandse kamerleden een vreemd Zoomgesprek hadden met de stafchef van de Russische oppositieleider Aleksej Navalny.

Grote vraag: was dat nou een deepfake of een dubbelganger? Het bestaan van de volgende toepassing (maar ook dit Volkskrant-artikel) was waarschijnlijk de voedingsbodem voor de twijfels...

Want met 👉🏽 DeepFaceLive (Windows only) kun je namelijk gezichten met elkaar verwisselen. Je doet dan een zogeheten live faceswap tijdens een stream of videocall. De tool is qua deepfake-generatie voor maar een beperkt aantal scenario’s bruikbaar; toch is de suggestie dat dit überhaupt mogelijk is, blijkbaar al effectief genoeg.

Tool 3: EbSynth

Een van de deelnemers aan de praktische introductiecursus Machinelearning voor mediamakers, gebruikte de tool 👉🏽EbSynth om een videoclip van The Beatles een andere lading te geven. Toen Laurens laatst om wat meer details vroeg aangaande dit experiment, was de reply van de fake-maker:

'De tool die ik heb gebruikt heet EbSynth, gebaseerd op 'example based synthesis'. En dit is de tutorial die ik heb gevolgd: https://www.youtube.com/watch?v=0RLtHuu5jV4

Ben ik toch nog wel heel benieuwd waarvoor je het gaat inzetten haha.'

En wij ook. Happy deepfaking! Succes en stuur ons je resultaat!

✅ Dit was ‘m weer.