Hi lezer 👋,

Waarschuwing: dit is echt een praktische nieuwsbrief. Maar eerst moet ik even wat inleiden met een scenario.

De ethiekmaand zit er op, maar we zijn nog niet klaar met filosoferen. Deze en volgende week wil ik het namelijk met je hebben over Nieuwe Synthetische Tijden en Werelden.

We zoeken deze week uit in welke wereld je straks kunt leven, en hoe. Dat doen we heel praktisch: ik deel bestaande en vooral gratis tools waarmee je nu al je eigen synthetische realiteit kunt creëren.

En volgende week behandelen we de vraag: in wat voor wereld wil je leven?

Veel plezier! Laurens.

Ps. Je kunt je hier intekenen op de wachtlijst voor het aanstaande boek ‘The Art of AI’; een praktische introductie in machine learning voor mediamakers.

1. Synthetische media

Stel je het leven van Jesli voor, een 11-jarige die leeft in 2027; niet al te ver weg. Al chattend via de smart device van dat moment spreekt de jonge tiener af met vrienden om te gaan ‘hangen’, ergens in de Metaverse. Een deel van die ‘meeting’ loopt Jesli buiten in de tuin over het gras met een 3D-bril op terwijl het on the side met crypto's kleding koopt voor een jarige vriend. Die kleding is ontworpen door de favoriete artiest van de twee (en nee, dat hoeft uiteraard geen modeontwerper te zijn volgens jouw norm). Als de kleding beschikbaar is, wordt deze gedropt op hun beider ‘digitale tweelingen’ zodat ze samen de nieuwe outfit direct aan hun vrienden showen en tegelijkertijd hun affiniteit, vriendschap en status etaleren aan anderen.

Even voor de duidelijkheid: dit 'speelt’ zich allemaal grotendeels af in een virtuele wereld.

Multimodale AI-interacties

Jesli, die nog altijd buiten op het gras dartelt, heeft drie maanden geleden een abonnement gekregen op WrAIter. Dat is een commerciële dienst die gebruikers fictieve verhalen laat maken door ze met de hand te schrijven, ze in te typen, door afbeeldingen te tonen, te schetsen, in te spreken of met het lichaam uit te beelden - het maakt de AI niet uit hoe de gebruiker er mee wil werken. (Dit heet multimodale input). Het verhaal wordt door WrAIter verder aangevuld en geëvalueerd met een zogeheten natural language generator. 

Wanneer Jesli akkoord gaat met de voorstellen en de feedback van WrAIter, wordt het verhaal omgezet in een geanimeerde video, een interactieve ruimte en een game. Deze deelt Jesli met anderen om in te hangen, te spelen, of... gewoon, om in te 'zijn'.

Dans revoluties

Belangrijk element is de dans die terugkomt in de video en de game. Jesli heeft deze de afgelopen weken intensief ingestudeerd tijdens de moderne dansles, iedere woensdagmiddag- en vrijdagmiddag van vier tot zes, in een lokaal in Nieuwegein.

Okay, time-out!

Duizelt het je al, mijn waarde lezer? Je eerste reactie is er wellicht een van de overweldiging: 'Gaat dit straks echt allemaal zo?!' zul je misschien denken. "Dat bovenstaande allemaal mogelijk is in 2027, geloof je dat echt, Laurens?!"

Grote Vragen voor Goede Creatieven

Schrik niet: technisch bestaan alle apparaten, tools en services om bovenstaand scenario te realiseren. De grotere vragen die jij je als maker moet stellen, gaan over echt versus nep, over de relatie tussen professionals en amateurs, over van wie je je inkomen straks krijgt en: wat je publiek van waarde acht.

Wat maakt het jou uit?

Wat maakt het ons professionals uit dat deze tieners hun vrienden nu in ‘het echt’ zien of virtueel? Wat maakt het uit voor de spelers en virtuele aanwezigen dat de game is gemaakt door professionals, amateurs, een AI of combinatie daarvan? Wanneer vind je de dans goed of niet? Is het erg dat naast familie en vrienden heel de wereld kan kijken naar een gevirtualiseerde dans van een 11-jarige? Wat heb ik als beleidsmaker, publieke omroepmedewerker, cultuurmaker, AI engineer of user experience designer in deze nieuwe werelden te zoeken?

En de laatste vraag: waarom zouden mensen ‘echt’ geld betalen voor iets dat je alleen digitaal, virtueel kunt consumeren en dat ook nog eens niet ontworpen is door een echte, gediplomeerde professional?

Voor deze week wilde ik het hier qua vragen en scenario bij laten. 😬

De tools: be like Jesli!

Hier zijn de praktische tools waarmee je bovenstaand scenario tot leven brengt. Probeer ze uit en knoop ze aan elkaar. Zodat je nu al kunt hangen als Jesli in 2027.

3D animatie & gaming

Met de Omniverse Create software van Nvidia zet je ‘dingen’ op een foto om in 3D-objecten, die je vervolgens kunt animeren.

Met andere software zoals Unreal van Epic Studios (bekend van Fortnite) bouw je zelf virtuele ruimtes en games.

Green screen & motion capture

Met de greenscreen feature van RunwayML heb je geen blauw of groen scherm meer nodig om personen, objecten of andere details in je video weg te halen.

Met Radical kun je zonder speciale pakken of dure camera’s menselijke bewegingen vastleggen. Met opnames van je smartphone of webcam maak je met deze tool een volledig bewegend 3D-beeld van jezelf; dansend, lopend, ab-crunchend, whatever.

Inpainting

Met de kleine browser-app cleanup.pictures gum je als het ware ongewenste onderdelen uit je beeld, zoals het visdraad of dat stukje gebouw. Waarna de AI de achtergrond netjes in/aan/uitvult.

Beeldgeneratie en -manipulatie

Beeldbewerkingsbedrijf Adobe heeft samen met onderzoekers uit Koeweit en de VS de AI-techniek 'Pose with style' ontwikkeld waarmee het mogelijk is om ‘op basis van één foto een afbeelding van de gefotografeerde persoon te maken in een ándere dan de geposeerde houding. De software kan het fotomodel ook in een outfit naar keuze uitdossen.’ (Bron: NRC, 5 januari 2021)

Met de tool Playform.io kun je met de zogeheten AI-techniek van StyleGANs de computer zelf beelden laten genereren op basis van de stijl van voorbeelden waarmee je deze hebt getraind.

Tekstgeneratie & -evaluatie

De bekendste AI om teksten mee te genereren - GPT3 - schijnt sinds kort nog (ietsje) beter te werken. LanguageTool helpt je met je spelling, stijl en grammatica.

Text to image

Met toepassingen als NeuralBlender, Night Cafe Studio of GauGAN2 creeër je, gewoon in je browser, synthetische beelden door als commando enkel tekst te typen.

Interactief ontwerp & development

Uizard maakt van je handgetekende schetsen een klikbare app. Met Co-pilot van Microsoft’s GitHub hoef je zelf bijna geen code meer te schrijven, maar genereert deze AI-assistent de functies voor je. Denk aan 'saaie' taken en zaken als aanmelden, afbeeldingen snijden, een boeking bevestigen of welke standaardfunctie iedere app dan ook nodig heeft.

-

✅ Dit was 'm weer.

Besef goed dat het scenario, de ontwikkeling en het gebruik van de tools niet iets is dat we tegen kunnen houden - het is onvermijdelijk.

Volgende week behandelen we daarom de vraag: in wat voor wereld wil je leven?

Further doing: sAItire van The Pudding

deepwork — pudding.cool

A satire about the future of job hunting.