Hulp bij generatieve AI - Super Vision #41

Hi lezer 👋,

Na een hot summer heb ik hier weer een fresh edition van Super Vision voor je - jouw wekelijkse nieuwsbrief over creatieve toepassingen van AI en machine learning.

Een warm welkom ook voor de PodcastOverMedia-Telegramchatleden die zich de afgelopen week hebben aangemeld.

Het was een hele hete visuele AI-zomer!

Afbeeldingen maken met behulp van AI. Vaste vrienden van de brief kennen de text-to-image generatoren zoals DALL-E2, MidJourney, Craiyon en Imagen (en eerder al Nightcafe Creator en Snowpixel) inmiddels zo goed als hun broekzak.

Sinds deze zomer echter kun je nog eenvoudiger, nog gecontroleerder en nog goedkoper content (tekst, beeld en video) creëren met behulp van nieuwe generaties generatieve AI-toepassingen. Ja? Ja! Hoedan? Dat komt zo.

De volgende drie factoren liggen hier volgens mij aan ten grondslag, en gaan zorgen voor een nog hetere AI-herfst:

  1. Technologische doorbraken.

  2. Best en worst practices door trial & error. (Excusez my Dunglish)

  3. Inhoudelijke analyses en online discussies over het onderwerp.

In deze brief...

licht ik twee van de technologische doorbraken toe en kun je direct met nieuwe toepassingen aan het werk.

Verder krijg je:

  • een handleiding om prompt master te worden;

  • een gids die uitlegt hoe het ook alweer zit met de mens-beeldrelatie;

  • de code voor de meer experimentele liefhebber;

  • Tot slot tips voor een AI-event en een tv-programma.

Veel lees-, kijk- en doeplezier.

Groet, Laurens.

Laat me na het lezen even weten (👍🏽 of 👎🏾) wat je van deze eerste midnazomerse editie vindt.

Technologische doorbraak 1: Stable diffusion

"Three Dutch creatives, gathered around a Mac OS device, discussing versions of a flowchart"

Er zijn een aantal veelbelovende nieuwe aanpakken die het werken met generatieve AI-toepassingen naar een hoger niveau brengen. Ik behandel er deze keer twee: stable diffusion en make-a-scene.

Stable diffusion?

'Iedereen' heeft het al weken over stable diffusion. Huh, wat? Oke, ik leg het kort-door-de-bocht uit.

Alle diffusion modellen voor beeld werken grofweg in twee stappen:

  1. Eerst legt het model 'noise' over een afbeelding heen, waardoor de kwaliteit verslechtert. Vreemd eigenlijk, toch?!

  2. Niet helemaal, want in de tweede stap 'leert' het model die noise weer te verwijderen. Daarvoor moet het de gehele afbeelding analyseren, deze uit elkaar halen en weer opnieuw opbouwen.

Koppel je deze stappen aan de metadata die hoorde bij de originele afbeelding en doe je dit met 5.000.000 afbeeldingen (uit de Laion-dataset), dan volgt een diffusion model dat heeft geleerd hoe het afbeeldingen genereert.

What the hype?

Waarom nu stable diffusion de big next step is? Een van de redenen is dat de bouwer van het model - Stability.ai - de trainingsdataset voor het model heeft vrijgegeven. En dat is goed, want "this makes things easier for future researchers and reaffirms their commitment to democratizing artificial intelligence."

Wanneer gebruik je stable diffusion?

  • Als je digital art wilt genereren.

  • Als je om het milieu geeft (want minder 'carbon footprint' bij training en de toepassing vergt minder rekenkracht.)

  • Als je meer controle wilt. Stable diffusion modellen zijn beter af te stemmen op je specifieke wensen.

Zelf proberen?

👉🏽 DreamStudio en Nightcafe gebruiken stable diffusion al om hun beelden mee te genereren.

👉🏽 Zelf een stable diffusion model 'runnen' en de code bekijken? Weer is oude bekende Hugging Face je vriend.

📚 Meer uitleg vind je bij Narrativa en Hugging Face.

Techno-doorbraak #2: Make-a-scene

Een tweede technologische doorbraak waarmee je generatieve AI nog meer naar je hand kunt zetten, directen, komt van Meta. Met hun aanpak, die ze Make-a-scene hebben genoemd, geef je naast de prompt - het tekstcommando om beeld mee te genereren - ook een schets mee om aan te geven welk beeld je precies beoogt:

Tekst prompt+schets gecombineerd: input voor Meta's Make-a-scene generatieve AI

“It made quite a difference to be able to sketch things in, especially to tell the system where you wanted things to give it suggestions of where things should go, but still be surprised at the end,”

aldus Alexander Reben, kunstenaar, onderzoeker en roboticus. Hij experimenteerde al een tijdje met deze nieuwe toepassing.

In deze blogpost van Meta AI vertellen Reben en andere kunstenaars die de toepassing al hebben gebruikt dat "having more control over the output really helps get your artistic intent through."

Reben startte zijn experiment met door AI-gegenereerde teksten. Met zijn interpretatie van die tekst maakte hij vervolgens een schets en gebruikte die combinatie als input voor Make-A-Scene:

👉🏽 Helaas kun je deze tool nog niet zelf uitproberen, maar check zeker de video-interviews die Meta bij de blogpost plaatste. Daarmee krijg je een goed idee hoe het werkt en welke impact deze manier van werken mogelijk heeft...

3. Further doing

From synthetic media in photography to auto-editing video, we'll look at how new AI and ML tools are impacting image-making. We’ll reflect on how these new tools can be misused and what we can do about it.

Hoe gebruiken we AI for good? Vrijdag 23 september: media & kunst. In gesprek met creatieve AI'ers Janne Spijkervet, Nadia Piet en Casper Schipper.

Hiermee word je een echte prompt master.

Na het toeslagenschandaal, monopolies van Amerikaanse techbedrijven en zorgen om de privacy rijzen vele vragen. Een gesprek met techniekfilosoof Peter-Paul Verbeek, Europarlementariër Kim van Sparrentak, kunstenaar/ontwerper Julia Janssen en digitaal strateeg/columnist Ilyaz Nasrullah.