Text to image - Super Vision #14

December 02, 2021

Hi 👋 lezer,

In deze nieuwsbrief zet ik een aantal nieuwe gereedschappen op een rij waarmee je als ontwerper en schrijver beelden genereert puur en alleen op basis van tekst. Met deze tools en technieken kun je:

  • AI als assistent of inspiratiebron aan het werk zetten,

  • Oneindig veel collages en illustraties maken

  • Je visuele onderzoek verrijken op een totaal nieuwe manier.

Waar heb je het dan over, Laurens?

AI-toepassingen die beelden genereren op basis van tekstuele input, worden text-to-image (TTI) genoemd. (Wellicht ken je DALL-E al, maar die is helaas niet opengesteld om zelf te gebruiken.)

Er is ondertussen, ooit begonnen als subreddit, een heel fenomeen om TTI heen ontstaan dat 'prompt engineering' heet: op zoveel mogelijk manieren proberen je tekstuele invoer zo te verfijnen dat de AI het door jou gewenste beeld genereert.

(Note: dit gissen heeft waarschijnlijk vooral te maken met het feit dat ondoorzichtig is met welke visuele data de onderliggende AI is getraind.)

AI designer Nadia Piet legde me afgelopen week uit wat ze leerde van anderen die ook met TTI experimenteren:

"Als je 'unreal' toevoegt, blijk je meer gepolijste 3D-beelden te krijgen, en type je '8bit' dan krijg je meer die lo-fi aesthetic."

Je moet volgens Nadia dan ook een beetje omgekeerd leren denken en werken. De kunst wordt om te bedenken welke woorden je erin moet stoppen om er ongeveer dat uit te krijgen wat je zoekt. Hoe wil je precies die zonsondergang in de stad met op de voorgrond twee fietsers hebben?

Mand? Doe!

Dit is verder een echte doe-brief. Ik ga niet veel meer zeggen over text-to-image AI; je moet het vooral zelf uitproberen! Dat is ook wat ik de afgelopen week heb gedaan, en ik vond het waanzinnig interessant. Ik heb tools voor je die direct werken, die eenvoudig, simpel en soms ook beperkt zijn. Er is er een die qua interface wat geduld vergt maar heel veel mogelijkheden heeft. En, voor de diehards hier, deel ik een stuk code waarmee je zelf aan de slag kunt.

Welke tool je ook kiest, bereid je voor op een aantal goed bestede doch verloren uurtjes 😉 #thatshowyoulearn

S/O'tje

Even nog een shout-out naar vier 'vrienden van de brief': zonder de tips van lezers Rolf, Nadia, Casper en Jeroen had ik deze editie niet kunnen maken. Many thanks 👏🏼 En, oproep aan jou: tip me!

Lieve lezer, vele uren happy prompt engineering toegewenst! Tot volgende week. Dan behandel ik 'Adversarial AI'... denk ik.

Ps. check de twee live events bij 'Further Attending' aan het einde.

Tell, then show: text-to-image

Hier zie je het resultaat van een van mijn eerste experimenten met text-to-image AI. Ik typte bij Night Cafe de volgende tekst in het invoerveld:

sheep dancing on a volcano

Text-to-image generatie met Nightcafe: 'sheep dancing on a volcano'

AI Art Generator App. ✅ Fast ✅ Free ✅ Easy. Create amazing artworks using artificial intelligence. Let op: het aantal free credits is beperkt!

Khroma - The AI color tool for designers

Vervolgens 'gooide' ik de Night Cafe creatie in Khroma, dat o.a. beelden (kleuren, kleurvlakken en gradients) genereert door conceptuele namen van kleuren te verzinnen in het invoerveld:

Replicate.ai van Mehdi Cherti

Nadat ik wat gespeeld had met Night Cafe en Khroma, ontdekte ik the original AI achter text-to-image: VQGAN-CLIP. Ik typte bij de tool van Cherti in het 'prompt'-veld wat dingen in, zoals

nike coca-cola en nrc volkskrant.

Dat leverde dit op:

nike coca-cola

Er zijn ondertussen al tientallen toepassingen op VQGAN-CLIP gebouwd. Ik gebruikte dus deze van Mehdidc.

Vlaamse eilanden maken met GauGan2

'Flemish Island' - Text-to-image met GauGan2

Het beeld hierboven is gegenereerd door GauGAN2 - de tool met die pittige interface. Vier tips voordat je 'm gaat gebruiken:

  1. Open GauGAN2 op je desk- of laptop.

  2. Bekijk eerst de video-tutorial (linkje rechtsboven).

  3. Cookie-settings? Helemaal linksonder!

  4. Druk niet op 'Enter'! Je moet dat dobbelsteen-icoon hebben.

Het is even puzzelen, maar dan: uren plezier!

Text-to-image met NeuralBlender

Probeer ook NeuralBlender (vergelijkbaar met Night Cafe).

Onder de motorkap

Voor de diehard die eens met the actual code wil spelen of degene die gewoon eens onder een AI-motorkap wil kijken:

Beeldbewerking met AI

Mocht je klaar zijn met tekst, dan heb ik hier nog drie AI-powered tools om beeld mee te bewerken:

Geen TTI; wel vet!

Foto's genereren in verschillende stijlen.

"Harness machine learning to create amazing images in seconds"

Final thought

Jeroen Disch tipt in zijn jongste Halfvet-nieuwsbrief een artikel van IBM's AI designer Jessica Rae Vergara over creatieve machines. Ik vind vooral de laatste twee alinea's spot on:

Machines weren’t supposed to be creative, but now we’re teaching them to write the next Avatar, paint the next DaVinci, or produce the next Hey Jude. AI is a tool. It is another pen, another paintbrush, another instrument. We want to find the right balance between machines and humans. [...]

As an AI designer, I see AI as a way to build better experiences. When I see work solely created by AI, I don’t see any innovation. When I see humans and machines working together, I see a symbiosis and a glimpse of what the future of art and design can be.

✅ Dat was' m weer.

Further attending:

Nog twee dagen te gaan. Eerdere talks van deze week kun je terugkijken. "The worlds of artificial intelligence and journalism meet again in 2021. Tune in to the JournalismAI Festival from 29 November to 3 December."

Wil je weten hoe je machine learning modellen voor de gek kunt houden? Doe dan mee aan deze masterclass van de Universiteit Gent.

Deelname kost 35 euro