Hi lezer 👋,

Dit wordt geen leuke brief. Sterker nog, deze editie bevat zelfs schokkende beelden. Waarom? Omdat we het, zeker als schrijvers, beeldmakers en creatieven over de achterkant van AI moeten hebben. Die was tot voor kort vrij onzichtbaar. Maar sinds oktober 2021 niet meer helemaal, zo ontdekte ik afgelopen week.

Die achterkant is namelijk best wel vies, oneerlijk en ... lijkt eigenlijk heel sterk op het internet zelf.

Wat dit voor ons makers betekent zet ik in deze editie uiteen.

Deze week...

Stel ik vijf vragen en probeer ze te beantwoorden:

1. Waarom moet ik die lelijke kant kennen?

2. Met welke data zijn de beeldmodellen getraind?

3. Hoe komt de bias in gegenereerde afbeeldingen?

4. Wie zijn (straks) de dupe van het gebruik van deze toepassingen?

5. Wat kunnen we doen?

Verder bied ik praktische middelen waarmee je zelf kunt nagaan of beeld van jou, jouw werk (of dat van anderen) is gebruikt om de beeldmodellen te trainen en tools om gegenereerd beeld te recyclen.

Ik wens je veel plezier. Leestijd ⏲: 8 minuten.

Laurens Vreekamp

Kom & praat mee: AI for Good: media & kunst — felixmeritis.nl

Kom morgenavond (vr. 23 sept.) naar AI for Good, een avond die ik organiseer in Felix Meritis in Amsterdam. Makers Serena Westra (IKEA), Vincent Koops (RTL, Videoland) en creative technologist Casper Schipper (Superposition, ArtEZ) zijn te gast en is tof AI/VR werk van Studio VRij. 👉🏽Kaarten hier te bestellen.

1. Waarom we die vieze achterkant moeten bekijken?

Een groot aantal makers is enthousiast over de resultaten die zij zien bij anderen of zelf verkrijgen van teksttoepassingen als GPT-3, Rytr en CopyMatic en van beeldgeneratoren als DALLE-2, MidJourney, Imagen en DreamStudio. Ik moet bekennen -en dat zal geen verrassing zijn gezien de vorige drie edities- dat ik mezelf daar ook onder schaar.

Maar wat ik eerder niet goed realiseerde is wat de basis is van al die generatieve creaties.

Totdat ik deze tweet tegenkwam van onderzoeker Arthur Holland Michel, die werkt voor o.a. het Internationale Rode Kruis en Chatham House. Hij vroeg zich af hoe het kan dat het commando 'Michael' letterlijk een beeld oplevert dat lijkt op een Westerse, witte zakenman en 'Michaela' een schaarsgeklede, uitdagend poserende vrouw?

Ik nam de proef op de som. Het nog niet eens zo heel fotorealistische resultaat is al veelzeggend:

Hoe kan het nu dat maar een letter verschil zoveel verschil maakt? Daarvoor moeten we terug naar de bron.

2. Terug naar de bron: met welke data zijn de modellen getraind?

Van het zeer grote taalmodel GPT-3 weten we nog altijd niet met welke teksten het is getraind.

'Misogyny, pornography, and malignant stereotypes'

Voor de beeldmodellen die gebruikt worden om de text-to-image-toepassingen te laten werken, konden we tot voor kort ook alleen speculeren.

Maar, zo ontdekte ik onlangs, er is op 6 oktober 2021 door een aantal academici een onderzoekspaper gepubliceerd met de titel 'Multimodal datasets: misogyny, pornography, and malignant stereotypes'.

Van 400 miljoen naar 5 miljard basisafbeeldingen

De onderzoekers analyseerden de vrij toegankelijke, open dataset LAION400. Dat staat voor Large Scale AI Open Network. In deze dataset zitten 400 miljoen text-image pairs. Het vormt de basis waarop de nieuwste generaties text-to-image modellen zoals stable diffusion worden getraind. (Inmiddels is er alweer een grotere versie van LAION, de LAION5B, met 5 miljard (!) paren)

Het is goed om te begrijpen dat zo'n dataset als LAION uit verschillende onderdelen bestaat:

1. Afbeeldingen

2. Alt-text image-captions - beschrijvingen

3. Tekstcorpora van het web, zoals CommonCrawl

Problemen van de afbeeldingen: privacyschending

Een van de auteurs, Abeba Birhane schreef over de bevindingen in een draadje op Twitter. Over het eerste onderdeel, de afbeeldingen, zegt ze:

Problemen van de beschrijvingen: beledigend

Over het tweede deel, de beschrijvingen (alt-text) die bij de afbeelding horen:

Problemen met tekstcorpora: porno

Alsof de eerste twee lagen nog niet genoeg problematische zaken bevatten, is de derde misschien wel het gevaarlijkst. Onderzoeker Birhane schrijft:

3. Hoe komt de bias in generatieve AI?

De makers van DALLE-2 kennen de bias in hun systeem ook en geven dat ook ruiterlijk toe (maar lossen het niet op, en we kunnen er ook niet zelf in grasduinen, zoals bij LAION). Zo schrijven ze hier:

Mensen die text-to-image systemen veelvuldig gebruiken hebben dit inmiddels ook ontdekt.

Redenen die zij aanvoeren, zo staat te lezen in de DALLE-2 disclaimer, zijn hun eigen geografische locatie, voertaal en (culturele) context:

Pornobias

Onderzoekster Birhane vond in de LAION-dataset niet alleen een aantal dezelfde biases als bij DALL-E, maar ook een groot aantal not safe for work (pornografisch) afbeeldingen bovenop de stereotypische bias:

Er bleek zelfs pornobias in de LAION dataset die je niet direct zou vermoeden:

En zo gaat Birhane nog wel even door. Lees hier haar hele (lange) draadje op Twitter.

4. Wie zijn (straks) de dupe?

Eigenlijk iedereen:

• Degene die profielfoto's op het web heeft geplaatst en de ouder die foto's van het eigen kind op social media plaatst. (Een consequentie die Ernst-Jan Pfauth in dit recente stuk in NRC nog niet voorzien had, vermoed ik). De kans is groot dat foto's van jou in de datasets belanden waarmee AI-modellen worden gevoed.

• De persoon die in welke context dan ook tot een minderheid behoort en/of gestereotypeerd wordt.

• De gebruiker van text-to-image systemen, die met ieder gegenereerd beeld de problematische basis in stand houdt en weer verder versterkt. Want wat online komt, kan ook weer in de databasis terecht komen!

Dubbel gedupeerden: kunstenaars, fotografen en illustratoren..

Waar er gegronde angst is voor het verliezen van bepaald soort werk, hebben fotografen, kunstenaars en illustratoren meer te vrezen van het feit dat hun werk wellicht is inbegrepen in datasets zoals LAION, zonder hun toestemming. Waardoor anderen ongeoorloofd voortborduren op origineel artistiek werk van professionele makers.

5. Wat kun je doen? Have I been trained + Phraser

Het is goed dat er nu openheid is. Dat een organisatie zoals Stability.ai openheid geeft over de ontwikkeling van hun AI-model voor beeldgeneratie. Zodat we beter weten hoe de techniek werkt.

Het is goed dat een dataset als LAION vrij toegankelijk is, zodat onderzoekers als Abeba Birhane hun analyses kunnen doen. Want over OpenAI's DALLE-2 en Google's Imagen weten we bijna niets, en kunnen we er ook niet onder motorkap kijken. Over die nieuwe openheid is Birhane ambivalent. Zo schrijft ze:

Doorzoek de basisgrondstoffen zelf

Het is daarom fijn dat er naast dit onderzoek nu ook tools zijn om zelf te checken of je als persoon of jouw professionele (beeldend of geschreven) werk in de dataset voorkomt:

👉🏽 Haveibeentrained.com/

Zoek met deze tool, met beeld of tekst, of jij of je werk voorkomt in de dataset die is gebruikt om de AI-beeldmodellen te trainen.

Wil je je daarna wapenen tegen inclusie van je werk in AI-datasets, ga dan naar Spawning

Eerder-gegenereerd

Met deze tools check je of er al beelden zijn gemaakt, zodat je de stereotypen niet zelf weer versterkt met iedere nieuw-gegenereerde creatie:

👉🏽 Phraser.tech

👉🏽 Lexica.art

Meet Phraser, the AI Tool that Prompts Neural Networks — analyticsindiamag.com

What makes this smart search feature exciting is the effortlessness in allowing users to search directly through prompts, eliminating the fuss of keywords

Final thought

Nu we steeds beter leren wat voor beelden we (letterlijk en figuurlijk) beter wel en niet meer moeten gebruiken - in campagnes, films, op televisie, Youtube en print en andere media - moeten we dat besef ook hebben als we AI 'onze' beelden laten genereren.

We moeten daarnaast ons AI-gebruik ook verantwoorden voor ons publiek en straks ook wettelijk. Gelukkig kunnen we nu zelf zien en opzoeken welke beelden zijn gebruikt, hoe de bias ontstaat en nadenken over onbedoelde, onwenselijke uitkomsten van gebruik ervan.

✅ Zo, dit was' m.