Hi 👋

Dit is de derde Super Vision alweer: jouw wekelijkse nieuwsbrief met toepassingen van AI & machine learning voor creatieve makers.

Vorige week Deel I uit de natural language processing-serie. Deze week deel II: natural language generation.

Maar eerst even dit:

• Welkom, alle nieuwe abonnees. Goed om jullie erbij te hebben.

• Veel ❤️ voor Sietse, Jolien, Jeroen, Remy, Anne-Marije, NJ en Loes; lezers die hun feedback al gaven. #itsagift

• En a special mention voor lezer Berend; hij tipte een mooi voorbeeld voor deze week en deelde zijn eerste StyleGAN experimenten. Lekker bezig, Berend 👍🏼

Veel lees- en experimenteerplezier weer. Volgende week behandel ik computer vision. Heb je daar al mee gewerkt of ken je interessante voorbeelden, laat het me weer weten!

Groeten uit Leuven, Laurens, Future Journalism Today

🕖 Leestijd van deze nieuwsbrief is zo'n 7 minuten.

Natural Language Generation

Je eerste gedachte bij het lezen van Abbus hierboven was vast niet:

En dat is niet gek, want deze tekst is het resultaat van een creatief proces waarbij een team van VPRO's Medialab en UU en UVA samenwerkten met een AI. Hun doel: een artificieel songfestival-liedje maken.

Teamlid en creative coder Yannick Gregoire vertelde me vorige week hoe dat ging. Hij koos eerst een zogeheten Large Language Model uit als basis (GPT-2 in dit geval). Deze trainde hij vervolgens met bestaande Nederlandstalige songteksten van o.a. liederenbank.nl; van folklore en rap tot Willeke Alberti.

Voor het trainen en testen van het songtekstmodel gebruikte het team Google Colab - een online omgeving om te experimenteren met machine learning, waarbij je gratis (tijdelijke) rekenkracht krijgt.

Na een aantal experimenten bleek het Nederlandstalige model teveel gibberish op te leveren: veel Engelse woorden, echte non-teksten of volledig geplagieerde zinnen. Het resultaat kon zo niet ingezongen worden door Willie Wartaal 🙁

Een ander experiment deed teamlid Janne Speijkervet. Zij bouwde een Lyrics Generator, getraind met Engelstalige teksten van o.a. Reddit. Ook een aantal daarmee gegenereerde teksten als 'Kill the government, kill the system' haalden de definitieve inzending niet.

Wat de snijtafel wel overleefde, beluister je hier:

🇳🇱 De Nederlandse inzending (plus making-of)

🇧🇪 De Belgische inzending voor 2021: Beatroots AI

1. Wat is Natural Language Generation?

Korte rewind naar vorige week: de algemene aanduiding voor taaltechnologie is natural language processing (NLP). Je kunt NLP opsplitsen in twee begrippen: understanding (zie vorig week) en generation.

Natural language generation

Een AI die antwoord geeft, samenvattingen maakt of nieuwe zinnen voorstelt, genereert tekst. Dit doet de AI op basis van miljoenen andere, bestaande teksten. En die teksten komen overal vandaan: uit boeken, kranten, literatuur, wetenschappelijke papers, het Viva-forum, Twitter, verzin het maar. Ze worden opgeslagen, verwerkt en verrijkt in zogeheten Large Language Models (LLM's). Veel ervan zijn tegenwoordig gratis en eenvoudig te gebruiken. Je hebt LLM's nodig om natuurlijke taal te genereren.

Yannick van de VPRO gebruikte ook zo'n LLM. In zijn geval een zogeheten Generative Pre-Trained Text Transformer (GPT-2 van OpenAI). Deze transformers (taalmodellen dus) dien je wel eerst 'op te voeden': dat heet fine-tuning - met het toevoegen van specifieke teksten maak je het uiteindelijke model geschikter voor jouw doel; of het nou het genereren van songteksten, medische diagnoses of sporthistorie is.

2. Waarom moet je iets weten over NLG?

Vorige week beschreef ik hoe natural language understanding kan helpen bij het doen van research, bij het transcriberen van audio-opnames of als schrijfhulp.

Deze week kijken we naar de meer creatieve, scheppende kant. Nou ja, 'scheppend'... eerder: 'razendsnel combinerend op basis van patronen van veel bij elkaar voorkomende woorden en zinnen uit andere teksten.' Maar toch, een computer die tekst creëren kan, dat is naast wonderlijk toch ook wel bedreigend. Pieker je er weleens over of je werk vervangen wordt door een AI of robot? Ja?! Draai het dan eens om, en stel jezelf de vraag:

Misschien zeg je direct 'no way, Laurens, echt niet hoor' en komen tegelijkertijd toch ook de volgende twijfels ook op:

• Zou dat eigenlijk kunnen voor mijn soort werk?

• Zijn er al voorbeelden van?

• Kan ik die AI's wel vertrouwen?

• Ze zeggen toch altijd dat mensen met creatieve beroepen niet bang hoeven te zijn voor vervanging door AI of robots?!

• Ik vind het toch wel een beetje scary allemaal, Laurens!

Okee, dat laatste zegt vooral m'n moeder vaak. Maar ik snap je, het zijn ook grote vragen. Ik zal proberen antwoord te geven aan de hand van tools, voorbeelden en via de links bij Further reading & listening, verderop. De tools die ik vandaag met je deel, helpen je om schrijf- en zelfs designwerk te laten doen door AI, zonder modellen te trainen of te programmeren.

3. Wanneer ga je NLG gebruiken?

Hieronder vertel ik je hoe schrijvers, designers, coders en interviewers NLG kunnen toepassen. Zo vertelde copywriter Claudia Korpadi (Upmost, ex-KesselsKramer) me dat ze niet bang is voor AI; sterker nog: ze verwelkomt deze nieuwe companions zolang ze suggesties doen en op blinde vlekken wijzen.

Voor copywriting

Bestaande AI tools helpen je om de volgende soort teksten te genereren:

• samenvattingen;

• copy voor landingspages;

• pitches & presentatieteksten;

• blog & social media posts;

• A/B/Z varianten van advertenties;

• Microcopy voor interfaces, sites en apps.

Voor designers & (creative) coders

Wanneer je tijdens een brainstorm of design sprint met de klant ideeën tastbaar wil maken, kun je binnenkort een AI met je stem aanroepen en letterlijk beschrijven wat je zou willen zien. Instant design creatie zonder ingewikkelde software, shortcuts of code!

Een handige coder/designer bouwde bovenstaande als proof-of-concept: een plugin voor Figma waarmee je een interactief prototype genereert op basis van alleen een beschrijving.

GitHub, een platform voor developers, presenteerde onlangs hun Co-pilot: een AI die code genereert o.b.v. een voorzetje. Zo hoef je straks niet zelf meer een image-resizer te schrijven, maar geef je Co-pilot alleen een opzetje; de AI schrijft de rest van je code.

Yannick Gregoire vertelde me dat je ook creatiever kunt gaan met Co-pilot, en zeggen: maak een afbeelding van een hond in CSS, met de toevoeging 'rainbow' 🌈 . (Helaas moet je eerst op een wachtlijst voordat je Co-pilot zelf kunt uitproberen.)

Laten we toch vooral hopen dat development en design niet terug te brengen zijn tot een set commando's 😱.

Voor journalisten, podcasters & interviewers

Stel je voor dat je met hulp van de transcriptie- en NER-tools uit de vorige editie allerlei eerdere interviews van je aanstaande gast hebt verwerkt en geanalyseerd. Vervolgens voer je een AI-interviewapp die teksten en geeft deze twee opdrachten mee:

1. Genereer vragen die relevant zijn voor het aankomend interview: passend bij de gast, bij het onderwerp, bij jouw stijl en het platform waarop je publiceert.

2. Genereer antwoorden die je gast op jouw vragen zou kunnen geven, waarmee je je interview weer verder voorbereidt.

Ik kan me bovenstaande twee use cases voorstellen dankzij het verhaal dat lezer Berend tipte:

A developer built an AI chatbot using GPT-3 that helped a man speak again to his late fiancée. OpenAI shut it down • The Register — www.theregister.com

When his human-like chatbot Samantha - modeled after the romantic companion in the sci-fi film Her - Rohrer wondered where to take Samantha next. What if people could spawn chatbots from his software with their own custom personalities?

5. Zelf experimenteren?

Teksten schrijven

👉Headlime.com, Rytr.me en Copy.ai kunnen alledrie overweg met Nederlandse taal. Je kunt koppen genereren, variaties op advertentieteksten laten schrijven, pitchteksten oppeppen en copy-voorstellen uitkiezen voor je site, blog of social posts. Ben benieuwd welke jouw weapon of choice gaat zijn.

Wireframen en prototypen

👉 UIzard.io - Niet helemaal natural language, maar wel impressive is deze wireframing- en prototypingtool die je handschetsen omzet in digitale UI-componenten.

Spraakgeneratie

👉Descript - Deze audiovisuele editing tool heeft naast een aantal natural language processing skills ook de mogelijkheid tot spraakgeneratie. Door een opgegeven tekst in te spreken, wordt je eigen stem gesynthetiseerd. Oftewel: je typt een tekst die vervolgens uitgesproken wordt door de computer-gegenereerde versie van je eigen stem. Handig als er net een vliegtuig overkwam of een hond blafte tijdens je interview. Hoogleraar journalistiek Bart Brouwers experimenteerde er al mee. (Let op: Descript werkt vooralsnog alleen Engelstalig).

Dit was 'm weer voor deze week. Succes met je schepping 💫; stuur me vooral de resultaten! Weet me ook te vinden als je vragen, bedenkingen of aanvullingen hebt. Tot volgende week. Dan behandel ik computer vision. Groet, Laurens

Nog 1 minuut over? Doe deze NLG-realitycheck!

Het verloop van het creatieve proces van het AI Songfestival-team is tekenend voor hoe experimenten met natuurlijke tekst generatie doorgaans verlopen. Het laat de complexe realiteit ervan goed zien. Laten we die nog eens ontrafelen...

Het Niet-Engelse Taalgebied

Wanneer je je initiële verlangens en creatieve vergezichten wil gaan realiseren - die verlangens heb je ongetwijfeld als het gaat om Het Scheppen van Tekst - loop je al vrij snel tegen de eerste beperking aan: die van ons relatief kleine taalgebied. Door het ontbreken van kwalitatief hoogwaardige, op het Nederlands getrainde taalmodellen, zijn de resultaten niet snel 'natuurlijk' of goed bruikbaar in complexere contexten.

Het Multidisciplinair Team

Daarnaast vermoed ik dat voor veel lezers van deze nieuwsbrief het volgende een obstakel is: aan het AI Songfestivalproject hebben naast mediamakers, muzikanten en tekstschrijvers ook computerwetenschappers en developers meegewerkt. Zonder die laatste twee was er waarschijnlijk niet veel van terechtgekomen. (Ik durf overigens te beweren dat je anno 2021 echt een heel eind kan komen zonder te programmeren of een master AI op zak te hebben.) Wees je dus bewust van wat zowel je eigen beperkingen zijn, als die van de technologie an sich.

Bias in, bias out

Misschien wel het grootste probleem rond natural language processing is de meegebakken bias (= vooroordelen). Denk dan aan racisme (doet Tay van Microsoft een belletje rinkelen?!), clichés, heersende culturele normen en onwenselijkheden zoals haat en gewelddadigheid die in de gebruikte taalmodellen verscholen liggen.

Je hebt hierbij zelf ook een verantwoordelijkheid: kies bewust voor het LLM dat je als basis kiest, en kijk goed naar de selectie van de teksten waarmee je jouw model verder traint en fine-tuned.

Tot slot: Het Goede Nieuws!

Er is naast awareness op Europees overheidsniveau (met beleid, wet- en regelgeving in de maak), ook steeds meer aandacht voor de issues rondom AI & taal. Toegepaste wetenschappers (zoals ex-Googler Margaret Mitchell), softwarebouwers zoals Hugging Face en creatieve makers zelf (bv. journalisten uit Tunesië en Argentinië), zijn allemaal bezig om horden weg te nemen en alternatieve, creatieve aanpakken voor te stellen.

Meer weten? Kijk en luister dan het volgende:

Further reading & listening

The NLP divide: English is not the only natural language | | Polis — blogs.lse.ac.uk

In dit artikel op JournalismAI (onderdeel van het Polis Instituut van de London School of Economics) vertellen twee nieuwsredacties uit Argentinie en Tunesie hoe zij natural language toepassingen ontwikkelen.

Fired At Google After Critical Work, AI Researcher Mitchell to Join Hugging Face - Bloomberg — www.bloomberg.com

Former co-head of Ethical AI group will join Hugging Face to create tools for AI fairness

At Stanford’s “foundation models” workshop, large language model debate resurfaces — www.morningbrew.com

The university created a new center to study so-called foundation models, but some AI experts criticized the framing

GPT-3 in Onbehaarde Apen - Kan een computer creatiever schrijven dan een mens? — podcasts.google.com

Er is al heel veel geschreven over GPT-3. Misschien aardig dus om er eens over te horen:

Oke, nog meer GPT-3 dan...

Als je GPT-3 in actie wil zien, kijk dan op All about GPT-3 of gpt3demo.com. Vrij willekeurige overzichten van allerlei toepassingen gebouwd op versie 3 van de Generative Pre-Trained Text Transformer van OpenAI.

200+ GPT-3 Examples, Demos, Apps, Showcase, and NLP Use-cases | GPT-3 Demo — gpt3demo.com

GPT-3 is the world's most sophisticated natural language technology. Discover how companies are implementing the OpenAI GPT-3 API to power new use cases.