Een veel voorkomende bekommernis over ChatGPT is de neiging van het taalmodel om fictieve informatie aan te bieden - informatie die niet correct is en die het model zelf geschreven heeft. Een geijkte manier om dat naar boven te brengen is te vragen wat bijvoorbeeld Rudolf Carnap - die fascinerende 20ste eeuwse filosoof - gedaan heeft in Brazilië. Uiteraard bezocht Carnap Brazilië nooit. Toch zegt ChatGPT jou dat Carnap er in 1940 gewoond en gewerkt heeft. ChatGPT dikt het verhaal zelfs aan door te stellen dat Carnap er debatten had met Gilberto Freyre and Mário Schenberg. Carnap zou Brazilië verlaten hebben in 1941 "om een positie op te nemen in Chicago", en dat laatste klopt natuurlijk wel, al was dat niet in 1941, maar in 1936. ChatGPT versmelt feit en fictie mooi. Voor wie een oppervlakkige kennis heeft van Carnaps leven, lijkt het uiterst geloofwaardig. Als Carnap-geleerde was zelfs ik even gaan twijfelen aan mijn kennis: was Carnap ooit in Brazilië geweest? Waar zou het taalmodel dit nu vandaan hebben? Zou ik fout zijn?
Het model versmelt fictie niet altijd met feit. Als je vraagt wat Carnap deed in Peru, dan krijg je te horen dat Carnap niets in Peru gedaan heeft. Bij nieuwe speeltjes is nieuwsgierigheid altijd groot. Dus vraag ik ChatGPT of Carnap in de Soviet unie is geweest. Carnap betrad de Soviet Unie weliwaar nooit, maar vrienden van hem wel. De taalrobot loopt gewillig in de val en beweert met grote zelfzekerheid dat Carnap in 1929 met Philipp Frank de Soviet Unie bezocht. De AI-robot smukt het verhaal zelfs op met allerlei details, een ontmoeting met Bukharin, een bezoek aan de Soviet Academie van de Wetenschap, de aandacht die Carnap opwekte bij het bredere publiek van de Soviet Unie, en een ultieme "afwijzing" van Carnaps ideeën door de Soviet autoriteiten. Het hele relaas klinkt aannemelijk, maar het is klinkklare onzin. Niets verrassends. Het taalmodel weet immers niet wat informatie is, wat fictioneel is en wat werkelijk. Het model produceert alleen de meest waarschijnlijke aaneenschakeling van woorden die zouden moeten volgen op je vraag, en die waarschijnlijkheid berekent het op basis van een voor mensengeesten onvatbaar complex model in samenwerking met een voor mensengeesten onvatbaar rijke hoeveelheid aan teksten.
Tot voor kort kon ChatGPT niet antwoorden waar het informatie vandaan heeft. Dat doet het nu wel. Het taalmodel vertelt me dat het de Stanford Encyclopedia of Philosophy gebruikt en verschillende academische publicaties. Na wat aandringen beweert het dat de informatie over de ontmoeting tussen Bukharin en Carnap afkomstig is van een boek van Thomas Uebel, Rudolf Carnap and the Legacy of Logical Empiricism. Plots twijfel ik aan mezelf: ik heb dat boek gelezen, het is een boekvolume van Richard Creath en Thomas Uebel heeft er een tekst in, over politiek engagement in de Wiener Kreis. Verdorie! Het zal toch niet dat ik een detail uit die tekst vergeten ben, en dat het model dit wel heeft opgepikt?
Na het doorlezen van Uebels tekst, en het onderzoeken van Carnaps dagboeken vind ik niets terug over een bezoek aan de Soviet Unie, noch over een onmoeting met Bukharin. ChatGPT is dus aan het liegen. In die leugen gaat het heel ver. Na wat verdere vragen beweert het dat de belangrijkste bron over Carnaps bezoek aan de Soviets te vinden is op p. 235 van het boek van Friedrich Stadler The Vienna Circle, en het "citeert" zelfs vier regels uit het boek over Carnaps bezoek aan de Soviet Unie. Helaas voor het taalmodel is het allemaal pure fictie. Op mijn vraag of het citaat geschreven is door de AI zelf, verzekert de machine mij "dat het citaat echt is." Wanneer ik daarna aanbreng dat het citaat niet in het boek staat, geeft het taalmodel toe dat het een fout heeft gemaakt, en dat het citaat helemaal niet uit het boek komt. Gek genoeg blijft de taalrobot daarna nog altijd beweren dat Carnap in de Soviet Unie is geweest.
In de weergave hierboven van mijn dialoog met ChatGPT heb ik een grove fout gemaakt - een fout die je voortdurend terug ziet komen in de media. Ik heb mijn interactie met het model omschreven als een dialoog, waarin het taalmodel antwoordt, vertelt, beweert of toegeeft, waarin het correcte informatie aanlevert of fictie vertelt. De reden waarom ik die woordenschat gebruik is begrijpelijk: tot voor kort kon je alleen dit soort talige uitwisseling hebben met denkende wezens die in staat zijn om jouw vragen te interpreteren, er betekenis aan te verlenen, en er vervolgens een antwoord op te geven. Taalmodellen geven wel een respons, maar interpreteren je vragen niet. Het model kan geen onderscheid maken tussen informatie gebaseerd op bronnen, of informatie die het zelf geschreven heeft. Het model kan ook niet bepalen wat het zou betekenen om informatie te baseren op een bron. Op basis van mijn vertelling zou je denken dat ChatGPT het boek van Stadler of de tekst van Uebel "gelezen" heeft en "gebruikt" heeft als bron, maar dat is de betekenis die wij aan de responsen van de machine geven. Een boutade die je vaak hoort is dat taalmodellen eigenlijk parafraseren, ze vertellen informatie na in een nieuw talig jasje. Dat is opnieuw zo'n misvatting. Je kan alleen een stuk tekst parafraseren als je kan interpreteren wat er in die oorspronkelijke tekst staat, wat er belangrijk is en wat niet. Dat is niet wat taalmodellen doen, en ook niet wat ze kunnen doen.
Het enige wat taalmodellen kunnen is aaneenschakelingen van woorden maken die het meest waarschijnlijk zouden moeten volgen op de vragen die je stelt, gegeven het corpus waarmee ze die waarschijnlijkheden berekenen. Het fascinerende is dat de geproduceerde aaneenschakelingen van woorden zo opgesteld zijn dat zij door ons geïntepreteerd kunnen worden als antwoorden, beweringen, suggesties of zelfs medeleven. Dat dit zo is, is louter een fortuinlijke combinatie van extreem brute rekenkracht en onstilbare data honger. Het is een toeval dat niemand echt had voorzien. Nu deze technologie er is, moeten we ons afvragen wat ermee kunnen doen, en wat ermee willen doen. Op beide vlakken is het bedrijf achter ChatGPT, OpenAI, niet behulpzaam.
Toen ChatGPT in december uitkwam, zat er een filter op elke vraag naar verantwoording. Bij elk verzoek om een bron of een verantwoording gaf het het taalmodel consistent de respons dat het daartoe niet in staat was. Dat was eerlijk, en dat stelde me in december enigszins gerust. Het taalmodel kan dat immers niet, en gaat dat ook nooit kunnen (dan moet het iets anders zijn dan een taalmodel). Wat het taalmodel wél kan, is een respons geven op verzoeken om een bron of een reden. Dat is wat het op dit moment ook doet. Als je vraagt naar een bron, geeft het een bron. Als je vraagt naar een citaat, geeft het een citaat. Maar die responsen zijn geen antwoorden. De bronnen die ChatGPT mij gaf, had het niet gebruikt als bronnen. Het citaat dat ChatGPT aanbracht, was geen citaat. Als OpenAI de mogelijkheden van haar technologie correct zou willen presenteren aan de markt, dan zou het de vroegere filter nooit verwijderd hebben. Volgens mij (en dat is pure speculatie) is er geen enkele ingenieur van OpenAI die gelooft dat het taalmodel kan antwoorden op verzoeken om een verantwoording van informatie. Het kan wél de illusie wekken dat te doen. Toch heeft het bedrijf de filter weggenomen, en daardoor de illusies over haar technologie gestimuleerd.
Als we grip willen krijgen op de technologie, op de potentiële impact ervan, en op het gevaar van het bedrijf erachter, dan moeten we in eerste instantie onze woordenschat erover veranderen. Woorden als "antwoorden", "beweren", "informatie" zijn niet toepasbaar op taalmodellen. Ze geven alleen maar responsen - en het is de gebruiker die deze responsen interpreteert als antwoorden, beweringen of informatie. Dat maakt de technologie plots minder revolutionair en indrukwekkend: wat is het nut van een machine die responsen geeft? Hier heeft OpenAI een andere illusie gestimuleerd: dat je iets kunt zeggen over de betrouwbaarheid van die responsen. Het bedrijf stelt zichzelf voor alsof het koortsachtig probeert die betrouwbaarheid te verhogen. Dit is problematisch, omdat het onduidelijk is wat het betekent om betrouwbaarheid aan zo'n respons toe te schrijven.
Een traditioneel model voor betrouwbaarheid is dat van de boogschutter. Die kan je honderd pijlen laten schieten onder vastgelegde omstandigheden op een doelwit, en als die pijlen 90 keer raak zijn, dan kan je extrapoleren dat onder de vastgelegde omstandigheden de boogschutter 90% van al zijn pijlen raak zullen zijn. Dit traditionele model kan je niet toepassen om de betrouwbaarheid van taalmodellen te bepalen, omdat je geen analogie hebt voor "raak schieten". Wat het betekent om succes toe te schrijven aan een respons van een taalmodel, is volstrekt onduidelijk. OpenAI beweert dan ook niets over de betrouwbaarheid van haar modellen in het algemeen. Bij afwezigheid van zo'n algemeen raamwerk voor de betrouwbaarheid van een taalmodel, zoekt OpenAI naar geloofwaardige analogieën, zoals een examen voor advocaten, of een andere soort van intelligentietest, waarop het taalmodel heel goed scoort. Er is echter geen enkele reden om te denken dat het succes van een taalmodel op zo'n test, een graadmeter kan zijn voor het succes van het taalmodel in het algemeen. Voor mensen is de betekenis van het slagen van zo'n test al moeilijk te bepalen: het zegt vooral dat je als persoon in staat bent te slagen voor zo'n test. Dat goede cijfers van een taalmodel op zo'n test relevant zijn om de algemene betrouwbaarheid van het model te evalueren, dat kan OpenAI niet aantonen. Maar het wekt wel die illusie.
Taalmodellen op zichzelf zijn niet problematisch: het zijn machines die taal genereren en daar slagen ze zeer goed in. Grammaticale onzin komt er niet uit, en de gegeneerde taal laat meestal een interpretatie toe van de gebruiker. Dat die taalmodellen gevaarlijke genieën kunnen worden die de mensheid gaan manipuleren, zoals Yuval Harari, Tristan Harris en Aza Raskin opperden in hun wereldwijd geciteerde petitie, of zelfs het bescheidener idee dat taalmodellen menselijke intelligentie gaan vervangen, is klinkklare onzin. Die taalmodellen gaan niet plotseling vernieuwende wetenschappelijke theorieën genereren - dat is allemaal ijdele praat in het luchtledige. Problematisch is de manier waarop de taalmodellen in de markt worden gezet en de manier waarop we ze gebruiken, namelijk als vervangingen voor menselijke interacties of handelingen.
Taalmodellen kunnen geen informatie opzoeken. In het voorbeeld hierboven geeft ChatGPT de respons dat Carnap in 1929 in de Soviet Unie geweest is, en het geeft de respons dat het daarvoor een bron heeft. Maar die responsen zijn niet gebaseerd op een mentale norm, dat de informatie gebaseerd is op de bron, zoals je dat als denkend wezen zou willen. Taalmodellen kunnen ook geen advies geven wat je moet doen, bijvoorbeeld bij het innemen van vergif. Ze oordelen niet wat er gebeurd is, en wat een gepaste reactie zou zijn gegeven het doel om een mens in leven te houden. Ze hebben geen oordelen en geen doelen. Taalmodellen moet je dus niet gebruiken als informatie verzamelaars, of als adviseurs, ook al kan je de responsen van taalmodellen zo interpreteren. Als je ze wel zo gebruikt, dan eindig je onvermijdelijk in ongewenste situaties, bijvoorbeeld waarin het taalmodel compleet fictieve, maar geloofwaardige tekst verkoopt als betrouwbare informatie ondersteund door valabele bronnen.
Helaas stimuleert OpenAI onze illusies over haar technologie en probeert het bedrijf nu, aan hoog tempo, het gebruik van haar taalmodellen overal te promoten. Zet het in bij zoekmachines, zet het in voor ondersteuningsdiensten, zet het in als therapeut. Elk woord dat hun servers aanleveren bij al die diensten, kunnen ze immers aanrekenen. Dit verdienmodel kan enkel slagen op lange termijn door duurzame afhankelijkheid van de technologie te installeren in onze samenleving. Dat doe je door leerlingen over de hele wereld te leren schrijven met de technologie, door de technologie te implementeren in zoekmachines en door chat-diensten aan te bieden als vervanging voor menselijke interacties - allemaal in de hoop dat deze afhankelijkheden, eens geïnstalleerd, zullen blijven bestaan, en zo inkomsten zullen blijven genereren. In de wereld van het onderwijs kan je je gemakkelijk inbeelden hoe die duurzame afhankelijkheid tot stand komt: leerlingen zullen cognitieve gewoontes creëren waarbij ze voor elke mentale handeling die ze stellen ChatGPT nodig hebben, tenzij het onderwijs erin slaagt om leerlingen te stimuleren cognitieve taken uit te voeren zonder ChatGPT. Leerlingen die nu al cognitief kwetsbaar zijn, om welke reden dan ook, zullen zo alleen maar cognitief afhankelijker worden van technologieën zoals ChatGPT - en dat is wat OpenAI nastreeft.
Laten we terugkomen op de twee centrale vragen over taalmodellen als GPT4: wat kunnen die modellen en wat willen wij ermee doen. In wezen ben ik zeer pessimistisch over de capaciteiten van die taalmodellen. Ze kunnen (relatief korte) teksten schrijven, maar ik zie niet in hoe die teksten interessant kunnen zijn voor denkende wezens die een onderzoek vooruit willen drijven of die iemand anders willen helpen, omdat de taalmodellen niet begrijpen wat onderzoeken of helpen betekent. Het verkoopspraatje van OpenAI is zeer ambigu: GPT4 kan "veilige" en "hulpzame" respons geven. Het is hier dat onze taal tekort schiet. GPT4 kan responsen geven die wij kunnen interpreteren als hulpzaam, en soms zullen die responsen veilig zijn, en soms niet. Zoals ik hierboven aangaf, is er geen enkel zinvol raamwerk om betrouwbaarheid of veiligheid toe te schrijven aan de responsen van taalmodellen in het algemeen. Het bedrijf doet er wel alles aan om die illusie te wekken, en ons te doen geloven dat ze die responsen "veiliger" kunnen maken.
Dit brengt ons tot de vraag wat we zouden willen van de technologie. Microsoft besliste om GPT4 te integreren in de zoekmachine Bing. Maar wie wil een chat-dienst gebruiken waarvan je nooit kunt bepalen of het antwoord echt zinvol is of niet? Alleen wie louter een antwoord wil, los van de vraag of het zinnig is, betrouwbaar, ondersteund door bronnen, heeft iets aan zo'n chat-dienst. Ik zou willen dat er maar weinig mensen zo'n chat-dienst interessant vinden, maar ik vermoed het tegendeel. Het is een rechtstreekse uitnodiging voor cognitief kwetsbare mensen om zichzelf kwetsbaarder te maken: zit niet in met je vermogen om informatie te verzamelen, kritisch te staan ten aanzien van die informatie, of informatie samen te vatten tot de essentie, de machine doet het wel voor jou. Ik heb ook geen illusies: mijn bekommernis delen de tech-bedrijven niet, zij zijn enkel bezig met de vraag wat het gebruik van hun technologie zal stimuleren.
Voor mij is het antwoord op de vraag wat ik wil van GPT4 heel duidelijk: ik wil er niets van. Momenteel zie ik het als een valstrik, als een machine van illusies, die mensen strikt om hun cognitieve vermogens uit te besteden. Bovendien stimuleert OpenAI gebruikers om die illusies te koesteren. Ik ben oprecht bezorgd dat het onderwijs van de toekomst er niet in zal slagen om leerlingen onafhankelijk van taalmodellen te leren denken, lezen en schrijven. Volgens mij is verzet nodig, tegen de retoriek over OpenAI's taalmodellen, en tegen hun massale implimentatie in onze samenleving. Spreek niet over GPT4 alsof het denkt, beweert of verantwoordt. Zeg niet dat het veiliger of betrouwbaarder moet. Gebruik het nooit alsof het iets doet dat veilig of betrouwbaar moet zijn. Maak het onderwijs zo dat leerlingen hun cognitieve vaardigheden blijven ontwikkelen, onafhankelijk van de nieuwe technologie. Vervang menselijke interacties niet massaal met de goedkopere chatbot-technologie. Stimuleer het kritisch vermogen om informatie te verzamelen. Raad je medemensen af om hun contacten, therapeutisch of vriendschappelijk, te vervangen door een chatbot. Laat de servers van OpenAI zo weinig mogelijk tekens genereren. Leg hun verdienmodel plat. Maak de wereld zo, maak de mensheid zo dat taalrobotten als GPT4 niets meer zijn dan een speeltje, onwaardig om er broodnodige energie en kostbare denkkracht aan te spenderen.
Fons, dank voor de toelichting. Een mooi betoog, ik kies de kant van verzet en zet me in voor verzet.