Desinformatie

Bij desinformatie wordt bewust foutieve of misleidende informatie verspreid om de waarheid te verhullen of meningen te beïnvloeden. Als het gaat om desinformatie dan kunnen LLM’s een belangrijk hulpmiddel zijn doordat ze het mogelijk maken desinformatie te creëren en verspreiden[1] met een overtuigendheid en op een schaal zoals nog niet eerder vertoond[2]. Naast de bekende (politieke) voorbeelden van desinformatie[3], zie je ook dat systemen die geautomatiseerd het internet afzoeken in het kader van bijvoorbeeld dreigingsanalyses gemanipuleerd kunnen worden met gegenereerde content[4]. Als laatste is het mogelijk om met specifiek getrainde LLM’s een propaganda-as-a-service[5] dienst te realiseren. Daarnaast blijken de LLM’s ook kwetsbaar voor hacks, zoals interpol beschrijft: “ChatGPT can be vulnerable to attacks during which malicious users intentionally input incorrect or misleading information to manipulate the responses of the model.[6]”

Misinformatie: onbetrouwbare informatie

Het genereren van onbetrouwbare en feitelijk onjuiste informatie kan allereerst gezien worden als gewoon een bekende eigenschap van LLM’s[7]. De systemen zijn gebouwd voor het genereren van tekst op basis van het zo goed mogelijk voorspellen van elk volgend woord, niet voor het genereren van feitelijkheden[8]. De verwachting is daarom niet dat dit gerepareerd kan worden:

“ChatGPT can also give completely wrong answers and present misinformation as fact, writing “answers that sound plausible but are incorrect or make no sense,” the company admits. OpenAI says solving this problem is difficult because there is no source of truth in the data they use to train the model, and supervised training can also be misleading “because the ideal answer depends on what the model knows, rather than of what the human demonstrator knows’.” [9]

Dat de door de LLM’s gegenereerde teksten zo overtuigend zijn, vergroot de schadelijke impact, waarbij het ook nog zo is dat hoe overtuigender de tekst, hoe groter de kans op fouten[10]. In een onderzoek naar Google’s LLM Bard bleken 78 uit de 100 resultaten overtuigende misinformatie te bevatten[11].   Deze misinformatie vindt ondertussen zijn weg naar allerlei kanalen waar mensen er niet op voorbereid zijn, denk aan nieuwsartikelen[12], boeken die worden gerepliceerd[13] of zelfs volledig gegenereerd, wat ook gevaarlijk kan zijn zoals bij gegenereerde boeken over het zelf paddenstoelen plukken[14]. Amazon heeft sowieso een probleem sinds marketeers LLM’s gebruiken om snel goede teksten te genereren zonder daarna een controle uit te voeren.

Ook social media als Twitter (X[15]) en Facebook[16] worden overspoeld door gegenereerde content. Ook zie je steeds meer promotie van (niet bestaande) producten en websites vol clickbait voor de advertentie inkomsten. Voor deze doelen is het niet belangrijk of de teksten kloppen als ze maar overtuigend lezen. Er is een enorm probleem met zogenoemde botshit: Gewoon pure onzin waarbij het voor de maker niets uitmaakt of het klopt of niet als er maar geklikt wordt of hun product er maar geloofwaardig van wordt, want dat genereert geld[17].

Maar het risico is dat mensen valse of onveilige producten kopen en dat de waarheid steeds moeilijker te vinden is tussen alle onzin rond een onderwerp.

Opvallend is dat Google een centrale rol speelt[18] in de verspreiding van advertenties voor deze producten en websites, hoewel ze eraan verdient schaadt dit wel de betrouwbaarheid en aantrekkelijkheid van haar zoekmachine.

Model Collapse

Naarmate steeds meer materiaal op het internet door AI gegeneerd is, worden ook steeds meer ‘hallucinaties’ en desinformatie gepubliceerd op het internet, terwijl dat juist de bron vormt waarmee de modellen getraind worden. De kwaliteit van de modellen kan daardoor afnemen. Dit wordt ‘Model Collapse’[19] genoemd; AI is eating it’s own tail.  Het risico is dat we aanvankelijk steeds meer gaan leunen op generatieve AI die uiteindelijk onvoldoende gaat presteren voor de gemaakte toepassingen.[20]  
In onderzoek werd een Model steeds weer getraind op basis van synthetische (met AI gegenereerde) teksten, waarbij na 10x het model volledige onzin begon uit te kramen.[21]


  [1] https://arstechnica.com/information-technology/2023/08/chatgpt-boosts-crypto-botnet-with-ai-generated-tweets/

[2] https://cset.georgetown.edu/wp-content/uploads/CSET-Truth-Lies-and-Automation.pdf

[3] Voorbeelden van beïnvloedingscampagnes met AI in de context van de oorlog in Oekraine: https://go.recordedfuture.com/hubfs/reports/ta-2023-1205.pdf https://dfrlab.org/2023/12/14/massive-russian-influence-operation-targeted-former-ukrainian-defense-minister-on-tiktok/

[4] https://arxiv.org/abs/2102.04351

[5]https://arxiv.org/abs/2112.05224 en https://arxiv.org/abs/2301.04246

[6] file:///C:/Users/Acer/Downloads/ChatGPT-Impacts%20on%20Law%20Enorcement-%20August%202023.pdf

[7] https://www.businessinsider.nl/hallucinerende-artificial-intelligence-is-juist-goed-en-de-toekomst-van-ai-heeft-enge-verrassingen-in-petto-volgens-topman-sam-altman-van-het-bedrijf-achter-chatgpt/ 
“This system card analyzes GPT-4…. First, we highlight safety challenges presented by the model’s limitations (e.g., producing convincing text that is subtly false) and capabilities (e.g., increased adeptness at providing illicit advice, performance in dual-use capabilities, and risky emergent behaviors). Finally, we demonstrate that while our mitigations and processes alter GPT-4’s behavior and prevent certain kinds of misuses, they are limited and remain brittle in some cases. This points to the need for anticipatory planning and governance.” https://cdn.openai.com/papers/gpt-4-system-card.pdf

[8] https://www.washingtonpost.com/technology/2023/08/07/ai-eating-disorders-thinspo-anorexia-bulimia
Zie ook dit relaas: https://www.linkedin.com/posts/anne-sey-08518018_japan-deshima-siebold-activity-7059047224336338944-CCGO

[9] https://medium.com/@Levente22/could-chatgpts-ai-ever-replace-humans-6c142b63cbae

[10] https://www.sciencedirect.com/science/article/abs/pii/S0262407923007893?via%3Dihub

[11] https://counterhate.com/research/misinformation-on-bard-google-ai-chat/

[12] https://twitter.com/EliotHiggins/status/1635623445164851203?s=20
https://www.engadget.com/cnet-corrected-41-of-its-77-ai-written-articles-201519489.html
https://thehill.com/media/4084032-editor-lashes-out-after-company-publishes-ai-generated-article-riddled-with-errors/
https://www.cbsnews.com/news/microsoft-ai-travel-guide-ottawa-food-bank/

[13] https://www.washingtonpost.com/technology/2023/05/05/ai-spam-websites-books-chatgpt/

[14] https://www.404media.co/ai-generated-mushroom-foraging-books-amazon/

[15] https://techcrunch.com/2024/01/10/it-sure-looks-like-x-twitter-has-a-verified-bot-problem/

[16] https://www.404media.co/facebook-is-being-overrun-with-stolen-ai-generated-images-that-people-think-are-real/

[17] https://www.theguardian.com/commentisfree/2024/jan/03/botshit-generative-ai-imminent-threat-democracy

[18] https://futurism.com/content-farms-ai

[19] https://www.popularmechanics.com/technology/a44675279/ai-content-model-collapse/  https://arxiv.org/pdf/2305.17493.pdf?trk=feed-detail_comments-list_comment-text

[20] https://www.techtarget.com/whatis/feature/Model-collapse-explained-How-synthetic-training-data-breaks-AI

[21] https://arxiv.org/pdf/2305.17493.pdf