LLM’s als doel & middel

In de paragraaf over desinformatie werd al beschreven dat LLM’s kwetsbaar zijn voor cyberattacks waarmee bijvoorbeeld de antwoorden die het systeem geeft gemanipuleerd kunnen worden (data poisoning). Inmiddels is het laagste tarief voor het op deze manier aantasten van de integriteit van data (en werking systemen) 60 dollar[1].
Het Amerikaanse National Institute of Standards and Technology (NIST) publiceerde begin 2024[2] haar onderzoek naar cyberattacks waarmee het gedrag van AI-systemen gemanipuleerd kan worden, de conclusies waren:

·       “AI systems can malfunction when exposed to untrustworthy data, and attackers are exploiting this issue.

·       New guidance documents the types of these attacks, along with mitigation approaches.

·       No foolproof method exists as yet for protecting AI from misdirection, and AI developers and users should be wary of any who claim otherwise.”

Zo zijn er mogelijkheden om via de chatbots persoonlijke data te stelen[3]. Inmiddels zie je dat er ook gepoogd wordt bedrijven die LLM’s geïntegreerd hebben in klanttoepassingen, te hacken via zogeheten “prompt injections”. Het Engelse Cyber Security Center (NCSC) waarschuwt daarom bedrijven die overwegen diensten te bouwen op LLM’s dezelfde voorzorg te hebben als bij andere software die nog in beta is.[4]

“The publication emphasizes the absence of a foolproof defence mechanism against such adversarial attacks, urging developers and users to exercise caution amidst claims of impenetrable safeguards.”

Het gebruik van LLM’s vergroot ook de kans op lekken, bijvoorbeeld doordat mensen iets samenvatten met een online tool en zo mogelijk interne informatie naar buiten brengen of zo’n tool gebruiken om te ondersteunen bij programmeren en zo informatie over de IT systemen naar buiten brengen. Diverse organisaties hebben daarom het gebruik verboden.[5]
 
Dat criminaliteit laagdrempeliger wordt kan ertoe leiden dat er in Nederland meer mensen slachtoffer worden, vooral door de meertaligheid en het natuurlijk taalgebruik dat ook nog eens uitgesproken kan worden door betrouwbaar klinkende stemmen. Voor criminelen uit het buitenland wordt het daardoor veel laagdrempeliger om Nederlanders benadelen.

 Criminelen gebruiken LLM’s inmiddels als middel bij het plegen van criminaliteit[6]. Zo wordt het al veel gebruikt in de context van oplichting en fraude[7]. Denk aan het genereren van phishing mails[8], social engineering[9], fake websites, fake profielen en fake reviews[10]. Het is nu mogelijk om volledig geautomatiseerd telefoontjes te plegen waarbij gelijktijdig honderden of duizenden mensen benaderd worden om hen te overtuigen tot de aankoop van iets, het delen van vertrouwelijke gegevens of andere handelingen die niet in hun eigen belang zijn[11]. Inmiddels worden LLM’s ook gebruikt voor het genereren[12] en verspreiden[13] van malware. Om bij deze vormen van criminaliteit te ondersteunen zijn er zelfs speciaal voor criminelen gemaakte LLM’s, zoals WormGPT[14] en FraudGPT[15].

Begin 2024 is er een studie[16] verschenen naar deze zogenaamde Malla’s (Malicious LLM applications) op basis van voorbeelden uit de echte wereld, waarbij ook gekeken is naar het underground ecosysteem en de implicaties voor cybersecurity. Voor een verdieping wordt naar het onderzoek verwezen, maar conclusie is dat het aanbod sterk groeit en dat een deel van de aangeboden tooling effectief is.

Our findings bring to light that certain Mallas, such as DarkGPT and EscapeGPT, excel in producing high-quality malware that is both compilable and capable of evading VirusTotal detection, while others (e.g., WolfGPT ) can create phishing emails with a high readability score and manages to bypass OOPSpam. Although Malla generally lags in crafting phishing sites, one Malla (EscapeGPT) distinguishes itself by generating operational phishing site codes that go unnoticed. This highlights the significant concerns surrounding the cybercriminal exploitation of LLMs.

Een andere ontwikkeling is dat avatars (variërend van realistische personages in 3D werelden tot een chatbot op social media) gekoppeld kunnen worden aan een LLM als ChatGPT, waardoor ze 24/7 aanwezig kunnen zijn in een bepaalde omgeving en volstrekt natuurlijke gesprekken kunnen voeren (waardoor die omgevingen opeens heel druk en actief lijken). Er wordt hier al een hoop mee geëxperimenteerd door doe-het-zelfers, maar inmiddels bied een belangrijke game-engine dit ook standaard aan als functionaliteit. Onderzoek laat zien dat je deze avatars via ChatGPT ook specifieke karaktereigenschappen en intenties (doelen) mee kunt geven[17]. Extremisten kunnen dit inzetten voor het uitdragen van een bepaalde boodschap, aanmoedigen tot acties (met bijvoorbeeld als beloning dat ze met Osama Bin Laden in gesprek mogen) of rekruteren van aanhangers.