Get in touch
555-555-5555
mymail@mailservice.com
Update ontwikkelingen deepfake juni 2023
26 juni 2023
Het is even geleden dat een update geplaatst werd, schandalig want de ontwikkelingen buitelden over elkaar heen afgelopen jaar. Werd vorig jaar nog vooral gesproken over deepfakes (beeld/geluid) en synthetische media, sinds dit jaar zien we overal de term generative AI en tools voor het genereren van tekst, zoals ChatGPT.
Hoewel er bijna dagelijks nieuwe mogelijkheden verschijnen, blijft de grote lijn hetzelfde. (1) Iedereen kan straks alles wat digitaal (te maken) is klonen, manipuleren en/of genereren en (2) al rond
2025 is naar verwachting 90% van alle digitale content synthetisch, dus met AI gemanipuleerd of gegenereerd. Dit zal een enorme impact hebben. We kunnen niet meer vertrouwen op onze eigen waarneming. Hoe weet je in welke mate je gemanipuleerd wordt, hoe behoud je vertrouwen? Hierover ging de eerste, door politie geïnitieerde, rijksbrede werkconferentie “impact van synthetische media & deepfakes”. Op
iBestuur is recent een blog geplaatst met belangrijkste stappen die we kunnen zetten.
In deze nieuwsbrief heb ik de nieuwtjes gegroepeerd in beeld, geluid (stemklonen!) en tekst. Door deze te combineren kun je er volledig autonome digitale personages (avatars) mee creëren en voor je laten werken. Ter afsluiting ook nog iets over detectietools.
Beeld
- Er is een duidelijke toename van beeldmateriaal van kindermisbruik gecreëerd met AI tools.
- Op TikTok worden in true crime stories, steeds vaker deepfakes van slachtoffers, vooral kinderen, gebruikt, wat enorme impact op betrokkenen kan hebben.
- Het genereren van afbeeldingen ter ondersteuning van je verhaal kan ook ten koste gaan van je geloofwaardigheid zoals Amnesty mocht ervaren. Het vooraf transparant aangeven dat en waarom je ervoor kiest (zoals beschermen betrokkenen) helpt. Een overzicht van overwegingen bij de inzet van deepfakes vind je hier.
- Een gegenereerde foto van een
explosie bij het Pentagon getwitterd door een schijnbaar betrouwbaar account van Bloomberg zorgde voor een dip in de beurzen.
• De schroom om deepfake beelden te gebruiken voor politieke doeleinden verdwijnt steeds verder. De Republikeinse presidentskandidaat DeSantis heeft er geen enkele moeite mee om deepfake beelden van zijn rivaal Trump te verspreiden (die er zelf ook gretig gebruik van maakt). - Steeds vaker worden video’s met niet bestaande personen (avatars) ingezet voor het verspreiden van desinformatie, ook door overheden, bijvoorbeeld in Burkina Fasou en Venezuela.
- Mooie voorbeelden van de laatste mogelijkheden van beeldbewerking zijn
DragGan en de opties die
Adobe nu biedt.
Audio
Er komen steeds meer toepassingen waarbij je jouw stemkloon kunt inzetten, Microsoft heeft aangetoond dat
3 seconden geluid voldoende is. In dit artikel worden
11 tools beschreven. Gek genoeg staat Elevenlabs hier niet bij, terwijl zij juist zoveel misbruikt werden, bijvoorbeeld om de stem van
Emma Watson uit Mein Kampf te laten voorlezen.
Denk dus na voor je iets op TikTok plaatst, een fragment van je stem is voldoende om te klonen. Hier een voorbeeld van hoe je er
persoonlijke gegevens mee kunt ontfutselen.
- We zien dit ook steeds meer terugkomen bij
verschillende vormen van CEO en Vriend-in-Nood-Fraude toegepast worden. Er kan ook emotie aan de stemkloon meegegeven worden, zo werd deze moeder overtuigd dat haar
dochter ontvoerd was. Het wordt extra effectief met een
combinatie van gezicht en stem…
In deze post heb ik wat tips opgenomen waarmee je kunt voorkomen erin te trappen. - Steeds meer organisaties zijn overgestapt op biometrische authenticatie, en zij lopen er nu tegenaan dat dit hun systeem verzwakt. Al veel langer is het mogelijk om met het gezicht van iemand anders een bankrekening te openen. Banken, maar ook andere organisaties zoals de belastingdienst in Australië, gebruiken ook de stem als biometrische controle voordat ze iemand toegang geven. Vice laat zien dat deze systemen niet bestand zijn tegen stemklonen.
- Swatting as a service, een dienst die opnames met nepstemmen aanbiedt die je kunt inzetten om de politie ergens een inval te laten doen. $50 om je school een dagje plat te leggen, en voor $75, laat je ze iemands huis binnenvallen en doorzoeken… Zeer zorgelijk gezien de politiecapaciteit die hiermee verspild wordt en de emotionele impact op betrokkenen.
- Samsung kondigde recent de mogelijkheid aan om via tekst-to-speech
je stemkloon een gesprek in stilte te laten voeren als je ergens bent waar je niet kunt praten. Koppel het aan toepassingen als ChatGPT en je hoeft helemaal het gesprek niet meer te voeren😉
Tekstsynthese (Large Language Models, ChatGPT)
Tekstmodellen kunnen op veel manieren ondersteunen en brengen eindeloos veel nieuwe mogelijkheden voor mensen die ergens leek in zijn of minder taalvaardig. Neem dit voorbeeld voor het ontwerpen van een
tomatenpluk-machine, of hoe ChatGPT je kan helpen in een
live sollicitatie gesprek. Als je echt een goed beeld wilt krijgen van de betekenis (het grotere plaatje), dan raad ik de podcast
The AI Dilemma aan, beste dat ik afgelopen tijd hoorde!
Het gaat vaak mis met ChatGPT en vergelijkbare tools. Mensen willen het gebruiken als zoekmachine, maar het is ontwikkeld om voor jou teksten te genereren, dus als jij bronnen wilt hebben, dan krijg je die, maar die hoeven niet echt te bestaan zoals
deze advocaat
merkte toen hij jurisprudentie zocht. Mensen kunnen er ook echt door beschadigd worden. Zoals
een burgemeester
ervaarde, die volgens ChatGPT in de gevangenis had gezeten, of de man die
geld verduisterd zou hebben en de professor zogenaamd betrokken bij
sexueel misbruik. Als mensen naar je gaan zoeken via ChatGPT, kunnen de gekste dingen opkomen. Spannend wordt of het lukt om OpenAI, het bedrijf achter ChatGPT aan te klagen…
Voor wie het toch wil gebruiken vast een tip, hoe overtuigender het antwoord van AI,
hoe groter de kans dat het niet klopt!
Door het combineren van de mogelijkheden van deepfake audio en video met ChatGPT die de gesprekken genereert, kun je (semi) autonome personages (avatars/digital humans) creëren die aan de hand van een aantal mee gegeven intenties zelf gesprekken en relaties aangaan en aan hun handelen invulling geven.
- Zo kun je een kloon van je zelf tegen vergoeding beschikbaar stellen, bijvoorbeeld als virtuele vriendin. In de praktijk blijkt het echter lastig af te bakenen hoe ver jouw kloon mag gaan…
- In dit artikel meer commerciële toepassingen (denk aan dienstverlening, trainingen) en diverse dreigingen.
- Ook kun je (meerdere) avatars autonoom aan het werk zetten in de metaverse. Dit werk kan echter ook inhouden het verspreiden van gedachtengoed en ronselen van mensen…
- Hier een voorbeeld van de eerste experimenten met volledig autonome “mensen” in een “metaverse” die zelf op basis van intentie hun activiteiten en doelen van de dag bepalen en op basis daarvan onderling interacteren.
Er is een aparte nieuwsbrief over de Metaverse, laat het me weten als je die wilt ontvangen!
AI-detectietools
Met de opkomst van AI groeit ook de vraag naar AI-detectietools, ik heb bewust geen overzicht opgenomen, want ze vormen ook een risico als we erop gaan vertrouwen (en weet je wie achter de tools zitten, dus met wie je tekst/beeld deelt?).
Van deepfake-detectietools is bekend dat ze niet goed werken. Ze detecteren maar een deel van de fakes en ze merken soms ook betrouwbare content aan als fake. Ook laat recent onderzoek naar detectietools voor door studenten met AI-gegenereerde tekst zien dat deze
een bias kennen naar non-native Engelssprekenden. Hun werk wordt veel vaker als AI-generated (“fake”) aangemerkt dan dat van native sprekers.
Als in 2027 90% van de content met AI gegenereerd of gemanipuleerd is, vraag ik me ook af wat de meerwaarde is van het weten dat AI gebruikt is? Het gaat uiteindelijk om wat je met de informatie wilt doen, dat bepaalt de relevantie van de manipulaties… Onderzoek daarom zelf in welke context de informatie gegenereerd is en toets dat aan de context waarin jij het wilt toepassen.
Wat gaat helpen zijn de initiatieven op het gebied van provenance, internationaal zijn grote consortia van camerabedrijven, nieuwsmedia (oa BBC), Google, Microsoft, Adobe, Truepic en vele anderen hiermee bezig. Ook op de rijksbrede werkconferentie werd dit als een belangrijke oplossingsrichting gezien. Wil je meer weten over
provenance, bekijk dan deze toelichting.
Heb je vragen, zelf interessante links, laat het me weten via het contactformulier!
Opkomst digital humans & doorbraak augmented reality
Update generatieve AI (deepfakes, LLM's) winter 2024
Achtergrondinformatie bij rijksbrede werkconferentie
De grootste maatschappelijke impact van deepfakes (en eigenlijk de synthetisering van media in het algemeen) is dat als steeds meer nep wordt, het vertrouwen in informatie en daarmee in potentie in de rechtstaat wordt ondermijnd. Zoals experts aangeven : " deepfakes generate and justify false beliefs” & “may prevent people from acquiring true beliefs." De kosten voor het verifiëren van informatie nemen toe, zowel voor organisaties als individuen. Door deze ondermijnende impact op het vertrouwen in de informatie(voorziening) is, ook als iets kan en mag, de belangrijkste vraag: “wat vinden we wel en ni et moreel aanvaardbaar als het gaat om de inzet van deepfake technologie”? Dit moet niet alleen vanuit het individuele/organisatieperspectief bekeken worden, maar ook vanuit het bredere perspectief van de samenleving. Het ‘perspectief van de samenleving’, is echter een vaag begrip, daarom ben ik online op zoek gegaan naar wat mensen bezighoudt als het gaat om inzet van deepfakes. Dus geen wetenschappelijk onderzoek, maar het biedt duidelijk haakjes voor vragen die je jezelf en anderen kunt stellen. Het zal ook niet volledig zijn, dus laat het vooral weten als je andere, aanvullende inzichten hebt opgedaan! Onderaan deze blog vind je een optie voor contact. Ethisch perspectief Vanwege de maatschappelijke impact van deepfakes wordt vaak gewaarschuwd tegen het normaliseren van het gebruik, zeker als het gaat om het klonen van bestaande mensen. Regelgeving ontbreekt als het gaat om post mortem privacy, en ook is het lastig de gevolgen (op langere termijn) voor de persoon en het vertrouwen in (publieke) organisaties te overzien. Ethische kaders en een goed ontwikkeld moreel kompas zijn daarom noodzakelijk. Bij de afweging is de specifieke context van de inzet van belang. Wat in de ene situatie wel aanvaardbaar is, hoeft dat in een andere situatie niet te zijn. Uit mijn inventarisatie blijkt ook dat je per situatie (inzet) opnieuw een afweging moet maken. Voor deze inventarisatie heb ik onderscheid gemaakt in: Niet bestaand persoon Op basis van bestaand persoon die nog in leven is Op basis van bestaand persoon die overleden is Hieronder volgen de voorbeelden, aan het einde vat ik de overwegingen samen.
De documentaire Spreek! Nu! heeft vorige week veel indruk gemaakt. Door het gebruik van een deepfake van Sedar Suares, de jongen die bijna 20 jaar geleden vermoord werd, hoopt het Cold Case team mensen echt te raken en getuigen of misschien zelfs de dader te overtuigen zich te melden. Dat het gebruik van deze technologie tevens tot meer media aandacht leidt is meegenomen. Ook aan jullie het verzoek de campagne te delen, hopelijk wordt de zaak nu eindelijk opgelost. Hoewel heel beperkt, zie je dat er online ook vragen worden gesteld over de wenselijkheid om het gebruik van deepfakes van bestaande personen te normaliseren. Ik probeer zoveel mogelijk vragen/opmerkingen/zienswijzen te verzamelen om tot een overzicht te komen van morele en ethische kaders (vragen) die een rol kunnen spelen bij de inzet (naast natuurlijk juridisch). Al eerder deelde ik voorbeelden van deepfakes van overleden personen in een bl og . Mochten jullie ideeën hebben of mee willen denken over functionele behoeften en/of ethische kaders, benader me vooral! Ook verdachten (en hun advocaten) hebben inmiddels meer kennis van de mogelijkheden van deepfakes. Begin deze maand was ik in de rechtbank Rotterdam bij de behandeling van het verweer van een verdachte die claimde niet zelf een bankrekening bij Bunq geopend te hebben. In deze context is het goed kennis te hebben van het onderzoek dat Sensity vorige week publiceerde. Het beschrijft de mogelijkheden om met een zogenaamde deepfake face swap voor de webcam het, volledig geautomatiseerde, biometrische online authenticatiesysteem voor de gek te houden. De mogelijkheden zijn er dus. Maar voor de mens is er nog wel een duidelijk kwaliteitsverschil in de beelden. Bunq gebruikt bovendien een combinatie van beeld en geluid, die alleen met een nog groter kwaliteitsverschil te faken is. Hieronder nog wat opvallende nieuwtjes over de afgelopen periode: Aansluitend op de inleiding, afgelopen week kwam naar buiten dat Marvel een contract gesloten heeft met Stan Lee Entertainment (organisatie die zijn nalatenschap beheert) “to use his name, voice, likeness, and iconic signature across a wide number of applications—including, but not limited to, films and television shows, theme parks, merchandise, and undefined “experiences.” Dit artikel benadrukt hoe triest het is dat zo’n groot comic-schrijver ook na zijn dood nog uitgebuit wordt. Intel, Dell en Rolls-Royce hebben een tool gemaakt waarmee mensen hun stem veilig kunnen stellen, voordat ze deze verliezen aan bijvoorbeeld ALS. Al eerder deelde ik een video waarin acteur Val Kilmer via de computer met zijn gekloonde stem spreekt, hij speelt nu weer mee in het vervolg op Top Gun. Mooie voorbeelden van het gebruik van tekstsynthese voor poëzi e en de nieuwste versie van Dall-E . Je kunt het trouwens zelf ook uitproberen, voer de gewenste tekst in en zie wat Dall-e mini ervan maakt. Of speel met Copy.ai voor het genereren van teksten. Ook het satirische nieuwsblad De Speld gebruikte trouwens tekstsynthese (gpt3), het hielp bij het schrijven van teksten voor hun theatershow. Natuurlijk kan in dit kader een rapportage over ethische en sociale risico’s van taalmodellen (zoals GPT3) niet ontbreken. Met MyHeritage kun je niet alleen een gezicht in een foto laten bewegen, je kunt er nu ook een animatie mee maken waarbij je de personen in de foto een stem geeft om een verhaal te vertellen. Mensen van wie de stem niet overeenkomt met hun uiterlijk, zoals de transgender in dit artikel, kunnen nu een deepfake stem gebruiken in online games , om te voorkomen dat ze hiermee gepest worden. Er nieuw onderzoek tav deepfake detecti e verschenen, waarbij ze kijken naar gezichtsuitdrukkingen voor het detecteren van deepfakes. Dit zou in de bekende testsets leiden tot een score van 99%. Een mooie nieuwe invalshoek, maar goed te bedenken dat dit in een labomgeving is en dat bijvoorbeeld in sommige videoconferencing tools gezichten aan de ontvangende kant met deepfake technologie opnieuw worden gegenereerd om bandbreedte te besparen. De detector zou daarbij ten onrechte aangeven dat je met een fake-iemand in gesprek bent.
Hieronder weer een overzicht van nieuws en ontwikkelingen gerelateerd aan synthetische media. Vanwege het vertekende beeld dat de term ‘deepfakes’ geeft, zal ik het alleen nog maar hebben over synthetische versies van een stem, gezicht etc. Mede door de oorlog in Oekraïne en de desinformatie die verspreid wordt met synthetische versies van Zelensky en Poetin had het onderwerp de afgelopen periode weer de volle aandacht. Zorgelijk was het nieuws dat onderzoek uitwijst dat mensen niet alleen moeite hebben met onderscheid maken tussen echte en synthetische gezichten, maar ook nog eens de synthetische gezichten betrouwbaarder vinden. Geen wonder dat deze met AI gegenereerde foto’s veelvuldig gebruikt worden op LinkedIn. We kenden het gebruik al op Twitter in diverse desinformatie campagnes , maar op LinkedIn lijken (naast spionage of social engineering voor cybercrime) de nepprofielen ook volop ingezet te worden voor het genereren van nieuwe business . De gebruikte profielfoto’s worden (gelukkig) nog steeds vooral via de site thispersondoesnotexist.com gegenereerd. Deze maakt gebruik van verouderde technologie uit 2019, waardoor ze door detectietools herkend worden. Divers Tijdens de verkiezingscampagne maakte de Zuid Koreaanse presidentskandidaat Yoon Suk-yeol gebruik van een synthetische versie van zichzelf , waarmee hij succesvol een nieuw publiek wist aan te spreken. Meer dan 3.000 ingesproken zinnen en 20 uur audio en video werden gebruikt om de avatar te creëren. Zijn campagneteam bepaalde wat de avatar zei, daarmee goed aansluitend op de kiezers die ze wilden aantrekken, en die het blijkbaar niet erg vonden een hele andere persoonlijkheid voorgeschoteld te krijgen. Hij won de verkiezingen nipt, misschien gaf het de doorslag? De BBC Academie organiseerde eind maart de online conferentie " Trust In News " over onder andere desinformatie en deepfakes. Hierbij wordt ook ingegaan op de beperkingen van detectie technologie . In de laatste Iphone versies worden je foto’s zodanig gemanipuleerd door AI , dat mensen de camera liever niet gebruiken. Intel, Dell en Rolls-Royce hebben een tool gemaakt waarmee mensen hun stem veilig kunnen stellen, voordat ze deze verliezen aan bijvoorbeeld ALS. Het Stimuleringsfonds Creatieve Industrie heeft Yori Ettema en Parnassia Groep de gelegenheid geboden DeepMemory verder te verkennen. In deze tweede fase gaan het team een haalbaarheidsstudie doen. Het vermoeden is dat angstige mensen via het zien van een deepfake hun angsten kunnen verminderen. Tijdens de conferentie in Dubai zat ik samen met een politieman uit Nieuw Zeeland in een panel. Hij vertelde me later over hun ervaringen met Ella, Nieuw Zeelands eerste synthetische politieagent e . Het blijkt dat de chatbot technologie en spraakherkenning/synthese nog onvoldoende zijn voor spontane realtime interacties. Het werkt vooral goed in zeer gecontroleerde omstandigheden, waarbij thema's en antwoorden goed afgebakend zijn. Fijn om zo van anderen te kunnen leren! Desinformatie nieuws: Deze handreiking van BZK geeft ambtenaren en bestuurders juridische en praktische tips om de impact van desinformatie te verminderen en geeft aan wat organisaties kunnen doen als ze ermee te maken krijgen. Er is onderzoe k gedaan naar multiplatform aanpak bij informatieoperaties: pogingen om het informatie-ecosysteem te verstoren door middel van methoden zoals de verspreiding van desinformatie: Theoretically, based upon the empirical findings presented, I reconceptualize information operations as not solely the product of inauthentic coordinated behavior (orchestrated bots and trolls) but as also involving authentic (as in real, sincerely participating) actors that loosely collaborate in the production, synthesis, and mobilization of disruptive narratives that serve the strategic goals of the information operation. Methodologically, I contribute to a growing body of work in the area of disinformation and online activism that utilizes a mixed-method approach to research. And, based on my examination of a multi-platform information operation, I end with implications for social media platform policy. Een analyse van de rol van tiktok in de online oorlog tussen Oekraine & Rusland. Deel vooral voorbeelden die je zelf tegenkomt, ideeën of ervaringen. Wil je tussendoor op de hoogte blijven, volg me dan op Twitter; @Digitalks_eu
Er is weer een hoop gebeurd deze maand, het meest opvallend vond ik hoe `normaal` het klonen van jezelf om bij te verdienen wordt. Lees hier over studente Liri die een bijbaan in de horeca heeft, maar daarnaast ook nog in diverse landen bijverdient met onder andere reclames, interviews en instructievideo´s. Dit kan doordat ze de rechten op haar gezicht heeft afgestaan aan het bedrijf Hour One, die meerdere klonen in portefeuille heeft. Het roept bij mij vragen op over wenselijkheid, de kleine lettertjes, maar ook over wat er met jouw kloon gebeurt als een dergelijk bedrijf failliet gaat… Gecombineerd met tekstsynthese worden klonen steeds autonomer en je hebt geen idee wat de digitale versie van jou zegt en doet. Ethische aspecten bij deepfakes van overledenen De afgelopen maand was er veel ophef over een documentaire waarin een deepfake versie van de stem van Anthony Bourdain is gebruikt om door hem zelf geschreven teksten voor te lezen. Dat de ophef hierbij ontstond was verrassend, het waren zijn eigen teksten en ook worden overleden personen al heel lang gebruikt, zelfs in reclames . Blijkbaar maakt het horen van iemands stemkloon meer los, wellicht dringt hiermee pas de enorme impact door van de mogelijkheden van synthetische media. Het is goed dat het gesprek gevoerd wordt over de ethische dilemma’s en nodige regelgeving rondom het gebruik van overleden personen. Bij de inzet van bijvoorbeeld Dali en Einstein was er weinig discussie, het was voor educatieve doeleinden. Maar in het kader van rouwverwerking ligt het al gevoeliger, niet alle nabestaanden voelen zich hier goed bij. Het wordt nog ingewikkelder als de toepassing een commerciële of haast politieke lading krijgt, zoals de inzet van de Spaanse zangeres Lola Flores in een reclame voor bier of het gebruik van deepfakes van slachtoffers van de explosie in Libanon om gerechtigheid te vragen. Ook in Nederland ontbreekt afdoende wet- en regelgeving en is het nodig dat we het gesprek aangaan. Niet alleen in de context van post mortem privacy, ook om mensen te beschermen. We kunnen gewoon niet overzien wat de consequenties zijn van het afstaan van rechten op `jezelf` in digitale vorm. Steeds meer Deepfakes-as-a-Service Volgens Recorded Future zie je nu ook steeds meer maatwerk en handleidingen specifiek gericht op enerzijds het omzeilen van security systemen en anderzijds het automatiseren van phishing pogingen via email of op communicatieplatformen zoals Slack and Microsoft Teams. Cybercriminelen profiteren van de thuiswerktrend om medewerkers te manipuleren met goed getimede voicemailberichten van hun baas/collega, of een slack-bericht met dezelfde boodschap. Omgevingen die gebruikers impliciet vertrouwen omdat het een alternatieve werkomgeving is. In het overzichtsartikel wordt ook verwezen naar de kwetsbaarheid van biometrische verificatiesystemen. Is AI een zelfstandige entiteit? AI kan prachtige kunst maken en ook uitvindingen doen. Zou AI daarmee ook een patent kunnen aanvragen? Zowel in Zuid Afrika als in Australië is nu een patent toegekend aan een AI. Een woordvoerder van het Europese patent bureau heeft aangegeven aan dat hier nog steeds geldt dat AI vooral een instrument is, in gebruik bij de mens. Ook in de VS kunnen nog steeds alleen mensen een patent aanvragen. Divers Goed nieuws op het gebied van het waarmerken van foto’s op websites. Truepic, onderdeel van de Coalition for Content Provenance and Authenticity ( C2PA ), lanceert een software development kit (SDK) om de metadata van foto’s, op het moment dat deze gemaakt worden met de camera vanuit een app, te verifiëren inclusief tijdstempel en geolocatie. Dit artikel dat ingaat op risico’s van deepfake technologie bij militaire operaties. Enerzijds kan het gebruikt worden om deepfakes te maken waarbij krijgsgevangenen dingen zeggen die het thuisfront en/of de operatie kunnen ondermijnen, anderzijds kunnen deepfakes gebruikt worden om de mentale gesteldheid van de gevangenen te beïnvloeden. Door keelkanker verloor acteur Val Kilmer zijn stem, maar dankzij AI is hij nu weer in staat met zijn eigen stem te spreken. Luister vooral naar dit fragment over zijn creatieve ziel ie zich weer kan uiten. Er komen steeds weer nieuwe en betere tekstsynthese modellen. Wil je het een keer ervaren, ga dan in gesprek Kanye West . Onderzoekers zijn er in geslaagd zogenaamde “ Master Faces ” te creëren waarmee ze 40% van de gezichten konden imiteren uit de dataset van 3 bekende gezichtsherkenningssystemen (Dlib, FaceNet en SphereFace). Dit was mede mogelijk doordat deze dataset een grote bias had richting oudere, blanke mannen. Het laat weer zien hoe met deepfake technologie getraind kan worden op het misleiden van biometrische herkenningssystemen. Toegift In mijn masterclasses refereer ik ook naar de mogelijkheden van online microtargeting. Deepfakes kunnen als middel bijdragen aan zowel de impact als verspreiding van (des)informatie die specifiek op jou gericht is. Dit artikel van Haroon Sheikh over hoe dit ons kan beïnvloeden gaf mij weer een nieuwe invalshoek. Heb je vragen, ideeen of tips? Laat ze hieronder achter, of als je niet kunt inloggen kun je me ook op LinkedIn bereiken of via Twitter . Om deze update maandelijks in je mail te krijgen kun je een mailtje sturen naar update [apestaartje] digitalks.eu
Soms heb je een regenachtige dag nodig om al je bewaarde linkjes door te nemen. Er was weer genoeg nieuws afgelopen periode, zoals dit rapport over deepfakes voor het Europees Parlement. Naast een goed overzicht van ontwikkelingen (ook audio en tekst) schetst het 5 dimensies voor het aanpakken van de negatieve impact van deepfakes: 1. the technology dimension, 2. the creation dimension, 3. the circulation dimension, 4. the target dimension, and 5. the audience dimension. Er wordt ook gewezen op het belang van contextuele informatie en achtergrondkennis bij het beoordelen van de authenticiteit van informatie. Om een betrouwbaar beeld van de werkelijkheid te krijgen zullen zowel individuen als organisaties nieuwe vaardigheden en procedures moeten ontwikkelen. Gelukkig onderkennen steeds meer organisaties dit en groeit ook het bewustzijn dat de meerwaarde van deepfake-detectie tools zeer beperkt is. Nuttiger is deze, voor iedereen beschikbare, plugin , ontwikkeld om journalisten te helpen bij het vaststellen van de authenticiteit van content op social media. Synthetische klonen; Digital Twins De term digital twins gaat niet alleen over steden en objecten, de term wordt ook steeds vaker gebruikt voor synthetische klonen van mensen. In eerdere updates deelde ik al enkele platformen waarop mensen een deepfake kloon van hun stem of gezicht in licentie geven. Ook Bruce Willis heeft ontdekt dat hij op deze manier vanuit zijn luie stoel veel geld kan verdienen. Hier het eerste resultaat, zie jij dat het nep is? Zangeres Holly+ heeft inmiddels ook een “ AI-powered deepfake digital twin ” van haar zangstem beschikbaar gesteld. Iedereen kan nu muziek maken en haar stem daarin gebruiken. De CEO van NVIDIA ging nog een stap verder, gedurende 14 seconde van zijn presentatie op een online congres, werd hij onopgemerkt vervangen door een synthetische kloon (volledige lichaam). Als je achteraf terugkijkt zie je dat beeld en geluid niet helemaal synchroon zijn, maar dat gebeurt wel vaker tijdens online presentaties, dus als je in het verhaal zit valt dit niet op. Bescherm je (biometrische) data Verkopers op de Chinese zwarte markt bieden nu databases aan met foto's van gezichten van mensen inclusief wat persoonlijke informatie (bv telefoon en bankreknr.) voor 0,07dollar per stuk. Deze kunnen gebruikt worden voor identiteitsdiefstal. Voor 5 dollar extra krijg je er deepfake software bij waarmee je de foto's kunt animeren om de beveiliging van diverse apps te omzeilen. Deze apps die werken met gezichtsherkenning, vereisen dat je knippert met je ogen of knikt, zo testen ze dat je niet een foto voor de camera houdt. Voor het Westen zijn dit soort ID-diefstal pakketten nog niet aangetroffen, maar het laat wel zien wat de nadelen zijn van een toekomst waarbij je gezicht steeds vaker als wachtwoord dient. Van afschermen biometrische informatie naar concrete misleiding Naast de toenemende mogelijkheden om iemands biometrische kenmerken te klonen, komen er ook steeds meer mogelijkheden biometrische systemen te misleiden. Vorig jaar toonde MacAfee al aan dat je een foto kunt maken die voor de mens op persoon A lijkt en voor een gezichtsherkenningssysteem op persoon B. Een Israelisch bedrijf heeft nu met een andere techniek hetzelfde bereikt. De journalist van dit artikel wordt nu herkend als Mark Zuckerberg. Divers Audio wordt steeds vaker ingezet ter verspreiding van desinformatie. In dit artikel een toelichting over het gebruik door Jordanië van Clubhouse fragmenten. Op dit moment betreft het nog cheapfakes (knip en plakwerk), maar diezelfde, via social media gedeelde audio van mensen kan ook gebruikt worden om de stemmen te klonen. In deze syllabus vind je trouwens een holistische benadering van desinformatie. De rol van (vooral Amerikaanse) historische ontwikkelingen, machtsverhoudingen, cultuur en ongelijkheid wordt meegenomen om het fenomeen te analyseren. Er is een nieuwe versie aangekondigd van DeepFaceLive (bekend van gebruik voor face swapping in pornofilms). Hiermee wordt het mogelijk om ook in livestreams gezichten te vervangen door die van beroemdheden. Bij bewegende deepfake (GAN) beelden zie je vaak dat niet alles even goed mee beweegt, een baard of oorbel wordt niet als gezicht herkend en blijft op dezelfde plek in het beeld terwijl het gezicht beweegt. Onderzoekers hebben daar nu een oplossing voor; alias-free gan . De positieve toepassingen van synthetische media (deepfake technologie) vallen soms een beetje weg in de berichtgeving over de negatieve kant, al eerder berichtte ik over de toepassingen in de medische sector, zoals het klonen van de eigen stem voor mensen met ALS en trauma verwerking. Dit Twitter draadje deelt ook nog mogelijkheden zoals het genereren van ideeën, teksten en video’s ten behoeve van marketing, trainingen en voorlichting. Mogelijkheden die nu voor iedereen toegankelijk zijn zonder specialistische kennis, denk aan ZZPers en het MKB
Een ALS-patiënt die via de computer, met zijn eigen stem kan spreken. Dali die in contact treedt met de bezoekers in het museum. Het doen herleven van Leia in Star Wars. De nieuwslezers die 24/7 het nieuws brengen, zonder ooit moe te worden. Allemaal mogelijk dankzij Artificiële Intelligentie (AI), en voor steeds meer mensen toegankelijk. Deze week lanceerde Unreal Engine nog MetaHuman , een tool waarmee iedereen synthetische personages kan creëren. Deze door AI gegenereerde of gemanipuleerde media, zogeheten 'synthetische media' bieden zo waardevolle nieuwe toepassingen in de vorm van synthetische foto’s, video’s, audio en tekst. Helaas zijn er ook steeds meer malafide toepassingen van synthetische media. Het meest bekend zijn de zogenaamde deepfakes. Hierbij gaat het om synthetische foto’s en video’s die bewust met AI gegenereerd of gemanipuleerd zijn om gebruikt te worden als middel in de context van criminaliteit of desinformatie. De achterliggende tools en technieken zijn breed toegankelijk en ook zijn er diverse aanbieders van deepfakes op maat. Naast deepfakes, wordt ook synthetische audio voor criminele doeleinden ingezet, bijvoorbeeld bij CEO-fraude . Net als tekstsynthese, die bijvoorbeeld gebruikt wordt in chatbots gericht op het verspreiden van desinformatie, discriminerende berichtgeving en haatberichten. De opkomst van synthetische media raakt het werk van elke informatie gestuurde organisatie. Overal waar we open bronnen of informatie van derden inzetten voor onze informatiepositie, zijn we kwetsbaar voor synthetische media. Ook de politie en strafrechtketen worden geraakt; malafide synthetische media zoals deepfakes vergroten bijvoorbeeld het risico dat het strafrecht ten onrechte jegens een persoon wordt ingezet. Want als je nog niet weet of het synthetische media betreft, wie is dan de verdachte? Waar richt je je op, degene die is afgebeeld of degene die de foto heeft gemaakt? In het rapport 'AI-enabled future crime' uit 2020 wordt het nabootsen van mensen in beeld en geluid als grootste bedreiging gezien. In het rapport ' Malicious Uses and Abuses of Artificial Intelligence ' van Europol van eind 2020 wordt ook veel aandacht besteed aan de wijze waarop tekstsynthese social engineering en gedigitaliseerde criminaliteit faciliteert. De ondermijnende effecten van tekstsynthese voor de samenleving werden afgelopen zomer ook door Wired al benadrukt. Dit komt voort uit de ontwikkeling dat nagenoeg elke organisatie nu onderdeel en afhankelijk is van het globale informatie-ecosysteem (internet), waar niemand nog grip op heeft. De urgentie om er een aanpak op te ontwikkelen is groot. Dit wordt onderschreven door de rapportages van het bedrijf Sensity.AI , dat de ontwikkelingen rondom deepfakes monitort. De exponentiële groei die zij signaleren in synthetisch gemanipuleerde foto’s en video’s baart zorgen en onderstreept de urgentie om malafide toepassingen tegen te gaan. Eind 2020 publiceerden ze een rapport over deepfake-bots op Telegram. Als je daar een foto van iemand mee deelt, krijg je een naaktfoto van de betreffende persoon terug. Je hoeft daarvoor zelf geen enkele technische kennis meer te hebben. Helaas zijn er geen goede tools voor geautomatiseerde detectie van malafide synthetische media zoals deepfakes. Op langere termijn zullen deze detectietools naar verwachting ook geen uitkomst bieden. Enerzijds omdat diezelfde detectoren gebruikt worden om betere deepfakes te creëren, waardoor deepfakes naar verwachting straks zo goed zullen zijn dat detectie niet meer mogelijk is. Anderzijds omdat met de exponentiële toename van synthetische media, detectie hiervan tot een bijna 100% hit zal leiden en het onderscheiden van malafide en niet-malafide media op deze basis ondoenlijk wordt. Met het oog op betere dienstverlening, entertainment of het aanpakken van maatschappelijke vraagstukken, wordt steeds meer content synthetisch gegenereerd. Experts verwachten dat binnen 7 jaar meer dan 90% van de online content synthetisch is. Dat gebeurt zichtbaar zoals bij de voorbeelden in de eerste paragraaf, maar het gebeurt ook ongemerkt, achter de schermen. De doorontwikkeling van videoconferencing tools laat dit goed zien. Eerder lekte al uit dat Apple bezig was met software die een oog-correctie toepast, zodat je aan de ontvangende kant iemand ziet die je vol aandacht direct in de ogen kijkt in plaats van omlaag op het scherm. En omdat bandbreedte vaak een probleem vormt bracht NVIDIA eind vorig jaar een oplossing op de markt waarmee nog slechts een aantal punten van je gezicht over de lijn gaan, waarna je gezicht aan de ontvangende kant, op basis van een eerdere snapshot en die punten, door de computer synthetisch gegenereerd wordt. 'Fake' gezichten dus, maar niet met de intentie om criminaliteit te plegen. Het begon ooit met de automatische correctie van rode ogen, inmiddels past de software op onze telefoons en andere apparaten al veel meer automatisch aan zonder dat wij ons daar bewust van zijn. Het is immers nooit bedoeld als bewijsmateriaal. Maar als gezichten straks automatisch zo aangepast worden dat ze in de camera kijken, wat betekent dit dan voor de bewijskracht van de beelden? Ook de synthetische, door de computer gegenereerde, realiteit is authentiek. Synthetisch gegenereerde beelden of audio kunnen dienen als bewijs of sturingsinformatie. Maar om de betrouwbaarheid en bewijskracht vast te stellen is wel extra inspanning nodig. De impact op het politiewerk is enorm, maar elke informatie verwerkende organisatie wordt erdoor geraakt. Hoe controleer en beheers je (de kwaliteit van) informatiestromen. Dit gaat niet alleen over online informatie, het raakt ook de informatie die gegenereerd wordt vanuit de sensoren die in steeds meer processen bij bedrijven en overheid een rol spelen, het zogenaamde (industriële) internet of things. Nieuwe waarborgen en procedures zijn nodig om op eenduidige wijze waarde toe te kennen aan deze informatie. Daarbij moet in ogenschouw worden genomen dat de samenleving kritischer zal worden; informatie en bewijs kunnen steeds makkelijker afgedaan worden als deepfake. We zien het nu al gebeuren in de politiek. Maar als echt bewijs gemakkelijk kan worden afgedaan als deepfake, verdwijnt de kracht van de journalistiek, de politie en rechters; een belangrijke fundament van onze rechtsstaat. Internationaal wordt daarom door mediabedrijven en journalistiek al gewerkt aan methoden om bij het vervaardigen van beeld en geluid reeds waarborgen voor authenticiteit toe te voegen, een soort watermerk. Een ontwikkeling die navolging verdient. Fascinerende ontwikkelingen en nog maar een glimp van wat de toekomst gaat brengen. Momenteel zijn we aan het uitwerken hoe we hier de komende tijd invulling aan kunnen geven. Natuurlijk is de eerste prioriteit het opbouwen van kennis en het creëren van bewustwording. Maar daarnaast heb ik het idee dat we de begrippen echtheid en bewijs opnieuw context moeten geven. Eenieders input hierbij is heel welkom.