Augmented Reality

Bij de metaverse denken mensen vooral aan de online 3D-platformen. Metaverses in de zin van volledig virtuele leefwerelden. Het concept van de Metaverse staat echter ook voor de digitalisering van de fysieke wereld.

 
 Hierbij worden aan de fysieke omgeving steeds meer informatielagen toegevoegd. Deze kunnen bijvoorbeeld afhankelijk zijn van waar je bent, zoals bij navigatiesystemen. De meeste toepassingen maken gebruik van de smartphone, waarbij de informatie nog steeds in 2D als tekst of plaatje op je scherm weergegeven worden.

Maar de informatie kan ook ruimtelijk weergegeven worden en helemaal afgestemd op jouw profiel.  Op een terrasje kun jij met een (mogelijk zelfs overleden) vriend een potje schaak spelen, zonder dat de andere aanwezigen dit zien. Iedereen krijgt zijn eigen, gepersonaliseerde werkelijkheid.De eerste prille aanzet hiervoor zag je bij de slimme autoruiten, waarbij de informatie op de juiste plek in de ruimte om je heen geprojecteerd wordt, maar ook de vele fimpjes van mensen met een Vision Pro op  op straat rondlopen laten mooie ervaringen in dit opzicht zien.

Digital Twins

 Om ruimtelijke projecties mogelijk te maken worden digital twins gecreëerd. Digital twins zijn virtuele representaties van (delen van) de fysieke wereld, inclusief objecten, levende organismen, processen, relaties en gedrag. Het concept bestaat al decennia en werd in het begin vooral in de industrie gebruikt, waarbij op afstand uitleesbare sensoren werden toegevoegd aan machines om beter en sneller inzicht te krijgen in de status en benodigd onderhoud. 
Vergelijk het met de sensor die die meet hoe vol de benzinetank is en een lampje laat branden als je moet tanken. Recent voorbeeld is hoe Tesla van iedere auto een werkende digital twin onderhoudt in haar datacenter. Op basis daarvan kan onderhoud worden gepland, maar kunnen ook verbeteringen voor nieuw te bouwen exemplaren worden ontworpen. Van Tesla is bekend dat zij op deze manier voortdurend aanpassingen doen aan productielijnen, zowel ten behoeve van kwaliteitsverbetering als kosten reductie.

Digital Twins worden ook gebruikt om effectiever samen te werken. De digital twin die voor de Nijmeegse 4-daagse is gebouwd vergemakkelijkt de samenwerking tussen partners doordat je samen naar een 3D omgeving kijkt waarin het gezamenlijke effect van de acties per organisatie goed zichtbaar wordt.  Overheden van Singapore en Seoul werken aan een digital twin van het land, om zo complexe maatschappelijke vraagstukken aan te pakken. Hoewel soms aangeduid als metaverse, gaat het om specifieke 3D-samenwerkomgevingen.  

Bij deze toepassingen gaat het om een virtuele representatie van de fysieke wereld die je in een data- of 3D-omgeving wilt krijgen of zelfs in een metaverse, denk aan de avatar (digital twin van jou) die jij met jouw bewegingen bedient of dat je kunt rondlopen in een kopie (digital twin) van Amsterdam.

Digital twins: altijd een benadering van de werkelijkheid

Steeds vaker bestuurt de digital twin geautomatiseerd zowel een systeem in de fysieke werkelijkheid en als het daaraan gerelateerde gedrag. Denk aan het schip of vliegtuig op de automatische piloot, of een simpeler voorbeeld als de slimme afvalbak. Deze heeft een vulsensor die meet hoe vol hij is. Als de bak vol is, wordt deze automatisch ingepland op de route van de vuilniswagen.  
Daarmee is het een heel simpel voorbeeld van hoe digital twins meer invloed krijgen op ons gedrag. De digital twin van de afvalbak wordt gevormd door de waarde van slechts één sensor en die bepaalt mede hoe de vuilniswagen door de stad navigeert. Om te weten wat het effect is op jouw waarnemingen en de mate waarin je beïnvloed wordt door de extra informatielagen, is het belangrijk inzicht te hebben in hoe de Digital Twins tot stand komen.

 
Welke aannamen liggen ten grondslag aan de verschillende bronnen die gebruikt worden? Hoe worden deze gevoed? Digital Twins zijn altijd slechts een beperkte benadering van de werkelijkheid.

 Deze werkelijkheid kan onbewust gemanipuleerd zijn, bijvoorbeeld als een telcamera mensen voor een 2^e keer meetelt als ze even achter een object verdwenen zijn. Of een blaadje dat blijft steken voor de vulsensor van de afvalbak.

 “We will soon reach a point when we will no longer be able to tell if a dataset has been
tampered with, either intentionally or accidentally.”

Future Today Institute; Tech Trends 2022

Maar als je weet welke bronnen gebruikt worden en hoe deze tot stand komen, kun je de perceptie van de werkelijkheid (het digitale filter) ook bewust manipuleren en zo gedrag beïnvloeden. Een kunstenaar in Berlijn liet dit zien door zelf een file te genereren op Google Maps. Mensen die met de auto naar het werk kwamen gaven aan dat het zo druk was in de stad dat ze moesten omrijden, terwijl mensen die te voet waren gekomen juist genoten hadden van de rust. Vergelijkbaar met de online informatiebubbels, zie we dat met de opkomst van de Metaverse mensen ook fysiek vaker een eigen werkelijkheid ervaren. Voor de politie gaat het dus niet alleen om inzicht te krijgen in hoe de eigen waarneming beïnvloed wordt, maar ook begrijpen hoe de waarneming van een aangever, getuige of partner gemanipuleerd kan zijn.

Een branche waar hier al rekening mee wordt gehouden is de psychiatrie. Het bleek dat patiënten als hen gevraagd werd hoe ze geslapen hadden, het antwoord baseerden op wat de slaap-app tegen hun gezegd had, het voelen werd uitbesteed aan de app. Sommigen vragen nu “hoe uitgerust voel je je” om een beter beeld te krijgen.

Augmented reality of spatial computing?

Het realtime kunnen genereren van digital twins van de fysieke omgeving is noodzakelijk om de gepersonaliseerde informatie ruimtelijk goed te kunnen weergeven in de fysieke wereld. Tot voor kort werd dit hoofdzakelijk aangeduid als augmented reality. Met de lancering van Apple’s Vision Pro zie je dat steeds vaker de term Spatial Comupting wordt gebruikt. Dit doet recht aan het ruimtelijk aspect dat een dominante rol speelt. Maar het staat ook symbool voor de gedachte van mensen dat dit een revolutionaire nieuwe manier van werken met de computer introduceert, een nieuw “operating systeem” voor het ruimtelijk kunnen werken waarbij je veel makkelijker overzicht houdt. Zelf vind ik het nog lastig voorstellen, maar omdat we de komende maanden er veel over zullen horen deel ik hieronder een fragment uit een interview met Martijn Aslander waarin hij wat meer context geeft;

“…Daarna ontdekte ik via de boeken van Joshua Foer en Daniel Levitin veel over de werking van ons brein. Met name over ons ruimtelijk-visueel geheugen dat enorm krachtig is en waar schermwerkers weinig tot niets mee doen. De interfaces van de computer dwingen ons tot het lezen van titels van documenten en mappen, uitzonderingen met preview modes daargelaten. Elk document en elke map zien er op het eerste gezicht even belangrijk uit. Dat lezen doen we vooral met onze prefrontale cortex (die al flink is overbelast), terwijl het ruimtelijk-visueel geheugen vooral goed is in het herkennen en interpreteren van lay-outs en landmarks (herkenningspunten)……..

De Vision Pro is zo’n nieuw paradigma voor computerinterfaces dat het nog wel een tijdje zal duren voordat mensen überhaupt gewend zijn aan het idee. ….. Zelf ben ik wildenthousiast over de ‘nieuwe computer’ van Apple. We gaan hiermee een nieuw tijdperk in; dat van spatial computing. Weg met de beperkingen van de 2D-omgeving en het toetsenbord. Weg met mappen en submappen. Weg met documenten zelfs. Want die zijn geweldig als eindproduct in de vorm van een boek of rapportage, maar zo ongelooflijk armoedig als het gaat om slim en snel samenwerken. Het A4’tje is een overblijfsel van de typemachine, daar moeten we snel vanaf.

Al die papieren, mappen en submappen dienen uiteindelijk maar één doel: samenwerken door informatie te creëren, af te stemmen en te beschouwen. Dit wonderlijke apparaat van Apple maakt volgens iedereen die ermee heeft gewerkt alles waar. Ik zie mezelf niet uren per dag met zo’n bril op, maar als ik ermee door mijn virtuele hal en kantoren kan wandelen, babbelend met anderen, en ik heb overzicht, dan kan ik vele malen meer doen in veel minder tijd dan nu.”

Martijn Aslander

[2] https://vrscout.com/news/wayray-ar-tech-turns-the-tesla-into-a-game-console/

[5] Zie dit rapport voor een verdere verdieping op digital twins in de publieke ruimte https://stt.nl/media/pages/toekomstverkenningen/technologiemonitor-2022-digital-twins-in-an-urban-environment/the-technology-monitor-2022-digital-twins-in-an-urban-environment/96591abd4e-1687520567/stt-technology-monitor-2022_digital-twins_def.pdf