Immersive tech woordenboekje

AR – VR – XR – MR

home > Immersive kennisbank

Wat is de Metaverse, Augmented Reality, Virtual Reality en wat is Mixed Reality? Veel gestelde vragen en antwoorden...


Kennisbank voor AR – VR – MR – XR

Veel gestelde vragen over Augmented Reality en andere zaken binnen het vak van immersive/spatial computing.

Let op, deze pagina is zeker niet bedoeld om volledig te zijn. Met meer dan 10 jaar ervaring is Augmented Reality nog steeds een jonge technologie die zich welliswaar razendsnel ontwikkeld…

Het zou ondoenlijk zijn om op alle vragen een genuanceerd antwoord te geven. Als je vragen hebt over AR die je online niet kunt vinden dan kun je ons bellen of een e-mail sturen. Dat kan ook als je een suggestie voor ons hebt over deze kennisbank.

…wat ArtiShock doet met AR

Augmented Reality veel gestelde vragen

De Metaverse is een digitale multi dimensionale omgeving die bestaat uit visuele, tactiele & auditieve informatie die zich mengt met de werkelijke fysieke omgeving.

Je kan je erin begeven zoals in Virtual Reality. Ook Augmented Reality, Bitcoins, het internet en andere digitale media en mediums maken er deel van uit. Het woord metaverse is een samenstelling van het voorvoegsel “meta” (‘over’, of ‘betreffende’) en het Engelse woord “universe” en wordt gebruikt om een volgende generatie van het internet te beschrijven (web4).  Andere bekende namen zijn Cyberspace en The Matrix. Beide termen zijn van de de schrijver William Gibson uit zijn in 1989 gepubliceerde boek Neuromancer.

Metaverse is dus meer dan oude wijn in nieuwe vaten wat naamgeving betreft. Zo maken 3D, Artificial Intelligence, social media, digitale kleding, web4 en Avatars ook deel uit van dit multiversum. En nee, meta is heeft niets met Facebook te maken…

Letterlijk vertaald betekent Augmented Reality “toegevoegde realiteit”. Augmented Reality is een methode om digitale informatie toe te voegen aan de werkelijke wereld. Deze informatie kan van alles zijn zoals tekst, grafische visualisaties, 3D materiaal, video en audio.

Een compacte uiteenzetting staat hier

Virtuele werkelijkheid of schijnwerkelijkheid (Engels: virtual reality, afgekort: VR) simuleert een omgeving via een computer om een gebruiker via diverse zintuigen onder te dompelen in een ervaring.

De meeste VR-omgevingen zijn visueel en auditief. Dat gaat via speciale stereoscopische brillen en geluid. Geur- en tast effecten worden steeds vaker toegevoegd. De term VR is waarschijnlijk bedacht door internetpionier Jaron Lanier, oprichter van VPL Research het woord in 1989. Het bedrijf bouwde vroege VR-systemen in 1980. Het begrip wordt vaak in één adem genoemd met cyberspace en internet. Het is ook het eerste VR bedrijf dat failliet ging 😉

AR is in zekere zin gerelateerd aan Virtual Reality.

Het grote verschil is echter in dat bij Virtual Reality de ervaring van de echte wereld wordt vervangen door een de ervaring van een digitaal gegenereerde omgeving.

Augmented Reality is een extra informatielaag die wordt toegevoegd aan de waarneming in de werkelijke wereld. Virtual Reality richt zich meer op zogenoemde “immersive” belevingen. Augmented Reality zich meer richt op spatial computing en ruimtelijke communicatie.

Mediated Reality verandert onze waarneming van de realiteit door in realtime informatie toe te voegen of te verwijderen via een apparaat zoals een headset of smartphone. Met andere woorden, Augmented Reality plus verminderde realiteit is gelijk aan de mediated reality. Deze vorm van realiteit biedt een verbeterde visuele ervaring, in plaats van alleen AR of VR te gebruiken.

Dit onderscheid is een relatief dun. In de meest strikte zin geeft Augmented Reality informatie weer bovenop een echte weergave. Terwijl Mixed Reality je in staat stelt om de inhoud te laten interacteren met de werkelijke omgeving. Bijvoorbeeld een bal die op de grond stuitert.

Dit vergt meestal een flink begrip van de werkelijke omgeving en is op dit moment vooral toepasbaar met bijvoorbeeld Augmented Reality Headsets zoals bijvoorbeeld de Hololens en de Magic Leap

Extended Reality is zuiver gezien digitale informatie die gegenereerd wordt door een machine en gevisualiseerd wordt in AR of VR. Tegenwoordig is het meer gebruikelijk om de term ‘XR’ te gebruiken als verzameling van AR, VR en MR.

Ja, je kunt zelf aan de slag om eenvoudige Augmented Reality belevingen te maken. Iedereen die een beetje handig is met computers kan dat zelf.

Facebook: Ook FaceBook heeft een applicatie om -zonder code- zelfstandig AR te maken met Spark ARstudio.

Meer voor publishing: Dit kan met bijvoorbeeld Zappar en HP reveal .

Ook kun je met de app ‘Augment’ zelf een kanaal aanmaken om AR te laten zien, dat kan ook met Snapchat.

De meest bekende in Nederland was Layar (recentelijk overgenomen door Blippar).

Dit zijn -naast legio ander oplossingen- de makkelijkst toegankelijke AR-oplossingen.

Bijna alle uitingen die met computers worden gegenereerd kunnen worden gebruikt in Augmented Reality. Dit kunnen 3D-modellen zijn, grafisch materiaal, games, video, tekst en audio. De mogelijkheden zijn eindeloos te noemen.

Toepassingen

Het wordt toegepast in entertainment, educatie, marketing & sales maar ook in functionele zin in de vorm van applied AR in de industrie.

Industrie

Zo kun je met objectherkenning een machine herkennen en daar een digitale informatielaag aan toevoegen, handig om een engineer handvaten te geven om iets te repareren.

Er zijn meerdere vormen van Augmented Reality te onderscheiden:

  1. Broadcast AR: Bij de “spiegel” vorm kijkt de gebruiker naar een beeldscherm waarin hij/zij zichzelf ziet, samen met het Augmented Reality model. Zowel de gebruiker als het digitale model bevinden zich aan dezelfde kant van het beeldscherm.
  2. Screen AR: Bij het “lens” model is er een beeldscherm waarop je het AR model kunt zien. Hierbij bevindt dit scherm zich tussen de gebruiker en het AR model. Dit scherm kan naast een beeldscherm van een smartphone bijvoorbeeld ook een AR bril zijn (Hololens/Magic Leap), maar meestal zijn het AR apps die je op je smartphone kunt beleven.
  3. Projected AR: Het belangrijkste kenmerk van ruimtelijke Augmented Reality is dat het object met een fysiek object wordt gecombineerd. De meest bekende is Projection Mapping (of 3D Video mapping). Er zijn al vele projecties op gebouwen en andere objecten te verzinnen.
  4. Hologrammen: Een holografische projectie valt eigenlijk ook onder Projected AR. Als voorbeeld de projectie van een artiest op een podium (dat doen ze met een gaasdoek) of een reflectie van een beeldscherm op een driehoek (Hologram display/Holobox)

Augmented Commerce: het kopen en verkopen van goederen online met behulp van augmented reality om producten virtueel in de echte wereld te visualiseren voordat ze worden gekocht. Augmented commerce is de volgende evolutie van e-commerce. Shoppers kunnen producten thuis in een levensechte augmented reality proberen voordat ze via hun apparaat kopen.

Als voorbeeld de IKEA AR app…

Augmented Reality kan worden beleefd op smartphones, tablets, via smart-glasses maar ook via reguliere desktop computers. Via een app op een smartphone kunnen gebruikers AR beleven op basis van beeldherkenning, objectherkenning en geo-positie. Maar ook zaken als bewegingen, audio, thermografie en kleurherkenning kunnen triggers zijn voor AR.

AR kan ook ruimtelijk (spatial) worden gepositioneerd zodra het device de omgeving “begrijpt”. Zo kunnen is spatial tracking (voornamelijk met smartglasses zoals de Hololens en Magic Leap) maar is er ook ground-plane tracking mogelijk.

De Augmented Reality technologie kan ervoor zorgen dat toegevoegde informatie op een intuïtieve manier wordt weergegeven en dat er interactief mee omgegaan wordt. Augmented Reality kan ervoor zorgen dat gebruikers een beter begrip van de werkelijkheid krijgen.

  • Betaalbaarheid: een oplossing die overal en altijd binnen handbereik is voor een zo groot mogelijke doelgroep moet betaalbaar of zelfs gratis zijn;
  • Zelfstandigheid versus samenwerking: de gebruiker verwacht aan de ene kant een autonome werking van de AR-toepassing, aan de andere kant de verwachting van samenwerking met andere toepassingen;
  • Tracking: realtime tracking is het belangrijkste vereiste van een AR-systeem. Beeldherkenning moet vloeiend zonder haperingen verlopen;
  • Gemak: het systeem moet gemakkelijk te gebruiken zijn voor doorsnee consumenten. De soft- en hardware moeten toegankelijk zijn zoals bijvoorbeeld apps en smartphones;
  • Vernieuwing: belangrijk is om continu tijd en energie te steken in het bedenken en ontwikkelen van nieuwe oplossingen of prototypes;
  • Structuur: gebruikers verwachten praktische voordelen die makkelijk werken, een goed design en user experience is van belang.
  • AR wordt gebruikt in marketing (advertising);
  • Er worden op dit moment Augmented en Virtual Reality films gemaakt waarbij bioscoop bezoekers zich nagenoeg in de scenes zelf bevinden;
  • In tijdschriften en drukwerk waarbij een extra laag over de gedrukte informatie wordt gelegd;
  • Bij leren of instructieprocessen zoals het in elkaar zetten of repareren van een motor in simulatie en werkelijke omgevingen met beeld of objectherkenning;
  • In games waarbij het spel zich in de werkelijke omgeving afspeelt;
  • In automatisering waarbij voorraden worden beheerd met smart-glasses door zogenaamde markers te scannen;
  • In de medische industrie om de werking van het menselijk lichaam te laten zien;
  • In de woninginrichting: door 3D meubels op schaal toe te voegen aan je werkelijke huiskamer of kantoorruimte om te zien hoe het staat;
  • en zo voorts…

Human Augmentation verkent hoe technologie kan worden gebruikt om cognitieve en fysieke verbeteringen te leveren als integraal onderdeel van de menselijke ervaring. In de komende 10 jaar neemt fysieke en cognitieve menselijke augmentatie toe naarmate mensen op zoek gaan naar persoonlijke verbeteringen. Dit creëert een nieuw ‘consumerisation’-effect, waarbij werknemers deze persoonlijke verbeteringen meenemen naar de werkvloer.

WebAR biedt de mogelijkheid om Augmented Reality via de webbrowser te laten beleven. Het is AR met behulp van een combinatie van technologieën waaronder WebRTC, WebGL, WebVR en de moderne middelen.

WebAR op jou website?

Digital Twins (Digitale tweelingen) zijn virtuele replica’s van de fysieke omgeving of apparaten en objecten die gegevenswetenschappers en IT-professionals gebruiken om simulaties uit te voeren voordat echte apparaten worden gebouwd en geïmplementeerd. Digital Twin-technologie ontwikkeld zich ook binnen Augmented Reality bij bijvoorbeeld de fuserende werelden van Internet of Things (IOT), kunstmatige intelligentie (AI) en data-analyse (Big-Data). Het repliceren van echte objecten kan dus ook in geaugmenteerde omgevingen.

Technische termen en AR

ARKit is Apple’s Augmented Reality (AR) ontwikkel platform voor mobiele iOS devices.

Logo ARkit

ARKit helpt ons als developers om schitterende AR experiences voor iPad en iPhone te ontwikkelen. ARkit werd met iOS versie 11 geïntroduceerd en is sindsdien steeds geavanceerder geworden. Dankzij ARKit kunnen fysieke ruimtes door een gebruiker worden verrijkt en door andere op een later moment worden bekeken. ARkit werkt op devices vanaf iOS 11 en Core A9 processor.

Stabiele AR tracking

AR apps die gebruik maken van ARkit hebben doorgaans stabieler AR tracking en gedetailleerder content dan de AR apps op het iOS platform die dit niet doen. Dit heeft er mee te maken dat Apple’s ARKit software optimaal gebruik weet te maken van de onderliggende Apple hardware.

Vanaf de iPhone X(S) kan ARKit ook nog gebruikt worden om realtime gezichtsexpressies te interpreteren en die data te gebruiken in gezicht expressies van virtuele 3D karakters.

Versnellingsmeters en gyroscope

ARKit kan gebruikmakend van de iOS camera, de versnellingsmeters en gyroscope een kaart maken van de directe omgeving van het device wanneer die door de ruimte bewogen word. Door informatie uit de bewegingssensoren en camerabeelden slim samen te voegen kan een heel accurate kaart van de omgeving gemaakt worden.

Omgevingstracking

Met die kaart kan steeds de positie van gebruiker in de ruimte beredeneerd worden en zo is er een basis voor heel stabiele AR experiences. In feite zou de kaart steeds gedetailleerder en groter moeten worden en steeds meer geheugen moeten consumeren. Maar Apple’s ARKit maakt slimme keuzes in welke kaart data nog het relevantst is en welke uit geheugen mag verdwijnen.

ARCore is Google’s platform voor het bouwen van Augmented Reality experiences.

ARcore logo

Gebruikmakend van verschillende API’s geeft ARCore je Android telefoon de vaardigheid om z’n omgeving waar te nemen.

Met die vaardigheid kan je telefoon de fysieke wereld begrijpen en die aanvullen met interactieve digitale informatie.

 

ARCore gebruikt 3 sleutel vaardigheden:

Motion Tracking

De telefoon begrijpt z’n positie ten opzichten van de wereld. Dit is de basis voor een soepele Augmented Reality experience.

Environmental Understanding

De telefoon begrijpt de dimensies en locaties van oppervlaktes in de ruimt zoals de vloer, tafels en wanden. Op deze manier kunnen we virtuele games maken die zich heel geloofwaardig in je fysieke ruimte afspelen.

Light estimation

De telefoon begrijpt de belichting van de omgeving. Met deze informatie kunnen we virtuele 3D objecten geloofwaardig in de omgeving opnemen.

Artishock gebruikt ARCore voor het type AR experience waarbij je zonder een geprepareerde omgeving (speciale 2D of 3D markering in de ruimte) een verhaal wilt vertellen in Augmented Reality.

Spatial computing (SC) is een verzameling ideeën en technologieën die ons leven zullen veranderen doordat computers de fysieke wereld gaan begrijpen. Onze  relatie is om met die wereld te communiceren en door omgevingen te navigeren. Het transformationele potentieel van ruimtelijk computergebruik is het duidelijkst in Augmented Reality.

Op de huidige smartphone gebruiken we pinch, swipe spread etcetera. Dit zijn screen gestures.

Als we spatial als ruimte definieren en gestures als een bewegingen in deze ruimte. Dan zijn spatial gestures dus bewegingen die je kunt gebruiken om een interactie aan te gaan met objecten in de ruimtelijke omgeving.

Zo kan ik bijvoorbeeld een 3D object, bijvoorbeeld een digitaal gegenereerde ballon, met een vingerwijzing kapot laten knallen en met een open-hand van de af duwen.

Zo kan ik dingen vastpakken, wegduwen omhaaog en omlaag, dingen vergroten en verkleinen door 2 handen uit elkaar te bewegen. en zo voort…

Hand-gestures die gebruikt worden bij de Hololens 1:

hand gestures hololens

Hand gestures bij de Magic Leap:


Zie ook de pagina spatial design voor meer info

Al of niet in combinatie met spatial gestures en oog-tracking is voice-control een zeer belangrijk element bij toegepaste AR oplossingen. Door informatie met je stem te sturen ben je in staat hands-free je werk te doen. Je stem kan dan ook interacteren met de AR content. De kunt navigeren maar ook assistentie opvragen aan een operator die met jou meekijket in jou “AR space” met bijvoorbeeld video en remote assistance.

Het geven van bevelen door je stem te gebruiken is uitermate natuurlijk en al redelijk geaccepteerd, denk daarbij aan Siri, Cortana en “OK Google”.

Tracking is de techniek van herkenning van beelden, objecten, structuren en oppervlaktes. Beeldherkenning (reference images) wordt gebruik gemaakt van bijvoorbeeld foto’s of grafische afbeeldingen, dit worden ook wel markers genoemd.

Bij 3D objecten hebben we het bijvoorbeeld over het kunnen herkennen van een machine zodat je daar ruimtelijke informatie aan kunt koppelen. Dit heet dan object-tracking.

Voorbeelden van tracking:

SLAM (simultaneous localization and mapping): een reeks complexe berekeningen en algoritmen om een kaart van een onbekende omgeving te construeren en tegelijkertijd de locatie in die ruimte bij te houden. SLAM elimineert de noodzaak voor trackers of markers om een product te verankeren in de ruimte.

Dieptewaarnemingscamera: Een camera met dieptewaarnemingscapaciteit die in staat is om de tijd waar te nemen dat het licht nodig heeft om terug te keren van omringende objecten. Deze kun je combineren met videogegevens en daarmee een ruimte in kaart te brengen. Je kunt zo de werkelijke omgeving digitaliseren om er vervolgens data aan toe te voegen voegen.

Op dit moment zijn er een beperkt aantal devices beschikbaar die op deze wijze een redelijke accuraat beeld van de ruimte kunnen waarnemen zoals de Hololens en de Magic Leap.

Ze noemen het gegeven van het in kaart brengen van de ruimtelijke omgeving spatial mapping

Ze noemen het gegeven van het in kaart brengen van de directe ruimtelijke omgeving spatial mapping. Sp[atial mapping wordt wel gebruikt met AR smartglasses Dit is niet te verwarren met Ground Plane tracking hoewel het wel enigzins met elkaar te maken heeft.

Ground plane tracking kan horizontale oppervlaktes herkennen. Ook is het al in staat om verticale oppervlaktes te herkennen. Dit wordt meestal gedaan met smartphones en slimme  algoritmes in combinatie met grijswaardes. Apple was de eerste met ARkit om groundplane tracking te ontwikkelen.

Verminderde realiteit: vermindert onderdelen van de fysieke wereld door ongewenste objecten uit het zicht te verwijderen. Het is het tegenovergestelde van augmented reality. AR verbetert onze fysieke realiteit met digitale middelen, terwijl een Diminished Reality op digitale wijze fysieke objecten uit onze blikveld verwijdert.

Occlusion is een term die bij 3D wordt gebruikt om digitaal ruimtes op een verrassende wijze zichtbaar te maken, bijvoorbeeld als een raam of een deur. Je kijkt dan naar binnen en kunt links en rechts van alles ontdekken. De gehele ruimte wordt natuurlijk in 3D gemaakt, maar je kunt deze alleen maar zien door de opening, de rest van het 3D model die je normaal ook zou zien is dan ‘ge-occluud’, verborgen.

Source code is een waardevol onderdeel van ieder Artishock project. Daarom is het belangrijk om een goed Source Control Management (SCM) systeem te gebruiken.

Source control ook wel bekend als version control is de praktijk van het administreren van wijzigingen in de source code. Een SCM laat een geschiedenis zien van de ontwikkeling van de source code. Op die manier is inzichtelijk wie wat heeft bijgedragen, welke code verantwoordelijk is voor welke feature etc…

Maar het systeem helpt ook wanneer een groep van meerdere ontwikkelaars samen aan verschillende delen van de source code heeft gewerkt en het weer samen wil brengen tot 1 geheel. Dit proces heet “mergen” en het kan leiden tot “merging conflicts”. Een SCM helpt bij het oplossen van de conflicts.

In het ergste geval kan de SCM helpen om het hele project terug te brengen naar de laatste stabiele versie van de source code en handmatig de wijzigingen te mergen. Binnen Artishock word veel samengewerkt aan de source code. We kunnen delen van de source code isoleren, bewerken tot een bepaalde update klaar is en weer terug plaatsen en vrijgeven.

Het source code versie systeem helpt verder bij het oplossen van bugs omdat altijd helder is welke code gewijzigd is en door wie en verkort de tijd die nodig is om programmeer fouten op te sporen. Op deze manier stroomlijnen we de ontwikkeling van de source code en geven we steeds iedereen toegang tot de recentste source code basis.

Agile software development verwijst naar een verzameling van software development methodologieēn gebaseerd op iteratieve ontwikkeling, waarin vereisten en oplossingen evolueren door samenwerkingen van zelf-organiserende multi-disciplinaire teams.

De agile denkwijze sluit goed aan bij ArtiShocks SCRUM project management want het moedigt aan om regelmatig in het project een tussenstand op te maken en bij te sturen. En agile past ook heel goed bij onze Artishock organisatie vorm ; de coöperatie.

Agile heeft een leiderschap filosofie waarin team work, zelf-organiseren en verantwoordelijkheid nemen worden aangemoedigd.

Agile is ( in tegenstelling tot SCRUM ) geen concreet framework voor project management, maar je mag alles agile noemen dat in lijn is met het Agile Manifesto. Dit manifesto is opgesteld door 14 grote namen uit de software industrie en het is een goede weergave van wat er uit hun ervaring wel/niet werkt in het proces van software development.

SCRUM is een framework dat ons binnen Artishock helpt om samen te werken. SCRUM moedigt aan om te leren uit ervaring en om steeds te reflecteren op successen en tegenslagen om voortdurend ons app ontwikkel proces te verbeteren.

SCRUM word veel gebruikt door software development teams maar is breder inzetbaar. SCRUM is een agile project management framework en met de meetings, de gereedschappen en de rollen die het beschrijft geeft het heel sterke beproefde handvatten voor managen en structureren van team werk.
Soms worden SCRUM en agile als hetzelfde gezien. Dat is begrijpelijk want SCRUM is gebaseerd op het voortdurend bijsturen en verbeteren. En dit zijn ook kern principes van agile. Agile is dan ook een schitterend bruikbare mindset wanneer we scrummen, maar SCRUM is dus ons concrete framework om daadwerkelijk dingen gedaan te krijgen.
Wat wij binnen Artishock waarderen aan het SCRUM framework is dat het recht doet aan het feit dat wij als Artishockers ook niet alles weten aan de start van een project. Zeker in innovatieve projecten zal er voortschrijdend inzicht komen.
SCRUM is zo gestructureerd dat we op een natuurlijke wijze onze kunnen aanpassen aan wijzigende randvoorwaarden en gebruikers wensen met in het proces ingebouwde momenten van her- prioriteren en korte release cycles om steeds snel te kunnen leren en verbeteren.

SCRUM is net als Artishock gestructureerd, maar niet rigide. We kunnen ons aanpassen naar wat het project / de klant van ons nodig heeft.

Meer technische termen
Onze ervaren specialisten van top-notch developers en coders leveren een zeer waardevolle bijdrage aan de ontwikkeling van onze Augmented Reality en andere creatieve en toegepaste producties.
Go to know