Zo biedt augmented reality een geheel nieuwe kijk op de werkvloer

 

Een nieuwe generatie smart glasses staat op het punt de consumentenmarkt te veroveren. Op de werkvloer zijn brillen die digitale informatie in het gezichtsveld van de gebruiker projecteren al heel gewoon. “Dit gaat de manier waarop we technologie gebruiken structureel veranderen.”

Augmented reality (AR) projecteert een digitale informatielaag over onze dagelijkse realiteit. Tot nu toe gebeurt dat vooral via het scherm van onze mobiele telefoon. Zoals bij Pokémon GO, het augmented reality-spel waarbij nog steeds miljoenen spelers op zoek gaan naar bontgekleurde fantasiewezens. Of de IKEA AR-app, die in de webshop geselecteerde banken, stoelen of andere meubels vast op precies de juiste verhoudingen in je huiskamer ‘plaatst’.

Mensen als Apple-baas Tim Cook en Meta-kopstuk Mark Zuckerberg zien AR als hét nieuwe platform voor de digitale interactie tussen de computer en de consument. “Augmented reality creëert een dieper gevoel van aanwezigheid en natuurlijke interactie, en is daarom een cruciaal focuspunt voor onze research”, motiveert Zuckerberg. Of, in de woorden van Tim Cook: “Simply put, we believe augmented reality is going to change the way we use technology forever.”

Net als bijvoorbeeld Google, Microsoft en het Chinese Xiaomi investeren Apple en Facebook daarom miljarden in het ontwikkelen van deze technologie. Belangrijk speerpunt zijn voor de consument geschikte smart glasses, en de digitale platformen die deze AR-brillen meerwaarde moet geven. Eind vorig jaar presenteerde Facebook in samenwerking met zonnebrilproducent Ray-Ban al de Story-bril, waarmee de gebruiker onder meer kan bellen en muziek kan luisteren. Het social media platform verwacht dat deze bril de komende jaren de smartphone gaat vervangen.

Dat geldt zeker ook voor de nieuwe Apple Glasses, die mogelijk dit jaar al worden gepresenteerd. Uit de flinters uitgelekte informatie blijkt dat deze slimme bril zijn eigen bestuurssysteem krijgt. Het GlassOS operating systemondersteunt onder meer kunstmatig intelligente assistent SIRI, én een eigen app store. Net als de iPhone verandert de slimme bril daardoor in een platform voor applicaties van derden.

Wat voor applicaties? Om vast een eerste indruk te krijgen van de mogelijkheden, kijken we nu vast even naar de toepassingen van professionele AR-brillen. Sinds de in 2013 geflopte lancering van de Google Glasses op de consumentenmarkt is die professionele markt enorm gegroeid. Naast Google ontwikkelden onder meer ook Toshiba, Sony, Microsoft, Samsung, Baidu en Vuzix hun eigen augmented reality head sets. Voor veel professionals is hun slimme bril al onmisbaar.
 

Monteren en repareren van complexe elektronica

De term augmented reality werd in 1991 bedacht door Thomas Caudell. De onderzoeker en elektonicaspecialist werkte op dat moment bij Boeing. Dagelijks verwerken de monteurs van deze Amerikaanse vliegtuigproducent duizenden chips, printplaten en kilometers kabel in nieuwe vliegtuigen. Het plaatsen van al die elektronica gebeurt op basis van vaak extreem complexe schema’s. Dat kost veel tijd, en kan bovendien leiden tot fouten met vertrekkende gevolgen.

Om zijn monteurs een handje te helpen, ontwikkelde Caudell de eerste provisorische AR-bril. Die projecteert de elektronische schema’s een-op-een in de werkomgeving van monteurs. Zo zien ze op de centimeter nauwkeurig waar ze alle verschillende printplaten, chips en kabels moeten plaatsen. Dat is ook handig voor nieuwe werknemers: Boeing bespaart tegenwoordig  naar eigen schatting zo’n dertig procent aan opleidingskosten, onder meer doordat onervaren monteurs veel sneller aan de slag kunnen.

Veel andere bedrijven kopiëren deze aanpak. Ook voor medewerkers in de buitendienst. Bij het verrichten van onderhoud, controle of andere werkzaamheden moeten monteurs regelmatig werken met ongekende apparatuur of onderdelen. Dankzij kunstmatig intelligente beeldherkenning herkent hun slimme bril automatisch om welke uitvoering, type of serienummer het gaat. In plaats van abstracte handboeken of diagrammen, toont de bril in een driedimensionale animatie waar een kapot onderdeel zit, en hoe de monteur moet vervangen.

Als dat niet lukt, kan de gebruiker bovendien ook de hulp van een ervaren collega inroepen. “Zie het als een geavanceerde Zoom-functie”, stelt directeur Nick Cherukuri van ThirdEye, een platform dat interactie tussen technici en ook medici ondersteunt. “De meest ervaren monteurs blijven nu op kantoor. Va de in de bril verwerkte camera kunnen ze van daar meekijken met minder ervaren collega’s op locatie. En als een mondelinge toelichting tekort schiet, kunnen ze via de bril letterlijk aanwijzen over welk onderdeel ze praten, of aanvullende 3D-productinformatie tonen.”

 

Gebouwen en installaties virtueel ontwerpen en vormgeven

Een van de meest succesvolle augmented reality toepassingen voor consumenten is de app waarmee IKEA meubels zeer levensecht in de woonomgeving van consumenten kan projecteren. Zo weet je als koper niet alleen hoe dat bankstel staat in de woonkamer, maar ook of het wel past in die hoek. Om dat zo precies te kunnen doen, plaatst de in de app verwerkte technologie eerst een groot aantal herkenningspunten (‘feature points’ of ‘markers’) in het met de camera gescande beeld.

Doordat het beeld beweegt, herkent de app vlakken en contouren van objecten. Door deze data te combineren met informatie uit onder meer de  accelerometer (die bewegingssnelheid meet) kan de app ook de afstand tussen verschillende punten accuraat berekenen (‘fotogeometrie’). De resulterende ‘puntenwolk’ is in feite een nauwkeurig digitaal 3D-model van de met de camera van telefoon of bril vastgelegde omgeving. Dat is informatie die bijvoorbeeld ook heel waardevol is in de bouw.

Goed voorbeeld is de bouw van de Boekelose brug in Hengelo. De ontwerpers voorzagen Nederlands ‘meest innovatieve en duurzame’ brug van ongebruikelijke constructies. De bouwers van Dura Vermeer hadden daardoor moeite om zich daar op basis van de 2D bouwtekeningen een voorstelling te maken. Daarom ontwikkelden de ontwerpers ook een digitaal hologram van de brug. Een AR-bril kon die in precies de juiste locatie en verhoudingen over het Twentekanaal projecteren, zodat de bouwers de nieuwe brug vast van alle kanten konden bekijken.

Een partij die deze aanpak heeft geperfectioneerd is Oto Liften. Klanten bestellen hun stoellift vaak vanuit een medisch urgente noodzaak. Het inmeetproces is echter complex, en daardoor een klus voor een beperkt aantal ervaren monteurs. Dankzij augmented reality kunnen de verkopers deze klus nu zelf verrichten: een opname van het trapportaal volstaat. De AR-app stuurt de meetgegevens direct door naar de fabriek. De kopers weten dan al precies wat ze geleverd krijgen. Voorheen moesten ze een voorstelling maken op basis van folders. Nu kunnen ze ze direct na het inmeten een levensechte projectie van de gewenste lift in hun trapportaal bekijken.

 

Complexe operaties voorbereiden en uitvoeren

De chirurgische behandeling van hersentumoren en aneurysmata behoren tot de meest complexe en risicovolle operaties. Mede daardoor moet de chirurg regelmatig opkijken van operatie-microscoop naar een computerscherm. Hoe zien de MRI-scans er ook weer uit? Waar liggen belangrijke zenuwknooppunten en bloedvaten, en wat zijn de vital signs van zijn patiënt? Als je een tumor uit iemands hersenen verwijdert, beperk je een dergelijk verlies aan focus echter bij voorkeur tot een minimum.

Dankzij SyncAR behoort die verdeelde aandacht tijdens steeds meer operaties tot het verleden. Deze medische toepassing van augmented reality projecteert cruciale patiëntdata als een extra 3D informatielaag in de marges van het microscopisch gezichtsveld van de chirurg. Die heeft daardoor altijd de meest relevante informatie paraat. Zoals een van de aan het ontwikkelingstraject deelnemende chirurgen het verwoordt: “It’s like having super x-ray vision.”

Chirurgen kunnen SyncAR, dat is afgeleid van een besturingssysteem voor straaljagerpiloten, ook gebruiken om operaties voor te bereiden. Daartoe transformeert het systeem alle digitale informatie over de hersenen van de te behandelen patiënt in een 3D-model. Via de bril kunnen chirurgen daarna vast een ‘virtuele operatie’ uitvoeren. Het systeem voorspelt en toont op basis van beschikbare data de mogelijke gevolgen van bijvoorbeeld een incisie.

Verschillende Nederlandse ziekenhuizen experimenteren ook al met AR-brillen voor ambulancebroeders. Zo konden gespecialiseerde artsen van het Groningse Brandwondencentrum bijvoorbeeld direct advies geven bij de behandeling van ernstig verbrande slachtoffers. Op soortgelijke wijze voorzag in Deventer gevestigde zorginstelling Carinova zijn thuiszorgmedewerkers van een slimme bril. Bij de behandeling van wonden of andere specialistische medische handelingen kijken gespecialiseerde medici mee, en geven waar nodig aanwijzingen. Naast de meer efficiënte inzet van specialistische kennis zijn ook de patiënten hier eg blij mee: “Ik word nu meteen geholpen door een vertrouwd gezicht.”