Artikel over AR Lab in tijdschrift 'Vision & Robotics'

Liam van Koert schreef in de special over Augmented Reality een artikel op basis van een interview met Pieter Jonker: Een doorbraak in augmented reality: Natural feature tracking opent nieuwe deuren. De foto's tonen projecten van het AR Lab ( eerder: AR+RFID Lab).

De vermenging van de virtuele en de werkelijke wereld is niet nieuw. En al helemaal niet voor Jonker, die zich als visionspecialist al sinds de vorige eeuw met het onderwerp bezighoudt. “We waren eind jaren negentig al bezig met een applicatie waarbij we de contouren van de campusgebouwen al met een augmented reality bril rondwandelend wilden herkennen. Door de contouren van de hele campus in een GIS-database te zetten en deze te matchen met wat een camera voorzien van een inertia tracker registreerde, wilden we eigenlijk een soort Google Street View maken. Het ultieme doel was een soort ‘visuele walkman’ waarbij de echte wereld en de virtuele wereld precies samenvielen. Je moet echter begrijpen dat dit nog vóór de tijd van de mobieltjes was en de GPS-nauwkeurigheid toen ook nog te wensen overliet. Uiteindelijk bleek dat wat we wilden veel te vooruitstrevend was en omdat het niet bleek te werken en ook om belichtingsperikelen te ontlopen, zijn we met het hele project naar binnen verhuisd. Wel hadden we er een mooie onderzoeksvraag bij: hoe nauwkeurig en snel kan je eigenlijk met een camera met inertia tracker je eigen positie tracken? We zijn daartoe van edges tracking voor gebouwcontouren overgegaan op tracking van camerakalibratiepatronen, dat wat nu de bekende augmented reality markers zijn. Een andere bril
Om de functie van inertia tracking te begrijpen en iets over de te behalen nauwkeurigheid te kunnen zeggen, is het zinvol eerst de augmented reality bril eens nader te bekijken. Anders dan bij een virtual reality bril, waarbij de kijkrichting in de virtuele wereld van de drager puur middels versnellingsopnemers en gyroscopen wordt bepaald, speelt bij de augmented reality bril ook de gebruikte camera een rol. Bij virtual reality is de hele wereld virtueel en blijf je in principe op je plaats staan, maar bij augmented reality blijf je de gewone wereld zien en voeg je alleen virtuele objecten toe. Je kan in principe de hele wereld over lopen en je moet dus weten waar in de fysieke wereld je naar kijkt. Dat kan alleen met een camera. Toch is er wel degelijk een vergelijking voor wat betreft technologie. Jonker: “In de eerste augmented reality bril die we maakten hebben we drie accelerometers voor het meten van de lineaire versnellingen, drie gyroscopen voor de hoeksnelheden en drie magnetometers toegepast. Omdat je voor de positiebepaling met een dubbele integratie van de lineaire versnelling en ook met een enkele integratie van de hoeksnelheid te maken hebt, bouwen de foutenmarges snel op en is de drift dus hoog. Met magnetometers, die gebruik maken van het feit dat het magnetisch veld lokaal constant is, kan dit enigszins worden gecompenseerd. Maar de echte ankering van de hoofdpositie in de fysieke wereld moet komen van het camerabeeld, dat bijvoorbeeld één of meerdere markers trackt. Wanneer je vervolgens de meetgegevens door wat aan elkaar geknoopte Kalmanfilters (een rekenmethode voor het elimineren van ruis) haalt, kan je voorspellen waar je hoofd zich op een bepaald moment zal bevinden zodat het fysieke wereldbeeld met de virtuele beelden van objecten kunnen worden geregistreerd. De voorspelling is belangrijk omdat de rendering van het virtuele beeld tijd kost en je dus een paar milliseconden in de toekomst moet kunnen kijken.” Jonker legt uit dat de eerste bril met relatief eenvoudige componenten gemaakt is: een oranje bouwhelm, een Philips Smartcam en een Sony optical-see-through head-mounted-display (HMD) waren naast de sensoren de belangrijkste ingrediënten. De tweede optical-see-through HMD was van de start-up Cybermind. De derde was de Cybermind core van de bril, maar industrieel vormgegeven door de Koninklijke Academie van Beeldende Kunsten in Den Haag, waarmee we inmiddels een ARLab mee hadden opgericht om augmented reality content designers op te leiden. “Grofweg zijn er twee typen augmented reality brillen op de markt verkrijgbaar. Er is een versie, de zogenoemde ‘video-see-through’ bril, die het camerabeeld samen met het virtuele beeld op de displays voor je ogen projecteert.
Deze bril moet je ogen afsluiten, zodat je alleen maar naar de displays kijkt en er geen vals licht van buiten naar binnen kiert. Maar mooier is een optische versie die gebruik maakt van halfdoorlopende prisma’s. Hiermee kan je net als bij je gewone bril door maar ook langs en onder de glazen doorkijken en dat is met name prettig als je loopt. Daarenboven hebben video-see-through brillen last van latentie, doordat het camerabeeld van de fysieke wereld nog gemengd moet worden met het beeld van de virtuele wereld en dan gedisplayed, terwijl optische menging geen tijdsvertraging geeft in de weergave van de fysieke wereld. Door de delay ga je onzeker lopen en kan je last van wagenziekte krijgen, al moet gezegd worden dat de delay steeds minder wordt omdat de camera’s en elektronica steeds sneller worden. De meeste in de handel zijnde HMD’s – een bekende Nederlandse fabrikant is Cybermind, maar ook Vuzix en binnenkort Zeiss - kregen echter de tracking niet goed op orde die nodig is bij augmented reality. Wij hebben uitgerekend dat onze inertia tracker goed werkte bij 100 Hertz. Hierbij moet worden opgemerkt dat de benodigde oriëntatienauwkeurigheid van 0,5 graden alleen gehaald wordt wanneer het hoofd langzaam beweegt en één marker van 13 x 16,5 centimeter op vijf meter afstand is geplaatst. Ook moet de systematische oriëntatiefout van de camera weggekalibreerd kunnen worden. Omdat de camera alleen een absolute positiesensor is en als anker voor de echte wereld fungeert, kunnen deze fouten niet gecorrigeerd worden met inertiasensoren. Bovendien moet je om deze foutmarge te halen de markers onder een hoek van meer dan twintig graden bekijken, wat de bewegingsvrijheid van de gebruiker enigszins beperkt.” Jonker voegt toe dat de huidige systematische fout, die afhankelijk is van de locatie van de marker in het beeld, gecompenseerd word door eerder genoemde Kalmanfilters, maar dat dit tot over- en undershoot leidt als de gebruiker beweegt. Dit uit zich in jitter van de virtuele objecten en jitter van het verstoorde camerabeeld wanneer de marker ver weg is, of wanneer de belichting te wensen overlaat. “In de praktijk komt het er op neer dat wanneer je een virtuele vlinder ziet vliegen of wanneer je zelf beweegt, het wel goed gaat. Maar wanneer dat virtuele kopje op de echte tafel staat, lijkt hij er altijd iets doorheen te zakken. Voor de tracking maakten we, ook in onze eerdere augmented reality bril, gebruik van markers.”

Markers
Wie vandaag de dag een beetje oplet als er een groot reclamebord naast de weg staat of de treintijden via het internet checkt, zal de opkomst van de markers echt niet zijn ontgaan. Toch zijn deze opvolgers van de barcode niet helemaal hetzelfde als degene die de Technische Universiteit Delft destijds inzette voor het bepalen van de nauwkeurigheid van hun augmented reality systeem. Jonker: “In feite waren onze markers een verlengstuk van het kalibratiegereedschap dat we in combinatie met een robot gebruikten om onze tracking te verbeteren. Hoewel we met het bekende schaakbordpatroon begonnen voor de eerste kalibratiestappen, maakten we in een later stadium gebruik van markers waarvan de precieze afmeting, oriëntatie en positie bekend was.
Het augmented reality systeem werd vervolgens op een industriële robot geplaatst. Doordat de afgelegde baan en bijbehorende baannauwkeurigheid van de robot bekend waren, konden we precies meten hoe nauwkeurig ons systeem was.” Jonker herinnert zich dat dit tevens de tijd was dat het in Nieuw-Zeeland gevestigde HIT Lab NZ met de ARToolkit kwam (later ontwikkelde de onderzoeksinstelling ook BuildAR, waarmee dit dossier van virtuele content is voorzien) en de Koninklijke Academie en de Technische Universiteit Delft hun krachten bundelden in het ARLab. “Toen de testfase aanbrak hebben we samen met de kunstacademie op titel van het ARLab tal van projecten gedaan voor musea en andere culturele projecten. Hierbij moet je denken aan het inzetten van augmented reality om van een scherf oud aardewerk weer een hele (virtuele) schaal te maken, tot deelname aan een tentoonstelling waarbij tal van door de kunstacademie ontworpen meubels virtueel uit de lucht komen vallen en een woonkamer vormen.”

Natural feature tracking
Een aardige dosis rekenkracht en enkele jaren verder staan we aan de vooravond van een doorbraak die enkele interessante nieuwe mogelijkheden biedt. Door een systeem met natural feature tracking te ontwikkelen, is er geen inertia tracking en ook geen marker meer nodig. Jonker legt uit: “We zijn uitgegaan van de PTAM, wat staat voor Parallel Tracking and Mapping, de code van de Universiteit van Oxford, maar hebben daar een stereoversie van gemaakt met twee camera’s. Hiermee kunnen we met ongeveer dertig frames per seconde een 3D-beeld van de werkelijkheid opbouwen, waardoor kenmerken (keypoints) uit de echte wereld uiteindelijk als ankerpunten voor de virtuele wereld kunnen dienen en waardoor dus werkelijke wereld en virtuele wereld naadloos over elkaar heen kunnen worden gelegd. Hier stopt het echter niet. Het opent ook de weg om op basis van hand tracking commando’s met je handen te geven, of om precies bij te houden wat iemand wel of iemand in een bepaalde ruimte niet heeft gezien.” Als voorbeeld toont Jonker enkele foto’s van het 3D-tracking-, mapping- en reconstructieproces. “Als eerste worden er met dertig frames per seconde zoveel mogelijk keypoints verzameld. Aangezien je met stereovisie te maken hebt, wordt door het bewegen van de headset en matching in realtime een 3D-puntenwolk van keypoints opgebouwd en bijgehouden, waaruit een zogenoemde ‘sparse 3D map’ wordt afgeleid. Parallel hieraan wordt ook op een lagere frame rate van twee frames per seconde een ‘dense 3D map’ bijgehouden, waardoor je kan bijhouden wat iemand wel of niet heeft gezien. Van wat nog niet is bekeken, is namelijk ook geen beeld opgebouwd.” Jonker stelt zich voor dat de nieuwe vorm van augmented reality onder andere voordelen hebben voor forensisch onderzoek tijdens het bezoeken van een plaats van een delict. Deze wordt namelijk snel vervuild, en het is zaak alles zo snel mogelijk goed in kaart te brengen. “Het kunnen herleiden uit de dense map of alles écht goed in kaart is gebracht, is natuurlijk erg waardevol voor forensische onderzoekers. Bovendien kan hand tracking worden gebruikt om bepaalde delen virtueel af te zetten met paaltjes en lint, of kunnen bepaalde objecten (zoals kogelhulzen) met een eenvoudige trekkerbeweging van de vinger als verdacht worden aangewezen, zodat ook de aandacht van collega’s er direct op gevestigd wordt.“

Toekomst en toepassingen
Wat de forensisch onderzoeker kan, kunnen ook tal van andere specialisten. Zo zijn we bezig met de Universiteit van Maastricht en Industrieel ontwerpen van de Technische Universiteit Delft om te kijken hoe augmented reality vruchtbaar kan worden ingezet om de diverse ontwikkelteams beter te laten samenwerken. De voordelen zijn groot. Je kan hierbij denken aan de interface tussen opdrachtgever en architect, architect en engineers/subcontractors, de finale assemblage, de set-up van de productie, of onderhoud. Je verkleint de kans op fouten omdat je als het ware in de CAD-data kunt rondlopen, waarbij de verschillende stakeholders/ experts elkaar kunnen betrekken bij hun view point. Je kan denken aan interieurs van vliegtuigen (Fokker), trucks (DAF), kopieermachines (OCE), Schepen (Damen), maar ook utiliteitsgebouwen (Haskoning). Je kan de gewenste situatie vergelijken met de gerealiseerde situatie; zitten bijvoorbeeld alle brackets voor de pijpleidingen in dit schip wel op de goede plaats en zijn ze er wel allemaal? Of er is een kleinere kans op fouten doordat er virtueel om een vrachtwagen kan worden heengelopen en tegelijkertijd kan worden overlegd. Ook hier kunnen met een simpele handbeweging virtuele annotaties gemaakt worden over punten die extra aandacht verdienen. Het is zelfs mogelijk ook de kwaliteit van de rondgang en het onderlinge overleg van het designteam te monitoren, wat een graadmeter is voor hoe goed een team functioneert. Jonker:”Voor elk productiebedrijf zal de businesscase om augmented reality in te zetten anders zijn. Bij DAF kan je je voorstellen dat om het aantal mock-ups tebeperken het cruciaal is dat de samenbouw van de verschillende samenstellende delen goed is. Terwijl het voor Fokker Special Products die vliegtuiginterieurs bouwt belangrijk is om klanten een goede voorstelling te geven van wat een dergelijke inrichting betekent. Uiteindelijk gaat het om de stroomlijning van de interfaces tussen de verschillende processtappen die tijdens de totstandkoming van een product spelen. En ook in de controleslag of wat uiteindelijk gemaakt is (het fysieke product), ook is wat gemaakt had moeten worden (de digitale mock-up), is augmented reality natuurlijk het instrument bij uitstek.” Natural feature tracking kan echter niet alleen goed gebruikt worden bij augmented reality, maar ook in de robotica. In wezen is het voor servicerobots, die in principe overal in de wereld kunnen komen, ook van belang te weten waar ze zijn. Maar niet alleen is het opbouwen van een nauwkeurige digitale representatie van een ongestructureerde omgeving precies iets waar de autonome robotica baat bij heeft, ook voor meer industriële toepassingen als bin-picking biedt het perspectief. “Het Falcon-project dat we bijna hebben afgerond is een mooi voorbeeld. Dit is een samenwerking tussen onder andere de drie technische universiteiten, het Embedded Systems Instituut, Vanderlande Industries en Demcon, waarbij we vergelijkbare technologie hebben gebruikt voor het herkennen van zeer uiteenlopende producten die via het internet besteld kunnen worden. Een robot met flexibele grijper plaatst deze vervolgens in een doos, zodat de gehele order volledig automatisch kan worden verwerkt.” Op de slotvraag hoe lang het duurt voordat high-end augmented reality ook volledig in de consumentenwereld is doorgedrongen, antwoordt Jonker: “De goedkopere video-see-through brillen zijn nu al verkrijgbaar. Maar een echt mobiele oplossing waarbij augmented reality altijd in je gewone bril of zelfs contactlens zit, duurt nog wel een jaar of tien tot vijftien. Maar gelukkig zal de iPad voor die tijd allang met stereovisie zijn uitgevoerd. En als het even meezit, hebben we over een jaartje of vijf op onze mobiel niet alleen genoeg download-, maar ook genoeg uploadsnelheid tot onze beschikking, zodat de echte en de virtuele wereld soepel in elkaar overlopen.”