Machine learning geeft gebruikers ‘bovenmenselijke’ mogelijkheden om tools in virtual reality te openen en te besturen

De onderzoekers van de Universiteit van Cambridge gebruikten machine learning om ‘HotGestures’ te ontwikkelen – analoog aan de sneltoetsen die in veel desktopapplicaties worden gebruikt.

HotGestures geven gebruikers de mogelijkheid om figuren en vormen in virtual reality te bouwen zonder ooit met een menu te hoeven communiceren, waardoor ze gefocust kunnen blijven op een taak zonder hun gedachtegang te onderbreken.

Het idee om tools in virtual reality te kunnen openen en besturen is al tientallen jaren een filmtrope, maar de onderzoekers zeggen dat dit de eerste keer is dat zo’n ‘bovenmenselijk’ vermogen mogelijk is gemaakt. De resultaten worden gerapporteerd in het tijdschrift IEEE Transactions on Visualization and Computer Graphics .

Virtual reality (VR) en aanverwante toepassingen worden al jaren aangeprezen als game-changers, maar buiten gaming is hun belofte niet volledig uitgekomen. “Gebruikers verwerven bepaalde kwaliteiten bij het gebruik van VR, maar heel weinig mensen willen het voor langere tijd gebruiken”, zegt professor Per Ola Kristensson van Cambridge’s Department of Engineering, die het onderzoek leidde. “Afgezien van de visuele vermoeidheid en ergonomische problemen biedt VR eigenlijk niets wat je in de echte wereld niet kunt krijgen.”

De meeste gebruikers van desktopsoftware zullen bekend zijn met het concept van sneltoetsen: opdrachtsneltoetsen zoals ctrl-c om te kopiëren en ctrl-v om te plakken. Hoewel deze snelkoppelingen de noodzaak weglaten om een ​​menu te openen om het juiste hulpmiddel of commando te vinden, vertrouwen ze erop dat de gebruiker het juiste commando in het geheugen heeft.

“We wilden het concept van sneltoetsen omzetten in iets dat betekenisvoller is voor virtual reality – iets dat er niet van afhankelijk is dat de gebruiker al een snelkoppeling in zijn hoofd heeft”, zegt Kristensson, die ook mededirecteur is van het Centrum voor door de mens geïnspireerde kunstmatige intelligentie.

In plaats van sneltoetsen ontwikkelden Kristensson en zijn collega’s ‘HotGestures’, waarbij gebruikers een gebaar met hun hand uitvoeren om de tool te openen en te bedienen die ze nodig hebben in 3D virtual reality-omgevingen.

Als u bijvoorbeeld een snijbeweging uitvoert, wordt het schaargereedschap geopend en door de spuitbeweging het spuitbusgereedschap. De gebruiker hoeft geen menu te openen om de tool te vinden die hij nodig heeft, of om een ​​specifieke snelkoppeling te onthouden. Gebruikers kunnen naadloos schakelen tussen verschillende tools door tijdens een taak verschillende gebaren uit te voeren, zonder hun werk te hoeven pauzeren om door een menu te bladeren of op een knop op een controller of toetsenbord te drukken.

“In de echte wereld communiceren we allemaal met onze handen, dus het was logisch om deze vorm van communicatie uit te breiden naar de virtuele wereld”, aldus Kristensson.

Voor het onderzoek bouwden de onderzoekers een neuraal netwerkgebaarherkenningssysteem dat gebaren kan herkennen door voorspellingen uit te voeren op een inkomende handgewrichtsgegevensstroom. Het systeem is gebouwd om tien verschillende gebaren te herkennen die verband houden met het bouwen van 3D-modellen: pen, kubus, cilinder, bol, palet, spuiten, knippen, schalen, dupliceren en verwijderen.

Het team voerde twee kleine onderzoeken uit waarbij deelnemers HotGestures, menuopdrachten of een combinatie ervan gebruikten. De op gebaren gebaseerde techniek zorgde voor snelle en effectieve snelkoppelingen voor het selecteren en gebruiken van gereedschappen. Deelnemers vonden HotGestures onderscheidend, snel en gemakkelijk te gebruiken en tegelijkertijd een aanvulling op conventionele menugebaseerde interactie. De onderzoekers ontwierpen het systeem zo dat er geen valse activeringen plaatsvonden: het op gebaren gebaseerde systeem kon correct herkennen wat een commando was en wat een normale handbeweging was. Over het algemeen was het op gebaren gebaseerde systeem sneller dan een op menu’s gebaseerd systeem.

“Er is momenteel geen VR-systeem beschikbaar dat dit kan doen”, zegt Kristensson. “Als het gebruik van VR net zoiets is als het gebruik van een toetsenbord en een muis, wat heeft het dan voor zin om het te gebruiken? Het moet je bijna bovenmenselijke krachten geven die je nergens anders kunt krijgen.”

De onderzoekers hebben de broncode en dataset openbaar gemaakt, zodat ontwerpers van VR-applicaties deze in hun producten kunnen verwerken.

“We willen dat dit een standaardmanier wordt voor interactie met VR”, zegt Kristensson. “We hebben al tientallen jaren de ouderwetse metafoor van de archiefkast. We hebben nieuwe manieren nodig om met technologie om te gaan, en we denken dat dit een stap in die richting is. Als het goed wordt gedaan, kan VR als magie zijn.”

Het onderzoek werd gedeeltelijk ondersteund door de Engineering and Physical Sciences Research Council (EPSRC), onderdeel van UK Research and Innovation (UKRI).