Het spelletje Pokémon Go voor smartphones en tablets heeft Augmented Reality ('toegevoegde realiteit') een behoorlijke duw in de rug gegeven. Onderzoekers van het Max Planck Instituut voor Informatica in Saarbrücken zijn erin geslaagd deze techniek naar een nieuw kwaliteitsniveau te tillen: daarbij wordt niet meer het werkelijke digitale beeld aangevuld met visuele informatie, maar wordt het beeld zelf in real time fotorealistisch veranderd. Op die manier kan een oppervlak een andere kleur en/of een andere textuur krijgen – zodat het uit een ander materiaal lijkt te bestaan dan in werkelijkheid het geval is.

Dat klinkt eenvoudiger dan het is. De kleurwaarde die een camera tijdens de opname aan de afzonderlijke beeldpunten (pixels) toekent is – vereenvoudigd gesteld – altijd het product van reflectie en belichting. Het probleem is echter dat die beide componenten alleen indirect in het beeld voorhanden zijn en zodoende niet gemeten kunnen worden.

De onderzoekers hebben dit probleem op een slimme manier opgelost. In een zeer hoog tempo wordt voor elke pixel de belichting en de mate van reflectie geschat en wordt slechts een van beide factoren veranderd. Daardoor blijft een realistische indruk bestaan.

Voor dit afschatten van de afzonderlijke pixels wordt gebruik gemaakt van een mathematische optimaliseringsmethode. Omdat de software de nieuwe waarden parallel berekent, kunnen de veranderingen zo snel worden doorgevoerd dat zelfs live-opnames van een gewone webcam fotorealistisch veranderd kunnen worden.