MIT-onderzoekers presenteren een nieuw computervisiesysteem dat elk glimmend object verandert in een soort camera: waardoor de waarnemer om hoeken of achter obstakels kan kijken.

Waardevolle en vaak verborgen informatie over de directe omgeving van een persoon kan worden verkregen uit de reflectie van het object. Door ze opnieuw te gebruiken als camera’s, kan men voorheen onvoorstelbare prestaties leveren, zoals door muren kijken of in de lucht kijken. Dit is een uitdaging omdat veel factoren van invloed zijn op reflecties, waaronder objectgeometrie, materiaaleigenschappen, 3D-omgeving en het standpunt van de waarnemer. Door de geometrie van een object te deconstrueren en het intern op te helderen door de spiegelende straling die erop weerkaatst, kunnen mensen diepgaande aanwijzingen en conclusies trekken over de verhulde delen van de omringende omgeving.

Computer vision-onderzoekers van MIT en Rice hebben een manier ontwikkeld om reflecties te gebruiken om beelden van de echte omgeving te produceren. Met behulp van reflecties veranderen ze glimmende objecten in “camera’s”, waardoor de indruk wordt gewekt dat de gebruiker naar de wereld staart door de “lenzen” van gewone voorwerpen zoals een keramische koffiekop of een metalen presse-papier.

De methode die de onderzoekers gebruikten, omvat het omzetten van heldere objecten met een onbepaalde geometrie in stralingsveldcamera’s. Het belangrijkste idee is om het oppervlak van het object te gebruiken als een digitale sensor om het door de omgeving gereflecteerde licht in twee dimensies vast te leggen.

De onderzoekers leggen uit dat de nieuwe weergavesynthese nieuwe perspectieven biedt die alleen direct zichtbaar zijn voor het heldere object in de scène, maar niet voor de waarnemer, dankzij het herstel van de stralingsvelden van de omgeving. Bovendien kunnen we ons agglodraten voorstellen die worden gegenereerd door nabijgelegen objecten in de scène met behulp van stralingsveld. De door de onderzoekers ontwikkelde methode wordt end-to-end aangeleerd door verschillende foto’s van het object te gebruiken om tegelijkertijd de geometrie, diffuse straling en het stralingsveld van zijn 5D-omgeving te schatten.

Het onderzoek heeft tot doel het object te scheiden van zijn reflectie, zodat het object de wereld ‘ziet’ alsof het een camera is en zijn omgeving vastlegt. Computervisie worstelt al enige tijd met reflecties omdat ze een vervormde 2D-weergave zijn van een 3D-scène met een onbekende vorm.

De onderzoekers modelleren het oppervlak van het object als een virtuele sensor en verzamelen de tweedimensionale projectie van het 5D-stralingsveld rond het object om een ​​driedimensionale weergave te creëren van de wereld zoals gezien door het object. Het grootste deel van het stralingsveld van de omgeving wordt geblokkeerd, behalve door de reflecties van het object. Voorbij het gezichtsveld, wordt de weergave van de roman gesynthetiseerd of nieuwe perspectieven gepresenteerd die alleen direct zichtbaar zijn voor het heldere object in de scène maar niet voor de waarnemer, mogelijk gemaakt door het gebruik van de stralingsvelden van de omgeving, die ook toestaan voor de schatting van diepte en helderheid van het object naar zijn omgeving.

In het kort heeft het team het volgende gedaan:

• Ze laten zien hoe stilzwijgende oppervlakken kunnen worden omgezet in virtuele sensoren met de mogelijkheid om 3D-beelden van hun omgeving te maken met alleen virtuele kegels.
• Samen berekenen ze het 5D omringende stralingsveld van het object en schatten ze de diffuse straling.
• Ze laten zien hoe je het lichtveld van de omgeving kunt gebruiken om nieuwe perspectieven te genereren die onzichtbaar zijn voor het menselijk oog.

Dit project heeft tot doel het vijfdimensionale stralingsveld van de oceaan te reconstrueren uit vele foto’s van een helder element met een onbekende vorm en albedo. Verblinding van reflecterende oppervlakken onthult elementen van een scène buiten het gezichtsveld. Met name de oppervlakteregels en kromming van het heldere object bepalen hoe de beelden van de waarnemer worden afgebeeld op de echte wereld.

Onderzoekers hebben mogelijk nauwkeurigere informatie nodig over de vorm van het gereflecteerde object of de werkelijkheid, wat bijdraagt ​​aan vervorming. Het is ook mogelijk dat de kleur en textuur van een glanzend object versmelten met de reflecties. Bovendien is het niet eenvoudig om diepte te onderscheiden in gereflecteerde scènes, omdat reflecties tweedimensionale projecties zijn van een driedimensionale omgeving.

Het team van onderzoekers overwon deze obstakels. Ze beginnen met het fotograferen van het glimmende object vanuit verschillende hoeken, waarbij ze verschillende reflecties vastleggen. Orca (Objects Like Radiance-Field Cameras) is een acroniem voor hun proces in drie fasen.

Orca kan multi-view reflecties opnemen door het object vanuit verschillende hoeken in beeld te brengen, die vervolgens worden gebruikt om de diepte tussen het heldere object en andere objecten in de scène en de vorm van het heldere object zelf te schatten. Meer informatie over de sterkte en richting van de lichtstralen die van elk punt in het beeld komen en deze raken, wordt vastgelegd door het 5D-stralingsveldmodel van ORCa. Dankzij de data in dit 5D stralingsveld kan Orca nauwkeurigere diepteschattingen maken. Omdat de scène wordt weergegeven als een 5D-stralingsveld in plaats van een 2D-beeld, kan de gebruiker details zien die door hoeken of andere obstakels aan het oog worden onttrokken. De onderzoekers leggen uit dat zodra ORCa het 5D-stralingsveld heeft verzameld, de gebruiker een virtuele camera overal in het gebied kan plaatsen en het synthetische beeld kan creëren dat de camera zal produceren. De gebruiker kan ook het uiterlijk van een item wijzigen, bijvoorbeeld van keramiek in metaal, of virtuele objecten in de scène opnemen.

Door de definitie van het stralingsveld uit te breiden tot buiten het traditionele stralingsveld, kunnen onderzoekers nieuwe wegen openen voor het onderzoeken van de omgeving en de objecten daarin. Door gebruik te maken van geprojecteerde virtuele breedten en diepten, kan het werk mogelijkheden openen voor het invoegen van virtuele objecten en 3D-perceptie, zoals het extrapoleren van informatie van buiten het gezichtsveld van de camera.

scan de papier En Projectpagina. Vergeet niet mee te doen 22k+ML sub-redditEn onenigheid kanaalEn En Email nieuwsbrief, waar we het laatste AI-onderzoeksnieuws, coole AI-projecten en meer delen. Als u vragen heeft over het bovenstaande artikel of als we iets hebben gemist, kunt u ons een e-mail sturen op [email protected]

🚀 Bekijk 100’s AI Tools in de AI Tools Club