Integratie van Segmentatie en Stereo-Matching

Door Yaonan Zhang, TU Delft

Twee ogen of camera's die kijken naar dezelfde objecten vanuit verschillend perspectief verschaffen de middelen om driedimensionale vorm en positie te bepalen. Weterschappelijk onderzoek naar dit effect wordt betiteld met termen als stereo vision of stereopsis. Stereo vormt een belangrijke methode voor machineperceptie omdat het leidt tot relatief rechtstreeksee metingen doordat, in tegenstelling tot bij enkebeeld technieken, hier diepte niet wordt afgeleid onder zwakke en niet verifieerbare fotometrische of statische aannamen, en omdat er voorst geen specifieke gedetailleerde modelkennis over de objecten bij benodigd is.

Segmentatie en stereo matching vormen twee essesiële stappen in stereo vision en zijn moeilijk op te lossen problemen. Binnen de traditionele benadering worden segmentatie en stereo vision gewoonelijk afzondelijk behandeld. Het segmentatieproces- in dit proefschift behandelen we alleen region based segmentatie- beoogt te komen tot een opdeling van een beeld in gebieden die uniform en homogeen zijn ten aanzien van een of meerdere eigenschappen als grijswaarde en textuur. Segmentatietechnieken zijn in wezen ad hoc van karakter. Hun onderlinge verschil ligt in het feite in de wijze waarop ze een of meer van de gewenste gebiedseigenschappen benadrukken en de wijze waarop ze de gewenste eigenschappen vervolgens tegen elkaar afwegen. De gebieden in een beeld ontstaan niet allen ten gevolge van de geometrische eigenschappen van de oppervlakken van voorwerpen, maar ook als gevolg van hun optische eigenschappen, de richting van het zonlicht, schaduwen, etcetera. Verschillen in benadering van beeldmodellen en verschillende implementaties leiden tot een variëteit aan segmentatietechnieken. Veel onderzoekers hebben geconstateerd dat er niet een enkele methode bestaat die op zich een volledige segmentatie van een beeld kan leveren. Iedere methode echter kan onmogelijk wel een deel van de informatie opleveren die nodig is voor een meer betekenisvolle interpretatie van de scene. Het is redelijk om te verwachten dat er problemen op zullen treden bij het ‘versmelten' (Eng. Fusing) van resultaten afkomsig van verschillende methoden en uit verschillende bronnen, zoals in dit proefschrift de sterobeelden.

Stereo Matching is nodig om de resultaten van stereobeelden te kunnen combineren, maar daar staat tegenover dat hiervoor op zijn beurt weer een goede segmentatie vereist is. Onvolkomen segmenatie en mogelijke occlusie maken het moeilijk om gebieden in twee beelden als projecties van een en hetzelfde object te vergelijken. Om en goed matching resultaat te verkrijgen is het nodig deze gebieden na het matchen, nogmaals te segmenteren. Uitgaande van bovenstaande constateringen stellen we een nieuw schema voor om segmentatie en stereo matching te integreren. Na een eerste region-based segmentatie wordt een kandidaat stereo matching uitgevoerd die gebieden uit het ene beeld toekent aan corresponderende gebieden uit het andere door middel van vorm overeenkomst (Eng: shape matching). Tijdens de volgende segmentatiestap wordt stereoinformatie meegenomen. Dit geschiedt door tijdens de afweging over het al dan niet samenvoegen van een gebied met aangrenzende gebieden in het beel, ook de (sterio-) corresponderende gebieden van de kandidaten zijn hierbij te betrekken. Deze matching wordt dan uitgevoerd gebruikmakend van intensiteits- en vorminformatie uit beide beelden. Tenslotte wordt een globale matching uitgevoerd waarbij de andere matchingcriteria zoals uniciteit, ordeing en topologische relaties worden meegenomen.