Light field registration: A multi-view geometry approach

Abstract

Through capturing spatial and angular radiance distribution, light field cameras bring new capabilities that are not possible with conventional imaging systems. So far in the light field imaging literature, the focus has been on the theory and applications of single light field capture. The natural extension of single light field processing is the processing of light field sequences, which is likely to bring in new applications, capabilities, and enhancements. One of the first challenges of light field video processing is the registration of light field data. In this paper, we investigate light field registration through multi-view projective geometry. We utilize the regularity of the spatial and angular sampling in the light field data, and extend the methods developed for stereo vision systems to such a regular data. By merging multiple light fields, we demonstrate the extension of synthetic aperture, which results in more accurate depth estimation compared to that obtained by a single light field.

Işık alanı kameraları, ışığın yer ve yön dağılımını kaydederek, normal kameraların sahip olmadığı kabiliyetler ortaya koyar. Işık alanı literatürünü taradığımızda şimdiye kadar olan araştırmanın tek çekimlik ışık alanı teorisi ve uygulamalarıüzerine oldugu görülür. Tek çekimlik ışık alanı işlemenin doğal bir uzantısı olarak birden çok ışık alanının işlenmesidir; bu sayede, yeni uygulamalar, kabiliyetler, ve iyileştirmeler gerçekleştirilebilir. Birden çok ışık alanının işlenemesinde aşılması gereken ilk engellerden birisi ışık alanlarının çakıştırılmasıdır. Bu makalede, çok görüntülü geometri yaklaşımıyla ışık alanı çakıştırılması üzerinde durduk. Işık alanı verisindeki yer veyön kaydının düzenli aralıklarla kaydedilmesinden faydalanarak, stereo görüntüleme amaçlı geliştirilen metodları ışık alanı çakıştırması için geliştirerek kullandık. Birden çok ışık alanını birlestirerek, sentetik lens açıklıgını arttırdık ki bu tek bir ışık alanine kıyasla daha hassas bir derinlik kestirimi sağladı.