Infrared-to-optical image translation for keypoint-based image registration

Abstract

Multi-modal image registration is a critical step in many remote sensing and visual navigation applications. While image registration techniques developed for single modality images do not perform well for multi-modal registration, techniques developed for multi-modal image registration are not suitable for real-time applications. In this study, we aim to achieve real-time registration of infrared and optical (visible range) images. Specifically, we investigate the use of image-to-image translation deep network to convert infrared images to optical images, which is then applied for keypoint-based image registration.Çok modlu görüntü eşleştirme, birçok uzaktan algılama ve görsel navigasyon uygulamasında kritik bir adımdır. Tek modlu görüntüler için geliştirilen görüntü eşleştirme teknikleri çok modlu eşleştirme için iyi performans göstermezken, çok modlu görüntü eşleştirme için geliştirilen teknikler gerçek zamanlı uygulamalar için uygun degildir. Bu çalışmada, kızılötesi ve optik (görünür spektrum) görüntülerin gerçek zamanlı eşleştirilmesi hedeflenmiştir. Spesifik olarak, kızılötesi görüntüleri optik görüntülere dönüştürmek için görüntüden görüntüye çeviri derin agının kullanımı ve ardından anahtar nokta tabanlı görüntü eşleştirme uygulanması incelenmiştir.