Automated detection of refugee dwellings from satellite imagery using multi-class graph-cut segmentation and shadow information

Abstract

This paper adresses the automated detection and enumeration of the dwellings/tents within the refugee camp areas using satellite and aerial images. The fact that dwellings inside the refugee camps correspond to very small, densely and sometimes arbitrarily positioned objects that are hard to distinguish from the background, even in Very-High Resolution (VHR) images, makes the automated tent/dwelling detection a difficul problem. In this paper, a method combining the use of the multi-class graph-cut segmentation and shadow information is proposed for dwelling/tent detection. Accordingly, as a first step, tents/dwellings are detected by applying graph-cut segmentation and morphology. Then, in order to improve the accuracy, the shadow information is exploited. At the last step, all detected tent segments are re-checked for correctness using a gradient-based thresholding method. The proposed method is tested on the images of the refugee camps that mostly have arbitrary and dense dwelling/tent positioning inside. The precision and recall values are determined to evaluate the performance. The obtained average precision (91.9N and average recall (90.0%) performances are promising considering the difficulty of the problem.

Bu çalışmada, mülteci kamplarında bulunan yaşam alanlarının/barınakların (çadır, konteynır vb.) uydu ve hava görüntülerinden otomatik olarak sezimi ve sayımına yönelik bir yöntem tanıtılmaktadır. Mülteci kamplarındaki barınakların çok yüksek çözünürlüklü (VHR) görüntülerde dahi çok küçük boyuta sahip, belli bir alanda çok sık ve bazen karmaşık şekilde yerleştirilmiş ve arkaplan ile ayrıştırılması zor nesnelere denk geliyor olması otomatik barınak/çadır sezim ve sayımını zorlaştırmaktadır. Bahsedilen problemin çözümüne yönelik olarak çok sınıflı çizge-kesme (graph-cut) bölütlemesi ve gölge bilgisinin kullanıldığı özgün bir yöntem çalışma kapsamında önerilmektedir. Buna göre, ilk adımda çizge-kesme bölütleme yöntemi ve morfoloji işlemleri uygulanarak çadır sezimi yapılmıştır. Bu adımda sezilememiş çadırların bulunabilmesi için ikinci bir adımda çadırların gölge bilgisinden faydalanılmıştır. En son adımda gradyan-tabanlı eşikleme yöntemi ile yanlış tespitlerin elenmesi amaçlanmıştır. Önerilen yöntem, özellikle karmaşık yerleşim düzenine sahip mülteci kampları (çadırkent) üzerinde test edilmiştir. Yöntemin başarımı kesinlik (precision) ve geri getirme (recall) kriterlerine göre belirlenmiştir. Elde edilen ortalama kesinlik ve geri getirme başarımları sırasıyla %91.9 ve %90.0 olup problemin zorluğu göz önünde bulundurulduğunda umut vadedici bir sonuçtur.