Deep learning techniques for building density estimation from remotely sensed imagery

Abstract

This thesis is about point-wise estimation of building density on the remote sensing optical imageries by applying deep learning methods. The goal of the project is to reduce mean square error of the estimated density by applying architectural modifications on the deep learning network and using augmented training data. Recently, deep learning is one of popular field of science and convolutional neural networks (CNNs) are well-known deep neural network. Recent studies indicate that some of the convolutional neural networks are highly effective in large scale image works such as recognition, semantic segmentation. There has been limited research in using deep networks to learn urbanization characteristics from remote sensing images. Remote sensing images could be used for regression problems and building density estimation is one of them. Building density information provides knowledge for real estate agents and urban planners, estimating disaster risk areas, environment protection and resource allocation. Our method provides a cheap and fast solution to these needs when there is no cadastral information. The main objective of this thesis is to achieve fast and accurate local building density estimation using high resolution remote sensing images. Deep learning methods based on CNN are applied in this project. Pre-trained visual geometry group (VGG-16) and fully convolutional network (FCN) are tested as convolutional neural network. We tested three different modified networks and then applied data augmentation in the train data to reduce mean square error value. The networks that we have performed simplified original VGG-16 network for regression, VGG-16 network with sigmoid layer added and simplified VGG-16 network with sigmoid layer. The best result (lowest mean square error) is obtained from sigmoid layer added VGG-16 network with data augmentation. Sigmoid layer added VGG-16 network gives us (∼0,084) RMSE on building density estimation with the augmented train dataset. Original VGG-16 network gives (∼0,105) RMSE, sigmoid layer added VGG-16 network gives (∼0,095) RMSE and sigmoid layer added simplified VGG-16 network gives (∼0,090) RMSE on building density estimation with the small train dataset. FCN is one of the ideal network for classification tasks so we have also applied fully convolutional network result to compare our results with its result. We have modified the network to perform building density estimation in addition to semantic segmentation. The root mean square error of FCN is (∼0,084) and our best result (lowest mean square error) is also (∼0,084) RMSE at the same iteration number. Our results show that fast and accurate building density estimation is possible by using vanilla CNNs. Sigmoid layer addition, simplification of the network for small dataset and data augmentation improves accuracy in the regression. Data augmentation is the most effective method to reduce RMSE in this thesis.

Bu tez, derin öğrenme yöntemlerini uygulayarak uzaktan algılamalı optik görüntülerde bina yoğunluğunun noktasal olarak tahmin edilmesi ile ilgilidir. Projenin amacı, derin öğrenme ağına mimari değişiklikler uygulayarak ve artırılmış eğitim verilerini kullanarak tahmini yoğunluğun ortalama kare hatasını azaltmaktır. Son zamanlarda, derin öğgrenme popüler bilim alanlarından biridir ve evrişimli sinir ağları (CNN) iyi bilinen derin sinir ağlarındandır. Son çalışmalar, evrişimli sinir ağlarının bazılarının tanıma, anlamsal bölümleme gibi büyük ölçekli görüntü çalışmalarında oldukça etkili olduğunu göstermektedir. Uzaktan algılama görüntülerinden kentleşme özelliklerini öğrenmek için derin ağları kullanma konusunda sınırlı araştırma yapılmıştır. Regresyon problemleri için uzaktan algılama görüntüleri kullanılabilir ve bina yoğunluğu tahmini bunlardan biridir. Bina yoğunluğu bilgisi, emlakçılar ve şehir plancıları için bilgi sağlar, afet risk alanlarını, çevre koruma alanlarını ve kaynak tahsisini tahmin eder. Metodumuz kadastro bilgisi olmadığında bu ihtiyaçlara ucuz ve hızlı bir çözüm sunar. Bu tezin temel amacı, yüksek ¸çözünürlüklü uzaktan algılama görüntüleri kullanarak hızlı ve doğru yerel bina yoğunluğu tahmini elde etmektir. Evrişimsel sinir ağına (CNN) dayalı derin öğrenme yöntemleri bu projede uygulanmaktadır. ¨ Önceden eğitilmiş görsel geometri grubu (VGG-16) ve tamamen evrişimsel sinir ağı (FCN) ile testler uygulanmıştır. Biz üç farklı değiştirilmiş ağı test ettik ve ardından ortalama kare hata değerini azaltmak için veri artırma yöntemine başvurduk. Uyguladığımız ağlar, regresyon için basitleştirilmiş orjinal VGG-16 ağı, sigmoid katmanı ekli VGG-16 ağı ve sigmoid katmanı ekli basitleştirilmiş VGG-16 ağıdır. En iyi sonuç ise (en düşük ortalama kare hatası) eğitim veri kümesi arttırılmış ve sigmoid katmanı eklenmiş VGG-16 ağından elde edilir. Sigmoid katmanı eklenmş VGG-16 ağı, artırılmış eğitim veri setiyle bina yoğunluğu tahmininde (∼0,084) kök ortalama kare hatası verir. Orjinal VGG-16 ağı bize (∼0,105) kök ortalama kare hatası, sigmoid katmanı eklenmiş VGG-16 ağı bize (∼0,095) kök ortalama kare hatası ve sigmoid katmanı eklenmiş - basitleştirilmiş VGG-16 ağı, küçükegitim veri kümesi ile bina yoğunluğu tahmininde bize (∼0,090) kök ortalama kare hatası verir. Tamamen evrişimsel sinir ağı (FCN), sınıflandırma görevleri için ideal ağlardan biridir. Bu yüzden tamamen evrişimsel sinir ağı (FCN) sonucunu, sonuçlarımız ile karşılaştırma amacıyla projemize ekledik. Anlamsal bölümlendirmeye ek olarak, ağı bina yögunluğu tahmini yapması için değiştirdik. Aynı yineleme sayısında, tamamen evrişimsel sinir ağın (FCN) kök ortalama kare hatası (∼0,084) tür ve bizim en iyi sonucumuz da (∼0,084) kök ortalama kare hatasına eşittir. Sonuçlarımız, hızlı ve doğru bina yoğunluğu tahmininin vanilya evrişimsel sinir ağılarını (CNN) kullanarak mümkün olduğunu göstermektedir. Sigmoid katmanının eklenmesi, ağın küçük veri kümesi ve veri büyütme için basitleştirilmesi, regresyondaki doğruluğu arttırır. Veri büyütme, bu tez çalışmasında kök ortalama kare hatasını azaltmada en etkili yöntemdir.