Derin öznitelikler ile anlambilimsel görüntü bölütleme

Abstract

Derin evrişimsel sinir ağları (ESA) pek çok sınıflandırma probleminde olduğu gibi anlambilimsel görüntü bölütlemede de çok ciddi başarı göstermiştir. Fakat derin ağların eğitilmesi hem zaman alıcıdır hem de geniş bir eğitim veri kümesine ihtiyaç duymaktadır. Bir veri kümesinde eğitilen ağın başka bir görev ya da veri kümesine uygulanabilmesi için transfer öğrenme ile yeniden eğitilmesi gerekmektedir. Transfer öğrenmeye alternatif olarak ağ katmanlarından çıkarılan öznitelik vektörleri doğrudan sınıflandırma amaçlı kullanılabilir. Bu bildiride genel ESA mimarilerinden elde edilen özniteliklerin eğitim gerektirmeyen bir görüntü etiketleme yönteminde kullanılmasının sınıflandırma başarımına katkısı incelenmiştir. Derin ağlarda ‘öğrenilmiş’ öznitelikler ile SIFT gibi ‘el yapımı’ özniteliklerin birlikte kullanılmasının etiketleme doğruluğunu artırdığı gösterilmiştir. Varolan ön eğitimli ağların kullanılması sayesinde önerilen yaklaşım herhangi bir veri kümesinde yeniden eğitime gerek olmadan kolayca uygulanabilmektedir. Önerilen yöntem iki veri kümesinde test edilmiş ve etiketleme doğruluğu benzer yöntemlerle karşılaştırmalı olarak sunulmuştur.

Deep convolutional neural networks (CNN) have shown significant success in many classification problems including semantic image segmentation. However training of deep networks is time consuming and requires large training datasets. A network trained in one dataset could be applied to another task or dataset through transfer learning and retraining. As an alternative to transfer learning, feature vectors that are extracted from network layers could be directly used for classification purposes. In this paper we investigate the improvement in classification performance when features extracted from generic CNN architectures are used in an image labeling algorithm that does not require training. We show that the use of 'learned' features from deep networks together with 'hand-crafted' features such as SIFT increases the labeling accuracy. Since existing pre-trained networks are used, the proposed approach could be easily applied to any dataset without any retraining. The proposed method is tested in two datasets and labeling accuracies are compared with similar existing methods.