Evaluation of feature selection and encoding methods fpr superpixel image parsing

Abstract

This thesis is about image parsing which is one of the important problems in computer vision. The goal of image parsing is segmentation of object and labeling of each object. Recently, a popular way of image segmentation and classifcation is superpixels. Image is segmented into visually logical small regions by using superpixel algorithm and then, superpixels are parsed into diferent classes. Classifcation performance is signifcantly afected by the properties of superpixel algorithm and parametric settings. SuperParsing is one of the superpixel-based image parsing algorithm and provides a succesful nonparametric solution for image segmentation and classifcation problem without any need for classifer training. SuperParsing labels each superpixel based on feature matching between the superpixel and a subset of the training superpixels. The training subset is determined by global matching between the test image and the training set. For superpixel matching the method makes use of a rich set of superpixel features. Class conditional log-likelihood is computed based on these matched features. The main objective of this thesis is to show improvements in labeling accuracy percentage by using feature encoding and selection methods, including learned features from Convolutional Neural Network (CNN) models. We perform two different encoding methods to selected features of superpixels and show that feature encoding improves parsing accuracy. The applied feature encoding methods are locality-constrained linear encoding (LLC) and kernel codebook encoding (KCB). LLC encoding method gives us 2:6% improvement on per-pixel accuracy for SIFT Flow dataset and 6:8% improvement on per-pixel accuracy for 19-class LabelMe dataset. KCB encoding method gives us 3:6% improvement on per-pixel accuracy for SIFT Flow dataset and 6:2% improvement on per-pixel accuracy for 19-class LabelMe dataset. All these results are overall improvement which are computed over original SuperParsing. Most recent studies about image segmentation and classifcation use CNN tiioi improve their accuracy percentage. Features extracted from pre-trained networks, which are trained on large image databases, can be used in addition to handcrafted features in image segmentation. Last layer of these CNN models give the best features for classifcation. We test learned CNN features together with KCB or LLC encoding methods. We use CNN features both for global matching and superpixel matching. These tests give us 7:3% overall improvement over originalSuperParsing on SIFT Flow dataset and 10:3% overall improvement over original SuperParsing on 19-class LabelMe dataset.

Bu tez, bilgisayarla görünün önemli problemlerinden olan görüntü ayrıştırma ile ilgilidir. Görüntü ayrıştırmanın amacı nesnenin bölütlenmesi ve her bir nesnenin etiketlenmesidir.Son zamanlarda imge bölütleme ve sınıflandırmanın popüler yolu süperpiksellerdir. Görüntü, süperpiksel algoritması kullanılarak görsel olarak küçük mantıksal bölgelere bölünür. Daha sonra süperpikseller farklı sınıflara ayrılır. Sınıflandırma performansı süperpiksel algoritmasının özelliklerinden ve parametre ayarlardan önemli ölçüde etkilenmektedir. SuperParsing, süperpiksel tabanlı bir görüntü ayrıştırma algoritmasıdır. Bu algoritma herhangi bir sınıflandırıcıya ihtiyaç duymadan başarılı bir parametrik olmayan çözüm sağlar. SuperParsing her bir süperpikseli süperpiksel ve eğitim süperpiksellerinin altkümesi arasındaki öznitelik eşlemesine bağlı olarak etiketler. Bu eğitim altkümesi test görüntüsü ve eğitim kümesi arasındaki global eşleme tarafından belirlenir. Bu yöntem süperpiksel eşleme için süperpiksel özelliklerinin zengin bir kümesini kullanır. Koşullu sınıf olabilirliği bu eşlenmiş özniteliklere bağlı olarak hesaplanır. Bu tezin temel amacı Evrişimsel Sinir Ağı (ESA) modellerinden öğrenilmiş öznitelikleri içeren öznitelik kodlama ve seçim yöntemleri kullanılarak etiketleme doğruluğu yüzdesindeki gelişmeleri göstermektir. Süperpiksellerin seçilmiş özniteliklerine iki farklı kodlama yöntemi uyguluyoruz ve öznitelik kodlamanın ayrıştırma doğruluğunu geliştirdiğini gösteriyoruz. Yerellik-Kısıtlı Doğrusal (YDK) ve Kernel Kod-tablosu (KKT) gibi öznitelik kodlama yöntemleri uygulanmıştır. YDK kodlama yöntemi SIFT Flow veri kümesinde %2.6 ve 19 sınıflı LabelMe veri kümesinde ise %6.8 artış sağlamıştır. KKT kodlama yöntemi SIFT Flow veri kümesinde %3.6 ve 19 sınıflı LabelMe veri kümesinde ise %6.2 artış sağlamıştır. Tüm bu sonuçlar orijinal SuperParsing üzerinden hesaplanan toplam kazançtır. Son zamanlardaki görüntü bölütleme ve sınıflandırma çalışmaların çoğunluğu doğruluk yüzdelerini geliştirmek için ESA kullanır. Görüntü bölütlemede büyük görüntü veri tabanlarında eğitilmiş olan ön eğitimli ağlardan çıkartılan öznitelikler el yapımı özniteliklere ek olarak kullanılabilir. Bu ESA modellerinin son katmanları sınıflandırma için en iyi öznitelikleri verir. Öğrenilmiş ESA özniteliklerini KKT veya YDK kodlama yöntemleri ile birlikte test ettik. ESA özniteliklerini hem global eşleme hem de süperpiksel eşleme için kullandık. Bu testler orijinal SuperParsing üzerine SIFT Flow veri kümesinde %7.3 ve 19 sınıflı LabelMe veri kümesinde ise %10.3 toplam kazanç sağlamıştır.