Evrisimsel sinir ağları ile rekabetçi derin öğrenme

Abstract

İmge üzerinde nesne tanımada, nesnenin imge üzerindeki yeri, açısal yönelimi ve ölçeği algoritmik olarak çözülmesi gereken önemli zorluklardır. Bu zorlukları aşmak için son yıllarda en sık kullanılan ve en başarılı sonuçları veren yaklaşım derin öğrenme ve evrişimsel yapay sinir ağlarıdır (EYSA). EYSA yaklaşımında katmanlar halinde evrişime dayalı süzgeçleme yapılır. Her katman, bir önceki katmandan gelen öznitelik haritasını (feature map) kullanarak daha karmaşık öznitelikler elde eder. Çoğunlukla son katmandan elde edilen en soyut öznitelik haritası tam bağlı (fully connected) bir yapay sinir ağının girdisini oluşturur. EYSA yaklaşımının en kritik aşaması süzgeçlerin algoritmik öğrenilmesidir. Bu görev için ağırlıklı olarak gradyan temelli geri yayılım (backpropagation) öğrenme algoritması kullanılmaktadır. Gradyan temelli yaklaşımlarda genellikle katman sayısı ile katmanlardaki sinir sayıları önceden tespit edilir ve bu sinirlerin girdi ağırlıkları ilklendirilerek arama uzayında başlangıç noktası sabitlenir. Eğitim, sınıflandırmanın yapıldığı en son katmandan ilk katmana doğru, sinirler arası bağlantılar düzenlenerek yapılır. Elle oluşturulan EYSA mimarisinin detayları hem veri kümesinin ne kadar zorlu olduğuna, hem de very kümesindeki örneklerin boyut sayısına bağlıdır. Gradyana dayalı eğitimde arama uzayının büyüklüğü, verinin boyut sayısı ile üstel ilintilidir. Bu durum, pek çok problemde doğru sayıda katman ve sinir oluşturulmasını ve bu sinirlere uygun ilk değerler atanmasını zorlaştırır. Eğitim sürecinde sınıflandırma hatasının girdi sağlayan sığ katman sinirlerine doğru paylaştırılması zordur. Bunlara ek olarak, hatanın eniyilenmesi gradyan üzerinde gerçekleştirildiği için sinir ağırlıkları ancak küçük adımlarla güncellenebilir. Bu durum imge örnekleri üzerinde çok sayıda epok yapılmasını zorunlu kılar. Dolayısı ile gradyan temelli yaklaşımlarda (1) başarı rastgele ilklendirmeye bağlıdır, (2) aşamalar kredi atama problemine (credit assignment problem) açıktır ve (3) eğitim, örnekler üzerinde çok sayıda tekrar gerektirmesi nedeniyle yavaştır. Bu projede, EYSA mimarisi için gradyan temelli olmayan, gözetimsiz bir makine öğrenmesi yöntemi önerilmiştir. Önerilen rekabetçi derin öğrenme (RDÖ) yaklaşımı her katmanda sinirler arası rekabete dayalıdır. Yöntemimizde eğitim, katmanlar halinde yapılır. Her katman boş olarak başlar. İlk eğitim örneği özgün bir öznitelik kabul edilerek süzgeç haline getirilir ve katmanın tek siniri olarak ilklendirilir. Yeni eğitim örneği için katmana ait sinirlerin çıktıları hesaplanır. Belli bir eşiğin üzerinde etkinleşen sinirler arasında en yüksek çıktıya sahip sinir kazanan olarak seçilir ve öğrenme sadece bu sinir üzerinde, eğitim örneğine doğru evrilerek olur. Böyle bir sinir mevcut değilse yeni bir sinir oluşturulur. Tüm eğitim örnekleri işlendiğinde, katmanda eğitim kümesindeki sınıf içi ve sınıflar arası değişintinin temsili için yeterli sayıda sinir oluşturulmuş olur. Sinirlerin, eğitim sırasında gerektikçe ve eğitim örneklerine yakınsayacak şekilde oluşturulması yoluyla EYSA'dan iki önemli hiperparametreyi; sinir sayısı ve sinir ağırlıklarının ilklendirilmesini kaldırdık. Sınıflandırma aşaması için en derin katmanda öğrenilen karmaşık özniteliklerin çıktılarını tam bağlı bir sinir ağına girdi olarak kullanarak gözetimli öğrenme gerçekleştirdik. Bu sayede, sığ evrişimsel katmanlarda kredi (hata) atama ve istikrarsız gradyanlar problemlerini ortadan kaldırmış olduk. Sinirlerin rastgele değil, eğitim örneklerine dayalı olarak oluşturulması ile evrişimsel katmanlarda öznitelik çıkarımını her bir katman için bir epokta tamamladık. Katmanlarda rastgele ve gereğinden fazla sinir oluşturulmaması; sinirlerin eğitim örneklerine dayalı olarak oluşturulması sayesinde az sayıda tekrar yapılması; bunlara ek olarak öznitelik çıkarımında geri yayılım aşamasının olmaması eğitim sürecimizi kayda değer oranda hızlandırdı. Önerdiğimiz RDÖ yöntemini, literatürde sık kullanılan MNIST, CIFAR-10 ve Tiny ImageNet veri kümeleri üzerinde sınıflandırma deneyleri ve BRATS veri kümesi üzerinde tümör bulma problemi üzerinde denedik ve sonuçlarımızı raporladık.

Varying location, orientation and scale are the biggest challenges in object recognition with image processing. The most popular approaches to tackle these challenges are deep learning and Convolutional Neural Networks (CNN) where filtering is done in convolutional layers that scan the entire image. Each layer of a CNN processes the outputs of the previous layer to extract more and more abstract and descriptive features. Classification is performed on the outputs of the last feature extraction layer through conventional supervised learning. The most critical stage of the CNN approach is algorithmic training of the filters in the hidden layers. One way to learn the filters is the gradient based backpropagation (BP) algorithm. Gradient based algorithms typically require the number of layers to be fixed and initialize a preset number of neurons with random weights, fixing the starting point in the search space. BP starts with the outputs of the last layer and progresses backwards as it distributes the credit (or error) towards the first layer, updating weights layerwise. Both the number of layers and neurons to be initialized in layers depend on the complexity of the data set and the dimensionality of the samples. This dependency makes it unpractical to initialize a correct number of hidden neurons with suitable weights for most problems. Distribution of classification error to neurons is a challenge as each neuron has multiple inputs. Error minimization is performed on a gradient; therefore weight updates can only be made with small steps. As a result, gradient based methods require repetitive exposure of training samples until convergence. Consequently in gradient based methods; (1) the success depends on random initialization, (2) learning stages are vulnerable to the credit assignment problem and (3) training is slow as it requires numerous epochs on samples. In this project we proposed an unsupervised learning algorithm to be used with the CNN architecture. In the proposed competitive deep learning (CDL) algorithm, neurons of a layer compete with each other to become a winner. The training of the network is performed layerwise and each layer starts out empty. The first training sample is considered a novel feature, which is converted into a filter and initialized as the only neuron of the layer. In case the layer is not empty, we calculate the outputs of the neurons for the input. The neuron that is stimulated the most and above a given similarity threshold is considered the winner and its weights are updated to evolve towards the input. When no such neuron exists, a new neuron will be initialized for this novel input. Therefore at the end of the training, a required and enough number of neurons are generated and initialized for representing the variance in the training set. A new neuron is generated only when the layer does not embody a neuron that is a representative of the given sample. This eliminates two important hyperparameters from CNN; the number of neurons and initialization of neuron weights. We performed classification by feeding the outputs of the deepest, most abstract and representative neurons as input to a fully connected network, which is to be trained in a supervised manner. Consequently, we eliminated the credit assignment and vanishing or exploding gradients problem in the shallow convolutional layers. Generation of new neurons based on the training examples significantly speeds up the convergence rate of the neuron weights and training is usually completed in a single epoch. Creation of exactly enough number of neurons and their targeted initialization together with the lack of back propagation significantly sped up our training process. We experimented on the popular MNIST, CIFAR-10 and Tiny ImageNet datasets to assess the classification performance; and on BRATS dataset to assess the tumor detection performance of the proposed algorithm.