Evrisimsel sinir ağları ile rekabetçi derin öğrenme

Basit Öğe Kaydı
dc.authorid0000-0003-0298-0690
dc.contributor.authorEskil, Mustafa Taneren_US
dc.date.accessioned2022-11-04T17:19:07Z
dc.date.available2022-11-04T17:19:07Z
dc.date.issued2021-09-15
dc.departmentIşık Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümüen_US
dc.departmentIşık University, Faculty of Engineering, Department of Computer Engineeringen_US
dc.description.abstractİmge üzerinde nesne tanımada, nesnenin imge üzerindeki yeri, açısal yönelimi ve ölçeği algoritmik olarak çözülmesi gereken önemli zorluklardır. Bu zorlukları aşmak için son yıllarda en sık kullanılan ve en başarılı sonuçları veren yaklaşım derin öğrenme ve evrişimsel yapay sinir ağlarıdır (EYSA). EYSA yaklaşımında katmanlar halinde evrişime dayalı süzgeçleme yapılır. Her katman, bir önceki katmandan gelen öznitelik haritasını (feature map) kullanarak daha karmaşık öznitelikler elde eder. Çoğunlukla son katmandan elde edilen en soyut öznitelik haritası tam bağlı (fully connected) bir yapay sinir ağının girdisini oluşturur. EYSA yaklaşımının en kritik aşaması süzgeçlerin algoritmik öğrenilmesidir. Bu görev için ağırlıklı olarak gradyan temelli geri yayılım (backpropagation) öğrenme algoritması kullanılmaktadır. Gradyan temelli yaklaşımlarda genellikle katman sayısı ile katmanlardaki sinir sayıları önceden tespit edilir ve bu sinirlerin girdi ağırlıkları ilklendirilerek arama uzayında başlangıç noktası sabitlenir. Eğitim, sınıflandırmanın yapıldığı en son katmandan ilk katmana doğru, sinirler arası bağlantılar düzenlenerek yapılır. Elle oluşturulan EYSA mimarisinin detayları hem veri kümesinin ne kadar zorlu olduğuna, hem de very kümesindeki örneklerin boyut sayısına bağlıdır. Gradyana dayalı eğitimde arama uzayının büyüklüğü, verinin boyut sayısı ile üstel ilintilidir. Bu durum, pek çok problemde doğru sayıda katman ve sinir oluşturulmasını ve bu sinirlere uygun ilk değerler atanmasını zorlaştırır. Eğitim sürecinde sınıflandırma hatasının girdi sağlayan sığ katman sinirlerine doğru paylaştırılması zordur. Bunlara ek olarak, hatanın eniyilenmesi gradyan üzerinde gerçekleştirildiği için sinir ağırlıkları ancak küçük adımlarla güncellenebilir. Bu durum imge örnekleri üzerinde çok sayıda epok yapılmasını zorunlu kılar. Dolayısı ile gradyan temelli yaklaşımlarda (1) başarı rastgele ilklendirmeye bağlıdır, (2) aşamalar kredi atama problemine (credit assignment problem) açıktır ve (3) eğitim, örnekler üzerinde çok sayıda tekrar gerektirmesi nedeniyle yavaştır. Bu projede, EYSA mimarisi için gradyan temelli olmayan, gözetimsiz bir makine öğrenmesi yöntemi önerilmiştir. Önerilen rekabetçi derin öğrenme (RDÖ) yaklaşımı her katmanda sinirler arası rekabete dayalıdır. Yöntemimizde eğitim, katmanlar halinde yapılır. Her katman boş olarak başlar. İlk eğitim örneği özgün bir öznitelik kabul edilerek süzgeç haline getirilir ve katmanın tek siniri olarak ilklendirilir. Yeni eğitim örneği için katmana ait sinirlerin çıktıları hesaplanır. Belli bir eşiğin üzerinde etkinleşen sinirler arasında en yüksek çıktıya sahip sinir kazanan olarak seçilir ve öğrenme sadece bu sinir üzerinde, eğitim örneğine doğru evrilerek olur. Böyle bir sinir mevcut değilse yeni bir sinir oluşturulur. Tüm eğitim örnekleri işlendiğinde, katmanda eğitim kümesindeki sınıf içi ve sınıflar arası değişintinin temsili için yeterli sayıda sinir oluşturulmuş olur. Sinirlerin, eğitim sırasında gerektikçe ve eğitim örneklerine yakınsayacak şekilde oluşturulması yoluyla EYSA'dan iki önemli hiperparametreyi; sinir sayısı ve sinir ağırlıklarının ilklendirilmesini kaldırdık. Sınıflandırma aşaması için en derin katmanda öğrenilen karmaşık özniteliklerin çıktılarını tam bağlı bir sinir ağına girdi olarak kullanarak gözetimli öğrenme gerçekleştirdik. Bu sayede, sığ evrişimsel katmanlarda kredi (hata) atama ve istikrarsız gradyanlar problemlerini ortadan kaldırmış olduk. Sinirlerin rastgele değil, eğitim örneklerine dayalı olarak oluşturulması ile evrişimsel katmanlarda öznitelik çıkarımını her bir katman için bir epokta tamamladık. Katmanlarda rastgele ve gereğinden fazla sinir oluşturulmaması; sinirlerin eğitim örneklerine dayalı olarak oluşturulması sayesinde az sayıda tekrar yapılması; bunlara ek olarak öznitelik çıkarımında geri yayılım aşamasının olmaması eğitim sürecimizi kayda değer oranda hızlandırdı. Önerdiğimiz RDÖ yöntemini, literatürde sık kullanılan MNIST, CIFAR-10 ve Tiny ImageNet veri kümeleri üzerinde sınıflandırma deneyleri ve BRATS veri kümesi üzerinde tümör bulma problemi üzerinde denedik ve sonuçlarımızı raporladık.en_US
dc.description.abstractVarying location, orientation and scale are the biggest challenges in object recognition with image processing. The most popular approaches to tackle these challenges are deep learning and Convolutional Neural Networks (CNN) where filtering is done in convolutional layers that scan the entire image. Each layer of a CNN processes the outputs of the previous layer to extract more and more abstract and descriptive features. Classification is performed on the outputs of the last feature extraction layer through conventional supervised learning. The most critical stage of the CNN approach is algorithmic training of the filters in the hidden layers. One way to learn the filters is the gradient based backpropagation (BP) algorithm. Gradient based algorithms typically require the number of layers to be fixed and initialize a preset number of neurons with random weights, fixing the starting point in the search space. BP starts with the outputs of the last layer and progresses backwards as it distributes the credit (or error) towards the first layer, updating weights layerwise. Both the number of layers and neurons to be initialized in layers depend on the complexity of the data set and the dimensionality of the samples. This dependency makes it unpractical to initialize a correct number of hidden neurons with suitable weights for most problems. Distribution of classification error to neurons is a challenge as each neuron has multiple inputs. Error minimization is performed on a gradient; therefore weight updates can only be made with small steps. As a result, gradient based methods require repetitive exposure of training samples until convergence. Consequently in gradient based methods; (1) the success depends on random initialization, (2) learning stages are vulnerable to the credit assignment problem and (3) training is slow as it requires numerous epochs on samples. In this project we proposed an unsupervised learning algorithm to be used with the CNN architecture. In the proposed competitive deep learning (CDL) algorithm, neurons of a layer compete with each other to become a winner. The training of the network is performed layerwise and each layer starts out empty. The first training sample is considered a novel feature, which is converted into a filter and initialized as the only neuron of the layer. In case the layer is not empty, we calculate the outputs of the neurons for the input. The neuron that is stimulated the most and above a given similarity threshold is considered the winner and its weights are updated to evolve towards the input. When no such neuron exists, a new neuron will be initialized for this novel input. Therefore at the end of the training, a required and enough number of neurons are generated and initialized for representing the variance in the training set. A new neuron is generated only when the layer does not embody a neuron that is a representative of the given sample. This eliminates two important hyperparameters from CNN; the number of neurons and initialization of neuron weights. We performed classification by feeding the outputs of the deepest, most abstract and representative neurons as input to a fully connected network, which is to be trained in a supervised manner. Consequently, we eliminated the credit assignment and vanishing or exploding gradients problem in the shallow convolutional layers. Generation of new neurons based on the training examples significantly speeds up the convergence rate of the neuron weights and training is usually completed in a single epoch. Creation of exactly enough number of neurons and their targeted initialization together with the lack of back propagation significantly sped up our training process. We experimented on the popular MNIST, CIFAR-10 and Tiny ImageNet datasets to assess the classification performance; and on BRATS dataset to assess the tumor detection performance of the proposed algorithm.en_US
dc.description.tableofcontentsRekabetçi Derin Öğrenme ile Gözetimsiz Öğrenme ve Sınıflandırmaen_US
dc.description.tableofcontentsNeocognitronen_US
dc.description.tableofcontentsEvrişimsel Özniteliklerin Keşfi ve Sinir Oluşturmaen_US
dc.description.tableofcontentsSüzgeç Adaylarının Çıkarımıen_US
dc.description.tableofcontentsGözetimsiz Eğitimen_US
dc.description.tableofcontentsRekabetçi Derin Öğrenme ile Gözetimsiz Kusur Tespitien_US
dc.description.tableofcontentsÖn İşlemeen_US
dc.description.tableofcontentsSüzgeç Adaylarının Çıkarılmasıen_US
dc.description.tableofcontentsSüzgeç Seçimien_US
dc.description.tableofcontentsKusur Tespitien_US
dc.description.tableofcontentsKusur Olasılık Matrisinin Bölütlenmesien_US
dc.description.tableofcontentsRekabetçi Derin Öğrenme ile Sınıflandırmaen_US
dc.description.tableofcontentsDeneysel Kurguen_US
dc.description.tableofcontentsMNISTen_US
dc.description.tableofcontentsCIFAR-10en_US
dc.description.tableofcontentsTiny ImageNeten_US
dc.description.tableofcontentsRekabetçi Derin Öğrenme ile Kusur Denetimien_US
dc.description.tableofcontentsBRATS Veri Kümesien_US
dc.description.tableofcontentsİş Paketlerien_US
dc.description.tableofcontentsÖznitelik Öğrenme İş Paketien_US
dc.description.tableofcontentsSınıflandırma İş Paketien_US
dc.description.tableofcontentsTopaklama ve Sıra Dışı Örnek Tespiti İş Paketien_US
dc.description.versionPublisher's Versionen_US
dc.identifier.citationEskil, M. T. (2021). Evrisimsel sinir ağları ile rekabetçi derin öğrenme. Tübitak.en_US
dc.identifier.urihttps://hdl.handle.net/11729/5112
dc.identifier.urihttps://search.trdizin.gov.tr/tr/yayin/detay/1130621
dc.indekslendigikaynakTR-Dizinen_US
dc.institutionauthorEskil, Mustafa Taneren_US
dc.institutionauthorid0000-0003-0298-0690
dc.language.isotren_US
dc.peerreviewedYesen_US
dc.publicationstatusPublisheden_US
dc.publisherTübitaken_US
dc.relation.publicationcategoryRaporen_US
dc.relation.tubitakinfo:eu-repo/grantAgreement/TUBITAK/EEEAG/118E293
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.subjectEvrisimsel yapay sinir aglarıen_US
dc.subjectRekabetçi ögrenmeen_US
dc.subjectİlklendirmeen_US
dc.subjectTopaklamaen_US
dc.subjectÖznitelikleren_US
dc.titleEvrisimsel sinir ağları ile rekabetçi derin öğrenmeen_US
dc.typeProjecten_US
dspace.entity.typeProject

Dosyalar

Orijinal paket
Listeleniyor 1 - 1 / 1
Küçük Resim
İsim:
Evrisimsel_sinir_aglari_ile_rekabetci_derin_ogrenme.pdf
Boyut:
1.77 MB
Biçim:
Adobe Portable Document Format
Açıklama:
Proje Dosyası
İndir
Lisans paketi
Listeleniyor 1 - 1 / 1
Küçük Resim Yok
İsim:
license.txt
Boyut:
1.44 KB
Biçim:
Item-specific license agreed upon to submission
Açıklama:
İndir

Koleksiyon

Diğer Koleksiyonu | Bilgisayar Mühendisliği Bölümü
Projeler
TR-Dizin İndeksli Yayınlar Koleksiyonu