Basit öğe kaydını göster

dc.contributor.advisorTek, Faik Borayen_US
dc.contributor.authorÇam, İlkeren_US
dc.contributor.otherIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Yüksek Lisans Programıen_US
dc.date.accessioned2019-04-09T01:16:52Z
dc.date.available2019-04-09T01:16:52Z
dc.date.issued2019-04-02
dc.identifier.citationÇam, İ. (2019). Learning filter scale and orientation in convolutional neural networks. İstanbul: Işık Üniversitesi Fen Bilimleri Enstitüsü.en_US
dc.identifier.urihttps://hdl.handle.net/11729/1545
dc.descriptionText in English ; Abstract: English and Turkishen_US
dc.descriptionIncludes bibliographical references (leaves 38-40)en_US
dc.descriptionxi, 40 leavesen_US
dc.description.abstractConvolutional neural networks have many hyper-parameters such as ?lter size, number of ?lters, and pooling size, which require manual tuning. Though deep stacked structures are able to create multi-scale and hierarchical representations, manually ?xed ?lter sizes limit the scale of representations that can be learned in a single convolutional layer. Can we adaptively learn to scale the ?lters on training time? Proposed adaptive ?lter model can learn the scale and orientation parameters of ?lters using backpropagation. Therefore, in a single convolution layer, we can create ?lters of di?erent scale and orientation that can adapt to small or large features and objects. The proposed model uses a relatively large base size (grid) for ?lters. In the grid, a di?erentiable function acts as an envelope for the ?lters. The envelope function guides e?ective ?lter scale and shape/orientation by masking the ?lter weights before the convolution. Therefore, only the weights in the envelope are updated during training. In this work, we employed a multivariate (2D) Gaussian as the envelope function and showed that it can grow, shrink, or rotate by updating its covariance matrix during backpropagation training. We tested the model with its basic settings to show the collaboration of weight matrix with envelope function is possible. A deeper architecture was used to show the performance on deeper and wider networks. We tested the new ?lter model on MNIST, MNIST-cluttered, and CIFAR-10 datasets. Compared the results with the networks that used conventional convolution layers. The results demonstrate that the new model can e?ectively learn and produce ?lters of di?erent scales and orientations in a single layer. Moreover, the experiments show that the adaptive convolution layers perform equally; or better, especially when data includes objects of varying scale and noisy backgrounds.en_US
dc.description.abstractEvrişimsel sinir ağlarında ?ltre boyutu, sayısı ve ortaklama boyutu elle seçilmektedir. Derin katmanlı sinir ağları hiyerarşik çok ölçekli temsiller öğrenebilmesine rağmen, sabit ?ltre boyutları farklı ölçekteki öğrenilebilecek ?ltre sayısını sınırlamaktadır. Aynı katmanda farklı ölçeklerde ?ltreleri eğitim aşamasında öğrenebilen bir mimari olabilir mi? Önerilen ?ltre modelimizde ?ltre ölçek ve oryantasyonları geriye yayılım ile öğrenilebilir. Bu şekilde, aynı evrişimsel katmanda farklı ölçek ve oryantasonlarla büyük ve küçük objeleri tanımlayabiliriz. Önerilen model, nispeten büyük ?ltre (ızgara) boyutlarına sahiptir. Türevi olan bir çevreleyici fonksiyon ile ?ltrelerin efektif ölçeklerini ve oryantasyonlarını, evrişim işlemine girmeden, katsayı matrislerini maskeleyebiliriz. Bu sayede, sadece çevreleyici fonksiyon içerisindeki katsayılar eğitilecektir. Bu çalışmamızda, çok değişkenli (2 Boyutlu) Gaussian fonksiyonunu çevreleyici fonksiyon olarak kullandık. Kovaryans matrisinin geriye yayılım yöntemiyle eğitilmesiyle, çevreyeliyici fonksiyonun büyüyüp, küçüldüğünü ve dönebildiğini gösterdik. Çevreliyici fonksiyonun eğitilebildiğini ve katsayılarla işbirliğini, modelin en basit haliyle deneyimledik. Derin katmanlardaki performansını, derin ve geniş mimariler üzerinde çalıştırdık ve performansını izledik. Önerilen modeli, MNIST, MNIST-cluttered ve CIFAR-10 veri kümelerinde çaıştırdık ve geleneksel evrişimsel sinir ağ mimarilerindeki çalışma performanslarıyla karşılaştırdık. Sonuçlar, önerdiğimiz modelin, farklı ölçek ve oryanyasyonlarda, aynı katmanda, ?ltreler öğrenebildiğini gösterdi. Ayrıca, deneylerimiz, adaptifevrişimsel katmanının aynı, özellikle veri kümesinde farklı ölçeklerde obje ve gürültülü arkaplan içeren veri kümelerinde daha iyi çalıştığını gösterdik.en_US
dc.description.tableofcontentsMachine Learningen_US
dc.description.tableofcontentsClassificationen_US
dc.description.tableofcontentsNeural Networksen_US
dc.description.tableofcontentsBack-propagationen_US
dc.description.tableofcontentsAuto-encodersen_US
dc.description.tableofcontentsConvolutional Neural Networksen_US
dc.description.tableofcontentsConvolutional Layeren_US
dc.description.tableofcontentsNon-linearity Layeren_US
dc.description.tableofcontentsPooling Layeren_US
dc.description.tableofcontentsRelated Adaptive Neural Networksen_US
dc.description.tableofcontentsMethoden_US
dc.description.tableofcontentsEnvelope Functionen_US
dc.description.tableofcontentsSelecting an Envelope Functionen_US
dc.description.tableofcontentsAn alternative envelope functionen_US
dc.description.tableofcontentsInitializationen_US
dc.description.tableofcontentsImplementationen_US
dc.description.tableofcontentsExperimentsen_US
dc.description.tableofcontentsFilter Guide Experimentsen_US
dc.description.tableofcontentsLearning a Gaussian filteren_US
dc.description.tableofcontentsLearning a Gaussian and edge filteren_US
dc.description.tableofcontentsApplication on deeper and wider networksen_US
dc.description.tableofcontentsScale and orientation experimentsen_US
dc.description.tableofcontentsMNISTen_US
dc.description.tableofcontentsMNIST Cluttereden_US
dc.description.tableofcontentsCIFAR-10en_US
dc.language.isoenen_US
dc.publisherIşık Üniversitesien_US
dc.rightsinfo:eu-repo/semantics/openAccessen_US
dc.rightsAttribution-NonCommercial-NoDerivs 3.0 United States*
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/us/*
dc.subjectAdaptive CNNen_US
dc.subjectFilter learningen_US
dc.subjectFilter scalingen_US
dc.subjectAdaptif CNNen_US
dc.subjectFiltre öğrenmesien_US
dc.subjectÖlçeklendirilebilir filtreen_US
dc.subject.lccQA76.9.A3 C36 2019
dc.subject.lcshAdaptive computing systems.en_US
dc.subject.lcshConvolutions (Mathematics)en_US
dc.titleLearning filter scale and orientation in convolutional neural networksen_US
dc.title.alternativeEvrişimsel sinir ağlarında filtre ölçeği ve oryantasyonunun öğrenilmesien_US
dc.typeMaster Thesisen_US
dc.departmentIşık Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Yüksek Lisans Programıen_US
dc.relation.publicationcategoryTezen_US
dc.institutionauthorÇam, İlkeren_US


Bu öğenin dosyaları:

Thumbnail

Bu öğe aşağıdaki koleksiyon(lar)da görünmektedir.

Basit öğe kaydını göster

info:eu-repo/semantics/openAccess
Aksi belirtilmediği sürece bu öğenin lisansı: info:eu-repo/semantics/openAccess