Spline based neural networks

Abstract

In this thesis, we applied the Catmull-Rom splines and B-splines to the neural networks models, which are Multi Layer Perceptrons, Elman Networks, and Locally Recurrent Neural Networks, as adaptive activation functions. We derived the learning algorithms for the five new neural network models, which we proposed. This new models are called 2Multi Layer Perceptrons with Adaptive B- Spline Activation Function3, 2Elman Networks with Adaptive Catmull-Rom Spline Activation Function3, 2Elman Networks with Adaptive B- Spline Activation Function3, 2Locally Recurrent Neural Networks with Adaptive Catmull-Rom Spline Activation Function3, 2Locally Recurrent Neural Networks with Adaptive B- Spline Activation Function3. We measure the performance of these networks on the xor problem and compare the performance of them for this problem. To simulate the networks and to compare their performances we developed a web-based neural network simulator written in PHP 4 called SBNN.

Bu tez ile, Catmull-Rom spline fonksiyonları ve B-spline fonksiyonları uyarlanabilir aktivasyon fonksiyonları olarak, yapay sinir ağı modelleri olan Çok Katmanlı Ağlara,Elman ağlarına ve Yerel Geri Beslemeli ağlara uygulandı. Bu uygulamalardan oluşturduğumuz 5 yeni yapay sinir ağı modeli için öğrenme algoritmalarının çıkarımları yapıldı. Bu yeni modeller sırasıyla 2Uyarlanabilir Catmull-Rom Spline Aktivasyon Fonksiyonlu Çok Katmanlı Ağlar3, 2Uyarlanabilir B-Spline Aktivasyon Fonksiyonlu Çok Katmanlı Ağlar3 , 2Uyarlanabilir Catmull-Rom Spline Aktivasyon Fonksiyonlu Elman Ağları3, 2Uyarlanabilir B-Spline Aktivasyon Fonksiyonlu Elman Ağları3, 2Uyarlanabilir Catmull-Rom Spline Aktivasyon Fonksiyonlu Yerel Geri Beslemeli ağlar3, ve son olarak 2Uyarlanabilir B- Spline Aktivasyon Fonksiyonlu Yerel Geri Beslemeli ağlar3 diye adlandırılır. Ağların performansı xor problemi kullanılarak ölçüldü ve sonuçları birbirleriyle karşılaştırıldı. Yapay sinir ağlarını oluşturulması ve performanslarının ölçülmesi için SBNN adında PHP 4 programlama dilin ile yazılmış web tabanlı bir yapay sinir ağı similatörü geliştirildi.