Milkminer: a dairy farm analysis and learning system

Abstract

Agriculture and animal breeding industry is getting its share from the rapid advances in technology which enables the world wide use of automation systems. The use of automatic milking systems in dairy farms for milking has also increased. The goal of this thesis is to contribute to the development of performance enhancing processes by analyzing the data collected in dairy farms for discovering new rules and relationships using data mining. The outputs of this thesis will be used by Triodor Company as an analysis and learning system. Currently, the data collected in various dairy farms all around the world that use automated systems is stored for use in local or global databases as a part of the automation projects. Since these automation technologies are still in the development phase, research and development on detailed study, analysis and relationship recognition among data is in early stages and limited. Currently, the central database populated by the software technologies developed by Triodor contains data about each individual farm such as key performance measurements collected daily from more than 30 countries and 4000 dairy farms for various types of users. This large scaled dataset is not used for any operation or analysis other than simple query answering. If this large database and external data sources (such as weather, vegetation) are analyzed for the detection of potential hidden relationships among data then it will be possible to realize improvements in these farms regarding various types of criteria such as performance, sustainability, and product quality. In this thesis, an analysis and learning system that works on the data collected from dairy farms is developed. In the implementation of this system, the dairy farm database design is analyzed in terms of the content to be used in analysis purposes, and then the database is analyzed using data mining methods. As a result, a system with quantitative analysis techniques via data mining methods is generated.

Gittikçe hızlanan teknolojik ilerlemelere bağlı olarak tarım ve hayvancılık alanları da bu gelişmelerden nasibini almakta ve dünya genelinde ilgili birçok konuda otomasyon sistemleri kullanılmaktadır. Mandıra çiftliklerinde süt üretimi konusunda da son yıllarda otomatik süt üretim sistemlerinin (automatic milking systems) kullanımı hızla artmaktadır. Bu tezin amacı mandıra çiftliklerinde toplanan verilerin veri madenciliği teknikleri kullanılarak işlenmesi, analiz edilmesi ve yeni kurallar ile ilişkilerin araştırılıp tespit edilerek çiftliklerin verimini artırıcı yeni süreçler geliştirilmesine katkı sağlamasıdır. Tezden elde edilecek olan çıktılar, Triodor firması tarafından analiz ve öğrenme sistemi olarak kullanılacaktır. Hal-i hazırda dünya üzerinde otomasyon sürecine girmiş olan çeşitli mandıra çiftliklerinde ortaya çıkan veriler toplanarak, hem mandırada mevcut yerel veritabanlarında hem de otomasyon projeleri kapsamında merkezi veritabanlarında saklanmakta ve kullanılmaktadır. Bu tür teknolojiler halen gelişim sürecinde olduğu için veriler üzerinde detaylı inceleme, analiz ve veriler arası ilişki tespiti gibi konularda yapılan çalışmalar başlangıç sürecinde olup oldukça sınırlıdır. Triodor firmasının geliştirdiği yazılım teknolojileri ile dünya üzerinde 30'dan fazla ülkede 4000'den fazla mandıra çiftliğinden, çiftliklerin her birinin çeşitli verileri ve anahtar performans ölçümleri bir sunucu üzerindeki merkezi veritabanında günlük bazda toplanıp kullanıcılara sunulmaktadır. Çok geniş ölçekteki bu veriler halen basit sorgulara cevap verme dışında başka herhangi bir işleme ve analize tabi tutulamamaktadır. Eğer bu geniş veritabanı ve çeşitli dış kaynaklı veri ve parametreler (hava durumu, bitki örtüsü vb.) analiz edilerek bunlar arasında saklı bulunan muhtemel ilişkiler tespit edilebilirse bu çiftliklerin süt verimi, üretim konusundaki sürdürülebilirliği, ürün kalitesi gibi birçok konuda önemli gelişmeler sağlanabilecektir. Bu tez kapsamında mandıra çiftliklerinde toplanan veriler üzerinde çalışan bir analiz ve öğrenme sistemi oluşturulmuştur. Bu sistemin oluşumunda öncelikle merkezi mandıra çiftliği veritabanı tasarımı analizde kullanılacak içerik bakımından incelenmiş, daha sonra veritabanı üzerinde veri madenciliği yöntemleri ile analizler yapılmıştır. Sonuç olarak niceliksel analiz tekniklerini sunan bir sistem ortaya çıkmıştır.