Big data storage and automated text summarization in Turkish text

Abstract

The subject of this study is storing the large datasets in accordance with Big Data ecosystem and to extract the summary sentences of a text in Turkish, apply the automatic text summarization process which is a subtopic of Natural language processing (NLP). For this purpose, Turkish news articles were collected and the study was carried out through these texts. For the performance test of the work done, 50 different news textiles were given to 20 different persons and 3 sentences which were considered important from each other were asked to be selected and their results were compared with each other. Then, the results from the people were compared with the results from this study. As a result of the test process, the summation performance of the work was measured approximately as thirty-six percentage.

Bu çalışmanın konusu, geniş çapta veriyi Dev Veri ekosistemine uygun bir şekilde saklamak ve bir Türkçe dokumanın özet cümlelerinin çıkarılması için doğal dil işleme (DDİ) alt konusu olan otomatik metin özetleme işlemini uygulamaktır. Bu amaçla Türkçe haber metinleri toplanmış ve çalışma bu metinler üzerinden yürütülmüştür. Yapılan çalışmanın performans testi için 20 farklı kişiye 50 farklı haber metni verilmiş ve her metnin içerisinden önemli gördükleri 3 cümlenin seçilmesi istenmiştir ve sonuçlar birbirleriyle karşılaştırılmıştır. Daha sonra kişilerden alınan sonuç ile bu çalışmadaki çıkan sonuç karşılaştırılmıştır. Test işleminin neticesinde çalışmanın özetleme performansı yaklaşık olarak yüzde otuz altı ölçülmüştür.