Word sense disambiguation, named entity recognition, and shallow parsing tasks for Turkish

Abstract

People interactions are based on sentences. The process of understanding sentences is thru converging, parsing the words and making sense of words. The ultimate goal of Natural Language Processing is to understand the meaning of sentences. There are three main areas that are the topics of this thesis, namely, Named Entity Recognition, Shallow Parsing, and Word Sense Disambiguation. The Natural Language Processing algorithms that learn entities, like person, location, time etc. are called Named Entity Recognition algorithms. Parsing sentences is one of the biggest challenges in Natural Language Processing. Since time efficiency and accuracy are inversely proportional with each other, one of the best ideas is to use shallow parsing algorithms to deal with this challenge. Many of words have more than one meaning. Recognizing the correct meaning that is used in a sentence is a difficult problem. In Word Sense Disambiguation literature there are lots of algorithms that can help to solve this problem. This thesis tries to find solutions to these three challenges by applying machine learning trained algorithms. Experiments are done on a dataset, containing 9,557 sentences.

İnsanların birbiriyle diyalogları cümlelerle olmaktadır. Cümlenin anlaşılması, kelimelere yakınsayarak, onları ayrıştırarak ve cümle içerisinde kullanılan ideal anlamlarını bularak olur. Doğal Dil İşleme’nin nihai amacı cümleyi anlamaktır. Bu tezin konusu üç alandan oluşmaktadır: Adlandırılmış Varlık Tanıma, Sığ ayrıştırma ve Kelime Anlamlandırma’dır. “İnsan“, “yer“, “zaman“ gibi varlıkları öğrenebilen Doğal Dil Geliştirme algoritmalarına Adlandırılmış Varlık Algoritmaları denir. Cümleleri ayrıştırma Doğal Dil İşleme’nin en büyük meydan okumalarından birisidir. Zaman ve doğruluğu arttırma ters orantılı olduğundan dolayı Sığ Ayrıştırma algoritmaları bu konudaki en iyi çözümlerden biridir. Bir çok kelimenin birden çok anlamı vardır. Cümle içinde kullanılan kelimenin doğru anlamını algılamak zorlu bir problemdir. Kelime Anlamlandırma literatüründe bu problemi çözümlemek için bir çok algoritma mevcuttur. Bu tezde bu üç alan için makine öğrenimi algoritmalarıyla çözümler üretilmeye çalışılmıştır. Deneyler 9,557 cümlelik bir veri kümesi üzerinde yapılmıştır.