Sense distinction using computational methods in Turkish dictionaries

Abstract

NLP(Natural Language Processing) refers to general name of the study elds related with processing languages by using computer-based systems. In NLP studies, dictionaries are required as lexical and semantic resources. Because in some cases, there are necessities to match the words with their correct senses for all possible words. There are some electronic dictionaries for Turkish such as \Contemporary Turkish Dictionary(CTD)" and \Kubbealt Turkish Dictionary". However, both of these two dictionaries cover similar and redundant senses for several words. There are 86.382 words exist in CTD that written by Turkish Linguistic Society( TDK). There can be more than ten senses for a single word in some cases. By that reason, it can be hard to determine which meanings are explanatory and/or required and which of them are multiplexed needlessly. This problem of finding distinguishing senses of the words is called as \Sense Distinction Problem". The aim of this study is to simplify the sense distinction decisions by using some computational methods. In this study, we focused on to analyse the similarities of word senses by using some computational methods such as; Edit Distance, Cosine Similarity and Jaccard Index Similarity on two well-known Turkish Dictionaries Contemporary Turkish Dictionary (CTD) and Kubbealt Dictionary (KD).

Doğal Dil İşleme(NLP) herhangi bir dili bilgisayar bazlı sistemlerle işlemekle ilgili çalışma alanlarınn genel ismidir. NLP çalışmalarında, sözcüksel ve anlamsal kaynaklar olarak sözlüklere ihtiyaç duyulmaktadır. Bunun sebebi, bazı durumlarda sözcük ile uygun anlamını eşleştirme gereksinimi bulunmasıdır. Türkçe için; \Güncel Türkçe Sözlük" ve \Kubbealtı Lugatı" gibi elektronik sözlükler bulunmaktad ır. Ancak, bu iki sözlük de birçok sözcük için benzer ve çoklanmış sözcük anlamı içermektedir. Türk Dil Kurumu(TDK)'nun Güncel Türkçe Sözlüğünü 86.382 adet süzcük içermektedir. Tek bir sözcük için ondan fazla anlam karşılığı bulunabilir. Bu sebeple, hangi anlamların açıklayıcı ve/veya gerekli hangilerinin ise gereksizce çoklanmış olduğunu bulmak oldukça zorlaşabilir. Sözcüklerin anlamıyla ilgili yaşanan bu ayrıştırma problemine \Anlam Ayrımı Problemi" denir. Bu problem, NLP çalışmaları için minimal ve verimli bir sözlük üretmede önemli bir husustur. Özellikle Türkçe için, kelimelerin anlamları içerisinden en aydınlatıcı olanını seçmek pek kolay değildir. Biz bu çalışmada, en çok bilinen Türkçe Sözlük'lerden ikisinin(Kubbe Altı Lugatı ve TDK Güncel Türkçe Sözlük) üzerinde Levenshtein Mesafe Alogritması, Kosinüs Benzerliği ve Jaccard Benzerliği gibi hesaplamaya dayalı bazı metodlar kullanarak sözcük anlamlarının benzerliklerini analiz etmeye odaklandık.