Paragraph and sentence level semantic textual similarity measurement techniques: An application on solving OSYM exam questions

Abstract

An Application on Solving OSYM Exam Questions Semantic textual similarity is a well-known natural language processing (NLP) task which aims to measure the degree of similarity of two texts in terms of meanings. In this thesis, our goal is to investigate best semantic textual similarity measurement modeling techniques for the Turkish language at paragraph-to-sentence and sentence-to-sentence levels. Our plan is to exploit morphological knowledge of the Turkish language as a prior input, by using morphological disambiguation toolkit of our study group which automatically annotates morphological tags of words (word, syllable, roots, etc.) in morpheme-level while disambiguating possible parse-trees at the sentence-level. As an application, we proposed statistical models challenging to solve two special types of offcial OSYM multiple-choice exam questions, which examine comprehension ability of students on textual meanings at sentence-to-sentence and paragraph-to-sentence levels. We constructed a question dataset for evaluation that covers offcial ÖSYM exams with varying degrees of diffculties such as ÖYS, ÖSS, DGS, TEOG, SBS, etc.

Bu uygulamanın amacı iki metin arasındaki benzerlik derecesini bularak ÖSYM de çıkmış soruların anlamsal benzerliklerini bulup cevaplandırmaktır. Bu tez çalışmamızda, Türk dili için en iyi anlamsal metinsel benzerlik ölçüm modelleme tekniklerini paragraftan cümleye ve cümle cümle seviyesinde incelemektir. Planımız Türkçenin morfolojik bilgisini bir girdi olarak kullanmaktır, morfolojik belirsizlik giderme araçlarını kullanarak otomatik olarak kelimelerin morfolojik etkilerini ekleyen (kelime, hece, kök vb.) morfem düzeyinde olası ayrıştırma ağaçlarını belirsizleştiren çalışma grubumuz oluşturulmuştur. ÖYS, ÖSS, DGS, TEOG, SBS gibi çeşitli zorluk derecelerini kapsayan değerlendirme için bir soru veri seti oluşturduk. Öğrencilerin cümle-cümle ve paragraf-cümle seviyelerinde metin anlama kabiliyetleri inceleyen iki özel soru tipi üzerinde ÖSYM çoktan seçmeli soru tipi istatistiksel modeller öğrendik.