Prosodic, morphological and lexical feature extraction of Turkish broadcast news data

Abstract

Sentence segmentation from speech is part of a process that aims at enriching the unstructured stream of words that are the output of standard speech recognizers. Its role is to find the sentence units in this stream of words. Sentence segmentation is a preliminary step toward speech understanding. Once the sentence boundaries are detected, further syntactic and/or semantic analysis can be performed on these sentences. Usually, speech recognizer output lacks the textual cues to these entities (such as headers, paragraphs, sentence punctuation, and capitalization). However, speech provides extra non-lexical cues, related to features like pitch, energy, pause and word durations as prosodic features; verb, noun or adjective as a morphological features and also lexical features. These prosodic, morphological and lexical features are provides a complementary information for segmentation of speech into sentences. Our goal is examine feature the extraction and use of prosodic information which has been done in previous works, in addition to lexical features and morphological for spoken language processing of Turkish with open source tools.

Cümle bölütlemesi otomatik konuşma tanıma sisteminden çıkan sözcüklerin içeriğini zenginleştirmeyi hedefleyen sürecin bir parçasıdır. Cümle bölütlemesi, gelen kelime akışının bütün bir cümle olarak tanımlanması görevini üstlenir ve konuşma anlamının çıkarılması sürecinin bir önceki aşamasını oluşturur. Cümle sınırlarının bulunması ile birlikte cümle üzerinde sözdizimi ve/veya anlamsal analiz yapılabilmektedir. Genellikle otomatik konuşma tanıma sisteminden alınan çıktılarda başlık, paragraf, noktalama, büyük/küçük harf gibi bilgileri içeren metin işaretleri yer almamaktadır. Ancak konuşma hali hazırda enerji, duraklama bilgisi, kelimenin geçiş süresi gibi bürünsel özellikleri; kelimenin yüklem, isim veya sıfat olması gibi biçimsel özellikleri ve sözcüksel özellikleri barındırmaktadır. Bu bürünsel, biçimsel ve sözcüksel özellikler cümle bölütlemesinin yapılabilmesi için tamamlayıcı bir bilgi sağlamaktadır. Yapılan çalışmadaki amacımız daha önceki çalışmalarda yapılmış bürünsel özelliklerin çıkarımı ve kullanımına ek olarak; biçimsel ve sözcüksel özellikler açık kaynak kodlu araçlar ile Türkçe Konuşma Dili üzerinde çıkarımı ve kullanımıdır.