Video quality assessment using subjective and objective metrics

Abstract

Since past few years, quality assessment of digital videos has acquired a lot of attention in the video processing community, leading to the growth of different 2D and 3D objective metrics for images and videos. Some of these metrics correlate quite well with the Human Visual System (HVS), while some do not. Most of the popular objective metrics do not perfectly correlate with the HVS. This correlation can be measured by the opinion scores based on observations of human subjects. In this thesis, we extensively study about Video Quality Assessment and complexity of HVS by proposing a method which helps us to find the best correlation between HVS and the objective metrics. The motive behind this work is to to introduce an objective metric that is adequate to predict the MOS (Mean Opinion Score) of distorted video sequences based on the FR (Full Reference) method, keeping in mind the benchmark set by the Video Quality Expert Group (VQEG). Subjective quality evaluation experiments using the human observers were performed, that is, a group of non-experts viewing the video sequences in original and distorted forms, as it is the human perception method which is evidently the most reliable one. Thereafter, objective test results, including the introduced metric, called PQM (Perceptual Quality Metric), and several other state-of-art metrics, are compared with MOS provided by human subjects. These comparisons elucidate the level of correlation between tested objective metrics and MOS. As an ultimate objective, we show the accuracy and monotonicity of various quality metrics, including PQM. The results obtained show that the PQM is better correlated with the human subjective judgement.

Son birkaç yılda dijital videoların kalite değerlendirmesi video işleme araştırmacılarının çokça ilgisini çekmiş, ve bu da video ve resimler için farklı 2-boyutlu ve 3-boyutlu nesnel metriklerin geliştirilmesine yol açmıştır. Bu metriklerden bazıları İnsan Görsel Sistemi (İGS) ile oldukça ilintili iken, bazıları ise değildir. Aslında birçok popüler nesnel metrik İGS ile yüksek bir ilintiye sahip değildir. Bu ilintinin seviyesi, insan deneklerin gözlemlerine dayanan fikir skorları ile ölçülebilir. Bu tezde, Video Kalite Değerlendirmesi ve İGS'nin karmaşıklığı üzerinde durulmuş ve İGS ile eniyi ilintiyi verecek bir nesnel metrik hesaplama yöntemi önerilmiştir. Bu çalışmanın arkasındaki esas amaç bozulmuş videoların OFS (Ortalama Fikir Skoru) değerlerini kestirebilecek bir nesnel metrik geliştirilmesidir. OFS değerleri TR (Tam Referanslı) karşılaştırma yöntemine göre Video Quality Expert Group (VQEG) tarafından ortaya konan test şartlarına uygun olarak belirlenmiştir. Bu öznel kalite değerlendirme deneyleri uzman olmayan bir grup deneğe video dizileri orijinal ve bozulmuş durumda gösterilerek gerçeklenmiştir. Böylelikle görsel video kalitesini en güvenilir şekilde ölçen OFS değerleri bulunmuştur. Daha sonra önerilen AKM (Algısal Kalite Metriği) ve diğer en gelişmiş nesnel metrikler insan deneklerinden elde edilen OFS değerleri ile karşılaştırılmıştır. Bu karşılaştırmalar sonucu test edilen nesnel metriklerle OFS arasındaki ilinti seviyeleri ortaya konmuştur. Böylelikle AKM de dahil farklı metriklerin doğruluk ve tekdüzelilik seviyeleri ölçülmüştür. Elde edilen sonuçlar AKM'nin insan öznel değerlendirmeleri ile daha yüksek ilintiye sahip olduğunu göstermektedir.