Artifact reduction in occluded regions for motion compensated frame interpolation

Abstract

In this paper, we propose a new method to be used in occluded regions for motion compensated frame interpolation. Frame rate up conversion is becoming much more important when usage of digital video systems increase. Standard conversion techniques are not effective in increasing the temporal resolution of video without any degradation. Therefore, motion compensated post processing techniques are developed to obtain the best possible image at the receiver. Specifying the correct or reliable motion vectors is the most important issue to be able to prevent the artifacts and deformed structures in the interpolated frame. There are many methods in literature developed for that purpose. However, these methods generally create annoying artifacts in interpolated frames. Significantly, they can not provide acceptable results for covered and uncovered regions. In our work, we build upon the successful multi-stage post processing method which is used to obtain the correct vector for motion compensated frame interpolation. According to our analysis, all these post processing stages are effective to specify the reliable motion vectors, but they are not sufficient to solve the problem in covered and uncovered regions. In thesis, we suggest methods to be able to solve the problem occurring in these regions. In most of adaptive methods, either past or future frames are used for interpolation in covered/uncovered region respectively, but in our proposals we interpolate the new frame by using a weighted combination of the four neighboring frames to minimize the sharp blocking aircrafts that occur because of unidirectional interpolation in occluded areas, and reduces the sharp artifacts in the interpolated frame for covered and uncovered regions, and provides better picture quality.

Bu makalede, devinim denkleştirmeli çerçeve ara değerlenmesinin örtülmüş bölgelerinde uygulanması için yeni bir metod öneriyoruz. Dijital video sistemlerinin kullanımı arttıkça hızının yukarı çevriminin önemi artıyor. Standart çevrim teknikleri çözünürlüğün bozulma olmadan arttırılması için yeterli değil. Bu nedenle alıcıların en iyi görüntüyü alabilmesi için devinim denkleştirmeli art işlemci teknikleri geliştiriliyor. Doğru ya da güvenilir devinim vektörlerinin belirlenmesi aradeğerlenmiş çerçevedeki yapay hataların ve biçim bozulmalarının önlenmesi için en önemli unsurdur. Literatürde bu amaç için geliştirilmiş birçok metod bulunmaktadır. Fakat bu metodlar çerçeve aradeğelendirmesinde göze batan yapay hatalara sebep olmaktadır. Özellikle bu metodlar kapatılan ve açığa çıkarılan bölgeler için kabul edilebilir sonuç vermektedir. Çalışmamızda devinim denkleştirmeli çerçeve ara değerlenmesinde kullanılacak doğru vektörün bulunması için geliştirilmiş çok aşamalı başarılı bir metoda güvenerek hareket ediyoruz. Analizlerimize göre bütün bu art işlemci aşamaları güvenilir devinim vektörlerinin bulunması için etkili olmaklar beraber kapatılan ve açığa çıkarılan bölgelerdeki problemlerin çözülmesiyle ilgili yetersiz kalmaktadır. Bu tezde, bu bölgelerdeki sorunun çözülmesi için yeni metodlar önermekteyiz. Birçok uyarlanmış metotta sadece geçmiş veya gelecek çerçevelerden elde edilen bilgiler örtülmüş bölgelerdeki çerçeve aradeğerlendirmesi için kullanılırken, bizim önerimizde örtülmüş bölgelerde gruplanmış yapay hatayı önlemek amacıyla dört komşu çerçeveden elde edilen ağırlıklı birleşimi kullanılıyor. Deneyle sonuç gösteriyor ki, önerdiğimiz metodlar örtülen alanlarda çerçeve aradeğerlendirmesi yaparken oluşabilecek yapay hata probleminin çözümü için etkili olmakta, keskin yapay bozulmaları azaltmakta ve daha iyi görüntü kalitesi sağlamaktadır.