(57)【特許請求の範囲】
【請求項１】
入力される映像信号のレートを変換するフレーム又はフィールドレート変換方法において、
（ａ）隣接した二つのフレーム又はフィールド間の動きベクトルを用いて補間されるフレーム又はフィールドに対する動きベクトルとその正確度を推定し、
前記動きベクトルは現在フレームまたはフィールドで一定大きさに分けられたブロックを以前フレーム又はフィールドの一定した探索領域内ブロックと誤差を計算して誤差が一番少ないブロックの位置と推定し、前記正確度は前記ブロック間の全ての画素差を累積した値として計算する過程と、
（ｂ）前記過程（ａ）で推定された動きベクトルの状態を分析して動き情報を決定すると共に、現在のブロックの動きベクトルと周辺ブロック動きベクトル間の相関度を計算し、前記分析は、グローバル動きベクトルＶｇと現在のブロックの動きベクトル（Ｖ）との差を臨界値と比較して該臨界値より少なければ現在のブロックの動きベクトルをグローバル動きと判定し、現在のブロックの動きベクトルがゼロならゼロ動きと判定し、残りは局部動きと判定することにより行われる過程と、
（ｃ）前記過程（ａ）で推定された動きベクトルを用いて補間されるフレーム又はフィールドで動き補償を行って補完される画素を生成する過程であって、補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルを用いて隣接したフレーム又はフィールドの画素を動き補償するか、又は、補間されるフレーム又はフィールドの画素が含まれたブロックに隣接したブロックの動きベクトルを用いて隣接したフレーム又はフィールドの画素を動き補償する過程と、
（ｄ）隣接したフレーム又はフィールド間のリニア補間により、補間される画素を形成する過程と、
（ｅ）前記過程（ａ）で推定された動きベクトルの正確度と前記過程（ｂ）で推定された動き情報及び相関度により、前記過程（ｃ）及び前記過程（ｄ）で生成された画素を補間値として選択する過程を含み、
前記過程（ｅ）における補間値選択過程は、
前記相関度によって決定されるグローバル及び局部及びゼロ動きタイプによって前記（ｃ）過程及び前記（ｄ）過程で生成された画素を補間値として選択して出力し、前記動きベクトルの正確度と臨界値との比較によって前記動きタイプを変更して決定されるものであることを特徴とするフレーム又はフィールドレート変換方法。
【請求項２】
前記過程（ａ）の動きベクトルの正確度は、現在フレームと以前フレームとの画素の差を累積した値を用いて計算されることを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項３】
前記過程（ｂ）の動き情報の決定は、
（ａ−１）前記過程で推定された動きベクトルの分布を参照して現在の場面でグローバル動きベクトルを推定する過程と、
（ａ−２）補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルを前記過程（ａ−１）で生成されたグローバル動きベクトル値と比較して補間されるフレーム又はフィールドの画素が含まれたブロックの動き情報を決定する過程と、
（ａ−３）現在のブロックの動きベクトルと隣接した動きベクトルとの差を用いて相関値を計算する過程と
を含むことを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項４】
前記動きベクトルの分布はヒストグラムを用いることを特徴とする請求項３に記載のフレーム又はフィールドレート変換方法。
【請求項５】
前記グローバル動きベクトルは、動きベクトルの水平／垂直方向へのそれぞれのヒストグラムの主値を動きベクトルとして推定されることを特徴とする請求項３に記載のフレーム又はフィールドレート変換方法。
【請求項６】
前記動き情報決定過程は、
（ａ−１）前記ブロックの動きベクトルをグローバル動きベクトルと比較して二つベクトルの差が所定の臨界値より小さい場合、前記ブロックの動き情報をグローバル動きに設定する過程と、
（ａ−２）所定臨界値より大きい場合、前記ブロックの動き情報をローカル動きに設定する過程と、
（ａ−３）前記ブロックの動きベクトルがゼロベクトルである場合、前記ブロックの動き情報をゼロ動きとして設定する過程と
を含むことを特徴とする請求項３に記載のフレーム又はフィールドレート変換方法。
【請求項７】
前記過程（ａ−３）で現在のブロックの動きベクトルと隣接したブロックの動きベクトルの差値を動き補償でソフトスイッチング値として用いることを特徴とする請求項３に記載のフレーム又はフィールドレート変換方法。
【請求項８】
前記過程（ｃ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルを用いて隣接したフレーム又はフィールドの画素を動き補償することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項９】
前記過程（ｃ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックに隣接したブロックの動きベクトルを用いて、隣接したフレーム又はフィールドの画素を動き補償することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１０】
前記過程（ｄ）の画素生成は、
前記補間されるフレーム又はフィールドの画素を隣接したフレーム／フィールドの同一な位置に存在する画素で補間することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１１】
前記過程（ｃ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が隣接したフレーム又はフィールドの隣接した画素を用いて補間することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１２】
前記過程（ｅ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックの動きタイプがグローバル動きであり、前記過程（ａ）で推定された正確度が与えられた臨界値より高い場合、前記過程（ｃ）で求められた画素を補間される画素として選択し、前記過程（ａ）で推定された正確度が与えられた臨界値より低い場合、前記過程（ｄ）で求められた画素を補間される画素として選択することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１３】
前記過程（ｅ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックの動きタイプがローカル動きであれば、前記過程（ｃ）で生成された画素と前記過程（ｄ）で求められた画素とから、現在のブロックの動きベクトルと隣接したブロックの動きベクトルとの差値を用いたソフトスイッチングにより補間がされることを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１４】
前記ソフトスイッチングによる補間は、現在のブロックの動きベクトルと隣接したブロックとの動きベクトルの差値により、前記過程（ｃ）で生成された画素と前記過程（ｄ）で求められた画素とに、異なる加重値を与えて生成されることを特徴とする請求項１３に記載のフレーム又はフィールドレート変換方法。
【請求項１５】
前記過程（ｅ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルと隣接したブロックの動きベクトルとに基づき、以前のフレーム又はフィールドの画素のメディアン値と以後のフレーム又はフィールドの画素のメディアン値とを用いて補間することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１６】
前記過程（ｃ）の画素生成は、
前記補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルと隣接したブロックの動きベクトルとを用いて、以前のフレーム又はフィールドの画素の平均値と以後のフレーム又はフィールドの画素の平均値とを用いて、補間される画素として生成することを特徴とする請求項１に記載のフレーム又はフィールドレート変換方法。
【請求項１７】
映像信号のレートを変換するフレーム又はフィールドレート変換装置において、
隣接した二つのフレーム又はフィールド間の動きベクトルを用いて補間されるフレーム又はフィールドに対する動きベクトルとその正確度を推定し、
前記動きベクトルは現在フレームまたはフィールドで一定大きさに分けられたブロックを以前フレーム又はフィールドの一定した探索領域内ブロックと誤差を計算して誤差が一番少ないブロックの位置と推定し、前記正確度は前記ブロック間の全ての画素差を累積した値として計算する動き推定手段と、
前記動き推定手段で推定された動きベクトルの状態を分析して動き情報を決定すると共に、現在のブロックの動きベクトルと周辺ブロック動きベクトル間の相関度を計算し、前記分析は、グローバル動きベクトルＶｇと現在のブロックの動きベクトル（Ｖ）との差を臨界値と比較して該臨界値より少なければ現在のブロックの動きベクトルをグローバル動きと判定し、現在のブロックの動きベクトルがゼロならゼロ動きと判定し、残りは局部動きと判定することにより行われる動き分析手段と、
前記動き推定手段で推定された動きベクトルを用いて補間されるフレーム又はフィールドで動き補償を行って補完される画素を生成する過程であって、補間されるフレーム又はフィールドの画素が含まれたブロックの動きベクトルを用いて隣接したフレーム又はフィールドの画素を動き補償するか、又は、補間されるフレーム又はフィールドの画素が含まれたブロックに隣接したブロックの動きベクトルを用いて隣接したフレーム又はフィールドの画素を動き補償する動き補償補間手段と、
隣接したフレーム又はフィールド間の対応する画素間の線形的平均により、補間される画素を生成する時空間補間手段と、
前記動き分析手段で推定された動き情報と相関度により、前記動き補償補間手段及び前記時空間補間手段で生成された画素を、補間される画素値として出力し、
前記相関度によって決定されるグローバル及び局部及びゼロ動きタイプによって前記動き補償補間手段及び前記時空間補間手段で生成された画素を補間値として選択して出力し、前記動きベクトルの正確度と臨界値との比較によって前記動きタイプを変更して決定されるものであることを特徴とするフレーム又はフィールドレート変換装置。
【請求項１８】
前記動き分析手段は、
推定された動きベクトルの分布を参照してグローバル動きベクトルを推定するグローバル動き推定部と、
前記グローバル動き推定部で推定されたグローバル動きベクトルと推定された動きベクトルとを比較してブロックの動き情報を決定する動きタイプ決定部と、
現在のブロックの動きベクトルと隣接したブロックの動きベクトルとの差値を計算して、動き補償平均値と時間的平均値との加重値を調節する信頼度計算部と
を含むことを特徴とする請求項１７に記載のフレーム又はフィールドレート変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像信号のフォーマット変換装置及びその方法に係り、特にブロック別に動き情報に基づきそれぞれ異なる動き補償方式を適用するフレーム及び／又はフィールドレート変換装置及びその方法に関する。
【０００２】
【従来の技術】
一般に、多様なＴＶ標準を従うプログラムを相互交換するためにはこれらの間のフォーマット変換が必要である。初期にはフレーム繰り返し、簡単な時空間フィルター等を用いてフォーマット変換を具現したが、これらは視覚的に障る動きジッタ（ｍｏｔｉｏｎ  ｊｉｔｔｅｒ）や映像の縁部における不鮮明（ｂｌｕｒｒｉｎｇ）現象を招来する。特にＨＤＴＶのように画面解像度が大きい場合こうした現象がさらに顕著に現れる。かかる現象を除去するために、最近には動き補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を用いるフレーム変換方式が多く研究されている。
【０００３】
図１は従来の動き補償型フレーム変換方法を示す概念図である。図１を参照すれば、補間されるフレームの画素
【数１】
0004519396.tif 000002
は３−タップメディアンフィルターリングを用いて式１のように定義される。
【数２】
0004519396.tif 000003
【０００４】
ここで、隣接した二つのフレーム（ｎ−１，ｎ）で動き軌跡を考慮して得られたデータはｍｃｌとｍｃｒである。又、動きを考慮せず二つのフレームの画素の間に線形的に補間したデータはａｖである。
【数３】
0004519396.tif 000004
ここで、αは二つのフレームの間で補間されるフレームの画素が存在する時間的位置に応じて決定され、
【数４】
0004519396.tif 000005
は動きベクトルである。
【０００５】
式２において、もし動きベクトルが正確に推定されたならば、動き補償データはｍｃｌとｍｃｒの値を有し、その値が補間される画素値として決定される。この際、動きベクトルが不正確であれば、動き補償データは相異なって動きを考慮しないａｖデータが補間される画素値として決定される可能性が高い。しかし、従来の動き補償型補間手法はブロック単位より成るので推定された動きベクトルが不正確であればブロッキングアーティファクトが発生する問題点がある。
【０００６】
【発明が解決しようとする課題】
本発明の目的はブロック別に分類された動き情報に基づき相異なる補償方式を適用し、又現在のブロックの動きベクトルと周辺ブロックの動きベクトルとの相関性を用いて動き補償による補間値とリニア補間値でソフトスイッチングを行うことによりブロックアーティファクトを減らすことができるフレーム及び／又は変換方法を提供することにある。
本発明の他の目的は前記フレーム及び／又は変換方法を適用したフレーム及び／又は変換装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る入力される映像信号のレートを変換するフレーム及び／又はフィールドレート変換方法は、（ａ）フレーム及び／又はフィールド間の動きベクトルを用いて補間されるフレーム及び／又はフィールドに対する動きベクトルと正確度を推定する過程と、（ｂ）前記過程（ａ）で推定された動きベクトルを分析して動き情報を決定すると共に、周辺ブロック動きベクトルとの相関度を計算する過程と、（ｃ）前記過程（ａ）で推定された動きベクトルを用いて補間されるフレーム及び／又はフィールドで動き補償を行って補間される画素を生成する過程と、（ｄ）隣接したフレームで補間される画素と隣接した画素を用いて補間される画素とを生成する過程と、（ｅ）前記過程（ａ）で推定された動きベクトルの正確度と前記過程（ｂ）で推定された動き情報及び相関度に基づき前記過程（ｃ）及び前記過程（ｄ）で生成された画素を補間値として出力する過程とを特徴とする。
【０００８】
前記他の目的を達成するために、本発明に係る映像信号をレートに変換するフレーム及び／又はフィールドレート変換装置は、フレーム及び／又はフィールド間の動きベクトルを用いて補間されるフレーム及び／又はフィールドに対する動きベクトルを推定する動き推定手段と、前記動き推定手段で推定された動きベクトルを分析して動き情報を決定し、周辺ブロック動きベクトルとの相関度を計算する動き分析手段と、前記動き推定手段で推定された動きベクトルを用いて補間されるフレーム及び／又はフィールドで動き補償を行って補間される画素を生成する動き補償補間手段と、補間されるフレーム及び／又はフィールドに隣接したフレーム及び／又はフィールドで補間される画素と隣接した画素として、補間される画素を生成する時空間補間手段と、前記動き分析手段で推定された動き情報と相関度により動き補償補間手段及び前記時空間補間手段で生成された画素を補間される画素値に出力する適応動き補償手段とを含むことを特徴とする。
【０００９】
【発明の実施の形態】
以下、添付した図面を参照して本発明の望ましい実施形態を詳細に説明する。
図２は本発明に係る適応動き補償型フレームレート変換装置を示したブロック図である。
図２の適応動き補償型フレームレート変換装置は動き推定部２１０と、動き分析部２３０と、動き補償補間部２２０と、リニア補間部２４０と、適応動き補償部２５０とを含む。
【００１０】
先ず、動き推定部２１０はフレーム／フィールド間の動きベクトルを用いて補間されるフレーム／フィールドに対する動きベクトルとその正確度を推定する。即ち、ブロック基盤の動き推定は連続的に入力される二つのフレーム／フィールドの間で行われる。現在のフレーム／フィールドでブロックのサイズを一定に割って各ブロックを以前のフレーム／フィールドの一定した探索領域内で誤差を計算し、誤差が一番少ないブロックの位置を現在のブロックの動きベクトルとして推定する。補間されるフレーム（ｉｎｔｅｒｐｏｌａｔｅｄ ｆｒａｍｅ）／フィールド（ｉｎｔｅｒｐｏｌａｔｅｄ ｆｉｅｌｄ）の画素は連続的に入力される二つのフレーム／フィールドの中間位置で存在しなければならなく、補間されるフレーム／フィールドの画素を基準として推定された動きベクトルが
【数５】
0004519396.tif 000006
なら図３のように動き補償を行う。そして動きベクトルの正確度はブロックの全ての画素の差を累積した値として計算される。
【００１１】
動き分析部２３０は、動き推定部２１０で推定された動きベクトルを分析して動きタイプを決定すると共に、現在のブロック動きベクトルと周辺ブロック動きベクトルとの相関値を計算する。この際、この相関値はソフトスイッチング値ｋとして用いられる。ソフトスイッチングは動き補償による平均値と時間的平均値とを用いて動きベクトルの信頼度に基づき加重値を調節する。
【００１２】
動き補償補間部２２０は、動き推定部２１０で推定された動きベクトルを用いて補間されるフレームで動き補償を行って補間される画素を生成する。一実施形態として動き補償補間部２２０は、補間されるフレーム及び／又はフィールドの画素が含まれたブロックの動きベクトルを用いて隣接したフレーム及び／又はフィールドの画素を動き補償するか、又は補間されるフレーム及び／又はフィールドの画素が含まれたブロックの隣接したブロックの動きベクトルを用いて隣接したフレーム及び／又はフィールド画素を動き補償する。
【００１３】
リニア補間部２４０は、補間されるフィールドで補間される画素と隣接した画素と、補間される画素の前後フィールドで補間される画素と隣接した画素とを用いて、補間される画素を生成する。この際、補間されるフレーム／フィールドの画素は、隣接したフレーム／フィールドと同一な位置に存在する画素で補間する。
適応動き補償部２５０は、動き推定部２１０で推定された動きベクトルの正確度と動き分析部２３０で推定された動き情報及び相関値に基づき、動き補償補間部２２０及びリニア補間部２４０で生成された画素を補間値として出力する。
【００１４】
図４は動き分析部の詳細図である。
図４の動き分析部は、グローバル動き推定（ｇｌｏｂａｌ  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）部４２０と動きタイプ決定部４３０、そして周辺動きベクトルとの相関関係を参照して現在のブロックの動きベクトルの信頼度を計算する信頼度計算部４１０から構成される。
【００１５】
図４を参照すれば、グローバル動き推定部４２０は入力される動きベクトルを用いてグローバル動きを推定するが、図５を参照してより詳細に説明する。
先ず、動きベクトルを入力して各ブロックの動きベクトルのヒストグラムを求め（過程５１０）、次いで、ヒストグラムで主動きを決定して（過程５２０）これをグローバル動きベクトルとして決定する（過程５３０）。
【００１６】
ここで、水平／垂直方向のヒストグラムをｈｘ，ｈｙとすれば、グローバル動きの存在有無は、式３，式４のように定義することができる。
【数６】
0004519396.tif 000007
動きタイプ決定部は、式４のようにグローバル動き推定部４２０で推定されたグローバル動きベクトルとの相関度を計算して、動きタイプを決定する。
【数７】
0004519396.tif 000008
【００１７】
信頼度計算部４１０は、現在のブロック動きベクトルと周辺ブロックの動きベクトルとの相関度を計算する。この相関度は、動き補償のための画素と動きを考慮しない画素間のソフトスイッチ（ｓｏｆｔ  ｓｗｉｔｃｈ）値として用いられる。即ち、ソフトスイッチ値は、式５のように定義される。
【数８】
0004519396.tif 000009
図６は適応動き補償部の詳細図である。
【００１８】
先ず、動きタイプ情報がグローバル動きであれば、選択部６２０は式６のように動き補償補間部２２０で生成された画素値を出力する。
【数９】
0004519396.tif 000010
ここで、Ｖは現在のブロックの動きベクトルであり、
【数１０】
0004519396.tif 000011
はそれぞれ補間されるフレーム、連続的に入力される以前のフレームと現在のフレームとを意味する。
【００１９】
動きタイプ情報がゼロ動きであれば、選択部６２０は、式７のようにリニア補間部２４０で生成された画素値を出力する。
【数１１】
0004519396.tif 000012
もし動きタイプ情報がローカル動きであれば、選択部６２０は、ローカル動き補償部６１０で生成された画素値を出力する。ローカル動き補償部６１０は、相関値ｋに基づき動き補償画素Ｐｍｃ（ｘ）とリニア補間画素Ｐａｖｇ（ｘ）との比重を調節する。より詳しく説明すれば、ローカル動き補償部６１０は、動き補償用画素及びリニア補間用画素を入力して、式８，式９，式１０を通じて動き補償画素値Ｐｍｃ（ｘ）とリニア補間画素値Ｐａｖｇ（ｘ）とを求めた後、これら画素値を用いて、式１１のように最終的に補間値ｆｉ（ｘ）を決定する。
【数１２】
0004519396.tif 000013
【００２０】
ここで、動きベクトルＶｉは図７のように現在のブロックの動きベクトルＶ０と周辺ブロックの動きベクトルＶ１−Ｖ８を意味する。そして周辺ブロックの動きベクトルを用いて、以前のフレームと現在のフレームとで動き補償に用いられる画素セットを構成し、各々の画素セットで式９のようにメディアン値を取る。
【数１３】
0004519396.tif 000014
【００２１】
このメディアン値は、現在のブロックの動きベクトルが不正確な場合、動きベクトルのスムーズネス（ｓｍｏｏｔｈｎｅｓｓ）効果を得ることができる。スムーズな効果を適用した動きベクトルは、ローカル動きのソフトスイッチング（ｓｏｆｔ  ｓｗｉｔｃｈｉｎｇ）のための動き補償用画素に用いられる。
【数１４】
0004519396.tif 000015
【００２２】
ここで、図４の信頼度計算部４１０で求めたソフトスイッチのための相関値ｋは、ＰｍｃとＰａｖｇとの間の値を決定する。従って、選択部６２０で選択された最終補間画素は、式１１として定義される。
【数１５】
0004519396.tif 000016
又、選択部６２０は、動き推定部２１０で推定されたベクトル正確度パラメータと動きタイプにより補間される画素値を決定する。もし動きタイプがグローバル動きとして判定されれば、動き補償による補間値が出力され、動きタイプがローカル動きである場合、図７のように多重動き軌跡（ｍｕｌｔｉｐｌｅ  ｍｏｔｉｏｎ  ｔｒａｊｅｃｔｏｒｉｅｓ）を用いてブロックアーティファクトを減らすソフトスイッチング手法が適用される。ここで、動きタイプにより推定されたベクトル正確度の臨界値が決定され、この推定されたベクトル正確度と与えられた臨界値とを比較して動きタイプが変わる場合がある。言い換えれば、動きタイプがグローバル動きとして判定されたとしても、推定されたベクトル正確度が臨界値より大きい場合、グローバル動きはローカル動きタイプに変えられる。
【００２３】
【発明の効果】
前述したように、本発明によると、ブロック別に動き情報に基づきそれぞれ異なる動き補償方式を適用することによって、より優秀な画質を得ることができ、又推定された動きベクトルがブロックアーティファクトを発生させるおそれがある所では、周辺ブロックの動きベクトルとの相関性を用いてソフトスイッチングを行うことにより、ブロックアーティファクトを減らすことができる。そして動き補償に用いられる補間画素は、周辺ブロックの動きベクトルによる候補ベクトルを用いることにより、動きベクトルに対するスムーズネス効果を同時に得ることができる。
【図面の簡単な説明】
【図１】  従来の動き補償を用いたフレームレート変換方法を示す概念図である。
【図２】  本発明に係る適応動き補償型フレームレート変換装置を示したブロック図である。
【図３】  図２の動き推定部で推定された動きベクトルを用いて動き補償する過程を示す概念図である。
【図４】  図３の動き分析部の詳細図である。
【図５】  図４のグローバル動き推定部の詳細図である。
【図６】  適応動き補償部の詳細図である。
【図７】  図６のローカル動き補償部で現在のブロックと周辺ブロックとの動きベクトルを用いた動き補償を示す概念図である。
【符号の説明】
２１０…動き推定部
２２０…動き補償補間部
２３０…動き分析部
２４０…リニア補間部
２５０…適応動き補償部
【図１】
0004519396.tif 000017
【図２】
0004519396.tif 000018
【図３】
0004519396.tif 000019
【図４】
0004519396.tif 000020
【図５】
0004519396.tif 000021
【図６】
0004519396.tif 000022
【図７】
0004519396.tif 000023