(57)【要約】【課題】検出された動きベクトルの信頼度を判定して映像処理による画質劣化を低減するのに好適な技術を提供する。【解決手段】  本発明は、入力映像信号から、第１の動きベクトル検出法により第１の動きベクトル(150)を検出する第１の動きベクトル検出部(140)と、入力映像信号から前記第１の動きベクトル検出法とは異なる第２の動きベクトル検出法により第２の動きベクトル(151)を検出する第２の動きベクトル検出部(141)と、検出された第１及び第２の動きベクトルとの相違に基づいて動きベクトルの信頼度を求める動きベクトル評価部(160)とを備える。そして、各動きベクトル間の相違が小さい場合はその動きベクトルの信頼度が高いものとし、相違が大きい場合は信頼度が低いものとする。【選択図】  図１
2008244686.tif 000002
【特許請求の範囲】
【請求項１】
映像処理装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号から、第１の動きベクトル検出法により当該映像信号の第１の動きベクトルを検出する第１の動きベクトル検出部と、
前記信号入力部に入力された映像信号から、前記第１の動きベクトル検出法とは異なる第２の動きベクトル検出法により当該映像信号の第２の動きベクトルを検出する第２の動きベクトル検出部と、
前記第１の動きベクトル検出部で検出された第１の動きベクトルと前記第２の動きベクトル検出部で検出された第２の動きベクトルとの相違に基づいて、該第１、第２の動きベクトルの信頼度を求める動きベクトル評価部と、
を備えることを特徴とする映像処理装置。
【請求項２】
請求項１に記載の映像処理装置において、
前記第１の動きベクトル検出法は、映像フレーム内の第１の範囲でマッチング処理を行う第１のブロックマッチング法であり、前記第２の動きベクトル検出部は、前記第２の動きベクトル検出法は、前記映像フレーム内の前記第１の範囲とは異なる第２の範囲でマッチング処理を行う第２のブロックマッチング法であることを特徴とする映像処理装置。
【請求項３】
請求項１に記載の映像処理装置において、
前記第１の動きベクトル検出部は、前記第１の動きベクトル検出法として、ブロックマッチング法、勾配法および３次元相関法のいずれかひとつが用いられ、
前記第２の動きベクトル検出部は、前記第２の動きベクトル検出法として、前記ブロックマッチング法、勾配法および３次元相関法のうち、前記第１の動きベクトル検出部で用いられていない一つが用いられることを特徴とする映像処理装置。
【請求項４】
請求項１に記載の映像処理装置において、
前記動きベクトル評価部は、前記動きベクトルの信頼度を、前記第１の動きベクトルと前記第２の動きベクトルとの角度及び方向の相違または類似性から求めることを特徴とする映像処理装置。
【請求項５】
請求項４に記載の映像処理装置において、
前記第１の動きベクトルと前記第２の動きベクトルとの角度及び方向のそれぞれに重み付けが与えられ、該重み付けされた角度及び方向に基づいて前記動きベクトルの信頼度が求められることを特徴とする映像処理装置。
【請求項６】
請求項１に記載の映像処理装置において、
前記動きベクトル評価部は、前記求められた動きベクトルの信頼度に基づいて、前記第１及び第２の動きベクトルのうち、いずれか信頼度の高いほうを選択することを特徴とする映像処理装置。
【請求項７】
請求項１に記載の映像処理装置において、
更に、前記入力映像信号から補間画素または補間ブロックを作成して該入力映像信号の処理を行う映像処理部を備え、
該映像処理部は、前記動きベクトル評価部で求められた前記信頼度が所定値よりも大きい場合は、前記第１の動きベクトル及び第２の動きベクトルのいずれかを用いて前記補間画素を作成し、
前記動きベクトル評価部で求められた前記信頼度が所定値よりも小さい場合は、前記第１の動きベクトル及び第２の動きベクトルを用いずに前記補間画素または補間ブロックを作成することを特徴とする映像処理装置。
【請求項８】
請求項７に記載の映像処理装置において、
前記映像処理部は、前記入力映像信号中の２つのフレームもしくはフィールドから該２つのフレーム間に位置する前記補間画素または補間ブロックを作成し、
前記動きベクトル評価部で求められた前記信頼度が所定値よりも大きい場合は、前記２つのフレームもしくはフィールドから、前記第１の動きベクトル及び第２の動きベクトルのいずれかが指し示す画素もしくはブロックの信号を用いて前記補間画素もしくは補間ブロックを作成し、
前記動きベクトル評価部で求められた前記信頼度が所定値よりも小さい場合は、前記２つのフレームもしくはフィールドのうち、前記補間画素または補間ブロックと空間的に同一の位置にある画素同士の平均により前記補間映像を作成することを特徴とする映像処理装置。
【請求項９】
請求項８に記載の映像処理装置において、
前記映像処理部は、前記補間画素または補間ブロックにより補間フレームを作成して前記入力映像信号のフレームレートを変換するフレームレート変換処理、及び／または、前記入力映像信号がインターレース走査形式の場合に、前記補間画素により補間走査線を作成して前記インターレース走査形式の映像信号を順次走査形式に変換するインターレース−プログレッシブ変換処理を行うことを特徴とする映像処理装置。
【請求項１０】
映像処理装置において、
映像信号が入力される信号入力部と、
前記信号入力部に入力された映像信号から、第１の動きベクトル検出法により当該映像信号の第１の動きベクトルを検出する第１の動きベクトル検出部と、
前記信号入力部に入力された映像信号から、前記第１の動きベクトル検出法とは異なる第２の動きベクトル検出法により当該映像信号の第２の動きベクトルを検出する第２の動きベクトル検出部と、
前記信号入力部に入力された映像信号から、前記第１及び第２の動きベクトル検出法とは異なる第３の動きベクトル検出法により当該映像信号の第３の動きベクトルを検出する第３の動きベクトル検出部と、
前記第１、第２及び第３の動きベクトル同士の相違に基づいて、該第１、第２及び第３の動きベクトルの信頼度を求める動きベクトル評価部と、を備え、
前記動きベクトル評価部は、前記第１と第２の動きベクトル間の相違、前記第１と第３の動きベクトル間の相違、及び前記第２と第３の動きベクトル間の相違を求め、これらのうち最も小さい相違を持つ動きベクトルの組に属する動きベクトルを、最も信頼度の高い動きベクトルとして選択することを特徴とする映像処理装置。
【請求項１１】
映像処理方法において、
入力映像信号から、互いに異なる複数の動きベクトル検出法によって、１つの画素もしくはブロックについて複数の動きベクトルを検出するステップと、
前記検出された複数の動きベクトル間の相違から該動きベクトルの信頼度を求めるステップと、
前記動きベクトルの信頼度と、前記検出された複数の動きベクトルのうち少なくとも一つとを用いて補間画素または補間ブロックの作成を含む映像処理を行うステップと、
を備えることを特徴とする映像処理方法。
【請求項１２】
請求項１に記載の映像処理方法において、
前記動きベクトル検出法は、映像フレーム内の第１の範囲でマッチングを行う第１のブロックマッチング法と、前記映像フレーム内の前記第１の範囲とは異なる第２の範囲でマッチングを行う第２のブロックマッチング法を含むことを特徴とする映像処理方法。
【請求項１３】
請求項１１に記載の映像処理方法において、
前記複数の動きベクトル検出法は、ブロックマッチング法、勾配法および３次元相関法のいずれかを含むことを特徴とする映像処理方法。
【請求項１４】
映像処理方法において、
入力映像信号から、互いに異なる複数の動きベクトル検出法によって、１つの画素もしくはブロックについて複数の動きベクトルを検出するステップと、
前記検出された複数の動きベクトル間の相違から該動きベクトルの信頼度を求めるステップと、
前記複数の動きベクトルのうち、前記信頼度が最も高い１つの動きベクトルを用いて補間画素または補間ブロックの作成を含む映像処理を行うステップと、
を備えることを特徴とする映像処理方法。
【請求項１５】
請求項１４に記載の映像処理方法において、
前記複数の動きベクトル検出法は、少なくとも３つの動きベクトル検出法を含むことを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号から映像の動きベクトルを用いて映像処理を行う映像処理装置及び映像処理方法に関し、より高画質な映像を得るための映像処理の技術に関する。
【背景技術】
【０００２】
映像中の物体の動きを示す動きベクトルを用いた映像処理としては、例えば、入力映像信号のフレームレートを変換するフレームレート変換処理や、入力映像信号をインターレース形式から飛び越し走査（プログレッシブ）形式に変換するインターレース−プログレッシブ変換処理等がある。
【０００３】
上記動きベクトルの検出のために、時間的に先行する画像または過去の画像と現在の画像との間でマッチングが実行される。ここで、もっともマッチングがとれたと判断された方向を動きベクトルとして検出される。この動きベクトルの検出は、例えば画素毎に、或いはある一定の領域（ブロック）毎に決定される。
【０００４】
動きベクトルの検出において、物体の実際の動きとは異なる動きベクトルが検出されることがある。ここでは、このような検出を動きベクトルの誤検出と呼ぶこととする。動きベクトルの誤検出が生じると、上記補間フレームの画像や補間走査線に破綻（劣化）が生じ、上記映像処理された映像の画質が低下する。この動きベクトルの誤検出は、映像中の物体の変形・遮蔽・消失・出現が生じた場合に発生しやすい。すなわち、これらの現象が生じると、２枚の画像間でマッチングがとれた方向が、実際に物体が移動した方向と異なる場合が生じやすいからである。
【０００５】
かかる動きベクトルの誤検出を抑える従来技術としては、例えば特許文献１に記載のものが知られている。特許文献１は、入力画像フレームのブロックに対して、フレーム動きベクトルおよびフィールド動きベクトルの候補を検出し、各ベクトルに付随する信頼度を用いて、どちらか一方の動きベクトルを選択することを開示する。該信頼度は、マッチング時に利用した差分絶対値和または差分二乗和または相関係数に基づいて計算される。
【０００６】
【特許文献１】特開２００６−２１７４４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載された動きベクトルの信頼度は、動きベクトルを決定するための評価値であり、決定された動きベクトルについて正確かどうかを示すものではない。すなわち、従来技術のように動きベクトルの信頼度を求めても、動きベクトルの誤検出に基づく映像処理を行う可能性を低減することは難しく、画質の劣化を伴う映像処理を良好に抑制することが困難となる。
【０００８】
本発明は、以上のことを考慮してなされたもので、その目的は、動きベクトルを用いた映像処理により得られた映像を高画質化するのに好適な技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明では、互いに異なる複数の動きベクトル検出法（例えばブロックマッチング法、勾配法、３次元相関法等）で夫々動きベクトルを検出し、それら動きベクトルの相違（類似性）から検出された動きベクトルの信頼度を求めるようにしたことを特徴とするものである。例えば、上記複数の動きベクトル検出法で画像中のある領域において検出された各動きベクトル同士を比較し、動きベクトルの角度・方向の類似性が高ければ、その動きベクトルは信頼できるとみなし、信頼度を高くする。逆に類似性が低ければ、信頼度も低くする。
【００１０】
３つ以上の動きベクトル検出法を利用した場合、すべての検出された動きベクトル間で角度・方向の類似性を求めれば、もっとも信頼できる動きベクトルを選択することもできる。
【００１１】
上記のようにして得られた動きベクトルは、例えばフレームレート変換処理、インターレース・プログレッシブ変換処理、画像圧縮処理などに用いられる。
【発明の効果】
【００１２】
本発明によれば、検出された動きベクトルが信頼できるかどうか評価することが可能となり、動きベクトルを用いた映像処理により得られた映像を高画質化することが可能となる。
【発明を実施するための最良の形態】
【００１３】
本発明を実施するための好ましい形態について、図面を参照しつつ以下に説明する。まず、本発明が適用される映像処理装置の一例について、図８を参照しつつ説明する。
【００１４】
図８は、本発明が適用される映像処理装置の一つであるテレビジョン受像機の一構成例を示している。アンテナ・チューナ１は、例えば地上波もしくはＢＳ／ＣＳディジタル放送で伝送された、符号化映像・音声信号のトランスポートストリームを受信する。アンテナ・チューナ１で受信されたトランスポートストリームは、デコーダ２によって複号されてディジタル形式の映像信号が生成され、動きベクトル検出装置３に供給される。動きベクトル検出装置３では、ディジタル映像信号から映像内の物体の動きを示す動きベクトルを検出する。この動きベクトルは、画素もしくは複数の画素を有するブロックごとに求められる検出される。動きベクトル検出装置３で検出された動きベクトルは、映像処理部４に供給される。映像処理部４は、例えば入力映像信号のフレームレートを変更するためのフレームレート変換処理、入力映像信号がインターレース形式の場合に、それを順次走査（プログレッシブ）形式に変換するインターレース−プログレッシブ変換処理等が行われる。映像処理部４で映像処理された信号は、例えばＰＤＰもしくはＬＣＤなどのフラットパネルで構成された映像表示パネル５に供給され、この入力信号に基づく映像の表示が行われる。
【００１５】
上記映像処理部４で為されるフレームレート変換処理は、映像信号の隣接フレームもしくはフィールド間に１または複数の補間フレームを挿入してフレームレートを変更（増加）する処理を行う。この補間フレームを作成する際に上記動きベクトル検出装置３で検出された動きベクトルが用いられる。より詳細には、上記補間フレームを構成する各画素（以下、この画素を補間画素と呼ぶ）または補間ブロックの値を求めるときに、各補間画素に対応して求められた動きベクトルが用いられる。
【００１６】
まず、ある補間画素に対応する動きベクトルが指し示す、その補間フレーム前後に位置する映像信号のフレームの画素を抽出する。そして、各フレームから抽出された画素の平均（加重平均）値を求める。この平均値は、例えば前フレームの画素値と後フレームの画素値とにそれぞれ係数を乗算することにより求められる。例えば、前フレームの画素値をＡ、後フレームの画素値Ｂ、係数をａ１、ａ２としたとき、平均値γは、γ＝（ａ１・Ａ＋ａ２・Ｂ）／（ａ１＋ａ２）で求められる。係数ａ１及びａ２は、例えば補間フレームと前フレームとの時間的距離、補間フレームと後フレームとの時間的距離によって決定される。補間フレームと前フレームとの時間的距離と、補間フレームと後フレームとの時間的距離が等しい場合は、例えば係数α及びβを１とする。
【００１７】
以上の処理を全ての補間画素について行うことで１枚の補間フレームを作成する。そしてこの補間フレームを入力映像信号のフレーム列に挿入することでフレームレートを変換する。
【００１８】
インターレース−プログレッシブ変換処理は、インターレース形式の映像信号の各ライン間に、補間走査線を挿入することでプログレッシブ形式に変換する。この補間走査線を作成する際、すなわち補間走査線を構成する補間画素を作成する際にも検出された動きベクトルが用いられる。補間走査線を構成する補間画素の作成は、上述したフレームレート変換処理における補間フレームの作成とほぼ同様である。但し、補間走査線の補間画素を作成する場合には、その補間走査線の前後に位置するフィールドの映像以外にも、その補間走査線が挿入されるフィールドであって、その補間走査線の上下に位置する実走査線の映像も使用するようにしてもよい。
【００１９】
本例では、映像処理部４は、フレームレート変換処理及び／またはインターレース−プログレッシブ変換処理を行うものとして説明したが、動きベクトルを用いるものであれば、他の映像処理であってもよい。例えば、映像を水平及び／または水平方向に拡大,縮小するスケーリング処理や、解像度の向上処理などを行ってもよい。また、上記の説明では、映像処理装置としてテレビジョン受像機を例にしているが、ＤＶＤプレーヤ／レコーダ、ＨＤＤレコーダ等であってもよい。
【００２０】
次に、本実施形態の特徴部分である動きベクトル検出部３の詳細について、本発明の実施例として以下に説明する。
【実施例１】
【００２１】
本発明の第１実施例について図１〜４を用いて説明する。以下の説明においては、入力される映像信号はディジタル形式であるものとする。よって、映像表示装置がアナログ映像信号を受信した場合には、これをディジタル映像信号に変換して図１に示される回路に供給されるものとする。
【００２２】
図１は、動きベクトル変換部３の第一実施例を示しており、かかる動きベクトル変換部３は、フレームメモリ１２０、動きベクトル検出Ａ部１４０、動きベクトル検出Ｂ部１４１及び動きベクトル評価部１６０を備えている。
【００２３】
映像信号の入力部１００には図８に示したデコーダ２で複合されたディジタル形式の映像信号１３０が入力され、この入力された映像信号１３０は、フレームメモリ１２０、動きベクトル検出部Ａ１４０及び動きベクトル検出部Ｂ１４１に供給される。フレームメモリ１２０は１フレーム分の映像信号を保持することにより、映像信号を１フレーム遅延する。この１フレーム分遅延された映像信号１３１は、動きベクトル検出Ａ部１４０及び動きベクトル検出Ｂ部１４１にそれぞれ供給される。
【００２４】
上記動きベクトル検出Ａ部１４０で検出された動きベクトル１５０及び動きベクトル検出Ｂ部１４１で検出された動きベクトル１５１は、動きベクトル評価部１６０、及び図８に示した映像処理部４に供給される。また、上記動きベクトル評価部１６０で算出された信頼度１７０も映像処理部４に供給される。
【００２５】
上記動きベクトル検出部Ａ１４０は、動きベクトル検出法として、例えばブロックマッチング法を用いて、上記映像信号１３０及び１フレーム分遅延された上記映像信号１３１から、動きベクトルを検出する。該ブロックマッチング法は、まず、図２に示すように、該映像信号１３０を幅８ピクセル高さ８ピクセルのブロックに分割し、各ブロックの中心を該動きベクトルの始点として定める。次に、図３に示すように、該動きベクトルの始点を中心とした幅１６ピクセル高さ１６ピクセルの相関演算に利用する範囲２０２を、該映像信号１３１に対して走査しながら評価値を計算する。このとき、評価値が最小の方向を該ブロックにおける動きベクトルとする。該走査は、該動きベクトルの始点を中心とした幅４８ピクセル高さ４８ピクセルの探索範囲２０３で行う。該動きベクトル検出部Ａ１４０は、すべてのブロックに対して動きベクトルを決定し、動きベクトル１５０として出力する。よって、該動きベクトルは幅４８ピクセル高さ４８ピクセルの範囲で検出される。また、該評価値の算出には、ＳＡＤ（Sum of Absolute Difference）を利用するものとする。
【００２６】
一方、動きベクトル検出部Ｂ１４１は、動きベクトル検出法として、例えばブロックマッチング法を用いて、上記映像信号１３０および１フレーム分遅延された上記映像信号１３１から、動きベクトルを検出する。該ブロックマッチング法は、まず、図２に示すように、該映像信号１３０を幅８ピクセル高さ８ピクセルのブロックに分割し、各ブロックの中心を該動きベクトルの始点と定め。次に、図４に示すように、該動きベクトルの始点を中心とした幅３２ピクセル高さ３２ピクセルの相関演算に利用する範囲２１２を、該映像信号１３１に対して走査しながら評価値を計算する。このとき、評価値が最小の方向を該ブロックにおける動きベクトルとする。該走査は、該動きベクトルの始点を中心とした幅４８ピクセル高さ４８ピクセルの探索範囲２０３で行う。該動きベクトル検出部Ｂ１４１は、すべてのブロックに対して動きベクトルを決定し、動きベクトル１５１として出力する。よって、該動きベクトルは幅４８ピクセル高さ４８ピクセルの範囲で検出される。また、該評価値の算出には、上記と同様にＳＡＤを利用するものとする。
【００２７】
上記動きベクトル検出部Ａ１４０と動きベクトル検出部Ｂ１４１の違いは、マッチング範囲の大きさである。一般的に、マッチング範囲が狭いと物体の遮蔽に起因するエラーに頑健で、マッチング範囲が広いと物体の変形に起因するエラーに頑健である。このように、異なる特性を持った動きベクトル検出部から、もし似たベクトルが検出されれば、該動きベクトルは信頼性が高いとみなすことができる。本実施例は、そのような動きベクトルの検出における特性を利用して動きベクトルの信頼度の評価を行うものである。
【００２８】
上記動きベクトル評価部１６０は、上記すべてのブロックにおいて、上記動きベクトル１５０と動きベクトル１５１とを比較して両者の相違（類似度）を求め、各ブロックにおける動きベクトルの信頼度１７０を算出して出力する。ここで、θは上記動きベクトル１５０と動きベクトル１５１がなす角度を０≦θ≦１（０：１８０°、１：０°）で正規化したもの、Ｖは上記動きベクトル１５０と動きベクトル１５１の大きさの差を０≦Ｖ≦１（０：距離１６√２、１：距離０）で正規化したもの、と定義する。該信頼度１７０は数１で求める。
【００２９】
【数１】
2008244686.tif 000003
ここでαは、該信頼度１７０に対して、動きベクトルが為す角度に重みを持たせるか、動きベクトルの長さの差に重みを持たせるかを決定する係数である。
【００３０】
検出された動きベクトルを、例えばフレームレート変換に用いる場合、動きベクトルの角度成分の誤検出は画像の破綻に直結するが、動きベクトルの大きさ成分の誤検出は、映像で見る限り気にならないことも多い。従って、αを１に近い値にすることで動きベクトル相互間の角度の差分に対する重み付けをベクトルの大きさの差分に対する重み付けよりも大きくし、フレームレート変換に適した信頼度を算出することができる。
【００３１】
上記のようにして算出された信頼度１７０および動きベクトル１５０は、例えばフレームレート変換処理を行う映像処理部４に入力される。ここでは、映像処理部４における映像処理に用いられる動きベクトルとして、動きベクトル検出部Ａ１４０で検出された動きベクトル１５０を用いるように予め設定されるものとする。勿論、動きベクトル検出部B１４１で検出された動きベクトル１５１を用いるように設定してもよい。
【００３２】
そして映像処理部４では、フレームレート変換処理を行う際に、信頼度１７０が低い、すなわち算出された信頼度が所定値よりも低いブロックに対しては、該動きベクトル１５０を利用した補間画像生成を行わないようにする。すなわち、映像処理部４は、信頼度１７０が低いブロックは動きベクトルの誤検出が生じたものと判定し、そのブロックについては動きベクトルを用いた補間処理に代えて、例えばフレーム間の単純平均（直線補間）を用いてぼかした補間画像を生成する。ここで、単純平均（直線補間）とは、例えば補間画素または補間ブロックと空間的位置が同一の画素またはブロックを、当該補間画素または補間ブロックを有する補間フレーム前後のフレームからそれぞれ抽出し、これらを加算して平均化する処理である。
【００３３】
このように、本実施例では、動きベクトル検出法が互いに異なる動きベクトル検出部１４０、１４１により同一ブロックからそれぞれ個別に動きベクトルを求め、各動きベクトルの信頼度を動きベクトル評価部１６０で評価するようにしている。
【００３４】
より詳細には、動きベクトル検出部Ａ１４０は、映像フレーム内の第１の範囲（範囲２０２）でマッチング処理を行う第１のブロックマッチング法で動きベクトル１５０を検出する。一方、動きベクトル検出部Ｂ１４１は、第１の範囲（範囲２０２）とは異なる第２の範囲（範囲２１２）でマッチング処理を行う第２のブロックマッチング法で動きベクトル１５１を検出する。このように構成することにより、検出された動きベクトルが誤っているかどうかを容易に判定することができる。そして、この信頼度の評価結果を用いて映像処理を行うことによって、誤った動きベクトルによる映像の破綻や画質劣化を低減しながら高画質な映像処理を行うことができる。
【実施例２】
【００３５】
次に、本発明の第２実施例について図５及び６を用いて説明する。以下の説明においては、入力される映像信号はディジタル形式であるものとする。よって、映像表示装置がアナログ映像信号を受信した場合には、これをディジタル映像信号に変換して図６に示される回路に供給される。
【００３６】
図６は、動きベクトル変換部３の第二実施例を示しており、かかる動きベクトル変換部３は、フレームメモリ１２０、動きベクトル検出部Ａ１４０、動きベクトル検出部Ｂ１４１、動きベクトル検出部Ｃ１４２、及び動きベクトル評価部１６１を備えている。上記第１実施例との違いは、該動きベクトル検出Ｃ部１４２が追加され、動きベクトル検出部が３つになったこと、および上記動きベクトル評価部１６０が動きベクトル検出部１６１に変更されたことである。尚、図１に示されたものと同一の符号が付されている要素は、同一の機能を有するものであるので、その詳細な説明は省略する。
【００３７】
映像信号の入力部１００には図８に示したデコーダ２で複号されたディジタル形式の映像信号１３０が入力され、この入力された映像信号１３０は、フレームメモリ１２０および動きベクトル検出部Ａ１４０、動きベクトル検出部B１４１及び動きベクトル検出部Ｃ１４２に供給される。フレームメモリ１２０は１フレーム分の映像信号を保持することにより、映像信号を１フレーム遅延する。この１フレーム分遅延された映像信号１３１は、動きベクトル検出部Ａ１４０、動きベクトル検出部Ｂ１４１及び動きベクトル検出部Ｃ１４２に供給される。
【００３８】
上記動きベクトル検出部Ａ１４０で検出された動きベクトル１５０、上記動きベクトル検出部Ｂ１４１で検出された動きベクトル１５１、及び上記動きベクトル検出部Ｃ１４２で検出された動きベクトル１５２は、動きベクトル評価部１６１、及び図８に示された映像処理部４に供給される。また、上記動きベクトル評価部１６１で算出された信頼度１７０、及び上記動きベクトル評価部１６１で選択された動きベクトル１７１も、映像処理部４に供給される。
【００３９】
本実施例では、動きベクトル検出部Ａ１４０と動きベクトル検出部Ｂ１４１は実施例１と同一であるためその詳細についての説明は省略し、動きベクトル検出部Ｃ１４２について説明する。
【００４０】
動きベクトル検出Ｃ部１４２は、例えば、ブロックマッチング法を用いて、上記映像信号１３０および１フレーム分遅延された上記映像信号１３１から、動きベクトルを検出する。該ブロックマッチング法は、まず、図２に示すように、該映像信号１３０を幅８ピクセル高さ８ピクセルのブロックに分割し、各ブロックの中心を該動きベクトルの始点と定める。次に、図５に示すように、該動きベクトルの始点を中心とした幅３２ピクセル高さ３２ピクセルの相関演算に利用する範囲２２２を、該映像信号１３１に対して走査しながら評価値を計算する。このとき、評価値が最小の方向を該ブロックにおける動きベクトルとする。該走査は、該動きベクトルの始点を中心とした幅４８ピクセル高さ４８ピクセルの探索範囲２０３で行う。該動きベクトル検出部Ｃ１４２は、すべてのブロックに対して動きベクトルを決定し、動きベクトル１５２として出力する。よって、該動きベクトルは幅４８ピクセル高さ４８ピクセルの範囲で検出される。また、該評価値の算出には、実施例１と同様に、ＳＡＤを利用するものとする。
【００４１】
本実施例において、動きベクトル検出部Ａ１４０と動きベクトル検出部Ｂ１４１と、上記動きベクトル検出部Ｃ１４２との違いは、マッチング範囲の大きさである。 
上記動きベクトル評価部１６１は、上記すべてのブロックにおいて、上記動きベクトル１５０、上記動きベクトル１５１及び上記動きベクトル１５２を比較し、各ブロックにおける動きベクトルの信頼度を求め、信頼度１７０として出力する。ここで、θは２つの動きベクトルがなす角度を０≦θ≦１（０：１８０°、１：０°）で正規化したもの、Ｖは２つの動きベクトルの大きさの差を０≦Ｖ≦１（０：距離１６√２、１：距離０）で正規化したもの、と定義する。任意の２つの動きベクトル間の信頼度は数２で求める。
【００４２】
【数２】
2008244686.tif 000004
ここでαは、類似性に対して、動きベクトルが為す角度に重みを持たせるか、動きベクトルの長さの差に重みを持たせるかを決定する係数である。
【００４３】
ここで、定式化のために、上記動きベクトル１５０をＶ０、上記動きベクトル１５１をＶ１、上記動きベクトル１５２をＶ２と表すことにする。また、動きベクトル検出部の数をｋで表すことにする（実施例２の場合、ｋ＝３）。
【００４４】
まず、信頼度を上記の数２を用いて、すべての動きベクトルの組み合わせにおいて求める。具体的には、次の組み合わせにおいて求める。
Ｖ０とＶ１（信頼度ｒ０１および信頼度ｒ１０とする）
Ｖ０とＶ２（信頼度ｒ０２および信頼度ｒ２０とする）
Ｖ１とＶ２（信頼度ｒ１２および信頼度ｒ２１とする）
次に、各動きベクトルの信頼度を、上記組み合わせで求めた信頼度の和で求める。具体的には数３で求める。
【００４５】
【数３】
2008244686.tif 000005
最後に、各動きベクトルの信頼度のうち最小のものを、該信頼度１７０とし、該信頼度１７０が属する動きベクトルを動きベクトル１７１とする。該信頼度１７０は、具体的には、数４で求める。
【００４６】
【数４】
2008244686.tif 000006
ここで、ｍｉｎは最小値を求める関数である。
【００４７】
上記動きベクトル１７１を選択するための例を説明する。第１の例は、予め動きベクトル１５０〜１５２に対し予め優先順位を設定する方法である。各ベクトル相互間の信頼度（３つの信頼度）のうち、最も高い信頼度に属する動きベクトルの組が例えば動きベクトル１５０と動きベクトル１５１の場合は、例えば動きベクトル１５０を優先するように選択する。また、最も高い信頼度に属する動きベクトルの組が例えば動きベクトル１５１と動きベクトル１５２の場合は、例えば動きベクトル１５１を優先するように選択する。
【００４８】
また第２の例としては、各ベクトル相互間の信頼度（３つの信頼度）のうち、最も高い信頼度と２番目に高い信頼度を用いて動きベクトル１７０を選択する方法である。例えば各ベクトル相互間の信頼度（３つの信頼度）のうち、最も高い信頼度に属する動きベクトルの組が例えば動きベクトル１５０と動きベクトル１５１であり、その次に（２番目に）高い信頼度に属する動きベクトルの組が例えば動きベクトル１５１と動きベクトル１５２である場合、両方の信頼度に共通に属するのは動きベクトル１５１であるので、この動きベクトル１５１を動きベクトル１７１として選択する。
【００４９】
上記のようにして算出された信頼度１７０及び選択された動きベクトル１７１は、例えばフレームレート変換処理を行う映像処理部４に入力される。そして映像処理部４では、フレームレート変換処理を行う際に、信頼度１７０が低い、すなわち算出された信頼度が所定値よりも低いブロックに対しては、該動きベクトル１７１を利用した補間画像生成を行わないようにする。すなわち、映像処理部４は、信頼度１７０が低いブロックは動きベクトルの誤検出が生じたものと判定し、そのブロックについては動きベクトルを用いた補間処理に代えて、例えば実施例１と同様に単純平均（直線補間）を用いてぼかした補間画像を生成する。
【００５０】
本実施例において、上記実施例１との違いは、上記動きベクトル評価部１６１で動きベクトルを出力していることである。つまり、動きベクトル検出部が２つの場合は、検出された２つのベクトルのどちらが正しいかは判断できず、信頼度を求めることしかできないが、動きベクトル検出部が３つ以上ある場合は、もっとも正確と思われる動きベクトルを判断することが可能である。従って、フレームレート変換処理を行う際に、上記のように信頼度１７０が低い場合は動きベクトルを用いないという処理ではなく、信頼度１７０がどのような値であっても、最も信頼度が高い動きベクトル１７１を用いる処理を行ってもよい。例えば、動きベクトル検出部Ａ１４０で検出された動きベクトル１５０が最も信頼度が高い場合、算出された信頼度１７０が低くでもこの動きベクトル１５０を用いてフレームレート変換処理を行うようにする。このようにすれば、映像の破綻を低減しつつ良好に動き補償されたフレームレート変換映像を得ることができる。
【００５１】
このように、本実施例では、動きベクトル検出法が互いに異なる動きベクトル検出部１４０〜１４２により同一ブロックからそれぞれ個別に動きベクトルを求め、各動きベクトルの信頼度を動きベクトル評価部１６１で評価し、更にこれら３つの動きベクトルのうちもっとも信頼度の高い動きベクトルをひとつ選択するようにしている。
【００５２】
より詳細には、動きベクトル検出部Ａ１４０は、映像フレーム内の第１の範囲（範囲２０２）でマッチング処理を行う第１のブロックマッチング法で動きベクトル１５０を検出する。動きベクトル検出部Ｂ１４１は、第１の範囲（範囲２０２）とは異なる第２の範囲（範囲２１２）でマッチング処理を行う第２のブロックマッチング法で動きベクトル１５１を検出する。更に動きベクトル検出部Ｃ１４２は、第１の範囲（範囲２０２）及び第２の範囲（範囲２１２）とは異なる第３の範囲（範囲２０２）でマッチング処理を行う第３のブロックマッチング法で動きベクトル１５２を検出する。このように構成することにより、検出された動きベクトルが誤っているかどうかを容易に判定することができる。そして、この信頼度の評価結果を用いて映像処理を行うことによって、誤った動きベクトルによる映像の破綻や画質劣化を低減しながら高画質な映像処理を行うことができる。更に、３つの動きベクトルのうち、最も信頼度の高い動きベクトルを用いて映像処理を行うことも可能となり、より好適に上記映像処理に伴う映像の破綻を軽減できる。
【実施例３】
【００５３】
本発明の第３実施例について、図７を用いて説明する。以下の説明においては、入力される映像信号はディジタル形式であるものとする。よって、映像表示装置がアナログ映像信号を受信した場合には、これをディジタル映像信号に変換して図７に示される回路に供給される。
【００５４】
図７は、動きベクトル変換部３の第三実施例を示しており、かかる動きベクトル検出部３は、フレームメモリ１２０、動きベクトル検出部Ａ１４０、動きベクトル検出部Ｄ１４３、動きベクトル検出部Ｅ１４４、及び動きベクトル評価部１６１を備えている。上記第二実施例との違いは、該動きベクトル検出Ｂ部１４１が該動きベクトル検出Ｄ部１４３に変更されたこと、および該動きベクトル検出Ｃ部１４２が該動きベクトル検出Ｅ部１４４に変更されたことである。
【００５５】
映像信号の入力部１００には図８に示したデコーダ２で複号されたディジタル形式の映像信号１３０が入力され、この入力された映像信号１３０は、フレームメモリ１２０、動きベクトル検出部Ａ１４０、動きベクトル検出部Ｄ１４３、及び動きベクトル検出部Ｅ１４４に供給される。フレームメモリ１２０は１フレーム分の映像信号を保持することにより、映像信号を１フレーム遅延する。この１フレーム分遅延された映像信号１３１は、動きベクトル検出部Ａ１４０、動きベクトル検出部Ｄ１４３、及び動きベクトル検出部Ｅ１４４に供給される。
【００５６】
上記動きベクトル検出部Ａ１４０で検出された動きベクトル１５０、上記動きベクトル検出部Ｄ１４３で検出された動きベクトル１５３、及び上記動きベクトル検出部Ｅ１４４で検出された動きベクトル１５４は、動きベクトル評価部１６１、及び図８に示された映像処理部４に供給される。また、上記動きベクトル評価部１６１で算出された信頼度１７０、及び上記動きベクトル評価部１６１で選択された動きベクトル１７１も、映像処理部４に供給される。
【００５７】
本実施例では、動きベクトル検出部Ａ１４０は実施例１及び２と同一であるためその詳細についての説明は省略し、動きベクトル検出部Ｄ１４３及び動きベクトル検出部Ｅ１４４について説明する。
【００５８】
本実施例において、上記動きベクトル検出部Ｄ１４３は、例えば下記参考文献１に記載される勾配法を用いて、上記映像信号１３０および１フレーム分遅延された上記映像信号１３１から、上記動きベクトル１５３を検出する。 
〔参考文献１〕画像処理標準テキストブック編集委員会、“９  動画像処理”、画像処理標準テキストブック、財団法人  画像情報教育振興協会、pp279−286、1997。
【００５９】
上記動きベクトル検出Ｅ部１４４は、例えば、例えば下記参考文献２に記載される３次元相関法を用いて、上記映像信号１３０および１フレーム分遅延された上記映像信号１３１から、上記動きベクトル１５４を検出する。
〔参考文献２〕特開２００６−１６５６０２号公報
上記のようにして検出された動きベクトル１５０、１５３及び１５４のうち、最も信頼度の高い動きベクトル１７１を、動きベクトル評価部１６１によって実施例２のような方法（第１の例、第２の例）で選択して出力する。更に実施例のような方法によって動きベクトル評価部１６１によって信頼度１７０を算出して出力する。出力された信頼度１７０及び動きベクトル１７１の利用の仕方については、上述した実施例１または２と同様であるので、ここではその詳細な説明については省略する。
【００６０】
このように、本実施例は、動きベクトルの検出アルゴリズムが異なる複数の動き検出部１４１、１４３及び１４４を用いて動きベクトルを検出するようにしている。各アルゴリズムは、良好な検出特性を示す映像シーンや検出特性が劣化する映像シーンが互いに異なっているため、これらの検出アルゴリズムを併用することによって、より精度の高い信頼度を得ることができる。例えば、ブロックマッチング法はノイズを含む映像や細かい模様のある映像に対して良好に動きベクトルを検出することが可能であり、また３次元相関法は、映像中の物体が拡大、縮小する場合に良好に動きベクトルを検出することができる。従って、本実施例によれば、様々な映像シーンに応じてより精度の高い信頼度を得ることができる。
【産業上の利用可能性】
【００６１】
本発明は、例えばテレビジョン受像機などの映像処理装置において、動きベクトルを用いた映像処理（例えばフレームレート変換処理、インターレース−プログレッシブ変換処理等）に利用され得る。特に、映像破綻や画質劣化を低減して映像処理を行う場合に有用である。
【図面の簡単な説明】
【００６２】
【図１】本発明に係る第１実施例の回路ブロックを示す図
【図２】ブロックマッチングの一例を示す図
【図３】ブロックマッチングの一例を示す図
【図４】ブロックマッチングの一例を示す図
【図５】ブロックマッチングの一例を示す図
【図６】本発明に係る第２実施例の回路ブロックを示す図
【図７】本発明に係る第３実施例の回路ブロックを示す図
【図８】本発明が適用される映像処理装置の一構成例を示す図。
【符号の説明】
【００６３】
１００：映像入力部
１２０：フレームメモリ
１３０：映像信号
１３１：１フレーム遅延された映像信号
１４０：動きベクトル検出部Ａ
１４１：動きベクトル検出部Ｂ
１４２：動きベクトル検出部Ｃ
１５０：動きベクトル検出部Ａで検出された動きベクトル
１５１：動きベクトル検出部Ｂで検出された動きベクトル
１５２：動きベクトル検出部Ｃで検出された動きベクトル
１６０：動きベクトル評価部
１６１：動きベクトル評価部
１７０：信頼度
１７１：選択された動きベクトル
２０１：動きベクトルが割り当てられるブロック
２０２：相関演算に利用する範囲（幅１６ピクセル、高さ１６ピクセル）
２０３：探索範囲
２１２：相関演算に利用する範囲（幅２４ピクセル、高さ２４ピクセル）
２２２：相関演算に利用する範囲（幅３２ピクセル、高さ３２ピクセル）
【図１】
2008244686.tif 000007
【図２】
2008244686.tif 000008
【図３】
2008244686.tif 000009
【図４】
2008244686.tif 000010
【図５】
2008244686.tif 000011
【図６】
2008244686.tif 000012
【図７】
2008244686.tif 000013
【図８】
2008244686.tif 000014