(57)【要約】【課題】動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることが可能な動きベクトル検出装置および画像処理装置を提供する。【解決手段】間引き部１２で、入力フレームの各座標において、水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる領域の複数の画素から代表１画素に間引いた後で、適合度候補算出部１３によって適合度候補を算出するので、適合度候補を算出するための演算量を削減することが可能となる。これによって、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。【選択図】図１
2010055252.tif 000002
【特許請求の範囲】
【請求項１】
第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、
前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
前記記憶手段は、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶することを特徴とする動きベクトル検出装置。
【請求項２】
前記適合度候補算出手段によって算出される前記適合度候補は、各前記入力フレームの水平方向に対応する水平成分と、各前記入力フレームの垂直方向に対応する垂直成分とを含み、
前記動きベクトル候補算出手段によって算出される前記動きベクトル候補は、各前記入力フレームの水平方向に対応する水平成分と、各前記入力フレームの垂直方向に対応する垂直成分とを含むことを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
前記動きベクトル決定手段は、前記適合度候補の水平成分および前記動きベクトルの水平成分に基づいて、前記動きベクトルの水平成分を算出し、前記適合度候補の垂直成分および前記動きベクトルの垂直成分に基づいて、前記動きベクトルの垂直成分を算出することを特徴とする請求項２に記載の動きベクトル検出装置。
【請求項４】
前記動きベクトル決定手段は、前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の動きベクトル候補および適合度候補を用いて、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする請求項１〜３のいずれか１つに記載の動きベクトル検出装置。
【請求項５】
前記動きベクトル決定手段は、前記動きベクトル補間範囲に含まれる画素のうち、動きベクトル候補および適合度候補が記憶されている画素を用いて、その画素の動きベクトル候補および適合度候補をそれぞれ、その画素の個数で平均化することによって、前記中心画素の動きベクトルを算出することを特徴とする請求項４に記載の動きベクトル検出装置。
【請求項６】
前記記憶手段は、前記動きベクトル決定手段によって前記中心画素の動きベクトルが算出されると、前記中心画素に対応する記憶アドレスに記憶される動きベクトル候補に代えて、前記動きベクトル決定手段によって算出された前記中心画素の動きベクトルを記憶することを特徴とする請求項４または５に記載の動きベクトル検出装置。
【請求項７】
前記動きベクトル決定手段は、前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の動きベクトル候補および適合度候補に、前記動きベクトル補間範囲の中心からの距離に応じた重みを付けることによって、前記動きベクトルを算出することを特徴とする請求項１〜３のいずれか１つに記載の動きベクトル検出装置。
【請求項８】
前記動きベクトル決定手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする請求項１〜７のいずれか１つに記載の動きベクトル検出装置。
【請求項９】
前記動きベクトル決定手段は、前記適合度補間範囲に含まれる画素の適合度候補を単純平均することによって、前記中心画素の適合度を算出することを特徴とする請求項８に記載の動きベクトル検出装置。
【請求項１０】
前記記憶手段は、前記動きベクトル決定手段によって前記中心画素の適合度が算出されると、前記中心画素に対応する記憶アドレスに記憶される適合度候補に代えて、前記動きベクトル決定手段によって算出された前記中心画素の適合度を記憶することを特徴とする請求項８または９に記載の動きベクトル検出装置。
【請求項１１】
前記記憶手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と、予め定める適合度閾値とを比較し、前記中心画素適合度候補が前記適合度閾値以上であると、前記中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、前記中心画素適合度候補が前記適合度閾値未満であると、前記中心画素適合度候補に代えて、前記適合度閾値を記憶することを特徴とする請求項１〜７のいずれか１つに記載の動きベクトル検出装置。
【請求項１２】
前記適合度閾値は、前記適合度候補算出手段によって算出される前記適合度候補のとり得る値のうち、０以外の値であって、かつ最小の値であることを特徴とする請求項１１に記載の動きベクトル検出装置。
【請求項１３】
前記記憶手段は、前記注目領域に含まれる複数の画素のうち、各前記入力フレームの水平方向に対応する画素を前記代表１画素に間引いて生成される座標を用いて、前記記憶アドレスを算出することを特徴とする請求項１〜１２のいずれか１つに記載の動きベクトル検出装置。
【請求項１４】
請求項１〜１３のいずれか１つに記載の動きベクトル検出装置と、
前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から、前記第１および第２の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする画像処理装置。
【請求項１５】
請求項１〜１３のいずれか１つに記載の動きベクトル検出装置と、
前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から新たな画素を生成することによって、前記第１および第２の入力フレームで構成される画像とは異なる解像度を有する新たな画像を生成する解像度変換手段とを備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレーム間において、フレームの中の同じオブジェクトを対応付けることで、オブジェクトの移動量および距離情報となる動きベクトルを検出する動きベクトル検出装置およびこれを備える画像処理装置に関する。
【背景技術】
【０００２】
従来技術の動きベクトル検出装置および画像処理装置では、パターンマッチング法、勾配法、相互相関関数による方法、フーリエ変換による方法などによって、動きベクトルを算出している（たとえば、非特許文献１参照）。
【０００３】
これらの方法によって、時間の異なる複数のフレームを用いて求めた動きベクトルは、フレーム間符号化における符号化効率向上、フレーム内挿（フレーム数変換、フレーム追加、デインターレース変換）、および解像度変換などの動き検出に用いることができる。また、視点の位置が空間的に異なる位置で撮影した複数のフレームを用いて求めた動きベクトルは、距離画像および３次元画像の作成、オブジェクトの距離測定、ならびに３次元画像符号化などの距離検出の用途に用いることができる。
【０００４】
これらの用途において、特に広く実用的に用いられている前記パターンマッチング法では、たとえば２つのフレーム信号ｇ0（ｘ，ｙ）、ｇ1（ｘ，ｙ）の間で以下の式（１）を用いて移動量（ξ，η）のマッチングの指標である適合度候補ｅ（ξ，η）を求める。
【０００５】
【数１】
2010055252.tif 000003
【０００６】
ここで、Ｔlimは２つのフレーム信号間の誤差を極性反転して適合度候補を計算するときの所定の閾値であり、２つのフレーム信号には輝度信号を用いる。また式（１）では、２つのフレーム信号について差の絶対値を用いて計算しているが、差の自乗、または非線形特性などを用いてもよい。また、２つのフレーム信号としても、輝度信号以外に、輝度信号および色差信号の両方を用いてもよい。
【０００７】
加算する範囲Ｂとしては、８×８画素程度のブロックとする。動きベクトル候補の探索範囲内の移動量（ξ，η）それぞれについて式（１）の計算を行い、計算結果の中で適合度候補ｅ（ξ，η）が最大となる移動量（ξ，η）をそのブロックの動きベクトル候補とする。
【０００８】
また、相互相関関数による方法では、以下の式（２）のｈ（ξ，η）を最大にする移動量（ξ，η）を動きベクトル候補として求める。
【０００９】
【数２】
2010055252.tif 000004
【００１０】
前記の方法によって動きベクトル候補および適合度候補を算出した結果、不適切な動きベクトル候補が割り当てられるブロック、または動きベクトル候補が割り当てられないブロックが発生する（たとえば、特許文献１参照）。動きベクトル候補が割り当てられないブロックを補完し、かつ不適切な動きベクトル候補による誤差を抑えるために、動きベクトル候補の補間処理を行い、動きベクトルを決定する。また適合度候補についても補間処理を行い、適合度を決定する。従来技術の動きベクトル検出装置および画像処理装置では、動きベクトルおよび適合度を決定するために、所定の同じ範囲内に存在する動きベクトル候補と適合度候補とを同数用いて、動きベクトルおよび適合度を決定している。たとえば特許文献２では、動きベクトルおよび適合度を、以下の式（３）および式（４）によって求めている。
【００１１】
【数３】
2010055252.tif 000005
【００１２】
【数４】
2010055252.tif 000006
【００１３】
式（３）および式（４）において、ａi（ｘ1，ｙ1，ｘ2，ｙ2）は２つの点（ｘ1，ｙ1）、（ｘ2，ｙ2）の動きベクトルが同じ向きに動いていると推定される度合いを表す相関度であり、ｒi（ｘ2，ｙ2）はその点の動きベクトル候補がどれくらい信頼できるか、または所定の条件に合っているかの度合いを表す信頼度候補（適合度候補に相当）であり、ｖi（ｘ2，ｙ2）は補間処理に入力される動きベクトル候補である。また、式（３）のｖi+1（ｘ1，ｙ1）は補間処理によって決定された動きベクトルであり、式（４）のｒi+1（ｘ1，ｙ1）は補間処理によって決定された信頼度（適合度に相当）である。式（３）および式（４）では、動きベクトルおよび適合度の両方について、（ｘ2，ｙ2）∈（ｘ1，ｙ1）の周囲の動きベクトル候補および適合度候補を同数用いて平均化することによって、動きベクトルおよび適合度を決定している。
【００１４】
【特許文献１】特開２００２−２７４１４号公報（第４頁第６−２０行）
【特許文献２】特許第３９３５５００号公報（第１３頁、数１、数２、第２０頁、図１０）
【非特許文献１】吹抜敬彦著，「ＴＶ画像の多次元信号処理（Multi-dimensional TV signal processing）」，初版１刷，日刊工業新聞社，１９８８年１１月１５日，ｐ．１９３−２１２
【発明の開示】
【発明が解決しようとする課題】
【００１５】
パターンマッチング法および相互相関関数による方法では、動きベクトルの探索範囲を広くすると、探索範囲の面積に応じて演算回数が増加し、回路規模または計算時間が増大するという問題がある。そのため、フレーム間符号化にパターンマッチング法を適用する場合には、まず探索の精度を粗くし、数画素単位の精度でマッチングを行い、求めた動きベクトルの近辺で、徐々に探索の精度を１画素単位に近づけながらマッチングを繰り返す、いわゆる多段階探索法が多く用いられている。
【００１６】
しかしながら、このような多段階探索法による動きベクトル検出では、全探索をしていないので、局所最適な動きベクトルが求まることとなり、フレーム全体としては、必ずしも最適な動きベクトルが求まるとは限らない。フレームの内容によっては、全探索をした場合と比較すると、動きベクトルとして大きい誤差が出てしまうという問題がある。
【００１７】
フレーム間符号化に多段階探索法を適用する場合には、局所最適な動きベクトルを用いても画質的に余り問題にならないことが多い。しかし、フレーム内挿に多段階探索法を適用する場合には、画質的な劣化の点で問題となることがあり、また距離検出に多段階探索法を適用する場合には、距離の誤検出が問題となることがある。
【００１８】
本発明は、上記のような問題点を解決するためになされたものであり、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることが可能な動きベクトル検出装置および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の動きベクトル検出装置は、第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶することを特徴とする。
【００２０】
本発明の画像処理装置は、前記動きベクトル検出装置と、前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から、前記第１および第２の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする。
【００２１】
また本発明の画像処理装置は、前記動きベクトル検出装置と、前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から新たな画素を生成することによって、前記第１および第２の入力フレームで構成される画像とは異なる解像度を有する新たな画像を生成する解像度変換手段とを備えることを特徴とする。
【発明の効果】
【００２２】
本発明の動きベクトル検出装置によれば、間引き手段によって、第１および第２の入力フレームの注目領域に含まれる複数の画素から代表１画素に間引いた後に、この代表１画素を用いて、適合度候補算出手段によって適合度候補が算出される。これによって、適合度候補を算出するための演算量を削減することが可能になるので、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【００２３】
また間引き手段は、エッジ検出手段によって検出される各入力フレームのエッジ成分に基づいて注目領域の複数の画素を代表１画素に間引くので、間引いたことによる動きベクトルの検出精度の低下を抑えることができる。また記憶手段は、間引いたときの代表１画素の位置情報を用いて、動きベクトル候補および適合度候補の記憶アドレスを算出し、その記憶アドレスに動きベクトル候補および適合度候補を記憶するので、間引きによる位置誤差の発生を抑えることができる。また動きベクトル決定手段は、動きベクトル候補および適合度候補から動きベクトルおよび適合度を決定するので、動きベクトルを決定するときの誤差の発生を抑えることができる。
【００２４】
したがって、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【００２５】
本発明の画像処理装置によれば、前述のような優れた動きベクトル検出装置とフレームレート変換手段とを備えて画像処理装置が構成される。動きベクトル検出装置は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、内挿フレームに含まれる画素を精度良く生成することができる。したがって、画質の低下を抑えて、フレームレートを変換することのできる画像処理装置が実現される。
【００２６】
また本発明の画像処理装置によれば、前述のような優れた動きベクトル検出装置と解像度変換手段とを備えて画像処理装置が構成される。動きベクトル検出装置は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、画質の低下を抑えて、解像度の異なる新たな画像を生成することのできる画像処理装置が実現される。
【発明を実施するための最良の形態】
【００２７】
＜第１の実施の形態＞
図１は、本発明の第１の実施の形態である動きベクトル検出装置１の構成を示すブロック図である。図２は、代表１画素の一例を示す図である。動きベクトル検出装置１は、入力される複数のフレーム間において、複数のフレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出するものである。具体的には、動きベクトル検出装置１は、入力されるフレーム（以下「入力フレーム」という場合がある）のうち、注目する２つの入力フレーム、すなわち第１および第２の入力フレーム間で、第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する。
【００２８】
動きベクトル検出装置１は、たとえば動画像において画面内の被写体の動きを表す画像動きベクトルを検出するものであり、時系列的に前後の関係となる前フレームと後フレームとの間の動きベクトルを検出する。この動きベクトル検出装置１によって検出された動きベクトルは、ビデオカメラの手振れ補正などに利用される。動きベクトル検出装置１に入力されるフレームの画像信号は、水平方向の画素走査および垂直方向のライン走査を行うことによって読み出される。
【００２９】
本実施の形態の動きベクトル検出装置１は、入力端子１０、エッジ検出部１１、間引き部１２、適合度候補算出部１３、動きベクトル候補算出部１４、記憶部１５、動きベクトル決定部１６、第１出力端子１７および第２出力端子１８を備えて構成される。
【００３０】
入力端子１０には、たとえばビデオカメラ内の撮像素子で取得された動画像データなどの画像データが入力される。入力端子１０に入力された画像データは、複数のフレームを含んでおり、フレーム単位で、エッジ検出部１１と間引き部１２とに入力される。
【００３１】
エッジ検出部１１は、入力された複数のフレームの画像信号から、水平方向および垂直方向のエッジ成分を検出する。エッジ検出部１１は、検出したエッジ成分を間引き部１２および適合度候補算出部１３に与える。エッジ検出部１１は、エッジ検出手段に相当する。
【００３２】
間引き部１２は、入力フレームの予め定める注目領域に含まれる複数の画素を間引いて、代表となる１個の画素を代表１画素として出力する。具体的には、間引き部１２は、エッジ検出部１１から与えられるエッジ成分を用いてエッジ強度値を計算し、図２に示すように、入力フレームの複数の画素の中で、エッジ強度値が一番大きい画素を代表１画素として出力する。また間引き部１２は、代表１画素の位置を出力する。間引き部１２は、前記代表１画素およびその位置を表す画像信号を、適合度候補算出部１３、動きベクトル候補算出部１４および記憶部１５に与える。間引き部１２は、間引き手段に相当する。
【００３３】
適合度候補算出部１３は、２つの入力フレームについて間引き部１２から与えられる２つの代表１画素の画像信号に基づいて適合度候補を求める。さらに具体的には、適合度候補算出部１３は、間引き部１２から出力される前記代表１画素を用いて、２つの入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する。適合度候補算出部１３は、算出した適合度候補を、動きベクトル候補算出部１４および記憶部１５に与える。適合度候補算出部１３は、適合度候補算出手段に相当する。
【００３４】
動きベクトル候補算出部１４は、適合度候補算出部１３から与えられる適合度候補と、間引き部１２から与えられる代表１画素の位置とから、２つの入力フレーム間の動きベクトルの候補となる動きベクトル候補を算出する。動きベクトル候補算出部１４は、算出した動きベクトル候補を記憶部１５に与える。動きベクトル候補算出部１４は、動きベクトル候補算出手段に相当する。
【００３５】
記憶部１５は、動きベクトル候補算出部１４から与えられる動きベクトル候補と、間引き部１２から与えられる代表１画素の位置と、内挿フレームの位相とから記憶アドレスを算出する。記憶部１５は、算出した記憶アドレスに、動きベクトル候補算出部１４から与えられる動きベクトル候補、および適合度候補算出部１３から与えられる適合度候補を記憶する。また記憶部１５は、所定の範囲の記憶処理が終了する毎に、所定の範囲の動きベクトル候補および適合度候補を出力する。さらに記憶部１５は、後述する動きベクトル決定部１６から与えられる動きベクトルおよび適合度を記憶する。記憶部１５は、記憶手段に相当する。
【００３６】
動きベクトル決定部１６は、記憶部１５から与えられる動きベクトル候補および適合度候補に基づいて、動きベクトルおよび適合度を決定する。動きベクトル決定部１６によって決定された動きベクトルは、記憶部１５に与えられるとともに、第１出力端子１７から出力される。動きベクトル決定部１６によって決定された適合度は、記憶部１５に与えられるとともに、第２出力端子１８から出力される。動きベクトル決定部１６は、動きベクトル決定手段に相当する。
【００３７】
次に、動きベクトル検出装置１の各部の動作を具体的に説明する。まず、図１に示すエッジ検出部１１の動作について説明する。エッジ検出部１１は、入力された複数のフレームの画像信号から、水平方向および垂直方向のエッジ成分を検出し、間引き部１２に与える。エッジ成分の検出は、たとえばプリウィット（Prewitt）フィルタ、ソーベル（Sobel）フィルタのような１次微分フィルタを用いて行ってもよいし、２次微分フィルタなどと組合せて行ってもよい。具体的には、以下の式（５）に従って計算することによってエッジ成分が求められる。
【００３８】
【数５】
2010055252.tif 000007
【００３９】
式（５）において、ｇ（ｘ，ｙ）は入力フレームの座標（ｘ，ｙ）の画像信号であり、たとえば輝度を用いる。Ｅ’xは１次微分フィルタによって検出される水平方向のエッジ成分（以下「水平方向の１次微分エッジ成分」という）であり、Ｅ’yは１次微分フィルタによって検出される垂直方向のエッジ成分（以下「垂直方向の１次微分エッジ成分」という）である。Ｅ’’xは２次微分フィルタによって検出される水平方向のエッジ成分（以下「水平方向の２次微分エッジ成分」という）であり、Ｅ’’yは２次微分フィルタによって検出される垂直方向のエッジ成分（以下「垂直方向の２次微分エッジ成分」という）である。
【００４０】
次に、図１に示す間引き部１２の動作について説明する。間引き部１２は、エッジ検出部１１から与えられるエッジ成分を用いてエッジ強度値を計算し、図２に示すように、入力フレームの複数の画素の中で、エッジ強度値が一番大きい画素を代表１画素として出力する。具体的には、入力フレームの水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる注目領域の複数の画素の中で、エッジ強度値が一番大きい画素のみを残して、代表１画素として出力する。水平方向Ｍ画素、垂直方向Ｎ画素からなる注目領域の他の画素は破棄する。エッジ強度値は、たとえばＣ１（｜Ｅ’x｜＋｜Ｅ’y｜）＋Ｃ２（｜Ｅ’’x｜＋｜Ｅ’’y｜）によって求める。ここで、Ｃ１、Ｃ２は所定の定数である。また間引き部１２は、図２に示すように、オフセット基準点ＰＯから、水平方向にＯx、垂直方向にＯyだけ移動した代表１画素の位置ＲＰ（Ｏx、Ｏy）を出力する。なお、エッジ強度値が一番大きい画素を代表１画素とする代わりに、注目領域の所定の位置の画素、たとえば注目領域の左上の画素を代表１画素としてもよい。検出精度の点では、エッジ強度値が一番大きい画素を代表１画素とする場合に比して劣る場合もあるが、代表１画素に間引いたことによる演算量削減の効果は同様に認められる。
【００４１】
次に、図１に示す適合度候補算出部１３の動作について説明する。適合度候補算出部１３は、従来技術のパターンマッチング法と同様に、２つの入力フレームについて間引き部１２から与えられる２つの代表１画素の画像信号ｇ0（ｘ，ｙ）、ｇ1（ｘ，ｙ）の間で移動量（ξM，ηN）のマッチングの指標である適合度候補ｅ（ξM，ηN）を求め、動きベクトル候補算出部１４および記憶部１５に与える。ここで（ξM，ηN）は、間引き部１２から与えられる代表１画素についての間引かれた後の座標であることを示すために、ξ、ηの右下にＭ、Ｎの参照符を付加している。相互相関関数による方法でも同様である。
【００４２】
ここで、１画素同士で適合度候補ｅを算出した場合は画素マッチングとなり、たとえば水平方向ｐ画素、垂直方向ｑ画素（ｐ，ｑは整数。ｐ，ｑのいずれか一方は２以上、他方は１以上）の複数の画素同士で適合度候補ｅを算出した場合はブロックマッチングとなる。通常、画素マッチングよりもブロックマッチングの方が誤検出を減らすことができるが、画素数であるｐおよびｑを増やしすぎると、オブジェクトの境界で誤検出が発生しやすくなる弊害が起こる。また画素数が増えると、計算量も増える。
【００４３】
適合度候補算出部１３は、エッジ検出部１１から与えられるエッジ成分を用いて適合度候補を算出することもできる。これによって、画像信号とエッジ成分との両方から適合度候補を算出するので、動きベクトル候補の検出精度を向上することができる。たとえば２つの画像信号とエッジ成分
（ｇ0（ｘ，ｙ），Ｅ’x0（ｘ，ｙ），Ｅ’y0（ｘ，ｙ），Ｅ’’x0（ｘ，ｙ），Ｅ’’y0（ｘ，ｙ））、
（ｇ1（ｘ，ｙ），Ｅ’x1（ｘ，ｙ），Ｅ’y1（ｘ，ｙ），Ｅ’’x1（ｘ，ｙ），Ｅ’’y1（ｘ，ｙ））
の間で以下の式（６）を用いて、移動量（ξM，ηN）のマッチングの指標である適合度候補ｅ（ξM，ηN）を求める。
【００４４】
【数６】
2010055252.tif 000008
【００４５】
式（６）において、Ｃmy，Ｃm1，Ｃm2は所定の定数である。また（ｘ，ｙ）は、間引き部１２から与えられる代表１画素についての間引かれた後の座標である。
【００４６】
このような構成によれば、エッジ情報も用いて適合度候補を演算することになるので、１画素同士の画素マッチング、あるいはｐ×ｑブロックのサイズが小さい場合等の、少ない画素同士のマッチングにおける動きベクトルの検出精度を向上することができる。
【００４７】
さらに、適合度候補ｅ（ξM，ηN）にエッジ成分の大きさを示す以下の式（７）に示すＦx，Ｆyを加算し、エッジ成分が大きい場合に適合しやすい計算式とすることもできる。
【００４８】
【数７】
2010055252.tif 000009
【００４９】
式（７）において、Ｃex，Ｃey，Ｔex，Ｔeyは所定の定数である。Ｆx（ξM，ηN），Ｆy（ξM，ηN）は、いずれも０以下となるようにリミットをかけた後、適合度候補ｅ（ξM，ηN）に加算され、適合度候補の水平成分ｅx（ξM，ηN）と垂直成分ｅy（ξM，ηN）とを以下の式（８）に従って算出する。
【００５０】
【数８】
2010055252.tif 000010
【００５１】
次に、図１に示す動きベクトル候補算出部１４の動作について説明する。動きベクトル候補算出部１４は、適合度候補算出部１３から与えられる適合度候補と、間引き部１２から与えられる代表１画素の位置とから、動きベクトル候補を算出して出力する。
【００５２】
図３は、動きベクトル候補算出部１４の構成を示すブロック図である。動きベクトル候補算出部１４は、第１入力端子２０、第２入力端子２１、選択部２２、動きベクトル計算部２３および出力端子２４を備えて構成される。適合度候補算出部１３から与えられた適合度候補は、第１入力端子２０を介して選択部２２に与えられる。選択部２２は、適合度候補の中で最も適合度の大きいものを選択し、選択した適合度候補に対応する移動量（ξM，ηN）を出力し、動きベクトル計算部２３に与える。最も適合度の大きいものの選択は、パターンマッチング法であれば、適合度候補ｅ（ξM，ηN）が最も大きいものを選択し、相互相関関数による方法であれば、同様に適合度候補ｈ（ξM，ηN）が最も大きいものを選択する。
【００５３】
動きベクトル計算部２３は、選択部２２から与えられる移動量（ξM，ηN）と、第２入力端子２１を介して間引き部１２から与えられる代表１画素の位置ＲＰ（Ｏx、Ｏy）とから、動きベクトル候補を算出して出力する。動きベクトル検出装置１への複数の入力フレーム、本実施の形態では２つの入力フレームのうち、第１の入力フレーム（以下、単に「第１フレーム」という場合がある）についての代表１画素の位置を（Ｏ1x，Ｏ1y）、第２の入力フレーム（以下、単に「第２フレーム」という場合がある）についての代表１画素の位置を（Ｏ2x，Ｏ2y）とした場合、第１フレームから第２フレームへの動きベクトル候補（ξ，η）を、たとえば以下の式（９）に従って計算する。
【００５４】
【数９】
2010055252.tif 000011
【００５５】
次に、図１に示す記憶部１５の動作について説明する。記憶部１５は、動きベクトル候補算出部１４から与えられる動きベクトル候補と、間引き部１２から与えられる代表１画素の位置と、内挿フレームの位相とから記憶アドレスを算出する。記憶部１５は、算出した記憶アドレスに、動きベクトル候補と、適合度候補算出部１３から与えられる適合度候補とを記憶する。また記憶部１５は、フレーム内の所定の領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の領域の動きベクトル候補および適合度候補を出力する。さらに記憶部１５は、動きベクトル決定部１６から与えられる動きベクトルおよび適合度も記憶する。
【００５６】
図４は、内挿フレームの位相Ｆｐｈを説明するための図である。動きベクトル検出装置１に入力された第１フレームＦ１および第２フレームＦ２に対して、動きベクトルを求める相対的な時間を、内挿フレームＩＦの位相Ｆｐｈとする。第１フレームＦ１の位相をＦｐｈ＝０、第２フレームＦ２の位相をＦｐｈ＝１とすると、内挿の場合は０≦Ｆｐｈ≦１、外挿の場合は内挿の場合の範囲外となる。第１フレームＦ１から第２フレームＦ２への動きベクトル候補ＭＶＣ（ξ，η）について、内挿フレームＩＦでの座標ＣＩを算出し、それに対応した記憶アドレスを算出し、算出した記憶アドレスへ動きベクトル候補と適合度候補とを記憶する。
【００５７】
図５は、記憶部１５の構成を示すブロック図である。図６は、一方のフレーム上の点を固定して他方のフレーム上の点のみを振った場合のペアを説明するための図である。図６（ａ）は、第１フレーム上の点を固定して第２フレーム上の点のみを振った場合を示す図であり、図６（ｂ）は、第２フレーム上の点を固定して第１フレーム上の点のみを振った場合を示す図である。図７は、点対称型に両フレーム上の点を振った場合のペアを説明するための図である。記憶部１５は、第１入力端子３０、第２入力端子３１、第３入力端子３２、第４入力端子３３、第５入力端子３４、第６入力端子３５、記憶アドレス算出部３６、候補記憶部３７、第１出力端子３８および第２出力端子３９を備えて構成される。
【００５８】
記憶アドレス算出部３６は、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補と、第４入力端子３３を介して間引き部１２から与えられる代表１画素の位置と、第３入力端子３２を介して与えられる内挿フレームＩＦの位相Ｆｐｈとから、内挿フレームＩＦの位相Ｆｐｈでの動きベクトル候補の座標を算出し、それに対応した記憶アドレスを算出して出力する。
【００５９】
候補記憶部３７は、記憶アドレス算出部３６から与えられる記憶アドレスに、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補、および第２入力端子３１を介して適合度候補算出部１３から与えられる適合度候補を記憶する。また候補記憶部３７は、フレーム内の所定の注目領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の注目領域の動きベクトル候補を第１出力端子３８から出力し、前記所定の注目領域の適合度候補を第２出力端子３９から出力する。さらに候補記憶部３７は、第５入力端子３４を介して動きベクトル決定部１６から与えられる動きベクトルおよび第６入力端子３５を介して動きベクトル決定部１６から与えられる適合度も記憶するが、これについては後述する。
【００６０】
次に、図５に示す記憶アドレス算出部３６の具体的な動作について説明する。記憶アドレス算出部３６は、入力される動きベクトル候補と、代表１画素の位置と、内挿フレームの位相とから、内挿フレームでの座標を算出し、それに対応した記憶アドレスを算出して出力する。内挿フレームでの座標（Ｒ1x，Ｒ1y）、（Ｒ2x，Ｒ2y）を、たとえば以下の式（１０）に従って求める。
【００６１】
【数１０】
2010055252.tif 000012
【００６２】
式（１０）において、（ｘ，ｙ）は間引き部１２から出力される代表１画素の座標であり、（Ｏ1x，Ｏ1y）は第１フレームＦ１についての代表１画素の位置であり、（Ｏ2x，Ｏ2y）第２フレームＦ２についての代表１画素の位置であり、Ｆｐｈは内挿フレームＩＦの位相であり、（ξ，η）は動きベクトル候補である。
【００６３】
内挿フレームでの座標が（Ｒ1x，Ｒ1y）と（Ｒ2x，Ｒ2y）との２組あるのは、図６（ａ）に示すように第１フレーム上の点を固定点として第２フレーム上の点を探索して求めた動きベクトル候補と、図６（ｂ）に示すように第２フレーム上の点を固定点として第１フレーム上の点を探索して求めた動きベクトル候補とが存在するためである。図６には、一方のフレーム上の点を固定して他方のフレーム上の点のみを振って動きベクトルを探索した場合を示しているが、図７に示すような点対称型に両フレーム上の点を振って動きベクトルを探索した場合も移動量が２倍になる分を考慮すれば同様である。
【００６４】
内挿フレームでの座標（Ｒ1x，Ｒ1y）、（Ｒ2x，Ｒ2y）から、たとえば以下の式（１１）に従って記憶アドレスＡ1、Ａ2を算出する。
【００６５】
【数１１】
2010055252.tif 000013
【００６６】
式（１１）において、ＨＳＺは水平画素数であり、たとえば３２０である。ここで以下の式（１２）のように、注目領域である水平方向Ｍ画素、垂直方向Ｎ画素からなる領域に含まれる複数の画素のうち、第１および第２フレームの水平方向に対応する画素を代表１画素に間引いて生成される座標を用いて、具体的には、水平方向のＭ画素から代表１画素に間引いて記憶アドレスＡ1、Ａ2を算出することもできる。この場合、候補記憶部３７の回路規模を小さくすることができる。
【００６７】
【数１２】
2010055252.tif 000014
【００６８】
次に、図１に示す動きベクトル決定部１６の動作について説明する。図８は、動きベクトル決定部１６の構成を示すブロック図である。図９は、動きベクトルを記憶する中心画素ＣＰ１を説明するための図である。図１０は、適合度を記憶する中心画素ＣＰ２を説明するための図である。動きベクトル決定部１６は、記憶部１５から与えられる動きベクトル候補および適合度候補から、動きベクトルおよび適合度を決定して出力する。動きベクトル決定部１６は、第１入力端子４０、第２入力端子４１、動きベクトル候補補間部４２、適合度候補補間部４３、第１出力端子４４および第２出力端子４５を備えて構成される。
【００６９】
動きベクトル候補補間部４２は、第１入力端子４０を介して記憶部１５から与えられる動きベクトル候補と、第２入力端子４１を介して記憶部１５から与えられる適合度候補とから、補間処理によって動きベクトルを決定する。動きベクトル候補補間部４２によって決定された動きベクトルは、第１出力端子４４から出力される。適合度候補補間部４３は、第２入力端子４１を介して記憶部１５から与えられる適合度候補を補間処理することによって、適合度を決定する。適合度候補補間部４３によって決定された適合度は、第２出力端子４５から出力される。
【００７０】
次に、図８に示す動きベクトル候補補間部４２の具体的な動作について説明する。動きベクトル候補補間部４２は、記憶部１５から与えられる動きベクトル候補と適合度候補とから、補間処理によって動きベクトルを決定する。具体的には、動きベクトル候補補間部４２は、図９に示す水平方向Ｍ１（Ｍ１は１以上の整数）画素、垂直方向Ｎ１（Ｎ１は１以上の整数）画素の領域である動きベクトル補間範囲ＩＡ１の動きベクトル候補と適合度候補とを用いて、動きベクトル補間範囲ＩＡ１の中心画素ＣＰ１の動きベクトルを決定する。中心画素ＣＰ１の動きベクトルは、たとえば以下の式（１３）に従って補間処理をすることによって決定する。
【００７１】
【数１３】
2010055252.tif 000015
【００７２】
式（１３）において、ξi（ｘ，ｙ），ηi（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補である。動きベクトル補間範囲ＩＡ１は、水平方向Ｍ１画素、垂直方向Ｎ１画素の領域である。また、Ｓは以下の式（１４）に示すように、動きベクトル補間範囲ＩＡ１である水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する適合度候補ｅ（ｕ，ｖ）の和である。
【００７３】
【数１４】
2010055252.tif 000016
【００７４】
前述のように動きベクトルを決定することによって、記憶部１５に動きベクトル候補が記憶されていない記憶アドレスについて動きベクトルが補完され、また不適切な動きベクトル候補による誤差が補間によって抑えられるので、より精度の高い動きベクトルを決定することが可能である。また、動きベクトル補間範囲ＩＡ１である水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する適合度候補ｅ（ｕ，ｖ）の数に応じて式（１３）の除算が行われるので、水平方向Ｍ１画素、垂直方向Ｎ１画素の領域内に存在する動きベクトル候補と適合度候補とが少ない場合に、決定する動きベクトルが小さくなることを防ぐことができる。これによって、より精度の高い動きベクトルを決定することができる。
【００７５】
また、式（８）に示した水平方向および垂直方向の成分を持つ適合度候補を用いて動きベクトルを決定することもできる。このとき、動きベクトル候補の水平成分と適合度候補の水平成分とから動きベクトルの水平成分を算出し、動きベクトル候補の垂直成分と適合度候補の垂直成分とから動きベクトルの垂直成分を算出することによって、動きベクトルを決定する。たとえば、動きベクトルは、適合度候補の水平成分ｅx（ｕ，ｖ）と適合度候補の垂直成分ｅy（ｕ，ｖ）とを用いて以下の式（１５）に従って決定する。
【００７６】
【数１５】
2010055252.tif 000017
【００７７】
式（１５）におけるＳx、Ｓyは、以下の式（１６）によって決定する。
【００７８】
【数１６】
2010055252.tif 000018
【００７９】
以上のようにすることによって、動きベクトルの水平成分は入力フレームのエッジ成分の水平成分で重み付けされ、動きベクトルの垂直成分は入力フレームのエッジ成分の垂直成分で重み付けされるので、水平方向および垂直方向それぞれの輪郭の動きに基づいた、より精度の高い動きベクトルを決定することができる。
【００８０】
また中心からの位置（ｕ−ｘ，ｖ−ｙ）を用いて、動きベクトルを決定することもできる。たとえば、以下の式（１７）に従って決定する。
【００８１】
【数１７】
2010055252.tif 000019
【００８２】
式（１７）におけるｒは、以下の式（１８）によって決定される。
【００８３】
【数１８】
2010055252.tif 000020
【００８４】
以上のことから、中心画素からの距離も動きベクトルに反映されるので、中心画素の近辺を重視した、より精度の高い動きベクトルが得られる。
【００８５】
ここで、ｒ＝｜ｕ−ｘ｜＋｜ｕ−ｙ｜とすることもできる。式（１７）では、ｒの逆数を乗算しているが、ｒが増加するに伴い減少するような他の関数を乗算してもよい。さらに、水平成分、垂直成分ともにｒの逆数を乗算する代わりに、水平方向ξiの計算では｜ｕ−ｘ｜の増加に伴い減少する関数を、垂直方向ηiの計算では｜ｕ−ｙ｜の増加に伴い減少する関数を個別に乗算してもよい。
【００８６】
次に、図８に示す適合度候補補間部４３の具体的な動作について説明する。適合度候補補間部４３は、記憶部１５から与えられる適合度候補を補間処理して適合度を決定する。図１０に示す水平方向Ｍ２（Ｍ２は１以上の整数）画素、垂直方向Ｎ２（Ｎ２は１以上の整数）画素の領域である適合度補間範囲の適合度候補を用いて、中心画素ＣＰ２の適合度を決定する。中心画素ＣＰ２の適合度は、たとえば以下の式（１９）に従って補間処理をすることによって決定する。
【００８７】
【数１９】
2010055252.tif 000021
【００８８】
式（１９）において、ｅi（ｘ，ｙ）は中心画素（ｘ，ｙ）での適合度であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補である。また式（１９）におけるＳeを、水平方向Ｍ２画素、垂直方向Ｎ２画素の領域のＭ２×Ｎ２の画素数とする。これによって、補間処理は単純平均となるので、適合度補間範囲である水平方向Ｍ２画素、垂直方向Ｎ２画素の領域内に存在する適合度候補が少ないほど、決定する適合度が小さくなる。したがって、周囲に動きベクトルの決定に用いることのできる動きベクトル候補が少ないときは、その画素の適合度を小さくできるので、より精度の高い適合度を決定することができる。
【００８９】
図１１は、求めた動きベクトルと補間処理との関係を示す図である。図１２は、求めた適合度と補間処理との関係を示す図である。図１に示す動きベクトル検出装置１の記憶部１５では、動きベクトル決定部１６から与えられる動きベクトルおよび適合度も記憶するように構成されている。図５に示す記憶部１５を構成する候補記憶部３７は、第５および第６入力端子３４，３５を介して動きベクトル決定部１６から与えられる動きベクトルおよび適合度を記憶する。このとき、動きベクトルについては、図９に示す中心画素ＣＰ１に対応する記憶アドレスへ、記憶されている動きベクトル候補に上書きして記憶する。適合度については、図１０に示す中心画素ＣＰ２に対応する記憶アドレスへ、記憶されている適合度候補に上書きして記憶する。
【００９０】
具体的に述べると、たとえば図１１（ａ）に示すように第１の動きベクトル補間範囲ＩＡ１（ａ）の中心画素ＣＰ１（ａ）に対して求められた動きベクトルは、内挿フレームＩＦの対応する記憶アドレスに上書きして記憶される。この動きベクトルは、図１１（ｂ）に示すように、次の画素の処理において、第２の動きベクトル補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の動きベクトルを求めるときに用いられ、さらに図１１（ｃ）に示すように、その次の画素の処理において、第３の動きベクトル補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の動きベクトルを求めるときに用いられる。第３の動きベクトル補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の動きベクトルを求めるときには、第２の動きベクトル補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の動きベクトルも用いられる。
【００９１】
同様に、適合度については、たとえば図１２（ａ）に示すように第１の適合度補間範囲ＩＡ２（ａ）の中心画素ＣＰ２（ａ）に対して求められた適合度は、内挿フレームＩＦの対応する記憶アドレスに上書きして記憶され、図１２（ｂ）に示す第２の適合度補間範囲ＩＡ２（ｂ）の中心画素ＣＰ２（ｂ）の適合度を求めるとき、および図１２（ｃ）に示す第３の適合度補間範囲ＩＡ２（ｃ）の中心画素ＣＰ２（ｃ）の適合度を求めるときに用いられる。また第２の適合度補間範囲ＩＡ１（ｂ）の中心画素ＣＰ１（ｂ）の適合度は、第３の適合度補間範囲ＩＡ１（ｃ）の中心画素ＣＰ１（ｃ）の適合度を求めるときに用いられる。
【００９２】
このように動きベクトルおよび適合度は書き戻し、すなわち記憶部１５に戻されて上書きされるので、図１１および図１２に示すように、記憶した動きベクトルおよび適合度は、次以降の画素の処理に用いられる。したがって、動きベクトル、適合度の精度が向上する。
【００９３】
以上のように本実施の形態によれば、間引き部１２で、入力フレームの各座標において、水平方向にＭ（Ｍは１以上の整数）画素、垂直方向にＮ（Ｎは１以上の整数）画素からなる領域の複数の画素から代表１画素に間引いた後で、適合度候補算出部１３によって適合度候補を算出するので、適合度候補を算出するための演算量を削減することが可能となる。これによって、適合度候補を算出するための回路規模または処理時間を小さく抑えることができる。この適合度候補を用いて動きベクトル候補が算出され、動きベクトルが検出されるので、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【００９４】
また間引き部１２は、エッジ検出部１１によって検出される各入力フレームのエッジ成分に基づいて注目領域の複数の画素を代表１画素に間引くので、間引いたことによる動きベクトルの検出精度の低下を抑えることができる。また、記憶部１５は、間引いたときの代表１画素の位置情報を用いて、動きベクトル候補の記憶アドレスを算出し、その記憶アドレスに動きベクトル候補を記憶するので、間引きによる位置誤差の発生を抑えることができる。また動きベクトル決定部１６は、動きベクトル候補および適合度候補を用いて動きベクトルおよび適合度を決定するので、動きベクトルを決定するときの誤差の発生を抑えることができる。
【００９５】
したがって、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。
【００９６】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態の動きベクトル検出装置について説明する。本実施の形態の動きベクトル検出装置は、前述の第１の実施の形態の動きベクトル検出装置１と構成が類似しているので、対応する箇所に同一の参照符を付して、第１の実施の形態と共通する説明を省略する。本実施の形態の動きベクトル検出装置は、図１に示す第１の実施の形態の動きベクトル検出装置１において、記憶部１５を、図１３に示す記憶部１５Ａに置き換えた構成である。
【００９７】
図１３は、本発明の第２の実施の形態である動きベクトル検出装置の記憶部１５Ａの構成を示すブロック図である。記憶部１５Ａは、第１入力端子３０、第２入力端子３１、第３入力端子３２、第４入力端子３３、第５入力端子３４、記憶アドレス算出部３６、候補記憶部５０、中心選択部５１、適合度閾値記憶部５２、適合度比較部５３、第１出力端子５４および第２出力端子５５を備えて構成される。
【００９８】
候補記憶部５０は、第１入力端子３０を介して動きベクトル候補算出部１４から与えられる動きベクトル候補、および第２入力端子３１を介して適合度候補算出部１３から与えられる適合度候補を記憶する。また候補記憶部５０は、フレーム内の所定の注目領域の動きベクトル候補と適合度候補とを記憶完了する度に、前記所定の注目領域の動きベクトル候補を第１出力端子５４から出力し、前記所定の注目領域の適合度候補を第２出力端子５５から出力する。さらに候補記憶部５０は、前記所定の注目領域の適合度候補を中心選択部５１に与える。
【００９９】
中心選択部５１は、候補記憶部５０から与えられる適合度候補について、予め定める適合度補間範囲、たとえば図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に位置する適合度候補を選択して出力する。中心選択部５１から出力される前記適合度候補である中心画素適合度候補は、適合度比較部５３に与えられる。
【０１００】
適合度閾値記憶部５２は、中心選択部５１から出力される前記中心画素適合度候補と比較するための予め定める適合度閾値を記憶する。適合度閾値記憶部５２は、適合度閾値を適合度比較部５３に与える。適合度比較部５３は、中心選択部５１から与えられる中心画素適合度候補と、適合度閾値記憶部５２から与えられる適合度閾値とを比較して、適合度閾値以上の適合度を出力する。具体的に述べると、適合度比較部５３は、中心選択部５１から与えられる中心画素適合度候補と、適合度閾値記憶部５２から与えられる適合度閾値とを比較して、中心画素適合度候補が適合度閾値以上であると判断すると、中心画素適合度候補を適合度として出力し、中心画素適合度候補が適合度閾値未満であると判断すると、適合度閾値を適合度として出力する。適合度比較部５３は、出力される前記適合度を候補記憶部５０に与える。候補記憶部５０は、適合度比較部５３から与えられる適合度を、図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に相当する記憶アドレスへ、記憶されている適合度候補に上書きして記憶する。
【０１０１】
このように本実施の形態では、記憶部１５Ａは、適合度補間範囲である図１０に示す水平方向Ｍ２画素、垂直画素Ｎ２の領域の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と適合度閾値とを比較し、中心画素適合度候補が適合度閾値以上であると、中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、中心画素適合度候補が適合度閾値未満であると、中心画素適合度候補に代えて、適合度閾値を記憶する。これによって、動きベクトル決定部１６において、動きベクトル候補と適合度候補とを用いて動きベクトルを補間するときに、適合度が適合度閾値未満と小さい動きベクトル候補によって誤差が発生することを抑えることができる。また全ての画素に適合度閾値以上の適合度を与えることができる。
【０１０２】
具体的には適合度閾値記憶部５２に記憶する適合度閾値を０ではない最小の値、すなわち適合度候補算出部１３によって算出される適合度候補のとり得る値のうち、０以外の値であって、かつ最小の値とすることによって、適合度の大きい適合度候補はそのままの値が残り、適合度の小さい適合度候補は、適合度閾値に置き換わる。これによって、適合度の小さい動きベクトル候補が、動きベクトル決定部１６での補間のときに発生させる誤差を抑えることを可能にしつつ、全ての画素に適合度閾値以上の適合度を与えることができる。
【０１０３】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態の画像処理装置について説明する。図１４は、本発明の第３の実施の形態である画像処理装置６０の構成を示すブロック図である。
画像処理装置６０は、入力端子６１、動きベクトル検出装置６２、フレームレート変換部６３および出力端子６４を備えて構成される。本実施の形態の動きベクトル検出装置６２は、前述の第１の実施の形態または第２の実施の形態の動きベクトル検出装置である。
【０１０４】
動きベクトル検出装置６２およびフレームレート変換部６３には、入力端子６１を介して複数の入力フレームが入力される。動きベクトル検出装置６２は、前述の第１および第２の実施の形態に示したように、複数の入力フレームから動きベクトルと適合度とを生成して出力する。動きベクトル検出装置６２から出力される動きベクトルおよび適合度は、フレームレート変換部６３に与えられる。
【０１０５】
フレームレート変換部６３は、動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて、複数の入力フレーム、たとえば２つの入力フレームに含まれる画素から、前記２つの入力フレーム間に内挿する内挿フレームの画素を生成して出力する。これによって、フレームレート変換部６３は、画像のフレームレートを変換する。フレームレート変換部６３から出力される前記内挿フレームの画素は、出力端子６４から出力される。フレームレート変換部６３は、フレームレート変換手段に相当する。
【０１０６】
図１５は、フレームレート変換部６３の構成を示すブロック図である。フレームレート変換部６３は、第１入力端子７０、第２入力端子７１、第３入力端子７２、遅延部７３、参照座標生成部７４、フレーム間補間部７５および出力端子７６を備えて構成される。
【０１０７】
遅延部７３には、第１入力端子７０を介して複数のフレームが与えられる。参照座標生成部７４には、動きベクトル検出装置６２から第２および第３入力端子７１，７２を介して動きベクトルおよび適合度が与えられる。
【０１０８】
参照座標生成部７４は、第２および第３入力端子７１，７２を介して動きベクトル検出装置６２から与えられる動きベクトルと適合度とから、参照座標を生成して出力する。参照座標生成部７４から出力される参照座標は、遅延部７３に与えられる。
【０１０９】
遅延部７３は、第１入力端子７０を介して与えられる複数のフレームを保持し、参照座標生成部７４から与えられる参照座標、具体的には第１フレームおよび第２フレームの参照座標に対応する画素を出力する。遅延部７３から出力される前記第１フレームおよび第２フレームの参照座標に対応する画素は、フレーム間補間部７５に与えられる。
【０１１０】
フレーム間補間部７５は、遅延部７３から与えられる前記第１フレームおよび第２フレームの参照座標に対応する画素から、内挿フレームの画素を生成して出力する。フレーム間補間部７５から出力される前記内挿フレームの画素は、出力端子７６から出力される。
【０１１１】
次に、図１５に示す参照座標生成部７４の具体的な動作について説明する。参照座標生成部７４は、第２および第３入力端子７１，７２を介して動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて参照座標を算出して出力する。具体的には、適合度を、予め定める参照座標算出用の適合度閾値（以下「参照座標用適合度閾値」という）と比較する。比較した結果、適合度が参照座標用適合度閾値よりも大きければ、動きベクトルを用いてフレーム内挿を実施できると判断し、動きベクトルに基づいて第１フレームおよび第２フレームの参照座標を計算して出力する。適合度が参照座標用適合度閾値に比べて等しいかまたは小さい場合は、動きベクトルの使用は不可能と判断し、動きベクトルを（０，０）とみなして、第１フレームおよび第２フレームの参照座標を出力する。
【０１１２】
次に、動きベクトルを用いてフレーム内挿を実施できると判断した場合の参照座標の計算について説明する。図１６は、参照座標を説明するための図である。図１６において、内挿フレームＩＦに生成する画素（Ｑx，Ｑy）の位置ＧＰを通る動きベクトルと、第１フレームＦ１および第２フレームＦ２とが交差する点をそれぞれ第１フレームＦ１の参照座標ＲＣ１（Ｐ1x，Ｐ1y）、第２フレームＦ２の参照座標ＲＣ２（Ｐ2x，Ｐ2y）とする。前記参照座標は、たとえば以下の式（２０）に従って生成することができる。
【０１１３】
【数２０】
2010055252.tif 000022
【０１１４】
式（２０）において、（ξ，η）は動きベクトルであり、Ｆｐｈは内挿フレームＩＦの位相である。
【０１１５】
動きベクトルの使用が不可能と判断した場合は、以下の式（２１）に示す参照座標を出力する。
【０１１６】
【数２１】
2010055252.tif 000023
【０１１７】
次に、図１５に示すフレーム間補間部７５の具体的な動作について説明する。図１７は、内挿フレームＩＦの画素の生成を説明するための図である。フレーム間補間部７５は、遅延部７３から与えられる画素から、図１７に示すように内挿フレームＩＦの画素を生成する。内挿フレームの画素は、たとえば以下の式（２２）に従って生成する。
【０１１８】
【数２２】
2010055252.tif 000024
【０１１９】
式（２２）において、Ｙ1は遅延部７３から与えられる第１フレームＦ１の画素の画像情報であり、Ｙ2は遅延部７３から与えられる第２フレームＦ２の画素の画素情報であり、Ｙ0は内挿フレームＩＦの生成する画素の画像情報であり、Ｆｐｈは内挿フレームＩＦの位相である。画素情報としては、たとえば輝度と色差とを用いて、それぞれについて式（２２）に従って内挿フレームＩＦの画素を生成する。これによって複数のフレーム間から複数の内挿フレームを生成できるので、フレームレート変換を行うことができる。
【０１２０】
以上のように本実施の形態によれば、画像処理装置６０は、前述のような優れた動きベクトル検出装置６２とフレームレート変換部６３とを備えて構成される。動きベクトル検出装置６２は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、内挿フレームに含まれる画素を精度良く生成することができる。したがって、画質の低下を抑えて、フレームレートを変換することのできる画像処理装置６０が実現される。
【０１２１】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態の画像処理装置について説明する。本実施の形態の画像処理装置は、前述の第３の実施の形態の画像処理装置６０と構成が類似しているので、対応する箇所に同一の参照符を付して、第３の実施の形態と共通する説明を省略する。
【０１２２】
図１８は、本発明の第４の実施の形態である画像処理装置８０の構成を示すブロック図である。画像処理装置８０は、入力端子８１、動きベクトル検出装置６２、解像度変換部８２および出力端子８３を備えて構成される。動きベクトル検出装置６２は、前述の第３の実施の形態の画像処理装置６０と同様に、前述の第１または第２の実施の形態の動きベクトル検出装置である。
【０１２３】
解像度変換時の補間方法として、周囲の４個の画素から補間を行う線形補間法、および周囲の１６個の画素から補間を行うバイキュービック法が知られている。これらは、１つのフレーム内で周囲の点から補間処理を行う。本実施の形態の画像処理装置８０では、２つのフレームから動きベクトルを検出し、２つのフレーム間で対応する複数の画素を見つけて、前記複数の画素から補間処理によって解像度の異なる画素を算出する。２つのフレーム間で対応する複数の画素の数は、たとえば線形補間法のように４個でもよいし、バイキュービック法のように１６個でもよい。
【０１２４】
動きベクトル検出装置６２および解像度変換部８２には、図１８に示すように、入力端子８１から複数のフレームが与えられる。動きベクトル検出装置６２は、前述の第１および第２の実施の形態に示したように、複数の入力フレームから動きベクトルおよび適合度を生成して出力する。動きベクトル検出装置６２から出力される動きベクトルおよび適合度は、解像度変換部８２に与えられる。
【０１２５】
解像度変換部８２は、動きベクトル検出装置６２から与えられる動きベクトルおよび適合度に基づいて、複数の入力フレーム、たとえば２つの入力フレームに含まれる画素から解像度変換した新たな画素を生成して出力する。これによって、前記複数の入力フレームで構成される画像とは異なる解像度を有する新たな画像が生成される。解像度変換部８２から出力される前記解像度変換した画素は、出力端子８３から出力される。解像度変換部８２は、解像度変換手段に相当する。
【０１２６】
図１９は、解像度変換部８２の動作を説明するための図である。図１９（ａ）は、解像度変換前のグリッドを示す図であり、図１９（ｂ）は、解像度変換後のグリッドを示す図である。図１９（ａ）には、９個のグリッドを示しており、図１９（ｂ）には、１６個のグリッドを示している。図２０は、解像度変換部８２の動作を説明するための図である。図１９に示すように、入力フレームを４／３倍に拡大する場合を例にとり説明する。解像度変換部８２は、動きベクトル検出装置６２から与えられる動きベクトルのうち、図２０に示すように、移動量が似ている４個の隣接した動きベクトルを探し、第１フレームＦ１と第２フレームＦ２との間で対応する４個の画素の組を見つける。このとき、予め定める動きベクトル探索用の適合度閾値である探索用適合度閾値以下の適合度を持つ動きベクトルは、探す対象から外す。次に、見つけた４個の画素の組を、第１フレームＦ１および第２フレームＦ２のそれぞれで補間し、第１フレームＦ１の補間画素ＩＰ１および第２フレームＦ２の補間画素ＩＰ２を算出する。さらに解像度変換部８２は、前記第１フレームＦ１の補間画素ＩＰ１と前記第２フレームＦ２の補間画素ＩＰ２とから、補間処理によって解像度変換した画素を算出して出力する。移動量が似ている４個の隣接した動きベクトルが見つからない画素については、第２フレームＦ２において周囲の４個の画素から補間処理を行い、解像度変換した画素を算出して出力する。
【０１２７】
このようにして異なる解像度の画素を得ることによって、解像度変換を行うことができる。本実施の形態では、第１フレームＦ１と第２フレームＦ２の対応する４個の画素を用いて解像度変換を行う場合について述べたが、対応する画素の数は４個に限らず、たとえば１６個でもよい。
【０１２８】
以上のように本実施の形態によれば、画像処理装置８０は、前述のような優れた動きベクトル検出装置６２と解像度変換部８３とを備えて構成される。動きベクトル検出装置６２は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、画質の低下を抑えて、解像度の異なる新たな画像を生成することのできる画像処理装置８０が実現される。
【図面の簡単な説明】
【０１２９】
【図１】本発明の第１の実施の形態である動きベクトル検出装置１の構成を示すブロック図である。
【図２】代表１画素の一例を示す図である。
【図３】動きベクトル候補算出部１４の構成を示すブロック図である。
【図４】内挿フレームの位相Ｆｐｈを説明するための図である。
【図５】記憶部１５の構成を示すブロック図である。
【図６】一方のフレーム上の点を固定して他方のフレーム上の点のみを振った場合のペアを説明するための図である。
【図７】点対称型に両フレーム上の点を振った場合のペアを説明するための図である。
【図８】動きベクトル決定部１６の構成を示すブロック図である。
【図９】動きベクトルを記憶する中心画素ＣＰ１を説明するための図である。
【図１０】適合度を記憶する中心画素ＣＰ２を説明するための図である。
【図１１】求めた動きベクトルと補間処理との関係を示す図である。
【図１２】求めた適合度と補間処理との関係を示す図である。
【図１３】本発明の第２の実施の形態である動きベクトル検出装置の記憶部１５Ａの構成を示すブロック図である。
【図１４】本発明の第３の実施の形態である画像処理装置６０の構成を示すブロック図である。
【図１５】フレームレート変換部６３の構成を示すブロック図である。
【図１６】参照座標を説明するための図である。
【図１７】内挿フレームＩＦの画素の生成を説明するための図である。
【図１８】本発明の第４の実施の形態である画像処理装置８０の構成を示すブロック図である。
【図１９】解像度変換部８２の動作を説明するための図である。
【図２０】解像度変換部８２の動作を説明するための図である。
【符号の説明】
【０１３０】
１  動きベクトル検出装置、１１  エッジ検出部、１２  間引き部、１３  適合度候補算出部、１４  動きベクトル候補算出部、１５  記憶部、１６  動きベクトル決定部、２２  選択部、２３  動きベクトル計算部、３６  記憶アドレス算出部、３７，５０  候補記憶部、４２  動きベクトル候補補間部、４３  適合度候補補間部、５１  中心選択部、５２  適合度閾値記憶部、５３  適合度比較部、６０，８０  画像処理装置、６２  動きベクトル検出装置、６３  フレームレート変換部、７３  遅延部、７４  参照座標生成部、７５  フレーム間補間部、８２  解像度変換部。
【図１】
2010055252.tif 000025
【図２】
2010055252.tif 000026
【図３】
2010055252.tif 000027
【図４】
2010055252.tif 000028
【図５】
2010055252.tif 000029
【図６】
2010055252.tif 000030
【図７】
2010055252.tif 000031
【図８】
2010055252.tif 000032
【図９】
2010055252.tif 000033
【図１０】
2010055252.tif 000034
【図１１】
2010055252.tif 000035
【図１２】
2010055252.tif 000036
【図１３】
2010055252.tif 000037
【図１４】
2010055252.tif 000038
【図１５】
2010055252.tif 000039
【図１６】
2010055252.tif 000040
【図１７】
2010055252.tif 000041
【図１８】
2010055252.tif 000042
【図１９】
2010055252.tif 000043
【図２０】
2010055252.tif 000044
【手続補正書】
【提出日】平成21年8月21日(2009.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、
前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
前記記憶手段は、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
前記動きベクトル決定手段は、
前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする動きベクトル検出装置。
【請求項２】
前記動きベクトル決定手段は、前記適合度補間範囲に含まれる画素の適合度候補を単純平均することによって、前記中心画素の適合度を算出することを特徴とする請求項１に記載の動きベクトル検出装置。
【請求項３】
前記記憶手段は、前記動きベクトル決定手段によって前記中心画素の適合度が算出されると、前記中心画素に対応する記憶アドレスに記憶される適合度候補に代えて、前記動きベクトル決定手段によって算出された前記中心画素の適合度を記憶することを特徴とする請求項１または２に記載の動きベクトル検出装置。
【請求項４】
第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、
各前記入力フレームのエッジ成分を検出するエッジ検出手段と、
各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、
前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、
前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、
前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、
前記記憶手段は、
前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、
前記動きベクトル決定手段は、
前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする動きベクトル検出装置。
【請求項５】
前記動きベクトル決定手段は、
前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする請求項１〜３のいずれか１つに記載の動きベクトル検出装置。
【請求項６】
前記動きベクトル決定手段は、式（１３）
【数１】
2010055252.tif 000045
（ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補であり、Ｓは式（１４）
【数２】
2010055252.tif 000046
で示される。）
に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
【請求項７】
前記動きベクトル決定手段は、式（１５）
【数３】
2010055252.tif 000047
（ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅx（ｕ，ｖ），ｅy（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補の水平成分および垂直成分であり、Ｓx、Ｓyは、式（１６）
【数４】
2010055252.tif 000048
で示される。）
に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
【請求項８】
前記動きベクトル決定手段は、式（１７）
【数５】
2010055252.tif 000049
（ξｉ（ｘ，ｙ），ηｉ（ｘ，ｙ）は中心画素（ｘ，ｙ）での動きベクトルの水平成分および垂直成分であり、ξ（ｕ，ｖ），η（ｕ，ｖ）は（ｕ，ｖ）座標での動きベクトル候補の水平成分および垂直成分であり、ｅ（ｕ，ｖ）は（ｕ，ｖ）座標での適合度候補であり、ｒは式（１８）
【数６】
2010055252.tif 000050
で示され、Ｓは式（１４）
【数７】
2010055252.tif 000051
で示される。）
に従って前記中心画素の動きベクトルを算出することを特徴とする請求項４または５に記載の動きベクトル検出装置。
【請求項９】
前記記憶手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲の中心に位置する中心画素に対応する記憶アドレスに記憶された中心画素適合度候補と、予め定める適合度閾値とを比較し、前記中心画素適合度候補が前記適合度閾値以上であると、前記中心画素に対応する記憶アドレスに記憶される適合度候補を保持し、前記中心画素適合度候補が前記適合度閾値未満であると、前記中心画素適合度候補に代えて、前記適合度閾値を記憶することを特徴とする請求項１〜８のいずれか１つに記載の動きベクトル検出装置。
【請求項１０】
請求項１〜９のいずれか１つに記載の動きベクトル検出装置と、
前記動きベクトル検出装置によって検出される前記動きベクトルおよび前記適合度に基づいて、前記第１および第２の入力フレームに含まれる画素から、前記第１および第２の入力フレーム間に内挿する内挿フレームに含まれる画素を生成することによって、画像のフレームレートを変換するフレームレート変換手段とを備えることを特徴とする画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明の動きベクトル検出装置は、第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、前記動きベクトル決定手段は、前記記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、前記適合度補間範囲の中心に位置する中心画素の適合度を算出することを特徴とする。
また本発明の動きベクトル検出装置は、第１および第２の入力フレーム間で、前記第１および第２の入力フレームにそれぞれ含まれる１個以上の画素同士を対応付ける動きベクトルを検出する動きベクトル検出装置であって、各前記入力フレームのエッジ成分を検出するエッジ検出手段と、各前記入力フレームの予め定める注目領域に含まれる複数の画素を、前記エッジ検出手段によって検出されるエッジ成分に基づいて、代表となる１個の画素に間引いて、この画素を代表１画素として出力する間引き手段と、前記間引き手段から出力される前記第１および第２の入力フレームの前記代表１画素を用いて、前記第１および第２の入力フレーム間の移動量の適合度合いを表す適合度の候補となる適合度候補を算出する適合度候補算出手段と、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置、および前記適合度候補算出手段によって算出される前記適合度候補に基づいて、前記第１および第２の入力フレーム間の前記動きベクトルの候補となる動きベクトル候補を算出する動きベクトル候補算出手段と、前記適合度候補算出手段によって算出される前記適合度候補、および前記動きベクトル候補算出手段によって算出される前記動きベクトル候補を記憶する記憶手段と、前記記憶手段に記憶される前記適合度候補および前記動きベクトル候補に基づいて、前記適合度および前記動きベクトルを決定する動きベクトル決定手段とを備え、前記記憶手段は、前記間引き手段から出力される前記代表１画素の各入力フレームにおける位置に基づいて、前記動きベクトル候補および前記適合度候補を記憶する記憶アドレスを算出し、算出した前記記憶アドレスに前記動きベクトル候補および前記適合度候補を記憶し、前記動きベクトル決定手段は、前記記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
したがって、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができる。また動きベクトル決定手段は、記憶手段に記憶される適合度候補のうち、予め定める適合度補間範囲に含まれる画素の適合度候補を用いて、適合度補間範囲の中心に位置する中心画素の適合度を算出する。これによって、より精度の高い適合度を決定することができる。
また本発明の動きベクトル検出装置によれば、動きベクトル決定手段は、記憶手段に記憶される動きベクトル候補および適合度候補のうち、予め定める動きベクトル補間範囲に含まれる画素の適合度候補を前記画素の動きベクトル候補に乗算して、乗算後の動きベクトル候補を算出し、さらに前記動きベクトル補間範囲に含まれる画素の前記乗算後の動きベクトル候補の和を、前記動きベクトル補間範囲に含まれる画素の適合度候補の和で除算することにより、前記動きベクトル補間範囲の中心に位置する中心画素の動きベクトルを算出する。これによって、より精度の高い動きベクトルを決定することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２１
【補正方法】変更
【補正の内容】
【０１２１】
＜参考形態＞
次に、本発明の参考形態の画像処理装置について説明する。本参考形態の画像処理装置は、前述の第３の実施の形態の画像処理装置６０と構成が類似しているので、対応する箇所に同一の参照符を付して、第３の実施の形態と共通する説明を省略する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【０１２２】
図１８は、本発明の参考形態の画像処理装置８０の構成を示すブロック図である。画像処理装置８０は、入力端子８１、動きベクトル検出装置６２、解像度変換部８２および出力端子８３を備えて構成される。動きベクトル検出装置６２は、前述の第３の実施の形態の画像処理装置６０と同様に、前述の第１または第２の実施の形態の動きベクトル検出装置である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
解像度変換時の補間方法として、周囲の４個の画素から補間を行う線形補間法、および周囲の１６個の画素から補間を行うバイキュービック法が知られている。これらは、１つのフレーム内で周囲の点から補間処理を行う。本参考形態の画像処理装置８０では、２つのフレームから動きベクトルを検出し、２つのフレーム間で対応する複数の画素を見つけて、前記複数の画素から補間処理によって解像度の異なる画素を算出する。２つのフレーム間で対応する複数の画素の数は、たとえば線形補間法のように４個でもよいし、バイキュービック法のように１６個でもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
このようにして異なる解像度の画素を得ることによって、解像度変換を行うことができる。本参考形態では、第１フレームＦ１と第２フレームＦ２の対応する４個の画素を用いて解像度変換を行う場合について述べたが、対応する画素の数は４個に限らず、たとえば１６個でもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２８
【補正方法】変更
【補正の内容】
【０１２８】
以上のように本参考形態によれば、画像処理装置８０は、前述のような優れた動きベクトル検出装置６２と解像度変換部８３とを備えて構成される。動きベクトル検出装置６２は、動きベクトルの誤検出を抑えつつ、動きベクトルの検出のための回路規模または処理時間を小さく抑えることができるので、画質の低下を抑えて、解像度の異なる新たな画像を生成することのできる画像処理装置８０が実現される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１２９
【補正方法】変更
【補正の内容】
【０１２９】
【図１】本発明の第１の実施の形態である動きベクトル検出装置１の構成を示すブロック図である。
【図２】代表１画素の一例を示す図である。
【図３】動きベクトル候補算出部１４の構成を示すブロック図である。
【図４】内挿フレームの位相Ｆｐｈを説明するための図である。
【図５】記憶部１５の構成を示すブロック図である。
【図６】一方のフレーム上の点を固定して他方のフレーム上の点のみを振った場合のペアを説明するための図である。
【図７】点対称型に両フレーム上の点を振った場合のペアを説明するための図である。
【図８】動きベクトル決定部１６の構成を示すブロック図である。
【図９】動きベクトルを記憶する中心画素ＣＰ１を説明するための図である。
【図１０】適合度を記憶する中心画素ＣＰ２を説明するための図である。
【図１１】求めた動きベクトルと補間処理との関係を示す図である。
【図１２】求めた適合度と補間処理との関係を示す図である。
【図１３】本発明の第２の実施の形態である動きベクトル検出装置の記憶部１５Ａの構成を示すブロック図である。
【図１４】本発明の第３の実施の形態である画像処理装置６０の構成を示すブロック図である。
【図１５】フレームレート変換部６３の構成を示すブロック図である。
【図１６】参照座標を説明するための図である。
【図１７】内挿フレームＩＦの画素の生成を説明するための図である。
【図１８】本発明の参考形態の画像処理装置８０の構成を示すブロック図である。
【図１９】解像度変換部８２の動作を説明するための図である。
【図２０】解像度変換部８２の動作を説明するための図である。