(57)【要約】  【課題】  照明照度の急激な変動があった場合にも正確に動きベクトルを推定することのできる動きベクトル推定装置および動きベクトル推定プログラムを提供する。  【解決手段】  基準フレームＢＦおよび参照フレームＲＦの予め定められた輝度検査領域ＳＡ内の画素の輝度に基づいて閾値ＴＨを決定する閾値決定手段１０と、基準フレームＢＦ内の基準ブロックＢＢと参照フレームＲＦ内の参照ブロックＲＢの対応する画素間の輝度差絶対値が閾値ＴＨ以下である画素の個数に基づいて動きベクトルを推定する動きベクトル推定手段１１とを含む。【選択図】  図１
2007074415.tif 000002
【特許請求の範囲】
【請求項１】
基準フレームおよび参照フレームの予め定められた輝度検査領域内の画素の輝度に基づいて閾値を決定する閾値決定手段と、
前記基準フレーム内の基準ブロックと前記参照フレーム内の参照ブロックの対応する画素間の輝度差絶対値が上記閾値以下である画素の個数に基づいて動きベクトルを推定する動きベクトル推定手段とを含む動きベクトル推定装置。
【請求項２】
前記閾値決定手段が、
前記基準フレームを所定画素数の基準ブロックに分割する基準フレーム分割手段と、
前記基準ブロックごとに前記基準フレーム内に基準フレーム輝度検査領域を設定する基準フレーム輝度検査領域設定手段と、
前記基準フレーム輝度検査領域内の画素輝度ヒストグラムの中央値である基準フレーム画素輝度中央値を決定する基準フレーム画素輝度中央値決定手段と、
前記参照フレーム内の前記基準フレーム内の前記基準フレーム輝度検査領域と同じ位置に参照フレーム輝度検査領域を設定する参照フレーム輝度検査領域設定手段と、
前記参照フレーム輝度検査領域内の画素輝度ヒストグラムの中央値である参照フレーム画素輝度中央値を決定する参照フレーム画素輝度中央値決定手段と、
前記基準フレーム輝度中央値と前記参照フレーム輝度中央値の差の絶対値を前記閾値として算出する閾値算出手段とを含む請求項１に記載の動きベクトル推定装置。
【請求項３】
前記動きベクトル推定手段が、
前記基準ブロックごとに、前記参照フレーム輝度検査領域内に動きベクトル探索領域を設定する動きベクトル探索領域設定手段と、
前記基準ブロックごとに、前記動きベクトル探索領域から前記基準ブロック内の画素の輝度との差の絶対値が前記閾値より小さい輝度を有する画素の個数が最小である参照ブロックを探索し、前記基準ブロックと前記参照ブロックとに基づいて動きベクトルを決定する動きベクトル算出手段とを含む請求項２に記載の動きベクトル推定装置。
【請求項４】
前記基準フレーム画素輝度中央値決定手段が、前記基準フレーム輝度検査領域内の各画素の輝度を前記基準フレーム輝度検査領域内の画素の最大輝度と最小輝度の差で除した無次元画素輝度のヒストグラムの中央値である基準フレーム無次元画素輝度中央値を決定するものであり、
前記参照フレーム輝度中央値決定手段が、前記参照フレーム輝度検査領域内の各画素の輝度を前記参照フレーム輝度検査領域内の画素の最大輝度と最小輝度の差で除した無次元画素輝度のヒストグラムの中央値である参照フレーム無次元画素輝度中央値を決定するものである請求項２に記載の動きベクトル推定装置。
【請求項５】
前記動きベクトル推定手段が、前記基準フレーム輝度検査領域内の画素の輝度ヒストグラムと前記参照輝度検査領域内の輝度ヒストグラムの形状が相似していないときは動きベクトルの推定を中止する動きベクトル推定中止手段を含む請求項１から請求項４のいずれか１項に記載の動きベクトル推定装置。
【請求項６】
前記閾値決定手段が、
前記基準フレームを所定画素数の基準ブロックに分割する基準フレーム分割手段と、
前記基準ブロックごとに前記基準フレーム内に基準フレーム輝度検査領域を設定する基準フレーム輝度検査領域設定手段と、
前記基準フレーム輝度検査領域内画素の輝度ヒストグラムの平均値である基準フレーム輝度平均値を決定する基準フレーム輝度平均値決定手段と、
前記参照フレーム内の前記基準フレーム内の前記基準フレーム輝度検査領域と同じ位置に参照フレーム輝度検査領域を設定する参照フレーム輝度検査領域設定手段と、
前記参照フレーム輝度検査領域内画素の輝度ヒストグラムの平均値である参照フレーム輝度平均値を決定する参照フレーム輝度平均値決定手段と、
前記基準フレーム輝度平均値と前記参照フレーム輝度平均値の差の絶対値を前記閾値として算出する閾値算出手段とを含む請求項１に記載の動きベクトル推定装置。
【請求項７】
コンピュータに、
基準フレームおよび参照フレームの予め定められた輝度検査領域内の画素の輝度に基づいて閾値を決定する閾値決定処理と、
前記基準フレーム内の基準ブロックと前記参照フレーム内の参照ブロックの対応する画素間の輝度差絶対値が上記閾値以下である画素の個数に基づいて動きベクトルを推定する動きベクトル推定処理とを実行させる動きベクトル推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル推定装置および動きベクトル推定プログラムに係り、特に、被写体の照明照度が急激に変動した場合にも正確に動きベクトルを推定することのできる動きベクトル推定装置および動きベクトル推定プログラムに関する。
【背景技術】
【０００２】
テレビジョン放送においては、テレビジョン方式変換装置、画像符号化装置等において、動きベクトル検出が必要となる。
【０００３】
テレビジョン方式変換装置によってＮＴＳＣ方式で製作された動画像をＰＡＬ方式で放送可能な動画像に変換する場合は、毎秒６０フレームの動画像を毎秒５０フレームの動画像に変換することが必要となる。
【０００４】
即ち、ＮＴＳＣ方式の第１フレームをＰＡＬ方式の第１フレームに一致させた場合には、ＮＴＳＣ方式の第２フレームと第３フレームとの間にＰＡＬ方式の第２フレームを、ＮＴＳＣ方式の第３フレームと第４フレームとの間にＰＡＬ方式の第３フレームを、というように２つのＮＴＳＣフレームの間にＰＡＬフレームを内挿法により生成する必要がある。そして、内挿法によりＰＡＬフレーム動画像を生成する際に、動きベクトルが必要となる。
【０００５】
また、ＭＰＥＧ２を適用した画像符号化装置においては、動きベクトル情報だけを伝送する生成するＢピクチャおよびＰピクチャを生成するために動きベクトル検出が必要となる。
【０００６】
即ち、動きベクトルを検出するために動きベクトル推定装置が使用されるが、動きベクトル推定装置は、テレビジョン方式変換装置あるいは画像符号化装置の一部を構成している。
【０００７】
例えば、画像符号化装置９は、図１６のブロック線図に示すように、ビデオカメラ９０から出力される現在画像のビデオ信号をＳＩＦ信号に変換する前処理部９１と、ＳＩＦ信号と局部復号部９６から出力されるＳＩＦ信号とに基づいて動きベクトルを推定する動きベクトル推定部９２と、動きベクトル推定部９２から出力される画面間画素差分値を離散余弦変換（ＤＣＴ）するＤＣＴ部９３と、離散余弦変換結果を量子化する量子化部９４と、量子化値を可変長符号化する可変調符号化部９５と、量子化値を画面間画素差分値に復号する局部復号部９６とを含んでいる。
【０００８】
そして、画像符号化装置９は、ＤＳＰ、マイクロプロセッサ等のプログラマブル素子にプログラムをインストールして構成することが一般的である。
【０００９】
従って、動きベクトル推定部９２は、プログラムがインストールされたプログラマブル素子あるいはプログラマブル素子の一部で構成されることとなる。
【００１０】
そして、従来から動きベクトルを正確かつ迅速に推定するための動きベクトル推定装置が提案されている（例えば、特許文献１参照）。
【００１１】
図１７は特許文献１に開示されている動きベクトル推定部９２のブロック図であって、基準フレームメモリ９２１には現時点の画像データが基準フレームデータとして記憶されている。参照フレームメモリ９２２には現時点より１フレーム前の画像データが参照フレームデータとして記憶されている。
【００１２】
また、クラスコード生成部９２３は、基準フレームメモリ９２１に記憶されている基準フレームデータに基づいて、例えば１ビットＡＤＲＣ（Adaptive Dynamic Range Coding）を使用して基準フレームの注目画素位置に係る特徴量であるクラスコードを生成する。
【００１３】
そして、動きベクトル算出部９２４は、基準フレームメモリ９２１に記憶されている基準フレームデータ、参照フレームメモリ９２２に記憶されている参照フレームデータ、およびクラスコード生成部９２３で生成されたクラスコードに基づいて動きベクトルを算出する。
【００１４】
即ち、従来の動きベクトル推定部９２は、特徴量に対応した画素ブロックを使用してブロックマッチング法により動きベクトルを算出することにより、動きベクトルを正確かつ迅速に推定することを可能としている。
【特許文献１】特開２００５−６３３１９号公報（図１、［００５０］〜［００５２］）
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、従来の動きベクトル推定装置には、ニュース番組におけるフラッシュの点滅、歌番組におけるスポットライトの点滅のように、被写体を照明する照明光の輝度が急激に変化する場合には、動きベクトルの推定に誤りが生じることを回避できないという課題があった。
【００１６】
本発明は、従来の課題を解決するためになされたものであって、照明照度の急激な変動があった場合にも正確に動きベクトルを推定することの可能な動きベクトル推定装置および動きベクトル推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の動きベクトル推定装置は、基準フレームおよび参照フレームの予め定められた輝度検査領域内の画素の輝度に基づいて閾値を決定する閾値決定手段と、前記基準フレーム内の基準ブロックと前記参照フレーム内の参照ブロックの対応する画素間の輝度差絶対値が上記閾値以下である画素の個数に基づいて動きベクトルを推定する動きベクトル推定手段とを含む構成を有している。
【００１８】
この構成により、基準フレームと参照フレームとの間の輝度の変化を考慮して動きベクトルが推定されることとなる。
【００１９】
本発明の動きベクトル推定装置は、前記閾値決定手段が、前記基準フレームを所定画素数の基準ブロックに分割する基準フレーム分割手段と、前記基準ブロックごとに前記基準フレーム内に基準フレーム輝度検査領域を設定する基準フレーム輝度検査領域設定手段と、前記基準フレーム輝度検査領域内の画素輝度ヒストグラムの中央値である基準フレーム画素輝度中央値を決定する基準フレーム画素輝度中央値決定手段と、前記参照フレーム内の前記基準フレーム内の前記基準フレーム輝度検査領域と同じ位置に参照フレーム輝度検査領域を設定する参照フレーム輝度検査領域設定手段と、前記参照フレーム輝度検査領域内の画素輝度ヒストグラムの中央値である参照フレーム画素輝度中央値を決定する参照フレーム画素輝度中央値決定手段と、前記基準フレーム輝度中央値と前記参照フレーム輝度中央値の差の絶対値を前記閾値として算出する閾値算出手段とを含む構成を有している。
【００２０】
この構成により、基準フレームと参照フレームの輝度ヒストグラムの中央値の差の絶対値に基づいて閾値が算出されることとなる。
【００２１】
本発明の動きベクトル推定装置は、前記動きベクトル推定手段が、前記基準ブロックごとに前記参照フレーム輝度検査領域内に動きベクトル探索領域を設定する動きベクトル探索領域設定手段と、前記基準ブロックごとに前記動きベクトル探索領域から前記基準ブロック内の画素の輝度との差の絶対値が前記閾値より小さい輝度を有する画素の個数が最小である参照ブロックを探索し前記基準ブロックと前記参照ブロックとに基づいて動きベクトルを決定する動きベクトル算出手段とを含む構成を有している。
【００２２】
この構成により、基準フレームと参照フレームとの間の輝度差絶対値が閾値以下である画素数によって動きベクトルが推定されることとなる。
【００２３】
本発明の動きベクトル推定装置は、前記基準フレーム画素輝度中央値決定手段が、前記基準フレーム輝度検査領域内の各画素の輝度を前記基準フレーム輝度検査領域内の画素の最大輝度と最小輝度の差で除した無次元画素輝度のヒストグラムの中央値である基準フレーム無次元画素輝度中央値を決定するものであり、
前記参照フレーム画素輝度中央値決定手段が、前記参照フレーム輝度検査領域内の各画素の輝度を前記参照フレーム輝度検査領域内の画素の最大輝度と最小輝度の差で除した無次元画素輝度のヒストグラムの中央値である参照フレーム無次元画素輝度中央値を決定するものである構成を有している。
【００２４】
この構成により、基準フレームと参照フレームの無次元輝度ヒストグラムの中央値の差の絶対値に基づいて閾値が算出されることとなる。
【００２５】
本発明の動きベクトル推定装置は、前記動きベクトル推定手段が、前記基準フレーム輝度検査領域内の画素の輝度ヒストグラムと前記参照輝度検査領域内の輝度ヒストグラムの形状が相似していないときは動きベクトルの推定を中止する動きベクトル推定中止手段を含む構成を有している。
【００２６】
この構成により、基準フレームと参照フレームの輝度ヒストグラムの形状が相似している場合のみ動きベクトルが推定されることとなる。
【００２７】
本発明の動きベクトル推定装置は、前記閾値決定手段が、前記基準フレームを所定画素数の基準ブロックに分割する基準フレーム分割手段と、前記基準ブロックごとに前記基準フレーム内に基準フレーム輝度検査領域を設定する基準フレーム輝度検査領域設定手段と、前記基準フレーム輝度検査領域内画素の輝度ヒストグラムの平均値である基準フレーム輝度平均値を決定する基準フレーム輝度平均値決定手段と、前記参照フレーム内の前記基準フレーム内の前記基準フレーム輝度検査領域と同じ位置に参照フレーム輝度検査領域を設定する参照フレーム輝度検査領域設定手段と、前記参照フレーム輝度検査領域内画素の輝度ヒストグラムの平均値である参照フレーム輝度平均値を決定する参照フレーム輝度平均値決定手段と、前記基準フレーム輝度平均値と前記参照フレーム輝度平均値の差の絶対値を前記閾値として算出する閾値算出手段とを含む構成を有している。
【００２８】
この構成により、基準フレームと参照フレームの輝度ヒストグラムの平均値の差の絶対値に基づいて閾値が算出されることとなる。
【発明の効果】
【００２９】
本発明は、基準フレームおよび参照フレームの輝度検査領域内の画素の輝度に基づいて閾値を決定する閾値決定手段を設けることにより、照明照度の急激な変動があった場合にも正確に動きベクトルを推定することが可能となるという効果を有する動きベクトル推定装置および動きベクトル推定プログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態の動きベクトル推定装置について、図面を用いて説明する。
（第１の実施形態）
本発明の第１の実施形態に係る動きベクトル推定装置の実施形態のブロック図を図１に示す。
【００３１】
即ち、本発明に係る動きベクトル推定装置１は、基準フレームＢＦおよび参照フレームＲＦの予め定められた輝度検査領域ＳＡ内の画素の輝度に基づいて閾値ＴＨを決定する閾値決定手段１０と、基準フレームＢＦ内の基準ブロックＢＢと参照フレームＲＦ内の参照ブロックＲＢの対応する画素間の輝度差絶対値が閾値ＴＨ以下である画素の個数に基づいて動きベクトルを推定する動きベクトル推定手段１１とを含む。
【００３２】
そして、閾値決定手段１０は、基準フレームＢＦを所定画素数の基準ブロックＢＢに分割する基準フレーム分割手段１０１と、基準ブロックＢＢごとに基準フレームＢＦ内に基準フレーム輝度検査領域ＢＳＡを設定する基準フレーム輝度検査領域設定手段１０２と、基準フレーム輝度検査領域ＢＳＡ内の画素輝度のヒストグラムの中央値である基準フレーム画素輝度中央値ＢＭＶを決定する基準フレーム画素輝度中央値決定手段１０３と、参照フレームＲＦ内の基準フレームＢＦ内の基準フレーム輝度検査領域ＢＳＡと同じ位置に参照フレーム輝度検査領域ＲＳＡを設定する参照フレーム輝度検査領域設定手段１０４と、参照フレーム輝度検査領域ＳＡ内の画素輝度のヒストグラムの中央値である参照フレーム画素輝度中央値ＲＭＢを決定する参照フレーム画素輝度中央値決定手段１０５と、基準フレーム輝度中央値ＢＭＶと参照フレーム輝度中央値ＲＶＭの差の絶対値を閾値ＴＨとして算出する閾値算出手段１０６とを含む。
【００３３】
また、動きベクトル推定手段１１は、参照フレーム輝度検査領域ＲＳＡ内に動きベクトル探索領域ＭＶＡを設定する動きベクトル探索領域設定手段１１１と、基準ブロックＢＢごとに動きベクトル探索領域ＭＶＡから基準ブロックＢＢ内の画素の輝度との差の絶対値が閾値ＴＨより小さい輝度を有する画素の個数が最小である参照ブロックＲＢを探索し、基準ブロックＢＢと参照ブロックＲＢとに基づいて動きベクトルＭＶを決定する動きベクトル算出手段１１２とを含む。
【００３４】
図２は、本発明に係る動きベクトル推定装置１のハードウエア構成を示すブロック図であって、本発明に係る動きベクトル推定装置１はマイクロプロセッサ２によって構成されているものとする。
【００３５】
マイクロプロセッサ２は、プログラムに従って処理を実行するＣＰＵ２０と、プログラムおよび処理結果を記憶するメモリ２１と、画像信号を読み込む画像信号読み込みインターフェイス（Ｉ／Ｆ）２２と、動きベクトルを出力する動きベクトル出力Ｉ／Ｆ２３と、周辺機器Ｉ／Ｆ２４とがバス２５によって相互に結合された構成を有する。
【００３６】
なお、周辺機器Ｉ／Ｆ２４には表示装置２６、キーボード２７およびポインティングデバイス２８が接続されるが、表示装置２６、キーボード２７およびポインティングデバイス２８はプログラムのインストール、パラメータの設定等動きベクトル推定装置を保守するために使用される。なお、周辺機器Ｉ／Ｆ２４に動きベクトル推定装置用の専用操作パネルを接続し、専用操作パネルにより動きベクトル推定装置の保守を行うようにしてもよい。
【００３７】
即ち、マイクロプロセッサ２に動きベクトル推定プログラムをインストールすることにより、マイクロプロセッサ２は本発明に係る動きベクトル推定装置１として機能することとなる。
【００３８】
次に、マイクロプロセッサ２にインストールする動きベクトル推定プログラムのフローチャートを参照しつつ、本発明に係る動きベクトル推定装置１の動作を説明する。
【００３９】
図３は、第１の実施形態において、ＣＰＵ２０が実行する第１の動きベクトル推定プログラムのフローチャートであって、所定の時間（例えば３０ミリ秒）間隔で実行される。
【００４０】
まず、ＣＰＵ２０は、現時刻の画像信号を基準フレームデータＢＦとして画像信号読み込みＩ／Ｆ２２を介してメモリ２１の一部で構成される基準フレームメモリに読み込むと同時に既にメモリ２１に記憶されている複数の画像フレームの中の１つの画像フレームを参照フレームデータＲＦとしてメモリ２１の一部で構成される参照フレームメモリに読み込む（ステップＳ３０）。
【００４１】
次に、ＣＰＵ２０は、基準フレームデータＢＦを所定個数（例えば、８行８列合計６４）の画素を含む基準ブロックＢＢに分割する（ステップＳ３１）。
【００４２】
そして、ＣＰＵ２０は、ブロック列番号を表すインデックスｉを“１”に初期化し（ステップＳ３２）、ブロック行番号を表すインデックスｊを“１”に初期化する（ステップＳ３３）。
【００４３】
さらに、ＣＰＵ２０は、閾値ＴＨを決定し（ステップＳ３４）、動きベクトルＭＶを探索する（ステップＳ３５）が、詳細は後述する。そして、ＣＰＵ２０は、ステップＳ３５において算出された基準ブロックＢＢ（ｉ，ｊ）に対応する動きベクトルＭＶを特定するパラメータＭＢおよびＮＢを出力する（ステップＳ３０１）。
【００４４】
ＣＰＵ２０は、ブロック行番号ｊが最大値Ｊに到達したか否かを判定し（ステップＳ３６）、否定判定したときはブロック行番号ｊをインクリメントして（ステップＳ３７）、ステップＳ３４の処理に戻る。
【００４５】
ＣＰＵ２０は、逆に、ブロック行番号ｊが最大値Ｊに到達したと判定したときは、ブロック列番号ｉが最大値Ｉに到達したか否かを判定し（ステップＳ３８）、否定判定したときはブロック列番号ｉをインクリメントして（ステップＳ３９）、ステップＳ３３の処理に戻る。
【００４６】
逆に、ＣＰＵ２０は、ブロック列番号ｉが最大値Ｉに到達したと判定したときは、このプログラムを終了する。
【００４７】
図４は、ＣＰＵ２０が図３に示す第１の動きベクトル推定プログラムのステップＳ３４で実行する第１の閾値決定ルーチンのフローチャートである。まず、ＣＰＵ２０は基準フレームＢＦ内に基準ブロックＢＢ（ｉ，ｊ）を中心とする縦方向Ｋ画素、横方向Ｌ画素の領域を基準フレーム輝度検査領域ＢＳＡに設定する（ステップＳ４０）。
【００４８】
図５は、列方向に８個、行方向に１３個のブロックを有する基準フレームＢＦおよび参照フレームＲＦの構成図である。そして、基準ブロックＢＢのブロック列番号およびブロック行番号（ｉ，ｊ）は（４，６）であり、Ｋ＝３４，Ｌ＝６８であるとする。
【００４９】
次に、ＣＰＵ２０は、輝度検査領域ＢＳＡ内の輝度ヒストグラムを生成する（ステップＳ４１）。即ち、ＣＰＵ２０は、基準フレーム輝度検査領域ＢＳＡ内に含まれるＫ×Ｌ個の画素の画素値（＝輝度）の分布を検査する。
【００５０】
次に、ＣＰＵ２０は、参照フレームＲＦ内の基準フレームＢＦ内の基準フレーム輝度検査領域ＢＳＡと同じ位置に参照フレーム輝度検査領域ＲＳＡを設定する（ステップＳ４２）。
【００５１】
次に、ＣＰＵ２０は、参照フレーム輝度検査領域ＲＳＡ内に含まれるＫ×Ｌ個の画素の画素値のヒストグラムを生成する（ステップＳ４３）。
【００５２】
最後に、ＣＰＵ２０は閾値ＴＨを算出して（ステップＳ４４）、このルーチンを終了するが、閾値ＴＨの算出の詳細については後述する。
【００５３】
図６は、ＣＰＵ２０が、図４に示す第１の閾値決定ルーチンのステップＳ４４で実行する第１の閾値算出ルーチンのフローチャートである。
【００５４】
まず、ＣＰＵ２０は、基準フレーム輝度検査領域ＢＳＡ内の最大輝度ＢＬｍａｘと最小輝度ＢＬｍｉｎの平均値である基準フレーム輝度中央値ＢＭＶを決定する（ステップＳ６０）。
【００５５】
【数１】
2007074415.tif 000003
【００５６】
次に、ＣＰＵ２０は、参照フレーム輝度検査領域ＲＳＡ内の参照フレーム最大輝度ＲＢｍａｘと最小輝度ＲＢｍｉｎの平均値である参照フレーム輝度中央値ＲＭＶを決定する（ステップＳ６１）。
【００５７】
【数２】
2007074415.tif 000004
【００５８】
最後に、ＣＰＵ２０は、基準フレーム輝度中央値ＢＭＶと参照フレーム輝度中央値ＲＭＶの差の絶対値として閾値ＴＨを算出して（ステップＳ６２）、このルーチンを終了する。
【００５９】
【数３】
2007074415.tif 000005
【００６０】
図７は、ＣＰＵ２０が図３に示す第１の動きベクトル推定プログラムのステップＳ３５で実行する第１の動きベクトル探索ルーチンのフローチャートである。
【００６１】
ＣＰＵ２０は、まず、参照フレームＲＦ内の基準フレームＢＦ内の基準ブロックＢＢ（ｉ，ｊ）と同じ位置にあり、基準ブロックＢＢ（ｉ，ｊ）と同一数の画素を含むブロックである参照ブロックＲＢ（ｉ，ｊ）を中心とする縦方向にＭ画素、横方向にＮ画素のブロックを動きベクトル探索範囲ＭＶＳＡに設定する（ステップＳ７００）。なお、動きベクトル探索範囲ＭＶＳＡは参照フレーム輝度検査領域ＲＳＡの内側に設定する必要がある。即ち、Ｋ≧Ｍ，Ｌ≧Ｎとする。これは、予め閾値ＴＨを定めるために輝度を検査する参照フレーム輝度検査領域内で動きベクトルを決定することが妥当だからである。
【００６２】
次に、ＣＰＵ２０は、有効画素数最大値Ｍａｘを“０”に設定する（ステップＳ７０１）。
【００６３】
さらに、ＣＰＵ２０は、動きベクトル探索範囲ＭＶＳＡの画素列番号を表すインデックスｍを“１”に設定し（ステップＳ７０２）、ついで、動きベクトル探索範囲ＭＶＳＡの画素行番号を表すインデックスｎを“１”に設定する（ステップＳ７０３）。
【００６４】
そして、ＣＰＵ２０は、有効画素個数ＳＵＭを計数する（ステップＳ７０４）が、詳細は後述する。
【００６５】
次に、ＣＰＵ２０は、有効画素数ＳＵＭが有効画素数最大値Ｍａｘより大きいか否かを判定する（ステップＳ７０５）。
【００６６】
ＣＰＵ２０は、有効画素の個数ＳＵＭが有効画素数最大値Ｍａｘより大きいと判定したときには、有効画素数最大値Ｍａｘを有効画素の個数ＳＵＭで置き換える（ステップＳ７０６）とともに、現在の動きベクトル探索範囲画素列番号ｍをＭＢに、現在の動きベクトル探索範囲画素行番号ｎをＮＢに記憶して（ステップＳ７０７）、ステップＳ７０８に進む。一方、ＣＰＵ２０は、有効画素の個数ＳＵＭが有効画素数最大値Ｍａｘ以下であると判定したときには、直接ステップＳ７０８に進む。
【００６７】
ＣＰＵ２０は、動きベクトル探索範囲画素行番号ｎが最大値Ｎに到達したか否かを判定し（ステップＳ７０８）、動きベクトル探索範囲画素行番号ｎが最大値Ｎに到達していないと判定したときは、動きベクトル探索範囲画素行番号ｎをインクリメントして（ステップＳ７０９）、ステップＳ７０４に戻る。一方、ＣＰＵ２０は、動きベクトル探索範囲画素行番号ｎが最大値Ｎに到達したと判定したときは、動きベクトル探索範囲画素列番号ｍが最大値Ｍに到達したか否かを判定する（ステップＳ７１０）。
【００６８】
ＣＰＵ２０は、動きベクトル探索範囲画素列番号ｍが最大値Ｍに到達していないと判定したときは、動きベクトル探索範囲画素列番号ｍをインクリメントして（ステップＳ７１１）、ステップＳ７０３に戻る。一方、ＣＰＵ２０は、動きベクトル探索範囲画素列番号ｍが最大値Ｍに到達したと判定したときは、このルーチンを終了する。
【００６９】
図８は、ＣＰＵ２０が図７に示す第１の動きベクトル探索ルーチンのステップＳ７０４で実行する有効画素個数計数ルーチンのフローチャートであって、ＣＰＵ２０はまず有効画素数ＳＵＭを“０”に初期化する（ステップＳ８０）。
【００７０】
次に、ＣＰＵ２０は、基準ブロックＢＢ（ｉ，ｊ）および動きベクトル探索範囲ＭＶＳＡ内の画素（ｍ，ｎ）を中心とする８画素×８画素の参照ブロックＲＢ（ｍ，ｎ）に含まれる画素の列番号ｉｉを“１”に初期化し（ステップＳ８１）、行番号ｊｊを“１”に初期化する（ステップＳ８２）。
【００７１】
そして、ＣＰＵ２０は、基準ブロックＢＢ（ｉ，ｊ）に含まれる画素ＢＰＸ（ｉｉ，ｊｊ）の画素値と参照ブロックＲＢ（ｍ，ｎ）に含まれる画素ＲＰＸ（ｉｉ，ｊｊ）の画素値の差の絶対値Δを計算する（ステップＳ８３）。
【００７２】
【数４】
2007074415.tif 000006
【００７３】
ＣＰＵ２０は、ステップＳ８３で計算された画素値の差の絶対値Δが閾値決定ルーチンで算出された閾値ＴＨ以下であるか否かを判定し（ステップＳ８４）、画素値の差の絶対値Δが閾値ＴＨ以下であると判定したときは有効画素個数ＳＵＭをインクリメントして（ステップＳ８５）、ステップＳ８６に進む。
【００７４】
一方、ＣＰＵ２０は、画素値の差の絶対値Δが閾値ＴＨより大きいと判定したときは、直接ステップＳ８６に進む。
【００７５】
ＣＰＵ２０は、画素行番号ｊｊが最大値ＪＪに到達したか否かを判定し（ステップＳ８６）、画素行番号ｊｊが最大値ＪＪに到達していないと判定したときは、画素行番号ｊｊをインクリメントして（ステップＳ８７）、ステップＳ８３に戻る。一方、ＣＰＵ２０は、画素行番号ｊｊが最大値ＪＪに到達したと判定したときは、画素列番号ｉｉが最大値ＩＩに到達したか否かを判定する（ステップＳ８８）。
【００７６】
ＣＰＵ２０は、画素列番号ｉｉが最大値ＩＩに到達していないと判定したときは、画素列番号ｉｉをインクリメントして（ステップＳ８９）、ステップＳ８２に戻る。一方、ＣＰＵ２０は、画素列番号ｉｉが最大値ＩＩに到達したと判定したときは、このルーチンを終了する。
【００７７】
図９（ａ）は、第１の実施形態に係る動きベクトル推定装置の動作を説明するグラフであって、実線は照明が低照度である参照フレームの輝度ヒストグラムであり、破線は照明が高照度である基準フレームの輝度ヒストグラムである。即ち、フラッシュなどにより照明の照度が大きく変化した場合は、理論的には、高照度時の輝度ヒストグラムは、低照度時の輝度ヒストグラムのグラフをフラッシュによる輝度変化分だけ高輝度側に平行移動したものとなるはずである。
【００７８】
そこで、第１の実施形態に係る動きベクトル推定装置は、基準フレームの輝度ヒストグラムの中央値と参照フレームの輝度ヒストグラムの中央値の差の絶対値を輝度変化分とみなして閾値ＴＨとし、基準ブロックに含まれる画素の画素値との差の絶対値が閾値以下である画素値の画素を最も多く含む参照ブロックを探索することにより、動きベクトルを推定している。
【００７９】
以上説明したように、第１の実施形態に係る動きベクトル推定装置によれば、照明の照度の変化を考慮して動きベクトルを推定することが可能となる。
（第２の実施形態）
第１の実施形態においては、輝度値そのものを使用して動きベクトルを探索しているが、輝度ヒストグラムを正規化することにより照明照度の変化が極めて大きい場合にも正確に動きベクトルを推定することを可能とする。
【００８０】
図１０は、第２の実施形態において、ＣＰＵ２０が実行する第２の閾値決定ルーチンのフローチャートであって、図４の第１の閾値決定ルーチンのステップＳ４１とステップＳ４２の間にステップＳ４５が、ステップＳ４３とステップＳ４４の間にステップＳ４６が挿入される。
【００８１】
ＣＰＵ２０は、ステップＳ４５で基準フレームの輝度ヒストグラムの輝度軸を基準フレーム最大輝度ＢＢｍａｘと最小輝度ＢＢｍｉｎの差で正規化して正規化基準フレーム輝度ヒストグラムを算出する。
【００８２】
そして、ＣＰＵ２０は、ステップＳ４６で参照フレームの輝度ヒストグラムの輝度軸を参照フレーム最大輝度ＲＢｍａｘと最小輝度ＲＢｍｉｎの差で正規化して正規化参照フレーム輝度ヒストグラムを算出する。
【００８３】
図９（ｂ）の実線は正規化参照フレーム輝度ヒストグラム、破線は正規化基準フレーム輝度ヒストグラムであって、正規化参照フレーム輝度ヒストグラムと正規化基準フレーム輝度ヒストグラムを同一横軸尺度で比較することにより正確に動きベクトルを推定することが可能となる。
【００８４】
その他のステップの処理は、第１の閾値決定ルーチンと同一であるので、説明を省略する。
【００８５】
なお、第２の実施形態においては、第１の閾値算出ルーチンのステップＳ６２で算出される閾値は次式により算出される。
【００８６】
【数５】
2007074415.tif 000007
【００８７】
さらに、有効画素個数計数ルーチンのステップＳ８３の画素値差は次式によって算出される。
【００８８】
【数６】
2007074415.tif 000008
【００８９】
以上説明したように、第２の実施形態によれば、輝度ヒストグラムを正規化することにより照明照度の変化が極めて大きい場合にも正確に動きベクトルを推定することが可能となる。
（第３の実施形態）
本発明に係る動きベクトル推定装置にあっては、基準ブロックの輝度ヒストグラムと参照ブロックの輝度ヒストグラムの相似度合いに基づいて動きベクトルを推定しているので、双方のヒストグラムの形状が大きく相違するときは、当該参照ブロックの動きベクトル探索を省略することが可能である。
【００９０】
図１１は、第３の実施形態においてＣＰＵ２０が実行する第２の動きベクトル推定プログラムのフローチャートであって、図３に示す第１の動きベクトル推定プログラムのステップＳ３４とステップＳ３５の間にステップＳ３００が追加されている。
【００９１】
ＣＰＵ２０は、ステップＳ３００において、基準ブロックの輝度ヒストグラムと参照ブロックの輝度ヒストグラムの形状が相似であるか否かを基準ブロックの輝度ヒストグラムの標準偏差と参照ブロックの輝度ヒストグラムの標準偏差との差が予め定められた誤差ε以下であるか否かを判定する。
【００９２】
ＣＰＵ２０は、標準偏差の差が誤差ε以下であると判定したときは、ステップＳ３５に進み動きベクトルを推定し、ステップＳ３０１において動きベクトルＭＶを特定するパラメータを出力する。一方、ＣＰＵ２０は、標準偏差の差が誤差εより大きいと判定したときは、動きベクトルの推定を行わず、直接ステップＳ３６に進む。
【００９３】
その他の処理は、第１の動きベクトル推定プログラムと同一であるので説明を省略する。
【００９４】
図１２は、ＣＰＵ２０が第２の動きベクトル推定プログラムのステップＳ３４で実行する第３の閾値決定ルーチンのフローチャートであって、図４の第１の閾値決定ルーチンのステップＳ４１とステップＳ４２の間にステップＳ４７が、ステップＳ４３とステップＳ４４の間にステップＳ４８が挿入される。
【００９５】
ＣＰＵ２０は、ステップＳ４７で基準フレーム輝度検査領域の輝度ヒストグラムの標準偏差を算出し、ステップＳ４８で参照フレーム輝度検査領域の輝度ヒストグラムの標準偏差を算出する。
【００９６】
その他のステップの処理は、第１の閾値決定ルーチンと同一であるので説明を省略する。
【００９７】
以上説明したように、第３の実施形態によれば、基準ブロックの輝度ヒストグラムと参照ブロックの輝度ヒストグラムの形状が大きく相違するときは、当該参照ブロックの動きベクトル探索を省略することにより計算量を低減することが可能となる。
（第４の実施形態）
第１から第３の実施形態にあっては、閾値は基準フレームの輝度ヒストグラムの中央値と参照フレームの輝度ヒストグラムの中央値の差の絶対値として算出されるが、基準フレームの輝度ヒストグラムが正規分布に近いときは、閾値を基準フレームの輝度ヒストグラムの平均値と参照フレームの輝度ヒストグラムの平均値の差の絶対値を使用してもよい。
【００９８】
図１３は、第４の実施形態においてＣＰＵ２０が図１０に示す第２の閾値決定ルーチンのステップＳ４４で実行する第２の閾値算出ルーチンのフローチャートであって、ＣＰＵ２０は基準フレームの輝度ヒストグラムが正規分布とみなすことができるか否かを判定する（ステップＳ６３）。
【００９９】
ＣＰＵ２０は、正規分布とみなすことができないと判定したときは、第１の閾値決定ルーチンと同様にステップＳ６０からステップＳ６２において、閾値を基準フレームの輝度ヒストグラムの中央値と参照フレームの輝度ヒストグラムの中央値の差の絶対値として算出する。
【０１００】
一方、ＣＰＵ２０は、ステップＳ６３において正規分布とみなすことができると判定したときは、ステップＳ６４からステップＳ６６において、閾値を基準フレームの輝度ヒストグラムの平均値と参照フレームの輝度ヒストグラムの平均値の差の絶対値として算出する。
【０１０１】
以上説明したように、第４の実施形態によれば、基準フレームの輝度ヒストグラムが正規分布に近いときは、閾値を基準フレームの輝度ヒストグラムの平均値と参照フレームの輝度ヒストグラムの平均値の差の絶対値に決定することができる。
（第５の実施形態）
上記第１から第４の実施形態にあっては、動きベクトルを推定するために基準ブロックと参照ブロックに含まれる画素の輝度差の絶対値が閾値である画素数を評価関数としているが、基準ブロックと参照ブロックに含まれる画素の輝度差の積算値を評価関数としてもよい。
【０１０２】
図１４は、第５の実施形態においてＣＰＵ２０が図３に示す動きベクトル推定プログラムのステップＳ３５で実行する第２の動きベクトル探索ルーチンのフローチャートであって、図７の第１の動きベクトル探索ルーチンのステップＳ７０１、ステップＳ７０４およびステップＳ７０５が、ステップＳ７２１、ステップＳ７２２およびステップＳ７２３に置き換えられる。
【０１０３】
即ち、ＣＰＵ２０は、ステップＳ７２１において、最小輝度差積算値Ａｃｃを考えられる最大値（例えば、輝度差最大値×参照ブロックＲＢ内画素数以上の値）に設定する。輝度が８ビット、即ち２５６階調で表され、参照ブロックＲＢ内画素数が８である場合には、Ａｃｃ＝２５６×８＝２０４８に設定する。
【０１０４】
ＣＰＵ２０は、ステップＳ７２２において、輝度差積算値ＤＥＬを算出するが詳細は後述する。
【０１０５】
ＣＰＵ２０は、ステップＳ７２３において、輝度差積算値ＤＥＬが最小輝度差積算値Ａｃｃ未満であるか否かを判定し、輝度差積算値ＤＥＬが最小輝度差積算値Ａｃｃ未満であると判定したときは、ステップＳ７０６において、輝度差積算値ＤＥＬを最小輝度差積算値Ａｃｃに記憶する。
【０１０６】
ＣＰＵ２０は、輝度差積算値ＤＥＬが最小輝度差積算値Ａｃｃ以上であると判定したときは、直接ステップＳ７０８に進む。
【０１０７】
図１５は、ＣＰＵ２０が、第５の実施形態において、図１４に示す第２の動きベクトル探索ルーチンのステップＳ７２２で実行する輝度差積算値算出ルーチンのフローチャートであって、図８に示す有効画素数係数ルーチンのステップＳ８０およびステップＳ８５がステップＳ８００およびステップＳ８０１に置き換えられる。
【０１０８】
まず、ＣＰＵ２０は、ステップＳ８００において、輝度差積算値ＤＥＬを“０”に初期化する。
【０１０９】
そして、ＣＰＵ２０は、ステップＳ８０１において、輝度差積算値ＤＥＬをＤＥＬ＋Δで更新する。
【０１１０】
その他の処理は、第２の動きベクトル探索ルーチンと同一であるので説明を省略する。
【０１１１】
以上説明したように、第５の実施形態によれば、基準ブロックと参照ブロックに含まれる画素の輝度差の積算値を評価関数とすることが可能となる。
【産業上の利用可能性】
【０１１２】
以上のように、本発明に係る動きベクトルは、照明照度の変動があった場合にも正確に動きベクトルを推定することが可能となるという効果を有し、テレビジョン方式変換装置、画像符号化装置等として有効である。
【図面の簡単な説明】
【０１１３】
【図１】本発明に係る動きベクトル推定装置のブロック図
【図２】本発明に係る動きベクトル推定装置のハードウエア構成のブロック図
【図３】本発明に係る動きベクトル推定装置の第１の実施形態で実行される第１の動きベクトル推定プログラムのフローチャート
【図４】本発明に係る動きベクトル推定装置の第１の実施形態で実行される第１の閾値決定ルーチンのフローチャート
【図５】列方向に８個、列方向に１３個のブロックを有する基準フレームおよび参照フレームの構成図
【図６】本発明に係る動きベクトル推定装置の第１の実施形態で実行される第１の閾値算出ルーチンのフローチャート
【図７】本発明に係る動きベクトル推定装置の第１の実施形態で実行される第１の動きベクトル探索ルーチンのフローチャート
【図８】本発明に係る動きベクトル推定装置の第１の実施形態で実行される有効画素数係数ルーチンのフローチャート
【図９】本発明に係る動きベクトル推定装置の動作を説明するグラフ
【図１０】本発明に係る動きベクトル推定装置の第２の実施形態で実行される第２の閾値決定ルーチンのフローチャート
【図１１】本発明に係る動きベクトル推定装置の第３の実施形態で実行される第２の動きベクトル推定プログラムのフローチャート
【図１２】本発明に係る動きベクトル推定装置の第３の実施形態で実行される第３の閾値決定ルーチンのフローチャート
【図１３】本発明に係る動きベクトル推定装置の第４の実施形態で実行される第２の閾値算出ルーチンのフローチャート
【図１４】本発明に係る動きベクトル推定装置の第５の実施形態で実行される第２の動きベクトル探索ルーチンのフローチャート
【図１５】本発明に係る動きベクトル推定装置の第５の実施形態で実行される輝度差積算値算出ルーチンのフローチャート
【図１６】画像符号化装置のブロック図
【図１７】従来の動きベクトル推定装置のブロック図
【符号の説明】
【０１１４】
１  動きベクトル推定装置
１０  閾値決定手段
１１  動きベクトル推定手段
１０１  基準フレーム分割手段
１０２  基準フレーム輝度検査領域設定手段
１０３  基準フレーム画素輝度中央値決定手段
１０４  参照フレーム輝度検査領域設定手段
１０５  参照フレーム画素輝度中央値決定手段
１０６  閾値算出手段
１１１  動きベクトル探索領域設定手段
１１２  動きベクトル算出手段
【図１】
2007074415.tif 000009
【図２】
2007074415.tif 000010
【図３】
2007074415.tif 000011
【図４】
2007074415.tif 000012
【図５】
2007074415.tif 000013
【図６】
2007074415.tif 000014
【図７】
2007074415.tif 000015
【図８】
2007074415.tif 000016
【図９】
2007074415.tif 000017
【図１０】
2007074415.tif 000018
【図１１】
2007074415.tif 000019
【図１２】
2007074415.tif 000020
【図１３】
2007074415.tif 000021
【図１４】
2007074415.tif 000022
【図１５】
2007074415.tif 000023
【図１６】
2007074415.tif 000024
【図１７】
2007074415.tif 000025