(57)【特許請求の範囲】
【請求項１】
複数のブロックによって構成される基準フレームと、動きベクトルの検出で参照される参照フレームとに基づいて、前記複数のブロックのいずれかである対象ブロックの動きベクトルを検出する信号処理装置であって、
前記対象ブロックを構成する複数の画素に基づいて、前記対象ブロックの一部である部分領域を特定する特定部と、
前記参照フレーム内において、前記部分領域と比較する探索領域を順にシフトする探索領域シフト部と、
前記探索領域のシフト毎に、前記部分領域と前記探索領域との一致度を算出し、前記部分領域と一致度が最も高い前記探索領域である一致領域を特定する比較部と、
前記基準フレーム内における前記部分領域の位置と前記参照フレーム内における前記一致領域の位置とに基づいて、前記対象ブロックの動きベクトルを検出する検出部とを備え、
前記基準フレーム内における前記対象ブロックの位置に基づいて、前記参照フレーム内において探索範囲を設定する設定部をさらに備え、
前記探索領域シフト部は、前記探索範囲内において、前記探索領域を順にシフトし、
前記特定部は、前記対象ブロック内において、前記部分領域の候補である候補領域を順にシフトする候補領域シフト部と、
前記候補領域のシフト毎に、前記候補領域の４隅を構成する画素に基づいて、前記候補領域を前記部分領域として特定するか否かを判定する判定処理を行う判定部とを有し、
前記判定部は、前記対象ブロックの動きベクトルの履歴に基づいて、前記候補領域の４隅を構成する画素から、前記判定処理で用いる画素を選択することを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、基準フレームと参照フレームとに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルを検出する信号処理装置に関する。
【背景技術】
【０００２】
基準フレーム及び参照フレームに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する技術が知られている。補間フレームの生成では、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルが検出される。
【０００３】
基準フレームの動きベクトルを検出する技術としては、ブロックマッチング技術が知られている。ブロックマッチング技術では、基準フレームは、複数のブロックによって構成されており、動きベクトルは、複数のブロック毎に検出される。以下において、複数のブロックのうち、動きベクトルを検出すべきブロックを対象ブロックと称する。
【０００４】
具体的には、ブロックマッチング技術では、第１に、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内における探索範囲が設定される。第２に、探索範囲内において、対象ブロックと同形状の探索ブロックを順にシフトして、対象ブロックと探索ブロックとの一致度を算出する。第３に、対象ブロックと一致度が最も高い探索ブロック、すなわち、一致ブロックが特定される。第４に、基準フレーム内における対象ブロックの位置と参照フレーム内における一致ブロックの位置とのずれ量によって、対象ブロックの動きベクトルが検出される。
【０００５】
ここで、一致ブロックの特定では、対象ブロックを構成する全画素と探索ブロックを構成する全画素とを比較する必要がある。従って、一致ブロックの特定に必要な処理負荷が大きい。
【０００６】
このような処理負荷を低減する技術として、探索範囲内において探索ブロックをシフトする際に、探索ブロックのシフト量を増大する技術が提案されている（例えば、特許文献１）。
【０００７】
具体的には、探索範囲内において探索ブロックをシフトする際に、探索ブロックを２画素毎にシフトすることによって、探索ブロックのシフト回数を低減する。これによって、一致度を算出する回数が低減し、処理負荷が低減する。
【特許文献１】特開２００４−２３６７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、探索ブロックを２画素毎にシフトすると、探索ブロックを１画素毎にシフトするケースに比べて、動きベクトルの検出精度が低下することは言うまでもない。
【０００９】
そこで、本発明は、上述した課題を解決するためになされたものであり、処理負荷の低減及び動きベクトルの検出精度の向上を両立することを可能とする信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る信号処理装置は、複数のブロックによって構成される基準フレームと、動きベクトルの検出で参照される参照フレームとに基づいて、前記複数のブロックのいずれかである対象ブロックの動きベクトルを検出する。信号処理装置は、前記対象ブロックを構成する複数の画素に基づいて、前記対象ブロックの一部である部分領域を特定する特定部（特定部４１）と、前記参照フレーム内において、前記部分領域と比較する探索領域を順にシフトする探索領域シフト部（探索領域シフト部４３）と、前記探索領域のシフト毎に、前記部分領域と前記探索領域との一致度を算出し、前記部分領域と一致度が最も高い前記探索領域である一致領域を特定する比較部（比較部４４）と、前記基準フレーム内における前記部分領域の位置と前記参照フレーム内における前記一致領域の位置とに基づいて、前記対象ブロックの動きベクトルを検出する検出部（４５）とを備え、前記基準フレーム内における前記対象ブロックの位置に基づいて、前記参照フレーム内において探索範囲を設定する設定部をさらに備え、前記探索領域シフト部は、前記探索範囲内において、前記探索領域を順にシフトし、前記特定部は、前記対象ブロック内において、前記部分領域の候補である候補領域を順にシフトする候補領域シフト部と、前記候補領域のシフト毎に、前記候補領域の４隅を構成する画素に基づいて、前記候補領域を前記部分領域として特定するか否かを判定する判定処理を行う判定部とを有し、前記判定部は、前記対象ブロックの動きベクトルの履歴に基づいて、前記候補領域の４隅を構成する画素から、前記判定処理で用いる画素を選択する。
【００１１】
かかる特徴によれば、比較部は、部分領域と一致度が最も高い探索領域である一致領域を特定する。検出部は、基準フレーム内における部分領域の位置と参照フレーム内における一致領域の位置とに基づいて、対象ブロックの動きベクトルを検出する。部分領域は、対象ブロックの一部である。
【００１２】
従って、対象ブロックを構成する全画素と探索ブロックを構成する全画素とを比較するケースに比べて、一致度の算出で比較する画素数が低減するため、処理負荷の低減を図ることができる。また、探索範囲内において探索領域をシフトする回数を低減しなくても、処理負荷の低減を図ることができる。
【発明の効果】
【００１７】
本発明によれば、処理負荷の低減及び動きベクトルの検出精度の向上を両立することを可能とする信号処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下において、本発明の実施形態に係る信号処理装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【００１９】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００２０】
［第１実施形態］
（信号処理装置の構成）
以下において、第１実施形態に係る信号処理装置の構成について、図面を参照しながら説明する。図１は、第１実施形態に係る信号処理装置１００を示すブロック図である。信号処理装置１００は、投写型映像表示装置などの表示装置に適用されることに留意すべきである。
【００２１】
図１に示すように、信号処理装置１００は、入力信号受付部１０と、基準フレーム取得部２０と、参照フレーム取得部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、出力部６０とを有する。
【００２２】
入力信号受付部１０は、オリジナルフレームを構成する複数の画素毎に映像入力信号を受け付ける。オリジナルフレームは、映像入力信号によって構成されるフレームである。映像入力信号は、例えば、赤成分信号、緑成分信号及び青成分信号を含む。入力信号受付部１０は、複数のオリジナルフレームのそれぞれを構成する映像入力信号を順に受け付ける。
【００２３】
基準フレーム取得部２０は、映像入力信号に基づいて基準フレームを取得する。基準フレームは、動きベクトルの検出対象のオリジナルフレームである。基準フレームは、複数のブロックによって構成される。基準フレームは、例えば、ｎ番目のオリジナルフレームである。
【００２４】
参照フレーム取得部３０は、映像入力信号に基づいて参照フレームを取得する。参照フレームは、動きベクトルの検出で参照されるオリジナルフレームである。参照フレームは、例えば、ｎ＋１番目のオリジナルフレームである。
【００２５】
なお、動きベクトルの検出方法に応じて、参照フレームを変更してもよいことは勿論である。動きベクトルが前方予測によって検出される場合には、基準フレームよりも時間的に前方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが後方予測によって検出される場合には、基準フレームよりも時間的に後方のオリジナルフレームが参照フレームとして用いられる。動きベクトルが双方向予測によって検出される場合には、複数のオリジナルフレームが参照フレームとして用いられる。
【００２６】
動きベクトル検出部４０は、基準フレーム及び参照フレームに基づいて、基準フレームの動きベクトルを検出する。具体的には、動きベクトル検出部４０は、複数のブロックのいずれかである対象ブロックをセットした上で、対象ブロックの動きベクトルを検出する。動きベクトル検出部４０は、対象ブロックをブロック単位で順にシフトして、基準フレームを構成する全てのブロックについて、ブロック毎に動きベクトルを検出する。なお、動きベクトル検出部４０の詳細については後述する（図２を参照）。
【００２７】
補間フレーム生成部５０は、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。具体的には、補間フレーム生成部５０は、基準フレームを構成する画素、参照フレームを構成する画素及び動きベクトルに基づいて、補間フレームを構成する画素を順に決定する。
【００２８】
出力部６０は、映像入力信号に応じて、映像出力信号を出力する。具体的には、出力部６０は、オリジナルフレームに対応する映像出力信号に加えて、オリジナルフレーム間に挿入される補間フレームに対応する映像出力信号を出力する。なお、出力部６０は、γ補正機能などを有していてもよい。
【００２９】
（動きベクトル検出部の構成）
以下において、第１実施形態に係る動きベクトル検出部の構成について、図面を参照しながら説明する。図２は、第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【００３０】
図２に示すように、動きベクトル検出部４０は、特定部４１と、設定部４２と、探索領域シフト部４３と、比較部４４と、検出部４５とを有する。
【００３１】
特定部４１は、対象ブロックの一部である部分領域を特定する。部分領域は、動きベクトルの検出において参照フレームと比較される。具体的には、特定部４１は、候補領域シフト部４１ａと、判定部４１ｂとを有する。
【００３２】
候補領域シフト部４１ａは、対象ブロック内において、部分領域の候補である候補領域を順にシフトする。候補領域シフト部４１ａは、１画素毎に候補領域をシフトすることが好ましい。部分領域は、上述したように、対象ブロックの一部である。
【００３３】
判定部４１ｂは、候補領域のシフト毎に、候補領域を部分領域として特定するか否かを判定する判定処理を行う。具体的には、判定部４１ｂは、候補領域を構成する画素に基づいて、候補領域のスコアを算出する。続いて、判定部４１ｂは、スコアが最も高い候補領域を部分領域として特定する。スコアの算出方法としては、以下に示す算出方法が考えられる。
【００３４】
（スコアの算出方法１）
判定部４１ｂは、候補領域を構成する４隅の画素に基づいて、候補領域のスコアを算出する。ここでは、候補領域の左上の画素を画素Ａ、候補領域の右上の画素を画素Ｂ、候補領域の左下の画素を画素Ｃ、候補領域の右下の画素を画素Ｄと称する。具体的には、判定部４１ｂは、画素Ａの輝度値（ＹＡ）、画素Ｂの輝度値（ＹＢ）、画素Ｃの輝度値（ＹＣ）、画素Ｄの輝度値（ＹＤ）を取得する。続いて、判定部４１ｂは、Ｓ＝Ｙｍａｘ−Ｙｍｉｎによって、候補領域のスコア（Ｓ）を算出する。なお、Ｙｍａｘは、ｍａｘ（ＹＡ、ＹＢ、ＹＣ、ＹＤ）であり、Ｙｍｉｎは、ｍｉｎ（ＹＡ、ＹＢ、ＹＣ、ＹＤ）である。
【００３５】
（スコアの算出方法２）
判定部４１ｂは、候補領域を構成する４隅の画素から、判定処理で用いる画素（以下、選択画素）を選択する。判定部４１ｂは、選択画素に基づいて、候補領域のスコアを算出する。具体的には、判定部４１ｂは、対象ブロックの動きベクトルの履歴を取得する。例えば、基準フレームがｎ番目のオリジナルフレームであるケースでは、判定部４１ｂは、基準フレームがｎ−１番目のオリジナルフレームである場合に検出された対象ブロックの動きベクトルを対象ブロックの動きベクトルの履歴として取得する。続いて、判定部４１ｂは、対象ブロックの動きベクトルの履歴に基づいて、選択画素を選択する。
【００３６】
第１に、対象ブロックの動きベクトルの履歴が所定閾値以下である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝Ｙｍａｘ−Ｙｍｉｎによって、候補領域のスコア（Ｓ）を算出する。
【００３７】
第２に、対象ブロックの動きベクトルの履歴が水平方向である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜ＹＡ−ＹＢ｜＋｜ＹＣ−ＹＤ｜によって、候補領域のスコア（Ｓ）を算出する。
【００３８】
第３に、対象ブロックの動きベクトルの履歴が垂直方向である場合に、判定部４１ｂは、画素Ａ〜画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜ＹＡ−ＹＣ｜＋｜ＹＢ−ＹＤ｜によって、候補領域のスコア（Ｓ）を算出する。
【００３９】
第４に、対象ブロックの動きベクトルの履歴が斜め方向（左下がり又は右上がり）である場合に、判定部４１ｂは、画素Ｂ、画素Ｃを選択画素として選択する。判定部４１ｂは、Ｓ＝｜ＹＢ−ＹＣ｜によって、候補領域のスコア（Ｓ）を算出する。
【００４０】
第５に、対象ブロックの動きベクトルの履歴が斜め方向（左上がり又は右下がり）である場合に、判定部４１ｂは、画素Ａ、画素Ｄを選択画素として選択する。判定部４１ｂは、Ｓ＝｜ＹＡ−ＹＤ｜によって、候補領域のスコア（Ｓ）を算出する。
【００４１】
（スコアの算出方法３）
判定部４１ｂは、候補領域を構成する全画素に基づいて、候補領域のスコアを算出する。具体的には、判定部４１ｂは、候補領域を構成する全画素の輝度値（Ｙ（１，１）、Ｙ（１，２）、・・・、Ｙ（ｍ，ｎ））を取得する。続いて、判定部４１ｂは、以下の式によって、全画素の輝度平均値（Ａ）を算出する。
【数１】
0005114290.tif 000002
【００４２】
さらに、判定部４１ｂは、以下の式によって、候補領域のスコア（Ｓ）を算出する。
【数２】
0005114290.tif 000003
【００４３】
すなわち、判定部４１ｂは、候補領域を構成する全画素の分散値を候補領域のスコア（Ｓ）として算出する。
【００４４】
設定部４２は、参照フレーム内において探索範囲を設定する。具体的には、設定部４２は、基準フレーム内における対象ブロックの位置に基づいて、参照フレーム内において対象ブロックに相当する位置（座標）を特定する。続いて、設定部４２は、参照フレーム内において対象ブロックに相当する位置（座標）の周辺領域を探索範囲として設定する。探索範囲は、対象ブロックよりも広い範囲である。
【００４５】
探索領域シフト部４３は、参照フレーム内において、部分領域と比較する探索領域を順にシフトする。具体的には、探索領域シフト部４３は、探索範囲内において、探索領域を順にシフトする。探索領域シフト部４３は、１画素毎に探索領域をシフトすることが好ましい。探索領域は、部分領域と略同形状であることが好ましい。
【００４６】
比較部４４は、探索領域のシフト毎に、部分領域と探索領域との一致度を算出する。比較部４４は、部分領域と一致度が最も高い探索領域を一致領域として特定する。具体的には、比較部４４は、部分領域を探索領域に重ね合わせた上で、部分領域の画素と、部分領域の画素と同位置（座標）を有する探索領域の画素との差分の絶対値を取得する。続いて、比較部４４は、部分領域を構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。比較部４４は、差分絶対値和が最小である探索領域を一致領域として特定する。
【００４７】
検出部４５は、基準フレーム内における部分領域の位置（座標）と参照フレーム内における一致領域の位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、検出部４５は、部分領域の位置（座標）と一致領域の位置（座標）とのずれ量に基づいて、対象ブロックの動きベクトルを検出する。
【００４８】
（補間フレームの生成）
以下において、第１実施形態に係る補間フレームの生成について、図面を参照しながら説明する。図３は、第１実施形態に係る補間フレームの生成を説明する図である。
【００４９】
図３に示すように、基準フレーム及び参照フレームに基づいて、基準フレームを構成する複数のブロック毎に動きベクトルが検出される。続いて、基準フレーム、参照フレーム及び動きベクトルに基づいて、補間フレームが生成される。
【００５０】
（候補領域のシフト）
以下において、第１実施形態に係る候補領域のシフトについて、図面を参照しながら説明する。図４は、第１実施形態に係る候補領域のシフトを説明する図である。
【００５１】
図４に示すように、対象ブロックは、垂直方向にＭ個の画素を有し、水平方向にＮ個の画素を有している。すなわち、対象ブロックは、Ｍ画素×Ｎ画素の矩形形状を有する。候補領域は、垂直方向にｍ個の画素を有し、水平方向にｎ個の画素を有している。すなわち、候補領域は、ｍ画素×ｎ画素の矩形形状を有する。なお、Ｍ＞ｍ、Ｎ＞ｎである。候補領域は、対象ブロック内において順にシフトされる。例えば、候補領域は、１画素毎にシフトされることが好ましい。
【００５２】
（部分領域の構成）
以下において、第１実施形態に係る部分領域の構成について、図面を参照しながら説明する。図５は、第１実施形態に係る部分領域の構成を説明する図である。
【００５３】
上述したように、部分領域は、スコア（Ｓ）が最も高い候補領域である。従って、図５に示すように、部分領域は、垂直方向にｍ個の画素を有し、水平方向にｎ個の画素を有している。すなわち、部分領域は、ｍ画素×ｎ画素の矩形形状を有する。
【００５４】
（対象ブロック及び部分領域の位置）
以下において、第１実施形態に係る対象ブロック及び部分領域の位置について、図面を参照しながら説明する。図６は、第１実施形態に係る対象ブロック及び部分領域の位置を示す図である。
【００５５】
図６に示すように、対象ブロックは、基準フレームを構成する複数のブロックのいずれかである。各ブロックの位置は、予め定められている。上述したように、対象ブロックは、基準フレーム内においてブロック単位で順にシフトされる。
【００５６】
部分領域は、上述したように、対象ブロックの一部である。対象ブロック内における部分領域の位置は、スコア（Ｓ）に応じて定められる。
【００５７】
（探索領域のシフト）
以下において、第１実施形態に係る探索領域のシフトについて、図面を参照しながら説明する。図７は、第１実施形態に係る探索領域のシフトを説明する図である。
【００５８】
図７に示すように、探索範囲は、参照フレーム内に設定される。探索領域は、探索範囲内を順にシフトされる。ここで、探索範囲は、１画素毎にシフトされることが好ましい。探索範囲のシフト範囲は、水平方向において幅Ｗであり、垂直方向において高さＨである。すなわち、探索範囲のシフト範囲は、左上の位置Ａの探索領域、右上の位置Ｂの探索領域、左下の位置Ｃの探索領域及び右下の位置Ｄの探索領域の中心を結ぶ範囲である。
【００５９】
（信号処理装置の動作）
以下において、第１実施形態に係る信号処理装置の動作について、図面を参照しながら説明する。図８は、第１実施形態に係る信号処理装置１００の動作を示すフロー図である。
【００６０】
図８に示すように、ステップ１０において、信号処理装置１００は、基準フレームを構成する複数のブロックのうち、いずれかのブロックを対象ブロックとしてセットする。例えば、信号処理装置１００は、左上のブロックを対象ブロックとしてセットする。
【００６１】
ステップ２０において、信号処理装置１００は、対象ブロックを構成する複数の画素に基づいて、対象ブロックの一部である部分領域を特定する。部分領域の特定の詳細については後述する（図９を参照）。
【００６２】
ステップ３０において、信号処理装置１００は、対象ブロックの動きベクトルを検出する。動きベクトルの検出については後述する（図１０を参照）。
【００６３】
ステップ４０において、信号処理装置１００は、基準フレームを構成する全ブロックを対象ブロックとしてセットしたか否かを判定する。信号処理装置１００は、全ブロックを対象ブロックとしてセットしていない場合には、ステップ５０の処理に移る。信号処理装置１００は、全ブロックを対象ブロックとしてセットした場合には、ステップ６０の処理に移る。
【００６４】
ステップ５０において、信号処理装置１００は、対象ブロックをブロック単位でシフトする。
【００６５】
ステップ６０において、信号処理装置１００は、基準フレーム、参照フレーム及び動きベクトルに基づいて、基準フレームと参照フレームとの間に挿入される補間フレームを生成する。補間フレームの生成については後述する（図１１を参照）。
【００６６】
（部分領域の特定）
以下において、上述した部分領域の特定の詳細について、図９を参照しながら説明する。図９は、上述した部分領域の特定の詳細を示すフロー図である。
【００６７】
図９に示すように、ステップ２１において、信号処理装置１００は、対象ブロック内において、候補領域をセットする。例えば、信号処理装置１００は、対象ブロックの左上の位置に候補領域をセットする。
【００６８】
ステップ２２において、信号処理装置１００は、候補領域のスコア（Ｓ）を算出する。上述したように、スコア（Ｓ）の算出方法としては、スコアの算出方法１〜スコアの算出方法３が考えられる。
【００６９】
ステップ２３において、信号処理装置１００は、候補領域のスコア（Ｓ）が最大であるか否かを判定する。なお、候補領域のスコア（Ｓ）の初期値は“０”である。信号処理装置１００は、候補領域のスコア（Ｓ）が最大である場合には、ステップ２４の処理に移る。信号処理装置１００は、候補領域のスコア（Ｓ）が最大でない場合には、ステップ２５の処理に移る。
【００７０】
ステップ２４において、信号処理装置１００は、候補領域の位置（座標）を部分領域の位置（座標）として更新する。
【００７１】
ステップ２５において、信号処理装置１００は、対象ブロックを構成する全領域において候補領域をシフトしたか否かを判定する。信号処理装置１００は、全領域において候補領域をシフトしていない場合には、ステップ２６の処理に移る。信号処理装置１００は、全領域において候補領域をシフトした場合には、ステップ２７の処理に移る。
【００７２】
ステップ２６において、信号処理装置１００は、対象ブロック内において、候補領域をシフトする。信号処理装置１００は、１画素毎に候補領域をシフトすることが好ましい。
【００７３】
ステップ２７において、信号処理装置１００は、スコア（Ｓ）が最大である候補領域を部分領域として特定する。すなわち、信号処理装置１００は、ステップ２４で最終的に更新された位置（座標）によって、対象ブロック内における部分領域の位置（座標）を特定する。
【００７４】
（動きベクトルの検出）
以下において、上述した動きベクトルの検出の詳細について、図１０を参照しながら説明する。図１０は、上述した動きベクトルの検出の詳細を示すフロー図である。
【００７５】
図１０に示すように、ステップ３１において、信号処理装置１００は、探索範囲内において、探索領域をセットする。例えば、信号処理装置１００は、探索範囲の左上の位置に探索領域をセットする。
【００７６】
ステップ３２において、信号処理装置１００は、部分領域を探索領域に重ね合わせた上で、部分領域の画素と探索領域の画素との差分の絶対値を取得する。続いて、信号処理装置１００は、部分領域を構成する全画素について、差分の絶対値の総和（差分絶対値和）を算出する。
【００７７】
ステップ３３において、信号処理装置１００は、差分絶対値和が最小であるか否かを判定する。なお、差分絶対値和の初期値は、差分絶対値和の最大値である。信号処理装置１００は、差分絶対値和が最小である場合には、ステップ３４の処理に移る。信号処理装置１００は、差分絶対値和が最小でない場合には、ステップ３５の処理に移る。
【００７８】
ステップ３４において、信号処理装置１００は、探索領域の位置（座標）を一致領域の位置（座標）として更新する。一致領域は、上述したように、動きベクトルの検出に用いられる。
【００７９】
ステップ３５において、信号処理装置１００は、探索範囲を構成する全領域において探索領域をシフトしたか否かを判定する。信号処理装置１００は、全領域において探索領域をシフトしていない場合には、ステップ３６の処理に移る。信号処理装置１００は、全領域において探索領域をシフトした場合には、ステップ３７の処理に移る。
【００８０】
ステップ３６において、信号処理装置１００は、探索領域内において、探索領域をシフトする。信号処理装置１００は、１画素毎に探索領域をシフトすることが好ましい。
【００８１】
ステップ３７において、信号処理装置１００は、差分絶対値和が最小である探索領域を一致領域として特定する。すなわち、信号処理装置１００は、ステップ３４で最終的に更新された位置（座標）によって、探索範囲（参照フレーム）内における一致領域の位置（座標）を特定する。
【００８２】
続いて、信号処理装置１００は、基準フレーム内における部分領域の位置（座標）と参照フレーム内における一致領域の位置（座標）とに基づいて、対象ブロックの動きベクトルを検出する。具体的には、信号処理装置１００は、部分領域の位置（座標）と一致領域の位置（座標）とのずれ量によって、対象ブロックの動きベクトルを検出する。
【００８３】
（補間フレームの生成）
以下において、上述した補間フレームの生成の詳細について、図１１を参照しながら説明する。図１１は、上述した補間フレームの生成の詳細を示すフロー図である。
【００８４】
図１１に示すように、ステップ６１において、信号処理装置１００は、補間フレームを構成する複数の画素のうち、いずれかの画素である対象画素をセットする。例えば、信号処理装置１００は、補間フレームの左上の画素を対象画素としてセットする。
【００８５】
ステップ６２において、第１に、信号処理装置１００は、基準フレーム内において対象画素と対応する位置（座標）を特定する。第２に、信号処理装置１００は、対象画素と対応する位置（座標）の周囲に設けられたブロック（以下、周辺ブロック）の動きベクトルを取得する。ここで、周辺ブロックは、対象画素と対応する位置（座標）を含むブロック、これに隣接するブロックを含む。第３に、信号処理装置１００は、周辺ブロックの動きベクトルに基づいて、対象画素に適用する動きベクトルを取得する。
【００８６】
対象画素に適用する動きベクトルの取得方法の一例について、図１２を参照しながら説明する。図１２では、各画素の位置は、座標（ｘ、ｙ）で表される。対象画素の位置は、座標（ｉ，ｊ）である。
【００８７】
周辺ブロックは、ブロックＡ、ブロックＢ、ブロックＣ、ブロックＤである。ブロックＡの中心画素の位置は、座標（ａ，ｂ）であり、ブロックＢの中心画素の位置は、座標（ｃ，ｄ）である。ブロックＣの中心画素の位置は、座標（ｅ，ｆ）であり、ブロックＤの中心画素の位置は、座標（ｇ，ｈ）である。ブロックＡの動きベクトルは、Ｖａであり、ブロックＢの動きベクトルは、Ｖｂである。ブロックＣの動きベクトルは、Ｖｃであり、ブロックＤの動きベクトルは、Ｖｄである。
【００８８】
面積Ｓは、座標（ａ，ｂ）、座標（ｃ，ｄ）、座標（ｅ，ｆ）及び座標（ｇ，ｈ）を頂点とする矩形領域の面積である。面積Ｓａは、座標（ａ，ｂ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積であり、面積Ｓｂは、座標（ｃ，ｄ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積である。面積Ｓｃは、座標（ｅ，ｆ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積であり、面積Ｓｄは、座標（ｇ，ｈ）及び座標（ｉ，ｊ）を対角線として有する矩形領域の面積である。
【００８９】
このようなケースにおいて、対象画素に適用する動きベクトルは、周辺ブロックの動きベクトル及び周辺ブロックの中心画素と対象画素との距離に基づいて取得される。例えば、対象画素に適用する動きベクトル（Ｖｐ）は、Ｖｐ＝｛Ｖａ×Ｓｄ＋Ｖｂ×Ｓｃ＋Ｖｃ×Ｓｂ＋Ｖｄ×Ｓａ｝／Ｓによって算出される。
【００９０】
ステップ６３において、信号処理装置１００は、動きベクトル（Ｖｐ）に基づいて、基準フレームから画素Ｐｂを取得する。具体的には、信号処理装置１００は、対象画素の座標（ｉ，ｊ）に対して“−Ｖｐ／２”の座標を有する画素Ｐｂを基準フレームから取得する。
【００９１】
ステップ６３において、信号処理装置１００は、動きベクトル（Ｖｐ）に基づいて、参照フレームから画素Ｐｒを取得する。具体的には、信号処理装置１００は、対象画素の座標（ｉ，ｊ）に対して“Ｖｐ／２”の座標を有する画素Ｐｒを参照フレームから取得する。
【００９２】
ステップ６４において、信号処理装置１００は、対象画素Ｐを決定する。具体的には、信号処理装置１００は、Ｐ＝（Ｐｂ＋Ｐｒ）／２によって、対象画素Ｐを算出する。
【００９３】
ステップ６５において、信号処理装置１００は、補間フレームを構成する全画素を決定したか否かを判定する。信号処理装置１００は、全画素を決定していない場合には、ステップ６７の処理に移る。信号処理装置１００は、全画素を決定した場合には、ステップ６８の処理に移る。
【００９４】
ステップ６７において、信号処理装置１００は、補間フレーム内において、対象画素をシフトする。すなわち、信号処理装置１００は、１画素毎に対象画素を順にシフトする。
【００９５】
ステップ６８において、信号処理装置１００は、複数の画素によって構成される補間フレームを生成する。すなわち、信号処理装置１００は、ステップ６５で決定された画素によって構成される補間フレームを生成する。
【００９６】
（作用及び効果）
第１実施形態では、比較部４４は、部分領域と一致度が最も高い探索領域である一致領域を特定する。検出部４５は、基準フレーム内における部分領域の位置と参照フレーム内における一致領域の位置とに基づいて、対象ブロックの動きベクトルを検出する。部分領域は、対象ブロックの一部である。
【００９７】
従って、対象ブロックを構成する全画素と探索ブロックを構成する全画素とを比較するケースに比べて、一致度の算出で比較する画素数が低減するため、処理負荷の低減を図ることができる。また、探索範囲内において探索領域をシフトする回数を低減しなくても、処理負荷の低減を図ることができる。
【００９８】
第１実施形態では、特定部４１は、候補領域シフト部４１ａ及び判定部４１ｂを有する。候補領域シフト部４１ａは、対象ブロック内において、候補領域を順にシフトする。判定部４１ｂは、候補領域のシフト毎に、候補領域の４隅を構成する画素に基づいて、候補領域を部分領域として特定するか否かを判定する。
【００９９】
従って、特定部４１は、処理負荷の軽減を図りながら、輝度変化を有する特徴的な領域を部分領域として特定することができる。これによって、対象ブロックの動きベクトルの検出精度が向上する。
【０１００】
第１実施形態では、判定部４１ｂは、対象ブロックの動きベクトルの履歴に基づいて、候補領域の４隅を構成する画素から、判定処理で用いる画素を選択する。すなわち、映像に含まれる物体画像の動き量に応じて、部分領域の特定に用いる画素が選択される。
【０１０１】
従って、特定部４１は、処理負荷の軽減を図りながら、輝度変化を有する特徴的な領域を部分領域として特定することができる。これによって、対象ブロックの動きベクトルの検出精度が向上する。
【０１０２】
第１実施形態では、判定部４１ｂは、候補領域を構成する複数の画素の分散値に基づいて、候補領域を部分領域として特定するか否かを判定する。
【０１０３】
従って、特定部４１は、輝度変化を有する特徴的な領域を部分領域として特定することができる。これによって、対象ブロックの動きベクトルの検出精度がさらに向上する。
【０１０４】
［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【０１０５】
例えば、候補領域のスコア（Ｓ）の算出方法は、スコアの算出方法１〜スコアの算出方法３に限定されるものではない。具体的には、候補領域から任意の画素を選択して、任意の画素に基づいて、候補領域のスコア（Ｓ）が算出されてもよい。
【０１０６】
上述した実施形態では、参照フレーム内において探索範囲を設定する設定部４２が設けられているが、探索範囲の設定は必須ではない。
【０１０７】
上述した実施形態では、特定部４１は、候補領域シフト部４１ａ及び判定部４１ｂを有するが、特定部４１の構成は、これに限定されるものではない。特定部４１は、対象ブロックを構成する複数の画素を用いていれば、他の方法によって部分領域を特定してもよい。
【図面の簡単な説明】
【０１０８】
【図１】第１実施形態に係る信号処理装置１００を示すブロック図である。
【図２】第１実施形態に係る動きベクトル検出部４０を示すブロック図である。
【図３】第１実施形態に係る補間フレームの生成を説明する図である。
【図４】第１実施形態に係る候補領域のシフトを説明する図である。
【図５】第１実施形態に係る部分領域の構成を説明する図である。
【図６】第１実施形態に係る対象ブロック及び部分領域の位置を示す図である。
【図７】第１実施形態に係る探索領域のシフトを説明する図である。
【図８】第１実施形態に係る信号処理装置１００の動作を示すフロー図である。
【図９】第１実施形態に係る信号処理装置１００の動作を示すフロー図である。
【図１０】第１実施形態に係る信号処理装置１００の動作を示すフロー図である。
【図１１】第１実施形態に係る信号処理装置１００の動作を示すフロー図である。
【図１２】第１実施形態に係る対象画素に適用する動きベクトルの取得方法を説明する図である。
【符号の説明】
【０１０９】
１０・・・入力信号受付部、２０・・・基準フレーム取得部、３０・・・参照フレーム取得部、４０・・・動きベクトル検出部、４１・・・特定部、４１ａ・・・候補領域シフト部、４１ｂ・・・判定部、４２・・・設定部、４３・・・探索領域シフト部、４４・・・比較部、４５・・・検出部、５０・・・補間フレーム生成部、６０・・・出力部、１００・・・信号処理装置
【図１】
0005114290.tif 000004
【図２】
0005114290.tif 000005
【図３】
0005114290.tif 000006
【図４】
0005114290.tif 000007
【図５】
0005114290.tif 000008
【図６】
0005114290.tif 000009
【図７】
0005114290.tif 000010
【図８】
0005114290.tif 000011
【図９】
0005114290.tif 000012
【図１０】
0005114290.tif 000013
【図１１】
0005114290.tif 000014
【図１２】
0005114290.tif 000015