(57)【特許請求の範囲】
【請求項１】
時間的に前後する第１のフレーム内または第２のフレーム内の画素データに基づいて、動きベクトルを検出する際の基点画素データを生成する基点画素生成部と、
前記基点画素生成部が前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第２のフレーム内の画素データに基づいて動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成し、前記基点画素生成部が前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成する探索範囲画素生成部と、
前記基点画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを前記基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返すように切り換える第１の切り換え部と、
前記探索範囲画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて前記探索範囲画素データを生成する状態と、前記第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて前記探索範囲画素データを生成する状態とを交互に繰り返すように切り換える第２の切り換え部と、
前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第１の動きベクトルとし、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第２の動きベクトルとする動きベクトル候補選択部と、
前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する相関比較部と、
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
時間的に前後する第１のフレーム内または第２のフレーム内の画素データに基づいて、動きベクトルを検出する際の基点画素データを生成する基点画素生成部と、
前記基点画素生成部が前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第２のフレーム内の画素データに基づいて動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成し、前記基点画素生成部が前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成する探索範囲画素生成部と、
前記基点画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを前記基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返すように切り換える第１の切り換え部と、
前記探索範囲画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態と、前記第２のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態とを交互に繰り返すように切り換える第２の切り換え部と、
前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第１の動きベクトルとし、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第２の動きベクトルとする動きベクトル候補選択部と、
前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する相関比較部と、
を備えることを特徴とする動きベクトル検出装置。
【請求項３】
前記相関比較部は、前記第１及び第２のフレームにおける２ラインの期間に１回、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較し、選択した動きベクトルを２ラインの期間連続して出力することを特徴とする請求項１または２に記載の動きベクトル検出装置。
【請求項４】
時間的に前後する第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを、動きベクトルを検出する際の基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返し、
前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて、動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成する状態と、前記第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて前記探索範囲画素データを生成する状態とを、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するよう交互に繰り返し、
前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第１の動きベクトルとして選択し、
前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第２の動きベクトルとして選択し、
前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する
ことを特徴とする動きベクトル検出方法。
【請求項５】
時間的に前後する第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを、動きベクトルを検出する際の基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返し、
前記第１のフレーム内の前記選択したラインの画素データに基づいて、動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成する状態と、前記第２のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態とを、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するよう交互に繰り返し、
前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第１の動きベクトルとして選択し、
前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第２の動きベクトルとして選択し、
前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する
ことを特徴とする動きベクトル検出方法。
【請求項６】
前記第１及び第２のフレームにおける２ラインの期間に１回、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較し、
選択した動きベクトルを２ラインの期間連続して出力する
ことを特徴とする請求項４または５に記載の動きベクトル検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の動きベクトルを検出する動きベクトル検出装置及び方法に関する。
【背景技術】
【０００２】
液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレート（フレーム周波数）を２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。映像信号のフレームレートを変換して画像表示する画像表示装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
【０００３】
動きベクトルは、連続するフレームの内の限られた複数のフレーム内の画素に基づいた推定によって検出されるものであり、誤検出なく動きベクトルを検出することは難しい。例えば、空間的に前に位置する前景の画像と空間的に後ろに位置する背景の画像との動きが異なる場合には、動きベクトルの誤検出が発生しやすい。このような場合における動きベクトルの検出精度を向上させる一手法が特許文献１に記載されている。特許文献１に記載の動きベクトル検出装置においては、前後のフレームのそれぞれを基点として動きベクトルを検出し、相関の強い方の動きベクトルを最終的な動きベクトルとする。これによって、動きベクトルの誤検出を低減させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−８２８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載のような前後のフレームのそれぞれを基点として動きベクトルを検出する構成では、動きベクトルを検出するための回路が２つ必要となり、回路規模が増大してコストアップとなってしまう。そこで、回路規模の増大を極力抑えることが求められる。
【０００６】
本発明はこのような要望に対応するため、回路規模の増大を抑えつつ、前後のフレームのそれぞれを基点として動きベクトルを検出することができる動きベクトル検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、時間的に前後する第１のフレーム内または第２のフレーム内の画素データに基づいて、動きベクトルを検出する際の基点画素データを生成する基点画素生成部と、前記基点画素生成部が前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第２のフレーム内の画素データに基づいて動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成し、前記基点画素生成部が前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成する探索範囲画素生成部と、前記基点画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを前記基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返すように切り換える第１の切り換え部と、前記探索範囲画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて前記探索範囲画素データを生成する状態と、前記第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて前記探索範囲画素データを生成する状態とを交互に繰り返すように切り換える第２の切り換え部と、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第１の動きベクトルとし、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第２の動きベクトルとする動きベクトル候補選択部と、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する相関比較部とを備えることを特徴とする動きベクトル検出装置を提供する。
【０００８】
また、本発明は、上述した従来の技術の課題を解決するため、時間的に前後する第１のフレーム内または第２のフレーム内の画素データに基づいて、動きベクトルを検出する際の基点画素データを生成する基点画素生成部と、前記基点画素生成部が前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第２のフレーム内の画素データに基づいて動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成し、前記基点画素生成部が前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する際には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成する探索範囲画素生成部と、前記基点画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを前記基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返すように切り換える第１の切り換え部と、前記探索範囲画素生成部が、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態と、前記第２のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態とを交互に繰り返すように切り換える第２の切り換え部と、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第１の動きベクトルとし、前記基点画素生成部が、前記第１の切り換え部による切り換えによって、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記探索範囲画素生成部が、前記第２の切り換え部による切り換えによって、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を選択して第２の動きベクトルとする動きベクトル候補選択部と、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力する相関比較部とを備えることを特徴とする動きベクトル検出装置を提供する。
【０００９】
上記のそれぞれの動きベクトル検出装置において、前記相関比較部は、前記第１及び第２のフレームにおける２ラインの期間に１回、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較し、選択した動きベクトルを２ラインの期間連続して出力することが好ましい。
【００１０】
さらに、本発明は、上述した従来の技術の課題を解決するため、時間的に前後する第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを、動きベクトルを検出する際の基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返し、前記第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて、動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成する状態と、前記第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて前記探索範囲画素データを生成する状態とを、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するよう交互に繰り返し、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第１の動きベクトルとして選択し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第２の動きベクトルとして選択し、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力することを特徴とする動きベクトル検出方法を提供する。
【００１１】
さらにまた、本発明は、上述した従来の技術の課題を解決するため、時間的に前後する第１及び第２のフレームにおける１ラインごとに、前記第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データを、動きベクトルを検出する際の基点画素データとして生成する状態と、前記第２のフレーム内の前記選択したラインの画素データを前記基点画素データとして生成する状態とを交互に繰り返し、前記第１のフレーム内の前記選択したラインの画素データに基づいて、動きベクトルを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データを生成する状態と、前記第２のフレーム内の前記選択したラインの画素データに基づいて前記探索範囲画素データを生成する状態とを、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成する場合には、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するよう交互に繰り返し、前記第１のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第２のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第１の動きベクトルとして選択し、前記第２のフレーム内の画素データに基づいて前記基点画素データを生成し、前記第１のフレーム内の画素データに基づいて前記探索範囲画素データを生成するとき、前記基点画素データの画素と前記探索範囲画素データのそれぞれの画素とを結ぶ複数の動きベクトル候補の中から相関値の最も高い動きベクトル候補を第２の動きベクトルとして選択し、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較して、相関値の高い方の動きベクトルを選択して出力することを特徴とする動きベクトル検出方法を提供する。
【００１２】
上記のそれぞれの動きベクトル検出方法において、前記第１及び第２のフレームにおける２ラインの期間に１回、前記第１の動きベクトルが選択されたときの相関値と前記第２の動きベクトルが選択されたときの相関値とを比較し、選択した動きベクトルを２ラインの期間連続して出力することが好ましい。
【発明の効果】
【００１３】
本発明の動きベクトル検出装置及び方法によれば、回路規模の増大を抑えつつ、前後のフレームのそれぞれを基点として動きベクトルを検出することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の動きベクトル検出装置の第１実施形態を示すブロック図である。
【図２】図１における各部の画素データをライン単位で示す図である。
【図３】図１における基点画素生成部５の具体的な構成例を示すブロック図である。
【図４】図１における探索範囲画素生成部６の具体的な構成例を示すブロック図である。
【図５】図１におけるフレームｆ０内の画素データに基づいて基点画素データを生成し、フレームｆ１内の画素データに基づいて探索範囲画素データを生成した場合の各画素データの平面的な位置関係を示す図である。
【図６】図１におけるフレームｆ１内の画素データに基づいて基点画素データを生成し、フレームｆ０内の画素データに基づいて探索範囲画素を生成した場合の各画素データの平面的な位置関係を示す図である。
【図７】図１における動きベクトル候補選択部７で動きベクトルＭＶ０，ＭＶ１を生成する際の動作を説明するための図である。
【図８】図１における相関比較部８の具体的な構成例を示すブロック図である。
【図９】図８に示す相関比較部８の動作を説明するための図である。
【図１０】本発明の動きベクトル検出装置の第２実施形態を示すブロック図である。
【図１１】図１０における各部の画素データをライン単位で示す図である。
【図１２】図１０におけるフレームｆ１内の画素データに基づいて基点画素データを生成し、フレームｆ０内の画素データに基づいて探索範囲画素データを生成した場合の各画素データの平面的な位置関係を示す図である。
【図１３】図１０における動きベクトル候補選択部７で動きベクトルＭＶ０，ＭＶ１を生成する際の動作を説明するための図である。
【図１４】本発明の動きベクトル検出装置の第３，第４実施形態を示す部分ブロック図である。
【図１５】図１４におけるフレームメモリ１２に対する画素データの書き込み動作を示す図である。
【図１６】第３実施形態においてフレームｆ０が偶数フレームの場合の図１４の各部の画素データをライン単位で示す図である。
【図１７】第３実施形態においてフレームｆ０が奇数フレームの場合の図１４の各部の画素データをライン単位で示す図である。
【図１８】第４実施形態においてフレームｆ０が偶数フレームの場合の図１４の各部の画素データをライン単位で示す図である。
【図１９】第４実施形態においてフレームｆ０が奇数フレームの場合の図１４の各部の画素データをライン単位で示す図である。
【図２０】第１，第３実施形態の動きベクトル検出方法を説明するための概念図である。
【図２１】第２，第４実施形態の動きベクトル検出方法を説明するための概念図である。
【発明を実施するための形態】
【００１５】
以下、本発明の動きベクトル検出装置及び方法の各実施形態について、添付図面を参照して説明する。図１，図１０は、動きベクトル検出装置を備えるフレームレート変換装置を例としている。
【００１６】
＜第１実施形態＞
図１において、入力された映像信号Ｓinの各画素データは、フレームメモリ１と、スイッチ３，４と、補間画素生成部９と、フレーム周波数変換部１０とに順次入力される。フレームメモリ１は、入力された画素データを１フレーム期間遅延させて出力する。映像信号Ｓinの現在のフレームをフレームｆ０、フレームメモリ１より出力された１フレーム過去のフレームをフレームｆ１とする。フレームメモリ１より出力されたフレームｆ１の各画素データは、ラインメモリ２とスイッチ４と補間画素生成部９とに順次入力される。
【００１７】
ラインメモリ２は、入力されたフレームｆ１の各ラインの画素データを１ライン期間遅延させて、フレームｆ１’として出力する。フレームｆ１とフレームｆ１’とは１ラインずれた状態である。
【００１８】
スイッチ３の端子ａにはフレームｆ０の各画素データが入力され、スイッチ３の端子ｂにはラインメモリ２より出力されたフレームｆ１’の各画素データが入力される。スイッチ４の端子ｃにはフレームｆ０の各画素データが入力され、スイッチ４の端子ｄにはフレームｆ１の各画素データが入力される。
【００１９】
スイッチ３は、１ラインごとに端子ａ，ｂを切り換えて画素データｆ01を出力する。スイッチ４は、１ラインごとに端子ｃ，ｄを切り換えて画素データｆ10を出力する。図１に示すように、スイッチ３がフレームｆ０の画素データを択して出力する端子ａに接続しているときには、スイッチ４はフレームｆ１の画素データを択して出力する端子ｄに接続する。スイッチ３がフレームｆ１’の画素データを択して出力する端子ｂに接続しているときには、スイッチ４はフレームｆ０の画素データを択して出力する端子ｃに接続する。
【００２０】
図２を用いて、スイッチ３，４より出力される画素データｆ01，ｆ10について説明する。図２において、Ｔａ，Ｔｂ，Ｔｃ…は、それぞれのラインのタイミングを示している。図２（Ａ）に示すf0-1，f0-2，f0-3…はフレームｆ０の画素データをライン単位で示している。図２（Ｂ）に示すf1-1，f1-2，f1-3…はフレームｆ１の画素データをライン単位で示している。図２（Ｃ）に示すフレームｆ１’の各ラインは、図２（Ｂ）に対して１ラインずれている。
【００２１】
スイッチ３は端子ａ，ｂを１ラインごとに交互に選択するので、それぞれのラインの画素データｆ01は図２（Ｄ）に示すように出力される。スイッチ４は端子ｃ，ｄを、スイッチ３が端子ａに接続するときは端子ｄに接続し、スイッチ３が端子ｂに接続するときは端子ｃに接続するよう、１ラインごとに交互に選択するので、それぞれのラインの画素データｆ10は図２（Ｅ）に示すように出力される。
【００２２】
第１実施形態においては、図２（Ｄ）より分かるように、スイッチ３より出力される画素データｆ01は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。また、図２（Ｅ）より分かるように、スイッチ４より出力される画素データｆ10は、フレームｆ０の偶数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。
【００２３】
画素データｆ01を、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列とし、画素データｆ10を、フレームｆ０の奇数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。第１実施形態では、画素データｆ01を生成する際、フレームｆ０，ｆ１における奇数ラインと偶数ラインの内、奇数ラインを特定のラインとして選択したが、偶数ラインを特定のラインとして選択してもよい。即ち、画素データｆ01を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。
【００２４】
スイッチ３より出力された画素データｆ01は基点画素生成部５に入力され、スイッチ４より出力された画素データｆ10は探索範囲画素生成部６に入力される。基点画素生成部５は、図３に示すように、ラインメモリ５１，５２と、画素遅延器であるフリップフロップ（ＦＦ）５３，５４とを備える。図２（Ｄ）に示すそれぞれのラインの画素データｆ01は、ラインメモリ５１，５２によって１ラインずつ順次遅延され、ラインメモリ５２の出力がＦＦ５３，５４によって１画素ずつ順次遅延される。
【００２５】
ＦＦ５４より出力される画素データは、タイミングＴｅではf0-3-3となり、タイミングＴｆではf1-3-3となる。ＦＦ５４より出力される画素データが、動きベクトルを検出する際の基点画素データとなる。f0-3-3，f1-3-3のように示している画素データの最初のf0またはf1は、フレームｆ０内の画素データであるか、フレームｆ１内の画素データであるかを示している。１つ目のハイフンに続く数字（ここでは3）は、ラインの位置（垂直方向の位置）を示している。２つ目のハイフンに続く数字（ここでは3）は、画素の位置（水平方向の位置）を示している。
【００２６】
探索範囲画素生成部６は、図４に示すように、ラインメモリ６０１〜６０４とＦＦ６０５〜６１６とを備える。図２（Ｅ）に示すそれぞれのラインの画素データｆ10は、ラインメモリ６０１〜６０４によって１ラインずつ順次遅延される。また、画素データｆ10は、ＦＦ６０５〜６０８によって１画素ずつ順次遅延される。ラインメモリ６０２より出力された画素データは、ＦＦ６０９〜６１２によって１画素ずつ順次遅延される。ラインメモリ６０４より出力された画素データは、ＦＦ６１３〜６１６によって１画素ずつ順次遅延される。
【００２７】
図４に示す探索範囲画素生成部６は、動きベクトルの探索範囲を水平方向及び垂直方向に５画素ずつ、即ち、２５画素を探索範囲とした例を示している。ここでは簡略化のため、水平方向及び垂直方向に５画素ずつを動きベクトルの探索範囲としているが、実際にはさらに多くの画素数が探索範囲となる。水平方向と垂直方向の探索範囲の画素数が異なる場合もある。
【００２８】
タイミングＴeにおいて、入力された画素データｆ10を画素データf1-5-5とすると、ＦＦ６０５〜６０８より出力される画素データはf1-5-4〜f1-5-1となる。ラインメモリ６０２より出力される画素データはf1-3-5、ＦＦ６０９〜６１２より出力される画素データはf1-3-4〜f1-3-1となる。ラインメモリ６０４より出力される画素データはf1-1-5、ＦＦ６１３〜６１６より出力される画素データはf1-1-4〜f1-1-1となる。
【００２９】
タイミングＴｆにおいては、入力された画素データｆ10を画素データf0-6-5とすると、ＦＦ６０５〜６０８より出力される画素データはf0-6-4〜f0-6-1となる。ラインメモリ６０２より出力される画素データはf0-4-5、ＦＦ６０９〜６１２より出力される画素データはf0-4-4〜f0-4-1となる。ラインメモリ６０４より出力される画素データはf0-2-5、ＦＦ６１３〜６１６より出力される画素データはf0-2-4〜f0-2-1となる。
【００３０】
タイミングＴｅにおいて、図３に示す基点画素生成部５より出力される画素データf0-3-3の平面的な位置は図５（Ａ）に示す位置であり、図４に示す探索範囲画素生成部６より出力される画素データf1-1-1〜f1-１-5,f1-3-1〜f1-3-5,f1-5-1〜f1-5-5の平面的な位置は図５（Ｂ）に示す位置である。画素データf0-3-3と画素データf1-3-3とは、同じ平面的な位置にある。
【００３１】
タイミングＴｆにおいて、図３に示す基点画素生成部５より出力される画素データf1-3-3の平面的な位置は図６（Ａ）に示す位置であり、図４に示す探索範囲画素生成部６より出力される画素データf0-2-1〜f0-2-5,f0-4-1〜f0-4-5,f0-6-1〜f0-6-5の平面的な位置は図６（Ｂ）に示す位置である。上記のように、動きベクトルの探索範囲は水平方向及び垂直方向に５画素ずつであるので、破線にて囲んだ画素データf0-6-1〜f0-6-5は使用されない。
【００３２】
図１に戻り、基点画素生成部５より出力される基点画素となる画素データを基点画素データｆctrとし、探索範囲画素生成部６より出力される動きベクトルの探索範囲の画素データを探索範囲画素データｆmvsとする。基点画素データｆctr及び探索範囲画素データｆmvsは、動きベクトル候補選択部７に入力される。動きベクトル候補選択部７は、基点画素データｆctrと探索範囲画素データｆmvsにおけるそれぞれの画素データとの差分を求め、最も差分の小さい、即ち、最も相関の高い動きベクトル候補を選択する。
【００３３】
具体的には、フレームｆ０内の画素データが基点画素データｆctrとなっている場合には、タイミングＴａの場合を例にすると、動きベクトル候補選択部７は、図７（Ａ）に示すように、フレームｆ０の画素データf0-3-3と、フレームｆ１の画素データf1-1-1〜f1-１-5,f1-3-1〜f1-3-5,f1-5-1〜f1-5-5それぞれとの差分を求める。そして、動きベクトル候補選択部７は、画素データf0-3-3の画素から画素データf1-1-1〜f1-１-5,f1-3-1〜f1-3-5,f1-5-1〜f1-5-5それぞれの画素へと向かう動きベクトル候補ＭＶc0の中から、最も相関の高い動きベクトル候補を選択する。選択した動きベクトル候補を動きベクトルＭＶ０とする。
【００３４】
また、フレームｆ１内の画素データが基点画素データｆctrとなっている場合には、タイミングＴｂの場合を例にすると、動きベクトル候補選択部７は、図７（Ｂ）に示すように、フレームｆ１の画素データf1-3-3と、フレームｆ０の画素データf0-2-1〜f0-2-5,f0-4-1〜f0-4-5それぞれとの差分を求める。そして、動きベクトル候補選択部７は、画素f1-3-3の画素から画素データf0-2-1〜f0-2-5,f0-4-1〜f0-4-5それぞれの画素へと向かう動きベクトル候補ＭＶc1の中から、最も相関の高い動きベクトル候補を選択する。選択した動きベクトル候補を動きベクトルＭＶ１とする。
【００３５】
図７（Ａ），（Ｂ）においては、簡略化のため、動きベクトル候補ＭＶc0，ＭＶc1の内の一部のみを示している。また、図７（Ａ），（Ｂ）では、フレームｆ０内の画素データを基点画素データｆctrとした場合と、フレームｆ１内の画素データを基点画素データｆctrとした場合とで、探索範囲画素データｆmvsがライン方向にずれていることを理解しやすいよう、基点画素データｆctrが含まれるフレームを左側に揃えて図示している。図７（Ａ）では時間は左から右へと経過し、図７（Ｂ）では時間は右から左へと経過している。
【００３６】
図４に示すラインメモリ６０１〜６０４は、図７（Ａ），（Ｂ）に示す動きベクトル候補ＭＶc0，ＭＶc1の探索範囲の垂直方向のライン数Ｌｖを決める。探索範囲画素生成部６内のラインメモリの数は、動きベクトル候補ＭＶc0，ＭＶc1の探索範囲の垂直方向のライン数Ｌｖに応じて設定する。図３に示すラインメモリ５１，５２は、基点画素データｆctrを探索範囲の垂直方向の半分のラインＬctrだけずらして、基点画素データｆctrを探索範囲の垂直方向の中央に位置させる。基点画素生成部５内のラインメモリの数も、動きベクトル候補ＭＶc0，ＭＶc1の探索範囲の垂直方向のライン数Ｌｖに応じて設定する。
【００３７】
図３と図４とを比較すれば明らかなように、基点画素生成部５内のラインメモリの数は、探索範囲画素生成部６内のラインメモリの数の半分となる。
【００３８】
動きベクトル候補選択部７からは動きベクトルＭＶ０と動きベクトルＭＶ１とがラインごとに交互に出力される。動きベクトル候補選択部７より出力された動きベクトルＭＶ０，ＭＶ１は、相関比較部８に入力される。
【００３９】
図８，図９を用いて、相関比較部８の具体的構成及び動作について説明する。図８において、動きベクトルＭＶ０，ＭＶ１は、図９（Ａ）に示すように、ラインごとに交互に出力される。２ラインの期間に１回出力される動きベクトルＭＶ０を順にMV0(1),MV0(2),MV0(3),MV0(4)…とし、２ラインの期間に１回出力される動きベクトルＭＶ１を順にMV1(1),MV1(2),MV1(3),MV1(4)…とする。動きベクトルＭＶ０，ＭＶ１は分離部８１に入力される。分離部８１は、ラインごとに動きベクトルＭＶ０と動きベクトルＭＶ１とを交互に選択して、図９（Ｂ）に示すように動きベクトルＭＶ０と動きベクトルＭＶ１とを分離する。
【００４０】
分離部８１より出力された動きベクトルＭＶ０はラインメモリ８２に入力されて１ライン期間遅延されて、比較選択器８３に入力される。動きベクトルＭＶ１は比較選択器８３に入力される。図９（Ｃ）は、比較選択器８３に入力される１ライン期間遅延された動きベクトルＭＶ０と、動きベクトルＭＶ１とを示している。比較選択器８３に入力される動きベクトルＭＶ０，ＭＶ１は両者のタイミングが揃えられている。
【００４１】
比較選択器８３は、動きベクトルＭＶ０と動きベクトルＭＶ１とを比較して、相関が高い方の動きベクトルを選択して出力する。図９（Ｄ）は、比較選択器８３が選択して出力した動きベクトルの例を示している。動きベクトルＭＶ０であるMV0(1),MV0(2),MV0(3)が連続して選択された後、動きベクトルＭＶ１であるMV1(4),MV1(5)が連続して選択された状態を示している。比較選択器８３より出力された動きベクトルはラインメモリ８４及びトグルスイッチ８５に入力される。
【００４２】
ラインメモリ８４は入力された動きベクトルを１ライン期間遅延させる。トグルスイッチ８５は、比較選択器８３より出力された動きベクトルと、ラインメモリ８４より出力された１ライン期間遅延された動きベクトルとを交互に選択して、図９（Ｅ）に示す動きベクトルＭＶを出力する。
【００４３】
このように、相関比較部８は、２ラインの期間に１回、動きベクトルＭＶ０と動きベクトルＭＶ１とを比較し、より相関が高いと判断した動きベクトルＭＶ０と動きベクトルＭＶ１との一方の動きベクトルを２ラインの期間連続させて、動きベクトルＭＶとして出力する。動きベクトルＭＶは、補間画素生成部９に入力される。
【００４４】
補間画素生成部９は、特に図示しないが、複数のラインメモリ及び複数のＦＦを備え、入力されたフレームｆ０の画素データとフレームｆ１の画素データとを水平方向及び垂直方向に遅延させて、補間画素データを生成するための水平及び垂直方向の所定範囲の画素データを生成する。そして、補間画素生成部９は、入力された動きベクトルＭＶに基づいて、フレームｆ０内の複数の画素データとフレームｆ１内の複数の画素データの中からそれぞれ画素データを選択して、両者を平均して補間画素データＰｉを生成する。
【００４５】
補間画素生成部９には、フレームｆ０，ｆ１における各画素データが順次入力されるので、補間画素生成部９からはフレームｆ０，ｆ１間に内挿するそれぞれの補間フレームを構成する各補間画素データＰｉが順次生成されることになる。補間画素生成部９より出力される補間画素データＰｉより構成される補間フレームを補間フレームｆ0.5とする。
【００４６】
フレーム周波数変換部１０には、フレームｆ０の各画素データと補間フレームｆ0.5の各画素データ（補間画素データＰｉ）とが入力される。フレーム周波数変換部１０は、補間フレームｆ0.5とフレームｆ０とをこの順で、入力された映像信号Ｓinの２倍のフレーム周波数で交互に出力する。これによって、フレーム周波数変換部１０は、フレームｆ０，ｆ１間に補間フレームが内挿され、映像信号Ｓinの２倍のフレーム周波数である映像信号Ｓoutを出力する。
【００４７】
以上説明したように、第１実施形態の動きベクトル検出装置における各構成は次のように動作している。基点画素生成部５は、時間的に前後する第１のフレーム（フレームｆ０）内または第２のフレーム（フレームｆ１）内の画素データに基づいて、動きベクトルＭＶを検出する際の基点画素データｆctrを生成する。探索範囲画素生成部６は、基点画素生成部５が第１のフレーム内の画素データに基づいて基点画素ｆctrを生成する際には、第２のフレーム内の画素データに基づいて、基点画素生成部５が第２のフレーム内の画素データに基づいて基点画素データｆctrを生成する際には、第１のフレーム内の画素データに基づいて、動きベクトルＭＶを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データｆmvsを生成する。
【００４８】
スイッチ３は、基点画素生成部５が、第１及び第２のフレームにおける１ラインごとに、第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データに基づいて基点画素データｆctrを生成する状態と、第２のフレーム内の選択したラインの画素データに基づいて基点画素ｆctrを生成する状態とを交互に繰り返すように切り換える第１の切り換え部として動作している。
【００４９】
スイッチ４は、探索範囲画素生成部６が、第１及び第２のフレームにおける１ラインごとに、第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態と、第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態とを交互に繰り返すように切り換える第２の切り換え部として動作している。
【００５０】
動きベクトル候補選択部７は、基点画素生成部５が、第１の切り換え部による切り換えによって、第１のフレーム内の画素データに基づいて基点画素データｆctrを生成し、探索範囲画素生成部６が、第２の切り換え部による切り換えによって、第２のフレーム内の画素データに基づいて探索範囲画素ｆmvsを生成するとき、基点画素データｆctrと探索範囲画素データｆmvsのそれぞれの画素データとを結ぶ複数の動きベクトル候補ＭＶc0の中から最も相関の高い動きベクトル候補を選択して動きベクトルＭＶ０（第１の動きベクトル）とする。
【００５１】
また、動きベクトル候補選択部７は、基点画素生成部５が、第１の切り換え部による切り換えによって、第２のフレーム内の画素データに基づいて基点画素データｆctrを生成し、探索範囲画素生成部６が、第２の切り換え部による切り換えによって、第１のフレーム内の画素データに基づいて探索範囲画素データｆmvsを生成するとき、基点画素データｆctrと探索範囲画データｆmvsのそれぞれの画素データとを結ぶ複数の動きベクトル候補ＭＶc1の中から最も相関の高い動きベクトル候補を選択して動きベクトルＭＶ１（第２の動きベクトル）とする。
【００５２】
相関比較部８は、動きベクトルＭＶ０と動きベクトルＭＶ１とを比較して相関の高い方の動きベクトルを選択し、動きベクトルＭＶとして出力する。
【００５３】
以上の説明より分かるように、第１実施形態によれば、前後のフレームであるフレームｆ０，ｆ１のそれぞれを基点として動きベクトルＭＶ０，ＭＶ１を検出することができ、相関の強い方の動きベクトルを最終的な動きベクトルＭＶとすることができる。従って、動きベクトルＭＶの誤検出を大幅に低減させることができる。第１実施形態によれば、動きベクトルを検出するための回路は１つでよく、回路規模の増大はごくわずかであるので、ほとんどコストアップとなることはない。
【００５４】
第１実施形態によれば、垂直方向の動きベクトルＭＶにおける奇数ベクトルと偶数ベクトルの一方が省かれることになる。しかしながら、画素を垂直方向に１／２に間引いて動きベクトルを検出することは通常よく行われている。第１実施形態は、画素を垂直方向に１／２に間引いて動きベクトルを検出する動きベクトル検出装置と比較すると、動きベクトルの検出能力は同じとなる。従って、奇数ベクトルと偶数ベクトルの一方が省かれることは実質的には問題とならない。
【００５５】
＜第２実施形態＞
図１０を用いて第２実施形態について説明する。図１０において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図１０においては、フレームｆ０の各画素データがラインメモリ２に入力され、ラインメモリ２は、フレームｆ０の各ラインの画素データを１ライン期間遅延させて、フレームｆ０’として出力する。
【００５６】
スイッチ３の端子ａにはフレームｆ０の各画素データが入力され、スイッチ３の端子ｂにはフレームｆ１の各画素データが入力される。スイッチ４の端子ｃにはラインメモリ２より出力されたフレームｆ０’の各画素データが入力され、スイッチ４の端子ｄにはフレームｆ１の各画素データが入力される。
【００５７】
スイッチ３，４は、図１と同様に、１ラインごとに端子ａ，ｂを切り換えて画素データｆ01を出力し、１ラインごとに端子ｃ，ｄを切り換えて画素データｆ10を出力する。図１におけるスイッチ３，４と図１０におけるスイッチ３，４とでは、入力される画素データが異なるので、画素データｆ01，ｆ10として出力される画素データ列が異なることになる。
【００５８】
図１１を用いて、スイッチ３，４より出力される画素データｆ01，ｆ10について説明する。図１１（Ａ）に示すf0-1，f0-2，f0-3…はフレームｆ０の画素データをライン単位で示している。図１１（Ｂ）に示すフレームｆ０’の各ラインは、図２（Ａ）に対して１ラインずれている。図２（Ｃ）に示すf1-1，f1-2，f1-3…はフレームｆ１の画素データをライン単位で示している。
【００５９】
スイッチ３は端子ａ，ｂを１ラインごとに交互に選択するので、それぞれのラインの画素データｆ01は図１１（Ｄ）に示すように出力される。スイッチ４は端子ｃ，ｄを、スイッチ３が端子ａに接続するときは端子ｄに接続し、スイッチ３が端子ｂに接続するときは端子ｃに接続するよう、１ラインごとに交互に選択するので、それぞれのラインの画素データｆ10は図１１（Ｅ）に示すように出力される。
【００６０】
第２実施形態においては、図１１（Ｄ）より分かるように、スイッチ３より出力される画素データｆ01は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。また、図１１（Ｅ）より分かるように、スイッチ４より出力される画素データｆ10は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。
【００６１】
画素データｆ01を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列とし、画素データｆ10を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。
【００６２】
図１０における基点画素生成部５及び探索範囲画素生成部６以降の各部の動作は図１と同じである。第２実施形態においては、スイッチ３より出力される画素データｆ01が図１１（Ｄ）に示す画素データ列、スイッチ４より出力される画素データｆ10図１１（Ｅ）に示す画素データ列となるので、基点画素生成部５より出力される基点画素データｆctrと探索範囲画素生成部６より出力される探索範囲画素データｆmvsとの位置関係は次の通りとなる。
【００６３】
例えばタイミングＴａでは、第１実施形態と同じ図５（Ａ），（Ｂ）に示す位置関係となる。タイミングＴｂでは、第１実施形態で説明した図６（Ａ），（Ｂ）に示す位置関係ではなく、図１２（Ａ），（Ｂ）に示す位置関係となる。
【００６４】
従って、第２実施形態においては、フレームｆ０内の画素データが基点画素データｆctrとなっている場合には、タイミングＴａの場合を例にすると、動きベクトル候補選択部７は、図１３（Ａ）に示すように、フレームｆ０の画素データf0-3-3と、フレームｆ１の画素データf1-1-1〜f1-１-5,f1-3-1〜f1-3-5,f1-5-1〜f1-5-5それぞれとの差分を求める。そして、動きベクトル候補選択部７は、画素データf0-3-3の画素から画素データf1-1-1〜f1-１-5,f1-3-1〜f1-3-5,f1-5-1〜f1-5-5それぞれの画素へと向かう動きベクトル候補ＭＶc0の中から、最も相関の高い動きベクトル候補を選択する。選択した動きベクトル候補を動きベクトルＭＶ０とする。
【００６５】
また、フレームｆ１内の画素データが基点画素データｆctrとなっている場合には、タイミングＴｂの場合を例にすると、動きベクトル候補選択部７は、図１３（Ｂ）に示すように、フレームｆ１の画素データf1-3-3と、フレームｆ１の画素データf0-1-1〜f0-１-5,f0-3-1〜f0-3-5,f0-5-1〜f0-5-5それぞれとの差分を求める。そして、動きベクトル候補選択部７は、画素f1-3-3の画素から画素データf0-1-1〜f0-１-5,f0-3-1〜f0-3-5,f0-5-1〜f0-5-5それぞれの画素へと向かう動きベクトル候補ＭＶc1の中から、最も相関の高い動きベクトル候補を選択する。選択した動きベクトル候補を動きベクトルＭＶ１とする。
【００６６】
このように、第２実施形態においては、フレームｆ０内の画素データを基点画素データｆctrとする場合と、フレームｆ１内の画素データを基点画素データｆctrとする場合のいずれの場合も、動きベクトル候補ＭＶc0，ＭＶc1の探索範囲の垂直方向において、奇数ラインまたは偶数ラインの一方のみの画素データを用いて動きベクトルＭＶ０，ＭＶ１を検出する。
【００６７】
以上説明したように、第２実施形態の動きベクトル検出装置における各構成は次のように動作している。第１実施形態の動きベクトル検出装置と異なる点についてのみ説明すると、スイッチ４は、探索範囲画素生成部６が、基点画素生成部５で選択したラインと同じである第１のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態と、第２のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態とを交互に繰り返すように切り換える第２の切り換え部として動作している。
【００６８】
第２実施形態によれば、フレームｆ０内の画素データを基点画素データｆctrとする場合と、フレームｆ１内の画素データを基点画素データｆctrとする場合の双方で、垂直方向の動きベクトルＭＶにおける奇数ベクトルと偶数ベクトルの一方が省かれることになる。図１３の例では、奇数ベクトルが省かれるので、フレームｆ０内の画素データを基点画素データｆctrとする場合と、フレームｆ１内の画素データを基点画素データｆctrとする場合も、垂直方向の奇数の動きを検出することができない。偶数ベクトルを省けば、垂直方向の偶数の動きを検出することができなくなる。
【００６９】
しかしながら、第２実施形態によれば、フレームｆ０内の画素データを基点画素データｆctrとする場合と、フレームｆ１内の画素データを基点画素データｆctrとする場合の双方で、垂直方向の偶数または奇数の一方の動きを検出することできる。従って、第２実施形態によれば、垂直方向の偶数または奇数の動きの一方については、第１実施形態よりも精度よく検出することが可能となる。第２実施形態においても、奇数ベクトルと偶数ベクトルの一方が省かれることは実質的には問題とならない。
【００７０】
＜第３実施形態＞
図１４を用いて第３実施形態について説明する。図１４に示す第３実施形態は、図１におけるフレームメモリ１の代わりに２フレーム分の容量を有するフレームメモリ１２を用い、ラインメモリ２を削除して、画素データの読み出し方を工夫することによって、基点画素生成部５を省略するようにしたものである。
【００７１】
図１４において、フレームｆ０の各画素データはスイッチ１１に入力される。スイッチ１１は図１４で新たに設けられたものである。フレームメモリ１２はそれぞれ１フレーム分の容量を有するエリアＡとエリアＢとを有する。スイッチ１１は、１フレームごとに端子ｅ，ｆを交互に切り換える。従って、エリアＡとエリアＢは、２フレームに１回、書き込まれる画素データが更新されることになる。
【００７２】
フレームメモリ１２の出力段にはスイッチ１３，１４が設けられている。スイッチ１３，１４は図１におけるスイッチ３，４の代わりに用いられる。スイッチ１３の端子ｇにはエリアＡから出力された画素データｆＡ’が入力され、端子ｈにはエリアＢから出力された画素データｆＢ’が入力される。スイッチ１４の端子ｉにはエリアＡから出力された画素データｆＡが入力され、端子ｊにはエリアＢから出力された画素データｆＢが入力される。
【００７３】
スイッチ１３は１ラインごとに端子ｇ，ｈを交互に選択することにより、フレームｆ０，ｆ１のいずれも奇数ラインを読み出して画素データｆ01を出力する。スイッチ１４は１ラインごとに端子ｉ，ｊを交互に選択することにより、フレームｆ０では偶数ライン、フレームｆ１では奇数ラインを読み出して画素データｆ10を出力する。スイッチ１３が端子ｇに接続しているとき、スイッチ１４は端子ｊに接続し、スイッチ１３が端子ｇに接続しているとき、スイッチ１４は端子ｉに接続する。
【００７４】
図１５は、フレームメモリ１２のエリアＡとエリアＢに書き込まれるフレームの状態を示している。図１５（Ａ）に示すようにフレームｆ０が１，２，３…と進行していく。図１５（Ｂ）に示すように、フレームｆ０が１，３，５…のとき、エリアＡに画素データが書き込まれる。図１５（Ｃ）に示すように、フレームｆ０が２，４，６…のとき、エリアＢに画素データが書き込まれる。エリアＡ，Ｂは、２フレームの期間、それぞれの画素データを保持している。
【００７５】
図１４において、画素データｆＡ’，ｆＢ’は、エリアＡ，Ｂにフレームｆ０の画素データが書き込まれるタイミングでは、画素データｆＡ，ｆＢと同じラインを出力し、フレームｆ０の画素データが書き込まれないタイミングでは、画素データｆＡ，ｆＢと１ライン遅延させたラインを出力する。この画素データｆＡ’，ｆＢ’の出力制御は、フレームメモリ１２に対するアドレス制御や、ラインメモリ及びセレクタを用いることによって容易に実現できる。
【００７６】
図１６は、フレームｆ０が２，４，６…のときの画素データｆＡ，ｆＡ’，ｆＢ，ｆＢ’，ｆ01，ｆ10の状態を示している。フレームｆ０が２，４，６…のときには、図１５に示すように、エリアＡにはフレームｆ０の画素データが書き込まれず、エリアＢにフレームｆ０の画素データが書き込まれる。従って、図１６（Ａ），（Ｂ）に示すように、画素データｆＡ’は画素データｆＡに対して１ライン遅延されており、図１６（Ｃ），（Ｄ）に示すように、画素データｆＢ’は画素データｆＢと同じラインとなる。
【００７７】
スイッチ１３が１ラインごとに端子ｇ，ｈを交互に選択し、これに合わせて、スイッチ１４が端子ｊ，ｉを交互に選択するので、スイッチ１３より出力される画素データｆ01は図１６（Ｅ）となり、スイッチ１４より出力される画素データｆ10は図１６（Ｆ）となる。
【００７８】
図１７は、フレームｆ０が３，５，７…のときの画素データｆＡ，ｆＡ’，ｆＢ，ｆＢ’，ｆ01，ｆ10の状態を示している。フレームｆ０が３，５，７…のときには、図１５に示すように、エリアＡにフレームｆ０の画素データが書き込まれ、エリアＢにはフレームｆ０の画素データが書き込まれない。従って、図１７（Ａ），（Ｂ）に示すように、画素データｆＡ’は画素データｆＡと同じラインとなり、図１７（Ｃ），（Ｄ）に示すように、画素データｆＢ’は画素データｆＢに対して１ライン遅延されている。
【００７９】
スイッチ１３が１ラインごとに端子ｇ，ｈを交互に選択し、これに合わせて、スイッチ１４が端子ｊ，ｉを交互に選択するので、スイッチ１３より出力される画素データｆ01は図１７（Ｅ）となり、スイッチ１４より出力される画素データｆ10は図１７（Ｆ）となる。
【００８０】
このように、第３実施形態においては、スイッチ１３より出力される画素データｆ01は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となり、スイッチ１４より出力される画素データｆ10は、フレームｆ０の偶数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。
【００８１】
第３実施形態においても、画素データｆ01を、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列とし、画素データｆ10を、フレームｆ０の奇数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。画素データｆ01を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。
【００８２】
第３実施形態においては、フレームメモリ１２から、図１における基点画素生成部５より出力される基点画素データｆctrに相当する画素データを直接読み出すことができるので、基点画素生成部５を省略することができる。探索範囲画素生成部６，動きベクトル候補選択部７，相関比較部８，補間画素生成部９，フレーム周波数変換部１０の動作は図１と同じであり、説明を省略する。第３実施形態においても、第１実施形態と同様の効果を奏する。
【００８３】
第３実施形態においては、図１４に示すフレームメモリ１２とを用い、フレームメモリ１２からの読み出し制御によって、基点画素生成部５と実質的に同様の動作を行っている。従って、フレームメモリ１２が、時間的に前後する第１のフレーム（フレームｆ０）内または第２のフレーム（フレームｆ１）内の画素に基づいて、動きベクトルＭＶを検出する際の基点画素データｆctrを生成する基点画素生成部として動作していることになる。
【００８４】
スイッチ１３が、第１及び第２のフレームにおける１ラインごとに、第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データに基づいて基点画素データｆctrを生成する状態と、第２のフレーム内の選択したラインの画素データに基づいて基点画素ｆctrを生成する状態とを交互に繰り返すように切り換える第１の切り換え部として動作している。
【００８５】
スイッチ１４が、第１及び第２のフレームにおける１ラインごとに、第１のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態と、第２のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて探索範囲画データｆmvsを生成する状態とを交互に繰り返すように切り換える第２の切り換え部として動作している。
【００８６】
＜第４実施形態＞
第４実施形態は、回路構成としては第３実施形態と同じであり、スイッチ１４による画素データの読み出しを第３実施形態とは異ならせることによって、第２実施形態と実質的に同等の構成にしたものである。第４実施形態においては、図１４におけるスイッチ１４は、フレームｆ０，ｆ１のいずれも奇数ラインを読み出して画素データｆ10を出力する。
【００８７】
第４実施形態においては、画素データｆＡ，ｆＢ，ｆＡ’，ｆＢ’は、エリアＡ，Ｂにフレームｆ０の画素データが書き込まれるタイミングでは、画素データｆＡ，ｆＢを１ライン遅延させて出力し、画素データｆＡ’，ｆＢ’をライン遅延なしで出力する。エリアＡ，Ｂにフレームｆ０の画素データが書き込まれないタイミングでは、画素データｆＡ，ｆＢをライン遅延なしで出力し、画素データｆＡ’，ｆＢ’を１ライン遅延させて出力する。この画素データｆＡ，ｆＢ，ｆＡ’，ｆＢ’の出力制御は、フレームメモリ１２に対するアドレス制御や、ラインメモリ及びセレクタを用いることによって容易に実現できる。
【００８８】
図１８は、フレームｆ０が２，４，６…のときの画素データｆＡ，ｆＡ’，ｆＢ，ｆＢ’，ｆ01，ｆ10の状態を示している。フレームｆ０が２，４，６…のときには、図１５に示すように、エリアＡにはフレームｆ０の画素データが書き込まれず、エリアＢにフレームｆ０の画素データが書き込まれる。従って、図１８（Ａ），（Ｂ）に示すように、画素データｆＡ’は画素データｆＡに対して１ライン遅延されており、図１８（Ｃ），（Ｄ）に示すように、画素データｆＢは画素データｆＢ’に対して１ライン遅延されている。
【００８９】
スイッチ１３が１ラインごとに端子ｇ，ｈを交互に選択し、これに合わせて、スイッチ１４が端子ｊ，ｉを交互に選択するので、スイッチ１３より出力される画素データｆ01は図１８（Ｅ）となり、スイッチ１４より出力される画素データｆ10は図１８（Ｆ）となる。
【００９０】
図１９は、フレームｆ０が３，５，７…のときの画素データｆＡ，ｆＡ’，ｆＢ，ｆＢ’，ｆ01，ｆ10の状態を示している。フレームｆ０が３，５，７…のときには、図１５に示すように、エリアＡにフレームｆ０の画素データが書き込まれ、エリアＢにはフレームｆ０の画素データが書き込まれない。従って、図１８（Ａ），（Ｂ）に示すように、画素データｆＡは画素データｆＡ’に対して１ライン遅延されており、図１８（Ｃ），（Ｄ）に示すように、画素データｆＢ’は画素データｆＢに対して１ライン遅延されている。
【００９１】
スイッチ１３が１ラインごとに端子ｇ，ｈを交互に選択し、これに合わせて、スイッチ１４が端子ｊ，ｉを交互に選択するので、スイッチ１３より出力される画素データｆ01は図１８（Ｅ）となり、スイッチ１４より出力される画素データｆ10は図１８（Ｆ）となる。
【００９２】
このように、第４実施形態においては、スイッチ１３より出力される画素データｆ01は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となり、スイッチ１４より出力される画素データｆ10は、フレームｆ０の奇数ラインの画素データとフレームｆ１の奇数ラインの画素データとが交互に選択された画素データ列となる。
【００９３】
第４実施形態においても、画素データｆ01を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列とし、画素データｆ10を、フレームｆ０の偶数ラインの画素データとフレームｆ１の偶数ラインの画素データとが交互に選択された画素データ列としてもよい。
【００９４】
第４実施形態においては、フレームメモリ１２から、図１における基点画素生成部５より出力される基点画素データｆctrに相当する画素データを直接読み出すことができるので、基点画素生成部５を省略することができる。探索範囲画素生成部６，動きベクトル候補選択部７，相関比較部８，補間画素生成部９，フレーム周波数変換部１０の動作は図１０と同じであり、説明を省略する。第４実施形態においても、第２実施形態と同様の効果を奏する。
【００９５】
第４実施形態においても、図１４に示すフレームメモリ１２とを用い、フレームメモリ１２からの読み出し制御によって、基点画素生成部５と実質的に同様の動作を行っている。従って、フレームメモリ１２が、時間的に前後する第１のフレーム（フレームｆ０）内または第２のフレーム（フレームｆ１）内の画素データに基づいて、動きベクトルＭＶを検出する際の基点画素データｆctrを生成する基点画素生成部として動作している。
【００９６】
スイッチ１４が、第１のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態と、第２のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する状態とを交互に繰り返すように切り換える第２の切り換え部として動作している。
【００９７】
次に、図２０を用いて、第１実施形態及び第３実施形態の動きベクトル検出装置において行われている第１，第３実施形態の動きベクトル検出方法の概略について説明する。図２０において、基点画素生成部５またはフレームメモリ１２は、ステップＳ１にて、第１のフレーム内の奇数ラインまたは偶数ラインのいずれか一方の選択したラインの画素データに基づいて、動きベクトルＭＶを検出する際の基点画素データｆctrを生成する。基点画素生成部５またはフレームメモリ１２は、ステップＳ２にて、第２のフレーム内の選択したラインの画素データに基づいて基点画素データｆctrを生成する。
【００９８】
ステップＳ１とステップＳ２とは、スイッチ３，４または１３，１４によって１ラインごと交互に繰り返される。
【００９９】
探索範囲画素生成部６は、ステップＳ３にて、第２のフレーム内の奇数ラインまたは偶数ラインの一方のラインの画素データに基づいて、動きベクトルＭＶを検出するための水平方向及び垂直方向それぞれ所定の探索範囲に含まれる複数の探索範囲画素データｆmvsを生成する。探索範囲画素生成部６は、ステップＳ４にて、第１のフレーム内の奇数ラインまたは偶数ラインの他方のラインの画素データに基づいて探索範囲画素データｆmvsを生成する。
【０１００】
ステップＳ３とステップＳ４とは、スイッチ３，４または１３，１４によって１ラインごと交互に、ステップＳ１が実行される場合にはステップＳ３が、ステップＳ２が実行される場合にはステップＳ４が実行されるように繰り返される。
【０１０１】
動きベクトル候補選択部７は、ステップＳ５にて、ステップＳ１にて生成した第１のフレーム内の画素データに基づいた基点画素データｆctrと、ステップＳ３にて生成した第２のフレーム内の画素データに基づいた探索範囲画素データｆmvsとを用い、基点画素データｆctrの画素と探索範囲画素データｆmvsのそれぞれの画素とを結ぶ複数の動きベクトル候補ＭＶc0の中から最も相関の高い動きベクトル候補を動きベクトルＭＶ０（第１の動きベクトル）として選択する。
【０１０２】
動きベクトル候補選択部７は、ステップＳ６にて、ステップＳ２にて生成した第２のフレーム内の画素データに基づいた基点画素データｆctrと、ステップＳ４にて生成した第１のフレーム内の画素データに基づいた探索範囲画素データｆmvsとを用い、基点画素データｆctrの画素と探索範囲画素データｆmvsのそれぞれの画素とを結ぶ複数の動きベクトル候補ＭＶc1の中から最も相関の高い動きベクトル候補を動きベクトルＭＶ１（第２の動きベクトル）として選択する。
【０１０３】
相関比較部８は、ステップＳ７にて、動きベクトルＭＶ０と動きベクトルＭＶ１とを比較して、相関の高い方の動きベクトルを選択し、選択した動きベクトルを最終的な動きベクトルＭＶとして決定する。
【０１０４】
さらに、図２１を用いて、第２実施形態及び第４実施形態の動きベクトル検出装置において実行されている第２，第４実施形態の動きベクトル検出方法の概略について説明する。図２１において、ステップＳ１１，Ｓ１２は図２０のステップＳ１，Ｓ２と同じである。
【０１０５】
探索範囲画素生成部６は、ステップＳ１３にて、ステップＳ１１にて選択したラインと同じ、第２のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する。探索範囲画素生成部６は、ステップＳ１４にて、ステップＳ１２にて選択したラインと同じ、第１のフレーム内の選択したラインの画素データに基づいて探索範囲画素データｆmvsを生成する。ステップＳ１３とステップＳ１４とは、スイッチ３，４または１３，１４によって１ラインごと交互に、ステップＳ１１が実行される場合にはステップＳ１３が、ステップＳ１２が実行される場合にはステップＳ１４が実行されるように繰り返される。
【０１０６】
ステップＳ１５〜Ｓ１７は、図２０のステップＳ５〜Ｓ７と同じである。
【０１０７】
本発明は以上説明した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１，図１０では動きベクトル検出装置を備えるフレームレートを２倍に変換するフレームレート変換装置を例として説明したが、フレームレートを３倍以上に変換するフレームレート変換装置であってもよい。動きベクトル検出装置を搭載する装置としてはフレームレート変換装置に限定されるものではなく、フィルムジャダ除去装置であってもよい。動きベクトル検出装置を搭載する装置は任意の装置でよい。
【符号の説明】
【０１０８】
１  フレームメモリ
２  ラインメモリ
３，１３  スイッチ（第１の切り換え部）
４，１４  スイッチ（第２の切り換え部）
５  基点画素生成部
６  探索範囲画素生成部
７  動きベクトル候補選択部
８  相関比較部
９  補間画素生成部
１０  フレーム周波数変換部
１１  スイッチ
１２  フレームメモリ（基点画素生成部）
【図１】
0005803500.tif 000002
【図２】
0005803500.tif 000003
【図３】
0005803500.tif 000004
【図４】
0005803500.tif 000005
【図５】
0005803500.tif 000006
【図６】
0005803500.tif 000007
【図７】
0005803500.tif 000008
【図８】
0005803500.tif 000009
【図９】
0005803500.tif 000010
【図１０】
0005803500.tif 000011
【図１１】
0005803500.tif 000012
【図１２】
0005803500.tif 000013
【図１３】
0005803500.tif 000014
【図１４】
0005803500.tif 000015
【図１５】
0005803500.tif 000016
【図１６】
0005803500.tif 000017
【図１７】
0005803500.tif 000018
【図１８】
0005803500.tif 000019
【図１９】
0005803500.tif 000020
【図２０】
0005803500.tif 000021
【図２１】
0005803500.tif 000022