(57)【要約】  表示装置１００の内挿フレーム作成制御装置１３０は、フレームごとに、複数のローカルエリアから構成されブロックサイズが互いに異なる第１，第２の動き検出ブロックにおける動きを検出し、その動きを第１，第２の動きベクトルとして取得する。各ローカルエリアにおける動きを第３の動きベクトルとして取得する。第１，第２の動きベクトルに対する第１，第２の信頼度を判定し、信頼された第１の動きベクトルの数が多い場合、第１の動きベクトルを全ローカルエリアのローカルエリアベクトルとして設定し、信頼された第２の動きベクトルの数が多い場合、第２の動きベクトルを全ローカルエリアのローカルエリアベクトルとして設定する。このローカルエリアベクトルに基づいて、内挿フレーム作成部１４０に内挿フレームを作成させる。
2008139520.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置であって、
入力画像信号の１フレームごとに、第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第１の状態として判定する第１の画像判定部と、
前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第２の状態として判定する第２の画像判定部と、
前記フレームが前記第２の数より小さい第３の数の画素単位で分割されて構成されたローカルエリアにおける動きを検出するローカルエリア動き検出部と、
前記第１の画像判定部により前記動画像が前記第１の状態と判定されたとき、この第１の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出部で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第１の状態の動きに対する第１の信頼度を設定する第１の信頼度判定部と、
前記第２の画像判定部により前記動画像が前記第２の状態と判定されたとき、この第２の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出部で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第２の状態の動きに対する第２の信頼度を設定する第２の信頼度判定部と、
前記第１の信頼度が前記第２の信頼度よりも高い場合、前記第１の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第２の信頼度が前記第１の信頼度よりも高い場合、前記第２の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定部と、
を具備したことを特徴とした内挿フレーム作成制御装置。
【請求項２】
請求項１に記載の内挿フレーム作成制御装置であって、
前記ローカルエリアベクトル設定部は、前記第１の信頼度および前記第２の信頼度のうち信頼度が高い方の信頼度が所定の度合いよりも低い場合、前記内挿フレーム作成部に前記内挿フレームを作成させない
ことを特徴とした内挿フレーム作成制御装置。
【請求項３】
請求項１または請求項２に記載の内挿フレーム作成制御装置であって、
前記動画像の一部に含まれる部分動画像の動きを前記第１の状態および前記第２の状態とは異なる第３の状態として判定する第３の画像判定部を具備し、
前記ローカルエリアベクトル設定部は、前記第３の状態の動きを前記部分動画像に対応する前記ローカルエリアの動きとして優先的に適応した前記ローカルエリアベクトルを設定する
ことを特徴とした内挿フレーム作成制御装置。
【請求項４】
請求項３に記載の内挿フレーム作成制御装置であって、
前記部分動画像は、文字スクロールおよび静止画領域のうちのいずれか１つを表す画像である
ことを特徴とした内挿フレーム作成制御装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の内挿フレーム作成制御装置と、
前記フレームおよび前記内挿フレーム作成制御装置で設定された前記ローカルエリアベクトルに基づいて、前記内挿フレームを作成する内挿フレーム作成部と、
この内挿フレーム作成部で作成された前記内挿フレームを前記フレームの間に内挿して、フレームレートを変換した動画像を表示部で表示させるセレクタと、
を具備したことを特徴としたフレームレート変換装置。
【請求項６】
請求項５に記載のフレームレート変換装置と、
このフレームレート変換装置の制御により前記フレームレートが変換された前記動画像を表示する表示部と、
を具備したことを特徴とした表示装置。
【請求項７】
演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、
前記演算手段は、
入力画像信号の１フレームごとに、第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第１の状態として判定する第１の画像判定工程と、
前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第２の状態として判定する第２の画像判定工程と、
前記フレームが前記第２の数より小さい第３の数の画素単位で分割されて構成されたローカルエリアにおける動きを検出するローカルエリア動き検出工程と、
前記第１の画像判定工程により前記動画像が前記第１の状態と判定されたとき、この第１の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出工程で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第１の状態の動きに対する第１の信頼度を設定する第１の信頼度判定工程と、
前記第２の画像判定工程により前記動画像が前記第２の状態と判定されたとき、この第２の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出工程で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第２の状態の動きに対する第２の信頼度を設定する第２の信頼度判定工程と、
前記第１の信頼度が前記第２の信頼度よりも高い場合、前記第１の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第２の信頼度が前記第１の信頼度よりも高い場合、前記第２の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、
を実施することを特徴とする内挿フレーム作成制御方法。
【請求項８】
演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、
前記演算手段は、
入力画像信号の１フレームごとに、このフレームにおける動きとして、少なくとも一定方向の動きを検出する第１の動き検出工程と、
この第１の動き検出工程とは独立に、前記フレームにおける動きとして、少なくとも回転またはズームを検出する第２の動き検出工程と、
前記第１の動き検出工程および前記第２の動き検出工程での検出結果の信頼度を比較し、前記フレーム全体の動きとして、前記第１の動き検出工程および前記第２の動き検出工程のうち一方で検出された動きを検出する動き判定工程と、
この動き判定工程により検出された動きを、前記フレームが所定数の画素単位で分割されて構成されたローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、
を実施することを特徴とする内挿フレーム作成制御方法。
【請求項９】
演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、
前記演算手段は、
入力画像信号の１フレームごとに、このフレームにおける動きとして、少なくとも文字スクロールまたは静止画を検出する第１の動き検出工程と、
この第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域における動きとして、少なくとも一定方向の動きを検出する第２の動き検出工程と、
前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域における動きとして、前記第１の動き検出工程とは独立に、少なくとも回転またはズームを検出する第３の動き検出工程と、
前記第２の動き検出工程および前記第３の動き検出工程での検出結果の信頼度を比較し、前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域全体の動きとして、前記第２の動き検出工程および前記第３の動き検出工程のうち一方で検出された動きを検出する動き判定工程と、
この動き判定工程により検出された動きを、前記フレームが所定数の画素単位で分割されて構成されたローカルエリアのうち前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除くローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第１の動き検出工程により検出された文字スクロールまたは静止画、および、前記ローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、
を実施することを特徴とする内挿フレーム作成制御方法。
【請求項１０】
請求項７ないし請求項９のいずれかに記載の内挿フレーム作成制御方法を演算手段に実行させる
ことを特徴とした内挿フレーム作成制御プログラム。
【請求項１１】
演算手段を請求項１ないし請求項４のいずれかに記載の内挿フレーム作成制御装置として機能させる
ことを特徴とした内挿フレーム作成制御プログラム。
【請求項１２】
請求項１０または請求項１１に記載の内挿フレーム作成制御プログラムが演算手段にて読取可能に記録された
ことを特徴とした内挿フレーム作成制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、複数のフレームからなる動画像のフレームレートを変換する構成として、以下のようなベクトルフレームレート変換技術が知られている。
すなわち、入力信号のフレームレートおよび出力信号のフレームレートが異なる場合に、フレーム間の動きベクトルを取得する。そして、この動きベクトルに基づきフレーム間に内挿する内挿フレームを作成して、動画の動きを滑らかにする技術が知られている。
また、フレームを複数のブロックに分割したローカルエリアごとに動きベクトルを検出し、この動きベクトルに基づき内挿フレームを作成する技術も知られている。【０００３】
さらに、フレームレートを変換する他の構成が知られている（例えば、特許文献１参照）。
この特許文献１に記載のものは、パン・チルト判定部を用いて、パンまたはチルトの状態と判定された場合のみ、動きベクトル検出部により検出された画像の動きに基づく予想画像、つまり内挿フレームを生成し、この内挿フレームを出力画像として出力することによりフレームレートを変換する構成が採られている。【０００４】
【特許文献１】特開２００６−３０４２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のような構成では、例えば、動画像の動きがズームイン、ズームアウト、回転の場合、内挿フレームが生成されないためフレームレートが適切に変換されないおそれがある。
また、上述したようなフレームレート変換技術では、動画像において２個以上のオブジェクトが重なり、かつ、一方のオブジェクトが動く場合、背景側（後側）のオブジェクトが新たに前景側（前側）のオブジェクトに重なって見えなくなったり（カバードバック・グランドと称する）、前景側（前側）のオブジェクトに重なっていた背景側（後側）のオブジェクトが、前景側（前側）のオブジェクトの陰から出て、新たに見えるようになる（アンカバードバックグランドと称する）ことがある。この新たに前景側（前側）のオブジェクトに重なって見えなくなった部分の画像、前景側（前側）のオブジェクトの陰から出て新たに見えるようになる部分の画像を生成できず、不自然な内挿フレームが作成されるおそれがある。
さらに、上述したようにローカルエリアごとに動きベクトルを検出する技術では、例えばフレーム全体の動きが回転のとき、各ローカルエリアの動きは全く異なる方向の動きとなり、フレーム全体の動きベクトルは検出できず、内挿フレームは作成できないおそれがある。【０００６】
本発明の目的は、フレームレートの変換時にフレームの間に内挿される内挿フレームを適切に作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【０００７】
本発明の内挿フレーム作成制御装置は、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御装置であって、入力画像信号の１フレームごとに、第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第１の状態として判定する第１の画像判定部と、前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第２の状態として判定する第２の画像判定部と、前記フレームが前記第２の数より小さい第３の数の画素単位で分割されて構成されたローカルエリアにおける動きを検出するローカルエリア動き検出部と、前記第１の画像判定部により前記動画像が前記第１の状態と判定されたとき、この第１の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出部で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第１の状態の動きに対する第１の信頼度を設定する第１の信頼度判定部と、前記第２の画像判定部により前記動画像が前記第２の状態と判定されたとき、この第２の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出部で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第２の状態の動きに対する第２の信頼度を設定する第２の信頼度判定部と、前記第１の信頼度が前記第２の信頼度よりも高い場合、前記第１の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第２の信頼度が前記第１の信頼度よりも高い場合、前記第２の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定部と、を具備したことを特徴とする。【０００８】
本発明のフレームレート変換装置は、上述した内挿フレーム作成制御装置と、前記フレームおよび前記内挿フレーム作成制御装置で設定された前記ローカルエリアベクトルに基づいて、前記内挿フレームを作成する内挿フレーム作成部と、この内挿フレーム作成部で作成された前記内挿フレームを前記フレームの間に内挿して、フレームレートを変換した動画像を表示部で表示させるセレクタと、を具備したことを特徴とする。【０００９】
本発明の表示装置は、上述したフレームレート変換装置と、このフレームレート変換装置の制御により前記フレームレートが変換された前記動画像を表示する表示部と、を具備したことを特徴とする。【００１０】
本発明の内挿フレーム作成制御方法は、演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、前記演算手段は、入力画像信号の１フレームごとに、第１の数の画素からなる第１のブロックサイズを有する少なくとも１個のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第１の状態として判定する第１の画像判定工程と、前記第１の数より小さい第２の数の画素からなる第２のブロックサイズを有する複数のブロックにおける動きを検出し、この検出された動きに関する情報に基づいて、前記動画像の動きを第２の状態として判定する第２の画像判定工程と、前記フレームが前記第２の数より小さい第３の数の画素単位で分割されて構成されたローカルエリアにおける動きを検出するローカルエリア動き検出工程と、前記第１の画像判定工程により前記動画像が前記第１の状態と判定されたとき、この第１の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出工程で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第１の状態の動きに対する第１の信頼度を設定する第１の信頼度判定工程と、前記第２の画像判定工程により前記動画像が前記第２の状態と判定されたとき、この第２の状態の動きを前記フレームの各ローカルエリアの動きとして適応し、前記ローカルエリアごとに前記適応した前記動きが前記ローカルエリア動き検出工程で検出した前記動きと所定の範囲で類似するかを判定し、類似する前記ローカルエリアの数に対応して前記第２の状態の動きに対する第２の信頼度を設定する第２の信頼度判定工程と、前記第１の信頼度が前記第２の信頼度よりも高い場合、前記第１の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第２の信頼度が前記第１の信頼度よりも高い場合、前記第２の状態の動きを前記各ローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、を実施することを特徴とする。【００１１】
本発明の内挿フレーム作成制御方法は、演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、前記演算手段は、入力画像信号の１フレームごとに、このフレームにおける動きとして、少なくとも一定方向の動きを検出する第１の動き検出工程と、この第１の動き検出工程とは独立に、前記フレームにおける動きとして、少なくとも回転またはズームを検出する第２の動き検出工程と、前記第１の動き検出工程および前記第２の動き検出工程での検出結果の信頼度を比較し、前記フレーム全体の動きとして、前記第１の動き検出工程および前記第２の動き検出工程のうち一方で検出された動きを検出する動き判定工程と、この動き判定工程により検出された動きを、前記フレームが所定数の画素単位で分割されて構成されたローカルエリアの動きとして適応したローカルエリアベクトルを設定し、このローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、を実施することを特徴とする。【００１２】
本発明の内挿フレーム作成制御方法は、演算手段により、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを内挿フレーム作成部に作成させる内挿フレーム作成制御方法であって、前記演算手段は、入力画像信号の１フレームごとに、このフレームにおける動きとして、少なくとも文字スクロールまたは静止画を検出する第１の動き検出工程と、この第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域における動きとして、少なくとも一定方向の動きを検出する第２の動き検出工程と、前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域における動きとして、前記第１の動き検出工程とは独立に、少なくとも回転またはズームを検出する第３の動き検出工程と、前記第２の動き検出工程および前記第３の動き検出工程での検出結果の信頼度を比較し、前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除く領域全体の動きとして、前記第２の動き検出工程および前記第３の動き検出工程のうち一方で検出された動きを検出する動き判定工程と、この動き判定工程により検出された動きを、前記フレームが所定数の画素単位で分割されて構成されたローカルエリアのうち前記第１の動き検出工程により文字スクロールまたは静止画が検出された領域を除くローカルエリアの動きとして適応したローカルエリアベクトルを設定し、前記第１の動き検出工程により検出された文字スクロールまたは静止画、および、前記ローカルエリアベクトルに基づく動きに対応する前記内挿フレームを前記内挿フレーム作成部に作成させるローカルエリアベクトル設定工程と、を実施することを特徴とする。【００１３】
本発明の内挿フレーム作成制御プログラムは、上述した内挿フレーム作成制御方法を演算手段に実行させることを特徴とする。【００１４】
本発明の内挿フレーム作成制御プログラムは、演算手段を上述した内挿フレーム作成制御装置として機能させることを特徴とする。【００１５】
本発明の内挿フレーム作成制御プログラムを記録した記録媒体は、上述した内挿フレーム作成制御プログラムが演算手段にて読取可能に記録されたことを特徴とする。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係る表示装置の概略構成を示すブロック図である。
【図２Ａ】前記第１実施形態および本発明の第２実施形態における動画像の動きが右斜め上方向へのパン、チルトのときの第１の動きベクトルを取得した状態を示す模式図である。
【図２Ｂ】前記第１実施形態および本発明の第２実施形態における動画像の動きが右斜め上方向へのパン、チルトのときの第１の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。
【図３Ａ】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第１の動きベクトルを取得した状態を示す模式図である。
【図３Ｂ】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第１の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。
【図４Ａ】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第２の動きベクトルを取得した状態を示す模式図である。
【図４Ｂ】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第２の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。
【図５Ａ】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトのときの第２の動きベクトルを取得した状態を示す模式図である。
【図５Ｂ】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトのときの第２の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。
【図６】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトのときの第３の動きベクトルを取得した状態を示す模式図である。
【図７】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第３の動きベクトルを取得した状態を示す模式図である。
【図８】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときの第３の動きベクトルを取得した状態を示す模式図である。
【図９Ａ】前記第１，第２実施形態における動きが右斜め上方向へのパン、チルトのときの第１，第２の信頼度の判定結果を示す模式図である。
【図９Ｂ】前記第１，第２実施形態における動きが右斜め上方向へのパン、チルトのときのローカルエリアベクトルを設定した状態を示す模式図である。
【図１０Ａ】前記第１，第２実施形態における動画像の動きが右方向への回転のときの第１，第２の信頼度の判定結果を示す模式図である。
【図１０Ｂ】前記第１，第２実施形態における動画像の動きが右方向への回転のときのローカルエリアベクトルを設定した状態を示す模式図である。
【図１１Ａ】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときの第１，第２の信頼度の判定結果を示す模式図である。
【図１１Ｂ】前記第１，第２実施形態における動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときのローカルエリアベクトルを設定した状態を示す模式図である。
【図１２】前記第１実施形態における内挿フレームの作成処理を示すフローチャートである。
【図１３】前記第２実施形態における表示装置の概略構成を示すブロック図である。
【図１４Ａ】前記第２実施形態における動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの静止画領域の検出動作を示す模式図である。
【図１４Ｂ】前記第２実施形態における動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの静止画領域を設定した状態を示す模式図である。
【図１５Ａ】前記第２実施形態における動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの第１，第２の信頼度の判定結果を示す模式図である。
【図１５Ｂ】前記第２実施形態における動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときのローカルエリアベクトルを設定した状態を示す模式図である。
【図１６】前記第２実施形態における内挿フレームの作成処理を示すフローチャートである。
【図１７】前記第２実施形態における内挿フレームの作成処理を示すフローチャートである。
【符号の説明】
【００１７】
１００，２００…表示装置
１１０…表示部
１２０，２２０…フレームレート変換装置
１３０，２３０…演算手段としての内挿フレーム作成制御装置
１３１，１３２，２３１…第１，第２，第３の画像判定部
１３３…ローカルエリア動き検出部
１３４…第１の信頼度判定部
１３５…第２の信頼度判定部
１３６，２３２…ローカルエリアベクトル設定部
１４０，２４０…内挿フレーム作成部
１５０…セレクタ
【発明を実施するための最良の形態】
【００１８】
［第１実施形態］
以下、本発明に係る第１実施形態を図面に基づいて説明する。
この第１実施形態および後述する第２実施形態では、本発明の内挿フレーム作成制御装置を有するフレームレート変換装置を備えた表示装置であって、外部から入力される複数のフレームからなる動画像のフレームレートを変換して表示する構成を例示して説明する。
図１は、表示装置の概略構成を示すブロック図である。図２Ａは、動画像の動きが右斜め上方向へのパン、チルトのときの第１の動きベクトルを取得した状態を示す模式図である。図２Ｂは、動画像の動きが右斜め上方向へのパン、チルトのときの第１の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。図３Ａは、動画像の動きが右方向への回転のときの第１の動きベクトルを取得した状態を示す模式図である。図３Ｂは、動画像の動きが右方向への回転のときの第１の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。図４Ａは、動画像の動きが右方向への回転のときの第２の動きベクトルを取得した状態を示す模式図である。図４Ｂは、動画像の動きが右方向への回転のときの第２の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。図５Ａは、動画像の動きが右斜め上方向へのパン、チルトのときの第２の動きベクトルを取得した状態を示す模式図である。図５Ｂは、動画像の動きが右斜め上方向へのパン、チルトのときの第２の動きベクトルをローカルエリアへ展開したときの状態を示す模式図である。図６は、動画像の動きが右斜め上方向へのパン、チルトのときの第３の動きベクトルを取得した状態を示す模式図である。図７は、動画像の動きが右方向への回転のときの第３の動きベクトルを取得した状態を示す模式図である。図８は、動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときの第３の動きベクトルを取得した状態を示す模式図である。図９Ａは、動きが右斜め上方向へのパン、チルトのときの第１，第２の信頼度の判定結果を示す模式図である。図９Ｂは、動きが右斜め上方向へのパン、チルトのときのローカルエリアベクトルを設定した状態を示す模式図である。図１０Ａは、動画像の動きが右方向への回転のときの第１，第２の信頼度の判定結果を示す模式図である。図１０Ｂは、動画像の動きが右方向への回転のときのローカルエリアベクトルを設定した状態を示す模式図である。図１１Ａは、動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときの第１，第２の信頼度の判定結果を示す模式図である。図１１Ｂは、動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在するときのローカルエリアベクトルを設定した状態を示す模式図である。【００１９】
〔表示装置の構成〕
図１において、１００は表示装置であり、この表示装置１００は、表示部１１０と、フレームレート変換装置１２０と、などを備えている。【００２０】
表示部１１０は、フレームレート変換装置１２０に接続されている。この表示部１１０は、フレームレート変換装置１２０の制御により、フレームレートが変換された動画像を表示させる。この表示部１１０としては、例えばＰＤＰ（Plasma Display Panel）、液晶パネル、有機ＥＬ（Electro Luminescence）パネル、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。【００２１】
フレームレート変換装置１２０は、演算手段としての内挿フレーム作成制御装置１３０と、内挿フレーム作成部１４０と、セレクタ１５０と、などを備えている。【００２２】
内挿フレーム作成制御装置１３０は、内挿フレーム作成部１４０を制御して、フレームレートの変換時にフレームＦ（例えば、図２Ａ参照）間に内挿される内挿フレームを作成させる。
そして、内挿フレーム作成制御装置１３０は、各種プログラムとして、第１の画像判定部１３１と、第２の画像判定部１３２と、ローカルエリア動き検出部１３３と、第１の信頼度判定部１３４と、第２の信頼度判定部１３５と、ローカルエリアベクトル設定部１３６と、などを備えている。【００２３】
第１の画像判定部１３１は、画像信号を出力する画像信号出力部１０と、第１の信頼度判定部１３４と、ローカルエリアベクトル設定部１３６と、に接続されている。
この第１の画像判定部１３１は、画像信号出力部１０からの画像信号を取得して、この画像信号に基づく動画像の動きがパン、チルトのいずれかである旨を判定し、その動きを第１の動きベクトルＶa1〜Ｖa4（以下、第１の動きベクトルＶan（nは１〜４）と適宜称す：例えば、図２Ａ参照）として取得する。
ここで、パン、チルトは、本発明の第１の状態に対応する。【００２４】
具体的には、第１の画像判定部１３１は、図２Ａおよび図３Ａに示すように、フレームＦの図示しない外縁から所定距離だけ内側の部分以外の部分で構成される動き検出領域Ａを設定する。この動き検出領域Ａは、縦方向に６個、横方向に８個配列されたローカルエリアＣ1〜Ｃ48（以下、ローカルエリアＣm（mは１〜４８）と適宜称す）から構成されている。
そして、第１の画像判定部１３１は、この動き検出領域Ａを縦方向に２個、横方向に２個に分割して得られる４個の領域を、第１の動き検出ブロックＢa1〜Ｂa4（以下、第１の動き検出ブロックＢan（nは１〜４）と適宜称す）として設定する。この第１の動き検出ブロックＢanは、縦方向に３個、横方向に４個配置された１２個のローカルエリアＣmから構成されている。つまり、第１の動き検出ブロックＢanは、第１の数の図示しない画素からなる第１のブロックサイズを有している。
さらに、第１の画像判定部１３１は、フレームＦごとに、第１の動き検出ブロックＢa1〜Ｂa4について、第１の動きベクトルＶa1〜Ｖa4を検出して取得する。そして、第１の画像判定部１３１は、動画像の動きが右斜め上方向へのパン、チルトであり、図２Ａに示すように、右斜め上方向へのパン、チルトに対応する第１の動きベクトルＶanを取得できた場合、図２Ｂに示すように、各ローカルエリアＣmに適応させて展開する。つまり、例えば第１の動きベクトルＶa1を、第１の動き検出ブロックＢa1を構成する１２個のローカルエリアＣmのそれぞれに展開する。
なお、動画像の動きが右方向への回転であり、図３Ａに示すように、第１の動きベクトルＶanを取得できない場合、図３Ｂに示すように、各ローカルエリアＣmに展開されない。
また、図３Ａにおいて、第１の動き検出ブロックＢa1では斜め右上向きの第１の動きベクトルＶa1を、第１の動き検出ブロックＢa2では斜め右下向きの第１の動きベクトルＶa2を、第１の動き検出ブロックＢa3では斜め左上向きの第１の動きベクトルＶa3を、第１の動き検出ブロックＢa4では斜め左下向きの第１の動きベクトルＶa4を検出できるかもしれない。しかし、第１の画像判定部１３１は、回転を検出しないので、上記のような全く方向の異なる第１の動きベクトルＶa1〜Ｖa4を検出した場合、この第１の画像判定部１３１としては第１の動きベクトルＶa1〜Ｖa4を取得できないと判断し、各ローカルエリアＣｍには展開しない。回転は、第２の画像判定部１３２が検出するため、第１の画像判定部１３１で検出する必要がないからである。また、第２の画像判定部１３２の方が、回転をより高い精度で検出できるからである。
また、図２Ｂでは、第１の動きベクトルＶanを表す一部の矢印のみに符号を付しているが、符号が付されていない矢印も第１の動きベクトルＶanを表している。具体的には、例えば、矢印の基端が第１の動き検出ブロックＢa1に位置し、かつ、符号が付されていない矢印は、第１の動きベクトルＶa1を表している。【００２５】
ここで、第１の動きベクトルＶanの検出方法としては、例えば特公昭６２−６２１０９号公報に記載のような方法（以下、パターンマッチング法と称す）や特開昭６２−２０６９８０号公報に記載のような方法（以下、反復勾配法と称す）などが例示できる。
すなわち、パターンマッチング法を利用する場合、現在のフレームＦの１個前のフレームＦに対して、第１の動き検出ブロックＢanと同数の画素を有し互いに異なる方向に位置がずれた複数のブロック（以下、過去ブロックと称す）を設定する。そして、この複数の過去ブロックから第１の動き検出ブロックＢanと最も相関が高いものを検出し、この検出した過去ブロックおよび第１の動き検出ブロックＢanに基づいて、第１の動きベクトルＶanを取得する。
また、反復勾配法を利用する場合、動き量を検出する際の初期値として、第１の動き検出ブロックＢanに該当するブロックを含む周辺の複数の過去ブロックにおいてすでに検出されている動きベクトルの候補の中から、第１の動きベクトルＶanの検出用として最適なものを初期変位ベクトルとして選択する。そして、第１の動き検出ブロックＢanの真の第１の動きベクトルＶanに近い値から演算を開始することにより、勾配法演算の演算回数を少なくして、真の第１の動きベクトルＶanを検出する。【００２６】
なお、第１の画像判定部１３１における処理は、本発明の第１の画像判定工程、および、第１の動き検出工程に対応している。【００２７】
第２の画像判定部１３２は、図１に示すように、画像信号出力部１０と、第２の信頼度判定部１３５と、ローカルエリアベクトル設定部１３６と、に接続されている。
この第２の画像判定部１３２は、画像信号に基づく動画像の動きがズーム、回転のいずれかである旨を判定し、その動きを第２の動きベクトルＶb1〜Ｖb12（以下、第２の動きベクトルＶbp（pは１〜１２）と適宜称す：例えば、図４Ａ参照）として取得する。
ここで、ズーム、回転は、本発明の第２の状態に対応する。【００２８】
具体的には、第２の画像判定部１３２は、図４Ａおよび図５Ａに示すように、動き検出領域Ａを縦方向に３個、横方向に４個に分割して得られる１２個の領域を、第２の動き検出ブロックＢb1〜Ｂb12（以下、第２の動き検出ブロックＢbp（pは１〜１２）と適宜称す）として設定する。この第２の動き検出ブロックＢbpは、縦方向に２個、横方向に２個配置された４個のローカルエリアＣmから構成されている。つまり、第２の動き検出ブロックＢbpは、第１の数よりも小さい第２の数の画素からなる第２のブロックサイズを有している。
また、第２の画像判定部１３２は、第２の動き検出ブロックＢb1〜Ｂb12について、第２の動きベクトルＶb1〜Ｖb12を検出して取得する。
ここで、第２の画像判定部１３２は、第１の画像判定部１３１における第１の動きベクトルＶanの検出時と同様の処理を実施して、第２の動きベクトルＶbpを検出する。なお、第２の動きベクトルＶbpの検出処理として、第１の動きベクトルＶanの検出時とは異なる処理を適用してもよい。
さらに、第２の画像判定部１３２は、第２の動きベクトルＶbpを取得した場合、この第２の動きベクトルＶbpに基づいて、動画像の動きがズームまたは回転である旨を判定する。そして、第２の画像判定部１３２は、図４Ａに示すような第２の動きベクトルＶbpを取得して、動画像の動きが右方向への回転であると判定した場合、図４Ｂに示すように、右方向への回転に対応する状態の第２の動きベクトルＶbpを、各ローカルエリアＣmに展開する。
なお、動画像の動きが右斜め上方向へのパン、チルトであり、図５Ａに示すように、第２の動きベクトルＶbpを取得できない場合、動画像の動きを判定できないため、図５Ｂに示すように、第２の動きベクトルＶbpが各ローカルエリアＣmに展開されない。
また、図４Ｂでは、第２の動きベクトルＶbpを表す一部の矢印のみに符号を付しているが、符号が付されていない矢印も第２の動きベクトルＶbpを表している。具体的には、例えば、矢印の基端が第２の動き検出ブロックＢb1に位置し、かつ、符号が付されていない矢印は、第２の動きベクトルＶb1を表している。【００２９】
なお、第２の画像判定部１３２における処理は、本発明の第２の画像判定工程、および、第２の動き検出工程に対応している。【００３０】
ローカルエリア動き検出部１３３は、図１に示すように、画像信号出力部１０と、第１の信頼度判定部１３４と、第２の信頼度判定部１３５と、に接続されている。
このローカルエリア動き検出部１３３は、ローカルエリアＣmについて、図６、図７、図８に示すように、第３の動きベクトルＶc1〜Ｖc48（以下、第３の動きベクトルＶcm（mは１〜４８）と適宜称す）を検出して取得する。つまり、第２の数よりも小さい第３の数の画素からなるローカルエリアＣmにおける動きを検出する。
なお、図６は、図２Ａ、図２Ｂ、図５Ａ、図５Ｂに示すように、動画像の動きが右斜め上方向へのパン、チルトの場合の第３の動きベクトルＶcmを表している。また、図７は、図３Ａ、図３Ｂ、図４Ａ、図４Ｂに示すように、動画像の動きが右方向への回転の場合の第３の動きベクトルＶcmを表している。さらに、図８は、図２Ａ、図２Ｂ、図４Ａ、図４Ｂに示すように、動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在する場合の第３の動きベクトルＶcmを表している。
ここで、ローカルエリア動き検出部１３３は、第１の画像判定部１３１における第１の動きベクトルＶanの検出時と同様の処理を実施して、第３の動きベクトルＶcmを検出する。なお、第３の動きベクトルＶcmの検出処理として、第１，第２の動きベクトルＶan，Ｖbpの検出時とは異なる処理を適用してもよい。
また、図６〜図８では、第３の動きベクトルＶcmを表す一部の矢印のみに符号を付しているが、符号が付されていない矢印も第３の動きベクトルＶcmを表している。具体的には、例えば、図６に示すように、矢印の基端がローカルエリアＣ12に位置し、かつ、符号が付されていない矢印は、第３の動きベクトルＶc12を表している。【００３１】
なお、ローカルエリア動き検出部１３３における処理は、本発明のローカルエリア動き検出工程に対応している。【００３２】
第１の信頼度判定部１３４および第２の信頼度判定部１３５は、図１に示すように、ローカルエリアベクトル設定部１３６に接続されている。
この第１の信頼度判定部１３４は、第１の動きベクトルＶanに対する第１の信頼度を判定する。また、第２の信頼度判定部１３５は、第１の信頼度判定部１３４と同様の処理を実施して、第２の動きベクトルＶbpに対する第２の信頼度を判定する。【００３３】
具体的には、第１の信頼度判定部１３４は、第１の画像判定部１３１からローカルエリアＣmに展開された第１の動きベクトルＶanを取得するとともに、ローカル動き検出部１３３で取得されたローカルエリアＣmの第３の動きベクトルＶcmを取得する。そして、対応するローカルエリアＣmごとに第１の動きベクトルＶanおよび第３の動きベクトルＶcmを比較して、所定の範囲で類似するか否かを判断する。例えば、パターンマッチングなどにより、第１の動きベクトルＶanおよび第３の動きベクトルＶcmの大きさや向きが所定の範囲で類似するか否かを判断する。
そして、類似すると判断した場合、このローカルエリアＣmに展開された第１の動きベクトルＶanの第１の信頼度があると判定して、このローカルエリアＣmに第１の動きベクトルＶanを設定する。また、類似しないと判断した場合、第１の信頼度がないと判定して、ローカルエリアＣmに第１の動きベクトルＶanを設定しない。
また、第２の信頼度判定部１３５は、対応するローカルエリアＣmごとに第２の動きベクトルＶbpおよび第３の動きベクトルＶcmを比較して、所定の範囲で類似すると判断した場合、第２の動きベクトルＶbpの第２の信頼度があると判定して第２の動きベクトルＶbpを設定し、類似しないと判断した場合、第２の信頼度がないと判定して第２の動きベクトルＶbpを設定しない。
そして、第１，第２の信頼度判定部１３４，１３５で上述した処理が実施されると、例えば、動画像の動きが右斜め上方向へのパン、チルトの場合、図９Ａに示すように、第１の信頼度がある第１の動きベクトルＶanのみがローカルエリアＣmに設定される。また、動画像が右方向への回転の場合、図１０Ａに示すように、第２の信頼度がある第２の動きベクトルＶbpのみがローカルエリアＣmに設定される。さらに、動画像の動きが右斜め上方向へのパン、チルトおよび右方向への回転が混在する場合、図１１Ａに示すように、第１，第２の信頼度がある第１，第２の動きベクトルＶan，ＶbpがローカルエリアＣmに設定される。【００３４】
なお、第１，第２の信頼度判定部１３４，１３５における処理は、本発明の第１，第２の信頼度判定工程に対応している。【００３５】
ローカルエリアベクトル設定部１３６は、図１に示すように、内挿フレーム作成部１４０に接続されている。
このローカルエリアベクトル設定部１３６は、第１，第２の信頼度判定部１３４，１３５での第１，第２の信頼度の判定結果に基づいて、第１，第２の動きベクトルＶan，Ｖbpのうちの一方を、全ローカルエリアＣmの動きとして適宜適応させ、ローカルエリアベクトルとして設定する。【００３６】
具体的には、ローカルエリアベクトル設定部１３６は、第１，第２の信頼度判定部１３４，１３５において、第１，第２の信頼度があると判定された第１，第２の動きベクトルＶan，Ｖbpをカウントする。そして、カウント値が多い方のカウント値が閾値以上である、例えばローカルエリアＣmの総数の半分である２４個以上であると判断した場合、このカウント値が多い方を、全ローカルエリアＣmのローカルエリアベクトルとして設定する。また、閾値未満であると判断した場合、全ローカルエリアＣmに対してローカルエリアベクトルを設定しない処理をする。なお、閾値としては、２４個に限らず、３０個や４０個あるいは２０個などとしてもよい。
そして、図９Ａ、図１０Ａ、図１１Ａに示すような第１，第２の信頼度の判定結果の場合、ローカルエリアベクトル設定部１３６で上述した処理が実施されると、図９Ｂ、図１０Ｂ、図１１Ｂに示すように、第１の動きベクトルＶanまたは第２の動きベクトルＶbpが、全ローカルエリアＣmのローカルエリアベクトルとして設定される。【００３７】
なお、ローカルエリアベクトル設定部１３６における処理は、本発明のローカルエリアベクトル設定工程、および、動き判定工程に対応している。【００３８】
内挿フレーム作成部１４０は、図１に示すように、画像信号出力部１０と、セレクタ１５０と、に接続されている。
この内挿フレーム作成部１４０は、ローカルエリアベクトル設定部１３６におけるローカルエリアベクトルの設定結果に基づいて、内挿フレームを作成する。
具体的には、内挿フレーム作成部１４０は、全ローカルエリアＣmにローカルエリアベクトルが設定されている場合、このローカルエリアベクトルと、画像信号出力部１０からの画像信号に基づくフレームＦと、に基づいて、ローカルエリアベクトルの動きに対応する内挿フレームを作成する。また、全ローカルエリアＣmにローカルエリアベクトルが設定されていない場合、内挿フレームを作成しない。【００３９】
セレクタ１５０は、画像信号出力部１０と、表示部１１０と、に接続されている。
このセレクタ１５０は、画像信号出力部１０からの画像信号と、内挿フレーム作成部１４０で作成された内挿フレームと、に基づいて、フレームレートが変換された動画像を表示部１１０で表示させる。【００４０】
具体的には、セレクタ１５０は、画像信号を取得して、この画像信号のフレームＦに対応する内挿フレームが作成されている場合、フレームＦ間に内挿フレームを内挿して、表示部１１０でフレームレートが変換された動画像を表示させる。また、内挿フレームが作成されていない場合、フレームＦ間に内挿フレームを内挿せずに、表示部１１０でフレームレートが変換されていない動画像を表示させる。ここで、フレームレートが変換されていない動画像は、フレームＦ間でほとんど動きがないため、ほぼ静止画になる。【００４１】
〔表示装置の動作〕
次に、表示装置１００の動作として、フレームレート変換処理時における内挿フレームの作成処理について説明する。
図１２は、内挿フレームの作成処理を示すフローチャートである。【００４２】
表示装置１００のフレームレート変換装置１２０は、画像信号出力部１０から画像信号を取得すると、図１２に示すように、第１の動きベクトルＶanの取得処理（ステップＳ１０１）、第２の動きベクトルＶbpの取得処理（ステップＳ１０２）を実施する。さらに、第３の動きベクトルＶcmの取得処理を、ローカルエリアの動き検出処理として実施する（ステップＳ１０３）。この後、フレームレート変換装置１２０は、第１，第２の動きベクトルＶan，Ｖbpに対する第１，第２の信頼度を判定する（ステップＳ１０４）。そして、信頼された第１，第２の動きベクトルＶan，Ｖbpをカウントして（ステップＳ１０５）、信頼された第１の動きベクトルＶanが第２の動きベクトルＶbpよりも多いか否かを判断する（ステップＳ１０６）。【００４３】
このステップＳ１０６において、第１の動きベクトルＶanの方が多いと判断した場合、この信頼された第１の動きベクトルＶanのカウント値が閾値以上か否かを判断する（ステップＳ１０７）。そして、ステップＳ１０７において、閾値未満であると判断した場合、内挿フレームを作成せずに処理を終了する。一方、ステップＳ１０７において、閾値以上であると判断した場合、第１の動きベクトルＶanを全ローカルエリアＣmのローカルエリアベクトルとして設定する（ステップＳ１０８）。そして、内挿フレームを作成して（ステップＳ１０９）、処理を終了する。【００４４】
また、ステップＳ１０６において、第２の動きベクトルＶbpの方が多いと判断した場合、この信頼された第２の動きベクトルＶbpのカウント値が閾値以上か否かを判断する（ステップＳ１１０）。このステップＳ１１０において、閾値未満であると判断した場合、内挿フレームを作成せずに処理を終了する。一方、ステップＳ１１０において、閾値以上であると判断した場合、第２の動きベクトルＶbpを全ローカルエリアＣmのローカルエリアベクトルとして設定して（ステップＳ１１１）、ステップＳ１０９の処理、すなわち内挿フレームの作成処理を実施する。【００４５】
〔第１実施形態の作用効果〕
上述したように、上記第１実施形態では、表示装置１００の内挿フレーム作成制御装置１３０は、フレームＦごとに、第１の動き検出ブロックＢanにおける動きを検出し、動画像の動きがパン、チルトのいずれかである旨を判定して、その動きを第１の動きベクトルＶanとして取得する。また、第１の動き検出ブロックＢanよりも小さい第２の動き検出ブロックＢbpにおける動きを検出し、動画像の動きがズーム、回転のいずれかである旨を判定して、その動きを第２の動きベクトルＶbpとして取得する。さらに、第２の動き検出ブロックＢbpよりも小さいローカルエリアＣmにおける動きを第３の動きベクトルＶcmとして取得する。この後、第１，第２の動きベクトルＶan，Ｖbpに対する第１，第２の信頼度を判定し、信頼された第１の動きベクトルＶanの数が多い場合、第１の動きベクトルＶanを全ローカルエリアＣmのローカルエリアベクトルとして設定する。一方、信頼された第２の動きベクトルＶbpの数が多い場合、第２の動きベクトルＶbpを全ローカルエリアＣmのローカルエリアベクトルとして設定する。そして、このローカルエリアベクトルに基づいて、内挿フレーム作成部１４０に内挿フレームを作成させる。
ここで、所定サイズのブロックにおける動きベクトルを検出する場合、ブロックが大きいほど精度よく動きベクトルを検出できる。特に、パン、チルトのような一方向の動きベクトルで表される動きは、ブロックが大きいほど精度よく検出できる。一方、ズーム、回転のような複数方向の動きベクトルで表される動きは、ブロックが小さいほど精度よく検出できる。
このため、ブロックサイズが異なる第１，第２の動き検出ブロックＢan，Ｂbpにおける第１，第２の動きベクトルＶan，Ｖbpを検出するので、動画像の動きがパン、チルト、ズーム、回転のいずれであっても、精度よく検出できる。また、カバード・アンカバードバックグランドが存在する場合、すなわち、動画像に含まれるオブジェクトの一部が動く前後で重なり、この重なる部分の第１，第２の動きベクトルＶan，Ｖbpが検出されない場合、第１，第２の動きベクトルＶan，Ｖbpのうち一方を、全ローカルエリアＣmのローカルエリアベクトルとして設定するので、自然な内挿フレームを作成できる。
また、フレームＦ全体を複数の第１，第２の動き検出ブロックＢan，Ｂbpに分け、各動き検出ブロックＢan，Ｂbp単位で動き検出しても、全動き検出ブロックＢan，Ｂbpの検出結果を総合的に判断してフレームＦ全体の動きに対応するベクトルを検出するので、回転やズームも精度よく検出することができる。
したがって、内挿フレーム作成制御装置１３０は、内挿フレーム作成部１４０に、適切な内挿フレームを作成させることができる。
また、フレームレート変換装置１２０は、内挿フレーム作成制御装置１３０で作成された適切な内挿フレームに基づいて、フレームレートを適切に変換できる。
さらに、表示装置１００は、フレームレート変換装置１２０で適切にフレームレートが変換された動画像を表示することができ、利用者に自然な動画像を視認させることができる。【００４６】
そして、内挿フレーム作成制御装置１３０は、信頼度が高い第１，第２の動きベクトルＶan，Ｖbpの信頼度が閾値未満であると判断した場合、内挿フレーム作成部１４０に内挿フレームを作成させない制御をする。
このため、信頼度が低い第１，第２動きベクトルＶan，Ｖbpに基づいて内挿フレームを作成させないので、誤差の大きな内挿フレームが作成されることがなく、不自然なフレームレートの変換を防止できる。【００４７】
［第２実施形態］
次に、本発明に係る第２実施形態を図面に基づいて説明する。
この第２実施形態では、動画像に含まれる静止画領域の状態を反映させた状態でフレームレートを変換して表示させる構成を例示して説明する。
なお、第１実施形態と同一の構成については、同一の名称および符号を付し説明を省略または簡略にする。
図１３は、表示装置の概略構成を示すブロック図である。図１４Ａは、動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの静止画領域の検出動作を示す模式図である。図１４Ｂは、動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの静止画領域を設定した状態を示す模式図である。図１５Ａは、動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときの第１，第２の信頼度の判定結果を示す模式図である。図１５Ｂは、動画像の動きが右斜め上方向へのパン、チルトであるとともに静止画領域が含まれるときのローカルエリアベクトルを設定した状態を示す模式図である。【００４８】
〔表示装置の構成〕
図１３において、２００は表示装置であり、この表示装置２００は、表示部１１０と、フレームレート変換装置２２０と、などを備えている。
また、フレームレート変換装置２２０は、演算手段としての内挿フレーム作成制御装置２３０と、内挿フレーム作成部２４０と、セレクタ１５０と、などを備えている。【００４９】
内挿フレーム作成制御装置２３０は、各種プログラムとして、第１の画像判定部１３１と、第２の画像判定部１３２と、ローカルエリア動き検出部１３３と、第３の画像判定部２３１と、第１の信頼度判定部１３４と、第２の信頼度判定部１３５と、ローカルエリアベクトル設定部２３２と、などを備えている。【００５０】
第３の画像判定部２３１は、画像信号出力部１０と、ローカルエリアベクトル設定部２３２と、に接続されている。
この第３の画像判定部２３１は、画像信号に基づく動画像に静止画領域Ｌq（ｑは自然数、図１４Ｂ参照）が含まれるか否かを判定する。
ここで、静止画領域Ｌqは、本発明の部分動画像に対応し、静止画領域Ｌqの静止状態は、本発明の第３の状態に対応する。【００５１】
具体的には、第３の画像判定部２３１は、図１４Ａに示すように、例えばローカルエリアＣmを縦方向に２個、横方向に２個に分割して得られる４個の領域を、静止画検出用領域Ｒとして設定する。
ここで、図１４Ａでは、静止画検出用領域Ｒを表す一部の領域のみに符号を付しているが、符号が付されていない領域も静止画検出用領域Ｒを表している。例えば、ローカルエリアＣ34を構成する１点鎖線および点線で囲まれた４個の領域は、静止画検出用領域Ｒを表している。
そして、第３の画像判定部２３１は、フレームＦごとに、各ローカルエリアＣmについて、４個の静止画検出用領域Ｒのうち動きがない静止画検出用領域Ｒを判定する。そして、動きがない静止画検出用領域Ｒが２個以上の場合、そのローカルエリアＣmを静止画領域Ｌqとして設定する。
例えば、第３の画像判定部２３１は、動画像の動きが右斜め上方向へのパン、チルトであるとともに、動画像に静止画領域Ｌqが含まれ、図１４Ａに示すように、ローカルエリアＣ34，Ｃ35，Ｃ36における動きがない静止画検出用領域Ｒ（斜線で示す）の数がそれぞれ３個、２個、１個の場合、図１４Ｂに示すように、ローカルエリアＣ34，Ｃ35を静止画領域Ｌ1，Ｌ2として設定する。
なお、ローカルエリアＣmにおける静止画検出用領域Ｒの数としては、４個に限らず、３個以下、５個以上としてもよい。また、静止画領域Ｌqとして設定する判断基準となる静止画検出用領域Ｒの数としては、２個以上に限らず、１個や３個以上としてもよい。【００５２】
ローカルエリアベクトル設定部２３２は、第１，第２の信頼度判定部１３４，１３５での第１，第２の信頼度の判定結果と、第３の画像判定部２３１での判定結果と、に基づいて、全ローカルエリアＣmのローカルエリアベクトルを適宜設定する。【００５３】
具体的には、ローカルエリアベクトル設定部２３２は、第１，第２の信頼度があると判定された第１，第２の動きベクトルＶan，Ｖbpをカウントする。そして、多い方のカウント値が閾値以上であり、かつ、第３の画像判定部２３１で静止画領域Ｌqが設定されている場合、静止画領域Ｌqにローカルエリアベクトルを設定しないと判断する。さらに、カウント値が多い方の動きベクトルを、他のローカルエリアＣmのローカルエリアベクトルとして設定する。つまり、静止画領域Ｌqに対応するローカルエリアＣmの動きとして、静止画領域Ｌqの動きである静止状態を優先的に適応させる。
また、多い方のカウント値が閾値以上であり、かつ、第３の画像判定部２３１で静止画領域Ｌqが設定されていない場合、カウント値が多い方の動きベクトルを、全ローカルエリアＣmのローカルエリアベクトルとして設定する。さらに、多い方のカウント値が閾値未満であると判断した場合、ローカルエリアベクトルを設定しない処理をする。
そして、動画像の動きが右斜め上方向へのパン、チルトであるとともに、動画像に静止画領域Ｌqが含まれ、図１５Ａに示すような第１，第２の信頼度の判定結果であり、かつ、図１４Ｂに示すように静止画領域Ｌ1，Ｌ2が設定されている場合、ローカルエリアベクトル設定部２３２で上述した処理が実施されると、以下のようにローカルエリアベクトルが設定される。すなわち、図１５Ｂに示すように、静止画領域Ｌ1，Ｌ2にローカルエリアベクトルが設定されずに、第１の動きベクトルＶanが、他のローカルエリアＣmのローカルエリアベクトルとして設定される。【００５４】
内挿フレーム作成部２４０は、ローカルエリアベクトル設定部２３２におけるローカルエリアベクトルの設定結果に基づいて、内挿フレームを作成する。
具体的には、内挿フレーム作成部２４０は、ローカルエリアＣmにローカルエリアベクトルが設定されている場合、ローカルエリアベクトルの動きに対応する内挿フレームを作成する。このとき、静止画領域Ｌqが設定されている場合、この静止画領域Ｌqの状態を反映させた内挿フレームを作成する。また、全ローカルエリアＣmにローカルエリアベクトルが設定されていない場合、内挿フレームを作成しない。【００５５】
〔表示装置の動作〕
次に、表示装置２００の動作として、フレームレート変換処理時における内挿フレームの作成処理について説明する。
なお、第１実施形態と同様の動作については、同一の符号を付し説明を省略または簡略にする。
図１６および図１７は、内挿フレームの作成処理を示すフローチャートである。【００５６】
表示装置２００のフレームレート変換装置２２０は、図１６に示すように、ステップＳ１０１およびステップＳ１０２の処理を実施する。さらに、静止画領域Ｌqの検出処理を実施して（ステップＳ２０１）、図１６および図１７に示すように、ステップＳ１０３〜ステップＳ１０６の処理を実施する。【００５７】
このステップＳ１０６において、第１の動きベクトルＶanの方が多いと判断した場合、ステップＳ１０７の処理をして、このステップＳ１０７において、閾値未満であると判断した場合、内挿フレームを作成せずに処理を終了する。一方、ステップＳ１０７において、閾値以上であると判断した場合、静止画領域Ｌqが検出されたか否かを判断する（ステップＳ２０２）。
そして、ステップＳ２０２において、静止画領域Ｌqが検出されたと判断した場合、静止画領域Ｌqにローカルエリアベクトルを設定せずに、第１の動きベクトルＶanを他のローカルエリアＣmのローカルエリアベクトルとして設定する（ステップＳ２０３）。すなわち、静止画領域Ｌqに対応するローカルエリアＣmの動きとして、第１の動きベクトルＶanの動きよりも優先して、静止画領域Ｌqの動きである静止状態を設定する。この後、内挿フレームを作成して（ステップＳ２０４）、処理を終了する。一方、ステップＳ２０２において、静止画領域Ｌqが検出されていないと判断した場合、ステップＳ１０８の処理、すなわち第１の動きベクトルＶanを全ローカルエリアＣmのローカルエリアベクトルとして設定して、ステップＳ２０４の処理をする。【００５８】
また、ステップＳ１０６において、第２の動きベクトルＶbpの方が多いと判断した場合、ステップＳ１１０の処理をして、このステップＳ１１０において、閾値未満であると判断した場合、内挿フレームを作成せずに処理を終了する。一方、ステップＳ１１０において、閾値以上であると判断した場合、静止画領域Ｌqが検出されたか否かを判断する（ステップＳ２０５）。
そして、ステップＳ２０５において、静止画領域Ｌqが検出されたと判断した場合、静止画領域Ｌqにローカルエリアベクトルを設定せずに、第２の動きベクトルＶbpを他のローカルエリアＣmのローカルエリアベクトルとして設定する（ステップＳ２０６）。すなわち、静止画領域Ｌqに対応するローカルエリアＣmの動きとして、第２の動きベクトルＶbpの動きよりも優先して、静止画領域Ｌqの動きである静止状態を設定する。そして、ステップＳ２０４の処理をする。一方、ステップＳ２０５において、静止画領域Ｌqが検出されていないと判断した場合、ステップＳ１１１の処理、すなわち第２の動きベクトルＶbpを全ローカルエリアＣmのローカルエリアベクトルとして設定して、ステップＳ２０４の処理をする。【００５９】
〔第２実施形態の作用効果〕
上述したように、上記第２実施形態では、第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。【００６０】
すなわち、内挿フレーム作成制御装置２３０は、ローカルエリアＣmにおける静止画領域Ｌqを検出して設定する。そして、静止画領域Ｌqにローカルエリアベクトルを設定せずに、第１，第２の動きベクトルＶan，Ｖbpのうちカウント値が多い方を、他のローカルエリアＣmのローカルエリアベクトルとして設定する。
このため、動画像に静止画領域Ｌqが含まれる場合であっても、この静止画領域Ｌqの動きである静止状態を反映させた適切な内挿フレームを作成させることができる。【００６１】
さらに、第１，第２の動きベクトルＶan，Ｖbpを取得する構成として、第１実施形態の表示装置１００と同じ第１，第２の画像判定部１３１，１３２を適用している。
このため、例えば静止画領域Ｌqが検出された際に、静止画領域ＬqでないローカルエリアＣmのみにおける第１，第２の動きベクトルＶan，Ｖbpを取得する構成と比べて、構成や処理の簡略化を容易に図ることができる。【００６２】
［実施形態の変形］
なお、本発明は、上述した第１，第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。【００６３】
すなわち、第１の動き検出ブロックＢanのサイズとして、動き検出領域Ａを４分割したサイズを適用したが、第２の動き検出ブロックＢbpよりも大きければ、動き検出領域Ａを２分割や３分割したサイズとしてもよいし、動き検出領域Ａ全体を第１の動き検出ブロックＢanと見なしてもよい。
このように第１の動き検出ブロックＢanのサイズを第１，第２実施形態より大きい構成にすれば、パン、チルトの検出精度をより高めることができる。【００６４】
また、第２の動き検出ブロックＢbpのサイズとして、動き検出領域Ａを１２分割したサイズを適用したが、第１の動き検出ブロックＢanよりも小さく、かつ、ローカルエリアＣmよりも大きければ、動き検出領域Ａを８分割や１６分割あるいは２４分割したサイズとしてもよい。
特に、第２の動き検出ブロックＢbpのサイズを第１，第２実施形態より小さい構成にすれば、ズーム、回転の検出精度をより高めることができる。【００６５】
さらに、隣り合う第１，第２の動き検出ブロックＢan，Ｂbpを連続する状態で配置したが、１個や２個のローカルエリアＣmを介して離した状態で配置してもよい。【００６６】
そして、信頼された第１，第２の動きベクトルＶan，Ｖbpのカウント値が閾値よりも低い場合に、内挿フレームを作成しない構成としたが、このような閾値と比較する処理を実施せずに、第１，第２の動きベクトルＶan，Ｖbpのうち信頼されたもののカウント値が多い方を、ローカルエリアベクトルとして設定する構成としてもよい。
このような構成にすれば、ステップＳ１０７，Ｓ１１０の処理を省略でき、ローカルエリアベクトル設定部１３６，２３２の構成を簡略にでき、処理時の負荷を低減できる。【００６７】
また、第２実施形態において、第１，第２の動きベクトルＶan，Ｖbpの取得よりも先に静止画領域Ｌqを検出して、静止画領域Ｌqが検出された際に、その検出された領域を除いた領域において、第１，第２の動きベクトルＶan，Ｖbpを取得する構成としてもよい。
つまり、第３の画像判定部２３１における処理を、本発明の第１の動き検出工程に対応させ、第１，第２の画像判定部１３１，１３２における処理を、本発明の第２，第３の動き検出工程に対応させ、ローカルエリアベクトル設定部２３２における処理を、本発明のローカルエリアベクトル設定工程に対応させてもよい。
このような構成にすれば、静止画領域Ｌqを優先的に検出することにより、第１，第２の動きベクトルＶan，Ｖbpの取得を容易にできるとともに、その検出精度を向上させることができる。【００６８】
さらに、第１，第２実施形態において、本発明の部分動画像としての文字スクロールの動きを第３の状態として判定する構成を、本発明の第３の画像判定部として設ける。そして、文字スクロールに対応するローカルエリアＣmの動きとして、第１，第２の動きベクトルＶan，Ｖbpの動きよりも優先して、文字スクロールの動きを優先的に適応させる構成としてもよい。
ここで、文字スクロールの検出方法としては、例えば特開２００４−３１２６８０号公報に記載のような方法などが例示できる。
すなわち、現在のフレームＦおよび過去のフレームＦを基準にして、フレームＦの下側部分における水平方向の動きを検出し、この検出した動きに基づいて、現在のフレームＦに文字スクロールが存在しているか否かを検出する方法が例示できる。
このような構成にすれば、動画像に文字スクロールが含まれる場合であっても、その動きを反映させた適切な内挿フレームを作成させることができる。【００６９】
第１、第２の実施形態では、第１〜第３画像判定部１３１，１３２，２３１の動き検出領域は、全て同じ動き検出領域Ａについて行っている。すなわち、フレームＦの外縁から所定距離だけ内側の部分を除いた領域を動き検出領域Ａとしている。しかし、第１〜第３画像判定部１３１，１３２，２３１の動き検出領域を、異ならせてもよい。【００７０】
そして、本発明の内挿フレーム作成制御装置やフレームレート変換装置を、表示装置に適用した構成について例示したが、動画像のフレームレートを変換して表示させるいかなる構成に適用してもよい。例えば、再生装置や記録再生装置に適用してもよい。【００７１】
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。【００７２】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。【００７３】
［実施形態の効果］
上述したように、上記実施形態では、内挿フレーム作成制御装置１３０は、フレームＦごとに、ブロックサイズが互いに異なる第１，第２の動き検出ブロックＢan，Ｂbpにおける動きを検出し、その動きを第１，第２の動きベクトルＶan，Ｖbpとして取得する。さらに、ローカルエリアＣmにおける動きを第３の動きベクトルＶcmとして取得する。この後、第１，第２の動きベクトルＶan，Ｖbpに対する第１，第２の信頼度を判定し、信頼された第１の動きベクトルＶanの数が多い場合、第１の動きベクトルＶanを全ローカルエリアＣmのローカルエリアベクトルとして設定し、信頼された第２の動きベクトルＶbpの数が多い場合、第２の動きベクトルＶbpを全ローカルエリアＣmのローカルエリアベクトルとして設定する。そして、このローカルエリアベクトルに基づいて、内挿フレーム作成部１４０に内挿フレームを作成させる。
このため、ブロックサイズが異なる第１，第２の動き検出ブロックＢan，Ｂbpにおける第１，第２の動きベクトルＶan，Ｖbpを検出するので、動画像の動きがパン、チルト、ズーム、回転のいずれであっても、精度よく検出できる。また、カバード・アンカバードバックグランドが存在する場合、すなわち、動画像に含まれるオブジェクトの一部が動く前後で重なり、この重なる部分の第１，第２の動きベクトルＶan，Ｖbpが検出されない場合、第１，第２の動きベクトルＶan，Ｖbpのうち一方を、全ローカルエリアＣmのローカルエリアベクトルとして設定するので、自然な内挿フレームを作成できる。
また、フレームＦ全体を複数の第１，第２の動き検出ブロックＢan，Ｂbpに分け、各動き検出ブロックＢan，Ｂbp単位で動き検出しても、全動き検出ブロックＢan，Ｂbpの検出結果を総合的に判断してフレームＦ全体の動きに対応するベクトルを検出するので、回転やズームも精度よく検出することができる。
したがって、内挿フレーム作成制御装置１３０は、内挿フレーム作成部１４０に、適切な内挿フレームを作成させることができる。【００７４】
また、フレームレート変換装置１２０は、内挿フレーム作成制御装置１３０で作成された適切な内挿フレームに基づいて、フレームレートを適切に変換できる。
さらに、表示装置１００は、フレームレート変換装置１２０で適切にフレームレートが変換された動画像を表示することができ、利用者に自然な動画像を視認させることができる。
【産業上の利用可能性】
【００７５】
本発明は、複数のフレームからなる動画像のフレームレートの変換時に前記フレームの間に内挿される内挿フレームを作成させる内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体として利用できる。
【図１】
2008139520.tif 000003
【図２Ａ】
2008139520.tif 000004
【図２Ｂ】
2008139520.tif 000005
【図３Ａ】
2008139520.tif 000006
【図３Ｂ】
2008139520.tif 000007
【図４Ａ】
2008139520.tif 000008
【図４Ｂ】
2008139520.tif 000009
【図５Ａ】
2008139520.tif 000010
【図５Ｂ】
2008139520.tif 000011
【図６】
2008139520.tif 000012
【図７】
2008139520.tif 000013
【図８】
2008139520.tif 000014
【図９Ａ】
2008139520.tif 000015
【図９Ｂ】
2008139520.tif 000016
【図１０Ａ】
2008139520.tif 000017
【図１０Ｂ】
2008139520.tif 000018
【図１１Ａ】
2008139520.tif 000019
【図１１Ｂ】
2008139520.tif 000020
【図１２】
2008139520.tif 000021
【図１３】
2008139520.tif 000022
【図１４Ａ】
2008139520.tif 000023
【図１４Ｂ】
2008139520.tif 000024
【図１５Ａ】
2008139520.tif 000025
【図１５Ｂ】
2008139520.tif 000026
【図１６】
2008139520.tif 000027
【図１７】
2008139520.tif 000028
【国際調査報告】
2008139520.tif 000029
2008139520.tif 000030
2008139520.tif 000031
2008139520.tif 000032