(57)【要約】  簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置を提供する。  入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する画像処理装置（１０）であって、原画像を複数のブロックに分割して、ブロックごとに、２枚の原画像間での動きベクトル量を検出する動きベクトル検出部（１１）と、複数のブロックからなる所定の領域ごとに、検出された複数の動きベクトル量に基づいて、原画像と補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部（１３）と、所定の領域ごとに、決定された動き補償強度に応じた補間画像を生成する補間画像生成部（１４）とを備える。
2011067869.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える画像処理装置。
【請求項２】
さらに、
前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、
前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項５】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項６】
前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する
請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成する
請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記補償強度決定部は、さらに、
前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、
前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項２〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、
前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、
前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記動きベクトル検出部は、前記ブロックごとに、前記２枚の原画像間での動きベクトルを検出し、
前記補間画像生成部は、前記所定の領域ごとに、前記動きベクトル検出部が検出した動きベクトルと、前記補償強度決定部が決定した動き補償強度で示される前記原画像と前記補間画像との一致度合いとを用いて、前記２枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、前記補間画像を生成する
請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理方法であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
を含む画像処理方法。
【請求項１４】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換するためのプログラムであって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
をコンピュータに実行させるプログラム。
【請求項１５】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置を制御する集積回路であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換するフレームレート変換を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、１２０Ｈｚの動画像を表示する表示装置では、６０Ｈｚの動画像をそのまま表示することはできないため、６０Ｈｚの動画像を１２０Ｈｚの動画像に変換するフレームレート変換処理を行う。このフレームレート変換処理は、６０Ｈｚの動画像の２フレームの画像から、当該２フレームの中間の補間画像を作成する処理である。具体的には、このフレームレート変換処理は、６０Ｈｚの動画像の２枚のフレームから、任意のブロックサイズで動きベクトルを算出し、この動きベクトルを用いて当該２枚のフレームの間の中間フレームを作成するものである。【０００３】
しかしながら、画面上で複数の物体がそれぞれ別の方向に移動している場合には、生成した補間画像が破たんする場合がある。【０００４】
この補間画像の破綻は、物体の境界付近での動きベクトルの検出エラー、又は高速で移動する物体の動きベクトルの検出エラーなど、いくつかの動きベクトルの検出エラーが表面化したものである。このため、この補間画像のエラーを抑制するための方法として、エラーが生ずる場合には、フレームレート変換処理において論理的に決定される正規の補間画像ではなく、原画像に近い補間画像を作成する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の補間画像のエラーを抑制する方法では、画面全体の補間位相を一括して正規の位相から変化させるものであるために、画面の位置によっては不具合が生じてしまうという問題がある。【０００７】
つまり、動きベクトルを用いた動き補償処理で、補間位相の制御を行う場合に、画面一律に補間位相を制御すると、画面の位置により補間位相の最適値が異なる。このため、補間画像のエラー低減をしたために滑らかさが失われて、ジャダー（動きの不自然さ）感が増加する箇所が発生する。【０００８】
そこで、本発明は、このような問題に鑑みてなされたものであり、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像処理装置は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部とを備える。【００１０】
これによれば、所定の領域ごとに、動きベクトル量に基づいて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００１１】
また、好ましくは、さらに、前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する。【００１２】
これによれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００１３】
また、好ましくは、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する。【００１４】
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。【００１５】
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。【００１６】
これらによれば、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００１７】
また、好ましくは、前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する。【００１８】
また、前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成することにしてもよい。【００１９】
これらによれば、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００２０】
また、好ましくは、前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する。【００２１】
これによれば、連続する動き補償強度が連続的に変化するように動き補償強度を決定する。このため、滑らかな補間画像を生成することができる。【００２２】
また、好ましくは、前記補償強度決定部は、さらに、前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。【００２３】
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００２４】
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。【００２５】
これによれば、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００２６】
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。【００２７】
これによれば、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。【００２８】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。【００２９】
さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。
【発明の効果】
【００３０】
本発明に係る画像処理装置によれば、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本実施の形態１における画像処理装置の動作の一例を示すフローチャートである。
【図３】図３は、本実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。
【図４Ａ】図４Ａは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【図４Ｂ】図４Ｂは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【図５】図５は、本実施の形態１におけるヒストグラムに示された動きベクトル量の分布の幅ＤＷと動き補償強度との関係を示す図である。
【図６】図６は、本実施の形態１における補償強度決定部が行うフィルタ処理の一例を説明する図である。
【図７】図７は、本実施の形態１における２４Ｈｚから１２０Ｈｚに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
【図８Ａ】図８Ａは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【図８Ｂ】図８Ｂは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【図９】図９は、本実施の形態２におけるヒストグラムに示された動きベクトル量の分布の山の間隔Ｌと動き補償強度との関係を示す図である。
【図１０Ａ】図１０Ａは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【図１０Ｂ】図１０Ｂは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【図１１】図１１は、本実施の形態３におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Ｍと動き補償強度との関係を示す図である。
【図１２】図１２は、本実施の形態４における画像処理装置の動作の一例を示すフローチャートである。
【図１３Ａ】図１３Ａは、本実施の形態４における補償強度決定部が動き補償強度を新たに決定する処理を説明する図である。
【図１３Ｂ】図１３Ｂは、本実施の形態４における補償強度決定部が動き補償強度を新たに決定する処理を説明する図である。
【発明を実施するための形態】
【００３２】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３３】
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【００３４】
また、以下の実施の形態は、ハードウェアやソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【００３５】
（実施の形態１）
以下に、本発明の一実施の形態について、図１を用いて説明する。
【００３６】
図１は、本実施の形態１における画像処理装置１０の機能構成を示すブロック図である。
【００３７】
画像処理装置１０は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する装置である。同図に示すように、画像処理装置１０は、動きベクトル検出部１１、ヒストグラム作成部１２、補償強度決定部１３、及び補間画像生成部１４を備えている。
【００３８】
動きベクトル検出部１１は、原画像を複数のブロックに分割して、当該ブロックごとに、入力される動画像に含まれる時間的に前後する２枚の原画像間での動きベクトルを検出する。このブロックとは、例えばマクロブロックである。
【００３９】
そして、動きベクトル検出部１１は、当該動きベクトルの動きベクトル量を検出する。ここで、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値である。つまり、動きベクトルの大きさが異なると、動きベクトル量の値も異なり、また、動きベクトルの向きが異なると、動きベクトル量の値も異なる。
【００４０】
ヒストグラム作成部１２は、複数のブロックからなる所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量のヒストグラムを作成する。
【００４１】
補償強度決定部１３は、所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量に基づいて、入力された原画像と補間画像との一致度合いを示す動き補償強度を決定する。具体的には、補償強度決定部１３は、ヒストグラム作成部１２が作成したヒストグラムを用いて、当該動き補償強度を決定する。
【００４２】
補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する。具体的には、補間画像生成部１４は、所定の領域ごとに、動きベクトル検出部１１が検出した２枚の原画像間での動きベクトルと、補償強度決定部１３が決定した動き補償強度で示される原画像と補間画像との一致度合いとを用いて、２枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、補間画像を生成する。
【００４３】
次に、画像処理装置１０が補間画像を生成する処理について、説明する。
【００４４】
図２は、本実施の形態１における画像処理装置１０の動作の一例を示すフローチャートである。
【００４５】
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理（Ｓ１０４〜Ｓ１１０）が繰り返し行われる（ループ１：Ｓ１０２〜Ｓ１１２）。
【００４６】
まず、動きベクトル検出部１１は、ブロックごとに動きベクトルを検出し、当該動きベクトルの動きベクトル量を検出する（Ｓ１０４）。
【００４７】
ここで、動きベクトルとは、画像の動き状態を表すものであり、この動きベクトルを検出する方法としては、ブロックマッチング法がある。
【００４８】
ブロックマッチング法とは、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域（以下、候補ブロックと呼ぶ）との相関度をそれぞれ評価する。そして、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとする。
【００４９】
なお、上記の探索範囲は、注目ブロックが含まれるフレームに対して、前のフレーム及び後のフレームのうちの１つ以上のフレームにわたる所望の範囲に設定されるものであればよい。
【００５０】
また、相関値は、注目ブロックと候補ブロックとの間で、それぞれに対応する画素同士の差分絶対値の総和、又はそれぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度が大きい程、示す値が小さくなるものであればよい。
【００５１】
そして、ヒストグラム作成部１２は、所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量のヒストグラムを作成する（Ｓ１０６）。
【００５２】
次に、補償強度決定部１３は、所定の領域ごとに、ヒストグラム作成部１２が作成したヒストグラムを用いて、動き補償強度を決定する（Ｓ１０８）。
【００５３】
そして、補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する（Ｓ１１０）。
【００５４】
以上により、画像処理装置１０が補間画像を生成する処理は、終了する。
【００５５】
次に、所定の領域ごとに、ヒストグラム作成部１２がヒストグラムを作成し、補償強度決定部１３が動き補償強度を決定し、補間画像生成部１４が補間画像を生成する処理（図２のＳ１０６〜Ｓ１１０）について、詳細に説明する。
【００５６】
まず、画像処理装置１０が補間画像を生成する処理について説明する。
【００５７】
図３は、本実施の形態１における画像処理装置１０が補間画像を生成する処理を模式的に示す図である。具体的には、同図は、入力フレームｎの画像データあるいは入力フレームｎ＋１の画像データから中間フレームの画像データである補間画像を生成する投影処理を模式的に示した図である。
【００５８】
同図では、入力フレームｎと入力フレームｎ＋１のフレームの位相差を１．０とした場合の位相関係を示しており、動きベクトル検出部１１が検出した動きベクトルのフレーム間距離が１．０である場合に相当する。
【００５９】
そして、入力フレームｎの画像データからの投影処理により補間画像ｎ＋Ｋの画像データを生成するには、動きベクトルに補間位相係数Ｋｍを乗じてゲイン処理を行う。
【００６０】
また、入力フレームｎ＋１の画像データからの投影処理によって補間画像ｎ＋Ｋを生成する場合には、先ほどの入力フレームｎから作成する場合とは時間方向が逆になるので、動きベクトルに−（１−Ｋｍ）を乗じてゲイン処理を行う。なお、入力フレームｎと入力フレームｎ＋１のちょうど中間の位相すなわちＫｍ＝０．５の場合を正規位相と呼び、以下の説明でも用いる。
【００６１】
正規位相のＫｍ＝０．５に対して、たとえばＫｍ＝０．４又は０．３での補間画像ｎ＋Ｋを作成した場合の方が、生成される補間画像ｎ＋Ｋの画像データは入力フレームｎの成分が強くなる。入力フレームｎは補間画像ｎ＋Ｋの画像データの生成前の原画像であるという理由により、このＫｍ＝０．４又は０．３での補間位相を、原画寄りの位相と呼び、以下の説明でも用いる。
【００６２】
なお、Ｋｍ＝０.６又は０．７の場合には、生成される補間画像ｎ＋Ｋの画像データは
入力フレームｎ＋１の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
【００６３】
補間画像ｎ＋Ｋの画像の壊れに対して、Ｋｍ＝０．５での正規位相よりも原画寄りの補間位相を設定することで、より原画の成分が強くなるため、補間画像ｎ＋Ｋの画像のエラーの低減を行う手段としては有効である。
【００６４】
しかしながら、画面全体で一律に補間位相の補正値を決定すると、不具合が生ずる。
【００６５】
この解決手段として、所定の領域ごとに、ヒストグラム作成部１２がヒストグラムを作成し、補償強度決定部１３が、ヒストグラム作成部１２が作成したヒストグラムの結果に応じて補間位相を変化させて動き補償強度を決定し、補間画像生成部１４が補間画像を生成することを、以下説明する。
【００６６】
ヒストグラム作成部１２が作成したヒストグラムにより、動き補償強度を決定するわけであるが、本実施の形態１では、この決定の方法として、動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法に関して、説明する。
【００６７】
動画像の動きベクトル量の分布での場合分けを考えると、たとえば横方向あるいは縦方向といった単一の方向に画面全体がスクロールしている場合では、その時の動きベクトル量の分布は画面全体で同一の方向のベクトルを有しているため、すべて同じ値となり、その値に分布が集中した結果が得られる。
【００６８】
これに対して、たとえば背景とは反対方向に物体が移動している場合には、背景の動きを示す値と物体の動きを示す値とに分布が現れることになる。この場合には、分布は二つの範囲に集中することになり、ある値は背景の動きを表し、もう一つの値は物体の動きを表すことになる。
【００６９】
図４Ａ及び図４Ｂは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【００７０】
具体的には、図４Ａは、単一の方向に動いている場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。また、図４Ｂは、異なる方向に物体が動いている、あるいは同じ方向でも物体の動く速度が異なる場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。
【００７１】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【００７２】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の広がりを示している。
【００７３】
そして、これらの図に示す動きベクトル量の分布の広がり幅ＤＷの大小が、補間画像の作成時のエラー出現の目安となる。
【００７４】
つまり、動きベクトルの方向が異なる領域の境界では、動きベクトル検出部１１では動きベクトルを完全には検出できず、その結果、実際の動き量とは異なる方向を動きベクトルと検出することで、エラーの一因となっている。
【００７５】
よって、この境界を挟んで隣接する動きベクトルの差が小さい場合に比べて、その差が大きい場合にはエラーの発生確率がさらに高くなることは明らかである。そして、動きベクトル量の分布の幅ＤＷが大きい場合には、この境界での動きベクトルの差が大きくなる可能性がある。
【００７６】
このように、異なる動きベクトルが隣接して存在する場合に、その差に応じて補間位相を制御することは有効であり、その差が大きいほど補間位相を原画に近い値に設定することでエラー低減を図ることができる。
【００７７】
すなわち、図４Ａのようなヒストグラムの場合には、補償強度決定部１３は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【００７８】
また、図４Ｂのように分布の広いヒストグラムの場合には、補償強度決定部１３は、補間位相が原画寄りになるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。このようにすることで、エラーの発生確率を低くすることが可能になる。
【００７９】
図５は、本実施の形態１におけるヒストグラムに示された動きベクトル量の分布の幅ＤＷと動き補償強度との関係を示す図である。
【００８０】
同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の広がり幅ＤＷが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【００８１】
具体的には、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【００８２】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【００８３】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【００８４】
また、この補間位相を制御する方法は、テロップが出ている領域に対しても有効である。たとえば、テロップが画面に対して水平方向に出ている場合に、全体を正規の位相で補間画像を作成してしまうと、テロップの領域は正規位相での補間画像作成により滑らかな動きとすることができるが、テロップでない領域が前述のように、動きが異なる物体がすれ違う画像であった場合には、当然エラーが発生することになる。
【００８５】
このとき、領域ごとに補間位相を変えることでこのエラー発生が低減できる。つまり、テロップの領域でない箇所は、画像の特徴に応じて補間位相を決定するようにし、テロップと判断した領域は正規位相で画像を作成する。これにより、画面全体で補間位相を処理していた場合にはスクロールの文字がゆがんだりして見づらくなる場合が生じていた不具合を、減少させることが可能となる。
【００８６】
このように、画面単位すなわちフレーム単位で補間位相を変える場合と比較して、領域ごとに補間位相を制御することで画面の各領域に応じた画像データを作成することができ、画質が向上することは明らかである。
【００８７】
また、スクロールに関しては既に説明しているが、画面が部分的にスクロールしている画像に対しても同様に画質が向上することは言うまでもない。
【００８８】
繰り返しの説明になるが、全体がスクロールしている画像では問題はないが、たとえば、画面の上半分はスクロールをしているが下半分は異なる動きをしている場合を考える。このとき、上半分のスクロールをしている領域は、正規の位相を設定することで滑らかな動きとなるが、下半分に関してはスクロールとは異なり、複数の方向に物体が動いている場合であって、上半分と同じく正規の位相を設定した場合には、エラーが発生する可能性が高くなる。
【００８９】
したがって、この場合は、前述のように動きベクトルから作成したヒストグラムの特徴に応じて、補間位相を設定すればよい。
【００９０】
このように、画面全体に対して補間位相を決定するのではなく、各々の領域に対して補間位相を決定する手法は、画面が部分的にスクロールしている画像に対しても有効である。
【００９１】
以上までは、ヒストグラムを作成する所定の領域に関して特に規定することなく説明を行ったが、特に、ライン単位ヒストグラムを作成することが、とりわけ効果がある。
【００９２】
具体的には、ヒストグラム作成部１２は、画像の水平方向であるライン方向に連続する複数のブロックからなるライン領域を所定の領域として、ライン領域ごとにヒストグラムを作成する。そして、補償強度決定部１３は、ライン領域ごとに動き補償強度を決定し、補間画像生成部１４は、ライン領域ごとに補間画像を生成する。
【００９３】
このように、ライン単位でこのヒストグラムを作成し、ライン毎に補間位相を設定するようにすることで、容易に処理回路を構成することができる。例えば、水平方向に流れるテロップに対しては、テロップが流れるラインを的確に検出することができる。このように、画面全体でのヒストグラムを作成した場合と比較し、個々の動きに適応した補間位相の制御ができ、違和感のない効果的な補間位相の制御ができる。
【００９４】
また、水平方向のライン単位ではなく、垂直方向のカラム単位で実施することも、動画像によっては有効である。たとえば、垂直方向にテロップが流れている場合などである。
【００９５】
具体的には、ヒストグラム作成部１２は、画像の垂直方向であるカラム方向に連続する複数のブロックからなるカラム領域を所定の領域として、カラム領域ごとにヒストグラムを作成する。そして、補償強度決定部１３は、カラム領域ごとに動き補償強度を決定し、補間画像生成部１４は、カラム領域ごとに補間画像を生成することにしてもよい。
【００９６】
テロップはその動き量が一定であることが多いため、水平方向あるいは垂直方向に流れているテロップについては、ライン方向あるいはカラム方向のヒストグラムを作成すれば、テロップ部とテロップでない部分との判別が容易である。このため、テロップと判定したラインあるいはカラムにおいては正規の位相を設定して画像を作成することにより、テロップ部の滑らかな動きを得ることができる。
【００９７】
このように、ライン単位あるいはカラム単位でのヒストグラムを作成し、これを基に補間位相を制御して動き補償強度を決定することで、動画像の特徴に応じた補間画像の作成が可能になる。
【００９８】
なお、ライン方向にヒストグラムを作成して、その分布により補間位相を制御する場合、隣接する、すなわち、上もしくは下のラインとの補間位相が大きく異なる場合には、段差が生ずるような見え方となってしまう可能性が高い。
【００９９】
このため、隣接するラインでは補間位相が大きく異ならないように、フィルタをかけて、ライン方向の補間位相の変化がなだらかになるように設定することが有効である。これは、カラム方向でも同様である。
【０１００】
図６は、本実施の形態１における補償強度決定部１３が行うフィルタ処理の一例を説明する図である。
【０１０１】
補償強度決定部１３は、隣接する所定の領域間での動き補償強度が連続的に変化するように、動き補償強度を決定する。
【０１０２】
具体的には、同図に示すように、中心の領域での動き補償強度が例えば「０．４」で、その領域に隣接する上下左右の領域での動き補償強度が「０」の場合、補償強度決定部１３は、フィルタ処理を行い、中心の領域での動き補償強度を「０．２」に変更し、また、その領域に隣接する上下左右の領域での動き補償強度を「０．１」に変更する。
【０１０３】
このように、補償強度決定部１３は、動き補償強度が連続的に変化するように、決定した動き補償強度を変更する。
【０１０４】
また、以上の説明は、６０Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置に関して述べてきたが、たとえば、２４Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置に関しても同様である。２４Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置で表示させるには、２フレームから新たに４枚の補間画像を生成する。
【０１０５】
図７は、本実施の形態１における２４Ｈｚから１２０Ｈｚに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
【０１０６】
同図に示すように、補間画像の正規位相は、補間位相の位置で言うと、補間位相係数Ｋｍ＝０．２，０．４，０．６，０．８の４つの位置に相当する。つまり、入力フレームｎと入力フレームｎ＋１との間に、補間画像１〜４の４枚のフレームが生成される。
【０１０７】
ここで、正規位相がＫｍ＝０．２の補間画像１の場合には、Ｋｍの値が小さくなるほど、入力フレームｎの原画像と補間画像１との一致度合いが大きくなるため、補償強度決定部１３は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Ｋｍの値が小さくなるように、動き補償強度を決定する。
【０１０８】
また、正規位相がＫｍ＝０．８の補間画像４の場合には、Ｋｍの値が大きくなるほど、入力フレームｎ＋１の原画像と補間画像４との一致度合いが大きくなるため、補償強度決定部１３は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Ｋｍの値が大きくなるように、動き補償強度を決定する。
【０１０９】
なお、補償強度決定部１３が動き補償強度を決定する方法は、上記の方法に限定されず、例えば、補間画像１を入力フレームｎ＋１に近づけるように、動き補償強度を決定することにしてもよい。
【０１１０】
なお、２フレームから１枚の補間画像を作成する６０Ｈｚの動画像の場合に対して、２フレームから４枚の補間画像を作成する２４Ｈｚの動画像は、検出したベクトルの信頼性が低い場合には、エラーによる画像の壊れ、破たんが大きくなってしまう。
【０１１１】
このため、６０Ｈｚの動画像に対し、２４Ｈｚであるシネマの動画像は原画に近い位相を設定する傾向を強くしておくことで、画像の破たんを抑制することができる。
【０１１２】
以上により、本実施の形態１における画像処理装置１０によれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１１３】
また、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。
【０１１４】
また、連続する動き補償強度が連続的に変化するように動き補償強度を決定するため、滑らかな補間画像を生成することができる。
【０１１５】
（実施の形態２）
上記実施の形態１では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態２では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
【０１１６】
動画像の場合では、画面全体がスクロールしている場合では前述のように動きベクトルが同一の値を有するために特定の値に集中することで、分布の山の数は一つになる。つまりひと山になるわけである。
【０１１７】
これに対し、背景とは反対方向に物体が移動している場合には、背景の動きを示す動きベクトル量と、物体の動きを示す動きベクトル量との２つがピークとして出現するヒストグラムとなる。
【０１１８】
図８Ａ及び図８Ｂは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【０１１９】
具体的には、図８Ａは、山が一つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図８Ｂは、山が二つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
【０１２０】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【０１２１】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の山の数と山の間隔とを示している。
【０１２２】
ここで、背景と物体の動きの差に関して述べると、動きの方向が逆の場合はもちろん、同一の方向でも動き量に差がある場合には、分布の山が二つ以上できる。また、移動方向の差が大きい場合には、分布のピークの山の差つまり山の間隔が大きくなる。図８Ｂに示された間隔Ｌは、この山の間隔を表している。
【０１２３】
なお、山の間隔とは、隣り合う山のピークの位置同士での動きベクトル量の差であり、具体的には、一方の山における動きベクトル量の度数が最大のときの動きベクトル量と、他方の山における動きベクトル量の度数が最大のときの動きベクトル量との差である。
【０１２４】
分布のピークがふた山の場合にはこの山の間隔もエラーの発生に関係があり、間隔が大きい場合には、エラーの発生確率も高くなるため、この間隔Ｌを基準に動き補償強度を決定すればよい。すなわち、間隔Ｌが大きくなるほど原画寄りの補間位相になるように動き補償強度を決定する。
【０１２５】
このように、ヒストグラムの動きベクトル量の分布の山の数に着目する場合、生成されたヒストグラムの結果により、分布の種類には、分布の山が１つである場合、分布の山が二つである場合、分布の山が三つ以上の場合等に分類することができる。また、さらには分布の山が二つの場合において、その山のピークの位置の差が大きい場合と小さい場合等に分類することができる。
【０１２６】
具体的には、図８Ａに示したように、ヒストグラムの分布によりまず、山の数が一つの場合には画面は同一方向にスクロールしていると判断する。そして、同一方向にスクロールしている場合には、物体と背景がすれ違う等の場面も存在せず、エラーが発生している箇所はないと考えられる。このため、補償強度決定部１３は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１２７】
また、図８Ｂに示したように、山の数が２つの場合には背景と物体とは異なる方向に動くと考えられるので、たとえば背景と物体がすれ違う箇所があると考えられる。このため、エラーが発生している可能性があるため、これを抑制するために、補償強度決定部１３は、補間位相が原画に近い位相になるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１２８】
これにより、画面の中でスクロールをしている箇所と、物体と背景とがすれ違う箇所とが混在している場合でも、スクロールをしている箇所では補間位相を正規の位相に設定し、物体と背景とがすれ違う箇所に対しては、補間位相を原画に近い位相に設定する。これにより、スクロールしている箇所の滑らかさは失うことなく、補間画像のエラーの低減を図ることができる。また、物体と背景とがすれ違う部分のエラーを抑制しても、スクロールをしている部分の滑らかさ、スムースさを失うことがない。
【０１２９】
従来、画面全体での補間位相制御では、滑らかさを優先して正規の位相を設定した場合には、エラーで破たんする箇所が発生する場合があり、またエラー低減を優先させて補間位相を原画の近くの位相に設定した場合にはスクロールしている部分の滑らかさが失われる場合があった。しかし、領域ごとに画面の特徴に応じて補間位相を制御することで、画面全体で補間位相を制御する場合には不可能であったエラーの低減と滑らかさの確保ができる。
【０１３０】
つまり、領域ごとに補間位相の設定値である動き補償強度を変えることにより、エラーの発生を抑制したい領域と、滑らかさを確保したい領域とを、画面の中で混在させることが可能になる。
【０１３１】
次に、動きの方向がさらに三つ以上といった場合には、以下のようにすればよい。
【０１３２】
動きの集まりを示している山が三つ以上に増えることになるため、動きを特定することができず、判断が困難になる。このときは、滑らかさとエラーの低減とのうち優先させる項目に応じて、補間位相を決定すればよい。すなわち、滑らかさを優先するのであれば、位相は正規の位相に近づける値に設定し、エラー低減を優先するのであれば、原画に近い位相に設定すればよい。
【０１３３】
以下に、補償強度決定部１３が動き補償強度を決定する処理について、具体的に説明する。
【０１３４】
図９は、本実施の形態２におけるヒストグラムに示された動きベクトル量の分布の山の間隔Ｌと動き補償強度との関係を示す図である。
【０１３５】
分布の山の間隔Ｌが小さければ、分布の山の数が１つである可能性が高く、分布の山の間隔Ｌが大きければ、分布の山の数が２つ以上である可能性が高い。そして、分布の山の数が１つの場合には、補間画像を原画像に近づける必要はない。また、分布の山の数が２つの場合には、分布の山の間隔Ｌが大きいほど、エラーの発生確率が高くなるため、補間画像を原画像に近づける必要がある。
【０１３６】
このため、同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の山の間隔Ｌが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【０１３７】
具体的には、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【０１３８】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【０１３９】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【０１４０】
このようにして、本実施の形態２における画像処理装置１０によれば、ヒストグラムの分布の山の数及び山の間隔に応じて、簡単に、動き補償強度を決定することができるため、エラー発生が低減され、かつ、滑らかさが確保された高画質な補間画像を作成することができる。
【０１４１】
（実施の形態３）
上記実施の形態１及び２では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態３では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
【０１４２】
図１０Ａ及び図１０Ｂは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【０１４３】
具体的には、図１０Ａは、最大値と最小値との差が小さい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図１０Ｂは、最大値と最小値との差が大きい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
【０１４４】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【０１４５】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の最大値と最小値との差Ｍを示している。
【０１４６】
図１０Ａに示した分布のように、動きベクトル量の最大値と最小値の差Ｍが小さいということは、動きベクトル量が特定の値に集中しているということである。つまり、この場合の領域の動きとしては、スクロール等の単一の動きであると判断すれば良く、この場合はエラー発生の可能性が低いと考えられる。
【０１４７】
このため、補償強度決定部１３は、補間位相が正規位相に近い値となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。これにより、滑らかさを確保することができる。
【０１４８】
これに対し、図１０Ｂに示したように、動きベクトル量の最大値と最小値の差Ｍが大きい場合には、動きベクトル量が特定の値に集中しておらず、少なくとも異なる二つの値がある、言い換えれば動きの異なる物体が存在しているということである。
【０１４９】
したがって、エラーの発生が生じている可能性があり、この場合にはエラーの低減のために、補償強度決定部１３は、補間位相が原画の近くの位相になるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１５０】
図１１は、本実施の形態３におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Ｍと動き補償強度との関係を示す図である。
【０１５１】
同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の最大値と最小値との差が大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【０１５２】
具体的には、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【０１５３】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【０１５４】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【０１５５】
このように、動きベクトル量の最大値と最小値との差が大きくなるほどエラー発生の可能性が高くなるため、その差が大きくなるに応じて補間位相を原画により近い位相に設定することで、エラー発生の頻度抑制が可能である。
【０１５６】
以上により、本実施の形態３における画像処理装置１０によれば、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１５７】
（実施の形態４）
上記実施の形態１〜３では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態４では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
【０１５８】
これにより、単純なスクロールやテロップの箇所は、正規位相に近い動き補償強度を設定することで、滑らかなスクロールやテロップが保たれ、エラーが従来発生していた箇所に関しては、補間位相を原画像に近い所に設定することによって、エラーの低減を図ることができる。
【０１５９】
図１２は、本実施の形態４における画像処理装置１０の動作の一例を示すフローチャートである。
【０１６０】
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理（Ｓ２０４〜Ｓ２１４）が繰り返し行われる（ループ２：Ｓ２０２〜Ｓ２１６）。
【０１６１】
まず、動きベクトル検出部１１は、ブロックごとに動きベクトル量を検出し（Ｓ２０４）、ヒストグラム作成部１２は、所定の領域ごとに、動きベクトル量のヒストグラムを作成し（Ｓ２０６）、補償強度決定部１３は、動き補償強度を決定する（Ｓ２０８）。なお、これらの処理は、図２で説明した処理（Ｓ１０４〜Ｓ１０８）と同様であるため、詳細な説明については省略する。
【０１６２】
次に、補償強度決定部１３は、さらに、スクロール又はテロップの度合いを取得する（Ｓ２１０）。このスクロール又はテロップの度合いは、例えば、動画像が画面全体でスクロールしている可能性を示す全体スクロール度合い、所定の領域ごとに動画像がスクロールしている可能性を示す領域スクロール度合い、又は、所定の領域ごとに動画像にテロップが動いて表示されている可能性を示すテロップ度合いである。
【０１６３】
ここで、動画像が画面全体でスクロールしている可能性が高いほど、全体スクロール度合いは大きな値となり、所定の領域で動画像がスクロールしている可能性が高いほど、領域スクロール度合いは大きな値となり、また、所定の領域で動画像にテロップが動いて表示されている可能性が高いほど、全体スクロール度合いは大きな値となる。
【０１６４】
なお、補償強度決定部１３は、スクロール又はテロップの度合いをどのように取得してもよいが、ここでは、外部の処理部から取得する。
【０１６５】
そして、補償強度決定部１３は、取得したスクロール又はテロップの度合いが大きいほど、ヒストグラムを用いて決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する（Ｓ２１２）。
【０１６６】
図１３Ａ及び図１３Ｂは、本実施の形態４における補償強度決定部１３が動き補償強度を新たに決定する処理を説明する図である。
【０１６７】
図１３Ａに示すように、スクロール又はテロップの度合いが小さい「小」の場合は、補償強度決定部１３は、ヒストグラムを用いて決定される補間位相を、動き補償強度として決定する。また、スクロール又はテロップの度合いが大きい「大」の場合は、補償強度決定部１３は、正規位相を動き補償強度として決定する。
【０１６８】
また、スクロール又はテロップの度合いが「大」と「小」の間の「中」場合は、補償強度決定部１３は、ヒストグラムを用いて決定される補間位相と正規位相との中間の位相を、動き補償強度として決定する。
【０１６９】
なお、スクロール又はテロップの度合いは、大中小の３段階に限られず、４以上の多段階で動き補償強度を決定してもよい。
【０１７０】
図１３Ｂは、スクロール又はテロップの度合いが多段階の場合の、補償強度決定部１３が動き補償強度を新たに決定する処理を説明する図である。
【０１７１】
同図のグラフＡに示すように、補償強度決定部１３は、スクロール又はテロップの度合いが大きくなるほど、ヒストグラムを用いて決定される補間位相から正規位相に近付くように、動き補償強度を決定する。
【０１７２】
また、同図のグラフＢに示すように、スクロール又はテロップの度合いが「大」の場合でも、動き補償強度を正規位相の値に決定せずに、動き補償強度を正規位相の値よりも小さい値に決定することにしてもよい。
【０１７３】
以上のように、補償強度決定部１３は、所定の領域ごとに、領域スクロール度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７４】
また、補償強度決定部１３は、所定の領域ごとに、テロップ度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７５】
また、動画像が画面全体でスクロールしている場合には、補間画像全体を原画像に近づけるように、補間画像内での全ての動き補償強度を変更する。
【０１７６】
つまり、補償強度決定部１３は、全体スクロール度合いが大きいほど、ヒストグラムを用いて決定した補間画像内での全ての動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７７】
図１２に戻り、次に、補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する（Ｓ２１４）。
【０１７８】
以上により、本実施の形態４における画像処理装置１０が補間画像を生成する処理は、終了する。
【０１７９】
なお、本実施の形態４では、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い、又はテロップ度合いを取得して、動き補償強度を決定することとした。しかし、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い、及びテロップ度合いのうちの２つ又は全部を取得して、取得した度合いの情報に応じて、動き補償強度を決定することにしてもよい。
【０１８０】
例えば、補償強度決定部１３は、領域スクロール度合い及びテロップ度合いを取得した場合、領域スクロール度合いに応じた動き補償強度を決定し、さらに、テロップ度合いに応じて、決定した動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
【０１８１】
また、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い及びテロップ度合いを取得した場合、全体スクロール度合いに応じた動き補償強度を決定し、さらに、領域スクロール度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定し、さらに、テロップ度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
【０１８２】
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。
【０１８３】
つまり、当原画像に近い補間画像を作成する必要のない領域においては、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１８４】
以上説明したように、本実施の形態１〜４における画像処理装置１０によれば、補間位相を画面の特徴に応じて適応的に制御することで、エラー低減と滑らかさ、スムースさの両立が実現できるという格別の効果を有するものである。画面の特徴に応じた補間画像の画像データの生成が可能となり、ディスプレイの表現力を大幅に高めることができる。
【０１８５】
なお、本発明は、このような画像処理装置１０として実現できるだけでなく、画像処理装置１０に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１８６】
さらに、本発明は、このような画像処理装置１０の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置１０を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。具体的には、図１又は図１２に示された全ての構成要素を備える集積回路として実現することができる。
【０１８７】
また、集積回路化は個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０１８８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【０１９０】
以上、本発明に係る画像処理装置１０について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１９１】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１９２】
例えば、上記実施の形態では、動画像はフレーム単位で構成されていることとした。しかし、動画像はフィールド単位で構成されていることにしてもよい。
【０１９３】
また、上記実施の形態では、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値であることとした。しかし、動きベクトル量は、動きベクトルの大きさのみを示す値であってもよいし、動きベクトルの方向のみを示す値であってもよい。この場合でも、動きベクトル量のヒストグラムを作成することで、上記実施の形態と同じ効果が得られる。
【産業上の利用可能性】
【０１９４】
本発明に係る画像処理装置は、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる補間画像を作成する画像処理装置として有用である。
【符号の説明】
【０１９５】
１０  画像処理装置
１１  動きベクトル検出部
１２  ヒストグラム作成部
１３  補償強度決定部
１４  補間画像生成部
【図１】
2011067869.tif 000003
【図２】
2011067869.tif 000004
【図３】
2011067869.tif 000005
【図４Ａ】
2011067869.tif 000006
【図４Ｂ】
2011067869.tif 000007
【図５】
2011067869.tif 000008
【図６】
2011067869.tif 000009
【図７】
2011067869.tif 000010
【図８Ａ】
2011067869.tif 000011
【図８Ｂ】
2011067869.tif 000012
【図９】
2011067869.tif 000013
【図１０Ａ】
2011067869.tif 000014
【図１０Ｂ】
2011067869.tif 000015
【図１１】
2011067869.tif 000016
【図１２】
2011067869.tif 000017
【図１３Ａ】
2011067869.tif 000018
【図１３Ｂ】
2011067869.tif 000019
【手続補正書】
【提出日】平成23年8月18日(2011.8.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを変換するフレームレート変換を行う画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来、１２０Ｈｚの動画像を表示する表示装置では、６０Ｈｚの動画像をそのまま表示することはできないため、６０Ｈｚの動画像を１２０Ｈｚの動画像に変換するフレームレート変換処理を行う。このフレームレート変換処理は、６０Ｈｚの動画像の２フレームの画像から、当該２フレームの中間の補間画像を作成する処理である。具体的には、このフレームレート変換処理は、６０Ｈｚの動画像の２枚のフレームから、任意のブロックサイズで動きベクトルを算出し、この動きベクトルを用いて当該２枚のフレームの間の中間フレームを作成するものである。
【０００３】
しかしながら、画面上で複数の物体がそれぞれ別の方向に移動している場合には、生成した補間画像が破たんする場合がある。
【０００４】
この補間画像の破綻は、物体の境界付近での動きベクトルの検出エラー、又は高速で移動する物体の動きベクトルの検出エラーなど、いくつかの動きベクトルの検出エラーが表面化したものである。このため、この補間画像のエラーを抑制するための方法として、エラーが生ずる場合には、フレームレート変換処理において論理的に決定される正規の補間画像ではなく、原画像に近い補間画像を作成する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の補間画像のエラーを抑制する方法では、画面全体の補間位相を一括して正規の位相から変化させるものであるために、画面の位置によっては不具合が生じてしまうという問題がある。
【０００７】
つまり、動きベクトルを用いた動き補償処理で、補間位相の制御を行う場合に、画面一律に補間位相を制御すると、画面の位置により補間位相の最適値が異なる。このため、補間画像のエラー低減をしたために滑らかさが失われて、ジャダー（動きの不自然さ）感が増加する箇所が発生する。
【０００８】
そこで、本発明は、このような問題に鑑みてなされたものであり、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る画像処理装置は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部とを備える。
【００１０】
これによれば、所定の領域ごとに、動きベクトル量に基づいて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００１１】
また、好ましくは、さらに、前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する。
【００１２】
これによれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００１３】
また、好ましくは、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する。
【００１４】
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
【００１５】
また、前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定することにしてもよい。
【００１６】
これらによれば、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００１７】
また、好ましくは、前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する。
【００１８】
また、前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成することにしてもよい。
【００１９】
これらによれば、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００２０】
また、好ましくは、前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する。
【００２１】
これによれば、連続する動き補償強度が連続的に変化するように動き補償強度を決定する。このため、滑らかな補間画像を生成することができる。
【００２２】
また、好ましくは、前記補償強度決定部は、さらに、前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
【００２３】
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００２４】
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
【００２５】
これによれば、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００２６】
また、好ましくは、前記補償強度決定部は、さらに、前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する。
【００２７】
これによれば、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。つまり、当該所定の領域においては、原画像に近い補間画像を作成する必要のない場合には、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【００２８】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００２９】
さらに、本発明は、このような画像処理装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。
【発明の効果】
【００３０】
本発明に係る画像処理装置によれば、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【図面の簡単な説明】
【００３１】
【図１】図１は、本実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本実施の形態１における画像処理装置の動作の一例を示すフローチャートである。
【図３】図３は、本実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。
【図４Ａ】図４Ａは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【図４Ｂ】図４Ｂは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【図５】図５は、本実施の形態１におけるヒストグラムに示された動きベクトル量の分布の幅ＤＷと動き補償強度との関係を示す図である。
【図６】図６は、本実施の形態１における補償強度決定部が行うフィルタ処理の一例を説明する図である。
【図７】図７は、本実施の形態１における２４Ｈｚから１２０Ｈｚに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
【図８Ａ】図８Ａは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【図８Ｂ】図８Ｂは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【図９】図９は、本実施の形態２におけるヒストグラムに示された動きベクトル量の分布の山の間隔Ｌと動き補償強度との関係を示す図である。
【図１０Ａ】図１０Ａは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【図１０Ｂ】図１０Ｂは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【図１１】図１１は、本実施の形態３におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Ｍと動き補償強度との関係を示す図である。
【図１２】図１２は、本実施の形態４における画像処理装置の動作の一例を示すフローチャートである。
【図１３Ａ】図１３Ａは、本実施の形態４における補償強度決定部が動き補償強度を新たに決定する処理を説明する図である。
【図１３Ｂ】図１３Ｂは、本実施の形態４における補償強度決定部が動き補償強度を新たに決定する処理を説明する図である。
【発明を実施するための形態】
【００３２】
以下、本発明に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３３】
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【００３４】
また、以下の実施の形態は、ハードウェアやソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【００３５】
（実施の形態１）
以下に、本発明の一実施の形態について、図１を用いて説明する。
【００３６】
図１は、本実施の形態１における画像処理装置１０の機能構成を示すブロック図である。
【００３７】
画像処理装置１０は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、動画像のフレームレートを変換する装置である。同図に示すように、画像処理装置１０は、動きベクトル検出部１１、ヒストグラム作成部１２、補償強度決定部１３、及び補間画像生成部１４を備えている。
【００３８】
動きベクトル検出部１１は、原画像を複数のブロックに分割して、当該ブロックごとに、入力される動画像に含まれる時間的に前後する２枚の原画像間での動きベクトルを検出する。このブロックとは、例えばマクロブロックである。
【００３９】
そして、動きベクトル検出部１１は、当該動きベクトルの動きベクトル量を検出する。ここで、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値である。つまり、動きベクトルの大きさが異なると、動きベクトル量の値も異なり、また、動きベクトルの向きが異なると、動きベクトル量の値も異なる。
【００４０】
ヒストグラム作成部１２は、複数のブロックからなる所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量のヒストグラムを作成する。
【００４１】
補償強度決定部１３は、所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量に基づいて、入力された原画像と補間画像との一致度合いを示す動き補償強度を決定する。具体的には、補償強度決定部１３は、ヒストグラム作成部１２が作成したヒストグラムを用いて、当該動き補償強度を決定する。
【００４２】
補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する。具体的には、補間画像生成部１４は、所定の領域ごとに、動きベクトル検出部１１が検出した２枚の原画像間での動きベクトルと、補償強度決定部１３が決定した動き補償強度で示される原画像と補間画像との一致度合いとを用いて、２枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、補間画像を生成する。
【００４３】
次に、画像処理装置１０が補間画像を生成する処理について、説明する。
【００４４】
図２は、本実施の形態１における画像処理装置１０の動作の一例を示すフローチャートである。
【００４５】
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理（Ｓ１０４〜Ｓ１１０）が繰り返し行われる（ループ１：Ｓ１０２〜Ｓ１１２）。
【００４６】
まず、動きベクトル検出部１１は、ブロックごとに動きベクトルを検出し、当該動きベクトルの動きベクトル量を検出する（Ｓ１０４）。
【００４７】
ここで、動きベクトルとは、画像の動き状態を表すものであり、この動きベクトルを検出する方法としては、ブロックマッチング法がある。
【００４８】
ブロックマッチング法とは、対象画像を複数のブロックに分割し、動きを検出しようとする注目ブロックと、対象画像の前または後フレームにおける、所定の探索範囲内の複数の候補領域（以下、候補ブロックと呼ぶ）との相関度をそれぞれ評価する。そして、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとする。
【００４９】
なお、上記の探索範囲は、注目ブロックが含まれるフレームに対して、前のフレーム及び後のフレームのうちの１つ以上のフレームにわたる所望の範囲に設定されるものであればよい。
【００５０】
また、相関値は、注目ブロックと候補ブロックとの間で、それぞれに対応する画素同士の差分絶対値の総和、又はそれぞれに対応する画素同士の差分二乗値の総和など、ブロック間の近似度が大きい程、示す値が小さくなるものであればよい。
【００５１】
そして、ヒストグラム作成部１２は、所定の領域ごとに、動きベクトル検出部１１が検出した複数の動きベクトル量のヒストグラムを作成する（Ｓ１０６）。
【００５２】
次に、補償強度決定部１３は、所定の領域ごとに、ヒストグラム作成部１２が作成したヒストグラムを用いて、動き補償強度を決定する（Ｓ１０８）。
【００５３】
そして、補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する（Ｓ１１０）。
【００５４】
以上により、画像処理装置１０が補間画像を生成する処理は、終了する。
【００５５】
次に、所定の領域ごとに、ヒストグラム作成部１２がヒストグラムを作成し、補償強度決定部１３が動き補償強度を決定し、補間画像生成部１４が補間画像を生成する処理（図２のＳ１０６〜Ｓ１１０）について、詳細に説明する。
【００５６】
まず、画像処理装置１０が補間画像を生成する処理について説明する。
【００５７】
図３は、本実施の形態１における画像処理装置１０が補間画像を生成する処理を模式的に示す図である。具体的には、同図は、入力フレームｎの画像データあるいは入力フレームｎ＋１の画像データから中間フレームの画像データである補間画像を生成する投影処理を模式的に示した図である。
【００５８】
同図では、入力フレームｎと入力フレームｎ＋１のフレームの位相差を１．０とした場合の位相関係を示しており、動きベクトル検出部１１が検出した動きベクトルのフレーム間距離が１．０である場合に相当する。
【００５９】
そして、入力フレームｎの画像データからの投影処理により補間画像ｎ＋Ｋの画像データを生成するには、動きベクトルに補間位相係数Ｋｍを乗じてゲイン処理を行う。
【００６０】
また、入力フレームｎ＋１の画像データからの投影処理によって補間画像ｎ＋Ｋを生成する場合には、先ほどの入力フレームｎから作成する場合とは時間方向が逆になるので、動きベクトルに−（１−Ｋｍ）を乗じてゲイン処理を行う。なお、入力フレームｎと入力フレームｎ＋１のちょうど中間の位相すなわちＫｍ＝０．５の場合を正規位相と呼び、以下の説明でも用いる。
【００６１】
正規位相のＫｍ＝０．５に対して、たとえばＫｍ＝０．４又は０．３での補間画像ｎ＋Ｋを作成した場合の方が、生成される補間画像ｎ＋Ｋの画像データは入力フレームｎの成分が強くなる。入力フレームｎは補間画像ｎ＋Ｋの画像データの生成前の原画像であるという理由により、このＫｍ＝０．４又は０．３での補間位相を、原画寄りの位相と呼び、以下の説明でも用いる。
【００６２】
なお、Ｋｍ＝０.６又は０．７の場合には、生成される補間画像ｎ＋Ｋの画像データは
入力フレームｎ＋１の成分が強くなるが、この場合も原画像に近づくという意味では同じである。
【００６３】
補間画像ｎ＋Ｋの画像の壊れに対して、Ｋｍ＝０．５での正規位相よりも原画寄りの補間位相を設定することで、より原画の成分が強くなるため、補間画像ｎ＋Ｋの画像のエラーの低減を行う手段としては有効である。
【００６４】
しかしながら、画面全体で一律に補間位相の補正値を決定すると、不具合が生ずる。
【００６５】
この解決手段として、所定の領域ごとに、ヒストグラム作成部１２がヒストグラムを作成し、補償強度決定部１３が、ヒストグラム作成部１２が作成したヒストグラムの結果に応じて補間位相を変化させて動き補償強度を決定し、補間画像生成部１４が補間画像を生成することを、以下説明する。
【００６６】
ヒストグラム作成部１２が作成したヒストグラムにより、動き補償強度を決定するわけであるが、本実施の形態１では、この決定の方法として、動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法に関して、説明する。
【００６７】
動画像の動きベクトル量の分布での場合分けを考えると、たとえば横方向あるいは縦方向といった単一の方向に画面全体がスクロールしている場合では、その時の動きベクトル量の分布は画面全体で同一の方向のベクトルを有しているため、すべて同じ値となり、その値に分布が集中した結果が得られる。
【００６８】
これに対して、たとえば背景とは反対方向に物体が移動している場合には、背景の動きを示す値と物体の動きを示す値とに分布が現れることになる。この場合には、分布は二つの範囲に集中することになり、ある値は背景の動きを表し、もう一つの値は物体の動きを表すことになる。
【００６９】
図４Ａ及び図４Ｂは、本実施の形態１における動きベクトル量の分布の広がりを用いて動き補償強度を決定する方法を説明する図である。
【００７０】
具体的には、図４Ａは、単一の方向に動いている場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。また、図４Ｂは、異なる方向に物体が動いている、あるいは同じ方向でも物体の動く速度が異なる場合の動きベクトル量の分布の広がりを示すヒストグラムの一例を説明する図である。
【００７１】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【００７２】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の広がりを示している。
【００７３】
そして、これらの図に示す動きベクトル量の分布の広がり幅ＤＷの大小が、補間画像の作成時のエラー出現の目安となる。
【００７４】
つまり、動きベクトルの方向が異なる領域の境界では、動きベクトル検出部１１では動きベクトルを完全には検出できず、その結果、実際の動き量とは異なる方向を動きベクトルと検出することで、エラーの一因となっている。
【００７５】
よって、この境界を挟んで隣接する動きベクトルの差が小さい場合に比べて、その差が大きい場合にはエラーの発生確率がさらに高くなることは明らかである。そして、動きベクトル量の分布の幅ＤＷが大きい場合には、この境界での動きベクトルの差が大きくなる可能性がある。
【００７６】
このように、異なる動きベクトルが隣接して存在する場合に、その差に応じて補間位相を制御することは有効であり、その差が大きいほど補間位相を原画に近い値に設定することでエラー低減を図ることができる。
【００７７】
すなわち、図４Ａのようなヒストグラムの場合には、補償強度決定部１３は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【００７８】
また、図４Ｂのように分布の広いヒストグラムの場合には、補償強度決定部１３は、補間位相が原画寄りになるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。このようにすることで、エラーの発生確率を低くすることが可能になる。
【００７９】
図５は、本実施の形態１におけるヒストグラムに示された動きベクトル量の分布の幅ＤＷと動き補償強度との関係を示す図である。
【００８０】
同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の広がり幅ＤＷが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【００８１】
具体的には、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【００８２】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【００８３】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、分布の広がり幅ＤＷが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【００８４】
また、この補間位相を制御する方法は、テロップが出ている領域に対しても有効である。たとえば、テロップが画面に対して水平方向に出ている場合に、全体を正規の位相で補間画像を作成してしまうと、テロップの領域は正規位相での補間画像作成により滑らかな動きとすることができるが、テロップでない領域が前述のように、動きが異なる物体がすれ違う画像であった場合には、当然エラーが発生することになる。
【００８５】
このとき、領域ごとに補間位相を変えることでこのエラー発生が低減できる。つまり、テロップの領域でない箇所は、画像の特徴に応じて補間位相を決定するようにし、テロップと判断した領域は正規位相で画像を作成する。これにより、画面全体で補間位相を処理していた場合にはスクロールの文字がゆがんだりして見づらくなる場合が生じていた不具合を、減少させることが可能となる。
【００８６】
このように、画面単位すなわちフレーム単位で補間位相を変える場合と比較して、領域ごとに補間位相を制御することで画面の各領域に応じた画像データを作成することができ、画質が向上することは明らかである。
【００８７】
また、スクロールに関しては既に説明しているが、画面が部分的にスクロールしている画像に対しても同様に画質が向上することは言うまでもない。
【００８８】
繰り返しの説明になるが、全体がスクロールしている画像では問題はないが、たとえば、画面の上半分はスクロールをしているが下半分は異なる動きをしている場合を考える。このとき、上半分のスクロールをしている領域は、正規の位相を設定することで滑らかな動きとなるが、下半分に関してはスクロールとは異なり、複数の方向に物体が動いている場合であって、上半分と同じく正規の位相を設定した場合には、エラーが発生する可能性が高くなる。
【００８９】
したがって、この場合は、前述のように動きベクトルから作成したヒストグラムの特徴に応じて、補間位相を設定すればよい。
【００９０】
このように、画面全体に対して補間位相を決定するのではなく、各々の領域に対して補間位相を決定する手法は、画面が部分的にスクロールしている画像に対しても有効である。
【００９１】
以上までは、ヒストグラムを作成する所定の領域に関して特に規定することなく説明を行ったが、特に、ライン単位ヒストグラムを作成することが、とりわけ効果がある。
【００９２】
具体的には、ヒストグラム作成部１２は、画像の水平方向であるライン方向に連続する複数のブロックからなるライン領域を所定の領域として、ライン領域ごとにヒストグラムを作成する。そして、補償強度決定部１３は、ライン領域ごとに動き補償強度を決定し、補間画像生成部１４は、ライン領域ごとに補間画像を生成する。
【００９３】
このように、ライン単位でこのヒストグラムを作成し、ライン毎に補間位相を設定するようにすることで、容易に処理回路を構成することができる。例えば、水平方向に流れるテロップに対しては、テロップが流れるラインを的確に検出することができる。このように、画面全体でのヒストグラムを作成した場合と比較し、個々の動きに適応した補間位相の制御ができ、違和感のない効果的な補間位相の制御ができる。
【００９４】
また、水平方向のライン単位ではなく、垂直方向のカラム単位で実施することも、動画像によっては有効である。たとえば、垂直方向にテロップが流れている場合などである。
【００９５】
具体的には、ヒストグラム作成部１２は、画像の垂直方向であるカラム方向に連続する複数のブロックからなるカラム領域を所定の領域として、カラム領域ごとにヒストグラムを作成する。そして、補償強度決定部１３は、カラム領域ごとに動き補償強度を決定し、補間画像生成部１４は、カラム領域ごとに補間画像を生成することにしてもよい。
【００９６】
テロップはその動き量が一定であることが多いため、水平方向あるいは垂直方向に流れているテロップについては、ライン方向あるいはカラム方向のヒストグラムを作成すれば、テロップ部とテロップでない部分との判別が容易である。このため、テロップと判定したラインあるいはカラムにおいては正規の位相を設定して画像を作成することにより、テロップ部の滑らかな動きを得ることができる。
【００９７】
このように、ライン単位あるいはカラム単位でのヒストグラムを作成し、これを基に補間位相を制御して動き補償強度を決定することで、動画像の特徴に応じた補間画像の作成が可能になる。
【００９８】
なお、ライン方向にヒストグラムを作成して、その分布により補間位相を制御する場合、隣接する、すなわち、上もしくは下のラインとの補間位相が大きく異なる場合には、段差が生ずるような見え方となってしまう可能性が高い。
【００９９】
このため、隣接するラインでは補間位相が大きく異ならないように、フィルタをかけて、ライン方向の補間位相の変化がなだらかになるように設定することが有効である。これは、カラム方向でも同様である。
【０１００】
図６は、本実施の形態１における補償強度決定部１３が行うフィルタ処理の一例を説明する図である。
【０１０１】
補償強度決定部１３は、隣接する所定の領域間での動き補償強度が連続的に変化するように、動き補償強度を決定する。
【０１０２】
具体的には、同図に示すように、中心の領域での動き補償強度が例えば「０．４」で、その領域に隣接する上下左右の領域での動き補償強度が「０」の場合、補償強度決定部１３は、フィルタ処理を行い、中心の領域での動き補償強度を「０．２」に変更し、また、その領域に隣接する上下左右の領域での動き補償強度を「０．１」に変更する。
【０１０３】
このように、補償強度決定部１３は、動き補償強度が連続的に変化するように、決定した動き補償強度を変更する。
【０１０４】
また、以上の説明は、６０Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置に関して述べてきたが、たとえば、２４Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置に関しても同様である。２４Ｈｚの動画像を変換して１２０Ｈｚの動画像を表示する表示装置で表示させるには、２フレームから新たに４枚の補間画像を生成する。
【０１０５】
図７は、本実施の形態１における２４Ｈｚから１２０Ｈｚに動画像をフレームレート変換する場合の補間画像を生成する処理を模式的に示す図である。
【０１０６】
同図に示すように、補間画像の正規位相は、補間位相の位置で言うと、補間位相係数Ｋｍ＝０．２，０．４，０．６，０．８の４つの位置に相当する。つまり、入力フレームｎと入力フレームｎ＋１との間に、補間画像１〜４の４枚のフレームが生成される。
【０１０７】
ここで、正規位相がＫｍ＝０．２の補間画像１の場合には、Ｋｍの値が小さくなるほど、入力フレームｎの原画像と補間画像１との一致度合いが大きくなるため、補償強度決定部１３は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Ｋｍの値が小さくなるように、動き補償強度を決定する。
【０１０８】
また、正規位相がＫｍ＝０．８の補間画像４の場合には、Ｋｍの値が大きくなるほど、入力フレームｎ＋１の原画像と補間画像４との一致度合いが大きくなるため、補償強度決定部１３は、ヒストグラムに示された動きベクトル量の分布の広がり幅が大きいほど、Ｋｍの値が大きくなるように、動き補償強度を決定する。
【０１０９】
なお、補償強度決定部１３が動き補償強度を決定する方法は、上記の方法に限定されず、例えば、補間画像１を入力フレームｎ＋１に近づけるように、動き補償強度を決定することにしてもよい。
【０１１０】
なお、２フレームから１枚の補間画像を作成する６０Ｈｚの動画像の場合に対して、２フレームから４枚の補間画像を作成する２４Ｈｚの動画像は、検出したベクトルの信頼性が低い場合には、エラーによる画像の壊れ、破たんが大きくなってしまう。
【０１１１】
このため、６０Ｈｚの動画像に対し、２４Ｈｚであるシネマの動画像は原画に近い位相を設定する傾向を強くしておくことで、画像の破たんを抑制することができる。
【０１１２】
以上により、本実施の形態１における画像処理装置１０によれば、所定の領域ごとに、動きベクトル量のヒストグラムを作成し、ヒストグラムを用いて動き補償強度を決定することで、補間画像を適応的に生成することができる。つまり、例えば、水平方向に動いている背景とは反対方向に走る人物がいる場合に、補間画像をエラー低減重視の画像にした場合、人物の周りのエラー低減には有効であるが、背景の滑らかさは失われてしまう。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１１３】
また、ライン方向又はカラム方向に連続する複数のブロックからなる領域ごとに、補間画像が生成される。このため、例えば、画面にテロップがライン方向又はカラム方向に流れる場合には、簡単に、当該テロップの領域ごとに補間画像を生成することができる。
【０１１４】
また、連続する動き補償強度が連続的に変化するように動き補償強度を決定するため、滑らかな補間画像を生成することができる。
【０１１５】
（実施の形態２）
上記実施の形態１では、ヒストグラムに示された動きベクトル量の分布の広がりを用いて動き補償強度を決定した。しかし、本実施の形態２では、ヒストグラムの分布の山の数に着目して、ひと山、ふた山の違いによって補間位相の制御を行うことで動き補償強度を決定して、エラーの低減を抑制する効果を高める。
【０１１６】
動画像の場合では、画面全体がスクロールしている場合では前述のように動きベクトルが同一の値を有するために特定の値に集中することで、分布の山の数は一つになる。つまりひと山になるわけである。
【０１１７】
これに対し、背景とは反対方向に物体が移動している場合には、背景の動きを示す動きベクトル量と、物体の動きを示す動きベクトル量との２つがピークとして出現するヒストグラムとなる。
【０１１８】
図８Ａ及び図８Ｂは、本実施の形態２における動きベクトル量の分布の山の数を用いて動き補償強度を決定する方法を説明する図である。
【０１１９】
具体的には、図８Ａは、山が一つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図８Ｂは、山が二つである場合の動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
【０１２０】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【０１２１】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の分布の山の数と山の間隔とを示している。
【０１２２】
ここで、背景と物体の動きの差に関して述べると、動きの方向が逆の場合はもちろん、同一の方向でも動き量に差がある場合には、分布の山が二つ以上できる。また、移動方向の差が大きい場合には、分布のピークの山の差つまり山の間隔が大きくなる。図８Ｂに示された間隔Ｌは、この山の間隔を表している。
【０１２３】
なお、山の間隔とは、隣り合う山のピークの位置同士での動きベクトル量の差であり、具体的には、一方の山における動きベクトル量の度数が最大のときの動きベクトル量と、他方の山における動きベクトル量の度数が最大のときの動きベクトル量との差である。
【０１２４】
分布のピークがふた山の場合にはこの山の間隔もエラーの発生に関係があり、間隔が大きい場合には、エラーの発生確率も高くなるため、この間隔Ｌを基準に動き補償強度を決定すればよい。すなわち、間隔Ｌが大きくなるほど原画寄りの補間位相になるように動き補償強度を決定する。
【０１２５】
このように、ヒストグラムの動きベクトル量の分布の山の数に着目する場合、生成されたヒストグラムの結果により、分布の種類には、分布の山が１つである場合、分布の山が二つである場合、分布の山が三つ以上の場合等に分類することができる。また、さらには分布の山が二つの場合において、その山のピークの位置の差が大きい場合と小さい場合等に分類することができる。
【０１２６】
具体的には、図８Ａに示したように、ヒストグラムの分布によりまず、山の数が一つの場合には画面は同一方向にスクロールしていると判断する。そして、同一方向にスクロールしている場合には、物体と背景がすれ違う等の場面も存在せず、エラーが発生している箇所はないと考えられる。このため、補償強度決定部１３は、補間位相が正規の位相となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１２７】
また、図８Ｂに示したように、山の数が２つの場合には背景と物体とは異なる方向に動くと考えられるので、たとえば背景と物体がすれ違う箇所があると考えられる。このため、エラーが発生している可能性があるため、これを抑制するために、補償強度決定部１３は、補間位相が原画に近い位相になるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１２８】
これにより、画面の中でスクロールをしている箇所と、物体と背景とがすれ違う箇所とが混在している場合でも、スクロールをしている箇所では補間位相を正規の位相に設定し、物体と背景とがすれ違う箇所に対しては、補間位相を原画に近い位相に設定する。これにより、スクロールしている箇所の滑らかさは失うことなく、補間画像のエラーの低減を図ることができる。また、物体と背景とがすれ違う部分のエラーを抑制しても、スクロールをしている部分の滑らかさ、スムースさを失うことがない。
【０１２９】
従来、画面全体での補間位相制御では、滑らかさを優先して正規の位相を設定した場合には、エラーで破たんする箇所が発生する場合があり、またエラー低減を優先させて補間位相を原画の近くの位相に設定した場合にはスクロールしている部分の滑らかさが失われる場合があった。しかし、領域ごとに画面の特徴に応じて補間位相を制御することで、画面全体で補間位相を制御する場合には不可能であったエラーの低減と滑らかさの確保ができる。
【０１３０】
つまり、領域ごとに補間位相の設定値である動き補償強度を変えることにより、エラーの発生を抑制したい領域と、滑らかさを確保したい領域とを、画面の中で混在させることが可能になる。
【０１３１】
次に、動きの方向がさらに三つ以上といった場合には、以下のようにすればよい。
【０１３２】
動きの集まりを示している山が三つ以上に増えることになるため、動きを特定することができず、判断が困難になる。このときは、滑らかさとエラーの低減とのうち優先させる項目に応じて、補間位相を決定すればよい。すなわち、滑らかさを優先するのであれば、位相は正規の位相に近づける値に設定し、エラー低減を優先するのであれば、原画に近い位相に設定すればよい。
【０１３３】
以下に、補償強度決定部１３が動き補償強度を決定する処理について、具体的に説明する。
【０１３４】
図９は、本実施の形態２におけるヒストグラムに示された動きベクトル量の分布の山の間隔Ｌと動き補償強度との関係を示す図である。
【０１３５】
分布の山の間隔Ｌが小さければ、分布の山の数が１つである可能性が高く、分布の山の間隔Ｌが大きければ、分布の山の数が２つ以上である可能性が高い。そして、分布の山の数が１つの場合には、補間画像を原画像に近づける必要はない。また、分布の山の数が２つの場合には、分布の山の間隔Ｌが大きいほど、エラーの発生確率が高くなるため、補間画像を原画像に近づける必要がある。
【０１３６】
このため、同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の分布の山の間隔Ｌが大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【０１３７】
具体的には、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【０１３８】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【０１３９】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、分布の山の間隔Ｌが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【０１４０】
このようにして、本実施の形態２における画像処理装置１０によれば、ヒストグラムの分布の山の数及び山の間隔に応じて、簡単に、動き補償強度を決定することができるため、エラー発生が低減され、かつ、滑らかさが確保された高画質な補間画像を作成することができる。
【０１４１】
（実施の形態３）
上記実施の形態１及び２では、ヒストグラムに示された動きベクトル量の分布の広がり又は分布の山の間隔を用いて動き補償強度を決定した。しかし、本実施の形態３では、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する。
【０１４２】
図１０Ａ及び図１０Ｂは、本実施の形態３における動きベクトル量の最大値と最小値との差を用いて動き補償強度を決定する方法を説明する図である。
【０１４３】
具体的には、図１０Ａは、最大値と最小値との差が小さい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。また、図１０Ｂは、最大値と最小値との差が大きい動きベクトル量の分布を示したヒストグラムの一例を説明する図である。
【０１４４】
これらの図に示すように、ヒストグラム作成部１２は、動きベクトル量のヒストグラムを作成する。
【０１４５】
ここで、これらの図は、横軸が動きベクトルの大きさを示す動きベクトル量であり、縦軸が当該動きベクトル量が出現する頻度を示す度数であり、動きベクトル量の最大値と最小値との差Ｍを示している。
【０１４６】
図１０Ａに示した分布のように、動きベクトル量の最大値と最小値の差Ｍが小さいということは、動きベクトル量が特定の値に集中しているということである。つまり、この場合の領域の動きとしては、スクロール等の単一の動きであると判断すれば良く、この場合はエラー発生の可能性が低いと考えられる。
【０１４７】
このため、補償強度決定部１３は、補間位相が正規位相に近い値となるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。これにより、滑らかさを確保することができる。
【０１４８】
これに対し、図１０Ｂに示したように、動きベクトル量の最大値と最小値の差Ｍが大きい場合には、動きベクトル量が特定の値に集中しておらず、少なくとも異なる二つの値がある、言い換えれば動きの異なる物体が存在しているということである。
【０１４９】
したがって、エラーの発生が生じている可能性があり、この場合にはエラーの低減のために、補償強度決定部１３は、補間位相が原画の近くの位相になるように動き補償強度を決定し、補間画像生成部１４が当該動き補償強度に応じた補間画像を生成する。
【０１５０】
図１１は、本実施の形態３におけるヒストグラムに示された動きベクトル量の最大値と最小値との差Ｍと動き補償強度との関係を示す図である。
【０１５１】
同図に示すように、補償強度決定部１３は、所定の領域ごとに、ヒストグラムに示された動きベクトル量の最大値と最小値との差が大きいほど、原画像と補間画像との一致度合いが大きくなるように、動き補償強度を決定する。
【０１５２】
具体的には、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど、動き補償強度が小さくなるように、動き補償強度を決定して、補間画像を原画像に近づける。つまり、例えば、動き補償強度が、図３に示された補間位相係数Ｋｍ（Ｋｍは０．５以下の数値）である場合には、Ｋｍの値が小さくなるほど、原画像と補間画像との一致度合いが大きくなる。このため、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。
【０１５３】
そして、補間画像生成部１４は、動きベクトルに動き補償強度（補間位相係数Ｋｍ）を乗じてゲイン処理を行うことで、補間画像を生成する。
【０１５４】
なお、動き補償強度が、例えば、補間位相係数Ｋｍ（Ｋｍは０．５以上の数値）の場合には、Ｋｍの値が大きくなるほど、原画像と補間画像との一致度合いが大きくなるため、補償強度決定部１３は、最大値と最小値との差Ｍが大きいほど、動き補償強度が大きくなるように、動き補償強度を決定することにしてもよい。
【０１５５】
このように、動きベクトル量の最大値と最小値との差が大きくなるほどエラー発生の可能性が高くなるため、その差が大きくなるに応じて補間位相を原画により近い位相に設定することで、エラー発生の頻度抑制が可能である。
【０１５６】
以上により、本実施の形態３における画像処理装置１０によれば、ヒストグラムの分布での動きベクトル量の最大値と最小値との差を用いて、簡単に、動き補償強度を決定することができる。このため、補間画像を動画像の特徴に応じて適応的に生成することで、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１５７】
（実施の形態４）
上記実施の形態１〜３では、スクロールやテロップに対して、動きベクトル量のヒストグラムを作成して、補間位相を制御して動き補償強度を決定した。しかし、本実施の形態４では、スクロールやテロップの度合いを示す情報を取得することで、当該度合いに応じた動き補償強度を決定する。
【０１５８】
これにより、単純なスクロールやテロップの箇所は、正規位相に近い動き補償強度を設定することで、滑らかなスクロールやテロップが保たれ、エラーが従来発生していた箇所に関しては、補間位相を原画像に近い所に設定することによって、エラーの低減を図ることができる。
【０１５９】
図１２は、本実施の形態４における画像処理装置１０の動作の一例を示すフローチャートである。
【０１６０】
同図に示すように、所定の領域ごとに、画像内の全ての領域について以下の処理（Ｓ２０４〜Ｓ２１４）が繰り返し行われる（ループ２：Ｓ２０２〜Ｓ２１６）。
【０１６１】
まず、動きベクトル検出部１１は、ブロックごとに動きベクトル量を検出し（Ｓ２０４）、ヒストグラム作成部１２は、所定の領域ごとに、動きベクトル量のヒストグラムを作成し（Ｓ２０６）、補償強度決定部１３は、動き補償強度を決定する（Ｓ２０８）。なお、これらの処理は、図２で説明した処理（Ｓ１０４〜Ｓ１０８）と同様であるため、詳細な説明については省略する。
【０１６２】
次に、補償強度決定部１３は、さらに、スクロール又はテロップの度合いを取得する（Ｓ２１０）。このスクロール又はテロップの度合いは、例えば、動画像が画面全体でスクロールしている可能性を示す全体スクロール度合い、所定の領域ごとに動画像がスクロールしている可能性を示す領域スクロール度合い、又は、所定の領域ごとに動画像にテロップが動いて表示されている可能性を示すテロップ度合いである。
【０１６３】
ここで、動画像が画面全体でスクロールしている可能性が高いほど、全体スクロール度合いは大きな値となり、所定の領域で動画像がスクロールしている可能性が高いほど、領域スクロール度合いは大きな値となり、また、所定の領域で動画像にテロップが動いて表示されている可能性が高いほど、全体スクロール度合いは大きな値となる。
【０１６４】
なお、補償強度決定部１３は、スクロール又はテロップの度合いをどのように取得してもよいが、ここでは、外部の処理部から取得する。
【０１６５】
そして、補償強度決定部１３は、取得したスクロール又はテロップの度合いが大きいほど、ヒストグラムを用いて決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する（Ｓ２１２）。
【０１６６】
図１３Ａ及び図１３Ｂは、本実施の形態４における補償強度決定部１３が動き補償強度を新たに決定する処理を説明する図である。
【０１６７】
図１３Ａに示すように、スクロール又はテロップの度合いが小さい「小」の場合は、補償強度決定部１３は、ヒストグラムを用いて決定される補間位相を、動き補償強度として決定する。また、スクロール又はテロップの度合いが大きい「大」の場合は、補償強度決定部１３は、正規位相を動き補償強度として決定する。
【０１６８】
また、スクロール又はテロップの度合いが「大」と「小」の間の「中」場合は、補償強度決定部１３は、ヒストグラムを用いて決定される補間位相と正規位相との中間の位相を、動き補償強度として決定する。
【０１６９】
なお、スクロール又はテロップの度合いは、大中小の３段階に限られず、４以上の多段階で動き補償強度を決定してもよい。
【０１７０】
図１３Ｂは、スクロール又はテロップの度合いが多段階の場合の、補償強度決定部１３が動き補償強度を新たに決定する処理を説明する図である。
【０１７１】
同図のグラフＡに示すように、補償強度決定部１３は、スクロール又はテロップの度合いが大きくなるほど、ヒストグラムを用いて決定される補間位相から正規位相に近付くように、動き補償強度を決定する。
【０１７２】
また、同図のグラフＢに示すように、スクロール又はテロップの度合いが「大」の場合でも、動き補償強度を正規位相の値に決定せずに、動き補償強度を正規位相の値よりも小さい値に決定することにしてもよい。
【０１７３】
以上のように、補償強度決定部１３は、所定の領域ごとに、領域スクロール度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７４】
また、補償強度決定部１３は、所定の領域ごとに、テロップ度合いが大きいほど、決定した動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７５】
また、動画像が画面全体でスクロールしている場合には、補間画像全体を原画像に近づけるように、補間画像内での全ての動き補償強度を変更する。
【０１７６】
つまり、補償強度決定部１３は、全体スクロール度合いが大きいほど、ヒストグラムを用いて決定した補間画像内での全ての動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、動き補償強度を新たに決定する。
【０１７７】
図１２に戻り、次に、補間画像生成部１４は、所定の領域ごとに、補償強度決定部１３が決定した動き補償強度に応じた補間画像を生成する（Ｓ２１４）。
【０１７８】
以上により、本実施の形態４における画像処理装置１０が補間画像を生成する処理は、終了する。
【０１７９】
なお、本実施の形態４では、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い、又はテロップ度合いを取得して、動き補償強度を決定することとした。しかし、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い、及びテロップ度合いのうちの２つ又は全部を取得して、取得した度合いの情報に応じて、動き補償強度を決定することにしてもよい。
【０１８０】
例えば、補償強度決定部１３は、領域スクロール度合い及びテロップ度合いを取得した場合、領域スクロール度合いに応じた動き補償強度を決定し、さらに、テロップ度合いに応じて、決定した動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
【０１８１】
また、補償強度決定部１３は、全体スクロール度合い、領域スクロール度合い及びテロップ度合いを取得した場合、全体スクロール度合いに応じた動き補償強度を決定し、さらに、領域スクロール度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定し、さらに、テロップ度合いに応じて動き補償強度を変更して、新たに動き補償強度を決定することにしてもよい。
【０１８２】
これによれば、動画像が画面全体でスクロールしている可能性が高いほど、フレームレート変換処理において論理的に決定される正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像がスクロールしている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。また、所定の領域において動画像にテロップが流れている可能性が高いほど、当該所定の領域において正規の補間画像に近付くように、動き補償強度が新たに決定される。
【０１８３】
つまり、当原画像に近い補間画像を作成する必要のない領域においては、正規の補間画像に近い画像が生成される。このため、補間画像を動画像の特徴に応じて適応的に生成することができ、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる。
【０１８４】
以上説明したように、本実施の形態１〜４における画像処理装置１０によれば、補間位相を画面の特徴に応じて適応的に制御することで、エラー低減と滑らかさ、スムースさの両立が実現できるという格別の効果を有するものである。画面の特徴に応じた補間画像の画像データの生成が可能となり、ディスプレイの表現力を大幅に高めることができる。
【０１８５】
なお、本発明は、このような画像処理装置１０として実現できるだけでなく、画像処理装置１０に含まれる特徴的な処理をステップとする画像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１８６】
さらに、本発明は、このような画像処理装置１０の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置１０を備えるデジタルテレビ等の画像処理装置として実現したりすることもできる。具体的には、図１又は図１２に示された全ての構成要素を備える集積回路として実現することができる。
【０１８７】
また、集積回路化は個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
【０１８８】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【０１９０】
以上、本発明に係る画像処理装置１０について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１９１】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１９２】
例えば、上記実施の形態では、動画像はフレーム単位で構成されていることとした。しかし、動画像はフィールド単位で構成されていることにしてもよい。
【０１９３】
また、上記実施の形態では、動きベクトル量とは、動きベクトルの大きさ及び方向を示す値であることとした。しかし、動きベクトル量は、動きベクトルの大きさのみを示す値であってもよいし、動きベクトルの方向のみを示す値であってもよい。この場合でも、動きベクトル量のヒストグラムを作成することで、上記実施の形態と同じ効果が得られる。
【産業上の利用可能性】
【０１９４】
本発明に係る画像処理装置は、簡単な構成で、フレームレート変換後の補間画像のエラー低減と滑らかさを両立させることができる補間画像を作成する画像処理装置として有用である。
【符号の説明】
【０１９５】
１０  画像処理装置
１１  動きベクトル検出部
１２  ヒストグラム作成部
１３  補償強度決定部
１４  補間画像生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える画像処理装置。
【請求項２】
さらに、
前記所定の領域ごとに、検出された複数の前記動きベクトル量のヒストグラムを作成するヒストグラム作成部を備え、
前記補償強度決定部は、前記所定の領域ごとに、作成された前記ヒストグラムを用いて、前記動き補償強度を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の広がり幅が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項４】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の分布の山の間隔が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項５】
前記補償強度決定部は、前記所定の領域ごとに、前記ヒストグラムに示された前記動きベクトル量の最大値と最小値との差が大きいほど、前記原画像と前記補間画像との一致度合いが大きくなるように、前記動き補償強度を決定する
請求項２に記載の画像処理装置。
【請求項６】
前記ヒストグラム作成部は、画像の水平方向であるライン方向に連続する複数の前記ブロックからなるライン領域を前記所定の領域として、前記ライン領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記ライン領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記ライン領域ごとに、前記補間画像を生成する
請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記ヒストグラム作成部は、画像の垂直方向であるカラム方向に連続する複数の前記ブロックからなるカラム領域を前記所定の領域として、前記カラム領域ごとに、前記ヒストグラムを作成し、
前記補償強度決定部は、前記カラム領域ごとに、前記動き補償強度を決定し、
前記補間画像生成部は、前記カラム領域ごとに、前記補間画像を生成する
請求項２〜５のいずれか１項に記載の画像処理装置。
【請求項８】
前記補償強度決定部は、隣接する前記所定の領域間での前記動き補償強度が連続的に変化するように、前記動き補償強度を決定する
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記補償強度決定部は、さらに、
前記動画像が画面全体でスクロールしている可能性を示す全体スクロール度合いを取得し、
前記全体スクロール度合いが大きいほど、前記ヒストグラムを用いて決定した前記補間画像内での全ての前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項２〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像がスクロールしている可能性を示す領域スクロール度合いを取得し、
前記所定の領域ごとに、前記領域スクロール度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記補償強度決定部は、さらに、
前記所定の領域ごとに、前記動画像にテロップが動いて表示されている可能性を示すテロップ度合いを取得し、
前記所定の領域ごとに、前記テロップ度合いが大きいほど、決定した前記動き補償強度を、フレームレートが変換される前後のフレームレートに基づいて論理的に決定される動き補償強度の値に近づくように変更することで、前記動き補償強度を新たに決定する
請求項１〜１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記動きベクトル検出部は、前記ブロックごとに、前記２枚の原画像間での動きベクトルを検出し、
前記補間画像生成部は、前記所定の領域ごとに、前記動きベクトル検出部が検出した動きベクトルと、前記補償強度決定部が決定した動き補償強度で示される前記原画像と前記補間画像との一致度合いとを用いて、前記２枚の原画像の少なくとも一方に対して動き補償処理を行うことにより、前記補間画像を生成する
請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理方法であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
を含む画像処理方法。
【請求項１４】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換するためのプログラムであって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出ステップと、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定ステップと、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成ステップと
をコンピュータに実行させるプログラム。
【請求項１５】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に補間画像を生成することで、前記動画像のフレームレートを変換する画像処理装置を制御する集積回路であって、
前記原画像を複数のブロックに分割して、前記ブロックごとに、前記２枚の原画像間での動きベクトル量を検出する動きベクトル検出部と、
複数の前記ブロックからなる所定の領域ごとに、検出された複数の前記動きベクトル量に基づいて、前記原画像と前記補間画像との一致度合いを示す動き補償強度を決定する補償強度決定部と、
前記所定の領域ごとに、決定された前記動き補償強度に応じた前記補間画像を生成する補間画像生成部と
を備える集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011067869.tif 000020
【図２】
2011067869.tif 000021
【図３】
2011067869.tif 000022
【図４Ａ】
2011067869.tif 000023
【図４Ｂ】
2011067869.tif 000024
【図５】
2011067869.tif 000025
【図６】
2011067869.tif 000026
【図７】
2011067869.tif 000027
【図８Ａ】
2011067869.tif 000028
【図８Ｂ】
2011067869.tif 000029
【図９】
2011067869.tif 000030
【図１０Ａ】
2011067869.tif 000031
【図１０Ｂ】
2011067869.tif 000032
【図１１】
2011067869.tif 000033
【図１２】
2011067869.tif 000034
【図１３Ａ】
2011067869.tif 000035
【図１３Ｂ】
2011067869.tif 000036
【国際調査報告】
2011067869.tif 000037
2011067869.tif 000038
2011067869.tif 000039
2011067869.tif 000040