(57)【要約】  画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成する。  動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置（１０）であって、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部（１１）と、検出された動きベクトルの信頼性を示す信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部（１２）と、決定された動き補償強度によって特定される補間位相と、検出された動きベクトルとを用いて、２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部（１３）とを備え、補償強度決定部（１２）は、算出した信頼度が示す信頼性が低いほど、補間位相が２枚の原画像の一方の位相に近づくように、動き補償強度を決定する。
2011067870.tif 000002
【特許請求の範囲】
【請求項１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
画像処理装置。
【請求項２】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項３】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項４】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項５】
前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、
前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定する
請求項５に記載の画像処理装置。
【請求項７】
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、
前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相である
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する集積回路であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
集積回路。
【請求項１１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理方法であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップにおいて検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定ステップと、
前記補償強度決定ステップにおいて決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出ステップにおいて検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成ステップとを含み、
前記補償強度決定ステップでは、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置等に関し、特に、動きベクトルを使用した動き補償処理を行うことにより補間画像を生成する画像処理装置等に関する。
【背景技術】
【０００２】
動画像を表示する際の技術として、画像信号のフレーム間あるいはフィールド間に補間画像を生成することにより、フレーム数またはフィールド数を増やすフレームレート変換処理がある。【０００３】
その補間画像を生成する方法としては、単に動画像に含まれるフレームまたはフィールド（以下、「原画像」と呼ぶ）と同一の原画像を補間画像として生成する方法、またはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法などがある。しかし、このような方法によって補間画像が生成された場合には、フレームレート変換処理後の動画像に、ジャーキネスあるいはジャダーと呼ばれる、動きの不自然さが発生するなどの問題がある。【０００４】
このような問題を改善する方法として、動き補償型補間処理と呼ばれる、動きベクトルを用いて動き補償処理を行うことにより、補間画像を生成する方法がある（例えば、特許文献１を参照）。このような動き補償型補間処理によって補間画像が生成された場合、ジャーキネスあるいはジャダーの少ない、動きの自然かつ円滑な動画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この動き補償型補間処理において使用される動きベクトルは、画像の動き状態を表すものである。また、動きベクトルは、ブロックマッチング法などを用いて検出される。【０００７】
ブロックマッチング法では、まず、対象画像を、それぞれが１以上の画素からなる複数のブロックに分割する。そして、分割された複数のブロックの中から動きを検出しようとする注目ブロックを選択する。続いて、選択した注目ブロックと、対象画像と時間的に前後する前フレームまたは後フレームにおける、所定の探索範囲内の複数の候補領域（以下、「候補ブロック」と呼ぶ）との相関度をそれぞれ評価する。最後に、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとして検出する。【０００８】
このようなブロックマッチング法などでは、例えば、物体と背景とが違う方向に動くような、動きの異なるものが複数混在する画像において、本来検出されるべき正しい動きベクトルが効果的に検出できない場合がある。特に、物体と背景とが違う方向に動く場合に、その物体の境界領域等において、本来検出されるべき正しい動きベクトルを検出できないことが多い。【０００９】
また、ハードウェア資源等の制約から探索範囲の大きさが制限されることにより、検出された動きベクトルの示す動きが実際の動きと一致しない場合がある。【００１０】
このような場合において、検出された動きベクトルを使用して動き補償処理を行えば、補間画像が大きく劣化してしまう可能性がある。また、このような補間画像の劣化は、物体の境界や、画面の境界等で発生する場合が多い。【００１１】
このような劣化を改善する方法として、動きベクトルを使用しない方法、あるいはフィルタリング処理を行う方法等がある。具体的には、例えば、原画像に含まれる画像と同一の画像を補間画像の全部または一部として生成する方法、あるいはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法がある。これらの方法により補間画像が生成された場合、動画像の全体または一部において、動きが不連続となったり、不鮮明となったりする問題がある。【００１２】
本発明は、上述した従来の課題を解決するものであり、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明の一態様に係る画像処理装置は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する。【００１４】
これにより、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化を抑制することができる。一方、動きベクトルの信頼性が高ければ、補間位相を原画像の位相に近づけないので、画像の動きを円滑にすることもできる。さらに、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。【００１５】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出することが好ましい。【００１６】
これにより、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。【００１７】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出することが好ましい。【００１８】
これにより、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。【００１９】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出することが好ましい。【００２０】
これにより、動きベクトルの信頼性が低くなる互いに異なる２つの理由を反映した信頼度を算出することができるので、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。【００２１】
また、前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成することが好ましい。【００２２】
これにより、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。【００２３】
また、前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定することが好ましい。【００２４】
これにより、注目ブロックと、当該注目ブロックの周囲に位置するブロックとの間での動き補償強度の急激な変化を抑制することができ、画像の劣化を抑制することができる。【００２５】
また、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相であることが好ましい。【００２６】
これにより、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。【００２７】
また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。【００２８】
これにより、画像がスクロールしている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、スクロールしている画像の動きを円滑にすることができる。【００２９】
また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。【００３０】
これにより、テロップが動きながら表示されている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、テロップの動きを円滑にすることができる。【００３１】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現することができる。また、本発明は、そのような画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。【００３２】
さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ：Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。
【発明の効果】
【００３３】
本発明の一態様に係る画像処理装置によれば、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図４】図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。
【図５】図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。
【図６】図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。
【図７】図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。
【図８】図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。
【図９Ａ】図９Ａは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【図９Ｂ】図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【図１０Ａ】図１０Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１０Ｂ】図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１１Ａ】図１１Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１１Ｂ】図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１２】図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１６Ａ】図１６Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１６Ｂ】図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１７】図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。
【図１８】図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。
【図２０Ａ】図２０Ａは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【図２０Ｂ】図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【発明を実施するための形態】
【００３５】
以下、本発明の一態様に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３６】
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【００３７】
また、以下の実施の形態は、ハードウェアおよびソフトウェアの少なくとも一方を用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【００３８】
（実施の形態１）
以下に、本発明の実施の形態１について、図面を用いて説明する。
【００３９】
図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【００４０】
画像処理装置１０は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する装置である。なお、動画像は、フレーム単位であってもよいし、フィールド単位であってもよい。動画像がフレーム単位である場合は、原画像はフレーム画像を意味し、動画像がフィールド単位である場合は、原画像はフィールド画像を意味する。
【００４１】
図１に示すように、画像処理装置１０は、動きベクトル検出部１１と、補償強度決定部１２と、補間画像生成部１３とを備える。
【００４２】
動きベクトル検出部１１は、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。
【００４３】
補償強度決定部１２は、動きベクトルの信頼度を算出し、算出した信頼度に応じて動き補償強度を決定する。また、補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、２枚の原画像の位相のうち正規位相に近い方の位相に補間位相が近づくように、動き補償強度を決定する。
【００４４】
なお、動き補償強度とは、補間画像の位相である補間位相を特定するための値である。また、位相とは、画像の時間的な位置を示す値である。また、補間位相とは、補間画像の時間的な位置を示す値である。
【００４５】
補間位相と原画像の位相との位相差が大きいほど、後述する動き補償処理によって生成される補間画像は、原画像から大きく動いた画像となる。したがって、動き補償強度とは、原画像と補間画像との一致度合いを示す値ということもできる。なお、補間位相は、補間画像を生成する際に利用される値であり、補間画像が表示される位相と異なってもよい。
【００４６】
また、正規位相とは、変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相であり、フレームレート変換後の動画像に含まれる画像が等間隔に連続する時間的な位置を示す位相である。
【００４７】
補間画像生成部１３は、動き補償強度によって特定される補間位相と動きベクトルとを用いて、２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する。
【００４８】
次に、以上のように構成された画像処理装置１０における各種動作について説明する。
【００４９】
図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。
【００５０】
まず、動きベクトル検出部１１は、入力画像信号が示す入力動画像に含まれる原画像のブロックごとに動きベクトルを検出する（Ｓ１０２）。また、動きベクトル検出部１１は、検出した動きベクトルを、補償強度決定部１２および補間画像生成部１３へ出力する。
【００５１】
続いて、補償強度決定部１２は、処理対象の画像に含まれるブロックであって、まだ以下の処理（Ｓ１０６〜Ｓ１１４）が行われていないブロックを注目ブロックとして選択する（Ｓ１０４）。そして、補償強度決定部１２は、注目ブロックの動きベクトルの信頼性を示す信頼度を算出する（Ｓ１０６）。補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、補間位相が原画像の位相に近づくように、動き補償強度を決定する（Ｓ１０８）。
【００５２】
次に、補償強度決定部１２は、隣接するブロック間における動き補償強度の差異が小さくなるように、動き補償強度に対して空間的なフィルタ処理を施す（Ｓ１１２）。そして、補償強度決定部１２は、フィルタ処理後の動き補償強度を補間画像生成部１３へ出力する。
【００５３】
補間画像生成部１３は、動き補償強度によってブロックごとに特定される補間位相にしたがって調整された動きベクトルと注目ブロックとを用いて、動き補償処理を行う（Ｓ１１４）。
【００５４】
そして、補償強度決定部１２は、処理対象の画像に含まれるすべてのブロックが注目ブロックとして選択されたか否かを判定する（Ｓ１１６）。ここで、すべてのブロックが注目ブロックとして選択されていない場合（Ｓ１１６のＮｏ）、補償強度決定部１２は、再びステップＳ１０４からの処理を繰り返す。一方、すべてのブロックが注目ブロックとして選択された場合（Ｓ１１６のＹｅｓ）、画像処理装置１０は、補間画像を生成する処理を終了する。
【００５５】
このように、補間画像生成部１３は、動き補償処理をブロックごとに繰り返すことにより補間画像を生成する。そして、このように生成された補間画像が時間的に前後する２枚の原画像間に挿入されることにより、出力動画像を示す出力画像信号が出力される。
【００５６】
なお、本実施の形態では、補間画像生成部１３は、動き補償強度が決定されるごとに動き補償処理を行っていたが、すべてのブロックの動き補償強度が決定された後にまとめて動き補償処理を行ってもよい。
【００５７】
次に、動きベクトル検出部１１、補償強度決定部１２、および補間画像生成部１３が行う処理（図２のＳ１０２〜Ｓ１１４）について、以下に詳細に説明する。
【００５８】
まず、動きベクトル検出部１１が動きベクトルを検出する処理（図２のＳ１０２）の詳細について説明する。
【００５９】
動きベクトル検出部１１は、画像処理装置１０に入力された画像信号である入力画像信号が示す入力動画像に含まれる原画像を複数のブロックに分割する。そして、動きベクトル検出部１１は、分割したブロックごとに、時間的に前後する２枚の原画像間の動きベクトルを検出する。さらに、動きベクトル検出部１１は、検出した動きベクトルの大きさおよび方向を示す動きベクトル値を補償強度決定部１２および補間画像生成部１３へ出力する。
【００６０】
具体的には、動きベクトル検出部１１は、ブロックマッチング法に基づいて、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。つまり、動きベクトル検出部１１は、２枚の原画像の一方に含まれるブロックであって動きを検出しようとするブロックである注目ブロックと、２枚の原画像の他方における所定の探索範囲内に含まれる複数の候補領域（候補ブロック）との間で、相関値をそれぞれ算出する。
【００６１】
さらに具体的には、動きベクトル検出部１１は、ブロックを構成する画素の画素値をブロック間で比較することにより相関値を算出する。例えば、動きベクトル検出部１１は、注目ブロックと候補領域との間で、それぞれに対応する画素同士の差分絶対値総和、あるいは、差分二乗値総和などを相関値として算出する。なお、相関値が差分絶対値総和または差分二乗値総和である場合、相関値が小さいほどブロック間の近似度が大きいことを示す。
【００６２】
また、動きベクトル検出部１１は、算出した相関値に基づいて最も注目ブロックと相関が高い候補領域を選択し、選択した候補領域と注目ブロックとの変位を動きベクトルとして検出する。
【００６３】
動きベクトル検出部１１は、注目ブロックの位置を変更しながら、上記のように動きベクトルを検出することにより、原画像に含まれる各ブロックについて動きベクトルを検出する。
【００６４】
なお、上記の探索範囲は、必ずしも１枚の原画像の領域である必要はない。探索範囲は、注目ブロックを含む原画像よりも、時間的に前の原画像および時間的に後の原画像のうち、１枚以上の原画像にわたる所望の領域に対応する範囲であってもよい。
【００６５】
次に、補償強度決定部１２が動き補償強度を決定する処理の詳細について説明する。
【００６６】
はじめに、補償強度決定部１２が動きベクトルの信頼度を算出する処理（図２のＳ１０６）の詳細について説明する。
【００６７】
補償強度決定部１２は、動きベクトルの変化度を算出するために、注目ブロックの周囲に位置する複数のブロックの動きベクトル値の平均値を算出する。そして、補償強度決定部１２は、注目ブロックの動きベクトル値と、算出した動きベクトル値の平均値との差分絶対値を用いて変化度を算出する。この変化度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
【００６８】
なお、注目ブロックの周囲に位置するブロックには、注目ブロックに隣接するブロックと、その隣接するブロックに隣接するブロックとが含まれる。つまり、注目ブロックの周囲に位置するブロックは、注目ブロックの近傍に位置するブロックである。例えば、注目ブロックの周囲に位置するブロックは、注目ブロックを取り囲む８つのブロックである。
【００６９】
なお、動きベクトル値は、画像の水平方向成分の値および垂直方向成分の値を有する。また、動きベクトル値の水平方向成分の値および垂直方向成分の値は有限な値である。
【００７０】
したがって、補償強度決定部１２は、注目ブロックの動きベクトル値の水平方向成分と、算出した動きベクトル値の平均値の水平方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、注目ブロックの動きベクトル値の垂直方向成分と、算出した動きベクトル値の平均値の垂直方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、前記の水平方向成分の差分絶対値と、前記の垂直方向成分の差分絶対値との和を用いて変化度を算出してもよい。
【００７１】
図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。また、図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。
【００７２】
図３に示すように、補償強度決定部１２は、差分絶対値を変化度として算出する。また、補償強度決定部１２は、図４に示すように、変化度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部１２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
【００７３】
次に、補償強度決定部１２が行うフィルタ処理（図２のＳ１１２）の詳細について説明する。
【００７４】
図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。図５において、斜線部は注目ブロックを示し、ブロック内の数値は動き補償強度を示す。
【００７５】
図５に示すように、補償強度決定部１２は、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。その結果、隣接するブロック間における動き補償強度の差異が小さくなる。
【００７６】
例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の平均値を、そのブロックの動き補償強度として算出することにより、フィルタ処理を行えばよい。また例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の加重加算値を算出することにより、フィルタ処理を行ってもよい。
【００７７】
次に、補償強度決定部１２が、注目ブロックの動きベクトルと、当該注目ブロックの周囲に位置するブロックとの変化度を信頼度として算出する理由について以下に説明する。
【００７８】
画像全体が一様に動くような、画像内の比較的大きい領域が同様な動き状態である場合には、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが正確な動きベクトルである可能性も高くなることが容易に推測できる。
【００７９】
つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が小さい場合には、注目ブロックの動きベクトルの信頼性が高いと評価することができる。
【００８０】
逆に、人あるいは物体のみが動くような、画像内の比較的小さい領域のみが動き状態となるような場合には、特にその領域の境界部分において、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとは、互いに大きく異なる動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが互いに大きく異なる大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが不正確な動きベクトルである可能性も高くなることが容易に推測できる。
【００８１】
つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が大きい場合には、注目ブロックの動きベクトルの信頼性が低いと評価することができる。
【００８２】
以上より、補償強度決定部１２は、注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置するブロックに対して検出された動きベクトルとの変化度を信頼度として算出する。
【００８３】
次に、補間画像生成部１３が行う動き補償処理（図２のＳ１１４）の詳細について説明する。
【００８４】
補間画像生成部１３は、まず動き補償強度を用いて補間位相を算出する。このとき、補間画像生成部１３は、動き補償強度が小さいほど、原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。特に、補間画像生成部１３は、動き補償強度が小さいほど、正規位相に近い方の原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。
【００８５】
図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図６において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
【００８６】
図６に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．４」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「０」を補間位相として算出する。
【００８７】
例えば、動き補償強度が０〜１００の値で表され、かつ、正規位相が０．５未満である場合、補間位相は次のように計算される。
【００８８】
補間位相＝正規位相＊動き補償強度／１００
図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図７において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
【００８９】
図７に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．６」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「１」を補間位相として算出する。
【００９０】
例えば、動き補償強度が０〜１００の値で表され、かつ、正規位相が０．５以上である場合、補間位相は次のように計算される。
【００９１】
補間位相＝１−（１−正規位相）＊動き補償強度／１００
なお、本実施の形態では、補間画像生成部１３が補間位相を算出したが、補償強度決定部１２が補間位相を算出してもよい。この場合、補償強度決定部１２は、算出した補間位相を動き補償強度として補間画像生成部１３へ出力すればよい。
【００９２】
このように算出した補間位相と動きベクトルとを用いて、補間画像生成部１３は、原画像を使用して動き補償処理を行うことにより、補間画像を生成する。
【００９３】
図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。具体的には、図８は、原画像ｎあるいは原画像ｎ＋１の原画像を使用して動き補償処理を行って補間画像を生成する処理を模式的に示した図である。
【００９４】
図８において、原画像ｎと原画像ｎ＋１との位相差は「１．０」であり、補間位相はＫｍである。ここで、原画像ｎを使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差Ｋｍを乗じた動きベクトルを用いて動き補償処理を行う。一方、原画像ｎ＋１を使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差−（１−Ｋｍ）を乗じた動きベクトルを用いて動き補償処理を行う。補間画像生成部１３は、このように動き補償処理を行うことにより、補間画像を生成する。
【００９５】
図９Ａおよび図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【００９６】
図９Ａでは、自動車の画像領域において検出された動きベクトルの信頼性が高いので、原画像ｎと原画像ｎ＋１との中間の位相、つまり正規位相の補間画像が生成されている。一方、図９Ｂでは、自動車の画像領域において検出された動きベクトルの信頼性が低いので、原画像ｎの位相に近い位相の補間画像が生成されている。
【００９７】
次に、補間画像生成部１３が、動きベクトルの信頼性が低い場合に、正規位相よりも原画像の位相との位相差が小さい補間位相にしたがって、補間画像を生成する理由について説明する。
【００９８】
正規位相とは、上述したように変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相である。例えば、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「６０」と、出力動画像のフレームレート「１２０」との比である「０．５」を積算するたびに得られる値「０．０」、「０．５」、「１．０」・・・が正規位相である。
【００９９】
また例えば、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「２４」と、出力動画像のフレームレート「６０」との比である「０．４」を積算するたびに得られる値「０．０」、「０．４」、「０．８」、「１．２」、「１．６」、「２．０」・・・が正規位相である。
【０１００】
入力動画像に含まれる原画像の位相は整数値で表されるので、整数値となる正規位相の画像は、補間画像として生成されなくてよい。つまり、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合は、連続する各原画像の間に「０．５」の位相の補間画像が内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。一方、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合は、２枚おきの原画像の間に、「０．４」、「０．８」、「１．２」、及び「１．６」の位相の補間画像がそれぞれ内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。
【０１０１】
しかしながら、動きベクトル検出部１１によって検出された動きベクトルが実際の画像の動きと異なる場合には、その動きベクトルを用いて生成された補間画像は破綻する。つまり、動きベクトルの信頼性が低い場合は、その動きベクトルを用いて生成された補間画像は、大きく劣化した画像である可能性が高い。
【０１０２】
そこで、画像処理装置１０は、動きベクトルの信頼性に応じて正規位相を修正した補間位相を用いて補間画像を生成する。つまり、動きベクトルの信頼性が高いほど、正規位相に近い位相の補間位相を用いて補間画像を生成する。これは、動きベクトルの信頼性が高ければ、その動きベクトルが正確な画像の動きを示している可能性が高いので、正規位相に近い位相の補間画像であっても画像が劣化する可能性が小さいからである。また、正規位相に近い位相の補間画像が挿入されれば、出力動画像における画像の動きも滑らかになるからである。
【０１０３】
逆に、動きベクトルの信頼性が低ければ、正規位相よりも原画像の位相に近い位相の補間位相を用いて補間画像を生成する。これは、補間位相と原画像の位相との位相差が小さいほど、補間画像が原画像に近似した画像となるので、画像の劣化を抑制することができるからである。
【０１０４】
以上のように、本実施の形態における画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に原画像の位相に補間位相を近づけることができるので、画像の劣化を抑制することができる。一方、画像処理装置１０は、動きベクトルの信頼性が高ければ、補間位相を正規位相に近づけることができるので、画像の動きを円滑にすることもできる。さらに、画像処理装置１０は、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。
また、画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。
【０１０５】
また、画像処理装置１０は、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置１０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１０６】
また、画像処理装置１０は、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。
【０１０７】
また、画像処理装置１０は、動き補償強度に対して空間的なフィルタ処理を施すことにより、注目ブロックとその注目ブロックの周囲に位置するブロックとの間での急激な動き補償強度の変化を抑制することができ、連続性のある動き補償強度を決定することができる。
【０１０８】
なお、本実施の形態において、補償強度決定部１２は、算出した差分絶対値そのものを変化度として算出していたが、必ずしも差分絶対値そのものを変化度として算出する必要はない。
【０１０９】
例えば、補償強度決定部１２は、算出した差分絶対値に、予め定められた加算値を加算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値から独立して、変化度を増減させることができる。
【０１１０】
図１０Ａおよび図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１０Ａは、正の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１０Ｂは、負の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。
【０１１１】
図１０Ａに示すように、正の値の加算値が差分絶対値に加算された場合、変化度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１１２】
一方、図１０Ｂに示すように、負の値の加算値が差分絶対値に加算された場合、一律に変化度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
【０１１３】
また例えば、補償強度決定部１２は、算出された差分絶対値に、予め定められた乗算値を乗算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値に従属して、変化度を増減させることができる。つまり、補償強度決定部１２は、差分絶対値に対する変化度の変化の割合を調整することができる。
【０１１４】
図１１Ａおよび図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１１Ａは、１以上の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１１Ｂは、１未満の正の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。
【０１１５】
図１１Ａに示すように、１以上の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が大きくなる。したがって、画像処理装置１０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１１６】
一方、図１１Ｂに示すように、１未満の正の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が小さくなる。したがって、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
【０１１７】
また、本実施の形態では、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する複数ブロックの動きベクトル値の平均値との差分を算出していたが、必ずしもこのように差分を算出する必要はない。例えば、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する１つのブロックの動きベクトル値との差分を算出してもよい。
【０１１８】
また、本実施の形態では、補償強度決定部１２は、単純に、注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値をすべて加算して、その加算の対象としたブロックの数で除算して平均値を算出していたが、必ずしもこのように平均値を算出する必要はない。
【０１１９】
例えば、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における低周波成分の数値を平均値として算出してもよい。
【０１２０】
さらに、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における高周波成分の数値を変化度として算出してもよい。
【０１２１】
なお、本実施の形態における画像処理装置１０は、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を保持するために、メモリを備えることが好ましい。例えば、補償強度決定部１２が、動きベクトル検出部１１によって検出されたブロックごとの動きベクトルを保持するためのメモリを備えればよい。
【０１２２】
また例えば、補償強度決定部１２が、動きベクトル検出部１１から、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を随時取得してもよい。この場合、動きベクトル検出部１１が、検出した動きベクトルを保持するためのメモリを備えればよい。
【０１２３】
（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて説明する。
【０１２４】
本実施の形態における画像処理装置２０は、実施の形態１における画像処理装置１０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と同様の点については、図示および説明を省略する。
【０１２５】
図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。なお、図１２において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１２６】
図１２に示すように、画像処理装置２０は、動きベクトル検出部２１と、補償強度決定部２２と、補間画像生成部１３とを備える。
【０１２７】
動きベクトル検出部２１は、実施の形態１における動きベクトル検出部１１と異なり、動きベクトルに対応する相関値を補償強度決定部２２へ出力する。この相関値は、所定の探索範囲内に含まれる複数の候補領域のうち、最も注目ブロックと相関が高い候補領域の相関値である。つまり、この相関値は、動きベクトルの始点に対応するブロックと、動きベクトルの終点に対応するブロックとの相関値である。
【０１２８】
なお、動きベクトル検出部２１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
【０１２９】
補償強度決定部２２は、２枚の原画像の一方に含まれる、動きベクトルの始点に対応するブロックと、２枚の原画像の他方に含まれる、動きベクトルの終点に対応するブロックとの非近似度を算出する。
【０１３０】
動きベクトル検出部２１から出力された相関値は、該当するブロックにおいて検出された動きベクトル値に対する確からしさを示すものである。相関値の大きさが大きいほど、注目ブロックと候補ブロックとの非近似度が高いことを示す。そして、非近似度が高いほど、検出された動きベクトル値の信頼性が低いことを示唆する。
【０１３１】
したがって、補償強度決定部２２は、注目ブロックについて検出された動きベクトル値に対応する相関値に応じて、候補領域との非近似度を算出する。具体的には、補償強度決定部２２は、動きベクトル検出部２１から出力された相関値そのものを非近似度として算出する。この非近似度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
【０１３２】
図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。また、図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。
【０１３３】
図１３に示すように、補償強度決定部２２は、相関値を非近似度として算出する。また、補償強度決定部２２は、図１４に示すように、非近似度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部２２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
【０１３４】
また、補償強度決定部２２は、実施の形態１における補償強度決定部１２と同様に、図５に示したように、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。
【０１３５】
なお、補償強度決定部２２は、必ずしも相関値そのものを非近似度として算出しなくてもよい。例えば、補償強度決定部２２は、その相関値に、予め定められた加算値を加算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値から独立して、非近似度を増減させることができる。
【０１３６】
図１５Ａおよび図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１５Ａは、正の値が加算値として相関値に加算された場合の、相関値と非近似度との関係を示すグラフである。また、図１５Ｂは、負の値が加算値として加算された場合の、相関値と非近似度との関係を示すグラフである。
【０１３７】
図１５Ａに示すように、正の値の加算値が相関値に加算された場合、非近似度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１３８】
一方、図１５Ｂに示すように、負の値の加算値が相関値に加算された場合、一律に非近似度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
【０１３９】
また例えば、補償強度決定部２２は、その相関値に、予め定められた乗算値を乗算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値に従属して、非近似度を増減させることができる。つまり、補償強度決定部２２は、相関値に対する非近似度の変化の割合を調整することができる。
【０１４０】
図１６Ａおよび図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１６Ａは、１以上の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。また、図１６Ｂは、１未満の正の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。
【０１４１】
図１６Ａに示すように、１以上の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が大きくなる。したがって、画像処理装置２０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１４２】
一方、図１６Ｂに示すように、１未満の正の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が小さくなる。したがって、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
【０１４３】
以上のように、本実施の形態における画像処理装置２０は、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することにより、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置２０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１４４】
（実施の形態３）
次に、本発明の実施の形態３について、図面を用いて説明する。
【０１４５】
本実施の形態における画像処理装置３０は、実施の形態１における画像処理装置１０、または実施の形態２における画像処理装置２０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１または２における画像処理装置１０または２０と同様の点については、図示および説明を省略する。
【０１４６】
図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。なお、図１７において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１４７】
図１７に示すように、画像処理装置３０は、動きベクトル検出部３１と、補償強度決定部３２と、補間画像生成部１３とを備える。
【０１４８】
動きベクトル検出部３１は、動きベクトル値に加えて、動きベクトルに対応する相関値を補償強度決定部３２へ出力する。なお、動きベクトル検出部３１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
【０１４９】
補償強度決定部３２は、実施の形態１の補償強度決定部１２と同様に、動きベクトル値を用いて変化度を算出する。さらに、補償強度決定部３２は、実施の形態２の補償強度決定部２２と同様に、相関値を用いて非近似度を算出する。そして、補償強度決定部３２は、算出した変化度と非近似度とを加算することにより信頼度を算出する。この信頼度は、値が大きいほど信頼性を低いことを示す。
【０１５０】
変化度は、ブロック間で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。一方、非近似度は、ブロック内で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。
【０１５１】
したがって、補償強度決定部３２は、算出した変化度と非近似度とを加算した結果を、注目ブロックにおける信頼度として算出することにより、動きベクトルの信頼性が低くなる、互いに異なる理由を反映した信頼度を高精度に算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像処理装置３０は、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１５２】
以上のように、本実施の形態における画像処理装置３０は、変化度と非近似度とを用いて高精度に信頼度を算出することができる。そして、画像処理装置３０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１５３】
（実施の形態４）
次に、本発明の実施の形態４について、図面を用いて説明する。
【０１５４】
本実施の形態における画像処理装置４０は、実施の形態１における画像処理装置１０と、動き補償強度の決定に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と異なる点を中心に、以下に説明する。
【０１５５】
図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。なお、図１８において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１５６】
図１８に示すように、画像処理装置４０は、動きベクトル検出部１１と、補償強度決定部４２と、補間画像生成部１３とを備える。
【０１５７】
補償強度決定部４２は、実施の形態１における補償強度決定部１２が行う処理に加えて、さらに、スクロールに関する情報であるスクロール情報およびテロップに関する情報であるテロップ情報を取得する。
【０１５８】
スクロール情報とは、原画像の一部または全部の領域において、画像がスクロールしている可能性（以下、単に「スクロール可能性」と呼ぶ）を示す情報である。また、テロップ情報とは、原画像の一部または全部の領域において、テロップが動きながら表示されている可能性（以下、単に「テロップ可能性」と呼ぶ）を示す情報である。
【０１５９】
さらに、補償強度決定部４２は、取得したスクロール情報およびテロップ情報に応じて、決定した動き補償強度を再決定する。具体的には、補償強度決定部４２は、スクロール可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。また、補償強度決定部４２は、テロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
【０１６０】
図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。なお、図１９において、図２と同一の処理については同一の符号を付し、説明を省略する。
【０１６１】
動き補償強度が決定された後、補償強度決定部４２は、スクロール情報およびテロップ情報を取得する（Ｓ２０２）。続いて、補償強度決定部４２は、注目ブロックを含む領域のスクロール情報およびテロップ情報に応じて、動き補償強度を再決定する（Ｓ２０４）。
【０１６２】
そして、図２において説明した処理と同様の処理（Ｓ１１２〜Ｓ１１６）を行って、画像処理装置４０は、補間画像を生成する処理を終了する。
【０１６３】
図２０Ａおよび図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【０１６４】
図２０Ａは、スクロール可能性またはテロップ可能性が「大」、「中」、「小」の３段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。図２０Ａに示すように、スクロール可能性またはテロップ可能性が小さいことを示す「小」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された動き補償強度をそのまま動き補償強度として再決定する。また、スクロール可能性またはテロップ可能性が大きいことを示す「大」の場合は、補償強度決定部４２は、正規位相を補間位相として特定する動き補償強度を再決定する。
【０１６５】
また、スクロール可能性またはテロップ可能性が「大」と「小」の間の「中」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された補間位相と正規位相との中間の位相を補間位相として特定する動き補償強度を再決定する。
【０１６６】
なお、スクロール可能性またはテロップ可能性は、大中小の３段階に限られず、４以上の多段階または大小の２段階であってもよい。
【０１６７】
図２０Ｂは、スクロール可能性またはテロップ可能性が多段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。
【０１６８】
図２０ＢのグラフＡに示すように、補償強度決定部４２は、スクロール可能性またはテロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
【０１６９】
また、図２０ＢのグラフＢに示すように、スクロール可能性またはテロップ可能性が最も大きい場合でも、補償強度決定部４２は、補間位相が正規位相と一致しないように動き補償強度を再決定してもよい。
【０１７０】
以上により、画像処理装置４０は、画像がスクロールしている領域またはテロップが動きながら表示されている領域の補間位相が、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近くなるように、動き補償強度に再決定することができる。したがって、画像処理装置４０は、変換後の動画像において、スクロールしている画像あるいはテロップの動きを円滑にあるいは自然にすることができる。
【０１７１】
なお、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、どちらか一方のみを取得してもよい。この場合、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、取得した一方の情報のみに応じて、動き補償強度を再決定する。
【０１７２】
以上、本発明の一態様における画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したもの、または異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１７３】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１７４】
例えば、上記実施の形態では、ブロックごとに動き補償強度を決定していたが、必ずしもブロックごとに動き補償強度を決定する必要はない。例えば、複数のブロックからなる所定の領域ごとに、動き補償強度を決定してもよい。その場合、補償強度決定部は、例えば、代表となるブロックの動き補償強度をその領域の動き補償強度と決定すればよい。
【０１７５】
また、上記実施の形態において、動きベクトルの信頼性が低い場合に補間位相を近づける原画像の位相は、正規位相に近い方の原画像の位相であったが、正規位相に関わらず、常に補間画像よりも時間的に前の原画像の位相または時間的に後の原画像の位相であってもよい。
【０１７６】
また、補間画像生成部は、正規位相と、近づける対象とする原画像の位相との位相差に応じて、その位相差が大きいほど、補間位相が原画像の位相に近づくように補間位相を算出してもよい。
【０１７７】
また、上記実施の形態において、補償強度決定部は、ブロックごとの動き補償強度に空間的なフィルタ処理を施していたが、必ずしもフィルタ処理を施す必要はない。補償強度決定部がフィルタ処理を施さない場合であっても、画像処理装置は、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１７８】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現してもよい。また、本発明は、そのような画像処理方法に含まれる各ステップを、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびメモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１７９】
さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。具体的には、図１、図１２、図１７または図１８に示されたすべての構成要素を備える集積回路として実現することができる。
【０１８０】
また、集積回路化は個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。
【０１８１】
また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８２】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【産業上の利用可能性】
【０１８３】
画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置およびその画像処理装置を備える画像表示装置等として利用することができる。
【符号の説明】
【０１８４】
１０、２０、３０、４０  画像処理装置
１１、２１、３１  動きベクトル検出部
１２、２２、３２、４２  補償強度決定部
１３  補間画像生成部
【図１】
2011067870.tif 000003
【図２】
2011067870.tif 000004
【図３】
2011067870.tif 000005
【図４】
2011067870.tif 000006
【図５】
2011067870.tif 000007
【図６】
2011067870.tif 000008
【図７】
2011067870.tif 000009
【図８】
2011067870.tif 000010
【図９Ａ】
2011067870.tif 000011
【図９Ｂ】
2011067870.tif 000012
【図１０Ａ】
2011067870.tif 000013
【図１０Ｂ】
2011067870.tif 000014
【図１１Ａ】
2011067870.tif 000015
【図１１Ｂ】
2011067870.tif 000016
【図１２】
2011067870.tif 000017
【図１３】
2011067870.tif 000018
【図１４】
2011067870.tif 000019
【図１５Ａ】
2011067870.tif 000020
【図１５Ｂ】
2011067870.tif 000021
【図１６Ａ】
2011067870.tif 000022
【図１６Ｂ】
2011067870.tif 000023
【図１７】
2011067870.tif 000024
【図１８】
2011067870.tif 000025
【図１９】
2011067870.tif 000026
【図２０Ａ】
2011067870.tif 000027
【図２０Ｂ】
2011067870.tif 000028
【手続補正書】
【提出日】平成23年8月9日(2011.8.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置等に関し、特に、動きベクトルを使用した動き補償処理を行うことにより補間画像を生成する画像処理装置等に関する。
【背景技術】
【０００２】
動画像を表示する際の技術として、画像信号のフレーム間あるいはフィールド間に補間画像を生成することにより、フレーム数またはフィールド数を増やすフレームレート変換処理がある。
【０００３】
その補間画像を生成する方法としては、単に動画像に含まれるフレームまたはフィールド（以下、「原画像」と呼ぶ）と同一の原画像を補間画像として生成する方法、またはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法などがある。しかし、このような方法によって補間画像が生成された場合には、フレームレート変換処理後の動画像に、ジャーキネスあるいはジャダーと呼ばれる、動きの不自然さが発生するなどの問題がある。
【０００４】
このような問題を改善する方法として、動き補償型補間処理と呼ばれる、動きベクトルを用いて動き補償処理を行うことにより、補間画像を生成する方法がある（例えば、特許文献１を参照）。このような動き補償型補間処理によって補間画像が生成された場合、ジャーキネスあるいはジャダーの少ない、動きの自然かつ円滑な動画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／１０２８２６号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この動き補償型補間処理において使用される動きベクトルは、画像の動き状態を表すものである。また、動きベクトルは、ブロックマッチング法などを用いて検出される。
【０００７】
ブロックマッチング法では、まず、対象画像を、それぞれが１以上の画素からなる複数のブロックに分割する。そして、分割された複数のブロックの中から動きを検出しようとする注目ブロックを選択する。続いて、選択した注目ブロックと、対象画像と時間的に前後する前フレームまたは後フレームにおける、所定の探索範囲内の複数の候補領域（以下、「候補ブロック」と呼ぶ）との相関度をそれぞれ評価する。最後に、それらの候補ブロックの中で最も相関度の高い候補ブロックを決定し、その候補ブロックと注目ブロックとの変位を動きベクトルとして検出する。
【０００８】
このようなブロックマッチング法などでは、例えば、物体と背景とが違う方向に動くような、動きの異なるものが複数混在する画像において、本来検出されるべき正しい動きベクトルが効果的に検出できない場合がある。特に、物体と背景とが違う方向に動く場合に、その物体の境界領域等において、本来検出されるべき正しい動きベクトルを検出できないことが多い。
【０００９】
また、ハードウェア資源等の制約から探索範囲の大きさが制限されることにより、検出された動きベクトルの示す動きが実際の動きと一致しない場合がある。
【００１０】
このような場合において、検出された動きベクトルを使用して動き補償処理を行えば、補間画像が大きく劣化してしまう可能性がある。また、このような補間画像の劣化は、物体の境界や、画面の境界等で発生する場合が多い。
【００１１】
このような劣化を改善する方法として、動きベクトルを使用しない方法、あるいはフィルタリング処理を行う方法等がある。具体的には、例えば、原画像に含まれる画像と同一の画像を補間画像の全部または一部として生成する方法、あるいはフレーム間またはフィールド間での線形補間処理によって補間画像を生成する方法がある。これらの方法により補間画像が生成された場合、動画像の全体または一部において、動きが不連続となったり、不鮮明となったりする問題がある。
【００１２】
本発明は、上述した従来の課題を解決するものであり、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上述した目的を達成するために、本発明の一態様に係る画像処理装置は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する。
【００１４】
これにより、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化を抑制することができる。一方、動きベクトルの信頼性が高ければ、補間位相を原画像の位相に近づけないので、画像の動きを円滑にすることもできる。さらに、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。
【００１５】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出することが好ましい。
【００１６】
これにより、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【００１７】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出することが好ましい。
【００１８】
これにより、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【００１９】
また、前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出することが好ましい。
【００２０】
これにより、動きベクトルの信頼性が低くなる互いに異なる２つの理由を反映した信頼度を算出することができるので、高精度に動きベクトルの信頼度を算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【００２１】
また、前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成することが好ましい。
【００２２】
これにより、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。
【００２３】
また、前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定することが好ましい。
【００２４】
これにより、注目ブロックと、当該注目ブロックの周囲に位置するブロックとの間での動き補償強度の急激な変化を抑制することができ、画像の劣化を抑制することができる。
【００２５】
また、前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相であることが好ましい。
【００２６】
これにより、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。
【００２７】
また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。
【００２８】
これにより、画像がスクロールしている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、スクロールしている画像の動きを円滑にすることができる。
【００２９】
また、前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定することが好ましい。
【００３０】
これにより、テロップが動きながら表示されている領域の動き補償強度を、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近い位相を補間位相として特定する動き補償強度に再決定することができる。したがって、変換後の動画像において、テロップの動きを円滑にすることができる。
【００３１】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現することができる。また、本発明は、そのような画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００３２】
さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ：Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。
【発明の効果】
【００３３】
本発明の一態様に係る画像処理装置によれば、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【図面の簡単な説明】
【００３４】
【図１】図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。
【図３】図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図４】図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。
【図５】図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。
【図６】図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。
【図７】図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。
【図８】図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。
【図９Ａ】図９Ａは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【図９Ｂ】図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【図１０Ａ】図１０Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１０Ｂ】図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１１Ａ】図１１Ａは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１１Ｂ】図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。
【図１２】図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。
【図１３】図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１４】図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。
【図１５Ａ】図１５Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１５Ｂ】図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１６Ａ】図１６Ａは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１６Ｂ】図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。
【図１７】図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。
【図１８】図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。
【図２０Ａ】図２０Ａは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【図２０Ｂ】図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【発明を実施するための形態】
【００３５】
以下、本発明の一態様に係る画像処理装置の実施の形態について、図面を参照しながら詳細に説明する。
【００３６】
なお、以下において記述される数字は、すべて本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【００３７】
また、以下の実施の形態は、ハードウェアおよびソフトウェアの少なくとも一方を用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
【００３８】
（実施の形態１）
以下に、本発明の実施の形態１について、図面を用いて説明する。
【００３９】
図１は、本発明の実施の形態１における画像処理装置の機能構成を示すブロック図である。
【００４０】
画像処理装置１０は、入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する装置である。なお、動画像は、フレーム単位であってもよいし、フィールド単位であってもよい。動画像がフレーム単位である場合は、原画像はフレーム画像を意味し、動画像がフィールド単位である場合は、原画像はフィールド画像を意味する。
【００４１】
図１に示すように、画像処理装置１０は、動きベクトル検出部１１と、補償強度決定部１２と、補間画像生成部１３とを備える。
【００４２】
動きベクトル検出部１１は、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。
【００４３】
補償強度決定部１２は、動きベクトルの信頼度を算出し、算出した信頼度に応じて動き補償強度を決定する。また、補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、２枚の原画像の位相のうち正規位相に近い方の位相に補間位相が近づくように、動き補償強度を決定する。
【００４４】
なお、動き補償強度とは、補間画像の位相である補間位相を特定するための値である。また、位相とは、画像の時間的な位置を示す値である。また、補間位相とは、補間画像の時間的な位置を示す値である。
【００４５】
補間位相と原画像の位相との位相差が大きいほど、後述する動き補償処理によって生成される補間画像は、原画像から大きく動いた画像となる。したがって、動き補償強度とは、原画像と補間画像との一致度合いを示す値ということもできる。なお、補間位相は、補間画像を生成する際に利用される値であり、補間画像が表示される位相と異なってもよい。
【００４６】
また、正規位相とは、変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相であり、フレームレート変換後の動画像に含まれる画像が等間隔に連続する時間的な位置を示す位相である。
【００４７】
補間画像生成部１３は、動き補償強度によって特定される補間位相と動きベクトルとを用いて、２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する。
【００４８】
次に、以上のように構成された画像処理装置１０における各種動作について説明する。
【００４９】
図２は、本発明の実施の形態１における画像処理装置による処理の流れを示すフローチャートである。
【００５０】
まず、動きベクトル検出部１１は、入力画像信号が示す入力動画像に含まれる原画像のブロックごとに動きベクトルを検出する（Ｓ１０２）。また、動きベクトル検出部１１は、検出した動きベクトルを、補償強度決定部１２および補間画像生成部１３へ出力する。
【００５１】
続いて、補償強度決定部１２は、処理対象の画像に含まれるブロックであって、まだ以下の処理（Ｓ１０６〜Ｓ１１４）が行われていないブロックを注目ブロックとして選択する（Ｓ１０４）。そして、補償強度決定部１２は、注目ブロックの動きベクトルの信頼性を示す信頼度を算出する（Ｓ１０６）。補償強度決定部１２は、算出した信頼度が示す信頼性が低いほど、補間位相が原画像の位相に近づくように、動き補償強度を決定する（Ｓ１０８）。
【００５２】
次に、補償強度決定部１２は、隣接するブロック間における動き補償強度の差異が小さくなるように、動き補償強度に対して空間的なフィルタ処理を施す（Ｓ１１２）。そして、補償強度決定部１２は、フィルタ処理後の動き補償強度を補間画像生成部１３へ出力する。
【００５３】
補間画像生成部１３は、動き補償強度によってブロックごとに特定される補間位相にしたがって調整された動きベクトルと注目ブロックとを用いて、動き補償処理を行う（Ｓ１１４）。
【００５４】
そして、補償強度決定部１２は、処理対象の画像に含まれるすべてのブロックが注目ブロックとして選択されたか否かを判定する（Ｓ１１６）。ここで、すべてのブロックが注目ブロックとして選択されていない場合（Ｓ１１６のＮｏ）、補償強度決定部１２は、再びステップＳ１０４からの処理を繰り返す。一方、すべてのブロックが注目ブロックとして選択された場合（Ｓ１１６のＹｅｓ）、画像処理装置１０は、補間画像を生成する処理を終了する。
【００５５】
このように、補間画像生成部１３は、動き補償処理をブロックごとに繰り返すことにより補間画像を生成する。そして、このように生成された補間画像が時間的に前後する２枚の原画像間に挿入されることにより、出力動画像を示す出力画像信号が出力される。
【００５６】
なお、本実施の形態では、補間画像生成部１３は、動き補償強度が決定されるごとに動き補償処理を行っていたが、すべてのブロックの動き補償強度が決定された後にまとめて動き補償処理を行ってもよい。
【００５７】
次に、動きベクトル検出部１１、補償強度決定部１２、および補間画像生成部１３が行う処理（図２のＳ１０２〜Ｓ１１４）について、以下に詳細に説明する。
【００５８】
まず、動きベクトル検出部１１が動きベクトルを検出する処理（図２のＳ１０２）の詳細について説明する。
【００５９】
動きベクトル検出部１１は、画像処理装置１０に入力された画像信号である入力画像信号が示す入力動画像に含まれる原画像を複数のブロックに分割する。そして、動きベクトル検出部１１は、分割したブロックごとに、時間的に前後する２枚の原画像間の動きベクトルを検出する。さらに、動きベクトル検出部１１は、検出した動きベクトルの大きさおよび方向を示す動きベクトル値を補償強度決定部１２および補間画像生成部１３へ出力する。
【００６０】
具体的には、動きベクトル検出部１１は、ブロックマッチング法に基づいて、時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する。つまり、動きベクトル検出部１１は、２枚の原画像の一方に含まれるブロックであって動きを検出しようとするブロックである注目ブロックと、２枚の原画像の他方における所定の探索範囲内に含まれる複数の候補領域（候補ブロック）との間で、相関値をそれぞれ算出する。
【００６１】
さらに具体的には、動きベクトル検出部１１は、ブロックを構成する画素の画素値をブロック間で比較することにより相関値を算出する。例えば、動きベクトル検出部１１は、注目ブロックと候補領域との間で、それぞれに対応する画素同士の差分絶対値総和、あるいは、差分二乗値総和などを相関値として算出する。なお、相関値が差分絶対値総和または差分二乗値総和である場合、相関値が小さいほどブロック間の近似度が大きいことを示す。
【００６２】
また、動きベクトル検出部１１は、算出した相関値に基づいて最も注目ブロックと相関が高い候補領域を選択し、選択した候補領域と注目ブロックとの変位を動きベクトルとして検出する。
【００６３】
動きベクトル検出部１１は、注目ブロックの位置を変更しながら、上記のように動きベクトルを検出することにより、原画像に含まれる各ブロックについて動きベクトルを検出する。
【００６４】
なお、上記の探索範囲は、必ずしも１枚の原画像の領域である必要はない。探索範囲は、注目ブロックを含む原画像よりも、時間的に前の原画像および時間的に後の原画像のうち、１枚以上の原画像にわたる所望の領域に対応する範囲であってもよい。
【００６５】
次に、補償強度決定部１２が動き補償強度を決定する処理の詳細について説明する。
【００６６】
はじめに、補償強度決定部１２が動きベクトルの信頼度を算出する処理（図２のＳ１０６）の詳細について説明する。
【００６７】
補償強度決定部１２は、動きベクトルの変化度を算出するために、注目ブロックの周囲に位置する複数のブロックの動きベクトル値の平均値を算出する。そして、補償強度決定部１２は、注目ブロックの動きベクトル値と、算出した動きベクトル値の平均値との差分絶対値を用いて変化度を算出する。この変化度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
【００６８】
なお、注目ブロックの周囲に位置するブロックには、注目ブロックに隣接するブロックと、その隣接するブロックに隣接するブロックとが含まれる。つまり、注目ブロックの周囲に位置するブロックは、注目ブロックの近傍に位置するブロックである。例えば、注目ブロックの周囲に位置するブロックは、注目ブロックを取り囲む８つのブロックである。
【００６９】
なお、動きベクトル値は、画像の水平方向成分の値および垂直方向成分の値を有する。また、動きベクトル値の水平方向成分の値および垂直方向成分の値は有限な値である。
【００７０】
したがって、補償強度決定部１２は、注目ブロックの動きベクトル値の水平方向成分と、算出した動きベクトル値の平均値の水平方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、注目ブロックの動きベクトル値の垂直方向成分と、算出した動きベクトル値の平均値の垂直方向成分との差分絶対値のみを用いて変化度を算出してもよい。また、補償強度決定部１２は、前記の水平方向成分の差分絶対値と、前記の垂直方向成分の差分絶対値との和を用いて変化度を算出してもよい。
【００７１】
図３は、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。また、図４は、本発明の実施の形態１における変化度と動き補償強度との関係の一例を示す図である。
【００７２】
図３に示すように、補償強度決定部１２は、差分絶対値を変化度として算出する。また、補償強度決定部１２は、図４に示すように、変化度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部１２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
【００７３】
次に、補償強度決定部１２が行うフィルタ処理（図２のＳ１１２）の詳細について説明する。
【００７４】
図５は、本発明の実施の形態１における画像処理装置が行うフィルタ処理を説明するための図である。図５において、斜線部は注目ブロックを示し、ブロック内の数値は動き補償強度を示す。
【００７５】
図５に示すように、補償強度決定部１２は、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。その結果、隣接するブロック間における動き補償強度の差異が小さくなる。
【００７６】
例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の平均値を、そのブロックの動き補償強度として算出することにより、フィルタ処理を行えばよい。また例えば、補償強度決定部１２は、ブロックごとに、そのブロックから所定の範囲に含まれる複数のブロックの動き補償強度の加重加算値を算出することにより、フィルタ処理を行ってもよい。
【００７７】
次に、補償強度決定部１２が、注目ブロックの動きベクトルと、当該注目ブロックの周囲に位置するブロックとの変化度を信頼度として算出する理由について以下に説明する。
【００７８】
画像全体が一様に動くような、画像内の比較的大きい領域が同様な動き状態である場合には、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが同様の大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが正確な動きベクトルである可能性も高くなることが容易に推測できる。
【００７９】
つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が小さい場合には、注目ブロックの動きベクトルの信頼性が高いと評価することができる。
【００８０】
逆に、人あるいは物体のみが動くような、画像内の比較的小さい領域のみが動き状態となるような場合には、特にその領域の境界部分において、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとは、互いに大きく異なる動きベクトルとなる可能性が高い。また、注目ブロックの動きベクトルと注目ブロックの周囲に位置するブロックの動きベクトルとが互いに大きく異なる大きさおよび方向の動きベクトルとなる場合には、その動きベクトルが不正確な動きベクトルである可能性も高くなることが容易に推測できる。
【００８１】
つまり、注目ブロックについて検出された動きベクトルと、その注目ブロックの周囲に位置するブロックについて検出された動きベクトルとの変化度が大きい場合には、注目ブロックの動きベクトルの信頼性が低いと評価することができる。
【００８２】
以上より、補償強度決定部１２は、注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置するブロックに対して検出された動きベクトルとの変化度を信頼度として算出する。
【００８３】
次に、補間画像生成部１３が行う動き補償処理（図２のＳ１１４）の詳細について説明する。
【００８４】
補間画像生成部１３は、まず動き補償強度を用いて補間位相を算出する。このとき、補間画像生成部１３は、動き補償強度が小さいほど、原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。特に、補間画像生成部１３は、動き補償強度が小さいほど、正規位相に近い方の原画像の位相と補間位相との位相差が小さくなるように、補間位相を算出する。
【００８５】
図６は、本発明の実施の形態において、正規位相が「０．４」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図６において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
【００８６】
図６に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．４」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「０」を補間位相として算出する。
【００８７】
例えば、動き補償強度が０〜１００の値で表され、かつ、正規位相が０．５未満である場合、補間位相は次のように計算される。
【００８８】
補間位相＝正規位相＊動き補償強度／１００
図７は、本発明の実施の形態において、正規位相が「０．６」である場合の動き補償強度と補間位相との関係を説明するための図である。なお、図７において、時間的に前後する２枚の原画像の位相は、「０」と「１」である。
【００８９】
図７に示すように、動き補償強度が最大値（例えば「１００」）である場合、補間画像生成部１３は、正規位相と同じ「０．６」を補間位相として算出する。一方、動き補償強度が最小値（例えば「０」）である場合、補間画像生成部１３は、正規位相に近い方の原画像の位相と同じ「１」を補間位相として算出する。
【００９０】
例えば、動き補償強度が０〜１００の値で表され、かつ、正規位相が０．５以上である場合、補間位相は次のように計算される。
【００９１】
補間位相＝１−（１−正規位相）＊動き補償強度／１００
なお、本実施の形態では、補間画像生成部１３が補間位相を算出したが、補償強度決定部１２が補間位相を算出してもよい。この場合、補償強度決定部１２は、算出した補間位相を動き補償強度として補間画像生成部１３へ出力すればよい。
【００９２】
このように算出した補間位相と動きベクトルとを用いて、補間画像生成部１３は、原画像を使用して動き補償処理を行うことにより、補間画像を生成する。
【００９３】
図８は、本発明の実施の形態１における画像処理装置が補間画像を生成する処理を模式的に示す図である。具体的には、図８は、原画像ｎあるいは原画像ｎ＋１の原画像を使用して動き補償処理を行って補間画像を生成する処理を模式的に示した図である。
【００９４】
図８において、原画像ｎと原画像ｎ＋１との位相差は「１．０」であり、補間位相はＫｍである。ここで、原画像ｎを使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差Ｋｍを乗じた動きベクトルを用いて動き補償処理を行う。一方、原画像ｎ＋１を使用して動き補償処理を行う場合、補間画像生成部１３は、動きベクトルに位相差−（１−Ｋｍ）を乗じた動きベクトルを用いて動き補償処理を行う。補間画像生成部１３は、このように動き補償処理を行うことにより、補間画像を生成する。
【００９５】
図９Ａおよび図９Ｂは、本発明の実施の形態１における画像処理装置によって生成された補間画像を説明するための図である。
【００９６】
図９Ａでは、自動車の画像領域において検出された動きベクトルの信頼性が高いので、原画像ｎと原画像ｎ＋１との中間の位相、つまり正規位相の補間画像が生成されている。一方、図９Ｂでは、自動車の画像領域において検出された動きベクトルの信頼性が低いので、原画像ｎの位相に近い位相の補間画像が生成されている。
【００９７】
次に、補間画像生成部１３が、動きベクトルの信頼性が低い場合に、正規位相よりも原画像の位相との位相差が小さい補間位相にしたがって、補間画像を生成する理由について説明する。
【００９８】
正規位相とは、上述したように変換前のフレームレートと変換後のフレームレートとの比から論理的に算出される位相である。例えば、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「６０」と、出力動画像のフレームレート「１２０」との比である「０．５」を積算するたびに得られる値「０．０」、「０．５」、「１．０」・・・が正規位相である。
【００９９】
また例えば、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合、入力動画像のフレームレート「２４」と、出力動画像のフレームレート「６０」との比である「０．４」を積算するたびに得られる値「０．０」、「０．４」、「０．８」、「１．２」、「１．６」、「２．０」・・・が正規位相である。
【０１００】
入力動画像に含まれる原画像の位相は整数値で表されるので、整数値となる正規位相の画像は、補間画像として生成されなくてよい。つまり、６０Ｈｚの入力動画像を１２０Ｈｚの出力動画像にフレームレート変換する場合は、連続する各原画像の間に「０．５」の位相の補間画像が内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。一方、２４Ｈｚの入力動画像を６０Ｈｚの出力動画像にフレームレート変換する場合は、２枚おきの原画像の間に、「０．４」、「０．８」、「１．２」、及び「１．６」の位相の補間画像がそれぞれ内挿されれば、出力動画像は、時系列で等間隔に連続し、動きが円滑な動画像となる。
【０１０１】
しかしながら、動きベクトル検出部１１によって検出された動きベクトルが実際の画像の動きと異なる場合には、その動きベクトルを用いて生成された補間画像は破綻する。つまり、動きベクトルの信頼性が低い場合は、その動きベクトルを用いて生成された補間画像は、大きく劣化した画像である可能性が高い。
【０１０２】
そこで、画像処理装置１０は、動きベクトルの信頼性に応じて正規位相を修正した補間位相を用いて補間画像を生成する。つまり、動きベクトルの信頼性が高いほど、正規位相に近い位相の補間位相を用いて補間画像を生成する。これは、動きベクトルの信頼性が高ければ、その動きベクトルが正確な画像の動きを示している可能性が高いので、正規位相に近い位相の補間画像であっても画像が劣化する可能性が小さいからである。また、正規位相に近い位相の補間画像が挿入されれば、出力動画像における画像の動きも滑らかになるからである。
【０１０３】
逆に、動きベクトルの信頼性が低ければ、正規位相よりも原画像の位相に近い位相の補間位相を用いて補間画像を生成する。これは、補間位相と原画像の位相との位相差が小さいほど、補間画像が原画像に近似した画像となるので、画像の劣化を抑制することができるからである。
【０１０４】
以上のように、本実施の形態における画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に原画像の位相に補間位相を近づけることができるので、画像の劣化を抑制することができる。一方、画像処理装置１０は、動きベクトルの信頼性が高ければ、補間位相を正規位相に近づけることができるので、画像の動きを円滑にすることもできる。さらに、画像処理装置１０は、動きベクトルの信頼性に応じて補間位相を特定するための動き補償強度を決定することができるので、入力される動画像に対して適応的に補間画像を生成することが可能となる。
【０１０５】
また、画像処理装置１０は、動きベクトルの信頼性が低いほど、正規位相に近い方の原画像の位相に補間位相を近づけることができ、さらに画像の劣化を抑制することができる。
【０１０６】
また、画像処理装置１０は、当該注目ブロックの動きベクトルと、注目ブロックの周囲に位置するブロックの動きベクトルとの変化度を信頼度として算出することができ、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置１０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１０７】
また、画像処理装置１０は、ブロックごとに補間位相を変えて補間画像を生成することができるので、画像の劣化を抑制された補間画像であって、かつ動きが円滑な補間画像を適応的に生成することができる。
【０１０８】
また、画像処理装置１０は、動き補償強度に対して空間的なフィルタ処理を施すことにより、注目ブロックとその注目ブロックの周囲に位置するブロックとの間での急激な動き補償強度の変化を抑制することができ、連続性のある動き補償強度を決定することができる。
【０１０９】
なお、本実施の形態において、補償強度決定部１２は、算出した差分絶対値そのものを変化度として算出していたが、必ずしも差分絶対値そのものを変化度として算出する必要はない。
【０１１０】
例えば、補償強度決定部１２は、算出した差分絶対値に、予め定められた加算値を加算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値から独立して、変化度を増減させることができる。
【０１１１】
図１０Ａおよび図１０Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１０Ａは、正の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１０Ｂは、負の値が加算値として差分絶対値に加算された場合の、差分絶対値と変化度との関係を示すグラフである。
【０１１２】
図１０Ａに示すように、正の値の加算値が差分絶対値に加算された場合、変化度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１１３】
一方、図１０Ｂに示すように、負の値の加算値が差分絶対値に加算された場合、一律に変化度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
【０１１４】
また例えば、補償強度決定部１２は、算出された差分絶対値に、予め定められた乗算値を乗算して得られる値を変化度として算出してもよい。これにより、補償強度決定部１２は、算出された差分絶対値に従属して、変化度を増減させることができる。つまり、補償強度決定部１２は、差分絶対値に対する変化度の変化の割合を調整することができる。
【０１１５】
図１１Ａおよび図１１Ｂは、本発明の実施の形態１における差分絶対値と変化度との関係の一例を示す図である。具体的には、図１１Ａは、１以上の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。また、図１１Ｂは、１未満の正の値が乗算値として差分絶対値に乗算された場合の、差分絶対値と変化度との関係を示すグラフである。
【０１１６】
図１１Ａに示すように、１以上の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が大きくなる。したがって、画像処理装置１０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１１７】
一方、図１１Ｂに示すように、１未満の正の値の乗算値が差分絶対値に乗算された場合、差分絶対値に対する変化度の変化の割合が小さくなる。したがって、画像処理装置１０は、動きが円滑な補間画像を生成することが可能となる。
【０１１８】
また、本実施の形態では、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する複数ブロックの動きベクトル値の平均値との差分を算出していたが、必ずしもこのように差分を算出する必要はない。例えば、補償強度決定部１２は、注目ブロックの動きベクトル値と、注目ブロックの周囲に位置する１つのブロックの動きベクトル値との差分を算出してもよい。
【０１１９】
また、本実施の形態では、補償強度決定部１２は、単純に、注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値をすべて加算して、その加算の対象としたブロックの数で除算して平均値を算出していたが、必ずしもこのように平均値を算出する必要はない。
【０１２０】
例えば、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における低周波成分の数値を平均値として算出してもよい。
【０１２１】
さらに、補償強度決定部１２は、注目ブロックとその注目ブロックの周囲に位置する複数のブロックについて検出された動きベクトル値に対してフィルタ処理を行い、そのフィルタ処理の対象としたブロック群における高周波成分の数値を変化度として算出してもよい。
【０１２２】
なお、本実施の形態における画像処理装置１０は、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を保持するために、メモリを備えることが好ましい。例えば、補償強度決定部１２が、動きベクトル検出部１１によって検出されたブロックごとの動きベクトルを保持するためのメモリを備えればよい。
【０１２３】
また例えば、補償強度決定部１２が、動きベクトル検出部１１から、注目ブロックの周囲に位置するブロックについて検出された動きベクトル値を随時取得してもよい。この場合、動きベクトル検出部１１が、検出した動きベクトルを保持するためのメモリを備えればよい。
【０１２４】
（実施の形態２）
次に、本発明の実施の形態２について、図面を用いて説明する。
【０１２５】
本実施の形態における画像処理装置２０は、実施の形態１における画像処理装置１０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と同様の点については、図示および説明を省略する。
【０１２６】
図１２は、本発明の実施の形態２における画像処理装置の機能構成を示すブロック図である。なお、図１２において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１２７】
図１２に示すように、画像処理装置２０は、動きベクトル検出部２１と、補償強度決定部２２と、補間画像生成部１３とを備える。
【０１２８】
動きベクトル検出部２１は、実施の形態１における動きベクトル検出部１１と異なり、動きベクトルに対応する相関値を補償強度決定部２２へ出力する。この相関値は、所定の探索範囲内に含まれる複数の候補領域のうち、最も注目ブロックと相関が高い候補領域の相関値である。つまり、この相関値は、動きベクトルの始点に対応するブロックと、動きベクトルの終点に対応するブロックとの相関値である。
【０１２９】
なお、動きベクトル検出部２１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
【０１３０】
補償強度決定部２２は、２枚の原画像の一方に含まれる、動きベクトルの始点に対応するブロックと、２枚の原画像の他方に含まれる、動きベクトルの終点に対応するブロックとの非近似度を算出する。
【０１３１】
動きベクトル検出部２１から出力された相関値は、該当するブロックにおいて検出された動きベクトル値に対する確からしさを示すものである。相関値の大きさが大きいほど、注目ブロックと候補ブロックとの非近似度が高いことを示す。そして、非近似度が高いほど、検出された動きベクトル値の信頼性が低いことを示唆する。
【０１３２】
したがって、補償強度決定部２２は、注目ブロックについて検出された動きベクトル値に対応する相関値に応じて、候補領域との非近似度を算出する。具体的には、補償強度決定部２２は、動きベクトル検出部２１から出力された相関値そのものを非近似度として算出する。この非近似度は、値が大きいほど信頼性が低いことを示す信頼度に相当する。
【０１３３】
図１３は、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。また、図１４は、本発明の実施の形態２における非近似度と動き補償強度との関係の一例を示す図である。
【０１３４】
図１３に示すように、補償強度決定部２２は、相関値を非近似度として算出する。また、補償強度決定部２２は、図１４に示すように、非近似度が大きいほど動き補償強度が小さくなるように、動き補償強度を決定する。つまり、補償強度決定部２２は、動きベクトルの信頼性が低いほど、動き補償強度によって特定される補間位相が原画像の位相に近づくように動き補償強度を決定する。
【０１３５】
また、補償強度決定部２２は、実施の形態１における補償強度決定部１２と同様に、図５に示したように、ブロックごとに決定された動き補償強度に対してフィルタ処理を施す。
【０１３６】
なお、補償強度決定部２２は、必ずしも相関値そのものを非近似度として算出しなくてもよい。例えば、補償強度決定部２２は、その相関値に、予め定められた加算値を加算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値から独立して、非近似度を増減させることができる。
【０１３７】
図１５Ａおよび図１５Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１５Ａは、正の値が加算値として相関値に加算された場合の、相関値と非近似度との関係を示すグラフである。また、図１５Ｂは、負の値が加算値として加算された場合の、相関値と非近似度との関係を示すグラフである。
【０１３８】
図１５Ａに示すように、正の値の加算値が相関値に加算された場合、非近似度は一律に大きくなる。したがって、動き補償強度は小さくなり、原画像の位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１３９】
一方、図１５Ｂに示すように、負の値の加算値が相関値に加算された場合、一律に非近似度は小さくなる。したがって、動き補償強度は大きくなり、正規位相に近い位相の補間画像が生成される。つまり、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
【０１４０】
また例えば、補償強度決定部２２は、その相関値に、予め定められた乗算値を乗算して得られる値を非近似度として算出してもよい。これにより、補償強度決定部２２は、相関値に従属して、非近似度を増減させることができる。つまり、補償強度決定部２２は、相関値に対する非近似度の変化の割合を調整することができる。
【０１４１】
図１６Ａおよび図１６Ｂは、本発明の実施の形態２における相関値と非近似度との関係の一例を示す図である。具体的には、図１６Ａは、１以上の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。また、図１６Ｂは、１未満の正の値が乗算値として相関値に乗算された場合の、相関値と非近似度との関係を示すグラフである。
【０１４２】
図１６Ａに示すように、１以上の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が大きくなる。したがって、画像処理装置２０は、原画像との差が小さい、画像の劣化が抑制された補間画像を生成することが可能となる。
【０１４３】
一方、図１６Ｂに示すように、１未満の正の値の乗算値が相関値に乗算された場合、相関値に対する非近似度の変化の割合が小さくなる。したがって、画像処理装置２０は、動きが円滑な補間画像を生成することが可能となる。
【０１４４】
以上のように、本実施の形態における画像処理装置２０は、動きベクトルの始点および終点に位置するブロック間の非近似度を信頼度として算出することにより、高精度に動きベクトルの信頼度を算出することができる。そして、画像処理装置２０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１４５】
（実施の形態３）
次に、本発明の実施の形態３について、図面を用いて説明する。
【０１４６】
本実施の形態における画像処理装置３０は、実施の形態１における画像処理装置１０、または実施の形態２における画像処理装置２０と、信頼度の算出に関する処理が異なるが、他の処理は同様である。実施の形態１または２における画像処理装置１０または２０と同様の点については、図示および説明を省略する。
【０１４７】
図１７は、本発明の実施の形態３における画像処理装置の機能構成を示すブロック図である。なお、図１７において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１４８】
図１７に示すように、画像処理装置３０は、動きベクトル検出部３１と、補償強度決定部３２と、補間画像生成部１３とを備える。
【０１４９】
動きベクトル検出部３１は、動きベクトル値に加えて、動きベクトルに対応する相関値を補償強度決定部３２へ出力する。なお、動きベクトル検出部３１が行う他の処理については、実施の形態１における動きベクトル検出部１１と同じであるので、説明を省略する。
【０１５０】
補償強度決定部３２は、実施の形態１の補償強度決定部１２と同様に、動きベクトル値を用いて変化度を算出する。さらに、補償強度決定部３２は、実施の形態２の補償強度決定部２２と同様に、相関値を用いて非近似度を算出する。そして、補償強度決定部３２は、算出した変化度と非近似度とを加算することにより信頼度を算出する。この信頼度は、値が大きいほど信頼性を低いことを示す。
【０１５１】
変化度は、ブロック間で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。一方、非近似度は、ブロック内で異なる画像の動きがある場合に、動きベクトルの信頼性が低くなることを利用して算出される値である。
【０１５２】
したがって、補償強度決定部３２は、算出した変化度と非近似度とを加算した結果を、注目ブロックにおける信頼度として算出することにより、動きベクトルの信頼性が低くなる、互いに異なる理由を反映した信頼度を高精度に算出することができる。そして、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像処理装置３０は、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１５３】
以上のように、本実施の形態における画像処理装置３０は、変化度と非近似度とを用いて高精度に信頼度を算出することができる。そして、画像処理装置３０は、このように高精度に算出された信頼度にしたがって動き補償強度を決定することにより、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１５４】
（実施の形態４）
次に、本発明の実施の形態４について、図面を用いて説明する。
【０１５５】
本実施の形態における画像処理装置４０は、実施の形態１における画像処理装置１０と、動き補償強度の決定に関する処理が異なるが、他の処理は同様である。実施の形態１における画像処理装置１０と異なる点を中心に、以下に説明する。
【０１５６】
図１８は、本発明の実施の形態４における画像処理装置の機能構成を示すブロック図である。なお、図１８において、図１に示す構成要素と同一の処理を行う構成要素には同一の符号を付し、説明を省略する。
【０１５７】
図１８に示すように、画像処理装置４０は、動きベクトル検出部１１と、補償強度決定部４２と、補間画像生成部１３とを備える。
【０１５８】
補償強度決定部４２は、実施の形態１における補償強度決定部１２が行う処理に加えて、さらに、スクロールに関する情報であるスクロール情報およびテロップに関する情報であるテロップ情報を取得する。
【０１５９】
スクロール情報とは、原画像の一部または全部の領域において、画像がスクロールしている可能性（以下、単に「スクロール可能性」と呼ぶ）を示す情報である。また、テロップ情報とは、原画像の一部または全部の領域において、テロップが動きながら表示されている可能性（以下、単に「テロップ可能性」と呼ぶ）を示す情報である。
【０１６０】
さらに、補償強度決定部４２は、取得したスクロール情報およびテロップ情報に応じて、決定した動き補償強度を再決定する。具体的には、補償強度決定部４２は、スクロール可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。また、補償強度決定部４２は、テロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
【０１６１】
図１９は、本発明の実施の形態４における画像処理装置による処理の流れを示すフローチャートである。なお、図１９において、図２と同一の処理については同一の符号を付し、説明を省略する。
【０１６２】
動き補償強度が決定された後、補償強度決定部４２は、スクロール情報およびテロップ情報を取得する（Ｓ２０２）。続いて、補償強度決定部４２は、注目ブロックを含む領域のスクロール情報およびテロップ情報に応じて、動き補償強度を再決定する（Ｓ２０４）。
【０１６３】
そして、図２において説明した処理と同様の処理（Ｓ１１２〜Ｓ１１６）を行って、画像処理装置４０は、補間画像を生成する処理を終了する。
【０１６４】
図２０Ａおよび図２０Ｂは、本発明の実施の形態４における補償強度決定部が動き補償強度を再決定する処理を説明するための図である。
【０１６５】
図２０Ａは、スクロール可能性またはテロップ可能性が「大」、「中」、「小」の３段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。図２０Ａに示すように、スクロール可能性またはテロップ可能性が小さいことを示す「小」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された動き補償強度をそのまま動き補償強度として再決定する。また、スクロール可能性またはテロップ可能性が大きいことを示す「大」の場合は、補償強度決定部４２は、正規位相を補間位相として特定する動き補償強度を再決定する。
【０１６６】
また、スクロール可能性またはテロップ可能性が「大」と「小」の間の「中」の場合は、補償強度決定部４２は、動きベクトルの信頼度を用いて決定された補間位相と正規位相との中間の位相を補間位相として特定する動き補償強度を再決定する。
【０１６７】
なお、スクロール可能性またはテロップ可能性は、大中小の３段階に限られず、４以上の多段階または大小の２段階であってもよい。
【０１６８】
図２０Ｂは、スクロール可能性またはテロップ可能性が多段階で示されている場合に、補償強度決定部４２が動き補償強度を再決定する処理を説明するための図である。
【０１６９】
図２０ＢのグラフＡに示すように、補償強度決定部４２は、スクロール可能性またはテロップ可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する。
【０１７０】
また、図２０ＢのグラフＢに示すように、スクロール可能性またはテロップ可能性が最も大きい場合でも、補償強度決定部４２は、補間位相が正規位相と一致しないように動き補償強度を再決定してもよい。
【０１７１】
以上により、画像処理装置４０は、画像がスクロールしている領域またはテロップが動きながら表示されている領域の補間位相が、動きベクトルの信頼度に応じて決定された補間位相よりも正規位相に近くなるように、動き補償強度に再決定することができる。したがって、画像処理装置４０は、変換後の動画像において、スクロールしている画像あるいはテロップの動きを円滑にあるいは自然にすることができる。
【０１７２】
なお、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、どちらか一方のみを取得してもよい。この場合、補償強度決定部４２は、スクロール情報およびテロップ情報のうち、取得した一方の情報のみに応じて、動き補償強度を再決定する。
【０１７３】
以上、本発明の一態様における画像処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したもの、または異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１７４】
つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【０１７５】
例えば、上記実施の形態では、ブロックごとに動き補償強度を決定していたが、必ずしもブロックごとに動き補償強度を決定する必要はない。例えば、複数のブロックからなる所定の領域ごとに、動き補償強度を決定してもよい。その場合、補償強度決定部は、例えば、代表となるブロックの動き補償強度をその領域の動き補償強度と決定すればよい。
【０１７６】
また、上記実施の形態において、動きベクトルの信頼性が低い場合に補間位相を近づける原画像の位相は、正規位相に近い方の原画像の位相であったが、正規位相に関わらず、常に補間画像よりも時間的に前の原画像の位相または時間的に後の原画像の位相であってもよい。
【０１７７】
また、補間画像生成部は、正規位相と、近づける対象とする原画像の位相との位相差に応じて、その位相差が大きいほど、補間位相が原画像の位相に近づくように補間位相を算出してもよい。
【０１７８】
また、上記実施の形態において、補償強度決定部は、ブロックごとの動き補償強度に空間的なフィルタ処理を施していたが、必ずしもフィルタ処理を施す必要はない。補償強度決定部がフィルタ処理を施さない場合であっても、画像処理装置は、動きベクトルの信頼性が低いほど、補間位相を原画像の位相に近づけることができるので、画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる。
【０１７９】
なお、本発明は、このような画像処理装置として実現できるだけでなく、画像処理装置に含まれる特徴的な処理をステップとする画像処理方法として実現してもよい。また、本発明は、そのような画像処理方法に含まれる各ステップを、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびメモリ等を備えるコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１８０】
さらに、本発明は、このような画像処理装置の機能の一部またはすべてを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像処理装置を備えるデジタルテレビ等の画像表示装置として実現したりすることもできる。具体的には、図１、図１２、図１７または図１８に示されたすべての構成要素を備える集積回路として実現することができる。
【０１８１】
また、集積回路化は個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されてもよい。
【０１８２】
また、集積回路化はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１８３】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
【産業上の利用可能性】
【０１８４】
画像の劣化が抑制された補間画像であって、かつ動きが円滑な補間画像を生成することができる画像処理装置およびその画像処理装置を備える画像表示装置等として利用することができる。
【符号の説明】
【０１８５】
１０、２０、３０、４０  画像処理装置
１１、２１、３１  動きベクトル検出部
１２、２２、３２、４２  補償強度決定部
１３  補間画像生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理装置であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
画像処理装置。
【請求項２】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトルと、当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルとの変化度を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項３】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロックと、前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックとの非近似度を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項４】
前記補償強度決定部は、前記２枚の原画像の一方に含まれる注目ブロックに対して検出された動きベクトル、および当該注目ブロックの周囲に位置する少なくとも１つのブロックに対して検出された動きベクトルの変化度と、前記２枚の原画像の一方に含まれる、前記動きベクトルの始点に対応するブロック、および前記２枚の原画像の他方に含まれる、前記動きベクトルの終点に対応するブロックの非近似度との和を前記信頼度として算出する
請求項１に記載の画像処理装置。
【請求項５】
前記補償強度決定部は、前記動き補償強度をブロックごとに決定し、
前記補間画像生成部は、決定された動き補償強度を用いてブロックごとに動き補償処理を行うことにより、前記補間画像を生成する
請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補償強度決定部は、動き補償強度を決定する際に、隣接するブロック間における動き補償強度の差異が小さくなるように空間的なフィルタ処理を行って、前記動き補償強度を決定する
請求項５に記載の画像処理装置。
【請求項７】
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記２枚の原画像の位相のうち正規位相に近い方の位相に前記補間位相が近づくように、前記動き補償強度を決定し、
前記正規位相は、変換前のフレームレートと変換後のフレームレートとから論理的に算出される位相である
請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、画像がスクロールしている可能性を示すスクロール情報を取得し、取得したスクロール情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記補償強度決定部は、さらに、前記２枚の原画像の一部または全部の領域において、テロップが動きながら表示されている可能性を示すテロップ情報を取得し、取得したテロップ情報が示す可能性が大きいほど、決定した動き補償強度によって特定される補間位相よりも補間位相が正規位相に近づくように、動き補償強度を再決定する
請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する集積回路であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出部と、
前記動きベクトル検出部によって検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定部と、
前記補償強度決定部によって決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出部によって検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成部とを備え、
前記補償強度決定部は、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
集積回路。
【請求項１１】
入力される動画像に含まれる時間的に前後する２枚の原画像の間に内挿される補間画像を生成する画像処理方法であって、
時間的に前後する２枚の原画像間の動きベクトルをブロックごとに検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップにおいて検出された動きベクトルの信頼性を示す信頼度を算出し、算出した信頼度に応じて、生成される補間画像の位相である補間位相を特定するための動き補償強度を決定する補償強度決定ステップと、
前記補償強度決定ステップにおいて決定された動き補償強度によって特定される補間位相と、前記動きベクトル検出ステップにおいて検出された動きベクトルとを用いて、前記２枚の原画像の少なくとも一方を使用して動き補償処理を行うことにより、補間画像を生成する補間画像生成ステップとを含み、
前記補償強度決定ステップでは、算出した信頼度が示す信頼性が低いほど、前記補間位相が前記２枚の原画像の一方の位相に近づくように、前記動き補償強度を決定する
画像処理方法。
【請求項１２】
請求項１１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011067870.tif 000029
【図２】
2011067870.tif 000030
【図３】
2011067870.tif 000031
【図４】
2011067870.tif 000032
【図５】
2011067870.tif 000033
【図６】
2011067870.tif 000034
【図７】
2011067870.tif 000035
【図８】
2011067870.tif 000036
【図９Ａ】
2011067870.tif 000037
【図９Ｂ】
2011067870.tif 000038
【図１０Ａ】
2011067870.tif 000039
【図１０Ｂ】
2011067870.tif 000040
【図１１Ａ】
2011067870.tif 000041
【図１１Ｂ】
2011067870.tif 000042
【図１２】
2011067870.tif 000043
【図１３】
2011067870.tif 000044
【図１４】
2011067870.tif 000045
【図１５Ａ】
2011067870.tif 000046
【図１５Ｂ】
2011067870.tif 000047
【図１６Ａ】
2011067870.tif 000048
【図１６Ｂ】
2011067870.tif 000049
【図１７】
2011067870.tif 000050
【図１８】
2011067870.tif 000051
【図１９】
2011067870.tif 000052
【図２０Ａ】
2011067870.tif 000053
【図２０Ｂ】
2011067870.tif 000054
【国際調査報告】
2011067870.tif 000055
2011067870.tif 000056
2011067870.tif 000057
2011067870.tif 000058