(57)【要約】【課題】局所的に異なる動きベクトルが誤って検出されてしまい、動きベクトルが正しく検出できない。【解決手段】各画像部分についての前記第一の動きベクトル（ＭＶ１＝Ｖ５）と当該画像部分の周辺の画像部分についての前記第一の動きベクトル（Ｖ１〜Ｖ４，Ｖ６〜Ｖ９）との中で、各動きベクトルごとにその動きベクトル自身と他の動きベクトルとの距離の総和を計算し、該総和が最小となる動きベクトルを、第二の動きベクトル（ＭＶ２＝Ｖ’５）として出力する（３、２３）とを備える。【選択図】図４
2012088942.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームから求めた動きベクトルを用いる画像処理装置において、
第一のフレームのデータ、及び第二のフレームのデータを参照して、前記第二のフレームから前記第一のフレームへの第一の動きベクトルを算出する動きベクトル検出部と、
各画像部分についての前記第一の動きベクトルと当該画像部分の周辺の画像部分についての前記第一の動きベクトルとの中で、各動きベクトルごとにその動きベクトル自身と他の動きベクトルとの距離の総和を計算し、該総和が最小となる動きベクトルを、第二の動きベクトルとして出力する動きベクトル補正部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記複数のフレームは、時間的な前後関係にある
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のフレームは、前記第一および第二のフレームのほか、第三のフレームを含み、
前記第一のフレームは、現フレームであり、
前記第二のフレームは、前記現フレームより所定数のフレーム期間だけ遅延した第一の遅延フレームであり、
前記第三のフレームは前記第一の遅延フレームより所定数のフレーム期間だけ遅延した第二の遅延フレームであり、
前記動きベクトル検出部は、
前記第二の遅延フレームのデータと前記現フレームのデータから複数のテスト補間データを生成するテスト補間部と、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行って、複数の評価データを生成する補間データ評価部と、
前記複数の評価データに基づいて前記第一の動きベクトルを生成する動きベクトル決定部とを備える
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第二の動きベクトルを、前記第二のフレームから、前記第一のフレームと前記第二のフレームとの間に挿入する補間フレームへの第三の動きベクトルと、前記第一のフレームから前記補間フレームへの第四の動きベクトルに変換する動きベクトル変換部と、
前記第三の動きベクトルのデータ、前記第四の動きベクトルのデータ、前記第一のフレームのデータ、及び前記第二のフレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記第一のフレームのデータと前記第二のフレームのデータの間に挿入した画像データを出力する補間フレーム生成部とをさらに備える
ことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記複数のフレームは、視点が異なる画像を表すものである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記複数のフレームは、左目用画像、右目用画像を表すものである
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第二の動きベクトルを基に立体映像の左目に入る映像と右目に入る映像との視差量を調整する視差量調整部を備える
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
複数のフレームのそれぞれの画素を、拡大率及び前記第二の動きベクトルに応じて移動させ、互いに重ね合わせることで、拡大フレームを生成する拡大フレーム生成部をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
複数の画素から成るブロックごとに求めた動きベクトルを用いて、前記画素の移動を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された画像データを表示する画像表示部を備えること
を特徴とする画像表示装置。
【請求項１１】
複数のフレームから求めた動きベクトルを用いる画像処理方法において、
第一のフレームのデータ、及び第二のフレームのデータを参照して、前記第二のフレームから前記第一のフレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
各画像部分についての前記第一の動きベクトルと当該画像部分の周辺の画像部分についての前記第一の動きベクトルとの中で、各動きベクトルごとにその動きベクトル自身と他の動きベクトルとの距離の総和を計算し、該総和が最小となる動きベクトルを、第二の動きベクトルとして出力する動きベクトル補正ステップとを備える
ことを特徴とする画像処理方法。
【請求項１２】
前記複数のフレームは、時間的な前後関係にある
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記複数のフレームは、前記第一および第二のフレームのほか、第三のフレームを含み、
前記第一のフレームは、現フレームであり、
前記第二のフレームは、前記現フレームより所定数のフレーム期間だけ遅延した第一の遅延フレームであり、
前記第三のフレームは前記第一の遅延フレームより所定数のフレーム期間だけ遅延した第二の遅延フレームであり、
前記動きベクトル検出ステップは、
前記第二の遅延フレームのデータと前記現フレームのデータから複数のテスト補間データを生成するテスト補間ステップと、
前記第一の遅延フレームのデータに基づいて前記複数のテスト補間データの評価を行って、複数の評価データを生成する補間データ評価ステップと、
前記複数の評価データに基づいて前記第一の動きベクトルを生成する動きベクトル決定ステップとを備える
ことを特徴とする請求項１１又は１２に記載の画像処理方法。
【請求項１４】
前記第二の動きベクトルを、前記第二のフレームから、前記第一のフレームと前記第二のフレームとの間に挿入する補間フレームへの第三の動きベクトルと、前記第一のフレームから前記補間フレームへの第四の動きベクトルに変換する動きベクトル変換ステップと、
前記第三の動きベクトルのデータ、前記第四の動きベクトルのデータ、前記第一のフレームのデータ、及び前記第二のフレームのデータから前記補間フレームのデータを生成し、生成した補間フレームのデータを前記第一のフレームのデータと前記第二のフレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとをさらに備える
ことを特徴とする請求項１１から１３のいずれかに記載の画像処理方法。
【請求項１５】
前記複数のフレームは、視点が異なる画像を表すものである
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１６】
前記複数のフレームは、左目用画像、右目用画像を表すものである
ことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
前記第二の動きベクトルを基に立体映像の左目に入る映像と右目に入る映像との視差量を調整する視差量調整ステップを備える
ことを特徴とする請求項１６に記載の画像処理方法。
【請求項１８】
複数のフレームのそれぞれの画素を、拡大率及び前記第二の動きベクトルに応じて移動させ、互いに重ね合わせることで、拡大フレームを生成する拡大フレーム生成ステップをさらに備える
ことを特徴とする請求項１１に記載の画像処理方法。
【請求項１９】
複数の画素から成るブロックごとに求めた動きベクトルを用いて、前記画素の移動を行うことを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
請求項１１から１９のいずれかに記載の画像処理方法と、
前記画像処理方法から出力された画像データを表示する画像表示ステップを備えること
を特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理、複数の視点を持つ立体映像の視差量調整処理、複数のフレームの情報を用いる解像度変換処理で用いられる動きベクトル検出処理において検出された動きベクトルの補正に関するものである。
【背景技術】
【０００２】
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体（画像要素）が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、画像中の動きを動きベクトルとして検出し、動きベクトルに基づきフレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。
【０００３】
また、複数の視点を持つ立体映像では左目が知覚する画像、右目が知覚する画像が異なるように構成されている。このとき、左目が知覚する画像と右目が知覚する画像の対応箇所はそれぞれの画像において位置が異なり、この位置の差が視差量となり、視差量が立体映像の飛び出し量に影響を及ぼす。立体映像では、手前側への飛び出し量が大きくなりすぎるという問題がある。これに対し、左目用画像と右目用画像の対応箇所の位置の差を動きベクトルとして検出し、視差量を調整することが考えられる。
【０００４】
また、複数のフレームを用いる解像度変換処理では、画像の動きのため、フレーム間で対応箇所が整列していない場合、重ね合わせて作成した拡大フレームがぼやけてしまうという問題がある。これに対し、画像の動きを動きベクトルとして検出し、動きベクトルに基づき対応箇所を正確に重ね合わせることが考えられる。
【０００５】
従来の画像処理装置及び方法では、動きベクトル検出処理方法としてブロックマッチング法や反復勾配法が用いられている。しかし、これらの方法では局所的に異なる動きベクトルが誤って検出されてしまうことがある。
【０００６】
この改善策として、ブロックを分割しながら複数段の反復勾配法を用いて動きベクトルを決定する方法がある（例えば、特許文献１参照）。しかし、この方法における決定後のベクトルは第一段の動きベクトルの検出では検出されていなかった成分を持つ動きベクトルであり、正しく動きベクトルが検出されないため、正しく補間フレームが生成できない場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３５６７４７号公報（第４頁、段落００１１〜００１６）
【非特許文献】
【０００８】
【非特許文献１】萩原瑞木、川又政征著「位相限定相関を用いた画像のサブピクセル精度の位置ずれ検出」電子情報通信学会技術研究報告、Ｎｏ．ＣＡＳ２００１−１１、ＶＬＤ２００１−２８、ＤＳＰ２００１−３０、２００１年６月、ｐｐ．７９−８６
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の動きベクトル検出処理で用いられている画素単位の相関を検出もしくは複数の画素からなるブロック単位の相関を検出する方法だけでは、動きベクトルが正しく検出できず、その結果、正しく補間フレームが生成できないとか、立体映像表示の視差量を正しく検出できないとか、解像度変換においてぼやけの発生を抑制することができないといった問題がある。
【課題を解決するための手段】
【００１０】
本発明の一つの態様の画像処理装置は、
複数のフレームから求めた動きベクトルを用いる画像処理装置において、
第一のフレームのデータ、及び第二のフレームのデータを参照して、前記第二のフレームから前記第一のフレームへの第一の動きベクトルを算出する動きベクトル検出部と、
各画像部分についての前記第一の動きベクトルと当該画像部分の周辺の画像部分についての前記第一の動きベクトルとの中で、各動きベクトルごとにその動きベクトル自身と他の動きベクトルとの距離の総和を計算し、該総和が最小となる動きベクトルを、第二の動きベクトルとして出力する動きベクトル補正部とを備えることを特徴とする。
本発明の他の態様の画像処理方法は、
複数のフレームから求めた動きベクトルを用いる画像処理方法において、
第一のフレームのデータ、及び第二のフレームのデータを参照して、前記第二のフレームから前記第一のフレームへの第一の動きベクトルを算出する動きベクトル検出ステップと、
各画像部分についての前記第一の動きベクトルと当該画像部分の周辺の画像部分についての前記第一の動きベクトルとの中で、各動きベクトルごとにその動きベクトル自身と他の動きベクトルとの距離の総和を計算し、該総和が最小となる動きベクトルを、第二の動きベクトルとして出力する動きベクトル補正ステップとを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、局所的に異なった第一の動きベクトルを、補正対象の動きベクトルと周辺の第一の動きベクトルとで補正するので、誤って検出された動きベクトルの補正を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る画像表示装置の構成を示すブロック図である。
【図２】図１の動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部９の具体例を示すブロック図である。
【図３】図１の動きベクトル検出部２の動作を説明するための図である。
【図４】図１の動きベクトル補正部３の動作を説明するための図である。
【図５】図１の動きベクトル変換部４及び補間フレーム生成部５の動作を説明するための図である。
【図６】図１の動きベクトル検出部２の具体例に用いる画像データと現フレームのデータと、第一の遅延フレームのデータと、第二の遅延フレームのデータの対応関係を説明するための図である。
【図７】（ａ）〜（ｄ）は、図１の動きベクトル検出部２の動作の具体例１を説明するための図である。
【図８】図１の動きベクトル検出部２の動作の具体例２を説明するための図である。
【図９】図１の動きベクトル補正部３の動作の具体例を説明するための図である。
【図１０】図1の動きベクトル変換部４の動作の具体例を説明するための図である。
【図１１】図１の補間フレーム生成部５の動作の具体例を説明するための図である。
【図１２】実施の形態１に係る画像表示装置の処理工程を示すフローチャートである。
【図１３】本発明の実施の形態２に係る画像表示装置の構成を示すブロック図である。
【図１４】（ａ）及び（ｂ）は、図１３の調整画像生成部２５の動作を説明するための図である。
【図１５】画像調整前の視差ｄ１、Ｔ２と、調整後の視差ｄ２の関係を示す図である。
【図１６】図１４の調整画像生成部２５の処理工程を示すフローチャートである。
【図１７】本発明の実施の形態３に係る画像表示装置の構成を示すブロック図である。
【図１８】図１７の動きベクトル検出部３２の動作を説明するための図である。
【図１９】図１７の解像度拡張画像生成部３４の動作を説明するための図である。
【図２０】図１７の画像表示装置の処理工程を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームＦ０のデータと現フレームＦ０の１フレーム前のフレームＦ１のデータである第一の遅延フレームとの間に新たな補間フレームＩＦのデータを挿入するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。
【００１４】
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、フレームメモリ１と、動きベクトル検出部２と、動きベクトル補正部３と、動きベクトル変換部４と、補間フレーム生成部５と、画像表示部６を備える。
【００１５】
画像データＦ０が、フレームメモリ１、動きベクトル検出部２、及び補間フレーム生成部５に入力される。
フレームメモリ１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。以下、画像データＦ０を現フレームのデータ、画像データＦ１を第一の遅延フレームのデータ、画像データＦ２を第二の遅延フレームのデータと言う。また、現フレーム、第一の遅延フレーム、第二の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。第一の遅延フレームＦ１は、現フレームＦ０よりも時間的に１フレーム期間前のフレームであり、第二の遅延フレームＦ２は、現フレームＦ０よりも時間的に２フレーム期間前のフレームである。
【００１６】
第一の遅延フレームＦ１のデータは動きベクトル検出部２と補間フレーム生成部５に入力され、第二の遅延フレームＦ２のデータは動きベクトル検出部２に入力される。
【００１７】
動きベクトル検出部２は、現フレームＦ０のデータと、第一の遅延フレームＦ１のデータと、第二の遅延フレームＦ２のデータを参照して、第一の遅延フレームＦ１上の画像の各部分、例えば複数の画素から成るブロックについて、第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を算出して、動きベクトル補正部３に出力する。
【００１８】
動きベクトル補正部３は、各ブロックの第一の動きベクトルＭＶ１を、周囲のブロックの第一の動きベクトルＭＶ１を基に補正して第二の動きベクトルＭＶ２を算出し、動きベクトル変換部４に出力する。
【００１９】
動きベクトル変換部４は、第二の動きベクトルＭＶ２を、第一の遅延フレームＦ１から補間フレームＩＦへの第三の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第四の動きベクトルＭＶ４に変換して、補間フレーム生成部５に出力する。
【００２０】
補間フレーム生成部５は、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第三の動きベクトルＭＶ３及び第四の動きベクトルＭＶ４から、現フレームＦ０と第一の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部６に出力する。
画像表示部６は、画像データＤＯを表示する。
【００２１】
次に、動きベクトル検出部２の構成について詳細に説明する。
動きベクトル検出部２は、異なるフレームの画素値をブロック毎に比較することにより動きベクトルを検出する（例えばブロックマッチング法或いは反復勾配法により動きベクトルを検出する）ものであり、現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、第二遅延フレームブロック切り出し部１２、テスト補間部７、補間データ評価部８、及び動きベクトル決定部９を備える。
【００２２】
現フレームブロック切り出し部１０、第一遅延フレームブロック切り出し部１１、及び第二遅延フレームブロック切り出し部１２は、それぞれ、画面の一部を成すブロックを切り出し、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現フレームＦ０から切り出されるブロックと、第一の遅延フレームＦ１から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックは、縦方向のサイズ（画素数）Ｈ１及び横方向のサイズ（画素数乃至ライン数）Ｗ１が互いに等しい。
【００２３】
現フレームブロック切り出し部１０は、現フレームＦ０からブロックを切り出し、第一遅延フレームブロック切り出し部１１は、第一の遅延フレームＦ１からブロックを切り出し、第二遅延フレームブロック切り出し部１２は、第二の遅延フレームＦ２からブロックを切り出す。
【００２４】
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロックに対応する第一の遅延フレームＦ１内の一つのブロックと、現フレームＦ０内の複数のブロックと、第二の遅延フレームＦ２内の複数のブロックが切り出される。現フレームＦ０から切り出されるブロックと、第二の遅延フレームＦ２から切り出されるブロックとは、第一の遅延フレームＦ１内のブロック（厳密には、その中心位置）を中心として点対称の位置にあるもので、これらが対として用いられる。即ち、現フレームブロック切り出し部１０及び第二遅延フレームブロック切り出し部１２は、第一の遅延フレームＦ１内のブロックを中心とし、一方が現フレームＦ０内に位置し、他方が第二の遅延フレームＦ２内に位置するブロックの対を複数個切り出す。
【００２５】
現フレームＦ０及び第二の遅延フレームＦ２からのブロックの対は、動きベクトル検出部２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第一の遅延フレームＦ１内の一つのブロックの中心位置を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第二の遅延フレームＦ２及び現フレームＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
【００２６】
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。
【００２７】
以下では、現フレームＦ０及び第二の遅延フレームＦ２から切り出されるブロックの数をＭとし、現フレームＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第二の遅延フレームＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。
【００２８】
第二の遅延フレームＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現フレームＦ０内の第ｍのブロックＦ０Ｂｍとは、第二の遅延フレームＦ１内のブロックＦ１Ｂ１（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２ＢｍのブロックＦ１Ｂ１に対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０ＢｍのブロックＦ１Ｂ１に対する横方向のずれは−ｈ、縦方向のずれは−ｖである。
【００２９】
現フレームブロック切り出し部１０は、現フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第一遅延フレームブロック切り出し部１１は、第一の遅延フレーム内のブロックＦ１Ｂ１を切り出す。このブロックＦ１Ｂ１は、補間フレームＩＦ内の補間対象ブロックに対応するものである。
第二遅延フレームブロック切り出し部１２は、第二の遅延フレーム内の複数の、即ち第一乃至第Ｍのブロックを切り出して、第一乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
【００３０】
現フレームＦ０のブロックデータと第二の遅延フレームＦ２のブロックデータが、テスト補間部７に入力される。テスト補間部７は、第二の遅延フレームＦ２のブロックデータと現フレームＦ０のブロックデータのうち、第一の遅延フレームＦ１内のブロックＦ１Ｂ１を中心として、互いに点対称の位置にある第一の遅延フレームＦ１内のブロックと、現フレームＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心位置、即ち上記第一の遅延フレームＦ１内のブロックＦ１Ｂ１のデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、ブロックＦ１Ｂ１のデータとの相関が高いものとなる。
【００３１】
補間データ評価部８は、第一の遅延フレームＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部９に出力する。この評価においては、テスト補間データと、第一の遅延フレームＦ１のブロックデータとの相関を求め、相関が高いほど高い評価が与えられる。
【００３２】
動きベクトル決定部９は、評価データＥＤに基づいて第一の動きベクトルＭＶ１を生成して出力する。
【００３３】
次に、図２を参照して動きベクトル検出部２のテスト補間部７、補間データ評価部８及び動きベクトル決定部９の具体例についてさらに詳しく説明する。
【００３４】
テスト補間部７は、複数の、即ち第一乃至第Ｍのテスト補間データ生成部７−１〜７−Ｍを備え、補間データ評価部８は複数の、即ち第一乃至第Ｍの差分絶対値和算出部８−１〜８−Ｍを備えるものとして図示されている。
【００３５】
テスト補間データ生成部７−１〜７−Ｍは、現フレームＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第二の遅延フレームＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータをテスト補間データＴＤ1〜ＴＤＭとして算出する。図１には、テスト補間データＴＤ１〜ＴＤＭの集合が符号ＴＤで表されている。
【００３６】
以下、より詳しく説明する。
現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１がテスト補間データ生成部７−１に入力される。
【００３７】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１の画素ごとの平均値を第一のテスト補間データＴＤ１として差分絶対値和算出部８−１に出力する。ここで画素ごとの平均値とは、現フレームＦ０内のブロックにおける各画素と、第二の遅延フレーム内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
【００３８】
同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２がテスト補間データ生成部７−２に入力される。テスト補間データ生成部７−２は、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２の画素ごとの平均値を第二のテスト補間データＴＤ２として差分絶対値和算出部８−２に出力する。
【００３９】
テスト補間データ生成部７−３〜７−Ｍも同様に現フレームＦ０の第三のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第二の遅延フレームＦ２の第三のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第三のテスト補間データＴＤ３乃至第Ｍのテスト補間データＴＤＭを生成し、差分絶対値和算出部８−３〜８−Ｍに出力する。
【００４０】
一般化して言えば、テスト補間データ生成部７−ｍは、現フレームＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第二の遅延フレームＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて第ｍのテスト補間データＴＤｍを生成し、差分絶対値和算出部８−ｍに出力する。
【００４１】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１が補間データ評価部８内の差分絶対値和算出部８−１〜８−ｍに入力される。
【００４２】
差分絶対値和算出部８−１〜８−Ｍは、それぞれテスト補間データ生成部７から出力されるテスト補間データＴＤ１〜ＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ１〜ＥＤＭとして出力する。
【００４３】
差分絶対値和算出部８−１は、第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値の和を算出し、評価データＥＤ１として動きベクトル決定部９に出力する。差分絶対値和は式（１）により表される。
【００４４】
【数１】
2012088942.tif 000003
【００４５】
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が高いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。
【００４６】
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤ１を構成する各画素のデータ、ＢＫ２をブロックＦ１Ｂ１内の各画素のデータとすると式（１）は第一のテスト補間データＴＤ１の各画素のデータと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の各画素のデータの差分絶対値和となり、差分絶対値和ＳＡＤが評価データＥＤ１として差分絶対値和算出部８−１から出力される。
【００４７】
差分絶対値和算出部８−２〜８−Ｍも同様に、第二のテスト補間データＴＤ２乃至第ｍのテスト補間データＴＤＭと第一の遅延フレームＦ１のブロックデータＦ１Ｂ１の差分絶対値和を算出し、評価データＥＤ２〜ＥＤＭとして動きベクトル決定部９に出力する。
【００４８】
動きベクトル決定部９は、評価データＥＤ１〜ＥＤＭのうち最も評価の高い評価データ(最も小さい差分絶対値和)に対応するブロック対を構成する現フレームＦ０のブロックと第二の遅延フレームＦ２のブロックとの位置の差（第二の遅延フレームＦ２内のブロックに対する現フレームＦ０内のブロックの相対位置）の１／２を動きベクトルＭＶ１として出力する。
【００４９】
図３は、動きベクトル検出部２の動作を説明するための図である。Ｍ＝２の場合について説明する。
第一の遅延フレームＦ１の一部の領域が第一の遅延フレームＦ１のブロックデータＦ１Ｂ１として切り出されている。
【００５０】
第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−ＶＢ１ずらした位置に対応する領域が第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋ＶＢ１ずらした位置に対応する領域が現フレームＦ０の第一のブロックデータＦ０Ｂ１として設定されて切り出される。
【００５１】
また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１に対してベクトル−ＶＢ２ずらした位置に対応する領域が第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２として設定されて切り出され、ベクトル＋ＶＢ２ずらした位置に対応する領域が現フレームＦ０の第二のブロックデータＦ０Ｂ２として設定されて切り出される。
【００５２】
テスト補間データ生成部７−１は、現フレームＦ０の第一のブロックデータＦ０Ｂ１と第二の遅延フレームＦ２の第一のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤ１を生成する。
テスト補間データ生成部７−２も同様に、現フレームＦ０の第二のブロックデータＦ０Ｂ２と第二の遅延フレームＦ２の第二のブロックデータＦ２Ｂ２を画素ごとに平均してテスト補間データＴＤ２を生成する。
【００５３】
差分絶対値和算出部８−１は、テスト補間データＴＤ１と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ１として出力する。
【００５４】
差分絶対値和算出部８−２も同様に、テスト補間データＴＤ２と第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤ２として出力する。
【００５５】
動きベクトル決定部９は、評価データＥＤ１及びＥＤ２のうち値が小さい方を生じさせたブロック対を構成するブロックについての上記のずれ（＋ＶＢ１又は＋Ｖ２）を、動きベクトルＭＶ１として出力する。例えば、評価データＥＤ２より評価データＥＤ１の方が小さい場合、ベクトルＶＢ１を動きベクトルＭＶ１として出力する。
【００５６】
図３では、２つのベクトルから第一の動きベクトルを決定する方法について説明したが、本発明に係る実施の形態の構成はＭ＝２に限定されない。即ち、候補としてのベクトルを３個以上設定しても良い。例えば、第一の遅延フレーム内のブロックＦ１Ｂ１に対して、所定の動き量に対応する探索範囲内に位置する第二の遅延フレーム内のすべてのブロック及びこれと点対称位置にある現フレーム内のブロックについてのテスト補間を行うこととしても良い。
【００５７】
動きベクトル検出部２では、上記のように実在のデータである第二遅延フレームＦ１内のデータを用いてベクトルの候補を評価することにより動きベクトルを決定しているので現フレームＦ０から第一の遅延フレームＦ１への動きベクトルを精度良く算出することができる。
【００５８】
なお、補間データ評価部８では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。
【００５９】
次に図４(ａ）〜（ｃ）を参照して、動きベクトル補正部３の動作について説明する。
図４（ａ）〜（ｃ）は、動きベクトル補正部３の動作について説明した図である。図４（ａ）は補正前の第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルを示した図、図４（ｂ）は動きベクトルの補正について示した図、図４（ｃ）は補正後の第一の遅延フレームＦ１から現フレームＦ０への動きベクトルを示した図である。
【００６０】
動きベクトル補正部３は、補正対象ブロックの第一の動きベクトルＭＶ１を、当該補正対象ブロックの第一の動きベクトルＭＶ１、およびその周囲のブロックの第一の動きベクトルＭＶ１によって補正し、補正結果を第二の動きベクトルＭＶ２として出力する。
【００６１】
図４（ａ）では、補正対象ブロックを中心とする３×３、即ち９つのブロックでそれぞれ第一の動きベクトルＭＶ１として動きベクトルＶ１〜Ｖ９が検出されている。中心となるブロックで検出された動きベクトルＶ５は、横方向のずれが２、縦方向のずれが−７で検出されたとする。また、中心ブロックの周囲のブロックの動きベクトルＶ１〜Ｖ４およびＶ６〜Ｖ９は、その各々において横方向のずれが４、縦方向のずれが０であると検出されたとする。
【００６２】
図４（ｂ）では、９つのブロックの中心となるブロックで検出された動きベクトルＶ５を補正している。まず、各動きベクトルＶ１〜Ｖ９の各々について、他の動きベクトルとの距離の総和を求める。
【００６３】
例えば、Ｖ１について、Ｖ２からＶ９の各々との距離を計算し総和Ｓｄ（Ｖ，Ｖ１）を求める。その総和を求める演算は下記の式（２−１）で表される。
Ｓｄ（Ｖ，Ｖ１）
＝ｄ（Ｖ２，Ｖ１）＋ｄ（Ｖ３，Ｖ１）＋ｄ（Ｖ４，Ｖ１）＋ｄ（Ｖ５，Ｖ１）＋ｄ（Ｖ６，Ｖ１）＋ｄ（Ｖ７，Ｖ１）＋ｄ（Ｖ８，Ｖ１）＋ｄ（Ｖ９，Ｖ１）    …（２−１）
但し、ｄ（ｘ，ｙ）は、ｘとｙの距離を表す。
【００６４】
同様に、Ｖ２について、Ｖ１、Ｖ３〜Ｖ９の各々との距離を計算し総和Ｓｄ（Ｖ，Ｖ２）を求める。その総和を求める演算は下記の式（２−２）で表される。
Ｓｄ（Ｖ，Ｖ２）
＝ｄ（Ｖ１，Ｖ２）＋ｄ（Ｖ３，Ｖ２）＋ｄ（Ｖ４，Ｖ２）＋ｄ（Ｖ５，Ｖ２）＋ｄ（Ｖ６，Ｖ２）＋ｄ（Ｖ７，Ｖ２）＋ｄ（Ｖ８，Ｖ２）＋ｄ（Ｖ９，Ｖ２）    …（２−２）
【００６５】
Ｖ３〜Ｖ９についても同様に距離の総和Ｓｄ（Ｖ，Ｖ３）〜Ｓｄ(Ｖ，Ｖ９)を求める。
距離の総和を求める演算は、一般化すれば下記の式（２）で表される。
【数２】
2012088942.tif 000004
上式（２）において、
ｄ（Ｖ，Ｖｎ）は、ＶとＶｎの距離を表し、
Ｖｎは、Ｖ１〜Ｖ９（ｎ＝１〜９）のいずれかであり、
ＭＶ１は、フレームＦ１からフレームＦ０への動きベクトル（第１の動きベクトル）であり、
式（２）は、Ｖ∈ＭＶ１を満たし、かつＶｎ以外のすべてのＶの各々と、Ｖｎとの距離ｄ（Ｖ，Ｖｎ）の総和を求めることを意味する。
【００６６】
式（２）の総和Ｓｄ（Ｖ，Ｖｎ）を、Ｖ１〜Ｖ９の全てについて求める（ｎ＝１〜９の各々について求める）。そして、求めた９つの総和Ｓｄ（Ｖ，Ｖｎ）（ｎ＝１〜９）のうちの最小値ＭｉｎＳｄ（Ｖ，Ｖｎ）を生じさせる（距離の総和Ｓｄ（Ｖ，Ｖｎ）が最小値となる）動きベクトルＶｎ（ｎは１〜９のうちのいずれか）を、動きベクトルＶ５の補正値（補正された動きベクトル）Ｖ’５として出力する。例えば、Ｓｄ（Ｖ，Ｖ１）が最小値ＭｉｎＳｄ（Ｖ，Ｖｎ）である場合、Ｖ１を補正された動きベクトルＶ’５として出力する。
【００６７】
図示の例では、Ｖ１〜Ｖ４およびＶ６〜Ｖ９の成分は（４，０）、Ｖ５の成分は（２、−７）なので、距離としてユークリッド距離（直線距離）の二乗を用いると、
Ｖ１〜Ｖ４およびＶ６〜Ｖ９の各々と他の動きベクトルとの距離の総和は５３、
Ｖ５とＶ５以外（Ｖ１〜Ｖ４、Ｖ６〜Ｖ９）との距離の総和は４２４となる。
即ち、
ＭｉｎＳｄ（Ｖ，Ｖｎ）＝Ｓｄ（Ｖ，Ｖ１）＝Ｓｄ（Ｖ，Ｖ２）＝Ｓｄ（Ｖ，Ｖ３）＝Ｓｄ（Ｖ，Ｖ４）＝Ｓｄ（Ｖ，Ｖ６）＝Ｓｄ（Ｖ，Ｖ７）＝Ｓｄ（Ｖ，Ｖ８）＝Ｓｄ（Ｖ，Ｖ９）＝５３
であり、一方、
Ｓｄ（Ｖ，Ｖ５）＝４２４
である。従って、
Ｖ１＝Ｖ２＝Ｖ３＝Ｖ４＝Ｖ６＝Ｖ７＝Ｖ８＝Ｖ９の成分（４，０）を、補正後の動きベクトルＶ’５の成分として出力する。
【００６８】
図４（ｃ）では、周囲の動きベクトルによって補正された動きベクトルＶ’５を第二の動きベクトルとして出力している。
【００６９】
なお、上記の例では、補正対象ブロックを中心とする３×３個のブロックについての動きベクトル（補正対象ブロックとその周囲の８個のブロックについての動きベクトル）を用いて補正対象ブロックについての動きベクトルの補正を行っているが、補正対象ブロックを中心とする５×５個のブロックについての動きベクトル（補正対象ブロックとその周囲の２４個のブロック）についての動きベクトルを用いて補正対象ブロックについての動きベクトルの補正を行っても良く、水平方向に並んだ複数のブロックについての動きベクトルに基づいて補正を行っても良い。要するに、補正対象ブロックの周囲のブロックについて動きベクトルを用い、それらの間の距離に基づいて補正を行うこととすれば良い。
【００７０】
本実施の形態では、動きベクトルの検出を複数の画素からなるブロックごとに行っているが、代わりに、画素ごとに動きベクトルを検出し、画素ごとの動きベクトル間の距離に基づいて補正を行うこととしてもよい。画素ごとの動きベクトルを求める場合にも、例えば、各画素を中心とする所定の領域内の画素の比較し、その結果に基づいて動きベクトルの検出を行い、上記と同様に動きベクトルの補正を行うことができる。
【００７１】
本実施の形態では、動きベクトル同士の距離としてユークリッド距離の二乗を用いた。これ以外にもユークリッド距離自体や、２つの動きベクトルの水平方向成分（ｈ成分）同士の絶対差と垂直方向成分（ｖ成分）同士の絶対差との和を距離として用いてもよい。
【００７２】
次に、図５を参照して、動きベクトル変換部４及び補間フレーム生成部５の動作についてより詳細に説明する。
【００７３】
動きベクトル変換部４は、補正された第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ２を、第一の遅延フレームＦ１から補間フレームＩＦへの第三の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第四の動きベクトルＭＶ４に変換する。
【００７４】
図５に示すように入力フレームの時間間隔をｔ１、第一の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、式（３Ａ）及び式（３Ｂ）により動きベクトルＭＶ３及びＭＶ４を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。
【００７５】
ＭＶ３＝ＭＶ２×ｔ２／ｔ１      …（３Ａ）
ＭＶ４＝−ＭＶ２×（ｔ１−ｔ２）／ｔ１      …（３Ｂ）
【００７６】
このような変換は、補正された第一の遅延フレームＦ１から現フレームＦ０へのベクトルＭＶ２を、第一の遅延フレームＦ１と補間フレームＩＦと現フレームＦ０との時間間隔（ｔ２、ｔ１−ｔ２）に応じて内分する処理を用いた変換であると言える。
【００７７】
このようにして第三及び第四のベクトルＭＶ３及びＭＶ４を求めたら、図５に示すように補間フレームＩＦからベクトル−ＭＶ３の位置の第一の遅延フレームＦ１のデータ（ブロックＦ１Ｂ１内のデータ）と補間フレームＩＦからベクトル−ＭＶ４の位置の現フレームＦ０のデータ（ブロックＦ０Ｂ１内のデータ）の平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第一の遅延フレームＦ１のデータと現フレームＦ０のデータ間に内挿して出力する。このとき、補間に用いられる第一の遅延フレームＦ１のブロックデータＦ１Ｂ１と、現フレームＦ０のブロックデータＦ０Ｂ１とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。
【００７８】
図６は、動きベクトル検出部２の動作の具体例に用いる現フレームＦ０のデータ、第一の遅延フレームＦ１のデータ、第二の遅延フレームＦ２のデータの対応関係を説明するための図である。図６に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図６に示す映像においては、黒色の星ＳＣおよび星ＳＣを取り囲む大丸ＬＣが時間とともに左から右へ移動しており、星ＳＡ、ＳＢおよび黒色の丸ＢＣは移動しない。
【００７９】
動きベクトル検出部２の動作については２つの具体例で説明する。具体例１では大丸ＬＣの上向きの弧ＡＢについて第一の動きベクトルを検出し、具体例２では大丸ＬＣに囲まれた星ＳＣについて第一の動きベクトルを検出する。
【００８０】
図７（ａ）〜（ｄ）は、動きベクトル検出部２の動作の具体例１を説明するための図である。図７（ａ）は動きベクトル検出部２に入力される画像データの具体例を説明するための図である。図７（ｂ）〜（ｄ）はテスト補間部７及び補間データ評価部８の動作を説明するための図である。
【００８１】
図７（ａ）に示すような第二の遅延フレームＦ２のデータ、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータを入力とした場合の動きベクトル検出部２の動作を説明する。
【００８２】
テスト補間部７では、動きベクトルごとにテスト補間データを生成する。図７（ｂ）に示すように第一の遅延フレームＦ１の一部の領域を第一の遅延フレームＦ１のブロックデータＦ１Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−ＶＢ１ずらした位置の第二の遅延フレームＦ２のブロックデータを第一のブロックデータＦ２Ｂ１とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶＢ１ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ１とする。また、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１から−ＶＢ２ずらした位置の第二の遅延フレームＦ２のブロックデータをブロックデータＦ２Ｂ２とし、第一の遅延フレームＦ１のブロックデータＦ１Ｂ１からＶＢ２ずらした位置の現フレームＦ０のブロックデータをブロックデータＦ０Ｂ２とする。
【００８３】
図７（ｃ）に示すように、ブロックデータＦ２Ｂ１とブロックデータＦ０Ｂ１から画素ごとの平均をテスト補間データＴＤ１として生成する。図７（ｃ）には、テスト補間データＴＤ１で表される画像に大丸ＬＣの上向きの弧ＡＢＩが含まれることを示す。同様に、図７（ｄ）に示すようにブロックデータＦ２Ｂ２とブロックデータＦ０Ｂ２から画素ごとの平均をテスト補間データＴＤ２として生成する。
【００８４】
補間データ評価部８では、図７（ｃ）、（ｄ）に示すようなテスト補間データＴＤ１、ＴＤ２のそれぞれとブロックデータＦ１Ｂ１との差分絶対値和を算出し、評価データＥＤ１、ＥＤ２を出力する。図７（ａ）〜（ｄ）の具体例では、テスト補間データＴＤ１で表される画像が大丸ＬＣの弧ＡＢを含み、ブロックＦ１Ｂ１との差分絶対値和が一番小さくなるので評価データＥＤ１が一番小さくなる。
【００８５】
動きベクトル決定部９では、評価データＥＤ１、ＥＤ２のうち一番小さい評価データＥＤ１に対応した動きベクトルＶＢ１がブロックデータＦ１Ｂ１の動きベクトルとして出力される。
【００８６】
第一の遅延フレームＦ１についてもれなく（隙間なく）ブロックを設定し動きベクトルを算出することで第一の遅延フレームＦ１のすべての部分について第一の動きベクトルＭＶ１が生成される。即ち、第一の遅延フレームＦ１を、複数の、例えば互いに等しい大きさのブロックに分割し、各ブロックについて上記の処理を行うことで、当該ブロックについての第一の動きベクトルＭＶ１を生成し、当該ブロックに対応する位置、例えば同じ位置にある、補間フレーム内のブロックについて、上記第一の動きベクトルを用いた変換を行うことで、第二及び第三の動きベクトルを求めることとしても良い。
【００８７】
また、第一の遅延フレーム内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第一の動きベクトルＭＶ１を生成し、当該画素に対応する位置、例えば同じ位置にある、補間フレーム内の画素について、上記第一の動きベクトルを用いた補正を行うことで、第二の動きベクトルを求めることとしても良い。
【００８８】
図８（ａ）〜（ｄ）は、動きベクトル算出部２の動作の具体例２を説明するための図である。図８（ａ）は動きベクトル検出部２に入力される画像データの具体例を説明するための図である。図８（ｂ）〜（ｄ）はテスト補間部７及び補間データ評価部８の動作を説明するための図である。
【００８９】
具体例２では具体例１と同様に、ブロックデータＦ２Ｂ１とブロックデータＦ０Ｂ１から画素ごとの平均をテスト補間データＴＤ１として生成する（図８（ｃ））。また、ブロックデータＦ２Ｂ２とブロックデータＦ０Ｂ２から画素ごとの平均をテスト補間データＴＤ２として生成する（図８（ｄ））。
【００９０】
このときテスト補間データＴＤ１とテスト補間データＴＤ２は双方とも「星」を含む。そのためＴＤ１とＦ１Ｂ１との差分絶対値和ＳＡＤ１と、ＴＤ２とＦ１Ｂ１との差分絶対値和ＳＡＤ２とが同じとなる。実際の映像では背景やノイズなどの影響によりＳＡＤ１とＳＡＤ２のいずれか一方がより小さくなるので、より小さい方を選択する。また、ＳＡＤの値が同じ場合には、絶対値のより小さい動きベクトルを優先することで、動きベクトルとしてＶＢ１もしくはＶＢ２のどちらかが選ばれる。ＶＢ２が選ばれる場合、その周囲のブロック（大丸ＬＣの弧を含むブロック）について検出された動きベクトルとは異なる動きベクトルが検出されたことになる。即ち、局所的に異なる動きベクトルが検出されたことになり、誤検出である可能性が高い。そこで、このような場合には、動きベクトル補正部３により、動きベクトルの補正を行う。
【００９１】
図９（ａ）〜（ｃ）は、動きベクトル補正部３の動作の具体例を説明するための図である。図９（ａ）は動きベクトル補正部３に入力される画像データの具体例を説明するための図である。図９（ｂ）は動きベクトル補正部３の動作を説明するための図である。図９（ｃ）は動きベクトル補正部３の出力結果を説明するための図である。
【００９２】
図９（ａ）に示すように、第一の遅延フレームＦ１と現在のフレームＦ０との間に左上から弧ＡＡ〜弧ＡＨで構成される３×３ブロックの大丸ＬＣと大丸ＬＣに囲まれた星ＳＣが水平方向に同量動いているにも関わらず、大丸ＬＣに囲まれた星ＳＣが大丸の弧ＡＡの動きベクトルの成分とは異なる成分を持つ動きベクトルとして検出されている。
図９（ａ）では、大丸ＬＣの８つの弧をそれぞれ含むブロックの動きベクトルをＶ１〜Ｖ４、Ｖ６〜Ｖ９として、横方向のずれが３、縦方向のずれが０で検出されたとする。また、大丸ＬＣに囲まれた星ＳＣの動きベクトルをＶ５として、横方向のずれが１、縦方向のずれが−２で検出されたとしている。
【００９３】
動きベクトル補正部３で動きベクトルＶ５を補正する動作について、図９（ｂ）を用いて説明する。図９（ｂ）では、動きベクトルＶ５とその周囲の動きベクトルＶ１〜Ｖ４、Ｖ６〜Ｖ９について、各動きベクトルと他の動きベクトルとの距離の総和Ｓｄ（Ｖ，Ｖｎ）を計算する。そして距離の総和Ｓｄ（Ｖ，Ｖｎ）が最小となるベクトル（Ｖｎ）の成分を補正後の動きベクトルＭ’５の成分として出力する。
【００９４】
図示の例では、Ｖ５の成分が（１，−２）、周囲の動きベクトルの成分が（３，０）であるので、各動きベクトルと他の動きベクトルとの距離の総和は、距離をユークリッド距離の二乗とすると、Ｖ５で６４、Ｖ１〜Ｖ４およびＶ６〜Ｖ９で８となる。そこで距離の総和が最小となるベクトル（Ｖ１〜Ｖ４、Ｖ６〜Ｖ９）の成分（３，０）を持つ動きベクトルＶ’５をＶ５の補正結果として出力する。
【００９５】
図９（ｃ）に示すように出力される大丸ＬＣに囲まれた星ＳＣの修正後の動きベクトルは大丸ＬＣの各弧ＡＡ〜ＡＨを含むブロックと同じ成分を持つ。
【００９６】
図１０（ａ）及び（ｂ）は、動きベクトル変換部４の動作の具体例を説明するための図である。図１０（ａ）は動きベクトル変換部４の入力、図１０（ｂ）は動きベクトル変換部４の出力を示す。
【００９７】
動きベクトル変換部４は、図１０（ａ）に示される、第一の遅延フレームＦ１から現フレームＦ０への動きベクトルＭＶ２に対して式（３Ａ）及び式（３Ｂ）を用いて、さらに、ｔ２＝ｔ１／２として、図１０（ｂ）に示される、第一の遅延フレームＦ１から補間フレームＩＦへの第三の動きベクトルＭＶ３と現フレームＦ０から補間フレームＩＦへの第四の動きベクトルＭＶ４に変換する。図１０（ａ）及び（ｂ）に示す具体例では、ＭＶ２はＶ１、ｔ１は１／６０秒、ｔ２は１／１２０秒なので、式（３Ａ）及び式（３Ｂ）よりＭＶ３はＶ１／２、ＭＶ４は−Ｖ１／２となる。
【００９８】
図１１は、補間フレーム生成部５の動作の具体例を説明するための図である。図１１に示すように補間フレームＩＦから−ＭＶ２動かした位置の第一の遅延フレームＦ１のデータと−ＭＶ３動かした位置の現フレームＦ０のデータの平均を補間フレームＩＦのデータとして算出する。生成した補間フレームＩＦを第一の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
【００９９】
図１１には、第一の遅延フレームＦ１の丸ＢＣ１と現フレームＦ０の丸ＢＣ０により生成された丸ＢＣＩと、第一の遅延フレームＦ１の星ＳＡ１と現フレームＦ０の星ＳＡ０により生成された星ＳＡＩと、第一の遅延フレームＦ１の星ＳＢ１と現フレームＦ０の星ＳＢ０により生成された星ＳＢＩと、第一の遅延フレームＦ１の星ＳＣ１と現フレームＦ０の星ＳＣ０により生成された星ＳＣＩと、第一の遅延フレームＦ１の大丸の弧ＡＡ１〜ＡＨ１と現フレームＦ０の大丸の弧ＡＡ０〜ＡＨ０により生成された大丸の弧ＡＡＩ〜ＡＨＩとが補間フレームＩＦに含まれることが示されている。
【０１００】
以上より、本実施の形態では、補正対象の動きベクトルが局所的に異なる場合、周辺のブロックの動きベクトルのいずれかで置き換えることとし、また、いずれのブロックの動きベクトルで置き換えるかを、当該補正対象の動きベクトルと周辺のブロックの動きベクトルに基づいて定めるので、正確な動きベクトルを求めることができる。
【０１０１】
また、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。
【０１０２】
図１２は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【０１０３】
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第一の遅延フレームＦ１から現フレームＦ０への第一の動きベクトルＭＶ１を生成する。この動作は、動きベクトル検出部２と同等である。
【０１０４】
動きベクトル補正ステップＳＴ２では、各ブロックの第一の動きベクトルＭＶ１を、周囲のブロックの第一の動きベクトルＭＶ１を基に補正して、第二の動きベクトルＭＶ２を算出する。この動作は動きベクトル補正部３と同等である。
【０１０５】
動きベクトル変換ステップＳＴ３では、第二の動きベクトルＭＶ２を、第一の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第一の遅延フレームＦ１の間に挿入される）への第三の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第四の動きベクトルＭＶ４に変換する。この動作は、動きベクトル変換部４と同等である。
【０１０６】
補間フレーム生成ステップＳＴ４では、第一の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第三の動きベクトルＭＶ３及び第四の動きベクトルＭＶ４から補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第一の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、補間フレーム生成部５と同等である。
【０１０７】
図１２を参照して行った説明から理解されるように、図１の画像処理装置の一部、特に動きベクトル検出部２、動きベクトル補正部３、動きベクトル変換部４、及び補間フレーム生成部５は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
【０１０８】
上記の例では、現フレームＦ０と第一の遅延フレームＦ１の時間的隔たり、並びに第一の遅延フレームＦ１と第二の遅延フレームＦ２との時間的隔たりが、１フレーム期間であるが、第一の遅延フレームＦ１と現フレームＦ０の時間的隔たり、及び第二の遅延フレームＦ２と第一の遅延フレームＦ１との時間的隔たりは、１フレーム期間に限らず、所定の複数のフレーム期間であっても良い。
【０１０９】
また、上記の例では、現フレームＦ０のデータ及び第一の遅延フレームＦ１のデータに基づいて第一の動きベクトルＭＶ１を求めているが、第二の遅延フレームＦ２のデータをも参照して、第一の動きベクトルＭＶ１を求めるようにしても良い。
【０１１０】
実施の形態１によれば、補正対象ブロックの第一の動きベクトルが局所的に異なる（その周辺のブロックと異なる）場合に、補正対象ブロックの第一の動きベクトルを、その周辺のブロックの第一の動きベクトルを用いて補正する。補正の際、補正対象ブロックの周辺のブロックのうちの所定の条件を満たすものの動きベクトル（の成分）を補正対象ブロックの動きベクトル（の成分）として用いる。これにより、正確な動きベクトルを得ることができる。
【０１１１】
実施の形態１によれば、補正により正確な動きベクトルを求めることができるので、補間フレームを正確に作成することができる。
【０１１２】
実施の形態２．
上記の実施の形態１は、時間的に前後の関係にある複数のフレーム間での動きベクトルの検出処理を行うものであるが、本発明は、以下に実施の形態２で説明するように、複数の視点を持つ立体映像の視差量調整処理における動きベクトル検出処理に適用することもできる。
【０１１３】
図１３は、本発明の実施の形態２に係る立体画像を表示する画像表示装置２０の構成を示す図である。図示の画像表示装置２０は、画像処理装置２１と、画像表示部２６とを備える。画像処理装置２１は、視差算出部２２と、視差補正部２３と、視差調整量算出部２４と、調整画像生成部２５を備える。
【０１１４】
立体映像表示装置においては、左眼用画像と右眼目用画像との一対の画像が連続したもので動画を構成する。左眼用画像入力データＤａ１は左眼用画像の生成に用いられ、右眼用画像入力データＤｂ１は右眼用画像の生成に用いられる。例えばテレビ受像機に実施の形態２に係る発明を適用する場合であれば、デコーダが放送信号を復号するが、その復号された映像信号が左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１として入力される。
【０１１５】
視差算出部２２は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを画像部分単位で、即ち画素単位もしくは複数の画素からなるブロック単位で分割し、その分割領域（画像部分）ごとの視差を算出する。
以下では、ブロックごとの視差を算出する場合について説明する。このブロックは、画像表示部２６の表示画面上の幅Ｗ１、高さＨ１に領域に相当する大きさを有するものとする。画面の分割数については本実施の形態を実際のＬＳＩなどに実装する際にＬＳＩの処理量等を考慮して決定する。
【０１１６】
視差算出部２２は、左目用画像の各領域と右目用画像と各領域との相関を計算し、左目用画像の各領域に対し、最も相関の高い右目用画像の領域の相対位置を動きベクトルとして検出し、それを視差ｄ１を表す視差データＴ１として視差補正部２３に出力する。
左目用画像、右目用画像は、それぞれ異なるフレームの画像であると見ることができ、視差算出部２２は、異なるフレーム間での動きベクトルを算出する手段であると見ることができる。
【０１１７】
視差補正部２３は、実施の形態１の動きベクトル補正部３と同様に、入力された視差データつまり動きベクトルを補正し、補正後の視差データＴ２(補正後の動きベクトル)として視差調整量算出部２４へ出力する。
【０１１８】
視差調整量算出部２４は、ブロックごとに求めた補正後の視差データＴ２のうちの当該一対のフレーム（一対の画像）内で最大のものＴ２ｍａｘと、観察者２８の好みや体調に合わせて設定される視差調整情報Ｓ１とに基づいて視差調整量を算出し視差調整データＴ３を出力する。
【０１１９】
視差調整情報Ｓ１は、視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂを含み、各ブロックの視差調整データＴ３は、式（４）で表される演算によって補正後の視差データの最大値Ｔ２ｍａｘと、各ブロックの補正後視差データＴ２から算出される。
【０１２０】
【数３】
2012088942.tif 000005
【０１２１】
各ブロックの視差調整データＴ３は、各ブロックに対し、画像調整のための視差量の減少幅を表すものであり、左眼用画像入力データＤａ１で表される左眼用画像と右眼用画像入力データＤｂ１で表される右眼用画像の相対的水平シフト量を表す。即ち、左眼用画像と右眼用画像を互いに逆向きにシフトする場合、左眼用画像のシフト量の絶対値と右眼用画像のシフト量の絶対値の和が視差調整データＴ３により表されるものとなる。以下では、「画像のシフト」を対応する「画像データのシフト」とも言う。
【０１２２】
視差データＴ２の最大値Ｔ２ｍａｘが視差調整閾値Ｓ１ｂ以下の場合は、画像調整のためのシフトは行われない。一方、視差データＴ２の最大値Ｔ２ｍａｘが視差調整閾値Ｓ１ｂより大きい場合は、各ブロックの視差データＴ２と視差調整閾値Ｓ１ｂとの差（Ｔ２−Ｓ１ｂ）に視差調整係数Ｓ１ａを乗じた値だけ当該ブロックの視差量を減少させるため、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを水平方向に相対的にシフトすることになる。
【０１２３】
例えば、視差調整係数Ｓ１ａ＝１、視差調整閾値Ｓ１ｂ＝０の場合、
Ｔ２≦０ではＴ３＝０となる。つまり画像調整は行われない。一方、
Ｔ２＞０ではＴ３＝Ｔ２となり、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とは水平方向にＴ３＝Ｔ２だけ、相対的にシフトされ、シフト後（調整後）の視差はゼロとなる。
【０１２４】
また、視差調整係数Ｓ１ａを１より小さくすると視差調整データＴ３は補正後視差データＴ２より小さくなり、シフト後（調整後）の視差は０より大きくなる。
また、視差調整閾値Ｓ１ｂを０より大きくすると、補正後視差データＴ２が０より大きい値に対しても視差データの調整を行わない。つまり画像が少し飛び出している画像に対して（即ち、飛び出し量が所定値（閾値Ｓ１ｂに相当する値）以下の場合には）視差調整を行わないことになる。
【０１２５】
視差調整情報Ｓ１の設定に際しては、例えばユーザーがリモコンなどの入力手段によって視差調整情報Ｓ１を変化させて立体画像の飛び出し量の変化を見ながら望ましい値に決定するようにしても良い。この場合、リモコンの視差調整係数ボタンと視差調整閾値ボタンを用いて入力することしても良く、ランク分けされた、それぞれ異なる調整度合いに対応する視差調整ボタン（複数の選択肢ボタン）のうちの一つを操作することで、所定の視差調整係数Ｓ１ａと視差調整閾値Ｓ１ｂが設定されるようしても良い。
【０１２６】
次に、調整画像生成部２５の動作について説明する。
図１４（ａ）及び（ｂ）は、左眼用画像入力データと右眼用画像出力データの視差と、画像表示部２６の表示面２９からの飛び出し量の関係を説明するための図である。
図１４（ａ）は、画像調整前の左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１と、飛び出し量の関係を示した図である。
図１４（ｂ）は、画像調整後の左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２と、飛び出し量の関係を示している。
【０１２７】
調整画像生成部２５は、視差調整量算出部２４から出力される視差調整データＴ３に基づいて、必要に応じて左眼用画像入力データＤａ１及び右眼用画像入力データＤｂ１に対して調整（水平方向の移動）を行い、調整後の左眼用画像出力データＤａ２及び右眼用画像出力データＤｂ２を出力する。調整後の画像出力データＤａ２及びＤｂ２が有する視差ｄ２は、
ｄ２＝ｄ１−Ｔ３      …（５）
で表される。
【０１２８】
式（５）に式（４）のＴ３を代入すると、
【数４】
2012088942.tif 000006
また、簡略化のため、Ｔ２をｄ１と等しいとみれば、式（６）の関係は図１５のように示される。
【０１２９】
左眼用画像入力データＤａ１の画素Ｐ１Ｌと右眼用画像入力データＤｂ１の画素Ｐ１Ｒは同じ物体（画像要素）の同じ部分であるとすると、その視差はｄ１となり観察者２８からはＦ１の位置に飛び出して見える。
【０１３０】
左眼用画像出力データＤａ２の画素Ｐ２Ｌと右眼用画像入力データＤｂ２の画素Ｐ２Ｒは同じ物体の同じ部分であるとすると、その視差はｄ２となり観察者２８からはＦ２の位置に飛び出して見える。
【０１３１】
左眼用画像入力データＤａ１を（図１４（ａ）及び（ｂ）で）左方向に、右眼用画像入力データＤｂ１を（図１４（ａ）及び（ｂ）で）右方向に水平移動することにより視差ｄ１は視差ｄ２へと小さくなるため、これに対して飛び出し位置がＦ１からＦ２へとΔＦだけ変化（後退）する。
【０１３２】
式（６）のＴ２をＴ２ｍａｘで置き換えることにより、補正後の視差データＴ２が最大のブロックにおける、画像調整後の視差ｄ２ｍａｘを表す下記の式（７）が得られる。
【数５】
2012088942.tif 000007
【０１３３】
上記の視差調整量算出部２４と調整画像生成部２５とで、視差補正部２３で補正された視差データＴ２（第二の動きベクトル）を基に立体映像の左目に入る映像と右目に入る映像との視差量を調整する視差量調整部２７が構成される。
【０１３４】
次に、画像表示部２６の動作について述べる。画像表示部２６は、左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２で表される画像を観察者２８の左眼と右眼に別々に表示する。具体的には、光学的な機構により左眼と右眼で異なった画像を表示できるディスプレイを使う３Ｄ表示方式でも良いし、左眼用画像と右眼用画像を交互に表示したディスプレイに同期して左眼と右眼のレンズのシャッターを閉じる専用メガネを用いる３Ｄ表示方式でも良い。
【０１３５】
図１６は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【０１３６】
視差算出ステップＳＴ２２は、左眼用画像入力データＤａ１と右眼用画像入力データＤｂ１とを画像表示部２６の表示面の上で幅Ｗ１、高さＨ１に区切った大きさと対応するように分割し、その領域ごとの視差を算出する。この動作は視差算出部２２と同等である。
【０１３７】
視差補正ステップＳＴ２３では、動きベクトルである視差データＴ１を、周囲のブロックの視差データＴ１を基に補正して、補正後視差データＴ２を算出する。この動作は視差補正部２３と同等である。
【０１３８】
視差調整量算出ステップＳＴ２４では、視差調整情報Ｓ１と補正後の視差データＴ２とに基づいて視差調整量を算出し視差調整データＴ３を出力する。この動作は、視差調整量算出部２４と同等である。
【０１３９】
調整画像生成ステップＳＴ２５では、視差調整データＴ３に基づいて左眼用画像入力データを左方向に水平移動し、右眼用画像入力データを右方向に水平移動した左眼用画像出力データＤａ２と右眼用画像出力データＤｂ２を出力する。この動作は、調整画像生成部２５と同等である。
【０１４０】
図１６を参照して行った説明から理解されるように、図１３の画像処理装置の一部、特に視差検出部２２、視差補正部２３、視差調整量算出部２４及び調整画像生成部２５は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
【０１４１】
以上より、本実施の形態では、補正対象の動きベクトルが局所的に異なる場合、周辺のブロックの動きベクトルのいずれかで置き換えることとし、また、いずれのブロックの動きベクトルで置き換えるかを、当該補正対象の動きベクトルと周辺のブロックの動きベクトルに基づいて定めるので、正確な動きベクトルを求めることができる。
【０１４２】
以上、画像調整を表示画面から手前側への飛び出し量に関して説明したが、表示画面から奥側への後退（遠ざかる方向の動き）についても同様の調整を行うことができ、飛び出し量と後退量の調整を含めて表示深度の調整或いは遠近感の調整とも言う。
【０１４３】
本発明の実施の形態によれば、正確な動きベクトルを得ることができるので、視差を正確に算出することができ、三次元映像をユーザーに負担のない表示深度に調整することができる。
【０１４４】
以上、複数のフレームが立体映像用の左眼用画像、右眼用画像である場合について説明したが、本発明は、上記以外の目的で用いられる互いに視点が異なる画像から成る場合にも適用できる。例えば、左右の視差量の調整の代わりに、上下の視差量の調整を行う場合にも、同様に適用可能である。
【０１４５】
実施の形態３．
図１７は本発明の実施の形態３の拡大フレーム表示装置を示した図である。図示の拡大フレーム表示装置はフレームメモリ１と、動きベクトル検出部３２と、動きベクトル補正部３と、解像度拡張画像生成部３４と、画像表示部６を備える。
【０１４６】
画像データＦ０が、フレームメモリ１、動きベクトル検出部３２、及び解像度拡張画像生成部３４に入力される。フレームメモリ１の動作は、実施の形態１で説明したのと同様である。
【０１４７】
動きベクトル検出部３２は、連続したフレーム間の画素もしくは複数の画素からなるブロックの動きベクトルＮＶ１を、ノルムが１画素単位以下の精度で検出し、動きベクトル補正部３に出力する。
【０１４８】
図１８は実施の形態３にかかる、動きベクトル検出部３２の動作について説明した図である。Ｆ０は現フレーム、Ｆ１は第一の遅延フレーム、Ｆ２は第二の遅延フレームである。
Ｆ２とＦ１を比較してＦ２からＦ１への動きベクトルＮＶ１ａを検出し、
Ｆ１とＦ０を比較してＦ１からＦ０への動きベクトルＮＶ１ｂを検出する。
【０１４９】
このとき例えば動きベクトルの検出方法として位相限定相関法を用いる。位相限定相関法については例えば上記の非特許文献１に説明されているように、画像の位相情報にのみ着目して相関を取るアルゴリズムであり、２枚フレーム中の一対の画像を入力として受け取り、ノルムが１画素単位以下の動きベクトルを出力することができる。
【０１５０】
このとき例えば動きベクトルの検出方法として、現フレームＦ０と第一の遅延フレームＦ１および第二の遅延フレームＦ２を比較して動きベクトルを検出してもよい。また、３枚以上のフレームから動きベクトルを検出してもよい。
【０１５１】
動きベクトル補正部３は実施の形態１と同様に入力された動きベクトルＮＶ１（ＮＶ１ａ、ＮＶ１ｂ）のうち局所的に外れているものを周囲の動きベクトルで補正し、補正した動きベクトルＮＶ３（ＮＶ３ａ、ＮＶ３ｂ）を生成し、解像度拡張画像生成部３４に出力する。
【０１５２】
解像度拡張画像生成部３４は、補正した動きベクトルＮＶ３（ＮＶ３ａ、ＮＶ３ｂ）を基に、解像度を拡張した画像を生成し、画像表示部６に出力する。
【０１５３】
図１９は実施の形態３にかかる、解像度拡張画像生成部３４の動作について説明した図である。Ｆ２は第二の遅延フレーム、Ｆ１は第一の遅延フレーム、Ｆ０は現フレーム、ＮＶ３ａは補正したフレームＦ２からフレームＦ１への動きベクトル、ＮＶ３ｂは補正したフレームＦ１からフレームＦ０への動きベクトル、ＮＶ５ａはＮＶ３ａを拡大倍率分（図示の例では２倍に）伸張した動きベクトル、ＮＶ５ｂはＮＶ３ｂを拡大倍率分伸張した動きベクトル、フレームＥＦ２はフレームＦ２の解像度を拡大した（高解像度化した）解像度拡張画像である。
【０１５４】
解像度拡張画像生成部３４は、動きベクトルＮＶ３（ＮＶ３ａ、ＮＶ３ｂ）に基づいて、画素を画素単位で、又はブロック単位で移動し（即ち、ブロックごとに求めた動きベクトルに基づいて定めた移動量だけ移動し）、移動後の画素を重ね合わせることで、拡大フレームを生成するものである。
【０１５５】
解像度拡張画像生成部３４はまずフレームを指定した拡大倍率（図示の例では２倍）のサイズに拡大した空白のフレームＥＦ２を用意する。
【０１５６】
次に第二の遅延フレームＦ２の各画素をＥＦ２に配置する。配置する位置は、フレームの左上を（０，０）としてＦ２の座標値に拡大倍率を掛けた座標で表される位置である。即ち、フレームＦ２上で座標（ｈ，ｖ）にある画素を、フレームＥＦ２上の、座標（２ｈ，２ｖ）に配置する。
【０１５７】
次に第一の遅延フレームＦ１の各画素をＥＦ２に配置する。配置する位置は、第１の遅延フレームＦ１の各画素の座標値に拡大倍率を掛けた座標から動きベクトルＮＶ５ａだけ移動した先の座標（動きベクトルＮＶ５ａを加算した座標）で表される位置である。即ち、フレームＦ１上で座標（ｈ，ｖ）にある画素を、フレームＥＦ２上の、座標（２ｈ＋ＮＶ５ａｈ，２ｖ＋ＮＶ５ａｖ）に配置する。ここで、ＮＶ５ａｈ、ＮＶ５ａｖはそれぞれＮＶ５ａのｈ成分、ｖ成分を表す。
【０１５８】
さらに現フレームＦ０の各画素をＥＦ２に配置する。配置する位置は、現フレームＦ０の各画素の座標値に拡大倍率を掛けた座標から動きベクトルＮＶ５ａとＮＶ５ｂを足し合わせた分だけ移動した先の座標である。即ち、フレームＦ０上で座標（ｈ，ｖ）にある画素を、フレームＥＦ２上の、座標（２ｈ＋ＮＶ５ａｈ＋ＮＶ５ｂｈ，２ｖ＋ＭＶ１ｖ＋ＮＶ５ｂｖ）に配置する。ここで、ＮＶ５ｂｈ、ＮＶ５ｂｖはそれぞれＮＶ５ｂのｈ成分、ｖ成分を表し、ＮＶ５ａｈ、ＮＶ５ａｖは、上記と同様、それぞれＮＶ５ａのｈ成分、ｖ成分を表す。
【０１５９】
フレームＥＦ２の同じ座標にフレームＦ２、Ｆ１、Ｆ０の複数の画素が配置されたときは、それらの画素値の平均した画素をフレームＥＦ２に配置する。
また、フレームＥＦ２においてフレームＦ２、Ｆ１、Ｆ０のいずれの画素も配置されない空白画素が存在するとき、空白画素の周囲で配置されている画素の平均を求め、それを空白画素に配置する。
【０１６０】
本実施の形態では３枚のフレームを用いた場合に画像の解像度を拡張する方法について説明したが、４枚以上のフレームを用いて画像を重ねても良い。
【０１６１】
図２０は、以上に説明した本実施の形態に係る画像表示装置の処理工程を示すフローチャートである。
【０１６２】
動きベクトル検出ステップＳＴ３２の動作は動きベクトル検出部３２と同等である。
動きベクトル補正ステップＳＴ３の動作は動きベクトル補正部３と同等である。
解像度拡張画像生成ステップＳＴ３４の動作は、解像度拡張画像生成部３４と同等である。
【０１６３】
図１９を参照して行った説明から理解されるように、図１７画像処理装置の一部、特に動きベクトル検出部３２、動きベクトル補正部３、及び階調度拡張画像生成部３４は、その一部又は全部を、ソフトウェアにより、即ちプログラムされたコンピュータにより実現することができる。
【０１６４】
以上より、本実施の形態では、補正対象の動きベクトルが局所的に異なる場合、周辺のブロックの動きベクトルのいずれかで置き換えることとし、また、いずれのブロックの動きベクトルで置き換えるかを、当該補正対象の動きベクトルと周辺のブロックの動きベクトルに基づいて定めるので、正確な動きベクトルを求めることができる。
【０１６５】
実施の形態３によれば、補正により正確な動きベクトルを得ることができるので、解像度拡張画像を正確に生成することができる。
【符号の説明】
【０１６６】
１  フレームメモリ、  ２  動きベクトル検出部、  ３  動きベクトル補正部、  ４  動きベクトル変換部、  ５  補間フレーム生成部、  ６  画像表示部、  ７  テスト補間部、  ８  補間データ評価部、  ９  動きベクトル決定部、  ２０  画像表示装置、  ２１  画像処理装置、  ２２  視差算出部、  ２３  視差補正部、  ２４  視差調整量算出部、  ２５  調整画像生成部、  ２６  画像表示部、  ２７  視差量調整部、  ２８  観察者、  ２９  表示面、  ３２  動きベクトル検出部、  ３４  解像度拡張画像生成部。
【図１】
2012088942.tif 000008
【図２】
2012088942.tif 000009
【図３】
2012088942.tif 000010
【図４】
2012088942.tif 000011
【図５】
2012088942.tif 000012
【図６】
2012088942.tif 000013
【図７】
2012088942.tif 000014
【図８】
2012088942.tif 000015
【図９】
2012088942.tif 000016
【図１０】
2012088942.tif 000017
【図１１】
2012088942.tif 000018
【図１２】
2012088942.tif 000019
【図１３】
2012088942.tif 000020
【図１４】
2012088942.tif 000021
【図１５】
2012088942.tif 000022
【図１６】
2012088942.tif 000023
【図１７】
2012088942.tif 000024
【図１８】
2012088942.tif 000025
【図１９】
2012088942.tif 000026
【図２０】
2012088942.tif 000027