(57)【要約】【課題】より簡単に画像の画質の劣化を改善することができるようにする。【解決手段】動き補償部２２は、入力画像と動きベクトルから、時間的に１つ前のフレームの入力画像に対応する過去画像を生成する。応答モデル保持部２３は、表示部１２の応答特性を示す応答モデル、入力画像、および過去画像を用いて、表示部１２に過去画像および入力画像が順番に表示された場合に、その表示が切り換わるまでの間に表示される遷移画像を生成する。動き補償部２４は、動きベクトル、入力画像、過去画像、および遷移画像から、それらの画像上の観察者が目で追うと予測される追従画素を求める。積分部２５は追従画素を積分して、入力画像を観察する観察者が知覚すると予測される視覚画像を生成する。差分補償部２６は、入力画像と視覚画像から、入力画像が表示されているように見える表示画像を生成する。本発明は、表示装置に適用することができる。【選択図】図５
2008193487.tif 000002
【特許請求の範囲】
【請求項１】
観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成する視覚画像信号生成手段と、
前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する表示画像信号生成手段と
を備え、
前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像である
ことを特徴とする画像処理装置。
【請求項２】
前記補正値は、前記入力画像信号と前記視覚画像信号との差分である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記視覚画像信号生成手段は、
前記入力画像から動きベクトルを検出する動きベクトル検出手段と、
前記入力画像信号と、前記動きベクトルとを用いて、前記入力画像の時間的に１フレーム前の入力画像に対応する過去画像の過去画像信号を生成する過去画像信号生成手段と、
前記表示手段の発光特性を示すモデル、前記入力画像信号、および前記過去画像信号を用いて、前記表示手段に前記過去画像が表示された後、前記入力画像が表示される場合に、前記過去画像から前記入力画像に表示が切り換わるまでの所定の時刻に前記表示手段に表示される画像である遷移画像の遷移画像信号を生成する遷移画像信号生成手段と、
前記入力画像信号、前記過去画像信号、前記遷移画像信号、および前記動きベクトルを用いて、前記入力画像、前記過去画像、および前記遷移画像のそれぞれの画素であって、前記過去画像から前記入力画像に表示が切り換わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を前記視覚画像の所定の画素の画素値とすることにより前記視覚画像信号を生成する平均値計算手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記平均値計算手段は、前記過去画像から前記入力画像に表示が切り換わるまでの間の予め定められた時刻を中心とする所定の期間内の各時刻に前記表示手段に表示される、前記入力画像、前記過去画像、または前記遷移画像の前記観察者が目で追うと予測される画素の画素値のそれぞれの平均値を、これから生成しようとする前記視覚画像信号に基づく前記視覚画像上の画素であって、前記予め定められた時刻に前記表示手段に表示される前記遷移画像上の前記観察者が目で追うと予測される画素と同じ位置にある画素の画素値とする
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記視覚画像信号生成手段は、
前記入力画像から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルによって定まる画像生成係数のそれぞれを、前記入力画像のいくつかの画素の画素値に乗算して、前記画像生成係数が乗算された前記画素値のそれぞれの和を前記視覚画像の所定の画素の画素値とすることにより、前記視覚画像信号を生成する積和演算手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記視覚画像信号生成手段は、
前記動きベクトルから定まる位相シフトフィルタの係数と、前記表示手段の発光特性を示すモデルとを用いて、前記画像生成係数を生成する係数生成手段をさらに備える
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成し、
前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する
ステップを含み、
前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像である
ことを特徴とする画像処理方法。
【請求項８】
観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成し、
前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する
ステップを含む処理をコンピュータに実行させるプログラムであり、
前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像である
ことを特徴とするプログラム。
【請求項９】
動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成する積和演算手段を備え、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とする画像処理装置。
【請求項１０】
動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するステップを含み、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とする画像処理方法。
【請求項１１】
動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するステップを含む処理をコンピュータに実行させるプログラムであり、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とするプログラム。
【請求項１２】
動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成する係数生成手段を備え、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とする係数生成装置。
【請求項１３】
動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成するステップを含み、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とする係数生成方法。
【請求項１４】
動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成するステップを含む処理をコンピュータに実行させるプログラムであり、
前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、係数生成装置および方法、並びにプログラムに関し、特に、より簡単に画像の画質の劣化を改善できるようにした画像処理装置および方法、係数生成装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
LCD（Liquid Crystal Display）などのホールド型の表示装置においては、人間が表示装置の表示画面に表示される移動物体を観察すると、いわゆる動きぼけが生じ、人間の目には移動物体がぼけて見えることが知られている。この動きぼけは、人間の目が表示画面上を移動する移動物体を追従しながら観察するために生じる。
【０００３】
従来、このような動きぼけによる画像の画質の劣化を改善したり、抑制したりするための技術として、オーバードライブ、黒挿入、フレーム倍速などの技術が提案されている。
【０００４】
例えば、オーバードライブと称される技術においては、表示するフレームの画像と、時間的にそのフレームの直前に表示されるフレームの画像との差分に所定の係数を乗算して得られた値を、表示するフレームの画像に加算することによって、表示装置の応答速度の改善が図られている。
【０００５】
すなわち、図１に示すように、表示装置に曲線Ｌ１１により示されるフレーム（Ｎ−１）の画像が表示された後、曲線Ｌ１２により示されるフレームＮの画像が表示されるとする。なお、図１では、縦方向は輝度値を示しており、横方向はフレームの画像の空間方向、すなわち画像上の位置を示している。また、曲線Ｌ１１乃至曲線Ｌ１５のそれぞれは、画像の各位置における輝度値を示している。
【０００６】
フレーム（Ｎ−１）の画像とフレームＮの画像とを比較すると、輝度値の高い領域が時間とともに図中、左方向に移動しており、表示される画像上において、所定の移動物体が左方向に移動していることが分かる。また、フレームＮの画像が表示されると、実際に表示装置に表示される画像を観察している人間は、曲線Ｌ１３に示す画像が表示されているように知覚する。
【０００７】
曲線Ｌ１３により示される輝度値は、区間Ａ１１の領域において、図中、左側から右側になだらかに増加しており、区間Ａ１２において左側から右側になだらかに減少している。つまり、人間の目には、曲線Ｌ１３により示される画像の輝度値が、区間Ａ１１のより左側の領域ほど本来の輝度値よりもより低い輝度値であるかのように見え、区間Ａ１２のより左側の領域ほど本来の輝度値よりもより高い輝度値であるかのように見えるため、移動物体の境界、すなわち区間Ａ１１および区間Ａ１２の領域がぼけて見えることになる。
【０００８】
そこで、オーバードライブにおいては、曲線Ｌ１４に示すように、フレームＮの画像の各位置の輝度値が、フレームＮの画像と、フレーム（Ｎ−１）の画像との各位置の輝度値の差分に所定の係数を乗算して得られた値だけ加算された値となるように画像信号に処理が施されて、動きぼけによる画質の劣化が改善される。曲線Ｌ１４では、曲線Ｌ１２と比較して、区間Ａ１１の領域の輝度値がより高くなっており、区間Ａ１２の領域の輝度値がより低くなっている。
【０００９】
画像の各位置の輝度値が、曲線Ｌ１４により示される輝度値となる画像信号に基づいて表示装置に画像が表示されると、その画像を観察する人間は、曲線Ｌ１５に示す画像が表示されているように知覚する。曲線Ｌ１５に示される輝度値は、区間Ａ１１の領域において、曲線Ｌ１３よりも右方向により急峻に増加し、区間Ａ１２の領域において、曲線Ｌ１３よりも右方向により急峻に減少しており、人間の目には、曲線Ｌ１３に示される画像よりも、よりフレームＮの画像に近い画像が表示されているように見える。
【００１０】
また、黒挿入と称される技術においては、フレームとフレームとの間に黒い画像を表示させることにより、動きぼけによる画質の劣化が改善されている。つまり、各フレームの画像が連続して表示されるのではなく、１フレーム分の画像が表示された後、黒い画像が表示される期間、すなわち何も表示されない期間が設けられ、その期間が経過した後、次のフレームの画像が表示される。
【００１１】
さらに、フレーム倍速と称される技術においては、１フレーム分の表示期間に、そのフレームの画像と、補間により生成された画像とを表示することで、実質的にフレームレートを２倍にすることによって、動きぼけによる画質の劣化が改善されている。
【００１２】
さらに、また、動きぼけによる画質の劣化の改善と関連する技術として、測定対象の画像を表示する測定対象ディスプレイに対する、その測定対象ディスプレイに表示される画像を撮影するカメラの傾き角度を補正することによって、より正確に動きぼけを再現した画像を生成する測定システムも提案されている（例えば、特許文献１参照）。
【００１３】
【特許文献１】特開２００６−２４３５１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上述した技術では、動きぼけによる画像の画質の劣化を改善することは容易ではなかった。
【００１５】
例えば、オーバードライブは、表示装置の応答速度が表示する画像のフレームレートより大きい場合には、動きぼけによる画質の劣化の抑制に有効であるが、応答速度がフレームレート以下である場合には、画質の劣化の抑制に有効であるとはいえなかった。より具体的には、応答速度がフレームレート以下である場合、表示装置に表示される画像上の移動物体の境界部分、すなわちエッジの部分が強調され過ぎてしまい、かえって画質が劣化してしまう。
【００１６】
例えば、図２に示すように、フレームＮを表示装置に表示させようとするときに、オーバードライブにより、表示される画像の各位置の輝度値が、曲線Ｌ１４により示される輝度値となるように画像信号に処理を施したとする。この場合、処理が施された画像信号に基づいて表示装置が画像を表示すると、人間の目には、表示装置に曲線Ｌ２１に示す画像が表示されているように見える。
【００１７】
なお、図２において、縦方向は輝度値を示しており、横方向は各フレームの画像における空間方向を示している。また、図２において図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【００１８】
図２では、曲線Ｌ２１により示される輝度値は、領域Ｒ１１の部分が本来の輝度値よりも高くなっており、領域Ｒ１２の部分が本来の輝度値よりも低くなっている。つまり、表示装置に表示される画像上の移動物体における図中、左側の境界の部分が明るくなり過ぎてしまい、また、右側の境界の部分が暗くなり過ぎてしまうため、かえって画質の劣化が目立ってしまう。
【００１９】
より具体的には、図３Ａに示すように、表示装置に、表示画面上を図中、左方向に正方形の移動物体が移動する画像が表示される場合、画像上の移動物体の境界の位置Ｐ１１の周囲の輝度値は、図３Ｂに示されるように、位置Ｐ１１付近で急激に変化する。
【００２０】
なお、図３Ａにおいて、縦方向および横方向は画像上の空間方向、すなわち画像上の位置を示している。また、図３Ｂにおいて、縦方向は輝度値を示しており、横方向は画像上の位置を示している。さらに、図３Ｂにおける横方向は、図３Ａにおける横方向に対応しており、曲線Ｌ３１は、図３Ａの位置Ｐ１１の周囲の画像の輝度値を示している。
【００２１】
図３Ａは、１つのフレームの画像を表しており、画像上の１つの正方形は、１つの移動物体を表している。したがって、図３Ａの例では、画像上には、７つの移動物体が縦方向に並べられて表示されている。また、これらの７つの移動物体は、図中、左方向にそれぞれ異なる速度で移動し、図中、より下側にある移動物体ほど速い速度で移動している。
【００２２】
図３Ａの画像の位置Ｐ１１の周囲の輝度値は、図３Ｂの曲線Ｌ３１に示すように、位置Ｐ１１よりも右側の領域と、位置Ｐ１１よりも左側の領域とで大きく異なっている。すなわち、位置Ｐ１１よりも右側の領域の輝度値は、位置Ｐ１１よりも左側の領域の輝度値と比べて高くなっており、位置Ｐ１１付近において、輝度値が急激に変化している。したがって、図３Ａに示すように、図中、上から３つ目の移動物体の境界はぼけておらず、はっきりとしている。
【００２３】
しかしながら、実際に図３Ａに示した画像を表示装置に表示すると、その画像を観察する人間の目には、移動物体の境界がぼけて見える。
【００２４】
そこで、表示する画像の画像信号にオーバードライブによる画像処理を施すと、図４Ａに示すように、移動物体の境界の部分のぼけは改善されるが、表示装置に表示される各移動物体の境界の左側の部分、例えば位置Ｐ１１付近の領域の輝度値は、移動物体の本来の輝度値よりもより高くなってしまう。
【００２５】
なお、図４Ａにおいて、縦方向および横方向は画像上の位置を示している。また、図４Ｂにおいて、縦方向は輝度値を示しており、横方向は画像上の位置を示している。さらに、図４Ｂにおける横方向は、図４Ａにおける横方向に対応しており、曲線Ｌ３２は、図４Ａの位置Ｐ１１の周囲の画像の輝度値を示している。ここで、図４において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【００２６】
図４Ａでは、１つの正方形で表される、上から３つ目の移動物体の左側の境界の部分、つまり位置Ｐ１１付近の輝度値は、その移動物体の本来の輝度値よりも高くなっており、上から３つ目の移動物体の右側の境界の部分、つまり領域Ｒ２１の部分の輝度値は、その移動物体の本来の輝度値よりも低くなっているため、移動物体の境界が強調され過ぎて画質が劣化している。
【００２７】
すなわち、上から３つ目の移動物体を観察する人間には、その移動物体の右側の境界の部分が本来の移動物体の色、つまりその移動物体の中央付近の色よりも暗く見え、左側の境界の部分が本来の移動物体の色よりも明るく見える。
【００２８】
図４Ａの画像の位置Ｐ１１の周囲の輝度値は、図４Ｂの曲線Ｌ３２に示すように、位置Ｐ１１よりも左側の領域と、位置Ｐ１１よりも右側の領域Ｒ２２とで大きく異なっている。すなわち、領域Ｒ２２における輝度値は、位置Ｐ１１よりも左側の領域における輝度値と比べて高くなっており、その境界の部分、つまり領域Ｒ２２の左側の部分において輝度値が急激に変化している。
【００２９】
さらに、領域Ｒ２２よりも右側の領域における輝度値は、領域Ｒ２２における輝度値よりも低くなっており、その境界の部分、つまり領域Ｒ２２の右側の部分において、輝度値が急激に変化している。
【００３０】
また、図４Ａに示される移動物体は、より速い速度で移動する移動物体ほど、その移動物体の右側の境界の部分における、本来の色より暗く見える領域が大きく、左側の境界の部分における、本来の色より明るく見える領域が大きくなっている。つまり、オーバードライブによる画像処理を施すと、より移動速度の速い移動物体ほど画質が劣化する。
【００３１】
このように、表示する画像の画像信号にオーバードライブによる画像処理を施すと、画像の画質がかえって低下してしまう場合があった。
【００３２】
また、黒挿入により画像を表示しない期間を設けた場合、画像を表示しない期間が長いほど画像の動きぼけが改善されるが、画像を表示しない期間が長くなると、表示装置が画像を表示するために発光する時間が短くなってしまうので、表示される画像が暗くなってしまい、観測者にとっては、かえって画像が見えづらくなってしまう。
【００３３】
さらに、フレーム倍速においては、表示させる画像を補間により生成することは困難であり、生成された画像の画質は、他のフレームの画像よりも画質がよいとはいえず、結果として表示される画像の画質が劣化してしまう恐れがあった。
【００３４】
さらに、また、フレーム倍速は、いわゆる動きテロップのような、撮影時に動きぼけのない画像に対しては効果があるものの、シャッタースピード開放で撮影された動きぼけのある画像、すなわちシャッタースピードが１フレーム分の表示時間と同じ時間である動きぼけのある画像に対しては、充分な効果をあげることができないという欠点があった。
【００３５】
本発明は、このような状況に鑑みてなされたものであり、より簡単に画像の画質の劣化を改善することができるようにするものである。
【課題を解決するための手段】
【００３６】
本発明の第１の側面の画像処理装置は、観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成する視覚画像信号生成手段と、前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する表示画像信号生成手段とを備え、前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像とされる。
【００３７】
前記補正値は、前記入力画像信号と前記視覚画像信号との差分とすることができる。
【００３８】
前記視覚画像信号生成手段には、前記入力画像から動きベクトルを検出する動きベクトル検出手段と、前記入力画像信号と、前記動きベクトルとを用いて、前記入力画像の時間的に１フレーム前の入力画像に対応する過去画像の過去画像信号を生成する過去画像信号生成手段と、前記表示手段の発光特性を示すモデル、前記入力画像信号、および前記過去画像信号を用いて、前記表示手段に前記過去画像が表示された後、前記入力画像が表示される場合に、前記過去画像から前記入力画像に表示が切り換わるまでの所定の時刻に前記表示手段に表示される画像である遷移画像の遷移画像信号を生成する遷移画像信号生成手段と、前記入力画像信号、前記過去画像信号、前記遷移画像信号、および前記動きベクトルを用いて、前記入力画像、前記過去画像、および前記遷移画像のそれぞれの画素であって、前記過去画像から前記入力画像に表示が切り換わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を前記視覚画像の所定の画素の画素値とすることにより前記視覚画像信号を生成する平均値計算手段とを設けることができる。
【００３９】
前記平均値計算手段には、前記過去画像から前記入力画像に表示が切り換わるまでの間の予め定められた時刻を中心とする所定の期間内の各時刻に前記表示手段に表示される、前記入力画像、前記過去画像、または前記遷移画像の前記観察者が目で追うと予測される画素の画素値のそれぞれの平均値を、これから生成しようとする前記視覚画像信号に基づく前記視覚画像上の画素であって、前記予め定められた時刻に前記表示手段に表示される前記遷移画像上の前記観察者が目で追うと予測される画素と同じ位置にある画素の画素値とさせることができる。
【００４０】
前記視覚画像信号生成手段には、前記入力画像から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルによって定まる画像生成係数のそれぞれを、前記入力画像のいくつかの画素の画素値に乗算して、前記画像生成係数が乗算された前記画素値のそれぞれの和を前記視覚画像の所定の画素の画素値とすることにより、前記視覚画像信号を生成する積和演算手段とを設けることができる。
【００４１】
前記視覚画像信号生成手段には、前記動きベクトルから定まる位相シフトフィルタの係数と、前記表示手段の発光特性を示すモデルとを用いて、前記画像生成係数を生成する係数生成手段をさらに設けることができる。
【００４２】
本発明の第１の側面の画像処理方法またはプログラムは、観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成し、前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成するステップを含み、前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像とされる。
【００４３】
本発明の第１の側面においては、観察者が、入力画像の入力画像信号に基づいて表示手段にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号が生成され、前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値が算出され、前記入力画像信号に前記補正値が足し込まれて、前記表示手段に表示される表示画像の表示画像信号が生成され、前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像とされる。
【００４４】
本発明の第２の側面の画像処理装置は、動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成する積和演算手段を備え、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００４５】
本発明の第２の側面の画像処理方法またはプログラムは、動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するステップを含み、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００４６】
本発明の第２の側面においては、動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号が生成され、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００４７】
本発明の第３の側面の係数生成装置は、動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成する係数生成手段を備え、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００４８】
本発明の第３の側面の係数生成方法またはプログラムは、動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成するステップを含み、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００４９】
本発明の第３の側面においては、動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数が、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとが用いられて生成され、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【発明の効果】
【００５０】
本発明の第１の側面によれば、画像を生成することができる。特に、本発明の第１の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【００５１】
また、本発明の第２の側面によれば、画像を生成することができる。特に、本発明の第２の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【００５２】
さらに、本発明の第３の側面によれば、画像を生成するための表示画像生成係数を生成することができる。特に、本発明の第３の側面によれば、より簡単に画像の画質の劣化を改善することができる。
【発明を実施するための最良の形態】
【００５３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００５４】
本発明の第１の側面の画像処理装置は、観察者が、入力画像の入力画像信号に基づいて表示手段（例えば、図５の表示部１２または図２２の表示部１４１）にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成する視覚画像信号生成手段（例えば、図５の動きベクトル検出部２１乃至積分部２５、または図１７の動きベクトル検出部２１、係数生成部５３、並びに図１８の積和器８１および視覚画像生成部８２）と、前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する表示画像信号生成手段（例えば、図５の差分補償部２６、または図１８の差分補償部８３）とを備え、前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像とされる。
【００５５】
前記視覚画像信号生成手段には、前記入力画像から動きベクトルを検出する動きベクトル検出手段（例えば、図５の動きベクトル検出部２１）と、前記入力画像信号と、前記動きベクトルとを用いて、前記入力画像の時間的に１フレーム前の入力画像に対応する過去画像の過去画像信号を生成する過去画像信号生成手段（例えば、図５の動き補償部２２）と、前記表示手段の発光特性を示すモデル、前記入力画像信号、および前記過去画像信号を用いて、前記表示手段に前記過去画像が表示された後、前記入力画像が表示される場合に、前記過去画像から前記入力画像に表示が切り換わるまでの所定の時刻に前記表示手段に表示される画像である遷移画像の遷移画像信号を生成する遷移画像信号生成手段（例えば、図５の応答モデル保持部２３）と、前記入力画像信号、前記過去画像信号、前記遷移画像信号、および前記動きベクトルを用いて、前記入力画像、前記過去画像、および前記遷移画像のそれぞれの画素であって、前記過去画像から前記入力画像に表示が切り換わるまでの間に前記観察者が目で追うと予測される画素の画素値の平均値を前記視覚画像の所定の画素の画素値とすることにより前記視覚画像信号を生成する平均値計算手段（例えば、図５の積分部２５）とを設けることができる。
【００５６】
前記平均値計算手段には、前記過去画像から前記入力画像に表示が切り換わるまでの間の予め定められた時刻を中心とする所定の期間内の各時刻に前記表示手段に表示される、前記入力画像、前記過去画像、または前記遷移画像の前記観察者が目で追うと予測される画素の画素値のそれぞれの平均値を、これから生成しようとする前記視覚画像信号に基づく前記視覚画像上の画素であって、前記予め定められた時刻に前記表示手段に表示される前記遷移画像上の前記観察者が目で追うと予測される画素と同じ位置にある画素の画素値とさせる（例えば、図９のステップＳ１５）ことができる。
【００５７】
前記視覚画像信号生成手段には、前記入力画像から動きベクトルを検出する動きベクトル検出手段（例えば、図１７の動きベクトル検出部２１）と、前記動きベクトルによって定まる画像生成係数のそれぞれを、前記入力画像のいくつかの画素の画素値に乗算して、前記画像生成係数が乗算された前記画素値のそれぞれの和を前記視覚画像の所定の画素の画素値とすることにより、前記視覚画像信号を生成する積和演算手段（例えば、図１８の積和器８１および視覚画像生成部８２）とを設けることができる。
【００５８】
前記視覚画像信号生成手段には、前記動きベクトルから定まる位相シフトフィルタの係数と、前記表示手段の発光特性を示すモデルとを用いて、前記画像生成係数を生成する係数生成手段（例えば、図１７の係数生成部５３）をさらに設けることができる。
【００５９】
本発明の第１の側面の画像処理方法またはプログラムは、観察者が、入力画像の入力画像信号に基づいて表示手段（例えば、図５の表示部１２）にそのまま表示される画像を観察する場合に、前記観察者が知覚すると予測される画像である視覚画像の視覚画像信号を生成し（例えば、図９のステップＳ１５）、前記視覚画像信号に基づいて前記入力画像信号を補正するための補正値を算出し、前記入力画像信号に前記補正値を足し込むことにより、前記表示手段に表示される表示画像の表示画像信号を生成する（例えば、図９のステップＳ１６）ステップを含み、前記観察者が、前記表示画像信号に基づいて前記表示手段に表示される前記表示画像を観察する場合、前記観察者が知覚すると予測される画像は、前記入力画像とされる。
【００６０】
本発明の第２の側面の画像処理装置（例えば、図２４の画像処理装置１１）は、動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成する積和演算手段（例えば、図２４の積和演算部１８２）を備え、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００６１】
本発明の第２の側面の画像処理方法またはプログラムは、動きベクトルごとに予め求められた、前記動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成する（例えば、図２６のステップＳ７３）ステップを含み、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００６２】
本発明の第３の側面の係数生成装置（例えば、図２４の画像処理装置１１）は、動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成する係数生成手段（例えば、図２４の係数生成部１８１）を備え、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００６３】
本発明の第３の側面の係数生成方法またはプログラムは、動きベクトルによって定まる表示画像生成係数のそれぞれを、入力画像信号に基づく入力画像のいくつかの画素の画素値に乗算して、前記表示画像生成係数が乗算された前記画素値のそれぞれの和を表示画像の所定の画素の画素値とすることにより、前記表示画像の表示画像信号を生成するための前記表示画像生成係数を、予め動きベクトルの求められている所定の画像と、その画像について予め求められている動きベクトルとを用いて生成する（例えば、図２６のステップＳ７２）ステップを含み、前記表示画像は、前記表示画像信号に基づいて表示手段に表示される前記表示画像を観察する観察者が、前記入力画像を知覚すると予測される画像とされる。
【００６４】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００６５】
図５は、本発明を適用した一実施の形態の画像処理装置の構成を示すブロック図である。
【００６６】
画像処理装置１１には、例えば、カメラ等により撮影された画像である入力画像、より詳細には入力画像の画像信号が供給される。画像処理装置１１は、供給された入力画像に基づいて、観察者に対して入力画像よりもより高画質に見える画像である表示画像を生成し、生成した表示画像を、LCDなどのホールド型の表示装置からなる表示部１２に供給して表示させる。
【００６７】
表示部１２は、例えばフラット型のLCDや、プロジェクタなどの表示装置からなり、画像処理装置１１から供給された表示画像を表示する。
【００６８】
画像処理装置１１は、動きベクトル検出部２１、動き補償部２２、応答モデル保持部２３、動き補償部２４、積分部２５、および差分補償部２６から構成される。
【００６９】
画像処理装置１１の動きベクトル検出部２１、動き補償部２２、および差分補償部２６には、例えば入力画像の画像信号としてのRGB（Red Green Blue）信号が１フレーム分ずつ供給される。
【００７０】
動きベクトル検出部２１は、供給された入力画像から動きベクトルを検出して動き補償部２２および動き補償部２４に供給する。
【００７１】
動き補償部２２は、供給された入力画像、および動きベクトル検出部２１から供給された動きベクトルを用いて動き補償を行い、供給された入力画像の時間的に１つ前のフレームの入力画像に相当（対応）する画像である過去画像を生成する。そして、動き補償部２２は、入力画像および生成した過去画像を応答モデル保持部２３に供給する。
【００７２】
ここで、過去画像とは、供給された入力画像上において動きのある移動物体を、その移動物体の動きベクトルにより示される方向と逆方向に移動させることにより生成される、供給された入力画像の１フレーム前の入力画像と等価な画像をいう。
【００７３】
応答モデル保持部２３は、表示部１２の発光特性を示すモデル、例えば表示部１２の表示画面を構成する画素の輝度値を、所定の輝度値から異なる輝度値に変化させたときの輝度値の時間的な変化を示す応答モデルを予め保持している。この表示部１２の応答モデルは、例えば表示部１２がLCDにより構成される場合にはLCDの応答モデルとされ、表示部１２に各画素の輝度値が最も低い黒い画像を表示させた後、最も輝度値が高い白い画像を表示させて、そのときの各画素の輝度値の時間的な変化を高速カメラや光プローブを用いて計測することにより生成される。
【００７４】
また、応答モデル保持部２３は、保持している応答モデルと、動き補償部２２から供給された入力画像および過去画像とを用いて、表示部１２に過去画像が表示され、その後、入力画像が表示された場合に、その表示が切り換わるときに表示部１２に表示される過渡的な画像である遷移画像を生成する。そして、応答モデル保持部２３は、動き補償部２２から供給された入力画像および過去画像と、生成した遷移画像とを動き補償部２４に供給する。
【００７５】
例えば、表示部１２に過去画像が表示された後、入力画像が表示されたとすると、表示部１２に表示される画像、つまり表示画面を構成する各画素の輝度値は、応答モデルにより示される輝度値の変化にしたがって、過去画像を表示するときの輝度値から、徐々に入力画像を表示するときの輝度値に変化する。
【００７６】
このとき、表示部１２に表示される画像が過去画像から入力画像に切り換わるまでの間の所定の時刻において、表示部１２に表示されている画像が遷移画像とされ、応答モデル保持部２３は、予め定められたいくつかの時刻の遷移画像、例えば１６枚の遷移画像を生成する。換言すれば、遷移画像は、過去画像のフレームと、入力画像のフレームとの間のフレームにおいて表示される画像ということができる。
【００７７】
動き補償部２４は、動きベクトル検出部２１から供給された動きベクトルと、応答モデル保持部２３から供給された入力画像、過去画像、および遷移画像とを用いて動き補償を行い、追従画素の画素値を求めて積分部２５に供給する。
【００７８】
ここで、追従画素について説明する。例えば、表示部１２に過去画像が表示された後、入力画像が表示される場合に、過去画像が表示されてから入力画像が表示されるまでの間、表示部１２を観察していた観察者の目に見える画像、すなわち入力画像が表示部１２にそのまま表示された場合に、表示部１２の特性によって、入力画像を観察する観察者が知覚すると予測される画像を視覚画像と呼ぶこととすると、視覚画像は、過去画像、遷移画像、および入力画像を平均した画像とされる。
【００７９】
つまり、例えば、表示画面上を移動物体が所定の方向に移動する画像が表示部１２に表示される場合、観察者は移動物体を目で追うので、過去画像、遷移画像、および入力画像のそれぞれの画像上における移動物体の所定の部分が表示される画素の輝度値の平均値、より詳細には、各画像上の観察者が目で追った画素の輝度値の平均値が、その移動物体の所定の部分が表示される視覚画像上の画素の輝度値となる。
【００８０】
そこで、以下の説明では、視覚画像上の所定の画素の輝度値（画素値）を求めるための平均値の計算の対象となる過去画像、遷移画像、および入力画像の画素、つまり観察者が目で追うと予測される画素のそれぞれを追従画素と呼ぶこととする。したがって、動き補償部２４は、これから生成しようとする視覚画像上の各画素について、過去画像、遷移画像、および入力画像の追従画素のそれぞれの輝度値で発光させるための画像信号の画素値のそれぞれを求めて、求められた画素値を追従画素の画素値として積分部２５に供給する。
【００８１】
積分部２５は、動き補償部２４から供給された追従画素の画素値を積分することにより視覚画像を生成し、差分補償部２６に供給する。すなわち、積分部２５は、視覚画像の画素ごとに、その画素に対応する追従画素の画素値の平均値を求めて視覚画像の画素の画素値とすることにより、視覚画像、より詳細には視覚画像の画像信号を生成する。
【００８２】
差分補償部２６は、供給された入力画像、および積分部２５から供給された視覚画像に基づいて表示画像、より詳細には表示画像の画像信号を生成し、表示部１２に供給する。ここで、表示画像とは、表示部１２に表示する画像であり、その画像が表示部１２に表示されたときに、表示部１２に表示される画像を観察する観察者には、表示部１２に入力画像が表示されているように見える画像をいう。
【００８３】
例えば、差分補償部２６は、入力画像と視覚画像との差分を求め、求められた差分を入力画像に加算して得られる画像を表示画像とする。
【００８４】
そのような場合、例えば画像処理装置１１に図３に示した画像が入力画像として供給されると、画像処理装置１１は、図６に示す視覚画像を生成する。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８５】
図６Ａは、図３Ａに示した画像が入力画像として供給された場合に画像処理装置１１により生成される視覚画像を示している。なお、図６Ａにおいて、縦方向および横方向は視覚画像上の空間方向、すなわち視覚画像上の位置を示している。また、図６Ｂにおいて、縦方向は輝度値を示しており、横方向は視覚画像上の位置を示している。さらに、図６Ｂにおける横方向は、図６Ａにおける横方向に対応しており、曲線Ｌ３３は、図６Ａの位置Ｐ１１の周囲の視覚画像の輝度値を示している。
【００８６】
図６Ａでは、正方形で表された図中、左方向に移動する７つの移動物体が縦方向に並べられて表示されており、これらの７つの移動物体は、図中、より下側にある移動物体ほど速い速度で移動しているため、速く移動する移動物体の境界ほどぼやけて見える画像となっている。
【００８７】
また、図６Ａの視覚画像上の位置Ｐ１１の周囲の輝度値は、図６Ｂに示すように、位置Ｐ１１よりも右側の領域と、位置Ｐ１１よりも左側の領域とで大きく異なっている。すなわち、位置Ｐ１１よりも右側の領域の輝度値は、位置Ｐ１１よりも左側の領域の輝度値と比べて高くなっており、位置Ｐ１１近傍において、輝度値は、図３Ａの位置Ｐ１１近傍における場合と比べて緩やかに変化している。したがって、図６Ａに示す上から３つ目の移動物体の境界は、図３Ａにおける場合と比べてぼけて見える。
【００８８】
このように、図３Ａに示した入力画像から、図６Ａに示した視覚画像が生成されると、画像処理装置１１は、入力画像と視覚画像とから、例えば図７に示す表示画像を生成する。なお、図７において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００８９】
図７Ａは、画像処理装置１１により生成される表示画像を示している。なお、図７Ａにおいて、縦方向および横方向は表示画像上の空間方向、すなわち表示画像上の位置を示している。また、図７Ｂにおいて、縦方向は輝度値を示しており、横方向は表示画像上の位置を示している。さらに、図７Ｂにおける横方向は、図７Ａにおける横方向に対応しており、曲線Ｌ３４は、図７Ａの位置Ｐ１１の周囲の表示画像の輝度値を示している。
【００９０】
図７Ａでは、正方形で表された図中、左方向に移動する７つの移動物体が縦方向に並べられて表示されており、これらの７つの移動物体は、図中、より下側にある移動物体ほど速い速度で移動しているが、どの移動物体の境界の部分もぼやけておらず、その境界がはっきりと見える画像となっている。
【００９１】
また、図７Ａの表示画像上の位置Ｐ１１の周囲の輝度値は、図７Ｂに示すように、位置Ｐ１１よりも右側の領域と、位置Ｐ１１よりも左側の領域とで大きく異なっている。すなわち、表示画像の輝度値は、位置Ｐ１１から右側にいくにしたがって緩やかに低くなり、その後一定の値となる。また、表示画像の輝度値は、位置Ｐ１１近傍においては左側にいくにしたがって急激に低くなり、その後一定の値となる。
【００９２】
また、例えば図８に示すように、画像処理装置１１に曲線Ｌ４１により示される入力画像が入力されると、画像処理装置１１は、視覚画像として、曲線Ｌ４２により示される画像を生成し、表示画像として、曲線Ｌ４３により示される画像を生成する。なお、図８において縦方向は輝度値を示しており、横方向は各画像の空間方向、すなわち画像上の位置を示している。
【００９３】
曲線Ｌ４１により示される入力画像は、図中、左方向に移動する移動物体が表示される画像であり、曲線Ｌ４１において、他の位置よりも輝度値の高い部分は、入力画像上の移動物体の部分を表している。
【００９４】
このような曲線Ｌ４１により示される入力画像に対して、画像処理装置１１は、曲線Ｌ４２により示される視覚画像を生成する。曲線Ｌ４２により示される画像の輝度値は、区間Ａ４１においては、図中、右端から左方向にいくにしたがって徐々に低くなっており、区間Ａ４２においては、左端から右方向にいくにしたがって徐々に低くなっている。
【００９５】
また、曲線Ｌ４３により示される表示画像は、入力画像に、入力画像と視覚画像との差分が加算された画像であるので、曲線Ｌ４３により示される表示画像の輝度値は、区間Ａ４１においては、図中、右端から左方向にいくにしたがって徐々に高くなった後、急激に低くなっており、区間Ａ４２においては、右端から左方向にいくにしたがって徐々に低くなった後、急激に高くなっている。
【００９６】
したがって、視覚画像および表示画像の関係は、次式（１）で表される積分回路の伝達関数および式（２）で表される微分回路の伝達関数の関係と同等であるといえる。
【００９７】
（Ｅ１／Ｖ１）＝１／（１＋ｊｗＣＲ）                              ・・・（１）
【００９８】
（Ｅ２／Ｖ２）＝（ｊｗＣＲ）／（１＋ｊｗＣＲ）                    ・・・（２）
【００９９】
ここで、式（１）において、Ｅ１は積分回路から出力される電圧を示し、Ｖ１は積分回路に入力される電圧を示している。また、（Ｅ１／Ｖ１）は、積分回路の伝達関数を示している。同様に、式（２）において、Ｅ２は微分回路から出力される電圧を示し、Ｖ２は微分回路に入力される電圧を示している。また、（Ｅ２／Ｖ２）は、微分回路の伝達関数を示している。
【０１００】
さらに、式（１）および式（２）において、ｊ、ｗ、Ｃ、およびＲのそれぞれは、虚数単位、角周波数、キャパシタンス、および抵抗の大きさを示している。
【０１０１】
一般に、矩形波を積分回路に入力し、積分回路から出力された波をさらに微分回路に入力すると、微分回路からはもとの矩形波が出力されることが知られている。画像処理装置１１に入力画像を入力すると、表示部１２に表示すれば観察者にとって入力画像を見ているように見える表示画像が得られる原理は、矩形波を積分回路および微分回路に入力するともとの矩形波が得られる原理と同じであり、画像処理装置１１における差分補償部２６は、微分回路に相当する。
【０１０２】
次に、図９のフローチャートを参照して、画像処理装置１１が、供給された入力画像を基に表示画像を生成する処理である表示画像生成処理について説明する。
【０１０３】
画像処理装置１１に入力画像の供給が開始されると、ステップＳ１１において、動きベクトル検出部２１は供給された入力画像を用いて、例えばブロックマッチングや勾配法などにより動きベクトルを検出する。例えば、動きベクトル検出部２１は、前回供給されたフレームの入力画像と、今回、新たに供給されたフレームの入力画像とを用いて、新たな入力画像から各画素の動きベクトルを検出する。そして、動きベクトル検出部２１は、検出した動きベクトルを、動き補償部２２および動き補償部２４に供給する。
【０１０４】
ステップＳ１２において、動き補償部２２は、供給された入力画像、および動きベクトル検出部２１から供給された動きベクトルを用いて動き補償を行い、過去画像を生成する。そして、動き補償部２２は、供給された入力画像、および生成した過去画像を応答モデル保持部２３に供給する。
【０１０５】
例えば、図１０Ａに示すように、前回供給されたフレーム（Ｎ−１）の入力画像と、今回、新たに供給されたフレームＮの入力画像との間で、入力画像上の移動物体ＯＢ１の動き、すなわち移動物体ＯＢ１の動きベクトルＭＶ１が検出された場合、図１０Ｂに示すように、フレームＮの入力画像上の移動物体ＯＢ１を、検出された動きと逆方向に移動させて過去画像を生成する。
【０１０６】
なお、図１０Ａおよび図１０Ｂにおいて、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。
【０１０７】
図１０Ａでは、図中、上側の画素の列は、フレーム（Ｎ−１）の入力画像を表しており、下側の画素の列はフレームＮの入力画像を表している。さらに、フレーム（Ｎ−１）およびフレームＮの入力画像上の黒い画素（黒い円）が横方向に並べられている領域は、入力画像上を移動する移動物体ＯＢ１を表しており、移動物体ＯＢ１は、時間とともに図中、左方向に移動している。
【０１０８】
したがって、動きベクトル検出部２１により、図中の矢印により表される移動物体ＯＢ１の動きベクトルＭＶ１が検出される。例えば、動きベクトルＭＶ１は、左方向に向かう大きさがＭＶ１のベクトルとされる。
【０１０９】
移動物体ＯＢ１の動きが検出されると、動き補償部２２は、図１０Ｂに示すように、フレームＮの入力画像と、検出された動きベクトルＭＶ１とから過去画像を生成する。ここで、図中、上側の画素の列は、生成された過去画像を表しており、下側の画素の列はフレームＮの入力画像を表している。
【０１１０】
動き補償部２２は、図中の矢印により示されるように、フレームＮの入力画像上において動きが検出された画素、つまり移動物体ＯＢ１を、検出された動きベクトルＭＶ１と反対方向に移動させることにより過去画像を生成する。すなわち、過去画像は、入力画像上の移動物体ＯＢ１が図中、右方向に動きベクトルＭＶ１の大きさだけ移動された画像とされる。これにより、フレーム（Ｎ−１）の入力画像とほぼ同じ画像が過去画像として生成される。
【０１１１】
なお、フレーム（Ｎ−１）の入力画像を、そのまま過去画像としてもよいが、動き補償により過去画像を生成すると、移動物体の画素以下の動きやノイズ成分によるフレーム間差分が出ないため、動き補償により過去画像を生成するのが望ましい。また、動きベクトルの検出に、時間的に１つ前のフレームだけでなく、時間的に２つ前のフレームの入力画像も用いるようにしてもよい。
【０１１２】
図９のフローチャートの説明に戻り、動き補償部２２から応答モデル保持部２３に入力画像および過去画像が供給されると、ステップＳ１３において、応答モデル保持部２３は、予め保持している応答モデルと、動き補償部２２から供給された入力画像および過去画像とを用いて遷移画像を生成する。また、応答モデル保持部２３は、動き補償部２２から供給された入力画像および過去画像と、生成した遷移画像とを動き補償部２４に供給する。
【０１１３】
例えば、応答モデル保持部２３は、図１１に示す応答モデルを保持している。ここで、図１１の応答モデルは、表示部１２としてのLCDの応答特性を示している。また、図において縦軸はLCDの１つの画素の輝度値を示し、横軸は時間を示している。
【０１１４】
曲線Ｌ７１は、画素の輝度値を９８から０に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値がほぼ直線状に減少している。また、曲線Ｌ７２は、曲線Ｌ７１を反転させたもの、つまり曲線Ｌ７２は、輝度値が５０である横方向の直線を軸として、その軸に関して曲線Ｌ７１と対称な曲線となっている。
【０１１５】
さらに、曲線Ｌ７３は、画素の輝度値を０から９８に変化させたときの輝度値の時間的な変化を示しており、０ms以降、つまり輝度値を変化させた後は、その輝度値が徐々に増加している。特に、曲線Ｌ７３においては、０msから５msまでの区間で輝度値が急激に増加している。
【０１１６】
例えば、応答モデル保持部２３は、各時間にける曲線Ｌ７２上の輝度値と曲線Ｌ７３上の輝度値とを足して２で除算して得られる輝度値を各時間の輝度値とする曲線、つまり曲線Ｌ７２および曲線Ｌ７３を平均して得られる曲線と、曲線Ｌ７１とを表示部１２の応答モデルとして用いる。なお、変化前の画素の輝度値と、変化後の画素の輝度値との組み合わせごとに輝度値の時間的な変化を示す曲線を予め求めて応答モデルとするようにしてもよい。
【０１１７】
応答モデル保持部２３は、このような応答モデルを用いて遷移画像を生成する。例えば、図１２Ａに示すように、前回供給されたフレーム（Ｎ−１）の入力画像と、今回、新たに供給されたフレームＮの入力画像との間で、入力画像上の移動物体ＯＢ１の動きベクトルＭＶ１が検出された場合、図１２Ｂに示すように、過去画像とフレームＮの入力画像との間の遷移画像を生成する。
【０１１８】
なお、図１２Ａおよび図１２Ｂにおいて、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。さらに、図１２において、図１０における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１１９】
図１２Ａでは、図中、上側の画素の列は、フレーム（Ｎ−１）の入力画像を表しており、下側の画素の列はフレームＮの入力画像を表している。また、黒い画素からなる移動物体ＯＢ１は、図中、左方向に移動しているので、動きベクトル検出部２１により、図中の矢印により表される移動物体ＯＢ１の動きベクトルＭＶ１が検出される。
【０１２０】
すると、図１２Ｂに示すように、フレームＮの入力画像から過去画像が生成され、さらに過去画像と入力画像との間のフレームの画像に相当する遷移画像が生成される。
【０１２１】
ここで、図１２Ｂにおいて、最も上側の画素の列、つまり横方向に並べられた画素の列は、過去画像を表しており、最も下側の画素の列はフレームＮの入力画像を表している。また、過去画像と入力画像との間の横方向の画素の列のそれぞれは、生成された遷移画像を表しており、図１２Ｂの例においては、１５枚の遷移画像が生成されている。
【０１２２】
すなわち、フレーム（Ｎ−１）の入力画像に相当する過去画像と、フレームＮの入力画像との間のフレームの画像として、１５フレーム分の遷移画像が生成されて補間されている。また、図中、より上側に位置する画素の列で表される遷移画像は、時間的により前、つまりよりフレーム（Ｎ−１）に近いフレームの遷移画像とされている。
【０１２３】
また、図中、縦方向に並べられている画素は、過去画像、遷移画像、および入力画像において、同じ位置にある画素とされる。
【０１２４】
例えば、区間Ａ７１においては、過去画像上の画素は輝度値が高く、入力画像上の画素は輝度値が低くなっている。換言すれば、過去画像上の区間Ａ７１内の画素は白い画素（明るい画素）であり、入力画像上の区間Ａ７１内の画素は黒い画素（暗い画素）であるので、区間Ａ７１内の遷移画像の画素の輝度値は、時間とともに低くなっている。つまり、区間Ａ７１においては、時間的によりフレームＮに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が低くなっている。
【０１２５】
また、区間Ａ７２においては、過去画像上の画素と、入力画像上の画素とは、同じ輝度値となっているので、区間Ａ７２内の遷移画像の画素の輝度値は、時間によらず一定である。つまり、区間Ａ７２においては、どのフレームの遷移画像上の画素も入力画像の画素と同じ輝度値となっている。
【０１２６】
さらに、区間Ａ７３においては、過去画像上の画素は輝度値が低く、入力画像上の画素は輝度値が高くなっている。換言すれば、過去画像上の区間Ａ７３内の画素は黒い画素（暗い画素）であり、入力画像上の区間Ａ７３内の画素は白い画素（明るい画素）であるので、区間Ａ７３内の遷移画像の画素の輝度値は、時間とともに高くなっている。つまり、区間Ａ７３においては、時間的によりフレームＮに近いフレームの遷移画像（図中、より下側にある遷移画像）上の画素ほど輝度値が高くなっている。
【０１２７】
このように、入力画像と過去画像の対応する位置の画素、つまり同じ位置にある画素の輝度値が異なる場合、すなわち入力画像上の画素の輝度値が時間とともに変化する場合、応答モデルにより示される輝度値の時間的な変化したがって、遷移画像上の対応する位置の画素の輝度値が定められる。
【０１２８】
例えば、応答モデル保持部２３が図１１に示した応答モデルを保持しており、フレーム（Ｎ−１）の画像に相当する過去画像の表示時刻から、フレームＮの入力画像の表示時刻までの時間が２４msである場合、入力画像上の所定の位置の画素の輝度値が９８であり、過去画像上の対応する位置の画素の輝度値が０であるとき、フレーム（Ｎ−１）とフレームＮとの中間のフレーム、つまりフレーム（Ｎ−１）の画像の表示時刻から１２ms後の時刻を表示時刻とするフレームの遷移画像における、入力画像の画素と対応する位置の画素の画素値は、輝度値が３０となるような画素値とされる。
【０１２９】
図９のフローチャートの説明に戻り、応答モデル保持部２３から動き補償部２４に入力画像、過去画像、および遷移画像が供給されると、ステップＳ１４において、動き補償部２４は、動きベクトル検出部２１から供給された動きベクトルと、応答モデル保持部２３から供給された入力画像、過去画像、および遷移画像とを用いて動き補償を行い、追従画素の画素値を算出する。動き補償部２４は、視覚画像（この視覚画像は、これから求めようとする画像であり、現段階では存在しないため仮想的に想定される）の全ての画素について、追従画素の画素値を算出すると、算出した追従画素の画素値を積分部２５に供給する。
【０１３０】
例えば、図１３に示すように、表示部１２にフレーム（Ｎ−２）乃至フレームＮの入力画像が順番に表示された場合、入力画像上の移動物体を観察する観察者の視線は、矢印Ｑ１１に示す方向に移動する。
【０１３１】
なお、図１３において、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、１つの円は、１つの画素を表している。また、矢印Ｆ１１により示される画素の列は、フレーム（Ｎ−２）の入力画像を表しており、矢印Ｆ１２により示される画素の列は、フレーム（Ｎ−２）の時間的に１つ後のフレーム（Ｎ−１）の入力画像を表している。
【０１３２】
さらに、矢印Ｆ１３により示される画素の列は、フレーム（Ｎ−１）よりも時間的に１つ後のフレームＮの入力画像を表しており、フレーム（Ｎ−２）とフレーム（Ｎ−１）との間の各画素の横方向の列、およびフレーム（Ｎ−１）とフレームＮとの間の各画素の横方向の列は、遷移画像を表している。さらに、また、図中、縦方向に並べられている画素は、入力画像および遷移画像において、同じ位置にある画素とされる。
【０１３３】
観察者は、入力画像上の移動物体を目で追うので、矢印Ｑ１１により示される観察者の視線の移動する方向と、矢印Ｑ１２により示される移動物体の動きベクトルの方向とは同じ方向となる。
【０１３４】
なお、より詳細には、図１３において縦方向は時間を示しているので、観察者の視線の移動方向および移動物体の動きベクトルの方向は、実際には図中、横方向となる。したがって、矢印Ｑ１１は、より詳細には各フレームの画像上における観察者が目で追っている画素を結んだ矢印を示しており、矢印Ｑ１２は、より詳細には各フレームの画像上の、そのフレームが表示される時刻における動きベクトルにより示される画素（動きベクトルにより示される矢印上に位置する画素）を結んだ矢印を示している。
【０１３５】
また、人間の目は、フレームの中間の位相を追っていることが経験的に知られている。換言すれば、１つのフレームの画像と、次のフレームの画像とが順番に表示されたとき、最初のフレームの画像が表示された時刻と、次のフレームの画像が表示された時刻との中間の時刻に表示される仮想的なフレームを中間フレームと呼ぶとすると、人間の目は、その中間フレームの画像を自分自身が見ている画像、すなわち視覚画像であると知覚する。
【０１３６】
したがって、例えば、フレーム（Ｎ−１）の入力画像が表示されてから、フレームＮの入力画像が表示されるまでの間、観察者の視線が矢印Ｑ１１に示す方向に移動する場合、入力画像および遷移画像における矢印Ｑ１１上の画素、すなわち観察者の目が追う移動物体の動きベクトルの方向を示す矢印Ｑ１２上の画素の輝度値の平均値が、フレーム（Ｎ−１）とフレームＮの中間の位置にある遷移画像における、矢印Ｑ１２上の画素Ｇ１１に対応する位置にある視覚画像上の画素の輝度値とされる。
【０１３７】
つまり、矢印Ｑ１２の中間の位置にある遷移画像の画素Ｇ１１と同じ位置にある視覚画像上の画素の輝度値は、各画像の矢印Ｑ１２上に位置する画素の輝度値の平均値とされる。
【０１３８】
したがって、図１４Ａに示すように、画像処理装置１１に前回供給されたフレーム（Ｎ−１）の入力画像と、今回、新たに供給されたフレームＮの入力画像との間で、入力画像上の移動物体ＯＢ１の動きベクトルＭＶ１が検出された場合、図１４Ｂに示すように、過去画像とフレームＮの入力画像との間の遷移画像が生成される。
【０１３９】
なお、図１４Ａおよび図１４Ｂにおいて、縦方向は時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、図中、１つの円は、１つの画素を表している。さらに、図１４において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１４０】
図１４Ａでは、図中、上側の画素の列は、フレーム（Ｎ−１）の入力画像を表しており、下側の画素の列はフレームＮの入力画像を表している。また、黒い画素からなる移動物体ＯＢ１は、図中、左方向に移動しているので、図中の矢印により表される移動物体ＯＢ１の動きベクトルＭＶ１が検出される。
【０１４１】
すると、図１４Ｂに示すように、フレームＮの入力画像から過去画像が生成され、さらに過去画像と入力画像との間のフレームの画像に相当する遷移画像が生成される。
【０１４２】
ここで、図１４Ｂにおいて、最も上側の画素の横方向の列は、過去画像を表しており、最も下側の画素の横方向の列はフレームＮの入力画像を表している。また、過去画像と入力画像との間の画素の横方向の列のそれぞれは、生成された遷移画像を表している。
【０１４３】
例えば、遷移画像上の画素Ｇ２１と同じ位置にある視覚画像上の画素の画素値を算出する場合を考える。例えば、過去画像の画素Ｇ２２により表示されていた移動物体の部分が、入力画像では、画素Ｇ２３により表示されるとし、画素Ｇ２３の動きベクトルの方向を示す矢印、すなわち観察者の視線の移動の方向を示す矢印上に位置する画素（観察者が目で追った画素）が、画素Ｇ２１を含む領域Ｒ６１内の画素であるとする。
【０１４４】
図１４Ｂの例では、過去画像、各遷移画像、および入力画像のそれぞれにおいて、領域Ｒ６１内に位置する各画像上の画素の数は、１つずつとなっている。
【０１４５】
この場合、画素Ｇ２１と同じ位置にある視覚画像上の画素の画素値は、過去画像、遷移画像、および入力画像における領域Ｒ６１内の画素の画素値のそれぞれの平均値であるので、領域６１内に位置する画素が追従画素とされ、動き補償部２４は、動きベクトル検出部２１から供給された動きベクトルに基づいて、応答モデル保持部２３から供給された入力画像、過去画像、および遷移画像のそれぞれにおける追従画素の画素値を算出する。
【０１４６】
図９のフローチャートの説明に戻り、視覚画像の各画素について、追従画素の画素値が算出されると、ステップＳ１５において、積分部２５は、動き補償部２４から供給された追従画素の画素値を積分することにより、視覚画像を生成し、生成した視覚画像を差分補償部２６に供給する。
【０１４７】
例えば、積分部２５は、視覚画像上の注目している１つの画素を注目画素とすると、その注目画素に対する過去画像、各遷移画像、および入力画像の追従画素の画素値のそれぞれの平均値を算出し、算出された平均値を注目画素の画素値とし、そのようにして視覚画像上の各画素の画素値を算出して視覚画像を生成する。
【０１４８】
ステップＳ１６において、差分補償部２６は、供給された入力画像と、積分部２５から供給された視覚画像とに基づいて差分補償を行い、表示画像を生成する。差分補償部２６は、生成した表示画像を表示部１２に供給して画像を表示させ、表示画像生成処理は終了する。
【０１４９】
例えば、差分補償部２６は、入力画像の所定の画素ＧＩｎの画素値をＩｎ、画素ＧＩｎと同じ位置にある視覚画像上の画素ＧＦの画素値をＦ、画素ＧＩｎと同じ位置にある表示画像上の画素ＧＯｔの画素値をＯｔとすると、式（３）を計算することで表示画像の画素ＧＯｔの画素値Ｏｔを算出し、表示画像を生成する。
【０１５０】
Ｏｔ＝Ｉｎ＋（Ｉｎ−Ｆ）                                          ・・・（３）
【０１５１】
差分補償部２６は、式（３）を表示画像の画素ごとに計算して画素値を求めることにより、表示画像を生成する。換言すれば、差分補償部２６は、入力画像の画像信号と、視覚画像の画像信号との差分を補正値として算出し、算出された補正値を、入力画像の画像信号に足し込んで入力画像を補正することにより、表示画像を生成する。
【０１５２】
このようにして、画像処理装置１１は、入力画像を基に、入力画像が表示されたときに人間の目が知覚すると予測される画像である視覚画像を生成し、視覚画像と入力画像とから表示画像を生成する。
【０１５３】
このように、入力画像を基に視覚画像を生成し、生成した視覚画像と入力画像とから表示画像を生成することで、表示部１２に表示される画像を観察者が見たときに、入力画像が表示されているように知覚させる表示画像を簡単に生成することができる。その結果、より簡単に画質の劣化を改善することができる。
【０１５４】
すなわち、オーバードライブなどの技術においては、表示装置の特性による画質の劣化を補う補正が入力画像に行われるのに対して、画像処理装置１１においては、表示部１２を観察する観察者の視覚特性により観察者が感じる、画像の画質の劣化を補う補正が入力画像に対して行われるので、観察者に入力画像により近い画像を知覚させる表示画像を表示させることができる。
【０１５５】
また、ホールド型の表示装置における動きぼけによる画質の劣化は、表示装置の応答速度が０となっても生じるが、視覚画像と入力画像とから表示画像を生成することによって、動きぼけによる画質の劣化を確実に改善することができる。さらに、フレーム倍速により画像を補間した場合においても、視覚画像と入力画像とから表示画像を生成することで、動きぼけによる画質の劣化を改善し、フレーム倍速による効果をより発揮させることができる。
【０１５６】
なお、以上においては、人間の目はフレームの中間の位相を追うと説明したが、実際には個人差もあるため、視覚画像の位相は、必ずしもフレームの中間の位相がよいとは限らない。例えば、図１４Ｂに示した過去画像と入力画像とから視覚画像を生成する場合、視覚画像の位相は、過去画像と入力画像との間の位相であれば任意の位相とすることができる。
【０１５７】
例えば、視覚画像の位相をより入力画像に近い位相とすると、すなわち生成しようとする表示画像の画素の位置を、領域Ｒ６１内のより下側に位置する画素と同じ位置とすると、入力画像と視覚画像との差分がより小さくなるので、画質の劣化の改善効果はより小さくなる。
【０１５８】
反対に、視覚画像の位相をより入力画像から遠い位相とすると、すなわち生成しようとする表示画像の画素の位置を、領域Ｒ６１内のより上側に位置する画素と同じ位置とすると、入力画像と視覚画像との差分がより大きくなるので、画質の劣化の改善効果はより大きくなる。
【０１５９】
画像処理装置１１では、視覚画像を用いた画質の劣化の改善には、人間の視覚特性を利用しているので、個人差やエンハンス調整のために視覚画像の位相や追従画素とされる画素の個数などを任意に設定できるようにしてもよい。
【０１６０】
次に、図１５を参照して、図９のステップＳ１２乃至ステップＳ１５において行われる処理を、より詳細に説明する。なお、図１５Ａ乃至図１５Ｄにおいて、縦方向は、時間を示しており、横方向は空間方向、すなわち画像上の位置を示している。また、１つの円は１つの画素を表している。
【０１６１】
さらに、図１５Ａ乃至図１５Ｄにおいて、最も上側の画素の列は、過去画像を表しており、最も下側の画素の列は入力画像を表している。また、過去画像と入力画像との間の画素の横方向の列のそれぞれは、生成された遷移画像を表しており、矢印Ｑ３１は、図示されている入力画像の各画素の動きベクトルの大きさと方向を示している。つまり、図１５Ａ乃至図１５Ｄに図示されている入力画像の各画素の動きベクトルは同じとされる。
【０１６２】
なお、縦方向は時間を示しているので、動きベクトルの方向は、実際には図中、横方向となる。したがって、矢印Ｑ３１は、より詳細には各フレームの画像上の、そのフレームが表示される時刻における動きベクトルにより示される画素を結んだ矢印、つまり各フレームの画像上における観察者が目で追っている画素を結んだ矢印を示している。
【０１６３】
動きベクトルが検出されると、動き補償部２２は、過去画像を生成する。例えば、動き補償部２２は、図１５Ａに示すように、矢印Ｑ３１により示される動きベクトルの方向と逆方向で、動きベクトルと同じ大きさの矢印を矢印Ｑ３２とすると、入力画像上の所定の領域Ｒ８１の中心の位置（中心に最も近い画素）を、矢印Ｑ３２により示される方向に、移動させた位置にある過去画像上の画素Ｇ５１、より詳細には領域Ｒ８１の中心の位置から動きベクトルにより示される方向と反対方向に、その動きベクトルの大きさの分だけ離れた位置と同じ位置にある過去画像上の画素Ｇ５１の画素値を、領域Ｒ８１内の４つの画素の画素値を用いて求める。
【０１６４】
動き補償部２２は、例えば、バイキュービックフィルタなどの位相シフトフィルタを用いて、領域Ｒ８１内の４つの画素の画素値それぞれに、矢印Ｑ３１により示される動きベクトルにより定められる、画素以下の動きを補償するための係数を乗算し、係数が乗算された画素値のそれぞれの和を計算することにより、画素Ｇ５１の画素値を求める。
【０１６５】
なお、説明を簡単にするため、図１５Ａでは４つの画素を用いて画素Ｇ５１の画素値の計算を行っているが、より詳細には、画素Ｇ５１の画素値を求める計算は、図１５Ａ中、横方向だけでなく、入力画像上の他の方向、例えば縦４画素、横４画素の正方形の領域内の各画素が用いられて行われる。
【０１６６】
ここで、図１６を参照して、バイキュービックフィルタについて説明する。なお、図１６において、１つの円は、１つの画素を表している。また、図中、左から右に向かう方向をｘ方向とし、上から下に向かう方向をｙ方向とする。
【０１６７】
図１６では、画素Ｇ（−１，−１）乃至画素Ｇ（２，２）がｘ方向およびｙ方向に並べられている。例えば、これらの画素Ｇ（−１，−１）乃至画素Ｇ（２，２）から、図１６の中心に位置する、仮想的に想定された画素Ｇ７１の画素値ｆ’（Ｇ）は、各画素Ｇ（ｉ，ｊ）の画素値をｆ（ｉ，ｊ）とし、各画素値ｆ（ｉ，ｊ）に乗算されるバイキュービックフィルタの位相シフト係数をＷ（ｉ，ｊ）とすると（但し、−１≦ｉ≦２，−１≦ｊ≦２）、式（４）により求められる。
【０１６８】
【数１】
2008193487.tif 000003
・・・（４）
【０１６９】
なお、式（４）において、Σは、位相シフト係数Ｗ（ｉ，ｊ）および画素値ｆ（ｉ，ｊ）の変数ｉまたはｊを、−１から２まで変えて総和をとることを表している。すなわち、画素Ｇ７１の画素値ｆ’（Ｇ）は、位相シフト係数をＷ（ｉ，ｊ）が乗算された各画素Ｇ（ｉ，ｊ）の画素値ｆ（ｉ，ｊ）の総和を計算することにより求められる。
【０１７０】
また、各画素Ｇ（ｉ，ｊ）に乗算される重み、つまり位相シフト係数Ｗ（ｉ，ｊ）は、各画素Ｇ（ｉ，ｊ）についての位相シフト係数Ｗ（ｉ，ｊ）のｘ方向の成分Ｗｘ、およびｙ方向の成分Ｗｙの積により求められる。すなわち、位相シフト係数Ｗ（ｉ，ｊ）は、式（５）により求められる。
【０１７１】
Ｗ（ｉ，ｊ）＝Ｗｘ×Ｗｙ                                          ・・・（５）
【０１７２】
さらに、画素Ｇ７１に近接する画素Ｇ（０，０）、画素Ｇ（１，０）、画素Ｇ（０，１）、および画素Ｇ（１，１）のそれぞれは、第一次近傍の画素と呼ばれ、第一次近傍の画素Ｇ（ｉ，ｊ）についての位相シフト係数Ｗ（ｉ，ｊ）のｘ成分Ｗｘ、およびｙ成分Ｗｙのそれぞれは、画素Ｇ（０，０）から画素Ｇ７１までのｘ方向の距離をｄｘとし、ｙ方向の距離をｄｙとすると、式（６）および式（７）により求められる。
【０１７３】
Ｗｘ＝（ｄｘ−１）（ｄｘ2−ｄｘ−１）                            ・・・（６）
【０１７４】
Ｗｙ＝（ｄｙ−１）（ｄｙ2−ｄｙ−１）                            ・・・（７）
【０１７５】
また、図１６中、第一次近傍の外側に位置する画素Ｇ（−１，−１）、画素Ｇ（０，−１）、画素Ｇ（１，−１）、画素Ｇ（２，−１）、画素Ｇ（−１，０）、画素Ｇ（２，０）、画素Ｇ（−１，１）、画素Ｇ（２，１）、画素Ｇ（−１，２）、画素Ｇ（０，２）、画素Ｇ（１，２）、および画素Ｇ（２，２）のそれぞれは、第二次近傍の画素と呼ばれ、第二次近傍の画素Ｇ（ｉ，ｊ）についての位相シフト係数Ｗ（ｉ，ｊ）のｘ成分Ｗｘ、およびｙ成分Ｗｙのそれぞれは、画素Ｇ（０，０）から画素Ｇ７１までのｘ方向の距離ｄｘと、ｙ方向の距離ｄｙとを用いて、式（８）および式（９）により求められる。
【０１７６】
Ｗｘ＝−（ｄｘ−１）（ｄｘ−２）2                                ・・・（８）
【０１７７】
Ｗｙ＝−（ｄｙ−１）（ｄｙ−２）2                                ・・・（９）
【０１７８】
このように、バイキュービックフィルタにより、所望する位相の画素Ｇ７１の画素値ｆ’（Ｇ）が求められる場合、式（４）が計算されて画素値ｆ’（Ｇ）が求められる。したがって、例えば、動き補償部２２がバイキュービックフィルタを用いて、図１５Ａの画素Ｇ５１の画素値を求める場合、動き補償部２２は、式（４）を計算して画素以下の動きの補償を行い、過去画像の各画素の画素値を求める。そのような場合、例えば図１５Ａの画素Ｇ５１は、図１６の画素Ｇ７１に対応し、図１５Ａの領域Ｒ８１内の画素が、図１６の各画素Ｇ（ｉ，ｊ）に対応する。したがって、画素Ｇ（０，０）に対応する領域Ｒ８１内の画素から、画素Ｇ７１に対応する図１５Ａの画素Ｇ５１までのｘ方向およびｙ方向の距離が、動き補償における画素Ｇ５１の画素以下の動き量（距離）とされる。
【０１７９】
図１５の説明に戻り、過去画像の各画素の画素値が算出され、過去画像が生成されると、応答モデル保持部２３は、保持している応答モデルを用いて遷移画像を生成する。
【０１８０】
例えば、図１５Ｂに示すように、応答モデル保持部２３は、矢印Ｆ３１により示されるフレーム、つまり遷移画像のうち、図中、下から３番目のフレームの遷移画像の各画素の画素値を応答モデルを用いて求める。例えば応答モデル保持部２３は、入力画像上の所定の領域Ｒ８２内の４つの画素の画素値と、領域Ｒ８２と同じ位置にある過去画像上の領域Ｒ８３内の４つの画素の画素値とから、応答モデルを用いて、矢印Ｆ３１により示される遷移画像の領域Ｒ８４内の４つの画素の画素値のそれぞれを求める。ここで、領域Ｒ８２乃至領域Ｒ８４のそれぞれは、入力画像、過去画像、および遷移画像における同じ位置にある領域とされている。
【０１８１】
具体的には、例えば、過去画像のフレームをフレーム１、すなわち１番目のフレームとし、フレーム１の次のフレーム、つまり図１５Ｂにおいて、過去画像の図中、１つ下に位置する遷移画像のフレームをフレーム２として、入力画像のフレームまで、順番にフレーム３、フレーム４・・・フレームｍ・・・フレームＳｍ（但し、１≦ｍ≦Ｓｍ）とすると、応答モデル保持部２３は、ｍ番目のフレーム（フレームｍ）の遷移画像の所定の画素の画素値ｆｓ（ｍ）を、式（１０）を計算することにより求める。
【０１８２】
ｆｓ（ｍ）＝ｆn-1＋Ｒ（ｍ）×（ｆn−ｆn-1）                    ・・・（１０）
【０１８３】
ここで、式（１０）において、ｆn-1およびｆnは、これから求めようとする遷移画像の画素と同じ位置にある過去画像の画素の画素値、および入力画像の画素の画素値を示している。すなわち、画素値ｆn-1および画素値ｆnは、フレーム１の過去画像の画素値ｆｓ（１）、およびフレームＳｍの入力画像の画素値ｆｓ（Ｓｍ）を示している。
【０１８４】
また、Ｒ（ｍ）は、画素値ｆnと画素値ｆn-1との差分（ｆn−ｆn-1）に対する、フレーム番号ｍの画素の画素値と画素値ｆn-1との差分の割合（比）を示しており、この画素値の差分の割合Ｒ（ｍ）は、応答モデルおよび遷移画像のフレームの番号ｍにより定まる。したがって、例えば、図１１の時間“０”をフレーム１の過去画像の表示時刻とし、時間“２４”をフレームＳｍの入力画像の表示時刻とした場合、曲線Ｌ７１のフレームｍの表示時刻により定まる時間における輝度値と、曲線Ｌ７１の時間“０”における輝度値との差分の値を、曲線Ｌ７１の時間“２４”における輝度値と、曲線Ｌ７１の時間“０”における輝度値との差分の値で除算して得られる値が、フレームの番号ｍに対する差分の割合Ｒ（ｍ）の値とされる。
【０１８５】
なお、応答モデルにより定まる差分の割合Ｒ（ｍ）は、フレーム番号ｍに対して差分の割合の値が得られるテーブルまたは関数とすることができる。
【０１８６】
また、より詳細には、例えば、遷移画像の縦４画素、横４画素の正方形の領域内の１６画素を処理単位として、各画素の画素値が求められる。つまり、１度の処理によって１６個の画素の画素値が同時に求められる。
【０１８７】
さらに、図１５Ｂでは、１５枚の遷移画像が示され、１フレームが１６分割されているが、４分割とされてもよいし、６４分割とされてもよい。ここで、１フレームをより大きい数に分割すると、より精度のよい視覚画像を得ることができる。
【０１８８】
次に、動き補償部２４は、これから生成しようとする視覚画像の各画素について、追従画素の画素値を求める。
【０１８９】
例えば、図１５Ｃに示すように、動き補償部２４は、入力画像と過去画像の中間の位相、すなわち矢印Ｆ３２により示されるフレームの視覚画像を生成する。ここで、動き補償部２４が入力画像上の画素Ｇ６１と同じ位置にある視覚画像上の画素の画素値を求める場合を考える。
【０１９０】
まず、動き補償部２４は、画素Ｇ６１と同じ位置にある、矢印Ｆ３２により示されるフレームの遷移画像上の画素Ｇ６２が、動きベクトルの方向を示す矢印Ｑ３１上に位置するように、矢印Ｑ３１を画素以下の精度で図中、左右方向に移動させて、各フレームの画像における矢印Ｑ３１上の画素の画素値を、追従画素の画素値として求める。
【０１９１】
すなわち、例えば、動き補償部２４は、バイキュービックフィルタなどの位相シフトフィルタを用いて、矢印Ｆ３３により示されるフレームの遷移画像上における矢印Ｑ３１付近の領域Ｒ８５内の４つの画素の画素値のそれぞれに、矢印Ｑ３１により示される動きベクトルにより定められる、画素以下の動きを補償するための位相シフト係数を乗算し、位相シフト係数が乗算された画素値のそれぞれの和を計算することにより、矢印Ｆ３３により示されるフレームの遷移画像についての追従画素Ｇ６３の画素値を求める。
【０１９２】
ここで、追従画素の画素値を求めるために、矢印Ｑ３１付近のいくつかの画素を用いるのは、必ずしも矢印Ｑ３１上に各遷移画像の画素が位置するとは限らないからである。なお、追従画素Ｇ６３は、正確には矢印Ｑ３１上に位置するが、ここでは、説明のため、視覚画像の求めようとしている画素と同じ位置、すなわち画素Ｇ６１と同じ位置に図示されている。
【０１９３】
また、説明を簡単にするため、図１５Ｃでは４つの画素を用いて追従画素の画素値の計算を行っているが、より詳細には、過去画像の画素の画素値の計算と同様に、図１５Ｃ中、横方向だけでなく、遷移画像上の他の方向、例えば縦４画素、横４画素の正方形の領域内の各画素が用いられて行われる。
【０１９４】
すなわち、より具体的には、例えば過去画像のフレームをフレーム１として、過去画像のフレームから入力画像のフレームまでのフレームを順番にフレーム１・・・フレームｍ・・・フレームＳｍ（但し、１≦ｍ≦Ｓｍ）とし、図中、左から右方向をｘ方向、上から下方向をｙ方向として、矢印Ｑ３１により示される動きベクトルをＭＶ（ｘ，ｙ）＝（ｖｘ，ｖｙ）とすると、動き補償部２４は、動きベクトルＭＶ（ｘ，ｙ）に基づいて、フレームｍの遷移画像（より詳細には、過去画像、遷移画像、または入力画像のいずれか）における追従画素の位置を定める。なお、以下の説明において、図１５におけるｘ方向およびｙ方向は、図１６におけるｘ方向およびｙ方向に対応しているものとする。
【０１９５】
例えば、入力画像と過去画像の中間の位相のフレームの視覚画像を生成する場合、フレームｍの遷移画像の追従画素の位置が、遷移画像における、これから求めようとする視覚画像の画素と同じ位置にある画素を、ｘ方向にｖｘ’（ｍ）、ｙ方向にｖｙ’（ｍ）だけ移動させた位置であるとすると、動き補償部２４は、ｘ方向の移動量ｖｘ’（ｍ）、およびｙ方向の移動量ｖｙ’（ｍ）を、それぞれ式（１１）、および式（１２）を計算して求める。
【０１９６】
ｖｘ’（ｍ）＝ｖｘ×（ｍ−Ｓｈ）／Ｓｍ                          ・・・（１１）
【０１９７】
ｖｙ’（ｍ）＝ｖｙ×（ｍ−Ｓｈ）／Ｓｍ                          ・・・（１２）
【０１９８】
ここで、式（１１）および式（１２）において、ｍはフレームの番号、つまり追従画素を求める遷移画像のフレームが、何番目のフレームであるかを示しており、Ｓｍは、過去画像から入力画像までのフレーム数、つまり入力画像のフレーム番号を示している。また、Ｓｈは、視覚画像の位相のフレームの番号、つまり視覚画像の位相に対応する遷移画像のフレームの番号を示している。なお、以下、視覚画像の位相のフレームの番号Ｓｈを、適宜、視覚画像の位相値Ｓｈとも称する。
【０１９９】
したがって、例えば、図１５Ｃにおいて、入力画像と過去画像の中間の位相の視覚画像を生成する場合、入力画像と過去画像の中間の位相に対応する遷移画像のフレーム、つまり過去画像のフレームと、入力画像のフレームとの中間にある矢印Ｆ３２により示されるフレームの番号は、８であるので、位相値Ｓｈ＝８とされる。
【０２００】
動き補償部２４は、これから求める視覚画像の画素と同じ位置の遷移画像上の画素を、ｘ方向およびｙ方向に、ｖｘ’（ｍ）およびｖｙ’（ｍ）だけ移動させた位置の遷移画像上の画素の画素値を、位相シフトフィルタを用いた動き補償を行って求める。
【０２０１】
例えば、位相シフトフィルタとして、バイキュービックフィルタが用いられる場合、動き補償部２４は、図１６を参照して説明した位相シフト係数Ｗ（ｉ，ｊ）を用いて、式（１３）を計算することにより、フレームｍの遷移画像（より詳細には、過去画像、遷移画像、または入力画像）上の追従画素の画素値ｆｓ’（ｍ）を求める。
【０２０２】
【数２】
2008193487.tif 000004
・・・（１３）
【０２０３】
ここで、式（１３）において、Σは、位相シフト係数Ｗ（ｉ，ｊ）、および遷移画像上の画素の画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））の変数ｉまたはｊを、−１から２まで変えて総和をとることを表している。
【０２０４】
なお、画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））は、図１６の画素Ｇ（ｉ，ｊ）を、フレームｍの遷移画像上の画素とし、画素Ｇ（０，０）を、これから求める視覚画像の画素と同じ位置にある遷移画像の画素とした場合に、画素Ｇ（ｉ，ｊ）をｘ方向およびｙ方向に移動量ｖｘ’（ｍ）およびｖｙ’（ｍ）だけ移動させた位置にある画素Ｇ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））の画素値を示している。
【０２０５】
また、より詳細には、画素Ｇ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））は、これから求めようとする追従画素を示しており、式（１３）において、画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））における移動量ｖｘ’（ｍ）およびｖｙ’（ｍ）の小数点以下の値は切り捨てられる。さらに、画素Ｇ（０，０）を、移動量ｖｘ’（ｍ）およびｖｙ’（ｍ）の小数点以下の値だけ、ｘ方向およびｙ方向に移動させた位置が画素Ｇ７１の位置とされる。
【０２０６】
このようにして、式（１３）が計算され、追従画素Ｇ６３の画素値が求められると、さらに、図１５Ｄに示すように、動き補償部２４は、追従画素Ｇ６３の画素値と同様にして、各フレームの画像上における矢印Ｑ３１付近の領域内のいくつかの画素の画素値のそれぞれに、矢印Ｑ３１により示される動きベクトルの画素以下の動きにより定められる位相シフト係数を乗算し、位相シフト係数が乗算された画素値のそれぞれの和を計算することにより、各画像上の追従画素の画素値を求める。
【０２０７】
すなわち、領域Ｒ８６内に並べられて示される、入力画像についての追従画素、各遷移画像のそれぞれについての追従画素のそれぞれ、および過去画像についての追従画素の計１７個の追従画素の画素値のそれぞれが、動き補償部２４により求められる。そして、積分部２５により、これらの求められた１７個の追従画素の画素値の平均値が求められ、その求められた平均値が、画素Ｇ６１と同じ位置にある視覚画像の画素の画素値とされる。
【０２０８】
なお、各追従画素は、正確には矢印Ｑ３１上に位置するが、ここでは、説明のため、視覚画像の求めようとしている画素と同じ位置、すなわち図１５Ｃの画素Ｇ６１と同じ位置に図示されている。
【０２０９】
また、より具体的には、例えば、動き補償部２４は、上述した式（１３）を計算して、各フレームの過去画像、遷移画像、または入力画像について、各フレームの画像の追従画素の画素値ｆｓ’（ｍ）を求める。そして、積分部２５は、求められた各追従画素の画素値ｆｓ’（ｍ）（但し、１≦ｍ≦Ｓｍ）と、過去画像から入力画像までのフレーム数Ｓｍとから、式（１４）を計算することにより視覚画像の画素値Ｆを求める。
【０２１０】
【数３】
2008193487.tif 000005
・・・（１４）
【０２１１】
ここで、式（１４）において、Σは、追従画素の画素値ｆｓ’（ｍ）の変数ｍを、１からＳｍまで変えて総和をとることを表している。積分部２５は、視覚画像上の各画素について、式（１４）を計算し、視覚画像の各画素の画素値を求めて、視覚画像を生成する。
【０２１２】
なお、図１５においては、入力画像と過去画像との中間の位相の視覚画像が生成される例について説明したが、視覚画像の位相は任意の位相とすることができる。すなわち、表示部１２に過去画像がされた後、入力画像が表示された場合に、過去画像から入力画像に表示が切り換わるまでの任意の時刻を選択し、その時刻を選択位相時刻と呼ぶこととすると、画像処理装置１１は、選択位相時刻を中心とする所定の期間内の各時刻に表示部１２に表示される入力画像、過去画像、または遷移画像の観察者が目で追うと予測される画素、つまり追従画素の画素値の平均値を、選択位相時刻に表示される遷移画像上の追従画素と同じ位置にある視覚画像上の画素の画素値とする。
【０２１３】
したがって、図１５における例では、選択位相時刻が図１５Ｃの矢印Ｆ３２により示されるフレームの遷移画像が表示される時刻とされ、選択位相時刻を中心とする期間は、過去画像が表示されてから入力画像が表示されるまでの期間とされる。また、選択位相時刻を中心とする期間も任意の期間とされてもよく、その期間の中心の時刻が選択位相時刻でなくてもよい。
【０２１４】
ところで、以上において説明した遷移画像は、入力画像および入力画像の画素の動きベクトルと、その画素の応答特性とを用いて得ることができるので、画像処理装置１１に１フレーム分の入力画像が供給されると、その入力画像に対する視覚画像を生成するために、供給されたフレームより時間的に前または後のフレームの入力画像は必要とされない。
【０２１５】
したがって、入力画像の所定の領域内の画素の画素値のそれぞれに、応答モデルと動きベクトルとから定まる係数を乗算し、係数が乗算された画素値のそれぞれの和を求めることにより、入力画像に対する視覚画像上の所定の画素の画素値を求めることができる。
【０２１６】
そこで、画像処理装置１１において、表示部１２の応答特性を示す応答モデルと、入力画像の動きベクトルとが用いられて、視覚画像を得るための係数である画像生成係数が生成され、その画像生成係数と入力画像とにより視覚画像が生成されるようにしてもよい。
【０２１７】
そのような場合、画像処理装置１１は、例えば、図１７に示すように構成される。なお、図１７において、図５における場合と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
【０２１８】
画像処理装置１１は、動きベクトル検出部２１、応答モデル保持部５１、位相シフト係数保持部５２、係数生成部５３、および積和演算部５４から構成される。
【０２１９】
図１７に示す画像処理装置１１においては、入力画像が動きベクトル検出部２１および積和演算部５４に供給される。
【０２２０】
動きベクトル検出部２１は、供給された入力画像から動きベクトルを検出し、検出された動きベクトルを係数生成部５３および積和演算部５４に供給する。応答モデル保持部５１は、表示部１２の応答特性を示す応答モデルを保持しており、保持している応答モデルを係数生成部５３に供給する。
【０２２１】
位相シフト係数保持部５２は、動きベクトルにより定められる画素以下の動きを補償するための係数である位相シフト係数を保持し、保持している位相シフト係数を係数生成部５３に供給する。ここで、位相シフト係数保持部５２が保持している位相シフト係数は、例えば、図１６を参照して説明した動き補償に用いられるバイキュービックフィルタなどの位相シフトフィルタの位相シフト係数Ｗ（ｉ，ｊ）とされる。
【０２２２】
係数生成部５３は、動きベクトル検出部２１から供給された動きベクトル、応答モデル保持部５１から供給された応答モデル、および位相シフト係数保持部５２から供給された位相シフト係数を用いて、画像生成係数を生成し、積和演算部５４に供給する。
【０２２３】
積和演算部５４は、供給された入力画像、動きベクトル検出部２１から供給された動きベクトル、および係数生成部５３から供給された画像生成係数を用いて、視覚画像を生成する。また、積和演算部５４は、入力画像と、生成した視覚画像とに基づいて差分補償を行い、表示画像を生成する。さらに、積和演算部５４は、生成した表示画像を表示部１２に供給して表示画像を表示させる。
【０２２４】
ここで、画像生成係数について説明する。係数生成部５３は、動きベクトル検出部２１により検出された動きベクトルごとに異なる画像生成係数を生成する。視覚画像上の１つの画素の画素値を求めるための画像生成係数は、入力画像の所定の領域内の画素ごとの係数からなる。
【０２２５】
視覚画像の１つの画素の画素値が算出される場合、例えば、入力画像の所定の領域内の画素のそれぞれに乗算される画像生成係数のそれぞれのうちの一部または全部が用いられて画素値が算出される。例えば、入力画像上の縦４画素×横４画素の合計１６個の画素の画素値が用いられて視覚画像の１つの画素の画素値が算出される場合、図１５における入力画像の所定の領域内の縦（すなわちｙ方向）４個×横（すなわちｘ方向）４個の合計１６個の画像生成係数のそれぞれが、対応する１６個の入力画像の画素の画素値のそれぞれに乗算され、画像生成係数が乗算された画素値の和が求められて、１つの視覚画像の画素の画素値とされる。
【０２２６】
これらの画像生成係数のうち、どの画像生成係数が用いられるかは、動きベクトル検出部２１により検出された、これから画素値を求めようとする視覚画像の画素と同じ位置にある入力画像上の画素の動きベクトルによって定められる。
【０２２７】
例えば、視覚画像の１つの画素の画素値の算出に、画像生成係数のうちの２８個の画像生成係数が用いられる場合、つまり、入力画像上の２８画素の画素値が用いられる場合、積和演算部５４は、図１８に示すように構成される。
【０２２８】
図１８に示す積和演算部５４は、積和器８１−１−１乃至積和器８１−７−４、視覚画像生成部８２、および差分補償部８３を有している。
【０２２９】
積和演算部５４は、動きベクトル検出部２１から供給された動きベクトルを用いて、供給された入力画像の画素のうち、積和器８１−１−１乃至積和器８１−７−４のそれぞれに画素値を供給する画素を定め、定められた画素の画素値のそれぞれを積和器８１−１−１乃至積和器８１−７−４のそれぞれに供給する。
【０２３０】
また、積和演算部５４は、動きベクトル検出部２１から供給された動きベクトルを用いて、係数生成部５３から供給された画像生成係数のうち、積和器８１−１−１乃至積和器８１−７−４のそれぞれに供給する画像生成係数を定め、定められた画像生成係数のそれぞれを積和器８１−１−１乃至積和器８１−７−４のそれぞれに供給する。
【０２３１】
ここで、図１８中、横方向に並べられた積和器、例えば積和器８１−１−１乃至積和器８１−１−４のそれぞれに供給される画像生成係数は、図１５におけるｘ方向に並べられた互いに隣接する画素に対応する画像生成係数とされる。また、縦方向に並べられた積和器、例えば積和器８１−１−１乃至積和器８１−７−１のそれぞれに供給される画像生成係数は、図１５におけるｙ方向に並べられた互いに隣接する画素に対応する画像生成係数とされる。
【０２３２】
図１８中、縦方向に並べられた７つの積和器８１−１−１乃至積和器８１−７−１のそれぞれは、積和演算部５４から供給された画素の画素値のそれぞれに、積和演算部５４から供給された画像生成係数のそれぞれを乗算して、画像生成係数が乗算された画素値のそれぞれを、縦方向に並べられた７つの積和器８１−１−２乃至積和器８１−７−２のそれぞれに供給する。
【０２３３】
図中、縦方向に並べられた７つの積和器８１−１−２乃至積和器８１−７−２のそれぞれは、積和演算部５４から供給された画素の画素値のそれぞれに、積和演算部５４から供給された画像生成係数のそれぞれを乗算して得られた画素値のそれぞれに、縦方向に並べられた７つの積和器８１−１−１乃至積和器８１−７−１のそれぞれから供給された画素値のそれぞれを加算して、縦方向に並べられた７つの積和器８１−１−３乃至積和器８１−７−３のそれぞれに供給する。
【０２３４】
図中、縦方向に並べられた７つの積和器８１−１−３乃至積和器８１−７−３のそれぞれは、積和演算部５４から供給された画素の画素値のそれぞれに、積和演算部５４から供給された画像生成係数のそれぞれを乗算して得られた画素値のそれぞれに、縦方向に並べられた７つの積和器８１−１−２乃至積和器８１−７−２のそれぞれから供給された画素値のそれぞれを加算して、縦方向に並べられた７つの積和器８１−１−４乃至積和器８１−７−４のそれぞれに供給する。
【０２３５】
図中、縦方向に並べられた７つの積和器８１−１−４乃至積和器８１−７−４のそれぞれは、積和演算部５４から供給された画素の画素値のそれぞれに、積和演算部５４から供給された画像生成係数のそれぞれを乗算して得られた画素値のそれぞれに、縦方向に並べられた７つの積和器８１−１−３乃至積和器８１−７−３のそれぞれから供給された画素値のそれぞれを加算して、視覚画像生成部８２に供給する。
【０２３６】
視覚画像生成部８２は、積和器８１−１−４乃至積和器８１−７−４のそれぞれから供給された画素値のそれぞれを加算して得られた値を、視覚画像の１つの画素の画素値とし、視覚画像上の各画素の画素値を求めることにより、視覚画像を生成する。視覚画像生成部８２は、生成した視覚画像を差分補償部８３に供給する。
【０２３７】
なお、以下、積和器８１−１−１乃至積和器８１−７−４のそれぞれを個々に区別する必要のない場合、単に積和器８１と称する。
【０２３８】
差分補償部８３は、視覚画像生成部８２から供給された視覚画像と、積和演算部５４から供給された入力画像とを用いて差分補償を行い、表示画像を生成する。そして、差分補償部８３は、生成した表示画像を表示部１２に供給して表示画像を表示させる。
【０２３９】
ところで、画像生成係数は、図１５を参照して説明した処理が逆の手順で行われることにより生成される。
【０２４０】
例えば、視覚画像上の所定の画素の画素値Ｆは、上述した式（１４）により求まるので、画素値Ｆを求めるための画像生成係数は、予め求められた視覚画像と、その視覚画像の各画素における動きベクトルＭＶ（ｘ，ｙ）とから求められる。
【０２４１】
すなわち、式（１４）により示される画素値Ｆは、過去画像から入力画像までのフレーム数Ｓｍと、各フレームｍ（但し、１≦ｍ≦Ｓｍ）の追従画素の画素値ｆｓ’（ｍ）とから求められ、フレーム数Ｓｍは、予め定められている。
【０２４２】
また、位相シフト係数保持部５２から供給される位相シフト係数が、バイキュービックフィルタの位相シフト係数である場合、追従画素の画素値ｆｓ’（ｍ）は、式（１３）により表される。つまり、画素値ｆｓ’（ｍ）は、遷移画像（より詳細には、過去画像、遷移画像、または入力画像）上の画素の画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））と、位相シフト係数保持部５２から供給される位相シフト係数Ｗ（ｉ，ｊ）とにより表される。
【０２４３】
したがって、式（１４）の画素値ｆｓ’（ｍ）に、式（１３）を代入すると、視覚画像の画素の画素値Ｆは、式（１５）に示すように表される。
【０２４４】
【数４】
2008193487.tif 000006
・・・（１５）
【０２４５】
ここで、式（１５）において、遷移画像上の画素の画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））における、ｘ方向の移動量ｖｘ’（ｍ）およびｙ方向の移動量ｖｙ’（ｍ）は、式（１１）および式（１２）により表される。そして、式（１１）および式（１２）における動きベクトルＭＶ（ｘ，ｙ）のｘ成分ｖｘおよびｙ成分ｖｙは予め知られており、フレームの番号ｍ、フレーム数Ｓｍ、および視覚画像の位相値Ｓｈも予め定められているので、移動量ｖｘ’（ｍ）およびｖｙ’（ｍ）は、これらの既知の値を用いて求めることができる。
【０２４６】
また、遷移画像の画素の画素値ｆｓ（ｉ＋ｖｘ’（ｍ），ｊ＋ｖｙ’（ｍ））は、移動量ｖｘ’（ｍ）およびｖｙ’（ｍ）を動きベクトルにより定まる定数とみなすと、上述した式（１０）により求めることができる。ここで、差分の割合Ｒ（ｍ）は、応答モデル保持部５１に保持されている応答モデルから定まり、入力画像の画素の画素値ｆnは、予め知られている。
【０２４７】
また、式（１０）における過去画像の画素の画素値ｆn-1は、図１６の画素Ｇ（ｉ，ｊ）の画素値ｆ（ｉ，ｊ）に対応する入力画像の画素Ｇｎ（ａ，ｂ）の画素値をｆｓ（ａ，ｂ）とし、画素値ｆｓ（ａ，ｂ）に乗算されるバイキュービックフィルタの位相シフト係数をＷ（ａ，ｂ）とすると（但し、−１≦ａ≦２，−１≦ｂ≦２）、画素値ｆｓ（ａ，ｂ）、動きベクトルＭＶ（ｘ，ｙ）、およびフレーム１の過去画像の移動量ｖｘ’（１）並びにｖｙ’（１）から、式（１６）を計算することにより求められる。
【０２４８】
【数５】
2008193487.tif 000007
・・・（１６）
【０２４９】
ここで、画素Ｇｎ（０，０）は、これから求めようとする視覚画像の画素と同じ位置にある入力画像の画素とされる。また、より詳細には、式（１６）において、画素値ｆｓ（ａ＋ｖｘ’（１）＋ｖｘ，ｂ＋ｖｙ’（１）＋ｖｙ）における移動量ｖｘ’（１）＋ｖｘ、およびｖｙ’（１）＋ｖｙの小数点以下の値は切り捨てられる。
【０２５０】
このように、式（１５）により表される視覚画像の画素の画素値Ｆは、式（１０）および式（１６）から、応答モデルにより定まる差分の割合Ｒ（ｍ）と、バイキュービックフィルタの位相シフト係数（位相シフト係数Ｗ（ｉ，ｊ）および位相シフト係数Ｗ（ａ，ｂ））とが含まれている定数、および入力画像上のいくつかの画素の画素値を用いて表すことができる。
【０２５１】
すなわち、視覚画像の画素の画素値Ｆは、入力画像上の所定の画素の画素値をｆｃとし、画素値ｆｃに係る、差分の割合Ｒ（ｍ）および位相シフト係数が含まれる定数をＺｃとすると（但し、ｃは、任意の整数をｋとして、１≦ｃ≦ｋ）、式（１７）により表すことができる。
【０２５２】
【数６】
2008193487.tif 000008
・・・（１７）
【０２５３】
式（１７）において、視覚画像の画素の画素値Ｆは、定数Ｚｃと、入力画像の画素の画素値ｆｃとの積の総和により表されるので、定数Ｚｃは、動きベクトルＭＶ（ｘ，ｙ）により定まる画像生成係数に他ならない。したがって、この定数Ｚｃが、入力画像の各画素の画素値ｆｃに乗算される画像生成係数とされる。なお、定数Ｚｃには、未知数は含まれていないので、画像生成係数生成用のいくつかのサンプル、つまり動きベクトルＭＶ（ｘ，ｙ）の求められている視覚画像（より詳細には、予め動きベクトルＭＶ（ｘ，ｙ）の求められている入力画像から生成された視覚画像）を用いて、動きベクトルＭＶ（ｘ，ｙ）ごとに画像生成係数を求めることができる。
【０２５４】
次に、図１９のフローチャートを参照して、図１７に示した画像処理装置１１による表示画像生成処理について説明する。
【０２５５】
ステップＳ４１において、動きベクトル検出部２１は、供給された入力画像を用いて、例えばブロックマッチングや勾配法などにより動きベクトルを検出する。動きベクトル検出部２１は、検出した動きベクトルを係数生成部５３および積和演算部５４に供給する。
【０２５６】
ステップＳ４２において、係数生成部５３は、応答モデル保持部５１および位相シフト係数保持部５２から、応答モデルおよび位相シフト係数を取得し、取得した応答モデルおよび位相シフト係数と、動きベクトル検出部２１から供給された動きベクトルとを用いて、供給された動きベクトルの数だけ、それらの動きベクトルごとに画像生成係数を求める。例えば、係数生成部５３は、供給された動きベクトルごとに、予め動きベクトル（動きベクトル検出部２１から供給された動きベクトルと同じ大きさおよび方向の動きベクトル）が求められている画像生成係数生成用の視覚画像、供給された動きベクトル、応答モデル、および位相シフト係数を用いて、上述した式（１０）および式（１６）から、視覚画像の画素の画素値Ｆを表す式（１５）を式（１７）に変形し、式（１７）から画像生成係数を求める。そして、係数生成部５３は、画像生成係数を求めると、求めた画像生成係数を積和演算部５４に供給する。
【０２５７】
ステップＳ４３において、積和演算部５４は、動きベクトル検出部２１から供給された動きベクトル、係数生成部５３から供給された画像生成係数、および供給された入力画像を用いて、視覚画像を生成する。
【０２５８】
積和演算部５４は、動きベクトル検出部２１から供給された動きベクトルを用いて、図１８の積和器８１のそれぞれに供給する画像生成係数を選択する。
【０２５９】
例えば、入力画像上の所定の画素を基準として、基準となる画素、およびその画素に隣接して図１５のｘ方向に連続して並べられている３つの画素の合計４つの画素のそれぞれに対応する（乗算される）画像生成係数を、積和器８１−４−１乃至積和器８１−４−４のそれぞれに供給する画像生成係数として選択し、供給する。
【０２６０】
さらに、積和演算部５４は、基準となる画素を含む、ｘ方向に連続して並べられた４つの画素にｙ方向に隣接する４つの画素の位置から、動きベクトルにより定められる画素数分だけ左右方向にシフトされた位置の４つの画素のそれぞれの画像生成係数のそれぞれを、積和器８１−５−１乃至積和器８１−５−４のそれぞれに供給する画像生成係数として選択し、供給する。
【０２６１】
また、積和演算部５４は、積和器８１に供給した画像生成係数のそれぞれに対応する、入力画像の画素の画素値のそれぞれを積和器８１のそれぞれに供給する。そして、積和器８１は、積和演算部５４から供給された画素値に画像生成係数を乗算し、必要に応じて画像生成係数を乗算した画素値に、図１８中、左側に隣接する積和器８１から供給された画素値を加算して、図１８中、右側に隣接する積和器８１または視覚画像生成部８２に供給する。
【０２６２】
視覚画像生成部８２は、積和器８１−１−４乃至積和器８１−７−４のそれぞれから供給された画素値を加算して視覚画像の１つの画素の画素値とし、同様にして、順次、積和器８１−１−４乃至積和器８１−７−４から供給される画素値から視覚画像上の次の画素の画素値を求めていくことで、視覚画像を生成する。視覚画像生成部８２は、生成した視覚画像を差分補償部８３に供給する。
【０２６３】
図１９のフローチャートの説明に戻り、ステップＳ４４において、積和演算部５４は、生成した視覚画像と、供給された入力画像とを用いて差分補償を行い、表示画像を生成する。そして、積和演算部５４は、生成した表示画像を表示部１２に供給して、表示画像を表示させ、表示画像生成処理は終了する。例えば、積和演算部５４の差分補償部８３は、視覚画像と入力画像とから、上述した式（３）を計算することにより表示画像を生成する。
【０２６４】
このようにして、画像処理装置１１は、入力画像を基に視覚画像を生成し、視覚画像と入力画像とから表示画像を生成する。
【０２６５】
このように、入力画像を基に視覚画像を生成し、生成した視覚画像と入力画像とから表示画像を生成することで、表示部１２に表示される画像を観察者が見たときに、入力画像が表示されているように見える表示画像を簡単に生成することができる。その結果、より簡単に画質の劣化を改善することができる。
【０２６６】
なお、図１８に示した積和演算部５４においては、積和演算部５４が、動きベクトルに基づいて、積和器８１に供給する画像生成係数を選択すると説明したが、積和演算部５４に設けられる積和器８１の数を増やし、動きベクトルによらず、予め定められた位置の画像生成係数が積和器８１に供給されるようにしてもよい。
【０２６７】
そのような場合、積和演算部５４は、例えば図２０に示すように構成される。なお、図２０において、図１８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２６８】
図２０に示す積和演算部５４においては、積和器８１−１−４の図中、右側に、さらに（Ｎ−４）個の積和器８１−１−５乃至積和器８１−１−Ｎ（積和器８１−１−５乃至積和器８１−１−（Ｎ−１）は図示せず）が接続されており、同様に、積和器８１−２−４の右側には、さらに（Ｎ−４）個の積和器８１−２−５乃至積和器８１−２−Ｎ（積和器８１−２−５乃至積和器８１−２−（Ｎ−１）は図示せず）が接続されている。
【０２６９】
また、積和器８１−３−４乃至積和器８１−７−４のそれぞれの図中、右側に、さらに積和器８１−３−５乃至積和器８１−３−Ｎ（積和器８１−３−５乃至積和器８１−３−（Ｎ−１）は図示せず）、積和器８１−４−５乃至積和器８１−４−Ｎ（積和器８１−４−５乃至積和器８１−４−（Ｎ−１）は図示せず）、積和器８１−５−５乃至積和器８１−５−Ｎ（積和器８１−５−５乃至積和器８１−５−（Ｎ−１）は図示せず）、積和器８１−６−５乃至積和器８１−６−Ｎ（積和器８１−６−５乃至積和器８１−６−（Ｎ−１）は図示せず）、および積和器８１−７−５乃至積和器８１−７−Ｎ（積和器８１−７−５乃至積和器８１−７−（Ｎ−１）は図示せず）のそれぞれが接続されている。
【０２７０】
積和演算部５４は、例えば図１５における縦方向（ｙ方向）に７画素分、横方向（ｘ方向）にＮ画素分の長方形の領域内にある合計７Ｎ個の画像生成係数のそれぞれを、図２０に示す積和器８１−１−１乃至積和器８１−７−Ｎのそれぞれに供給する。
【０２７１】
また、積和演算部５４は、供給された入力画像の画素のうち、これから画素値を求めようとする視覚画像の画素と同じ位置の画素を含む、予め定められた領域内の画素の画素値のそれぞれを、積和器８１−１−１乃至積和器８１−７−Ｎのそれぞれに供給する。
【０２７２】
積和器８１−１−１乃至積和器８１−７−Ｎのそれぞれは、積和演算部５４から供給された画素値に画像生成係数を乗算し、必要に応じて画像生成係数を乗算した画素値に、図２０中、左側に隣接する積和器から供給された画素値を加算して、図２０中、右側に隣接する積和器または視覚画像生成部８２に供給する。
【０２７３】
このように、視覚画像の所定の画素の画素値を求めるために用いられる入力画像上の画素の数をある程度多くすることで、動きベクトルによらず、入力画像上の予め定められた領域内の画素を用いて視覚画像上の画素の画素値を求めることができる。しかしながら、この場合、画像生成係数としての０が画素値に乗算される画素の数が多いため、無駄が多い。したがって、積和演算部５４を図１８に示した構成とし、動きベクトルによって、視覚画像を生成するために用いる入力画像上の画素を選択する方が好ましい。なお、図１８において、図中、横方向の積和器８１の数、すなわち視覚画像の画素の画素値の計算の対象となる、入力画像の横方向の画素数は、図１５Ｃを参照して説明した動き補償に用いる画素数に依存するので、図１８の横方向に対応する方向の動き補償に用いられる画素数よりも図１８中、横方向に接続される積和器８１の数を多く設ける必要はない。
【０２７４】
また、図１７に示した画像処理装置１１においては、供給された動きベクトルに基づいて画像生成係数を生成する構成とされているが、図２１に示すように、予め動きベクトルごとの画像生成係数を保持しておくようにしてもよい。なお、図２１において、図１７における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２７５】
図２１に示す画像処理装置１１には、図１７の応答モデル保持部５１、位相シフト係数保持部５２、および係数生成部５３に換えて係数メモリ１２１が設けられている。
【０２７６】
係数メモリ１２１は、予め求められた、動きベクトルごとの画像生成係数を保持している。また、係数メモリ１２１は、動きベクトル検出部２１から動きベクトルが供給されると、保持している動きベクトルごとの画像生成係数のうち、供給された動きベクトルにより特定される画像生成係数を積和演算部５４に供給する。
【０２７７】
このように、動きベクトルごとの画像生成係数を予め保持しておくことにより、視覚画像をより迅速に生成することができる。また、図１７に示した画像処理装置１１において、応答モデル保持部５１および位相シフト係数保持部５２が係数生成部５３内に設けられるようにしてもよいし、画像処理装置１１に応答モデル保持部５１および位相シフト係数保持部５２を設けずに、画像処理装置１１に接続された他の装置から、応答モデルおよび位相シフト係数が供給されるようにしてもよい。
【０２７８】
さらに、以上においては、表示部１２がLCDなどのホールド型の表示装置である場合を例として説明したが、画像処理装置１１に接続される表示装置がPDP（Plasma Display Panel）や、PWM（Pulse Width Modulation）方式により時間方向に変調を行って階調を制御するDMD（Digital Micromirror Device）（登録商標）などから構成されるようにしてもよい。
【０２７９】
そのような場合、画像処理装置１１は、図２２に示すように構成される。なお、図２２において、図５における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。
【０２８０】
図２２に示す画像処理装置１１には、PDPやDMD、FED（Field Emission Display）などからなる表示部１４１が接続されており、表示部１４１は、画像処理装置１１から供給された表示画像を表示する。
【０２８１】
また、画像処理装置１１は、動きベクトル検出部２１、動き補償部２２、動き補償部２４、積分部２５、差分補償部２６、およびデバイスモデル保持部１５１から構成される。
【０２８２】
図２２に示す画像処理装置１１には、図５の画像処理装置１１の応答モデル保持部２３に換えて、デバイスモデル保持部１５１が設けられている。デバイスモデル保持部１５１は、表示部１４１の表示画面を構成する画素の発光特性を示すデバイスモデルを予め保持している。ここで、デバイスモデルとは、その画素を所定の画素値の画像信号に基づいて発光させたときの画素の輝度値の時間的な変化を示すモデルをいう。
【０２８３】
また、デバイスモデル保持部１５１は、保持しているデバイスモデルと、動き補償部２２から供給された入力画像および過去画像とを用いて遷移画像を生成し、動き補償部２４に供給する。
【０２８４】
ところで、PDPにおいては、図２３に示すように、LCDにおける１フレームに相当する１フィールドは、複数のサブフィールドから構成される。なお、図２３において、横方向は時間を示している。
【０２８５】
図２３の例では、１フィールドの表示時間は16.7msであり、図中、左端がそのフィールドの表示開始時刻を示し、右端がそのフィールドの表示終了時刻を示している。また、１フィールドは、８つのサブフィールドから構成されている。つまり、１フィールドには、区間ＳＦ１乃至区間ＳＦ８のそれぞれを表示時間とする８つのサブフィールドが含まれている。
【０２８６】
１フィールドを構成するサブフィールドの表示時間の長さは、より表示終了時刻に近い位置のサブフィールド、すなわち図中、より右側に位置するサブフィールドほど長くなっている。また、各サブフィールドの表示区間を示す区間ＳＦ１乃至区間ＳＦ８のそれぞれにおいては、図中、斜線が施された区間、つまりサブフィールドの区間の表示開始時刻とは異なる所定の時刻から、その区間の表示終了時刻までの区間において画像が表示され、斜線の施されていない区間においては、画像は表示されない。
【０２８７】
さらに、１フィールドの表示終了時刻により近い位置のサブフィールドほど画像が表示される時間がより長く設けられている。
【０２８８】
このように、PDPにおいては、PDPを構成する各画素を断続的に発光させることによって、すなわち点灯、消灯を繰り返させることによって各画素の輝度値が制御されている。PDPにおいては、LCDにおける場合よりも動きぼけによる画質の劣化は目立たないが、PDP特有のいわゆる擬似輪郭による画質の劣化が生じる。
【０２８９】
そこで、デバイスモデル保持部１５１において、表示部１４１の表示画面を構成する画素の輝度値の時間的な変化を示すデバイスモデルを用いて、遷移画像を生成することにより、図５に示した画像処理装置１１における場合と同様に、図２２の画像処理装置１１において、入力画像をそのまま表示部１４１に表示したときに観察者が知覚すると予測される視覚画像を生成することができる。
【０２９０】
例えば、表示部１４１がPDPにより構成される場合、デバイスモデル保持部１５１が保持するデバイスモデルは、パルス状の曲線が時間方向に並べられたモデルとなり、そのデバイスモデルに基づいて生成された遷移画像は、例えば、図１２Ｂにおいて、過去画像から入力画像の方向に、画像が表示されている遷移画像と、何も表示されていない遷移画像とが交互に並べられたものとなる。
【０２９１】
さらに、以上においては、画像処理装置１１に表示部１２または表示部１４１が接続される構成としたが、表示部１２または表示部１４１が画像処理装置１１に含まれる構成とされてもよい。
【０２９２】
また、以上においては、入力画像と視覚画像とを用いて表示画像を生成すると説明したが、視覚画像を生成せずに、入力画像から直接、表示画像が生成されるようにしてもよい。そのような場合、画像処理装置１１は、例えば、図２４に示すように構成される。なお、図２４において、図１７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２９３】
図２４に示す画像処理装置１１は、供給された入力画像のいくつかの画素の画素値のそれぞれに、表示画像を生成するための係数である表示画像生成係数を乗算し、表示画像生成係数が乗算された画素値のそれぞれの和を１つの表示画像の画素の画素値として、入力画像から表示画像を生成する。画像処理装置１１は、動きベクトル検出部２１、係数生成部１８１、および積和演算部１８２から構成される。
【０２９４】
係数生成部１８１は、バイキュービックフィルタ等の位相シフトフィルタの位相シフト係数と、表示部１２の応答特性を示す応答モデルを保持している。また、係数生成部１８１は、動きベクトル検出部２１から供給された動きベクトル、その動きベクトルにより定められる位相シフト係数、および保持している応答モデルを用いて、動きベクトルごとに表示画像生成係数を生成し、積和演算部１８２に供給する。
【０２９５】
積和演算部１８２は、供給された入力画像のいくつかの画素の画素値に、係数生成部１８１から供給された、動きベクトルによって定まる画素ごとの表示画像生成係数のそれぞれを乗算し、表示画像生成係数が乗算された画素値のそれぞれの和を１つの表示画像の画素の画素値として、表示画像を生成する。積和演算部１８２は、生成した表示画像を表示部１２に供給して表示させる。
【０２９６】
また、積和演算部１８２は、より詳細には、例えば、図２５に示すように構成される。なお、図２５において図２０における場合と対応する部分には同一の符号を付してあり、その説明は、適宜省略する。
【０２９７】
積和演算部１８２は、積和器８１−１−１乃至積和器８１−７−Ｎ、および表示画像生成部２１１から構成される。
【０２９８】
積和器８１は、積和演算部１８２から供給された入力画像の画素の画素値に、係数生成部１８１から供給された表示画像生成係数を乗算し、必要に応じて表示画像生成係数を乗算した画素値に、図２５中、左側に隣接する積和器８１から供給された画素値を加算して、図２５中、右側に隣接する積和器８１または表示画像生成部２１１に供給する。
【０２９９】
表示画像生成部２１１は、積和器８１−１−Ｎ乃至積和器８１−７−Ｎのそれぞれから供給された画素値のそれぞれを加算して得られた値を、表示画像の１つの画素の画素値とし、表示画像上の各画素の画素値を求めることにより、表示画像を生成する。表示画像生成部２１１は、生成した表示画像を表示部１２に供給する。
【０３００】
次に、図２６のフローチャートを参照して、図２４に示した画像処理装置１１による表示画像生成処理について説明する。
【０３０１】
ステップＳ７１において、動きベクトル検出部２１は、供給された入力画像を用いて動きベクトルを検出する。動きベクトル検出部２１は、検出した動きベクトルを係数生成部１８１に供給する。
【０３０２】
ステップＳ７２において、係数生成部１８１は、保持している応答モデルおよび位相シフト係数と、動きベクトル検出部２１から供給された動きベクトルとを用いて、表示画像生成係数を求める。例えば、係数生成部１８１は、予め動きベクトル（動きベクトル検出部２１から供給された動きベクトルと同じ大きさおよび方向の動きベクトル）が求められている表示画像生成係数生成用の入力画像および視覚画像と、動きベクトル検出部２１からの動きベクトル（または予め求められている動きベクトル）、応答モデル、および位相シフト係数とを用いて、上述した式（１０）および式（１６）から、視覚画像の画素の画素値Ｆを表す式（１５）を式（１７）に変形し、さらに式（１７）および式（３）を用いて表示画像生成係数を求める。そして、係数生成部１８１は、表示画像生成係数を求めると、求めた表示画像生成係数を積和演算部１８２に供給する。
【０３０３】
なお、表示画像生成係数生成用の視覚画像は、予め動きベクトルの求められている表示画像生成係数生成用の入力画像から生成された視覚画像とされる。
【０３０４】
ステップＳ７３において、積和演算部１８２は、係数生成部１８１から供給された表示画像生成係数、および供給された入力画像を用いて、表示画像を生成する。
【０３０５】
すなわち、積和演算部１８２は、供給された入力画像の予め定められた位置の画素の画素値と、係数生成部１８１から供給された、その画素に対応する表示画像生成係数とを、図２５の積和器８１のそれぞれに供給する。例えば、表示画像の所定の画素の画素値を求めるために積和器８１に供給される画素の画素値は、これから求めようとする表示画像の画素と同じ位置にある入力画像上の画素を中心とする、所定の領域内、例えばｘ方向にＮ画素、ｙ方向に７画素の領域内にある画素の画素値のそれぞれとされる。
【０３０６】
積和器８１は、積和演算部１８２から供給された画素値に表示画像生成係数を乗算し、必要に応じて表示画像生成係数を乗算した画素値に、図２５中、左側に隣接する積和器８１から供給された画素値を加算して、図２５中、右側に隣接する積和器８１または表示画像生成部２１１に供給する。表示画像生成部２１１は、積和器８１−１−Ｎ乃至積和器８１−７−Ｎのそれぞれから供給された画素値を加算して表示画像の１つの画素の画素値とし、同様にして、順次、積和器８１−１−Ｎ乃至積和器８１−７−Ｎから供給される画素値から表示画像上の次の画素の画素値を求めていくことで、表示画像を生成する。表示画像生成部２１１は、生成した表示画像を表示部１２に供給して、表示画像を表示させ、表示画像生成処理は終了する。
【０３０７】
このようにして、画像処理装置１１は、動きベクトルを検出して表示画像生成係数を生成し、入力画像および表示画像生成係数から表示画像を生成する。
【０３０８】
このように、入力画像および表示画像生成係数から表示画像を生成することで、表示部１２に表示される画像を観察者が見たときに、入力画像が表示されているように見える表示画像を簡単に生成することができる。その結果、より簡単に画質の劣化を改善することができる。
【０３０９】
なお、図２４に示した積和演算部１８２においても、図１７の積和演算部５４における場合と同様に、動きベクトル検出部２１により検出された動きベクトルに基づいて、積和器８１に供給される入力画像の画素の画素値と、その画素に対応する表示画像生成係数とが選択されるようにしてもよい。また、係数生成部１８１が、動きベクトルごとに予め求められた表示画像生成係数を保持しておき、保持している表示画像生成係数のうち、動きベクトル検出部２１から供給された動きベクトルによって定まる表示画像生成係数を、積和演算部１８２に供給するようにしてもよい。
【０３１０】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３１１】
図２７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。パーソナルコンピュータ３０１のCPU（Central Processing Unit）３１１は、ROM（Read Only Memory）３１２、または記録部３１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３１３には、CPU３１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３１１、ROM３１２、およびRAM３１３は、バス３１４により相互に接続されている。
【０３１２】
CPU３１１にはまた、バス３１４を介して入出力インターフェース３１５が接続されている。入出力インターフェース３１５には、キーボード、マウス、マイクロホンなどよりなる入力部３１６、ディスプレイ、スピーカなどよりなる出力部３１７が接続されている。CPU３１１は、入力部３１６から入力される指令に対応して各種の処理を実行する。そして、CPU３１１は、処理の結果を出力部３１７に出力する。
【０３１３】
入出力インターフェース３１５に接続されている記録部３１８は、例えばハードディスクからなり、CPU３１１が実行するプログラムや各種のデータを記録する。通信部３１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０３１４】
また、通信部３１９を介してプログラムを取得し、記録部３１８に記録してもよい。
【０３１５】
入出力インターフェース３１５に接続されているドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部３１８に転送され、記録される。
【０３１６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３３１、または、プログラムが一時的もしくは永続的に格納されるROM３１２や、記録部３１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０３１７】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３１８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０３１９】
【図１】オーバードライブについて説明する図である。
【図２】オーバードライブについて説明する図である。
【図３】入力される画像について説明する図である。
【図４】オーバードライブについて説明する図である。
【図５】本発明を適用した一実施の形態の画像処理装置の構成を示すブロック図である。
【図６】視覚画像について説明する図である。
【図７】表示画像について説明する図である。
【図８】入力画像に対する視覚画像と表示画像を説明する図である。
【図９】表示画像生成処理を説明するフローチャートである。
【図１０】過去画像について説明する図である。
【図１１】応答モデルについて説明する図である。
【図１２】遷移画像について説明する図である。
【図１３】移動物体を観察する人間の視線の移動について説明する図である。
【図１４】追従画素を説明する図である。
【図１５】表示画像生成処理を説明するための図である。
【図１６】バイキュービックフィルタを説明する図である。
【図１７】画像処理装置の他の構成例を示すブロック図である。
【図１８】積和演算部の構成例を示すブロック図である。
【図１９】表示画像生成処理を説明するフローチャートである。
【図２０】積和演算部の他の構成例を示すブロック図である。
【図２１】画像処理装置の他の構成例を示すブロック図である。
【図２２】画像処理装置の他の構成例を示すブロック図である。
【図２３】PDPのフィールドについて説明する図である。
【図２４】画像処理装置の他の構成例を示すブロック図である。
【図２５】積和演算部の構成例を示すブロック図である。
【図２６】表示画像生成処理を説明するフローチャートである。
【図２７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３２０】
１１  画像処理装置，  １２  表示部，  ２１  動きベクトル検出部，  ２２  動き補償部，  ２３  応答モデル保持部，  ２４  動き補償部，  ２５  積分部，  ２６  差分補償部，  ５１  応答モデル保持部，  ５２  位相シフト係数保持部，  ５３  係数生成部，  ５４  積和演算部，  ８１−１−１乃至８１−７−Ｎ，８１，  積和器，  ８２  視覚画像生成部，  ８３  差分補償部，  １２１  係数メモリ，  １４１  表示部，  １５１  デバイスモデル保持部，  １８１  係数生成部，  １８２  積和演算部，  ２１１  表示画像生成部
【図１】
2008193487.tif 000009
【図２】
2008193487.tif 000010
【図３】
2008193487.tif 000011
【図４】
2008193487.tif 000012
【図５】
2008193487.tif 000013
【図６】
2008193487.tif 000014
【図７】
2008193487.tif 000015
【図８】
2008193487.tif 000016
【図９】
2008193487.tif 000017
【図１０】
2008193487.tif 000018
【図１１】
2008193487.tif 000019
【図１２】
2008193487.tif 000020
【図１３】
2008193487.tif 000021
【図１４】
2008193487.tif 000022
【図１５】
2008193487.tif 000023
【図１６】
2008193487.tif 000024
【図１７】
2008193487.tif 000025
【図１８】
2008193487.tif 000026
【図１９】
2008193487.tif 000027
【図２０】
2008193487.tif 000028
【図２１】
2008193487.tif 000029
【図２２】
2008193487.tif 000030
【図２３】
2008193487.tif 000031
【図２４】
2008193487.tif 000032
【図２５】
2008193487.tif 000033
【図２６】
2008193487.tif 000034
【図２７】
2008193487.tif 000035