(57)【要約】【課題】  画像内におけるオブジェクトの動きに伴って発生するボケを十分に低減する。【解決手段】  動画内の各フレームから動体を検出する。そして、動体の移動速度と、パネル１０４における入力信号に対する時間応答特性と、に基づいて、同一の時刻でのパネル１０４における動体の輝度の分布を表す空間応答特性を導出し、空間応答特性を画素単位で表現した空間ボケ特性を算出する。そして、空間ボケ特性の半値幅に応じたフィルタを用いて動体のボケを補正する。【選択図】  図１
2014174339.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像から動きのある領域を検出する動体検出手段と、
前記動体検出手段により検出された前記動きのある領域の移動速度を算出する移動速度算出手段と、
前記画像を表示する表示装置の入力信号に対する時間応答を表す時間応答特性のデータを記憶媒体に記憶する時間応答特性データ記憶手段と、
前記移動速度算出手段により算出された前記動きのある領域の移動速度と、前記時間応答特性データ記憶手段により記憶された前記時間応答特性のデータと、に基づいて、前記動きによって前記表示装置の画像に発生するボケの特性を算出する空間ボケ特性算出手段と、
前記空間ボケ特性算出手段により算出された前記ボケの特性に基づいて、当該ボケを低減させるフィルタを生成するフィルタ生成手段と、
前記フィルタ生成手段により生成された前記フィルタを用いて、前記動体検出手段により検出された前記動きのある領域に発生しているボケを補正するフィルタ処理手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記空間ボケ特性算出手段は、
前記移動速度算出手段により算出された前記動きのある領域の移動速度と、前記時間応答特性データ記憶手段により記憶された前記時間応答特性のデータと、に基づいて、同じ時刻における前記動きのある領域の輝度の、前記表示装置の画面における分布を表す空間応答特性のデータを生成する手段と、
前記空間応答特性における輝度を、前記表示装置の画面における画素単位のデータにしたものを前記ボケの特性として算出する手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フィルタ生成手段は、
前記空間ボケ特性算出手段により算出された前記ボケの特性をフーリエ変換したものを、前記ボケの特性の周波数特性として算出する手段と、
前記ボケの特性の周波数特性に基づいて、前記ボケを低減させるフィルタの周波数特性を算出する手段と、
前記フィルタの周波数特性を逆フーリエ変換したものを、前記ボケを低減させるフィルタとして算出する手段と、を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ生成手段は、前記ボケ特性において、最大の輝度の１／２以上の輝度を有する画素の数である半値幅に対応する前記フィルタを、前記半値幅に応じて予め記憶された複数のフィルタの中から選択する手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記表示装置に前記時間応答特性を算出するための測定画像を生成して、前記表示装置に表示させる測定画像生成手段と、
前記測定画像生成手段により前記表示装置に表示された前記測定画像の信号値から、前記表示装置の入力信号に対する時間応答を表す前記時間応答特性のデータを算出する時間応答特性算出手段と、を有し、
前記時間応答特性データ記憶手段は、前記時間応答特性算出手段により算出された前記時間応答特性のデータを記憶することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
入力された画像から動きのある領域を検出する動体検出工程と、
前記動体検出工程により検出された前記動きのある領域の移動速度を算出する移動速度算出工程と、
前記画像を表示する表示装置の入力信号に対する時間応答を表す時間応答特性のデータを記憶媒体に記憶する時間応答特性データ記憶工程と、
前記移動速度算出工程により算出された前記動きのある領域の移動速度と、前記時間応答特性データ記憶工程により記憶された前記時間応答特性のデータと、に基づいて、前記動きによって前記表示装置の画像に発生するボケの特性を算出する空間ボケ特性算出工程と、
前記空間ボケ特性算出工程により算出された前記ボケの特性に基づいて、当該ボケを低減させるフィルタを生成するフィルタ生成工程と、
前記フィルタ生成工程により生成された前記フィルタを用いて、前記動体検出工程により検出された前記動きのある領域に発生しているボケを補正するフィルタ処理工程と、
を有することを特徴とする画像処理方法。
【請求項７】
前記空間ボケ特性算出工程は、
前記移動速度算出工程により算出された前記動きのある領域の移動速度と、前記時間応答特性データ記憶工程により記憶された前記時間応答特性のデータと、に基づいて、同じ時刻における前記動きのある領域の輝度の、前記表示装置の画面における分布を表す空間応答特性のデータを生成する工程と、
前記空間応答特性における輝度を、前記表示装置の画面における画素単位のデータにしたものを前記ボケの特性として算出する工程と、を有することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記フィルタ生成工程は、
前記空間ボケ特性算出工程により算出された前記ボケの特性をフーリエ変換したものを、前記ボケの特性の周波数特性として算出する工程と、
前記ボケの特性の周波数特性に基づいて、前記ボケを低減させるフィルタの周波数特性を算出する工程と、
前記フィルタの周波数特性を逆フーリエ変換したものを、前記ボケを低減させるフィルタとして算出する工程と、を有することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記フィルタ生成工程は、前記ボケ特性において、最大の輝度の１／２以上の輝度を有する画素の数である半値幅に対応する前記フィルタを、前記半値幅に応じて予め記憶された複数のフィルタの中から選択する手段を有することを特徴とする請求項７に記載の画像処理方法。
【請求項１０】
前記表示装置に前記時間応答特性を算出するための測定画像を生成して、前記表示装置に表示させる測定画像生成工程と、
前記測定画像生成工程により前記表示装置に表示された前記測定画像の信号値から、前記表示装置の入力信号に対する時間応答を表す前記時間応答特性のデータを算出する時間応答特性算出工程と、を有し、
前記時間応答特性データ記憶工程は、前記時間応答特性算出工程により算出された前記時間応答特性のデータを記憶することを特徴とする請求項６〜９の何れか１項に記載の画像処理方法。
【請求項１１】
請求項６〜１０の何れか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、画素内のオブジェクトの動きに伴い発生する画像のボケを低減するために用いて好適なものである。
【背景技術】
【０００２】
液晶ディスプレイ等の表示装置では、ＣＲＴディスプレイのようなパルス型発光のディスプレイに比べて、画素の輝度変化に時間がかかる。このため、あるフレームから次のフレームへ移行したとき、次のフレームにおいて前のフレームの画像が残存する。よって、前後のフレームにおいて表示される画像の一部に動くオブジェクトがあれば、そのオブジェクトの輪郭がボケたように表示される。
【０００３】
そこで、このようなボケを低減させるために、フレーム間におけるオブジェクトの動きを予測して、ボケを補正する技術が知られている（特許文献１を参照）。また、オブジェクトの移動速度に応じて画像データにフィルタ処理を施す技術が知られている（特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３５０３３４号公報
【特許文献２】特開２０１０−１４５５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２に記載の技術では、オブジェクトの動きのみに着目してボケ補正を行っているため、ボケ補正を正確に行うことができなかった。このため、画像内のオブジェクトの動きに伴って発生するボケを十分に低減することができなかった。
本発明は、このような課題に鑑みてなされたものであり、画像内のオブジェクトの動きに伴って発生するボケを十分に低減できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、入力された画像から動きのある領域を検出する動体検出手段と、前記動体検出手段により検出された前記動きのある領域の移動速度を算出する移動速度算出手段と、前記画像を表示する表示装置の入力信号に対する時間応答を表す時間応答特性のデータを記憶媒体に記憶する時間応答特性データ記憶手段と、前記移動速度算出手段により算出された前記領域の移動速度と、前記時間応答特性データ記憶手段により記憶された前記時間応答特性のデータと、に基づいて、前記動きによって前記表示装置の画像に発生するボケの特性を算出する空間ボケ特性算出手段と、前記空間ボケ特性算出手段により算出された前記ボケの特性に基づいて、当該ボケを低減させるフィルタを生成するフィルタ生成手段と、前記フィルタ生成手段により生成された前記フィルタを用いて、前記動体検出手段により検出された前記動きのある領域に発生しているボケを補正するフィルタ処理手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像内のオブジェクトの動きに伴って発生するボケを十分に低減することができる。
【図面の簡単な説明】
【０００８】
【図１】表示装置の構成の第１の例を示す図である。
【図２】補正処理部の構成を示す図である。
【図３】補正処理部の動作の第１の例を説明するフローチャートである。
【図４】時間応答特性データを表形式で示す図である。
【図５】時間応答特性データをグラフで示す図である。
【図６】フレーム内の動体検出の処理を説明するフローチャートである。
【図７】フレームＩtの各画素に割り振られるインデックスを示す図である。
【図８】フレームＩtの各ブロックに割り振られたインデックスを示す図である。
【図９】フレームＩtの各ブロックとマッチする領域の探索方法を示す図である。
【図１０】動体のインデックスとオプティカルフローとを記憶するテーブルを示す図である。
【図１１】動体を含むブロックのインデックスと移動速度とを記憶するテーブルを示す図である。
【図１２】空間応答特性を示す図である。
【図１３】空間ボケ特性算出の処理を説明するフローチャートである。
【図１４】空間応答特性のデータを示す図である。
【図１５】空間応答特性と空間ボケ特性を示す図である。
【図１６】動体のインデックスと、空間ボケ特性と記憶するテーブルを示す図である。
【図１７】フィルタ算出部の構成の第１の例を示す図である。
【図１８】フィルタ算出の処理の第１の例を説明するフローチャートである。
【図１９】空間ボケ特性の半値幅を示す図である。
【図２０】空間ボケ特性の半値幅とフィルタとを記憶するテーブルを示す図である。
【図２１】動体のインデックスとフィルタとを記憶するテーブルを示す図である。
【図２２】フィルタ処理を説明するフローチャートである。
【図２３】補正処理部の動作の第２の例を説明するフローチャートである。
【図２４】フィルタ算出部の構成の第２の例を示すブロック図である。
【図２５】フィルタ算出の処理の第２の例を説明するフローチャートである。
【図２６】空間ボケ特性の周波数特性を示す図である。
【図２７】フィルタの周波数特性を示す図である。
【図２８】フィルタを示す図である。
【図２９】表示装置の構成の第２の例を示す図である。
【図３０】時間応答特性測定部の構成を示す図である。
【図３１】測定画像を示す図である。
【図３２】測定画像の信号値と時間との関係の一例を示す図である。
【図３３】フォトダイオードによる測定結果を表形式で示す図である。
【図３４】フォトダイオードによる測定結果をグラフで示す図である。
【図３５】ステップ時間応答特性を示す図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
本実施形態では、表示装置に入力される入力画像内の動体のボケ特性を、表示装置の時間応答特性と動体の移動速度とに基づいて算出し、当該動体のボケ特性に基づいて生成したフィルタによりボケを低減させる補正処理を行う。ここで、動体とは動画内で動きのある領域を示す。
図１は、本実施形態の画像処理装置１００とパネル１０４とを備えた表示装置の構成の一例を示す図である。図１では、画像処理装置１００とパネル１０４とが別体である場合を例に挙げて示している。しかしながら、パネル１０４の内部に画像処理装置１００が含まれていてもよい。
【００１０】
画像処理装置１００は、補正処理部１０１、ＲＯＭ１０２、及びＲＡＭ１０３を有する。また、補正処理部１０１は、ＣＰＵを有しており、本実施形態の処理は、このＣＰＵにて行われるものとする。パネル１０４は、例えば、液晶ディスプレイを用いて構成される。
【００１１】
＜システム全体の動作＞
本実施形態における画像処理装置１００の動作の一例を説明する。
まず、入力画像（動画像）はＲＡＭ１０３に格納される。補正処理部１０１は、ＲＯＭ１０２から補正処理プログラムを読み出し、ＲＡＭ１０３に格納された画像に対して順次補正処理を行う。その後、補正処理部１０１は、パネル１０４へ、補正処理後の画像を出力し、表示させる。
図２は、補正処理部１０１の論理構成の一例を示すブロック図である。補正処理部１０１は、フレームバッファ２０１、動体検出部２０２、移動速度算出部２０３、時間応答特性データ記憶部２０５、空間ボケ特性算出部２０４、フィルタ算出部２０６、及びフィルタ処理部２０７を有する。
次に、補正処理部１０１の動作について、図３のフローチャートに基づいて説明する。
ステップＳ３０１において、フレームバッファ２０１は、ＲＡＭ１０３に一時的に格納した入力画像内のｔ番目のフレームＩtと、その前のフレームであるフレームＩt-1と、を取得する。
次に、ステップＳ３０２において、動体検出部２０２は、取得したフレームＩt、Ｉt-1を用いて、フレームＩt内の動体（動き領域）を検出し、そのオプティカルフローを算出する。ここで、オプティカルフローとは、動体のフレームＩt-1からフレームＩtへの移動ベクトルを表す。移動ベクトルは、ｘ軸方向（水平方向）の成分と、ｙ軸方向の成分（垂直方向）とを有する。フレーム内の動体検出の詳細は後述する。
【００１２】
次に、ステップＳ３０３において、移動速度算出部２０３は、各動体の移動速度を算出する。動体の移動速度算出の詳細は後述する。
次に、ステップＳ３０４において、空間ボケ特性算出部２０４は、時間応答特性データ記憶部２０５に記憶されている時間応答特性データを読み出す。時間応答特性データとは、以下の式（１）のようなインパルス信号をパネル１０４に入力した際の、パネル１０４における輝度のインパルス応答（時間応答）を表すデータである。
【００１３】
【数１】
2014174339.tif 000003
【００１４】
ここで、ｔは時間［ｓｅｃ］である。ｓ1(ｔ)は、画素を発光させる信号値であり、例えば、８ｂｉｔのＲＧＢ信号値で(２５５,２５５，２５５)であるとする。
図４は、時間応答特性データの一例を表形式で示す図である。図４に示すように、時間応答特性データはｎ＝０，１，・・・，ｎmax−２，ｎmax−１までのインデックスに対して、時間ｔnと、その時間ｔnにおける輝度値Ｙt(ｔn)と、から構成される。ｎmaxはｔnおよびＹt(ｔn)の最大個数である。
【００１５】
図５は、この時間応答特性データの一例をグラフで示す図である。図５に示すグラフ（曲線）は、横軸を時間、縦軸を輝度とする座標上に、図４に示す時間応答特性データの値をプロットすることにより得られる。図５に示す時間応答特性データのグラフは、パネル１０４の輝度の時間応答を示す。パネル１０４の輝度の時間応答は、式（１）と同じデルタ関数のような応答が理想である。しかしながら、液晶パネル等の輝度の時間応答は、図５に示すように、輝度の上昇、下降ともに緩やかな応答となる。
【００１６】
図３の説明に戻り、ステップＳ３０５において、空間ボケ特性算出部２０４は、各動体の移動速度と、時間応答特性データとに基づいて、各動体の空間ボケ特性を算出する。ここで、空間ボケ特性とは、パネル１０４上をある移動速度で等速運動する光点のインパルス応答特性である。空間ボケ特性算出の詳細は後述する。
次に、ステップＳ３０６において、フィルタ算出部２０６は、空間ボケ特性に応じて、各動体の動きボケを低減させるフィルタを算出するフィルタ生成処理を行う。フィルタ算出の詳細は後述する。
次に、ステップＳ３０７において、フィルタ処理部２０７は、各動体に対してフィルタ処理を行い、フィルタ処理後の各導体の画像をフレームＩt内に挿入する。フィルタ処理の詳細は後述する。
以上の処理を終えた後、補正処理部１０１は、フレームＩtを出力画像としてパネル１０４に出力する。
【００１７】
＜動体検出の処理＞
ステップＳ３０２におけるフレーム内の動体検出の処理の詳細の一例を、図６のフローチャートに基づいて説明する。
ステップＳ６０１において、動体検出部２０２は、フレームバッファ２０１で取得したフレームＩt，Ｉt-1の各画素にインデックスを割り振る。本実施形態では、横軸をｘ軸、縦軸をｙ軸として、左上から右下へ単調増加する自然数で各軸の値を定め、各軸の値(ｘ，ｙ)をインデックスとして各画素に割り振る。フレームＩt，Ｉt-1の両フレームの同じ位置の画素には同一のインデックスを割り振る。図７は、フレームＩtの画素数が８００×６００であるときにフレームＩtの各画素に割り振られるインデックスの一例を示す図である。
図７に示す例では、左上の画素のインデックスは(ｘ，ｙ)＝(１，１)であり、右下の画素のインデックスは(ｘ，ｙ)＝(８００，６００)である。
図６の説明に戻り、ステップＳ６０２において、動体検出部２０２は、フレームＩtをＮ×Ｍ個のブロックに分割する。分割は各ブロックの画素数が均等になるように行われるものとする。
【００１８】
次に、ステップＳ６０３において、動体検出部２０２は、フレームＩtの各ブロックに対してインデックスを割り振る。図８は、フレームＩtの各ブロックに割り振られたインデックスの一例を示す図である。図８では、フレームを８×６個のブロックに分割した例を示している。本実施形態では、インデックスは、例えば、フレームの左上から右下に向かって単調増加する自然数で各ブロックの列番号と行番号とを定め、（列番号，行番号）をインデックスとして各ブロックに割り振る。
図６の説明に戻り、ステップＳ６０４において、動体検出部２０２は、フレームＩt内のブロックを一つ選択する。ここではブロックＢ(ｉ,ｊ)を選択したものとして説明する。
ステップＳ６０５において、動体検出部２０２は、ステップＳ６０３で選択したブロックと、フレームＩt-1の或る画素領域との画素値差分の総和Ｅを算出する。ブロックのインデックスがＢ(ｉ，ｊ)であるとしたとき、インデックスがＢ(ｉ，ｊ)のブロックと、フレームＩt-1のある画素(ｘE，ｙE)を左上端とする当該ブロックと同じ大きさの領域と、の画素値差分の総和Ｅは以下の式（２）から算出する。以下の説明では、この式（２）から算出される値（＝Ｅ(ｘE，ｙE)を必要に応じて「画素値差分の総和Ｅ」と称する。
【００１９】
【数２】
2014174339.tif 000004
【００２０】
尚、式（２）において、(ｘ，ｙ)は、フレームＩt-1内の各画素のインデックスである。(ｉ，ｊ)は、フレームＩtのブロックのインデックスである。(ｘE，ｙE)は、フレームＩt-1内の１≦δx≦Ｗ、１≦δy≦Ｈの範囲の値を示す。式（２）では、フレームＩt-1内の領域とフレームＩtのブロックとの画素値の差分の総和Ｅを算出している。したがって、フレームＩt-1内に当該ブロックと同一の画像がある場合、式（２）の画素値差分の総和Ｅは０となる。このようにして、ステップＳ６０４で選択したブロックと同一の領域をフレームＩt-1から探索する。
【００２１】
次に、ステップＳ６０６において、動体検出部２０２は、ステップＳ６０５で算出した画素値差分の総和Ｅが閾値Ｅmin未満であるか否かを判定する。閾値Ｅminの初期値は、１００００等の大きな値であるとする。この判定の結果、画素値差分の総和Ｅが閾値Ｅmin未満である場合、ステップＳ６０７へ進む。一方、画素値差分の総和Ｅが閾値Ｅmin以上である場合、ステップＳ６０７を省略してステップＳ６０８へ進む。
ステップＳ６０７において、動体検出部２０２は、閾値Ｅminに、ステップＳ６０５で算出した画素値差分の総和Ｅを代入し、当該画素値差分の総和Ｅの座標(ｘE，ｙE)を保持する。具体的には、以下の式（３）により、閾値Ｅminと座標(ｘEmin，ｙEmin)を定めて、保持する。
【００２２】
【数３】
2014174339.tif 000005
【００２３】
次に、ステップＳ６０８において、動体検出部２０２は、フレームＩt-1内の全ての画素（０＜ｘE＜Ｗ、０＜ｙE＜Ｈの範囲の全画素）に対して、式（２）から画素値差分の総和Ｅを算出したか否かを判定する。この判定の結果、全ての画素に対して画素値差分の総和Ｅを算出していれば、ステップＳ６０９へ進む。そうでなければ、座標(ｘE，ｙE)を変更してステップＳ６０５へ進む。図９は、フレームＩtの各ブロックとマッチングする領域をフレームＩt-1から探索する方法の一例を概念的に示す図である。具体的に図９（ａ）は、フレームＩtから選択されたブロック（太線枠）を示し、図９（ｂ）は、当該ブロックに対するフレームＩt-1の探索領域（点線枠）を示す。
【００２４】
図９では、フレームＩtの太線枠で囲ったブロックとマッチングする領域をフレームＩt-1から探索する例を示している。フレームＩt-1の左上端の点線で囲った領域から順に、フレームＩt-1の全領域に対して、画素値差分の総和Ｅの算出を行う。そして、最終的に画素値差分の総和Ｅが最も小さくなる領域をフレームＩtのブロックとマッチングする領域として検出する。尚、ここでは、フレームＩt-1内の全画像に対して、フレームＩt内のブロックとマッチングする領域を探索する例を示した。しかしながら、探索範囲はこれに限るものではない。例えば、(ｉ−１)×Ｗ／Ｎ＜ｘE＜(ｉ＋２)×Ｗ／Ｎ，(ｊ−１)×Ｈ／Ｍ＜ｙE＜(ｊ＋２)×Ｈ／Ｍのように、フレームＩtのブロックの前後１ブロックに対応するフレームＩt-1内の領域を探索するとしてもよい。
【００２５】
次に、ステップＳ６０９において、動体検出部２０２は、ステップＳ６０６で保持した座標(ｘEmin，ｙEmin)から、ステップＳ６０４で選択したブロックのオプティカルフローを算出し、当該オプティカルフローを当該ブロックに関連付けて記憶する。
具体的に説明すると、動体検出部２０２は、以下の式（４）を用いて、オプティカルフロー(δx，δy)として算出する。すなわち、動体検出部２０２は、ステップＳ６０４で選択したフレームＩtのブロックの左上端の座標の値から、マッチングしたフレームＩt-1のブロックの左上端の座標の値を減算した値をオプティカルフロー(δx，δy)として算出する。
【００２６】
【数４】
2014174339.tif 000006
【００２７】
そして、動体検出部２０２は、ステップＳ６０４で選択したフレームＩt内のブロックのインデックスＢ(ｉ，ｊ)と、式（４）を用いて算出したオプティカルフロー(δx，δy)とを相互に関連付ける。
次に、ステップＳ６１０において、動体検出部２０２は、フレームＩtの全てのブロックに対してオプティカルフローを算出したか否かを判定する。この判定の結果、フレームＩtの全てのブロックに対してオプティカルフローの算出を行っていない場合、フレームＩtから次のブロックを選択し、ステップＳ６０４へ進む。一方、そうでなければ、ステップＳ６１１へ進む。これにより、全てのブロックに対してオプティカルフローが関連付けられる。
【００２８】
次に、ステップＳ６１１において、動体検出部２０２は、オプティカルフローが０より大きいブロックを動体として抽出する。そして、動体検出部２０２は、動体の複数のインデックスと、これらに対応するオプティカルフローとを相互に関連付けて記憶するテーブルＴａ１を生成する。図１０は、テーブルＴａ１の一例を示す図である。
このように、各動体のインデックスとそのオプティカルフローとを相互に関連付けたテーブルＴａ１を生成して、フレーム内の動体検出の処理を終了する。
【００２９】
＜移動速度算出の処理＞
次に、図３のステップＳ３０３における動体の移動速度算出の処理の詳細の一例を説明する。
移動速度算出部２０３は、ステップＳ３０２で生成されたテーブルＴａ１に記憶されたオプティカルフローから、各動体の移動速度を算出し、動体と移動速度とを相互に関連付けて記憶するテーブルＴａ２を生成する。
具体的に、移動速度算出部２０３は、フレーム期間ｔframeとテーブルＴａ１から得られる各動体のオプティカルフローとから、各動体の移動速度(ｖx，ｖy)を以下の式（５）から算出する。
【００３０】
【数５】
2014174339.tif 000007
【００３１】
尚、移動速度の単位は［pixel／sec］である。移動速度算出部２０３は、以上の処理をテーブルＴａ１に記憶されている全ての動体に対して行う。そして、移動速度算出部２０３は、動体を含むブロックの複数のインデックスと、これらに対応する移動速度とを相互に関連付けて記憶するテーブルＴａ２を生成する。図１１は、テーブルＴａ２の一例を示す図である。
このように、各動体のインデックスとその移動速度とを相互に関連付けたテーブルＴａ２を生成して、移動速度算出の処理を終了する。
【００３２】
＜空間ボケ特性算出の処理＞
次に、図３のステップＳ３０５における空間ボケ特性算出の処理の詳細の一例を説明する。
まず、空間ボケ特性算出部２０４は、各動体の移動速度と時間応答特性データとに基づいて、各動体の空間応答特性を算出する。図１２は、空間応答特性の一例を示す図である。空間応答特性とは、光点が、ある移動速度で移動した際に発生する動きボケの特性である。より具体的に説明すると、空間応答特性は、同じ時刻における光点のパネル１０４の画面における輝度の分布を表すものである。例えば、図５に示すような時間応答特性を時間tに対する輝度の関数Ｙt（ｔ）とする。このとき、時間応答特性Ｙt（ｔ）を持つ光点１２０１が、図１２の上図に示すように、時刻ｔ＝０、から、ある移動速度ｖxでｘ軸正の方向に等速運動しているものとする。この場合、時刻ｔ1におけるｘ軸座標と輝度の関係を表す空間応答特性Ｙs(ｘ)は以下の式（６）で表される。
【００３３】
【数６】
2014174339.tif 000008
【００３４】
式（６）で得られる時刻ｔ1における空間応答特性Ｙs(ｘ)を、横軸をｘ、縦軸を輝度とする座標上にプロットすると、図１２の下図が得られる。図１２に示す例では、時刻ｔ1における空間応答特性Ｙs(ｘ)は、ｘ1においてのみ輝度が急激に立ち上がる応答が理想である。しかしながら、時間応答特性が緩やかであるため、ｘ0からｘ1の範囲において光点１２０１の明るさが残っており、更にｘ1においてはまだ輝度が上がりきっていないことが分かる。次に、空間ボケ特性算出部２０４は、パネル１０４の画素という離散化された空間での空間応答特性を、空間ボケ特性として算出する。そして、空間ボケ特性算出部２０４は、各動体のインデックスと空間ボケ特性とを相互に関連付けて記憶するテーブルＴａ３を生成する。
【００３５】
次に、ステップＳ３０５における空間ボケ特性算出の処理の詳細の一例を、図１３のフローチャートに基づいて説明する。
ステップＳ１３０１において、空間ボケ特性算出部２０４は、移動速度算出部２０３で生成されたテーブルＴａ２を参照し、移動速度の情報を取得する。
次に、ステップＳ１３０２において、空間ボケ特性算出部２０４は、時間応答特性データ記憶部２０５から取得した時間応答特性データと、対象となる動体の移動速度と、から、１フレーム期間ｔframeにおける空間応答特性を算出する。
ここで時間応答特性をＹt(ｔn)、空間応答特性をＹs(ｘn)、光点の移動時間を１フレーム期間ｔframeとすると、式（６）は、以下の式（７）のように変換される。
【００３６】
【数７】
2014174339.tif 000009
【００３７】
尚、ｎは、時間応答特性のｔnと同数であり、ｎ＝０，１，・・・，ｎmax−２，ｎmax−１のインデックスである。さらに、空間ボケ特性算出部２０４は、空間応答特性を時刻ｔframeにおける光点の相対座標に変換する。相対座標をｘ'nとすると、相対座標ｘ'n、空間応答特性Ｙs(ｘ'n)は、それぞれ、以下の式（８）、式（９）から算出される。
【００３８】
【数８】
2014174339.tif 000010
【００３９】
式（８）及び式（９）から得られる空間応答特性のデータの一例を表形式にして図１４に示す。ここで、式（８）及び式（９）で求まる空間応答特性Ｙt(−ｘ'n／ｖx)が時間応答特性Ｙt(ｔn)内に存在しない場合、時間応答特性Ｙt(ｔn)から線形補間により空間応答特性Ｙt(−ｘ'n／ｖx)を算出する。以上と同様の処理を、対象となる動体の移動速度ｖyに対しても行い、ｙ軸の空間応答特性Ｙt(−ｙ'n／ｖy)も算出する。このようにして、フレーム期間ｔframeでの空間応答特性を算出することができる。
図１３の説明に戻り、ステップＳ１３０３において、空間ボケ特性算出部２０４は、連続的な空間座標の空間応答特性から、パネル１０４の画素ごとに離散化された空間での空間応答特性である空間ボケ特性Ｙ's(ｘ'm)を算出する。具体的には、以下の式（１０）〜式（１２）のように、空間応答特性Ｙs(ｘ'n)に対して、１次元の画素単位で積分を行う。
【００４０】
【数９】
2014174339.tif 000011
【００４１】
ここで、Δｘは、ｘ'nのサンプリング間隔を示し、ｋｘは１画素の距離内に含まれるｘnのサンプリング数を示す。尚、式（１２）のｉｎｔ()は小数第一位の四捨五入を表すものとする。また、ｘmは画素の相対座標を表し、ｍはｘ'mのインデックスである。ｍはｍ＝０，１，・・・，ｍmaxの整数であり、ｘ'm，ｍmaxは、それぞれ以下の式（１３）、式（１４）から求めるものとする。
【００４２】
【数１０】
2014174339.tif 000012
【００４３】
ここで、ｎmaxは、空間応答特性Ｙs(ｘ'n)におけるインデックスｎの最大値を表す。式（１４）のかっこは、小数第一位の切り上げを表す。空間応答特性Ｙs(ｘ'n)と、式（１０）〜式（１２）で算出された空間ボケ特性Ｙ's(ｘ'm)とを、横軸をｘ'、縦軸を輝度とする座標に表すと、図１５のようになる。空間応答特性Ｙs(ｘ'n)は、細かなサンプリングをされているため輝度の変化が細かい。これに対し、空間ボケ特性Ｙ's(ｘm)の輝度変化は、画素単位の輝度変化になっていることが分かる。以上の処理を、対象となる動体のｙ軸方向の空間応答特性Ｙs(ｙ'n)に対しても行い、空間ボケ特性Ｙ's(ｙ'm)を算出する。これにより、対象となる動体の両方向（ｘ軸（水平）方向及びｙ軸（垂直）方向）の空間ボケ特性が得られる。
【００４４】
図１３の説明に戻り、ステップＳ１３０４において、空間ボケ特性算出部２０４は、テーブルＴａ２の全ての動体に対して空間ボケ特性を算出したか否かを判定する。この判定の結果、全ての動体に対して空間ボケ特性の算出が終わっていない場合、次の動体をテーブルＴａ２から選択し、ステップＳ１３０１へ進む。一方、全ての動体に対して空間ボケ特性の算出が終わっている場合、ステップＳ１３０５へ進む。
ステップＳ１３０５において、空間ボケ特性算出部２０４は、動体の複数のインデックスと、それらに対応する空間ボケ特性のテーブルＴａ３を生成する。図１６は、テーブルＴａ３の一例を示す図である。図１６に示すように、テーブルＴａ３には、動体のインデックスと、それに対応する空間ボケ特性のインデックスｍと、変数ｘ'm，ｙ'mと、空間ボケ特性Ｙ's(ｘ'm)，Ｙ's(ｙ'm)とが相互に関連付けられて記憶される。
以上のように各動体と空間ボケ特性とを相互に関連付け付けたテーブルＴａ３を生成して、空間ボケ特性算出の処理を終了する。
【００４５】
＜フィルタ算出の処理＞
図１７は、補正処理部１０１のフィルタ算出部２０６の論理構成の一例を示すブロック図である。フィルタ算出部２０６は、半値幅算出部１７０１、フィルタ選定部１７０２、及びテーブル記憶部１７０３を有する。
次に、図３のステップＳ３０６におけるフィルタ算出の処理の詳細の一例を、図１８のフローチャートに基づいて説明する。
ステップＳ１８０１において、半値幅算出部１７０１は、テーブルＴａ３から空間ボケ特性の情報を取得する。
次に、ステップＳ１８０２において、半値幅算出部１７０１は、対象となる動体の空間ボケ特性の半値幅ｗｂを算出する。半値幅ｗｂは、例えば、以下の式（１５）〜式（１７）から算出する。
【００４６】
【数１１】
2014174339.tif 000013
【００４７】
ここで、ｍは、空間ボケ特性のインデックスを示し、ｍmaxは、インデックスの最大値を示す。この半値幅ｗｂは動体の動きボケ量を示しており、大きければボケが大きく、小さければボケが小さいことを意味する。図１９は、空間ボケ特性の半値幅ｗｂの一例を示す図である。空間ボケ特性Ｙ's(ｘ'm)の値を、横軸をｘ'（ｘ'm）、縦軸を輝度値とする座標上にプロットしたとき、図１９に示すように、半値幅ｗｂは、輝度の最大値の１／２以上（Ｙmax／２以上）の輝度値を持つ画素幅となる。以上の処理をｙ軸方向の空間ボケ特性Ｙ's(ｙ'm)に対しても行い、ｙ軸の半値幅ｗｂも、ｘ軸の半値幅ｗｂと同様に算出する。
【００４８】
図１８の説明に戻り、ステップＳ１８０３において、フィルタ選定部１７０２は、テーブル記憶部１７０３から、半値幅ｗｂとフィルタとが相互に関連付けて記憶されたテーブルＴａ４を読み出す。フィルタ選定部１７０２は、半値幅算出部１７０１で算出された半値幅ｗｂに対応するフィルタをテーブルＴａ４から読み出すことで、対象となる動体のフィルタを選定する。図２０は、テーブルＴａ４の一例を示す図である。図２０に示す例のように、テーブルＴｂ４には、複数の空間ボケ特性の半値幅ｗｂと、それらに対応するボケ低減用のフィルタとが相互に関連付けられて記憶されている。対象となる動体のｘ軸、ｙ軸それぞれの半値幅ｗｂから、テーブルＴａ４を用いてフィルタを取得する。
【００４９】
図１８の説明に戻り、ステップＳ１８０４において、フィルタ選定部１７０２は、テーブルＴａ３の全ての動体に対してフィルタを選定したか否かを判定する。全ての動体に対してフィルタを選定した場合、ステップＳ１８０５へ進む。全ての動体に対してフィルタを選定し終えていない場合、次の動体を選択し、ステップＳ１８０１へ進む。
ステップＳ１８０５において、フィルタ選定部１７０２は、動体の複数のインデックスと、それらに対応するフィルタのテーブルＴａ５を生成する。図２１は、テーブルＴａ５の一例を示す図である。図２１に示す例のように、テーブルＴａ５には、動体の複数のインデックスと、ｘ軸方向のボケ低減フィルタｈｘと、y軸方向のボケ低減フィルタｈｙとが相互に関連付けられて記憶される。
以上のように、各動体とフィルタとが相互に関連付けられて記憶されたテーブルＴａ５を生成して、フィルタ算出の処理を終了する。
【００５０】
＜フィルタ処理＞
次に、図３のステップＳ３０７におけるフィルタ処理の詳細の一例を、図２２のフローチャートに基づいて説明する。
ステップＳ２２０１において、フィルタ処理部２０７は、フレームバッファ２０１からフレームＩtを読み出す。
次に、ステップＳ２２０２において、フィルタ処理部２０７は、動体検出部２０２からフレームＩtの画素のインデックスを読み出す。
次に、ステップＳ２２０３において、フィルタ処理部２０７は、テーブルＴａ５を参照し、フィルタの情報を取得する。以下では、動体のインデックスＢ(ｉ，ｊ)を選択した場合を例に挙げて説明する。
次に、ステップＳ２２０４において、フィルタ処理部２０７は、対象となる動体のインデックスと画素のインデックスとに基づいて、フレームＩtから、当該動体が存在している領域（動体領域）の画像データＤを抽出する。ここで、当該動体のインデックスはＢ(ｉ，ｊ)である。したがって、当該動体領域の画像データＤの画素値Ｄ（ｘ，ｙ）は、以下の式（１８）に示すように、ブロックのインデックスから算出される画素のインデックスから始まる、ｘ軸方向にＷ／Ｎ画素、ｙ軸方向にＨ／Ｍ画素の領域である。
【００５１】
【数１２】
2014174339.tif 000014
【００５２】
尚、Ｎ、Ｍは、動体検出部２０２でフレームＩtをブロック分割した際のブロック数を表し、Ｗ、Ｈは、それぞれフレームＩtの水平画素数、垂直画素数を表す。
次に、ステップＳ２２０５において、フィルタ処理部２０７は、抽出した動体領域の画像データＤのＲＧＢ信号値をＸＹＺ値へ変換する。例えば、動体領域の画像データＤの或る画素値Ｄ(ｘ，ｙ)が８ｂｉｔの信号値(Ｒ，Ｇ，Ｂ)であったとする。このとき、画素値Ｄ(ｘ，ｙ)のＸＹＺ値は、以下の式（１９）及び式（２０）から算出される。
【００５３】
【数１３】
2014174339.tif 000015
【００５４】
式（１９）において、γはパネル１０４のガンマ特性を表している。ガンマ特性γは、ＲＯＭ１０２から取得されるものとする。式（２０）のＭ0は、正規化したＲ'Ｇ'Ｂ'値をＸＹＺ値に変換する３×３のマトリックスである。このマトリックスＭ0として、ここではITU-R  Rec.709で定められているものを用いる。ただし、sRGBや他の公知のマトリックスでもよい。以上の処理を動体領域の全ての画素に対して行う。
次に、ステップＳ２２０６において、フィルタ処理部２０７は、動体領域の画像データＤのＹ値に対して、当該動体のフィルタを畳み込む。具体的には、動体領域の画像データの画素値Ｄ(ｘ，ｙ)のＹ値をＹ(ｘ，ｙ)とすると、ｘ軸方向・ｙ軸方向にテーブルＴａ５から参照されるフィルタｈｘ、ｈｙを、以下の式（２１）で畳み込む。
【００５５】
【数１４】
2014174339.tif 000016
【００５６】
ここで、Ｙ"(ｘ，ｙ)は、フィルタ処理後の輝度値を表す。またｗx、ｗyはフィルタｈｘ、ｈｙのインデックスを表し、ｗｘmax、ｗｙmaxは、それぞれのフィルタ長を表す。
次に、ステップＳ２２０７において、フィルタ処理部２０７は、動体領域ＤのＸＹＺ値をＲＧＢ信号値へ変換する。このとき、動体領域Ｄ(ｘ，ｙ)のＸＹＺ値をＸ，Ｙ"，ＺとするとＲＧＢ値への変換は、以下の式（２２）及び式（２３）で行われる。
【００５７】
【数１５】
2014174339.tif 000017
【００５８】
式（２２）のＭ1は、正規化したＸＹ"Ｚ値をＲ"Ｇ"Ｂ"に変換する３×３のマトリックスである。このマトリックスＭ1として、ここではITU-R  Rec.709で定められているものを用いる。ただし、sRGBや他の公知のマトリックスでもよい。以上の処理を動体領域の画像データＤの全ての画素に行う。以下、フィルタ処理を動体領域全ての画素に対して行った動体領域の画像データをＤ'と呼ぶ。
次に、ステップＳ２２０８において、フィルタ処理部２０７は、フィルタ処理を行った動体領域の画像データＤ'をフレームＩtに挿入する。動体領域の画像データＤ'の画素値Ｄ'(ｘ，ｙ)は、フレームＩtの画素のインデックスをそのまま保持している。このため、フィルタ処理を行った動体領域の画像データＤ'の挿入は、Ｉt(ｘ，ｙ)＝Ｄ'(ｘ，ｙ)となる全ての動体領域の画像データＤ'の画素に対して行われる。
【００５９】
次に、ステップＳ２２０９において、フィルタ処理部２０７は、テーブルＴａ５の全ての動体に対してフィルタ処理を行ったか否かを判定する。この判定の結果、全ての動体に対してフィルタ処理を終えていない場合、次の動体を選択し、ステップＳ２２０３へ進む。一方、全ての動体に対してフィルタ処理を終えている場合、フィルタ処理を終了する。
以上のようにして、全ての動体の画像領域に対して動きボケを低減するフィルタをかけることができる。
【００６０】
以上のように本実施形態では、まず、動画内の各フレームから動体を検出する。そして、動体の移動速度と、パネル１０４における入力信号に対する時間応答特性と、に基づいて、同一の時刻でのパネル１０４における動体の輝度の分布を表す空間応答特性を導出し、空間応答特性を画素単位で表現した空間ボケ特性を算出する。そして、空間ボケ特性の半値幅に応じたフィルタを用いて動体のボケを補正する。このように、移動速度に加えて時間応答特性を考慮して空間ボケ特性を算出するため、各動体の動きボケを高精度に推定できる。そして、以上のようにして得られる空間ボケ特性に応じてフィルタ処理を行うため、動きボケをより精度よく低減することができる。
【００６１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、フィルタ算出部２０６が、空間ボケ特性の半値幅ｗｂに応じてフィルタを選定している。しかし、この方法では半値幅ｗｂのみから補正用のフィルタを算出しているため、空間ボケ特性の形状に基づいた高精度なボケ補正ができない場合がある。そこで、本実施形態では、空間ボケ特性の周波数特性を求めて、フィルタを生成し、より個々の動きボケに適応したフィルタ処理を行う場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、フィルタを算出する方法の一部が主として異なる。したがって、本実施形態の説明において第１の実施形態と同一の部分については、図１〜図２２に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００６２】
＜システム全体の動作＞
本実施形態におけるハードウェアは、図１と同一である。
また、実施形態における画像処理装置１００の動作は、第１の実施形態と同一である（図３を参照）。
さらに、補正処理部１０１の内部の構成も第１の実施形態と同一である（図２を参照）。
【００６３】
次に、補正処理部１０１の動作の一例を、図２３のフローチャートに基づいて説明する。
ステップＳ２３０１からステップＳ２３０５までの処理は第１の実施形態のステップＳ３０１からステップＳ３０５までの処理と同一である（図３を参照）。
ステップＳ２３０６において、フィルタ算出部２０６は、空間ボケ特性の周波数特性を算出し、この周波数特性に応じて、各動体の動きボケを低減させるフィルタを算出する。フィルタ算出の詳細は後述する。
次に、ステップＳ２３０７において、フィルタ処理部２０７は、各動体に対してフィルタ処理を行い、フレームＩt内に挿入する。ここでは、動体のインデックスとフィルタとが相互に関連付けられたテーブルとして、テーブルＴａ５ではなく、ステップＳ２３０６で生成されるテーブルＴａ６を用いる。その他のステップＳ２３０７の動作は、第１の実施形態のステップＳ３０７の動作と同一である。
以上の処理を終えた後、補正処理部１０１は、フレームＩtを出力画像としてパネル１０４に出力する。
【００６４】
＜フィルタ算出の処理＞
図２４は、補正処理部１０１のフィルタ算出部２０６の論理構成の一例を示すブロック図である。フィルタ算出部２０６は、フーリエ変換部２４０１、フィルタ周波数特性算出部２４０２、及び逆フーリエ変換部２４０３を有する。
次に、図２３のステップＳ２３０６におけるフィルタ算出の処理の詳細の一例を、図２５のフローチャートに基づいて説明する。
ステップＳ２５０１において、フィルタ算出部２０６はテーブルＴａ３から空間ボケ特性の情報を取得する。
次に、ステップＳ２５０２において、フーリエ変換部２４０１は、対象となる動体の空間ボケ特性の周波数特性を算出する。動体のｘ軸方向の空間ボケ特性の周波数特性Ｆx(ｐ)は、以下の式（２４）による離散フーリエ変換から算出できる。
【００６５】
【数１６】
2014174339.tif 000018
【００６６】
ここで、ｍは、空間ボケ特性のインデックスを表し、ｍmaxはｍの最大値を表す。また、ｐは、周波数特性のインデックスを表し、ｐ＝０，１,・・・，ｍmaxまでの範囲の整数である。以上の処理をｙ軸方向についても行い、動体の空間ボケ特性の周波数特性Ｆy(ｐ)を算出する。図２６は、空間ボケ特性の周波数特性の一例を示す図である。図２６に示す空間ボケ特性の周波数特性は、ある空間ボケ特性に対して以上の処理を行い、横軸をｐ＝０〜ｍmax／２、縦軸を振幅特性としてプロットすることにより得られる。
【００６７】
図２５の説明に戻り、ステップＳ２５０３において、フィルタ周波数特性算出部２４０２は、空間ボケ特性の周波数特性から、動きボケを低減するフィルタの周波数特性を算出する。まず、フィルタ周波数特性算出部２４０２は、対象となる動体の空間ボケ特性の周波数特性の逆数を算出し、これを直流成分の値で正規化する。次に、フィルタ周波数特性算出部２４０２は、フィルタの周波数特性に対してローパスフィルタを乗算する。このローパスフィルタは公知の特性のもので良く、例えばガウス関数としてもよい。例えば、フィルタ周波数特性算出部２４０２は、フィルタのｘ軸方向の周波数特性Ｇx（ｐ）を、以下の式（２５）により算出することができる。
【００６８】
【数１７】
2014174339.tif 000019
【００６９】
図２７は、フィルタの周波数特性の一例を示す図である。図２７に示すフィルタの周波数特性は、横軸にｐ＝０〜ｍmax／２、縦軸にフィルタ係数をとって、フィルタのｘ軸方向の周波数特性をプロットすることにより得られる。以上の処理をｙ軸方向についても行い、フィルタのｙ軸方向の周波数特性Ｇy(ｐ)を算出する。
図２５の説明に戻り、ステップＳ２５０４において、逆フーリエ変換部２４０３は、対象となる動体のフィルタの周波数特性に対して逆フーリエ変換を行い、フィルタの周波数特性を持つフィルタを算出する。フィルタの周波数特性Ｇx(ｐ)を持つｘ軸方向のフィルタをｇx(ｑ)は、以下の式（２６）から算出することができる。
【００７０】
【数１８】
2014174339.tif 000020
【００７１】
ここで、ｑはフィルタｇxのインデックスを表し、ｑ＝−ｍmax／２，・・・，０，１，・・・，ｍmax／２の範囲の整数である。図２８は、フィルタの一例を示す図である。図２８に示すフィルタは、図２７に示したフィルタの周波数特性Ｇxから、式（２６）によりｇxを算出し、横軸にｑ、縦軸にフィルタ係数をとってプロットすることにより得られる。以上の処理をｙ軸方向についても行い、フィルタ周波数特性Ｇy(ｐ)を持つｙ軸方向のフィルタｇy(ｑ)を算出する。
【００７２】
次に、ステップＳ２５０５において、フィルタ算出部２０６は、テーブルＴａ３内の全ての動体に対してフィルタを算出したか否かを判定する。この判定の結果、全ての動体に対してフィルタの算出を行っていれば、ステップＳ２５０６へ進む。一方、そうでなければ、次の動体を選択してステップＳ２５０１へ進む。
そして、ステップＳ２５０６において、フィルタ算出部２０６は、動体の複数のインデックスと、それらに対応するフィルタのテーブルＴａ６を生成する。例えば、図２１に示したように、テーブルＴａ６には、動体のインデックスと、ｘ軸方向のボケ低減フィルタｇxと、ｙ軸方向のボケ低減フィルタｇyとが相互に関連付けられて記憶される。
以上のように、各動体とフィルタとが相互に関連付けられて記憶されたテーブルＴａ６を生成して、フィルタ算出の処理を終了する。
【００７３】
以上のように本実施形態では、空間ボケ特性の周波数特性から、ボケを低減するフィルタを算出することで、動きボケの形状に応じたボケ低減フィルタを生成することができる。これにより、ボケの形状に応じたフィルタ処理を行うことができる。したがって、個々の動きボケをより精度よく低減することができる。
【００７４】
（第３の実施形態）
次に、本発明の第３の実施形態を説明する。第１及び第２の実施形態では、時間応答特性として、時間応答特性データ記憶部２０５に予め記憶されている単一のデータを使用した。しかし、時間応答特性は、パネルの経年劣化や周囲の温度などによって変化する。このため、このような方法ではこれらの影響に対する補正を行えないことがある。そこで、本実施形態では、時間応答特性測定用の画像を表示装置に表示し、測定装置を用いて時間応答特性を測定することで、パネルの経年劣化や環境の影響を考慮した動きボケ補正を行う。このように本実施形態と第１、第２の実施形態とは、時間応答特性に係る処理と構成が主として異なる。したがって、本実施形態の説明において第１、第２の実施形態と同一の部分については、図１〜図２８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７５】
図２９は、本実施形態の画像処理装置２９００とパネル２９０６とを備えた表示装置の構成の一例を示す図である。図１では、画像処理装置２９００とパネル２９０６とが別体である場合を例に挙げて示している。しかしながら、パネル２９０６の内部に画像処理装置２９００が含まれていてもよい。尚、パネル２９０６は、第１、第２の実施形態のパネル１０４と同じものであっても異なるものであっても良い。
【００７６】
画像処理装置２９００は、時間応答特性測定部２９０１、補正処理部２９０２、ＲＯＭ２９０３、ＲＡＭ２９０４、測定装置制御部２９０５、及びパネル２９０６を有する。図３０は、パネル２９０６に表示する測定画像から時間応答特性を測定するための、時間応答特性測定部２９０１の構成の一例を示すブロック図である。
時間応答特性測定部２９０１は、ステップ信号生成部３００１、光応答測定装置３００２、微分処理部３００３、及び平滑化処理部３００４を有する。また、時間応答特性測定部２９０１は、ＣＰＵを有しており、時間応答特性測定部２９０１の全ての処理はＣＰＵによって行うことができる。
【００７７】
＜システム全体の動作＞
本実施形態における画像処理装置２９００の動作の一例を説明する。
まず、ユーザは、測定装置制御部２９０５を操作し、時間応答特性測定部２９０１からパネル２９０６へ時間応答特性測定用の測定画像を表示させる。次に、光応答測定装置３００２を用いて、パネル２９０６に表示される測定画像の光の時間応答を測定する。次に、時間応答特性測定部２９０１は、ＲＯＭ２９０３から、時間応答特性算出用のプログラムを読み出し、測定されたデータに対し順次、測定画像生成処理を行う。次に、前記測定画像生成処理によって得られた時間応答特性データを補正処理部２９０２内の時間応答特性データ記憶部２０５へ格納する。次に、補正処理部２９０２は、入力される入力画像に対して補正処理を行う。補正処理部２９０２の動作は、第１、第２の実勢形態の補正処理部１０１の動作と同一である。
【００７８】
次に、時間応答特性測定部２９０１の動作の一例を説明する。
まず、ステップ信号生成部３００１は、パネル２９０６へ測定画像を表示させる。具体的にステップ信号生成部３００１は、ＲＯＭ２９０３に記憶されている、パネル２９０６の画素数を読み出し、２種類の測定画像を生成する。例えば、パネル２９０６の画素数がＷ×Ｈとすると、測定画像は、図３１に示すような画素数Ｗ×Ｈの黒画像３１０１（図３１（ａ）を参照）と白画像３１０２（図３１（ｂ）を参照）となる。このとき、黒画像３１０１を測定画像１、白画像３１０２を測定画像２と呼ぶ。また、測定画像１のＲＧＢ信号値を(０，０，０)とし、測定画像２のＲＧＢ信号値を(２５５，２５５，２５５)とする。
【００７９】
次に、ステップ信号生成部３００１は、測定画像を表示する旨のメッセージをパネル２９０６に表示させる。そして、一定時間ｔs1の間、測定画像１をパネル２９０６に表示させた後、ステップ信号生成部３００１は、測定画像２を一定時間ｔs2の間パネル２９０６に表示させる。図３２は、測定画像の信号値と時間との関係の一例を示す図である。図３２に示す関係は、パネル２９０６へ入力された測定画像の信号値を、横軸に時間、縦軸に輝度をとってプロットすることにより得られ、ステップ応答となる。尚、ここでは、測定画像がパネル２９０６の全画面に表示される画像とした。しかしながら、測定画像はこれに限られるものではなく、パッチ画像や水平方向のライン画像等であってもよい。
【００８０】
次に、光応答測定装置３００２は、パネル２９０６上に表示された測定画像から、パネル２９０６のステップ時間応答特性を取得する。ここで、光応答測定装置３００２は、パネル２９０６上の輝度の時間変化を取得できるものとする。本実施形態では、光の量を電圧に変換するフォトダイオードと、電圧の時間変化をサンプリングできるオシロスコープとを組み合わせた装置が光応答測定装置３００２である場合を例に挙げて説明する。尚、光応答測定装置３００２の制御は測定装置制御部２９０５を通して行うものとする。まず、フォトダイオードをパネル２９０６に設置し、測定画像１から測定画像２への時間変化を測定する。
【００８１】
図３３は、フォトダイオードによる測定結果の一例を示す図であり、パネル２９０６から発せられる光の量から得られる電圧と時間との関係の一例を表形式で示す図である。図３３に示す例のように、フォトダイオードによる測定結果は、オシロスコープのサンプリング周波数でサンプリングされた時間と電圧値のデータとなる。図３４は、フォトダイオードによる測定結果の一例を示す図であり、パネル２９０６から発せられる光の量から得られる電圧と時間との関係の一例をグラフで示す図である。図３４に示すフォトダイオードによる測定結果は、フォトダイオードによる測定結果を、横軸を時間、縦軸を電圧とする座標上にプロットすることにより得られる。図３２に示したように、パネル２９０６へ入力された測定画像の信号値の時間変化は、測定画像が変更されるのに伴い瞬時に切り替わっている。これに対し、図３４に示すように、パネル２９０６における測定画像の信号値の変化には時間がかかっていることが分かる。
【００８２】
次に、光応答測定装置３００２は、この測定結果の電圧値を輝度値に変換し、輝度の時間変化をステップ時間応答特性として算出する。ここで、電圧値Ｄ(ｔn)から輝度値Ｙstep(ｔn)の変換は、以下の式（２７）の計算を行うことにより実現される。
【００８３】
【数１９】
2014174339.tif 000021
【００８４】
ここで、係数ａ，ｂはＲＯＭ２９０３に保持されている値とする。図３５は、ステップ時間応答特性の一例を示す図である。図３５に示すステップ時間応答特性は、ステップ時間応答特性を、横軸を時間、縦軸を輝度とする座標上にプロットすることにより得られる。
次に、微分処理部３００３は、光応答測定装置３００２で算出したステップ時間応答特性に対して微分処理を行い、パネル２９０６の輝度の時間変化量Ｙd(ｔn)を算出する。微分処理部３００３は、例えば、以下の式（２８）の計算を行って、ステップ時間応答特性の全データを微分する。
【００８５】
【数２０】
2014174339.tif 000022
【００８６】
ここで、式（２８）のｈｄは公知の微分フィルタであるとする。
次に、平滑化処理部３００４は、パネル２９０６の輝度の時間変化量Ｙd(ｔn)に対してノイズの影響を低減させる平滑化処理を行い、時間応答特性データを算出する。平滑化処理は公知の方法で良い。ここでは５タップの平滑化フィルタ処理を、以下の式（２９）を用いて、パネル２９０６の輝度の時間変化量Ｙd(ｔn)の全てのデータに対して行うものとする。
【００８７】
【数２１】
2014174339.tif 000023
【００８８】
ここで、時間ｔnから測定画像１の表示時間ｔs1を減算することで、ｔ'0＝０において輝度の時間変化が始まるように調整する。そして、平滑化処理部３００４は、図４に示したように、得られた時間ｔ'nとその時間ｔ'nにおける輝度の時間変化量Ｙt(ｔ'n)とを時間応答特性データとして、時間応答特性データ記憶部２０５へ送信する。これにより、時間応答特性データ記憶部２０５に記憶されていた時間応答特性データは、平滑化処理部３００４から送信された時間応答特性データに更新される。
このようにして、本実施形態での画像処理装置２９００では、時間応答特性測定部２９０１がパネル２９０６の時間応答特性を測定することで、パネル２９０６の経年劣化や環境の影響を含めた時間応答特性データを取得できる。
入力画像に対して補正処理部２９０２は、このようにして更新された時間応答特性データを用いて、動きボケを低減させる処理を行う。この処理は、第１、第２の実施形態の補正処理部１０１の動作と同一であるため説明を省略する。
以上のように本実施形態では、パネル２９０６の時間応答特性を測定し、時間応答特性データを算出するので、パネル２９０６の経年劣化や環境の影響を考慮した動きボケの補正処理を行うことができる。
【００８９】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００９０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【００９１】
１００  画像処理装置、１０１  補正処理部、１０４  パネル
【図１】
2014174339.tif 000024
【図２】
2014174339.tif 000025
【図３】
2014174339.tif 000026
【図４】
2014174339.tif 000027
【図５】
2014174339.tif 000028
【図６】
2014174339.tif 000029
【図７】
2014174339.tif 000030
【図８】
2014174339.tif 000031
【図９】
2014174339.tif 000032
【図１０】
2014174339.tif 000033
【図１１】
2014174339.tif 000034
【図１２】
2014174339.tif 000035
【図１３】
2014174339.tif 000036
【図１４】
2014174339.tif 000037
【図１５】
2014174339.tif 000038
【図１６】
2014174339.tif 000039
【図１７】
2014174339.tif 000040
【図１８】
2014174339.tif 000041
【図１９】
2014174339.tif 000042
【図２０】
2014174339.tif 000043
【図２１】
2014174339.tif 000044
【図２２】
2014174339.tif 000045
【図２３】
2014174339.tif 000046
【図２４】
2014174339.tif 000047
【図２５】
2014174339.tif 000048
【図２６】
2014174339.tif 000049
【図２７】
2014174339.tif 000050
【図２８】
2014174339.tif 000051
【図２９】
2014174339.tif 000052
【図３０】
2014174339.tif 000053
【図３１】
2014174339.tif 000054
【図３２】
2014174339.tif 000055
【図３３】
2014174339.tif 000056
【図３４】
2014174339.tif 000057
【図３５】
2014174339.tif 000058