(57)【要約】【課題】  周期的に直線偏光フィルタの偏光透過率を変えて記録された動画像に対して時間的輝度変動を付加する際に、飽和状態から修復された画素を用いる為の技術を提供すること。【解決手段】  偏光成分補正部２０１は、第ｆフレーム目からＰｐｈａｓｅだけ過去のフレームまでの間の各フレームの撮像画像において、画素位置（ｘ、ｙ）における画素の画素値の最小値を特定する。そして、撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と最小値との差分を関数Ｒ（ｆ）で除した結果に最小値を加えた結果を、撮像画像ｆの修正画像として出力する修正撮像画像ないの画素位置（ｘ、ｙ）における画素値として求める。【選択図】  図２
2012060515.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に入光した光を偏光透過率を変化させながら該撮像装置の撮像素子で受光して撮像された各フレームの撮像画像、を取得する取得手段と、
ｆ＝２，３，…について、第ｆフレーム目の撮像画像である撮像画像ｆと、第（ｆ−１）フレーム目の撮像画像である撮像画像（ｆ−１）と、のセットをセットｆとしたとき、前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と、前記撮像画像（ｆ−１）中の画素位置（ｘ、ｙ）における画素の画素値と、の差分を計算する計算手段と、
セットｆについて前記計算手段が計算した前記差分が正の符号を有し且つセット（ｆ−１）について前記計算手段が計算した前記差分が負の符号を有している場合には、第１の変数にｆの値を設定し、セットｆについて前記計算手段が計算した前記差分が負の符号を有し且つセット（ｆ−１）について前記計算手段が計算した前記差分が正の符号を有している場合には、第２の変数にｆの値を設定する設定手段と、
前記計算手段及び前記設定手段によりｆ＝２，３，…について処理を行った結果、前記第１の変数及び前記第２の変数に値が設定された場合、前記第１の変数の値と前記第２の変数の値との差分の２倍を周期とし、前記第２の変数の値を位相とする、それぞれのｆに対応する値を返す周期関数Ｒ（ｆ）を求める関数計算手段と、
前記第ｆフレーム目から前記周期分だけ過去のフレームまでの間の各フレームの撮像画像において、画素位置（ｘ、ｙ）における画素の画素値の最小値を特定する特定手段と、
前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と前記最小値との差分をＲ（ｆ）で除した結果に前記最小値を加えた結果を、前記撮像画像ｆの修正画像として出力する修正撮像画像ないの画素位置（ｘ、ｙ）における画素値として求める演算手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の変数の値と前記第２の変数の値との差分の絶対値の２倍をＰｐｈａｓｅ、前記第２の変数の値をｔ＿Ｐｍｉｎとしたとき、
前記関数計算手段は、前記周期関数Ｒ（ｆ）＝１／２×｛ｓｉｎ（２π×（ｆ＋ｔ＿Ｐｍｉｎ）／Ｐｐｈａｓｅ）＋１｝、を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、
前記修正撮像画像から複数枚のサブフレーム画像を生成する手段と、
前記修正撮像画像及び前記複数枚のサブフレーム画像のそれぞれを輝度を調整してから出力する手段と
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、撮像装置に入光した光を偏光透過率を変化させながら該撮像装置の撮像素子で受光して撮像された各フレームの撮像画像、を取得する取得工程と、
前記画像処理装置の計算手段が、ｆ＝２，３，…について、第ｆフレーム目の撮像画像である撮像画像ｆと、第（ｆ−１）フレーム目の撮像画像である撮像画像（ｆ−１）と、のセットをセットｆとしたとき、前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と、前記撮像画像（ｆ−１）中の画素位置（ｘ、ｙ）における画素の画素値と、の差分を計算する計算工程と、
前記画像処理装置の設定手段が、セットｆについて前記計算工程で計算した前記差分が正の符号を有し且つセット（ｆ−１）について前記計算工程で計算した前記差分が負の符号を有している場合には、第１の変数にｆの値を設定し、セットｆについて前記計算工程で計算した前記差分が負の符号を有し且つセット（ｆ−１）について前記計算工程で計算した前記差分が正の符号を有している場合には、第２の変数にｆの値を設定する設定工程と、
前記画像処理装置の関数計算手段が、前記計算工程及び前記設定工程によりｆ＝２，３，…について処理を行った結果、前記第１の変数及び前記第２の変数に値が設定された場合、前記第１の変数の値と前記第２の変数の値との差分の２倍を周期とし、前記第２の変数の値を位相とする、それぞれのｆに対応する値を返す周期関数Ｒ（ｆ）を求める関数計算工程と、
前記画像処理装置の特定手段が、前記第ｆフレーム目から前記周期分だけ過去のフレームまでの間の各フレームの撮像画像において、画素位置（ｘ、ｙ）における画素の画素値の最小値を特定する特定工程と、
前記画像処理装置の演算手段が、前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と前記最小値との差分をＲ（ｆ）で除した結果に前記最小値を加えた結果を、前記撮像画像ｆの修正画像として出力する修正撮像画像ないの画素位置（ｘ、ｙ）における画素値として求める演算工程と
を備えることを特徴とする画像処理方法。
【請求項５】
コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像における高周波の輝度変動を擬似的に再現する為の技術に関するものである。
【背景技術】
【０００２】
像の規格であるＳＭＰＴＥ−１７０Ｍ（通称ＮＴＳＣ）では、６０Ｈｚという映像表示周波数が規定され、規格化したアメリカを中心に、日本、韓国、中南米の放送・撮像システムで、統一的にこの表示周波数が採用されている。
【０００３】
一方、表示パネル・駆動回路の技術の向上に伴い、より高い駆動周波数で映像表示可能となっており、６０Ｈｚより高い駆動周波数で映像を表示可能となってきている。例えば、特許文献２によれば、動き補償を用いてサブフレームを生成し、入力周波数の倍の周波数で動画像を出力することが可能となる。この技術により液晶ディスプレイでの動きぼけの改善が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-003970号公報
【特許文献２】特開2006-317660号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一般的な動き補償処理では、入力フレームの画素値をサブフレームの対応点にコピーする処理が基本であり、画素値を明示的にコントロールすることはない。本発明は以上の問題に鑑みてなされたものであり、周期的に直線偏光フィルタの偏光透過率を変えて記録された動画像に対して時間的輝度変動を付加する際に、飽和状態から修復された画素を用いる為の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、撮像装置に入光した光を偏光透過率を変化させながら該撮像装置の撮像素子で受光して撮像された各フレームの撮像画像、を取得する取得手段と、ｆ＝２，３，…について、第ｆフレーム目の撮像画像である撮像画像ｆと、第（ｆ−１）フレーム目の撮像画像である撮像画像（ｆ−１）と、のセットをセットｆとしたとき、前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と、前記撮像画像（ｆ−１）中の画素位置（ｘ、ｙ）における画素の画素値と、の差分を計算する計算手段と、セットｆについて前記計算手段が計算した前記差分が正の符号を有し且つセット（ｆ−１）について前記計算手段が計算した前記差分が負の符号を有している場合には、第１の変数にｆの値を設定し、セットｆについて前記計算手段が計算した前記差分が負の符号を有し且つセット（ｆ−１）について前記計算手段が計算した前記差分が正の符号を有している場合には、第２の変数にｆの値を設定する設定手段と、前記計算手段及び前記設定手段によりｆ＝２，３，…について処理を行った結果、前記第１の変数及び前記第２の変数に値が設定された場合、前記第１の変数の値と前記第２の変数の値との差分の２倍を周期とし、前記第２の変数の値を位相とする、それぞれのｆに対応する値を返す周期関数Ｒ（ｆ）を求める関数計算手段と、前記第ｆフレーム目から前記周期分だけ過去のフレームまでの間の各フレームの撮像画像において、画素位置（ｘ、ｙ）における画素の画素値の最小値を特定する特定手段と、前記撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と前記最小値との差分をＲ（ｆ）で除した結果に前記最小値を加えた結果を、前記撮像画像ｆの修正画像として出力する修正撮像画像ないの画素位置（ｘ、ｙ）における画素値として求める演算手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、周期的に直線偏光フィルタの偏光透過率を変えて記録された動画像に対して時間的輝度変動を付加する際に、飽和状態から修復された画素を用いることができる。
【図面の簡単な説明】
【０００８】
【図１】偏光強度補正部６０３が行う処理のフローチャート。
【図２】画像処理装置の機能構成例を示すブロック図。
【図３】偏光板（偏光子）を回転させて撮像して記録することを説明する図。
【図４】透過率を説明する図。
【図５】光強度の変化を示す図。
【図６】偏光成分補正部２０１の機能構成例を示すブロック図。
【図７】偏光特性解析部６００が行う処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図２のブロック図を用いて説明する。本実施形態に係る画像処理装置は、各フレームの入力画像を６０Ｈｚで連続的に入力し、２４０Ｈｚで各フレームの画像を出力するものとして説明する。しかし、以下の説明の本質は、これらのフレームレートに限定したものではなく、当業者であれば、如何なるフレームレートであっても、以下で説明する技術を適宜対応させることができるであろう。
【００１１】
フレーム入力部２００には、動画像を構成する各フレームの画像が順次入力される。ここで、この入力されるそれぞれのフレームの画像について説明する。上記の特許文献１には、撮像装置内に実装されているＰＬフィルタを回転制御して、ＰＬフィルタの効果を容易に得られるようにすることが記載されている。この撮像装置のＰＬフィルタの回転制御は、ＰＬフィルタの効果を得るための予備撮影時にのみ限られているが、映像撮影時にＰＬフィルタを回転制御することは可能である。
【００１２】
ここで、ＰＬフィルタなどの偏光板（偏光子）を回転させて撮像して記録することについて、図３を用いて説明する。先ず、偏光が撮像素子に記録される場合について説明する。
【００１３】
図３（ａ）に示す如く、直線偏光３０１が撮像装置内の撮像素子３０２に入光すると、撮像素子３０２は、この入光した直線偏光３０１を光電変換し、電荷として記録する。定常的な光強度（偏光強度）を持った直線偏光３０１の、時間変動に対する光強度の変化（時間関数）について、図３（ｂ）を用いて説明する。図３（ｂ）に示す如く、時間の変動に対し、直線偏光３０１の偏光強度は変化せず、相対値１００％の光強度を保っている。そしてこのような直線偏光３０１を撮像素子３０２によって光電変換した場合の、時間変動に対する電荷の強度の変化（時間関数）について、図３（ｃ）を用いて説明する。撮像素子３０２が記録できる電荷量は有限であるので、記録する電荷量に対して飽和閾値が存在する。この飽和閾値は、光強度に換算して相対値７５％である。そのため、撮像素子３０２は、相対値１００％の光強度を持つ直線偏光３０１については正確に記録することはできず、飽和して相対値７５％で記録することになる。
【００１４】
次に、ＰＬフィルタなどの偏光板（偏光子）を回転させることで、この偏光板に入光する直線偏光の偏光透過率を周期的に変動させて撮像素子３０２に記録する場合について説明する。
【００１５】
図３（ｄ）に示す如く、矢印で示す如く方向に回転中のＰＬフィルタ３０３に対して直線偏光３０１が入光すると、この直線偏光３０１は、ＰＬフィルタ３０３の回転に応じて周期的に変化する偏光透過率でＰＬフィルタ３０３を透過する。この透過した光がＰＬフィルタ透過光３０４である。このＰＬフィルタ透過光３０４は撮像素子３０２に入射することになるので、撮像素子３０２は、このＰＬフィルタ透過光３０４を記録することになる。
【００１６】
ここで、この偏光透過率とは、図４（ａ）に示す如く、直線偏光３０１の偏波面とＰＬフィルタ３０３等の偏光板の偏光透過軸が成す角で決まる、直線偏光３０１の光強度の減衰率である。
【００１７】
ＰＬフィルタ透過光３０４の、時間変動に対する光強度（偏光強度）の変化（時間関数）について、図３（ｅ）を用いて説明する。図３（ｅ）に示す如く、時間の変動に対し、ＰＬフィルタ透過光３０４の偏光強度は周期的に変化している。これは、ＰＬフィルタ３０３の回転により、直線偏光３０１の光強度が周期的に減衰されていることに起因している。ＰＬフィルタ透過光３０４の光強度は、直線偏光３０１の偏波面とＰＬフィルタ３０３の偏光透過軸が成す角度に依存している。然るに、等速でＰＬフィルタ３０３を回転させると、時間変動に対するＰＬフィルタ透過光３０４の光強度の変化（時間関数）は、図３（ｅ）に示す如く、ｓｉｎ波状の波形となる。
【００１８】
なお、図４（ｂ）に示す如く、実際のＰＬフィルタは光の波長により分光透過率が異なり、無偏光の光強度を５０％未満に低減させる。これは、ＰＬフィルタの透過軸に沿った電界ベクトル成分のみを透過することで、無偏光の光強度が半分に低下すること以外に、光学フィルタとしての減光作用があるためである。このため、例えＰＬフィルタ３０３の透過軸と直線偏光３０１の偏波面が一致していても、ＰＬフィルタ透過光３０４の光強度は１００％にはならない。しかし、このＰＬフィルタ３０３の光学フィルタとしての減光作用は、本実施形態の本質に影響を与えるものではなく、省略しても支障ない。そのため、本実施形態では、ＰＬフィルタ３０３の透過軸と直線偏光３０１の偏波面が一致しているときのＰＬフィルタ透過光３０４の光強度は１００％とする。
【００１９】
そしてこのようなＰＬフィルタ透過光３０４を撮像素子３０２によって光電変換した場合の、時間変動に対する電荷の強度の変化（時間関数）について、図３（ｆ）を用いて説明する。撮像素子３０２が記録できる電荷量の飽和閾値は、光強度に換算して相対値７５％である。そのため、撮像素子３０２は、相対値１００％の光強度を持つＰＬフィルタ透過光３０４については正確に記録することはできず、光強度がｓｉｎ波状の波形となるＰＬフィルタ透過光３０４は相対強度が７５％よりも強い光強度を持つときに飽和して記録される。また、７５％以下の光強度のときは正確に記録される。
【００２０】
このように、回転しているＰＬフィルタ３０３を介して入光するＰＬフィルタ透過光３０４を記録することで、図３（ｃ）に示す如く飽和して正確に記録できない直線偏光３０１の光強度を、図３（ｆ）に示す如く正確に記録できる。また、ＰＬフィルタ透過光３０４の光強度はＰＬフィルタ３０３の偏光透過軸に依存しているので、偏光透過軸を取得して、図３（ｆ）に示される電荷の強度に乗じることで、光強度が算出できる。
【００２１】
また、水面からの反射など、滑らかな面から撮像装置へ集光される光は、相対的に強度の強い偏光成分と、相対的に強度の弱い無偏光成分とによって構成される。水面からの反射光の、時間変動に対する光強度の変化（時間関数）について、図５を用いて説明する。図５（ａ）において、無偏光成分は定常的な光強度を示し、偏光成分は時間的に変動する。この変動は、水面の周期運動によって水面の反射面の角度が正弦波状に変動することに依存している。レンズ集光成分は、無偏光成分と偏光成分の和である。
【００２２】
ＰＬフィルタを用いずにレンズ集光成分を記録した場合の、時間変動に対するこのレンズ集光成分の信号強度（相対値）を、図５（ｂ）に示す。図５（ｂ）に示す如く、飽和閾値が信号強度の相対値３である撮像素子にレンズ集光成分を記録すると、撮像素子（非偏光制御）のように、レンズ集光成分の信号強度の相対値３よりも大きい信号値は正しく記録されない。
【００２３】
一方、本実施形態では、図５（ｃ）の撮像素子（偏光制御）の信号波形が示す如く、ＰＬフィルタを回転させてレンズ集光成分を記録する。PLフィルタは４フレーム時刻で１８０°回転しており、その間、偏光透過率は１００％→５０％→０％→５０％と周期変動する。
【００２４】
偏光透過率が１００％のときは、無偏光成分も偏光成分も１００％透過して撮像素子に照射される。信号強度が相対値３よりも大きいと、飽和して３として記録される。偏光透過率が５０％のときは、無偏光成分は１００％透過して偏光成分は５０％透過して撮像素子に照射される。信号強度の相対値は偏光透過率１００％のときよりも低下して撮像素子に記録される。偏光透過率が０％のときは、無偏光成分は１００％透過するが偏光成分は透過せずに撮像素子に照射される。信号強度の相対値は大きく低下して撮像素子に記録される。
【００２５】
この場合において重要なことは、偏光透過率を下げて記録することで、レンズ集光成分のうち、偏光成分のみゲインを下げて記録することができることである。この点を、図５（ｄ）を用いて詳細に説明する。
【００２６】
図５（ｄ）は、図５（ｃ）の拡大図であり、横軸の時刻を２２から３０まで図示している。Ｓ０は偏光透過率０％の時に記録された信号である。信号Ｓ０の信号値は無偏光成分のみの光強度に相当する。また、Ｓ５０は偏光透過率５０％の時に記録された信号である。信号Ｓ５０が飽和していない場合、信号Ｓ５０の信号値は無偏光成分と偏光透過率５０％で透過した偏光成分の光強度の和に相当する。このため、信号Ｓ５０と信号Ｓ５０に隣接する信号Ｓ０の差分値は偏光透過率５０％の偏光成分として近似することが可能である。このように、偏光板の偏光透過軸を回転させて記録した画像からは、微小時間内に偏光成分と無偏光成分を算出することが可能である。
【００２７】
なお、本実施形態では、４フレーム時刻で１８０°直線偏光板が回転するものとして説明するが、以下の説明の本質はこの回転速度に依存したものではないことは、以下の説明より明らかとなるであろう。即ち、以下の説明は、任意の回転速度にも対応したものとなる。
【００２８】
また、偏光透過率は可能な限り広範囲に制御できることが望ましく（０％から１００％まで制御できることが最も好適）、直線偏光板を用いて制御する場合は、１８０°回転させることで最も好適な制御形態となる。そのため、１方向に直線偏光板を回転させるだけでなく、回転角１８０°で右回りと左回りを交互に繰り返して直線偏光板を回転させることで実現することも可能である。また、上記の如く、０％から１００％まで偏光透過率を制御する必要はなく、０％から１００％までの任意の範囲で制御しても問題ない。
【００２９】
また、撮像時に偏光透過率を変えて記録するために、撮像装置内に実装された直線偏光板を回転させることで実現しているが、複数の光学系にて記録する撮像系において、それぞれの光学系に偏光透過軸の異なるように直線偏光板を設定して記録しても良い。
【００３０】
また、偏光透過率を制御するための装置は直線偏光板に限定するものではなく、例えば液晶ディスプレイで用いられている液晶などの光学活性な物質を用いても良い。即ち、偏光子として機能するものであれば、如何なる装置を直線偏光板の代わりに用いても良い。例えば、液晶を電気制御して旋光させることで偏光透過率を変動させる場合、液晶に電圧を印可することで液晶分子の配向を制御することができ、それにより偏光透過軸の制御が可能となる。ここから偏光透過率の制御が可能となる。
【００３１】
以上のことから、本実施形態ではフレーム入力部２００は、図３（ｆ）や図５（ｃ）で示されるような性質を有する画像を取得する。即ち、撮像装置に入光した光を、偏光透過率を変化させながらその透過光を撮像装置の撮像素子で受光することで撮像された各フレームの撮像画像を取得する。この撮像画像の一例が、撮像装置内で回転している偏光板を透過した光をこの撮像装置の撮像素子で受光して撮像した撮像画像、である。
【００３２】
なお、フレーム入力部２００は、この各フレームの撮像画像を、この撮像装置から直接取得しても良いし、撮像装置が撮像した各フレームの撮像画像を保持しているコンピュータからこの各フレームの撮像画像を取得しても良い。即ち、各フレームの撮像画像の取得形態については特に限定するものではない。フレーム入力部２００が取得した各フレームの撮像画像は順次、後段の偏光成分補正部２０１に送出される。
【００３３】
偏光成分補正部２０１は、フレーム入力部２００から受けた各フレームの撮像画像中の偏光成分の強度を補正する。偏光成分補正部２０１の機能構成例について、図６のブロック図を用いて説明する。
【００３４】
フレーム入力部２００から送出された各フレームの撮像画像は順次、偏光特性解析部６００に入力されると共に、フレームメモリ部６０１に格納される。偏光特性解析部６００は、フレーム入力部２００から入力された撮像画像を構成する画素毎に、その輝度値の変動を解析し、偏光特性を解析する。偏光特性解析部６００が行う処理について、同処理のフローチャートを示す図７を用いて説明する。なお、図７のフローチャートは、フレーム入力部２００から入力された撮像画像中の画素位置（ｘ、ｙ）における画素に対する処理を示すものである。然るに、偏光特性解析部６００は、図７に示したフローチャートに従った処理を、フレーム入力部２００から入力された撮像画像を構成する各画素について行う。
【００３５】
ステップＳ７０１では、以下で用いる各変数の初期化処理を行う。具体的には、偏光板回転周期を表すための変数Ｐｐｈａｓｅ、偏光成分最大含有フレーム時刻を表すための変数ｔ＿Ｐｍａｘ、偏光成分最小含有フレーム時刻を表すための変数ｔ＿Ｐｍｉｎ、を全て０に初期化する。更に本ステップでは、フレームカウンタを表すための変数ｆｃを１に初期化する。
【００３６】
ステップＳ７０２では、フレーム入力部２００から入力された撮像画像（第ｆｃ番目のフレームにおける撮像画像）中の画素位置（ｘ、ｙ）における画素値（輝度値）Ｉ（ｘ、ｙ、ｆｃ）を取得する。そしてステップＳ７０３では、変数ｆｃの値を１つインクリメントする。
【００３７】
ステップＳ７０４では、変数ｔ＿Ｐｍａｘ及び変数ｔ＿Ｐｍｉｎに０以外の値が設定されているか否かを判断する。この判断の結果、変数ｔ＿Ｐｍａｘ、変数ｔ＿Ｐｍｉｎ、の両方若しくは一方の値が０である場合には処理はステップＳ７０５に進む。一方、変数ｔ＿Ｐｍａｘ及び変数ｔ＿Ｐｍｉｎに０以外の値が設定されている場合には、処理はステップＳ７１３に進む。
【００３８】
ステップＳ７０５では、フレーム入力部２００から入力された撮像画像（第ｆｃ番目のフレームにおける撮像画像）中の画素位置（ｘ、ｙ）における画素値Ｉ（ｘ、ｙ、ｆｃ）を取得する。
【００３９】
ここで、ステップＳ７０５の時点でのｆｃをｆとして表した場合、当然ながら、ステップＳ７０５では、第ｆフレーム目の撮像画像である撮像画像ｆ中の画素位置（ｘ、ｙ）における画素値Ｉ（ｘ、ｙ、ｆ）を取得することになる。一方、ステップＳ７０２では、第（ｆ−１）フレーム目の撮像画像である撮像画像（ｆ−１）中の画素位置（ｘ、ｙ）における画素値Ｉ（ｘ、ｙ、ｆ−１）を取得することになる。このように、上記処理では、隣接する２つのフレームにおいて、同位置の画素の画素値を取得する。
【００４０】
次に、ステップＳ７０７では、平均輝度差分Ｇ（ｆｃ）＝Ｉ（ｘ、ｙ、ｆｃ）−Ｉ（ｘ、ｙ、ｆｃ−１）を計算する。即ち、ステップＳ７０５で取得した画素値とステップＳ７０２で取得した画素値との差分をＧ（ｆｃ）として求める。
【００４１】
ステップＳ７０８では、Ｇ（ｆｃ）≧０であるか否かを判断し、Ｇ（ｆｃ）≧０であれば平均輝度差分フラグＦ（ｆｃ）に１を設定する。一方、Ｇ（ｆｃ）＜０であれば平均輝度差分フラグＦ（ｆｃ）に０を設定する。
【００４２】
ステップＳ７０９では、Ｆ（ｆｃ）≠Ｆ（ｆｃ−１）であるか否かを判断する。この判断の結果、Ｆ（ｆｃ）≠Ｆ（ｆｃ−１）であれば処理はステップＳ７１０に進み、Ｆ（ｆｃ）＝Ｆ（ｆｃ−１）であれば処理はステップＳ７２０に進む。ステップＳ７２０では、変数ｆｃの値を１つインクリメントする。そして処理はステップＳ７０４に進む。
【００４３】
ステップＳ７１０では、Ｆ（ｆｃ）＝１であるか否かを判断する。この判断の結果、Ｆ（ｆｃ）＝１であれば処理はステップＳ７１１に進み、Ｆ（ｆｃ）＝０であれば処理はステップＳ７１２に進む。
【００４４】
ステップＳ７１１では、変数ｔ＿Ｐｍａｘにｆｃの値を設定する。ステップＳ７１２では、変数ｔ＿Ｐｍｉｎにｆｃの値を設定する。即ち、上記処理をまとめれば、次のようになる。ここで、ｆ＝２，３，…について、第ｆフレーム目の撮像画像ｆと、第（ｆ−１）フレーム目の撮像画像（ｆ−１）と、のセットをセットｆとする。このとき、セットｆについて求めたＧ（ｆ）が正の符号を有し且つセット（ｆ−１）について求めたＧ（ｆ−１）が負の符号を有している場合には、変数ｔ＿Ｐｍａｘ（第１の変数）にｆｃの値を設定する。一方、セットｆについて求めたＧ（ｆ）が負の符号を有し且つセット（ｆ−１）について求めたＧ（ｆ−１）が正の符号を有している場合には、変数ｔ＿Ｐｍｉｎ（第２の変数）にｆｃの値を設定する。そしてステップＳ７１１，Ｓ７１２の何れの後にも、処理はステップＳ７２０に進む。
【００４５】
一方、ステップＳ７１３では、２×｜ｔ＿Ｐｍａｘ−ｔ＿Ｐｍｉｎ｜を計算し、計算した値を、変数Ｐｐｈａｓｅに設定する。ステップＳ７１４では、偏光透過率時間関数Ｒ（ｆｃ）＝１／２×｛ｓｉｎ（２π×（ｆｃ＋ｔ＿Ｐｍｉｎ）／Ｐｐｈａｓｅ）＋１｝を求める（関数計算）。これは、変数ｔ＿Ｐｍａｘの値と変数ｔ＿Ｐｍｉｎの値との差分の絶対値の２倍を周期とし、変数ｔ＿Ｐｍｉｎの値を位相とする、それぞれのｆｃに対応する値を返す周期関数である。なお、このような性質を満たす周期関数であれば、ｓｉｎ関数に限定するものではなく、ｃｏｓ関数や区分線形関数など、他の関数を周期関数Ｒ（ｆｃ）として用いても良い。
【００４６】
また、偏光特性解析部６００は、図７のフローチャートに従った処理に加え、変数Ｐｐｈａｓｅの値を偏光強度補正部６０３に送出する。これにより偏光強度補正部６０３は、現フレーム（第ｆｃフレーム）から変数Ｐｐｈａｓｅの値だけ（上記周期分）過去のフレームまでの間の各フレームの撮像画像をフレームメモリ部６０１から読み出すことができる。そして偏光強度補正部６０３は、偏光特性解析部６００から送出された関数Ｒ（ｆｃ）及び変数Ｐｐｈａｓｅの値、フレームメモリ部６０１から読み出した撮像画像群（使用する画素群）を用いて、偏光成分により飽和した画素値Ｉ（ｘ、ｙ、ｆｃ）を修正する。
【００４７】
偏光強度補正部６０３が行う処理について、同処理のフローチャートを示す図１を用いて説明する。ステップＳ８０１では、以下の処理で用いる変数ｆｃを０に初期化する。次にステップＳ８０２では、フレームメモリ部６０１から、ｆｃフレーム目の撮像画像中の画素位置（ｘ、ｙ）における画素値を読み出し、読み出した画素値Ｉ（ｘ、ｙ、ｆｃ）がＮＵＬＬであるか否かを判断する。この判断の結果、画素値Ｉ（ｘ、ｙ、ｆｃ）がＮＵＬＬであれば、本処理を終了する。一方、読み出した画素値Ｉ（ｘ、ｙ、ｆｃ）がＮＵＬＬではない場合には、処理はステップＳ８０３に進む。
【００４８】
ステップＳ８０３では、フレームメモリ部６０１から、ｆｃフレーム目の撮像画像から過去Ｐｐｈａｓｅフレーム分の各フレームの撮像画像において、画素位置（ｘ、ｙ）における画素値を読み出す。即ち、画素値Ｉ（ｘ、ｙ、ｆｃ）、画素値Ｉ（ｘ、ｙ、ｆｃ−１）、…、画素値Ｉ（ｘ、ｙ、ｆｃ−Ｐｐｈａｓｅ）をフレームメモリ部６０１から読み出す。
【００４９】
次にステップＳ８０４では、画素値Ｉ（ｘ、ｙ、ｆｃ）、画素値Ｉ（ｘ、ｙ、ｆｃ−１）、…、画素値Ｉ（ｘ、ｙ、ｆｃ−Ｐｐｈａｓｅ）のうち、最小の画素値（最小値）を特定する。以下では、この特定した最小値をＭ（ｆｃ）と表記する。
【００５０】
次にステップＳ８０５では、「画素値Ｉ（ｘ、ｙ、ｆｃ）≠Ｍ（ｆｃ）、且つ画素値Ｉ（ｘ、ｙ、ｆｃ）≠（予め飽和画素値として指定した値ｔｈ１）」、という条件が満たされているか否かを判断する。この判断は換言すれば、画素値Ｉ（ｘ、ｙ、ｆｃ）の偏光成分が修正可能か否かの判断でもある。この判断の結果、この条件が満たされている場合には、処理はステップＳ８０６に進み、この条件が満たされていない場合には、処理はステップＳ８０８に進む。
【００５１】
ステップＳ８０６では、Ｃ（ｘ，ｙ，ｆｃ）＝｛Ｉ（ｘ，ｙ，ｆｃ）−Ｍ（ｆｃ）｝／Ｒ（ｆｃ）＋Ｍ（ｘ，ｙ，ｆｃ）を計算することで、ｆｃフレーム目の撮像画像中の画素位置（ｘ、ｙ）における画素に対する修正画素値Ｃ（ｘ、ｙ、ｆｃ）を求める。これは、ｆｃ＝ｆとしたとき、撮像画像ｆ中の画素位置（ｘ、ｙ）における画素の画素値と上記最小値との差分をＲ（ｆ）で除した結果に上記最小値を加えた結果を、撮像画像ｆ中の画素位置（ｘ、ｙ）における画素に対する修正画素値として求める演算である。
【００５２】
次にステップＳ８０７では、変数Ｃ＿ｐｒｅ（ｆｃ）の値をＣ＿ｐｏｓｔ（ｆｃ）に設定する。この変数Ｃ＿ｐｒｅ（ｆｃ）の初期値については適当な値（例えば０）を用いる。次に、Ｃ（ｘ、ｙ、ｆｃ）の値を変数Ｃ＿ｐｒｅ（ｆｃ）に設定する。
【００５３】
一方、ステップＳ８０８では、変数Ｃ＿ｐｒｅ（ｆｃ）の値と変数Ｃ＿ｐｏｓｔ（ｆｃ）の値との平均値を計算し、計算した平均値を、変数Ｃ（ｘ、ｙ、ｆｃ）に設定する。即ち、撮像画像ｆ中の画素位置（ｘ、ｙ）における画素に対して求めた修正画素値と、撮像画像（ｆ−１）中の画素位置（ｘ、ｙ）における画素に対して求めた修正画素値と、の平均値を求め、求めた平均値を変数Ｃ（ｘ、ｙ、ｆｃ）に設定する。
【００５４】
ステップＳ８０９では、変数Ｃ（ｘ、ｙ、ｆｃ）に値に適当な値を有する係数Ｄを乗じた結果を、再度、この変数Ｃ（ｘ、ｙ、ｆｃ）に設定する。これにより、Ｃ（ｘ、ｙ、ｆｃ）のダイナミックレンジを圧縮することができる。このＤは１でも良い。これにより、偏光成分補正部２０１に入力されたフレームの撮像画像中の画素位置（ｘ、ｙ）における画素に対する修正画素値Ｃ（ｘ、ｙ、ｆｃ）を求めることができる。そして、ステップＳ８１０では、変数ｆｃの値を１つインクリメントする。そして処理はステップＳ８０２に戻る。
【００５５】
以上、図７，１を用いて説明した各処理を、全ての画素位置（全てのｘ、ｙ）について行うことで、偏光成分補正部２０１に入力されたフレームの撮像画像の輝度値を修正した修正画像としての修正撮像画像を構成する各画素の画素値を確定させることができる。
【００５６】
次に、フレームレート変換部２０２では、偏光成分補正部２０１により生成された修正撮像画像から、複数枚（ここでは３枚）のサブフレーム画像を生成する。ここで、この修正撮像画像が第ｒフレーム目の撮像画像を修正した画像であり、この修正撮像画像から生成された３枚のサブフレーム画像をサブフレーム画像ｉ（ｉ＝１，２，３）とし、フレーム出力部２０４から出力される出力画像のフレーム番号をｎとする。この場合、ｎ＝４ｒ＋ｉ、あるいは、ｒ＝ｆｌｏｏｒ（ｎ／４）という関係が成立する。
【００５７】
以下の説明では、フレームレート変換部２０２が、第ｒフレーム目の撮像画像を修正した修正撮像画像ｒからサブフレーム画像（ｒ＋１）〜サブフレーム画像（ｒ＋３）を生成した場合について説明する。なお、修正撮像画像ｒはサブフレーム画像（ｒ＋０）と呼称することもできる。
【００５８】
輝度変動抽出部２０５は、以下の４枚の修正撮像画像を偏光成分補正部２０１から取得し、取得した以下の４枚の修正撮像画像を輝度変動パターン計算部２０６に送出する。
【００５９】
・  偏光成分補正部２０１が第ｒフレーム目の撮像画像を修正した修正撮像画像
・  偏光成分補正部２０１が第（ｒ−１）フレーム目の撮像画像を修正した修正撮像画像
・  偏光成分補正部２０１が第（ｒ−２）フレーム目の撮像画像を修正した修正撮像画像
・  偏光成分補正部２０１が第（ｒ−３）フレーム目の撮像画像を修正した修正撮像画像
輝度変動パターン計算部２０６は、この４枚の修正撮像画像を用いて以下の式を計算することで、サブフレーム画像（ｒ＋０）〜（ｒ＋３）のそれぞれに加える付加画像（変動パターン）ａ（ｎ）を生成する。
【００６０】
【数１】
2012060515.tif 000003
【００６１】
そして輝度変動部２０３は、フレームレート変換部２０２により生成されたサブフレーム画像ｎに対し、このａ（ｎ）に定数ｋを乗じたものを加えることで、出力画像Ｏ（ｎ）を生成する。例えば、サブフレーム画像（ｒ＋０）に対しては、ａ（ｒ＋０）に定数ｋを乗じたものを加えることで、出力画像Ｏ（ｒ＋０）を生成する。これは他のサブフレーム画像についても同様である。なお、この定数ｋは、輝度の強度を示す定数である。
【００６２】
以上の処理は、要は、先ず、上記の４枚の修正撮像画像において、着目修正撮像画像以外のそれぞれの修正撮像画像の平均輝度を有する平均画像（上側の式の右辺の第２項目）を生成し、着目修正撮像画像から平均画像を減じて差分画像を生成する。そして次に、この生成した差分画像に上記定数ｋを乗じたものを、対応するサブフレーム画像に加算することで、出力画像を生成する。このようにして輝度変動部２０３は、各サブフレーム画像の輝度を調整する。そしてこのようにして輝度が調整されたそれぞれのサブフレーム画像は順次、フレーム出力部２０４により、出力画像としてフレーム毎に出力される。
【００６３】
なお、本実施形態では、偏光成分補正部２０１により生成された修正撮像画像の使用例として、フレームレートを上げて、それぞれのサブフレームの輝度を調整してから出力する例を示した。しかし、使用例はこれに限定するものではないし、輝度の調整方法についてもこれに限るものではない。
【００６４】
［第２の実施形態］
図２に示した各部はハードウェアで構成しても良いが、一部若しくは全部をコンピュータプログラムとして実装しても良い。この場合、このコンピュータプログラムは、ＰＣ（パーソナルコンピュータ）等のコンピュータのメモリに格納されることになる。そして、このコンピュータが有するＣＰＵに相当する制御部がこのコンピュータプログラムを実行することで、対応する機能部の機能を実現することができる。
【００６５】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012060515.tif 000004
【図２】
2012060515.tif 000005
【図３】
2012060515.tif 000006
【図４】
2012060515.tif 000007
【図５】
2012060515.tif 000008
【図６】
2012060515.tif 000009
【図７】
2012060515.tif 000010