(57)【要約】【課題】ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とすること。【解決手段】同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得し、要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出し、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、補正対象画素毎に１又は複数取得し、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正する。【選択図】図１
2017010114.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得部と、
前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、
前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得部と、
前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、
を備える画像補正装置。
【請求項２】
前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する、請求項１に記載の画像補正装置。
【請求項３】
同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得ステップと、
前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、
前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得ステップと、
前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、
を有する画像補正方法。
【請求項４】
請求項１又は２のいずれか一項に記載の画像補正装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を補正する技術に関する。
【背景技術】
【０００２】
デジタルカメラの撮像素子は、メインレンズによって結像される像を記録する。撮像素子が各画素において一度に受光できる光量の範囲は予め決まっている。そのため、撮像素子が取得できる範囲を超えた光量が撮像素子に入光した場合、生成される画像の一部の輝度値がオーバーフローしてしまう。このような現象は“白とび”と呼ばれる。色深度が符号なし８ビットの画像では、白とびが発生した画素の輝度値は最大値の２５５になってしまう。本来なら２５５以上の値で表されるべき画像の情報が、全て２５５になってしまうために表現できなくなってしまう。逆に、極端に少ない光量しか撮像素子に入光しない場合、生成される画像の一部の輝度値がゼロとなってしまう。このような現象は“黒潰れ”と呼ばれる。
このように、撮像素子が一度に取得できる光量には、予め定められた範囲がある。このことが、ダイナミックレンジの広い画像を取得する際の妨げとなっている。ダイナミックレンジを広くした画像を取得するための方法として、非特許文献１に記載された技術や、非特許文献２に記載された技術がある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Fattal, Raanan, Dani Lischinski, and Michael Werman. “Gradient domain high dynamic range compression.” ACM Transactions on Graphics (TOG). Vol. 21. No. 3. ACM, 2002.
【非特許文献２】宇田早織，坂上文彦，佐藤淳，”可変露光カメラを用いたHDR画像生成”第17回 画像の認識・理解シンポジウム（MIRU2014）,SS1-31
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１に記載された技術では、一つのシーンに対してレンズ絞りを変えながら複数枚の撮像を行う必要がある。そのため、動的なシーンに用いることができないという問題があった。
また、非特許文献２に記載された技術では、ＬＣｏＳを用いた可変露光カメラによって、画素単位で露光を制御することが可能となっている。そのため、ダイナミックレンジがより広い画像（ＨＤＲ：High Dynamic Range）画像を一度の撮像で生成することが可能である。しかしながら、カメラではない特殊なデバイスを用いる必要があるため、利便性に欠ける。
上記事情に鑑み、本発明は、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とする技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得部と、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得部と、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、を備える画像補正装置である。
【０００６】
本発明の一態様は、上記の画像補正装置であって、前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する。
【０００７】
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得ステップと、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に１又は複数取得する代替画素取得ステップと、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、を有する画像補正方法である。
【０００８】
本発明の一態様は、上記の画像補正装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【０００９】
本発明により、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像補正装置１０の機能構成を示す概略ブロック図である。
【図２】平面の被写体モデルを示す。
【図３】白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。
【図４】白とびの補正の具体例を示す図である。
【図５】黒潰れの補正の具体例を示す図である。
【図６】画像補正装置１０の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、画像補正装置１０の機能構成を示す概略ブロック図である。画像補正装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。画像補正装置１０のＣＰＵは、画像補正装置１０のメモリに予め記憶されている画像補正プログラムを実行する。ＣＰＵが画像補正プログラムを実行することによって、画像補正装置１０は、画像取得部１０１、マイクロレンズ画像取得部１０２、補正対象画素検出部１０３、代替画素取得部１０４及び補正部１０５を備える装置として機能する。なお、画像補正装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。画像補正プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像補正プログラムは、電気通信回線を介して送信されてもよい。
【００１２】
画像取得部１０１は、ライトフィールド画像を入力する。ライトフィールド画像は、同一の被写体を僅かに異なる視点で撮像された複数の画像（以下「要素画像」という。）を、視点の位置に応じて配置することによって形成される画像である。ライトフィールド画像は、例えば平行に並べられたカメラアレイを用いて撮影された多視点画像群を並べることによって形成されてもよい。また、ライトフィールド画像は、例えばプレノプティックカメラによって撮像されてもよい。プレノプティックカメラは、メインレンズと撮像素子との間にマイクロレンズアレイを有するカメラである。プレノプティックカメラで撮像された場合、マイクロレンズアレイを構成する一つ一つのマイクロレンズに応じて撮像された画像が要素画像である。この場合、要素画像はマイクロレンズ画像と呼ばれることもある。以下の説明では、画像取得部１０１は、プレノプティックカメラによって撮像されたライトフィールド画像を取得することを想定して説明する。
【００１３】
マイクロレンズ画像取得部１０２は、画像取得部１０１によって入力されたライトフィールド画像から、複数のマイクロレンズ画像を取得する。マイクロレンズ画像取得部１０２は、取得されたマイクロレンズ画像毎に独立した画像座標系を設定する。
【００１４】
補正対象画素検出部１０３は、各マイクロレンズ画像の各画素において、輝度値が補正対象となる所定の条件を満たしているか否か判定する。所定の条件とは、ダイナミックレンジの影響により、そのマイクロレンズ画像において輝度値が偏ってしまっている領域の画素であることを示す条件である。所定の条件は、例えば、白とびと呼ばれる現象が生じていることを示す条件や、黒潰れと呼ばれる現象が生じていることを示す条件である。
【００１５】
より具体的には、所定の条件は、例えば各画素の輝度値が第１閾値以上の値又は第２閾値以下の値であることである。この場合、第１閾値は第２閾値よりも大きい値である。画素の輝度値が例えば０〜２５５の値を取り得る場合、第１閾値は“２５０”、第２閾値は“５”であってもよい。第１閾値及び第２閾値は動的に変化してもよい。例えばマイクロレンズ画像毎に輝度値の統計値（例えば偏差）に基づいて輝度値が偏っていると認められる領域の輝度値が閾値として設定されてもよい。
【００１６】
所定の条件の他の具体例として、周波数成分に関する条件がある。例えば、マイクロレンズ画像において周波数成分が所定の閾値よりも低い領域の画素であることが所定の条件であってもよい。このように周波数成分が低い領域は、白とび又は黒潰れによって輝度変化の乏しい領域になっている可能性があるためである。
【００１７】
補正対象画素検出部１０３は、所定の条件を満たした画素を、補正対象画素として検出する。補正対象画素検出部１０３は、このように補正対象画素を検出する処理を、全てのマイクロレンズ画像に対して実行する。
【００１８】
代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に、１又は複数の代替画素を取得する。代替画素は、補正対象画素とは異なるマイクロレンズ画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である。ライトフィールド画像では、各マイクロレンズ画像は、近隣に配置された他のマイクロレンズ画像との間で、互いに重複した範囲の被写体の画像を有している。そのため、複数のマイクロレンズ画像についてステレオマッチングを行うことによって、同一の被写体が写っている画素（以下「代替画素」という。）を示す情報を取得することが可能である。なお、ステレオマッチング処理にはどのような手法が適用されてもよい。
【００１９】
なお、厳密には各代替画素にはそれぞれ異なる方向の光線が集光している。しかしながら、各マイクロレンズ画像は非常に密に配置されているため、各マイクロレンズ画像の代替画素に関する光線はほぼ同一であると仮定できる。そのため、もしも同一の透過率をもつレンズを介した場合、各代替画素は同じ輝度値を持つと仮定できる。
【００２０】
補正部１０５は、補正対象画素の輝度値を代替画素の輝度値に基づいて補正する。例えば、補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に置き換えることによって補正してもよい。例えば、補正部１０５は、補正対象画素の輝度値を以下のような式１に基づいて補正してもよい。
【００２１】
Ｐ＝Ｐ１×ａ＋Ｐ２×ｂ  ・・・（式１）
ａ＋ｂ＝１              ・・・（式２）
Ｐ：補正後の輝度値
Ｐ１：補正対象画素の補正前の輝度値
Ｐ２：代替画素の輝度値
ａ：補正対象画素の輝度値に対する重み
ｂ：代替画素の輝度値に対する重み
【００２２】
このような処理によって、ダイナミックレンジが適切ではないために白とび又は黒潰れしてしまった画素の輝度値が、より適切なダイナミックレンジで取得された輝度値に補正される。補正部１０５は、補正対象画素検出部１０３によって検出された全ての補正対象画素に対して補正処理を行うことによって、ライトフィールド画像に対してＨＤＲ処理を実行する。
【００２３】
補正部１０５が実行する補正処理に関してさらに説明する。プレノプティックカメラによって撮像が行われる際、各マイクロレンズの端領域では、観測される光量が中心に比べて少ない。各マイクロレンズの端領域では、中心付近の領域よりも暗い輝度で画像が観測されている。そのため、マイクロレンズ画像の中心付近で白とびが発生していたとしても、代替画素が他のマイクロレンズ画像の端領域の画素として検出されていれば、白とびしていない画素の輝度値を用いて補正できる。
【００２４】
図２〜図５は、補正処理の具体例を示す図である。図２は、平面の被写体モデルを示す。図３は、白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。図４は、白とびの補正の具体例を示す図である。図５は、黒潰れの補正の具体例を示す図である。
【００２５】
図３には、２つのマイクロレンズ画像２０（２０−１及び２０−２）が示されている。マイクロレンズ画像２０−１には、被写体モデルのうち“あいう”が写っている。マイクロレンズ画像２０−２には、被写体モデルのうち“あいうえ”が写っている。マイクロレンズ画像２０−１の画素２１１には、文字“あ”の左上部分が写っている。マイクロレンズ画像２０−２において、マイクロレンズ画像２０−１の画素２１１に写っている被写体と同じ被写体が写っている画素は、画素２１２である。そのため、もしマイクロレンズ画像２０−１の画素２１１が補正対象画素であった場合、マイクロレンズ画像２０−２の画素２１２は代替画素の一つである。実際には、画素２１１に写っている被写体と同じ被写体が写っている画素を有するマイクロレンズ画像２０は３つ以上存在する場合もある。そのため、代替画素は一つとは限られない。
【００２６】
図４には、２つのマイクロレンズ画像２０（２０−３及び２０−４）が示されている。マイクロレンズ画像２０−３は、被写体モデルとマイクロレンズとの相対的な位置関係が図３におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−４は、被写体モデルとマイクロレンズとの相対的な位置関係が図３におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−３には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−４には、被写体モデルのうち“あいうえ”が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−３及びマイクロレンズ画像２０−４では白とびが発生してしまっているため、写るべき文字が写っていない。マイクロレンズ画像２０−３では、白とびが原因で“あ”が写っていない。マイクロレンズ画像２０−４では、白とびが原因で“うえ”が写っていない。ただし、マイクロレンズ画像２０−３で写っていない“あ”は、マイクロレンズ画像２０−４においてはケラレによる光量低下により写っている。そのため、マイクロレンズ画像２０−３において“あ”が表されているべき領域２２１の画素（補正対象画素）を、マイクロレンズ画像２０−４において“あ”が表されている領域２２２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−３において“あ”の文字を復元することができる。マイクロレンズ画像２０−４における“うえ”についても同様である。
【００２７】
図５には、２つのマイクロレンズ画像２０（２０−５及び２０−６）が示されている。マイクロレンズ画像２０−５は、被写体モデルとマイクロレンズとの相対的な位置関係が図３におけるマイクロレンズ画像２０−１と同じである。マイクロレンズ画像２０−６は、被写体モデルとマイクロレンズとの相対的な位置関係が図３におけるマイクロレンズ画像２０−２と同じである。そのため、マイクロレンズ画像２０−５には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像２０−６には、被写体モデルのうち“あいうえ”が本来なら写っているはずである。しかしながら、マイクロレンズ画像２０−５及びマイクロレンズ画像２０−６では黒潰れが発生してしまっているため、写るべき文字が写っていない。マイクロレンズ画像２０−５では、黒潰れが原因で“う”が写っていない。マイクロレンズ画像２０−６では、黒潰れが原因で“あ”が写っていない。ただし、マイクロレンズ画像２０−５で写っていない“う”は、マイクロレンズ画像２０−６においては比較的光量が高くなるマイクロレンズ中央部分に写っている。そのため、マイクロレンズ画像２０−５において“う”が表されているべき領域２３１の画素（補正対象画素）を、マイクロレンズ画像２０−６において“う”が表されている領域２３２の画素（代替画素）を用いて補正することによって、マイクロレンズ画像２０−５において“う”の文字を復元することができる。マイクロレンズ画像２０−６における“あ”についても同様である。
【００２８】
なお、本実施形態では単純な輝度値の置き換えなどの補正によってハイダイナミックレンジ画像を生成しているが、トーンマッピング等のヒストグラムを用いる方法によってハイダイナミックレンジ画像が生成されてもよい。
【００２９】
図６は、画像補正装置１０の処理の流れを示すフローチャートである。まず、画像取得部１０１が処理対象となるライトフィールド画像を取得する（ステップＳ１０１）。次に、マイクロレンズ画像取得部１０２は、画像取得部１０１によって取得された処理対象となるライトフィールド画像から、処理対象となるマイクロレンズ画像を抽出する（ステップＳ１０２）。次に、補正対象画素検出部１０３は、処理対象となるマイクロレンズ画像に含まれる画素の中から、補正対象画素を検出する（ステップＳ１０３）。次に、代替画素取得部１０４は、補正対象画素検出部１０３によって検出された補正対象画素毎に１又は複数の代替画素を検出する（ステップＳ１０４）。補正部１０５は、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正することによってＨＤＲ処理を実行する（ステップＳ１０５）。補正部１０５は、補正処理が行われたライトフィールド画像を出力する。
【００３０】
このように構成された画像補正装置１０では、ダイナミックレンジがより広い画像をより簡易な装置によって生成することが可能となる。このような効果について詳細に説明する。
【００３１】
画像補正装置１０では、一枚のライトフィールド画像を用いてＨＤＲ処理を実行することができる。そのため、動的なシーンが撮影されたライトフィールド画像に対してもＨＤＲ処理を実行することが可能である。
【００３２】
また、画像補正装置１０では、通常のライトフィールド画像に対してＨＤＲ処理を実行することができる。そのため、ＬＣｏＳ等の特殊な装置を必要としない。
【００３３】
また、画像補正装置１０による補正処理が行われたライトフィールド画像を用いて再構築画像を生成することによって、ダイナミックレンジがより広い画像を簡易な装置によって生成することが可能となる。すなわち、補正処理が行われたライトフィールド画像を用いて再構築画像を生成する際には、特殊な装置は必要ではなく、ライトフィールド画像から再構築画像を生成できる通常の装置があればよい。なお、再構築画像とは、１つの撮像用レンズ（メインレンズ）によって結像された場合の被写体を表す画像である。
【００３４】
（変形例）
画像取得部１０１が取得するライトフィールド画像は、複数の異なる透過率を有したマイクロレンズを有したプレノプティックカメラを用いて撮像された画像であってもよい。このように撮像されたライトフィールド画像では、マイクロレンズ画像どうしの明るさは異なっている。そのため、より明確に被写体が撮影された代替画素を取得することが可能となる。なお、この場合のステレオマッチングに用いられる対応評価指標は、輝度の変化に頑健なNomalized Cross Correlation（NCC）であってもよいし、これに類する他の方法であってもよい。
【００３５】
補正部１０５は、ケラレ効果を利用して補正処理を実行してもよい。この場合、画像取得部１０１は、ライトフィールド画像に加えてさらに、そのライトフィールド画像を撮像したプレノプティックカメラ固有のケラレパラメータを取得する。ケラレパラメータは、例えばケラレキャリブレーションを行うことによって、予め取得される。ケラレキャリブレーションでは、プレノプティックカメラによる被写体の撮影が行われる前に、白い紙や壁などの輝度が均一のものが撮影される。このような処理によって、プレノプティックカメラ毎に固有であるケラレのパラメータが事前に推定される。画像取得部１０１は、補正処理が行われるよりも前の時点で、ケラレパラメータを取得する。
【００３６】
補正部１０５は、補正処理を行う際に、代替画素の輝度値に対してケラレパラ-メタに基づいて得られる重み（スケール）をかけあわせてもよい。このように構成されることによって、より自然な輝度値を有したライトフィールド画像を生成することが可能となる。
【００３７】
代替画素取得部１０４は、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素のうち、補正対象画素の条件を満たさない画素のみを取得してもよい。このように構成されることによって、白とびや黒潰れが生じている画素を代替画素として取得することを抑止できる。そのため、被写体がより明確に写っている代替画素のみに基づいて補正を行うことによってより質の高いハイダイナミックレンジ画像を取得する事が可能となる。
【００３８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００３９】
１０…画像補正装置，  １０１…画像取得部，  １０２…マイクロレンズ画像取得部，  １０３…補正対象画素検出部，  １０４…代替画素取得部，  １０５…補正部，  ２０…マイクロレンズ画像
【図１】
2017010114.tif 000003
【図２】
2017010114.tif 000004
【図３】
2017010114.tif 000005
【図６】
2017010114.tif 000006
【図４】
2017010114.tif 000007
【図５】
2017010114.tif 000008