(57)【要約】  本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
2015128918.tif 000002
【特許請求の範囲】
【請求項１】
光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
メインレンズと、
撮像素子と、
前記メインレンズと前記撮像素子の間に配置されるマイクロレンズと、
前記撮像素子上の画素を、前記メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、前記メインレンズ付近の汚れ領域を検出する汚れ検出部と、
前記汚れ領域を前記汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える、
撮像装置。
【請求項２】
前記汚れ検出部は、ハフ変換を用いて、前記直線の傾きを算出する、
請求項１に記載の撮像装置。
【請求項３】
前記汚れ検出部は、前記エピポーラ平面画像を領域分割し、領域毎のエッジ情報から前記直線の傾きを算出する、
請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
【背景技術】
【０００２】
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ  ｃａｍｅｒａ）あるいはプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ）とも呼ばれるカメラが登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。【０００３】
また、特許文献１には、ライトフィールドカメラにおいて、多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しないことによって生じる画像劣化を抑制する構成が開示されている。【０００４】
さらに、特許文献２には、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を精度良く決定する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１１０７１１号公報
【特許文献２】特開２０１３−１７９５６４号公報
【非特許文献】
【０００６】
【非特許文献１】Ｒｅｎ．  Ｎｇ，  ｅｔ  ａｌ，  “Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，  Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２
【発明の概要】
【０００７】
本開示は、メインレンズ付近に付着する、大きな汚れや繰り返しの汚れを除去する撮像装置を提供する。
【０００８】
本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
【０００９】
本開示における撮像装置は、メインレンズ付近に付着した汚れ等を除去した画像を生成できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、従来のライトフィールドカメラの構成を示す図である。
【図２】図２は、実施の形態１におけるライトフィールドカメラの構成を示す図である。
【図３】図３は、実施の形態１における信号処理部の動作を説明するフローチャートである。
【図４】図４は、実施の形態１におけるＥＰＩの生成を説明する図である。
【図５】図５は、実施の形態１におけるＥＰＩの生成を説明する別の図である。
【図６】図６は、実施の形態１におけるライトフィールドカメラで撮影した際の、任意の部分開口画像の全体像を示す図である。
【図７】図７は、図６の任意の部分開口画像の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。
【図８】図８は、実施の形態１における複数の部分開口画像から生成されるＥＰＩを示す図である。
【図９Ａ】図９Ａは、従来の汚れ除去を行わない場合の出力画像を示す図である。
【図９Ｂ】図９Ｂは、実施の形態１における汚れ除去を行った場合の再構成画像を示す図である。
【図１０Ａ】図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図である。
【図１０Ｂ】図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図である。
【図１０Ｃ】図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
【図１１】図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図である。
【図１２】図１２は、汚れがパターンとなって現れる場合を示す図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
【００１４】
[１−１．課題]
まず、従来のライトフィールドカメラの課題について説明する。図１は、従来のライトフィールドカメラの構成を示す図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、メインレンズ１０２、マイクロレンズアレイ１０３、は撮像素子１０４で構成される。被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。
【００１５】
この時、撮像素子１０４には光の方向毎に区別されて記録される。そのため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含んで記録される。従って、光の進行方向を考慮して撮像信号を処理する事で、撮影後に任意の焦点位置の画像を生成することができる。
【００１６】
従来のライトフィールドカメラ１００において、例えばメインレンズ１０２付近に汚れが付着した場合、ライトフィールドカメラ１００で撮影した画像に、メインレンズ１０２付近に付着した汚れが含まれてしまい、画質が劣化してしまう。
【００１７】
［１−２．構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図２は、実施の形態１におけるライトフィールドカメラの構成図である。図２において、ライトフィールドカメラ２００は、撮像部２１０と、信号処理部２２０で構成される。撮像部２１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部２２０は、汚れ検出部２２１と汚れ除去部２２２で構成され、ＬＳＩ（ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
【００１８】
被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
【００１９】
撮像素子１０４で受光した光を電気信号に変換した画素は、汚れ検出部２２１に送られ、撮像素子１０４の画素を、メインレンズ１０２内の複数の部分開口に分離し視差方向へ順番に並べたエピポーラ平面画像(ＥＰＩ：Ｅｐｉｐｏｌａｒａ  Ｐｌａｎｅ  Ｉｍａｇｅ）から汚れ領域を検出する。
【００２０】
汚れ除去部２２２は、汚れ検出部２２１から送られる撮像素子１０４の画素と、汚れ検出部２２１で検出された汚れ領域を受け、汚れ領域を汚れ領域以外の画素を用いて画像を再構成する。
【００２１】
［１−３．動作］
次に、ライトフィールドカメラ２００のメインレンズ１０２付近の汚れの除去について説明する。メインレンズ付近の汚れとは、メインレンズ１０２上に付着している塵、埃、水滴、等の汚れだけではなく、メインレンズ１０２の外側に存在する汚れも含む。メインレンズ１０２の外側に存在する汚れとしては、例えば、メインレンズ１０２の外部にレンズを保護するためのプラスチック又はガラス等で構成されるレンズプロテクター上やフィルター上、あるいは近辺に存在する汚れも含む。さらに、被写体１０１とライトフィールドカメラ２００の間でライトフィールドカメラ２００の直近に置かれた障害物等も含む。
【００２２】
図３は、信号処理部２２０の動作を説明するフローチャートである。
【００２３】
（Ｓ３０１）汚れ検出部２２１は、撮像素子１０４から、受光した光を電気信号に変換された各画素の値で構成されるロー（Ｒａｗ）画像データを取得する。
【００２４】
（Ｓ３０２）次に、汚れ検出部２２１は、Ｒａｗ画像データ内の各画素を並び替えてＥＰＩを生成する。
【００２５】
（Ｓ３０３）次に、汚れ検出部２２１は、生成したＥＰＩに対しハフ変換等の画像処理を行い、傾きを検出する。
【００２６】
（Ｓ３０４）次に、汚れ検出部２２１は、検出した傾きの量に応じて汚れ領域を検出し、汚れ除去部２２２へ検出した汚れ領域を出力する。汚れ領域は、例えば、傾きが所定の値以上と判定した場合に、その傾きで囲まれた領域を汚れ領域とする。
【００２７】
（Ｓ３０５）汚れ除去部２２２は、汚れ領域とＲａｗ画像データから、汚れ領域を汚れ領域以外の画素を用いて再構成を行い、汚れ領域を除去した画像を出力する。
【００２８】
［１−３−１．ＥＰＩ生成］
次に、Ｓ３０２のＥＰＩの生成について詳細に説明する。図４、図５は、ＥＰＩの生成を説明する図である。
【００２９】
図４に示すように、メインレンズ１０２は、メインレンズ１０２を仮想的に分割した部分開口１０２ａ、１０２ｂ、１０２ｃを有する。また図５に示すように、マイクロレンズアレイ１０３は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃを有する。また、撮像素子１０４は、マイクロレンズ１０３ａを通過した光を受光する撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、マイクロレンズ１０３ｂを通過した光を受光する撮像素子１０４ｂａ、１０４ｂｂ、１０４ｂｃ、マイクロレンズ１０３ｃを通過した光を受光する撮像素子１０４ｃａ、１０４ｃｂ、１０４ｃｃを有し、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれを通過した光を３方向、すなわち３画素分に分離して記録できる。
【００３０】
この、光の３方向は、メインレンズ１０２内を分割した部分開口１０２ａ、１０２ｂ、１０２ｃのいずれから光が入射したかという情報であり、視差方向に相当する。ＥＰＩ４０１は、撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、１０４ｂａ、１０４ｂｂ、１０４ｂｃ、１０４ｃａ、１０４ｃｂ、１０４ｃｃを、横方向を空間方向に、縦方向を視差方向に並び替えた画像である。
【００３１】
ここで、撮像素子１０４ａａに入射する光は、マイクロレンズ１０３ａを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３２】
同様に、撮像素子１０４ｂａに入射する光は、マイクロレンズ１０３ｂを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３３】
また、撮像素子１０４ｃａに入射する光は、マイクロレンズ１０３ｃを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３４】
従って、メインレンズ１０２内の部分開口１０２ａを通過した光で画像、すなわち、部分開口画像を構成するには、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃ毎に、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より上の画素を集めることで合成できる。この時、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃの位置が、そのまま部分開口画像の画像座標となり、空間方向に相当する。
【００３５】
同様に、メインレンズ１０２内の部分開口１０２ｂを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心の画素を集める事で合成でき、メインレンズ１０２内の部分開口１０２ｃを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より下の画素を集める事で合成できる。
【００３６】
なお、ＥＰＩは、図４で説明したように、メインレンズ１０２の部分開口が３つ部分開口を有するものとして説明したが、これに限らない。部分開口は、２つ以上であればよい。
【００３７】
図６は、ライトフィールドカメラ２００で撮影した際の、任意の部分開口画像５００の全体像を示す図である。ｘ軸は空間方向、ｙ軸は空間方向である。
【００３８】
図７は、図６の部分開口画像５００の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。図７では、部分開口画像５００のｙ＝９０となる１ライン付近の複数の部分開口画像のうち、３つの部分開口画像５１１、５１２、５１３を代表例として視差方向であるｕ軸に順に並べて表示した。部分開口画像５１１、５１２、５１３には汚れ５１４、５１５が存在する。
【００３９】
図８は、複数の部分開口画像から生成されるＥＰＩを示す図である。ｘ軸は空間方向、ｕ軸は視差方向である。ＥＰＩ５２０は、複数の部分開口画像を、ｙ座標が一定、ここではｙ＝９０、で１ラインずつ取り出して視差方向順に縦に並べた画像である。図８において、斜めに傾いた領域５２１、５２２が生成される。
【００４０】
なお、本実施の形態では、部分開口画像を作成後、ＥＰＩを作成したが、撮像素子１０４から部分開口画像を生成せず、直接ＥＰＩを生成してもよい。その場合、ＥＰＩの各画素が、撮像素子１０４のどの画素から生成できるかを事前に計算しておけばよい。
【００４１】
また、本実施の形態では、マイクロレンズの位置が空間方向、撮像素子内のマイクロレンズ中心位置からの相対位置が視差方向として説明したが、撮像素子１０４の配置を変える事で、空間方向と視差方向が逆転する場合もある。具体的には、本実施の形態では、マイクロレンズの焦点面に撮像素子が配置されている構成であるが、マイクロレンズを、メインレンズの焦点が合う像側焦点面を複眼的に撮影する位置に配置してもよい。
【００４２】
［１−３−２．傾き検出と汚れ領域検出］
次に、ＥＰＩ画像傾きを検出するＳ３０３と汚れ領域を検出するＳ３０４ついて詳細に説明する。
【００４３】
ライトフィールドカメラ２００で被写体１０１にピントを合わせて撮影すると、ピントがあった距離に存在する被写体１０１は、視差がない状態で撮影される。逆に、ピントが合った距離から遠い、メインレンズ１０２付近の汚れは大きな視差のある状態で撮影される。
【００４４】
部分開口画像５１１内のメインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、部分開口画像５１２や５１３では、メインレンズ１０２に着いた汚れ５１４や５１５は、空間方向に視差量分だけずれた位置に存在する。
【００４５】
従って、ＥＰＩ５２０において、ピントの合った被写体１０１の画像は視差方向に縦に並ぶが、メインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、ＥＰＩ５２０において領域５２１、５２２のように斜めに傾いて並ぶ。
【００４６】
このＥＰＩ５２０上の領域５２１、５２２の傾きは、ピントが合った被写体１０１の距離である視差ゼロ、からの距離である視差量、で変化するため、ハフ変換等で直線検出をした後、予め決めておいた閾値を超える傾きで囲まれた領域を、メインレンズ１０２付近の汚れとして検出する。
【００４７】
例えば、ＥＰＩ５２０をエッジ強度の強い画素で二値化した後、各エッジ強度の強い画素に対し、原点から直線に引いた法線の長さｒと角度θとを表す（ｒ、θ）空間に変換して投票し、投票の累積値が高いパラメータ（ｒ、θ）を直線として求める。
【００４８】
次に、ＥＰＩ５２０上の傾きは視差量で決まるため、被写体１０１までピントを合わせた際のフォーカス値からメインレンズ１０２付近の視差量に対する傾きが１０度と計算された場合、ＥＰＩ５２０上の直線の傾きが１０度以上で囲まれた直線同士で囲まれた領域５２１や領域５２２を汚れ領域として検出する。
【００４９】
なお、ＥＰＩ上の傾きは、ハフ変換以外で傾きを求めてもよい。例えばＥＰＩを輝度値等で領域分割した後、領域毎にエッジ検出して、エッジの傾きに対するヒストグラムから領域毎の傾きを求めてもよい。ＥＰＩ上の傾きを算出する方法としては、これらの方法に限定されない。
【００５０】
［１−３−３．汚れ除去］
次に、Ｓ３０５の汚れ除去について詳細に説明する。汚れ領域が検出できると、汚れ領域を汚れ領域以外の画素を使って再構成すればよい。
【００５１】
図９Ａは汚れ除去を行わない場合の出力画像を示す図であり、図９Ｂは、汚れ除去を行った場合の再構成画像を示す図である。図９Ａの汚れ除去を行わない場合と比較して、図９Ｂに示すように汚れが除去された画像が再構成できたことがわかる。
【００５２】
この場合、図８のＥＰＩ５２０において、領域５２１、５２２以外の領域に対し、視差方向、即ち縦方向、に画素を加算して出来た空間方向、即ちｘ座標の１ラインが、あるｙ座標におけるｘ座標の１ラインに相当するので、残りのｙ座標も同様に計算して求めることで再構成できる。
【００５３】
また、縦方向がすべて汚れ領域の場合、メインレンズ１０２内のどの部分空間から見ても汚れが映っている状況に相当する。その際は、マスク処理等で該当の座標を記憶し、マスク領域以外で汚れ領域を除去して一旦画像を再構成する。その後、インペインティング（ＩｎＰａｉｎｔｉｎｇ）アルゴリズムなどの画像処理で、マスク以外の周辺からマスク領域内の画素を補完して求める。ＩｎＰａｉｎｔｉｎｇアルゴリズムとは、マスク領域境界付近のピクセルを利用してマスク内の領域を再構成する処理で、パッチベースの方法や境界付近の画像を折り返す方法、ナビエーストーク方程式（Ｎａｖｉｅｒ−Ｓｔａｋｅｓ  ｅｑｕａｔｉｏｎｓ）を用いた方法等がある。
【００５４】
［１−４．効果等］
次に、特許文献２で開示されているブロックマッチングの位置合わせで視差量を抽出し汚れ領域を検出する場合と、本実施の形態のＥＰＩの傾きで汚れ領域を検出する場合の比較を行った。図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図であり、図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図であり、図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
【００５５】
図１０Ａにおいて、ＥＰＩ１００１の領域６０１は、汚れ領域が狭い場合である。図１０Ｂにおいて、ＥＰＩ１００２の領域６０２は、汚れ領域が広い場合である。図１０Ｃにおいて、ＥＰＩ１００３の領域６０３ａ、６０３ｂ、６０３ｃは、汚れ領域が繰り返しパターンで出現する場合である。
【００５６】
本実施の形態におけるライトフィールドカメラ２００の汚れ領域の検出では、被写体までピントを合わせた際のフォーカス値からメインレンズ付近の視差量に対する傾きが自動的に決まるため、汚れの大きさや繰り返しパターンに左右されず、閾値以上の傾きの直線で囲まれた領域６０１、６０２、６０３ａ、６０３ｂ、６０３ｃは比較的容易に検出可能である。
【００５７】
つまり、本実施の形態におけるライトフィールドカメラ２００による汚れ検出では、ＥＰＩの汚れ領域の大きさや繰り返しに関係なく検出できる。
【００５８】
一方、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合を、図１１及び図１２を用いて、Ｌ画像とＲ画像を用いたブロックマッチングによる視差計算を一例として説明する。図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図であり、図１２は、汚れがパターンとなって現れる場合を説明する図である。
【００５９】
図１１は、位置合わせを計算するブロック６１１よりも汚れ領域６１０が大きい場合の２視点画像を示す図である。基準となるＬ画像上の汚れ領域６１０が位置合わせを計算するブロック６１１よりも大きい場合、視差を求める対象のＲ画像上のブロックの位置は、ブロック６１２ａかブロック６１２ｂかどちらか区別ができない。従って、視差を正しく求める事ができず、視差量から汚れ領域を検出する事ができない。
【００６０】
図１２は、汚れがパターンとなって現れる場合の２視点画像である。図１１と同様に、基準となるＬ画像上の繰り返し汚れ領域６２０に対して位置合わせを計算するブロックがブロック６２１の場合、視差を求める対象のＲ画像上のブロック位置は、ブロック６２２ａかブロック６２２ｂかどちらか区別ができない。
【００６１】
以上より、図１１、図１２に示したような汚れが存在する場合、実施の形態１におけるライトフィールドカメラ２００の汚れ検出に比べて、位置合わせでは正しく汚れを検出できない。したがって、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合では、汚れが検出できず、画質を向上させることができない。
【００６２】
以上のように、実施の形態における撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
【００６３】
これにより、メインレンズ付近の汚れを取り除いた画像を生成でき、車載カメラや監視カメラにおいて画像認識を行う場合、レンズ付近の汚れにより認識精度が低下するのを防ぐ事ができる。
【産業上の利用可能性】
【００６４】
本開示は、ライトフィールドカメラでメインレンズ付近の汚れを除去して撮影を行う撮像装置に適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラ、内視鏡等の医療用カメラなどに適用可能である。
【符号の説明】
【００６５】
１００，２００  ライトフィールドカメラ
１０１  被写体
１０２  メインレンズ
１０２ａ，１０２ｂ，１０２ｃ  部分開口
１０３  マイクロレンズアレイ
１０３ａ，１０３ｂ，１０３ｃ  マイクロレンズ
１０４，１０４ａａ，１０４ａｂ，１０４ａｃ，１０４ｂａ，１０４ｂｂ，１０４ｂｃ，１０４ｃａ，１０４ｃｂ，１０４ｃｃ  撮像素子
２１０  撮像部
２２０  信号処理部
２２１  汚れ検出部
２２２  汚れ除去部
４０１  ＥＰＩ
５００，５１１，５１２，５１３  部分開口画像
５１４，５１５  汚れ
５２０  ＥＰＩ
５２１，５２２，６０１，６０２，６０３ａ，６０３ｂ，６０３ｃ  領域
６１０，６２０  汚れ領域
６１１，６１２ａ，６１２ｂ，６２１，６２２ａ，６２２ｂ  ブロック
１００１，１００２，１００３  ＥＰＩ
【図１】
2015128918.tif 000003
【図２】
2015128918.tif 000004
【図３】
2015128918.tif 000005
【図１０Ａ】
2015128918.tif 000006
【図１０Ｂ】
2015128918.tif 000007
【図１０Ｃ】
2015128918.tif 000008
【図４】
2015128918.tif 000009
【図５】
2015128918.tif 000010
【図６】
2015128918.tif 000011
【図７】
2015128918.tif 000012
【図８】
2015128918.tif 000013
【図９Ａ】
2015128918.tif 000014
【図９Ｂ】
2015128918.tif 000015
【図１１】
2015128918.tif 000016
【図１２】
2015128918.tif 000017
【手続補正書】
【提出日】平成28年6月21日(2016.6.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
【背景技術】
【０００２】
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ  ｃａｍｅｒａ）あるいはプレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ）とも呼ばれるカメラが登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
【０００３】
また、特許文献１には、ライトフィールドカメラにおいて、多視点からの画像データを用いて、リフォーカス処理と高解像度化処理とを同時に行う場合に、視点による被写体上の同一の点の輝度の違いや、被写体が仮想的なピントを合わせる面上に存在しないことによって生じる画像劣化を抑制する構成が開示されている。
【０００４】
さらに、特許文献２には、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を精度良く決定する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１１０７１１号公報
【特許文献２】特開２０１３−１７９５６４号公報
【非特許文献】
【０００６】
【非特許文献１】Ｒｅｎ．  Ｎｇ，  ｅｔ  ａｌ，  “Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，  Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２
【発明の概要】
【０００７】
本開示は、メインレンズ付近に付着する、大きな汚れや繰り返しの汚れを除去する撮像装置を提供する。
【０００８】
本開示の撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域の画素を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
【０００９】
本開示における撮像装置は、メインレンズ付近に付着した汚れ等を除去した画像を生成できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、従来のライトフィールドカメラの構成を示す図である。
【図２】図２は、実施の形態１におけるライトフィールドカメラの構成を示す図である。
【図３】図３は、実施の形態１における信号処理部の動作を説明するフローチャートである。
【図４】図４は、実施の形態１におけるＥＰＩの生成を説明する図である。
【図５】図５は、実施の形態１におけるＥＰＩの生成を説明する別の図である。
【図６】図６は、実施の形態１におけるライトフィールドカメラで撮影した際の、任意の部分開口画像の全体像を示す図である。
【図７】図７は、図６の任意の部分開口画像の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。
【図８】図８は、実施の形態１における複数の部分開口画像から生成されるＥＰＩを示す図である。
【図９Ａ】図９Ａは、従来の汚れ除去を行わない場合の出力画像を示す図である。
【図９Ｂ】図９Ｂは、実施の形態１における汚れ除去を行った場合の再構成画像を示す図である。
【図１０Ａ】図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図である。
【図１０Ｂ】図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図である。
【図１０Ｃ】図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
【図１１】図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図である。
【図１２】図１２は、汚れがパターンとなって現れる場合を示す図である。
【発明を実施するための形態】
【００１１】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１３】
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
【００１４】
[１−１．課題]
まず、従来のライトフィールドカメラの課題について説明する。図１は、従来のライトフィールドカメラの構成を示す図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、メインレンズ１０２、マイクロレンズアレイ１０３、は撮像素子１０４で構成される。被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。
【００１５】
この時、撮像素子１０４には光の方向毎に区別されて記録される。そのため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含んで記録される。従って、光の進行方向を考慮して撮像信号を処理する事で、撮影後に任意の焦点位置の画像を生成することができる。
【００１６】
従来のライトフィールドカメラ１００において、例えばメインレンズ１０２付近に汚れが付着した場合、ライトフィールドカメラ１００で撮影した画像に、メインレンズ１０２付近に付着した汚れが含まれてしまい、画質が劣化してしまう。
【００１７】
［１−２．構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図２は、実施の形態１におけるライトフィールドカメラの構成図である。図２において、ライトフィールドカメラ２００は、撮像部２１０と、信号処理部２２０で構成される。撮像部２１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部２２０は、汚れ検出部２２１と汚れ除去部２２２で構成され、ＬＳＩ（ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
【００１８】
被写体１０１が発する光は、メインレンズ１０２を通過し、その後、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
【００１９】
撮像素子１０４で受光した光を電気信号に変換した画素は、汚れ検出部２２１に送られ、撮像素子１０４の画素を、メインレンズ１０２内の複数の部分開口に分離し視差方向へ順番に並べたエピポーラ平面画像(ＥＰＩ：Ｅｐｉｐｏｌａｒａ  Ｐｌａｎｅ  Ｉｍａｇｅ）から汚れ領域を検出する。
【００２０】
汚れ除去部２２２は、汚れ検出部２２１から送られる撮像素子１０４の画素と、汚れ検出部２２１で検出された汚れ領域を受け、汚れ領域を汚れ領域以外の画素を用いて画像を再構成する。
【００２１】
［１−３．動作］
次に、ライトフィールドカメラ２００のメインレンズ１０２付近の汚れの除去について説明する。メインレンズ付近の汚れとは、メインレンズ１０２上に付着している塵、埃、水滴、等の汚れだけではなく、メインレンズ１０２の外側に存在する汚れも含む。メインレンズ１０２の外側に存在する汚れとしては、例えば、メインレンズ１０２の外部にレンズを保護するためのプラスチック又はガラス等で構成されるレンズプロテクター上やフィルター上、あるいは近辺に存在する汚れも含む。さらに、被写体１０１とライトフィールドカメラ２００の間でライトフィールドカメラ２００の直近に置かれた障害物等も含む。
【００２２】
図３は、信号処理部２２０の動作を説明するフローチャートである。
【００２３】
（Ｓ３０１）汚れ検出部２２１は、撮像素子１０４から、受光した光を電気信号に変換された各画素の値で構成されるロー（Ｒａｗ）画像データを取得する。
【００２４】
（Ｓ３０２）次に、汚れ検出部２２１は、Ｒａｗ画像データ内の各画素を並び替えてＥＰＩを生成する。
【００２５】
（Ｓ３０３）次に、汚れ検出部２２１は、生成したＥＰＩに対しハフ変換等の画像処理を行い、傾きを検出する。
【００２６】
（Ｓ３０４）次に、汚れ検出部２２１は、検出した傾きの量に応じて汚れ領域を検出し、汚れ除去部２２２へ検出した汚れ領域を出力する。汚れ領域は、例えば、傾きが所定の値以上と判定した場合に、その傾きで囲まれた領域を汚れ領域とする。
【００２７】
（Ｓ３０５）汚れ除去部２２２は、汚れ領域とＲａｗ画像データから、汚れ領域を汚れ領域以外の画素を用いて再構成を行い、汚れ領域を除去した画像を出力する。
【００２８】
［１−３−１．ＥＰＩ生成］
次に、Ｓ３０２のＥＰＩの生成について詳細に説明する。図４、図５は、ＥＰＩの生成を説明する図である。
【００２９】
図４に示すように、メインレンズ１０２は、メインレンズ１０２を仮想的に分割した部分開口１０２ａ、１０２ｂ、１０２ｃを有する。また図５に示すように、マイクロレンズアレイ１０３は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃを有する。また、撮像素子１０４は、マイクロレンズ１０３ａを通過した光を受光する撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、マイクロレンズ１０３ｂを通過した光を受光する撮像素子１０４ｂａ、１０４ｂｂ、１０４ｂｃ、マイクロレンズ１０３ｃを通過した光を受光する撮像素子１０４ｃａ、１０４ｃｂ、１０４ｃｃを有し、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれを通過した光を３方向、すなわち３画素分に分離して記録できる。
【００３０】
この、光の３方向は、メインレンズ１０２内を分割した部分開口１０２ａ、１０２ｂ、１０２ｃのいずれから光が入射したかという情報であり、視差方向に相当する。ＥＰＩ４０１は、撮像素子１０４ａａ、１０４ａｂ、１０４ａｃ、１０４ｂａ、１０４ｂｂ、１０４ｂｃ、１０４ｃａ、１０４ｃｂ、１０４ｃｃを、横方向を空間方向に、縦方向を視差方向に並び替えた画像である。
【００３１】
ここで、撮像素子１０４ａａに入射する光は、マイクロレンズ１０３ａを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３２】
同様に、撮像素子１０４ｂａに入射する光は、マイクロレンズ１０３ｂを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３３】
また、撮像素子１０４ｃａに入射する光は、マイクロレンズ１０３ｃを通過した光であり、メインレンズ１０２内の部分開口１０２ａを通過した光である。
【００３４】
従って、メインレンズ１０２内の部分開口１０２ａを通過した光で画像、すなわち、部分開口画像を構成するには、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃ毎に、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より上の画素を集めることで合成できる。この時、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃの位置が、そのまま部分開口画像の画像座標となり、空間方向に相当する。
【００３５】
同様に、メインレンズ１０２内の部分開口１０２ｂを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心の画素を集める事で合成でき、メインレンズ１０２内の部分開口１０２ｃを通過した部分開口画像は、マイクロレンズ１０３ａ、１０３ｂ、１０３ｃのそれぞれの中心より下の画素を集める事で合成できる。
【００３６】
なお、ＥＰＩは、図４で説明したように、メインレンズ１０２の部分開口が３つ部分開口を有するものとして説明したが、これに限らない。部分開口は、２つ以上であればよい。
【００３７】
図６は、ライトフィールドカメラ２００で撮影した際の、任意の部分開口画像５００の全体像を示す図である。ｘ軸は空間方向、ｙ軸は空間方向である。
【００３８】
図７は、図６の部分開口画像５００の、ｙ座標＝９０付近の複数の部分開口画像を視差順番に並べた画像を示す図である。図７では、部分開口画像５００のｙ＝９０となる１ライン付近の複数の部分開口画像のうち、３つの部分開口画像５１１、５１２、５１３を代表例として視差方向であるｕ軸に順に並べて表示した。部分開口画像５１１、５１２、５１３には汚れ５１４、５１５が存在する。
【００３９】
図８は、複数の部分開口画像から生成されるＥＰＩを示す図である。ｘ軸は空間方向、ｕ軸は視差方向である。ＥＰＩ５２０は、複数の部分開口画像を、ｙ座標が一定、ここではｙ＝９０、で１ラインずつ取り出して視差方向順に縦に並べた画像である。図８において、斜めに傾いた領域５２１、５２２が生成される。
【００４０】
なお、本実施の形態では、部分開口画像を作成後、ＥＰＩを作成したが、撮像素子１０４から部分開口画像を生成せず、直接ＥＰＩを生成してもよい。その場合、ＥＰＩの各画素が、撮像素子１０４のどの画素から生成できるかを事前に計算しておけばよい。
【００４１】
また、本実施の形態では、マイクロレンズの位置が空間方向、撮像素子内のマイクロレンズ中心位置からの相対位置が視差方向として説明したが、撮像素子１０４の配置を変える事で、空間方向と視差方向が逆転する場合もある。具体的には、本実施の形態では、マイクロレンズの焦点面に撮像素子が配置されている構成であるが、マイクロレンズを、メインレンズの焦点が合う像側焦点面を複眼的に撮影する位置に配置してもよい。
【００４２】
［１−３−２．傾き検出と汚れ領域検出］
次に、ＥＰＩ画像傾きを検出するＳ３０３と汚れ領域を検出するＳ３０４ついて詳細に説明する。
【００４３】
ライトフィールドカメラ２００で被写体１０１にピントを合わせて撮影すると、ピントがあった距離に存在する被写体１０１は、視差がない状態で撮影される。逆に、ピントが合った距離から遠い、メインレンズ１０２付近の汚れは大きな視差のある状態で撮影される。
【００４４】
部分開口画像５１１内のメインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、部分開口画像５１２や５１３では、メインレンズ１０２に着いた汚れ５１４や５１５は、空間方向に視差量分だけずれた位置に存在する。
【００４５】
従って、ＥＰＩ５２０において、ピントの合った被写体１０１の画像は視差方向に縦に並ぶが、メインレンズ１０２に着いた汚れ５１４や５１５は、視差が大きいため、ＥＰＩ５２０において領域５２１、５２２のように斜めに傾いて並ぶ。
【００４６】
このＥＰＩ５２０上の領域５２１、５２２の傾きは、ピントが合った被写体１０１の距離である視差ゼロ、からの距離である視差量、で変化するため、ハフ変換等で直線検出をした後、予め決めておいた閾値を超える傾きで囲まれた領域を、メインレンズ１０２付近の汚れとして検出する。
【００４７】
例えば、ＥＰＩ５２０をエッジ強度の強い画素で二値化した後、各エッジ強度の強い画素に対し、原点から直線に引いた法線の長さｒと角度θとを表す（ｒ、θ）空間に変換して投票し、投票の累積値が高いパラメータ（ｒ、θ）を直線として求める。
【００４８】
次に、ＥＰＩ５２０上の傾きは視差量で決まるため、被写体１０１までピントを合わせた際のフォーカス値からメインレンズ１０２付近の視差量に対する傾きが１０度と計算された場合、ＥＰＩ５２０上の直線の傾きが１０度以上で囲まれた直線同士で囲まれた領域５２１や領域５２２を汚れ領域として検出する。
【００４９】
なお、ＥＰＩ上の傾きは、ハフ変換以外で傾きを求めてもよい。例えばＥＰＩを輝度値等で領域分割した後、領域毎にエッジ検出して、エッジの傾きに対するヒストグラムから領域毎の傾きを求めてもよい。ＥＰＩ上の傾きを算出する方法としては、これらの方法に限定されない。
【００５０】
［１−３−３．汚れ除去］
次に、Ｓ３０５の汚れ除去について詳細に説明する。汚れ領域が検出できると、汚れ領域を汚れ領域以外の画素を使って再構成すればよい。
【００５１】
図９Ａは汚れ除去を行わない場合の出力画像を示す図であり、図９Ｂは、汚れ除去を行った場合の再構成画像を示す図である。図９Ａの汚れ除去を行わない場合と比較して、図９Ｂに示すように汚れが除去された画像が再構成できたことがわかる。
【００５２】
この場合、図８のＥＰＩ５２０において、領域５２１、５２２以外の領域に対し、視差方向、即ち縦方向、に画素を加算して出来た空間方向、即ちｘ座標の１ラインが、あるｙ座標におけるｘ座標の１ラインに相当するので、残りのｙ座標も同様に計算して求めることで再構成できる。
【００５３】
また、縦方向がすべて汚れ領域の場合、メインレンズ１０２内のどの部分空間から見ても汚れが映っている状況に相当する。その際は、マスク処理等で該当の座標を記憶し、マスク領域以外で汚れ領域を除去して一旦画像を再構成する。その後、インペインティング（ＩｎＰａｉｎｔｉｎｇ）アルゴリズムなどの画像処理で、マスク以外の周辺からマスク領域内の画素を補完して求める。ＩｎＰａｉｎｔｉｎｇアルゴリズムとは、マスク領域境界付近のピクセルを利用してマスク内の領域を再構成する処理で、パッチベースの方法や境界付近の画像を折り返す方法、ナビエーストーク方程式（Ｎａｖｉｅｒ−Ｓｔａｋｅｓ  ｅｑｕａｔｉｏｎｓ）を用いた方法等がある。
【００５４】
［１−４．効果等］
次に、特許文献２で開示されているブロックマッチングの位置合わせで視差量を抽出し汚れ領域を検出する場合と、本実施の形態のＥＰＩの傾きで汚れ領域を検出する場合の比較を行った。図１０Ａは、ＥＰＩ上の汚れ領域が狭い場合のＥＰＩの一例を示す図であり、図１０Ｂは、ＥＰＩ上の汚れ領域が広い場合のＥＰＩの一例を示す図であり、図１０Ｃは、ＥＰＩ上の汚れ領域が繰り返しパターンで出現する場合のＥＰＩの一例を示す図である。
【００５５】
図１０Ａにおいて、ＥＰＩ１００１の領域６０１は、汚れ領域が狭い場合である。図１０Ｂにおいて、ＥＰＩ１００２の領域６０２は、汚れ領域が広い場合である。図１０Ｃにおいて、ＥＰＩ１００３の領域６０３ａ、６０３ｂ、６０３ｃは、汚れ領域が繰り返しパターンで出現する場合である。
【００５６】
本実施の形態におけるライトフィールドカメラ２００の汚れ領域の検出では、被写体までピントを合わせた際のフォーカス値からメインレンズ付近の視差量に対する傾きが自動的に決まるため、汚れの大きさや繰り返しパターンに左右されず、閾値以上の傾きの直線で囲まれた領域６０１、６０２、６０３ａ、６０３ｂ、６０３ｃは比較的容易に検出可能である。
【００５７】
つまり、本実施の形態におけるライトフィールドカメラ２００による汚れ検出では、ＥＰＩの汚れ領域の大きさや繰り返しに関係なく検出できる。
【００５８】
一方、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合を、図１１及び図１２を用いて、Ｌ画像とＲ画像を用いたブロックマッチングによる視差計算を一例として説明する。図１１は、汚れが位置合わせを計算するブロックよりも大きい場合を説明する図であり、図１２は、汚れがパターンとなって現れる場合を説明する図である。
【００５９】
図１１は、位置合わせを計算するブロック６１１よりも汚れ領域６１０が大きい場合の２視点画像を示す図である。基準となるＬ画像上の汚れ領域６１０が位置合わせを計算するブロック６１１よりも大きい場合、視差を求める対象のＲ画像上のブロックの位置は、ブロック６１２ａかブロック６１２ｂかどちらか区別ができない。従って、視差を正しく求める事ができず、視差量から汚れ領域を検出する事ができない。
【００６０】
図１２は、汚れがパターンとなって現れる場合の２視点画像である。図１１と同様に、基準となるＬ画像上の繰り返し汚れ領域６２０に対して位置合わせを計算するブロックがブロック６２１の場合、視差を求める対象のＲ画像上のブロック位置は、ブロック６２２ａかブロック６２２ｂかどちらか区別ができない。
【００６１】
以上より、図１１、図１２に示したような汚れが存在する場合、実施の形態１におけるライトフィールドカメラ２００の汚れ検出に比べて、位置合わせでは正しく汚れを検出できない。したがって、特許文献２で開示されている位置合わせで視差量を抽出し汚れ領域を検出する場合では、汚れが検出できず、画質を向上させることができない。
【００６２】
以上のように、実施の形態における撮像装置は、光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置されるマイクロレンズと、撮像素子上の画素を、メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、メインレンズ付近の汚れ領域を検出する汚れ検出部と、汚れ領域を汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える。
【００６３】
これにより、メインレンズ付近の汚れを取り除いた画像を生成でき、車載カメラや監視カメラにおいて画像認識を行う場合、レンズ付近の汚れにより認識精度が低下するのを防ぐ事ができる。
【産業上の利用可能性】
【００６４】
本開示は、ライトフィールドカメラでメインレンズ付近の汚れを除去して撮影を行う撮像装置に適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラ、内視鏡等の医療用カメラなどに適用可能である。
【符号の説明】
【００６５】
１００，２００    ライトフィールドカメラ
１０１    被写体
１０２    メインレンズ
１０２ａ，１０２ｂ，１０２ｃ    部分開口
１０３    マイクロレンズアレイ
１０３ａ，１０３ｂ，１０３ｃ    マイクロレンズ
１０４，１０４ａａ，１０４ａｂ，１０４ａｃ，１０４ｂａ，１０４ｂｂ，１０４ｂｃ，１０４ｃａ，１０４ｃｂ，１０４ｃｃ    撮像素子
２１０    撮像部
２２０    信号処理部
２２１    汚れ検出部
２２２    汚れ除去部
４０１    ＥＰＩ
５００，５１１，５１２，５１３    部分開口画像
５１４，５１５    汚れ
５２０    ＥＰＩ
５２１，５２２，６０１，６０２，６０３ａ，６０３ｂ，６０３ｃ    領域
６１０，６２０    汚れ領域
６１１，６１２ａ，６１２ｂ，６２１，６２２ａ，６２２ｂ    ブロック
１００１，１００２，１００３    ＥＰＩ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光の進行方向と前記進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
メインレンズと、
撮像素子と、
前記メインレンズと前記撮像素子の間に配置されるマイクロレンズと、
前記撮像素子上の画素を、前記メインレンズ上に存在する複数の部分開口に対して分離し視差方向へ並べたエピポーラ平面画像上の直線の傾きに基づいて、前記メインレンズ付近の汚れ領域を検出する汚れ検出部と、
前記汚れ領域の画素を前記汚れ領域以外の画素を用いて再構成する汚れ除去部と、を備える、
撮像装置。
【請求項２】
前記汚れ検出部は、ハフ変換を用いて、前記直線の傾きを算出する、
請求項１に記載の撮像装置。
【請求項３】
前記汚れ検出部は、前記エピポーラ平面画像を領域分割し、領域毎のエッジ情報から前記直線の傾きを算出する、
請求項１に記載の撮像装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2015128918.tif 000018
【図２】
2015128918.tif 000019
【図３】
2015128918.tif 000020
【図１０Ａ】
2015128918.tif 000021
【図１０Ｂ】
2015128918.tif 000022
【図１０Ｃ】
2015128918.tif 000023
【図４】
2015128918.tif 000024
【図５】
2015128918.tif 000025
【図６】
2015128918.tif 000026
【図７】
2015128918.tif 000027
【図８】
2015128918.tif 000028
【図９Ａ】
2015128918.tif 000029
【図９Ｂ】
2015128918.tif 000030
【図１１】
2015128918.tif 000031
【図１２】
2015128918.tif 000032
【国際調査報告】
2015128918.tif 000033
2015128918.tif 000034