(57)【要約】【課題】測距の精度とＨＤＲ画像のダイナミックレンジの幅とに関するユーザの要求に、１台の複眼カメラで柔軟に応じることを目的とする。【解決手段】撮像装置は、複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを備える複眼カメラと、前記複数の撮像光学系に対応する複数のフィルタであって、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを有する光学フィルタ部と、前記複眼カメラの感度を変更する感度変更部と、前記複数の撮像部で撮像された画像から、１枚の画像を作成する画像作成部と、輝度範囲の異なる複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に前記輝度範囲の画像を作成させる制御部とを備える。【選択図】図１
2015207861.tif 000002
【特許請求の範囲】
【請求項１】
一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、
前記複数の撮像光学系にそれぞれ対応する複数のフィルタであって、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを有し、前記複数のフィルタのうち、少なくとも２つのフィルタは、前記予め設定された所定の減衰率が同じである光学フィルタ部と、
前記複数の撮像部それぞれの感度を変更する感度変更部と、
前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索部と、
前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成部と、
輝度範囲の異なる複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に前記各モードに応じた輝度範囲の画像を作成させる制御部と
を備えることを特徴とする撮像装置。
【請求項２】
前記予め設定された所定の減衰率は、ｎ種類（ｎ≧２）であり、
前記撮像部により撮像された画像の輝度範囲を横軸に、前記輝度範囲の輝度の信頼度を縦軸とするグラフにおいて、第１減衰率のフィルタに対応する第１撮像部により撮像された画像の第１グラフのうちの輝度が低い部分であって前記信頼度が徐々に低下している部分である裾部分の一部が、前記第１減衰率の次に減衰率が低い第２減衰率のフィルタに対応し、前記第１撮像部と同じ感度に設定された第２撮像部により撮像された画像の第２グラフと重なるように、前記第１減衰率及び前記第２減衰率が設定され、
前記複数のフィルタは、ｎ種類の減衰率のフィルタをそれぞれ複数有し、ｎ種類の減衰率のフィルタをそれぞれ含む第１グループと第２グループとを備えており、
前記複数のモードとは、
前記感度変更部により前記第１グループ及び前記第２グループのフィルタに対応する撮像部が同一の感度に変更される第１モードと、
前記感度変更部により前記第１グループのフィルタに対応する撮像部が第１感度に変更され、前記第２グループのフィルタに対応する撮像部が前記第１感度よりも高い感度の第２感度に変更され、前記第１感度及び前記第２感度は、前記第１感度に変更された撮像部のうち最も減衰率が低いフィルタに対応する撮像部により撮像された画像の前記グラフの全部または一部分が、前記第２感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフと重なるような感度である第２モードと、
前記感度変更部により前記第１グループのフィルタに対応する撮像部が第３感度に変更され、前記第２グループのフィルタに対応する撮像部が前記第３感度よりも高い感度の第４感度に変更され、前記第３感度及び前記第４感度は、前記第３感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフの前記裾部分の全てが、前記第４感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフと重なるような感度である第３モードである
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記複数の撮像光学系のうち少なくとも２つの撮像光学系に対応する撮像部で撮像された画像に基づいて前記対象物までの距離を求める距離演算部を、更に備え、
前記距離演算部は、前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差に基づいて前記対象物までの距離を算出する
ことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記モードを設定する設定入力手段を更に備え、
前記制御部は、前記設定入力手段により設定されたモードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させる
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記制御部は、前記複数の撮像部で撮像された画像に基づいてモードを決定し、決定されたモードに応じて前記感度変更部に前記複数の撮像部の感度を変更させる
ことを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記撮像部は、固体撮像素子を有し、
前記感度変更部は、前記複数の撮像部それぞれが有する固体撮像素子の蓄積時間を変更することによって、前記複数の撮像部の感度を変更する
ことを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
【請求項７】
一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、前記複数の撮像光学系にそれぞれ対応する複数のフィルタであって、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを有し、前記複数のフィルタのうち、少なくとも２つのフィルタは、前記予め設定された所定の減衰率が同じである光学フィルタ部と、を備える撮像装置で用いられる撮像方法であって、
前記複数の撮像部それぞれの感度を変更する感度変更ステップと、
前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索ステップと、
前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更ステップによって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索ステップで視差を算出し、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成ステップと、
輝度範囲の異なる複数のモードを有し、前記モードに応じて、前記感度変更ステップで前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成ステップで前記各モードに応じた輝度範囲の画像を作成させる制御ステップと
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイダイナミックレンジ画像を生成する撮像装置及び撮像方法に関するものである。
【背景技術】
【０００２】
近年、各種デジタル技術の進展に伴い、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子を用いることによってデジタル画像が比較的容易に得られるようになり、このデジタル画像が様々に利用されている。その利用分野として、例えば、複数のデジタル画像から所定の被写体までの距離を計測する技術や、ハイダイナミックレンジ画像（以下、「ＨＤＲ画像」という。）を作成する技術等がある。
【０００３】
複数のデジタル画像からＨＤＲ画像を作成する技術として、カメラの感度（露出）を変えて同一被写体を撮像し、得られた複数の画像を合成してＨＤＲ画像を作成する技術がある。１つのカメラで感度を変えながら被写体を撮像する場合には、被写体が移動すると、きれいなＨＤＲ画像が得られない場合ある。そこで、複数の個眼カメラを備え、同じ被写体に対し、複数の画像を同時に撮像できる複眼カメラを用いる技術が提案されている。例えば、個眼カメラの感度をそれぞれ異ならせた複眼カメラによって対象物を撮像し、得られた複数の画像を合成して、ＨＤＲ画像を作成する技術が開示されている（特許文献１参照）。尚、このような複眼カメラを用いて撮影された複数の画像は、視差（位置ずれ）が生じているため、合成の際に視差補正を行う技術が開示されている（特許文献３参照）。また、被写体からの入射光が、ビームスプリッタ等によって多眼光学系の各個眼に入力されて、視差の生じていない画像が撮像される技術が開示されている（特許文献３参照）。
【０００４】
複眼カメラは、複数のデジタル画像から所定の被写体までの距離を計測する技術においても利用されている。例えば、複眼カメラで撮像された複数の画像のうちの一対の画像に対し、対応点探索がピクセル単位で実行される。そして、この一対の個眼カメラ間の視差がピクセル単位で求められ、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。
【０００５】
このように、１台の複眼カメラによって、ＨＤＲ画像が作成でき、更に、被写体までの距離が測定できることになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１７１４３０号公報
【特許文献２】特開２０１１−２５４２６５号公報
【特許文献３】特開２０１２−１９９８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、広いダイナミックレンジのＨＤＲ画像を得るためには、ダイナミックレンジ幅に応じて、複数種類の感度によって撮像された複数の画像が必要である。そして、所望するＨＤＲ画像のダイナミックレンジの幅が広くなればなるほど、より多くの種類の感度で撮像された画像が必要となる。
【０００８】
また、測距の精度、つまり、視差を求める精度は、対応点探索を行う画像を撮像する個眼カメラ間の距離（基線長）が長い程、高くなる。更に、測距の精度は、個眼カメラの数が多い程、つまり、対応点探索を行う画像のペアの数が多い程、高くなる。但し、対応点探索において高精度で視差を求めるためには、対応点探索を行うペアの画像は、同じ感度で撮像された画像あることが望ましい。
【０００９】
従って、通常、複眼カメラに含まれる個眼カメラの個数は限られているため、感度の種類を多くすれば、対応点探索を行う画像のペアの数は減ることになる。つまり、広いダイナミックレンジのＨＤＲ画像を得ようとすれば、測距の精度が落ちることになる。また、測距の精度を上げるために対応点探索を行う画像のペアの数を多くすると、感度の種類を減らすことになる。つまり、測距の精度を上げようとすると、ＨＤＲ画像のダイナミックレンジの幅が狭くなる。
【００１０】
測距の精度や、ＨＤＲ画像のダイナミックレンジの広さは、ユーザによって要求が異なる。従って、ユーザの要求毎に、その要求に応じた複眼カメラを作成することは、高コスト化を招くことになり、現実的ではない。
【００１１】
そこで、本発明は、測距の精度とＨＤＲ画像のダイナミックレンジの広さに関するユーザの要求に、１台の複眼カメラで柔軟に応じることを目的とする。
【課題を解決するための手段】
【００１２】
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる撮像装置は、一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、前記複数の撮像光学系にそれぞれ対応する複数のフィルタであって、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを有し、前記複数のフィルタのうち、少なくとも２つのフィルタは、前記予め設定された所定の減衰率が同じである光学フィルタ部と、前記複数の撮像部それぞれの感度を変更する感度変更部と、前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索部と、前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成部と、輝度範囲の異なる複数のモードを有し、前記モードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成部に前記各モードに応じた輝度範囲の画像を作成させる制御部とを備えることを特徴とする。
【００１３】
また、他の一態様にかかる撮像方法は、一体に配列された複数の撮像光学系と、前記複数の撮像光学系に対応し、前記複数の撮像光学系それぞれによって結像された対象物の光学像を撮像する複数の撮像部とを有する複眼カメラと、前記複数の撮像光学系にそれぞれ対応する複数のフィルタであって、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを有し、前記複数のフィルタのうち、少なくとも２つのフィルタは、前記予め設定された所定の減衰率が同じである光学フィルタ部と、を備える撮像装置で用いられる撮像方法であって、前記複数の撮像部それぞれの感度を変更する感度変更ステップと、前記複数の撮像部で撮像された画像を用いた対応点探索により、前記複数の画像同士の視差を算出する対応点探索ステップと、前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更ステップによって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索ステップで視差を算出し、算出された視差を用いて前記対象物の位置合わせを行い、前記複数の撮像部で撮像された画像を合成して、１枚の画像を作成する画像作成ステップと、輝度範囲の異なる複数のモードを有し、前記モードに応じて、前記感度変更ステップで前記複数の撮像部の感度を変更させ、前記複数の撮像部で撮像された画像を用いて、前記画像作成ステップで前記各モードに応じた輝度範囲の画像を作成させる制御ステップとを備えることを特徴とする。
【００１４】
このような撮像装置及び撮像方法では、対象物は、それぞれ異なる予め設定された所定の減衰率で入射光を減光させて透過する複数のフィルタを介して撮像され、更に、撮像部の感度を変更することができるので、相対輝度の範囲がそれぞれ異なる複数の画像を取得することができる。従って、モードに応じた広い範囲の輝度範囲（ハイダイナミックレンジ）の画像を作成することができる。また、相対輝度の範囲が同じ画像を複数撮像することができ、これらの画像に基づいて、画像のずれ（視差）を算出することができるので、複数の画像を合成してダイナミックレンジが広い１枚の画像を作成することが可能となる。つまり、撮像装置は、１つの複眼カメラを用いて、様々な輝度範囲（ダイナミックレンジ）の画像を作成することが可能となる。
【００１５】
また、他の一態様では、上述の撮像装置において、前記予め設定された所定の減衰率は、ｎ種類（ｎ≧２）であり、前記撮像部により撮像された画像の輝度範囲を横軸に、前記輝度範囲の輝度の信頼度を縦軸とするグラフにおいて、第１減衰率のフィルタに対応する第１撮像部により撮像された画像の第１グラフのうちの輝度が低い部分であって前記信頼度が徐々に低下している部分である裾部分の一部が、前記第１減衰率の次に減衰率が低い第２減衰率のフィルタに対応し、前記第１撮像部と同じ感度に設定された第２撮像部により撮像された画像の第２グラフと重なるように、前記第１減衰率及び前記第２減衰率が設定され、前記複数のフィルタは、ｎ種類の減衰率のフィルタをそれぞれ複数有し、ｎ種類の減衰率のフィルタをそれぞれ含む第１グループと第２グループとを備えており、前記複数のモードとは、前記感度変更部により前記第１グループ及び前記第２グループのフィルタに対応する撮像部が同一の感度に変更される第１モードと、前記感度変更部により前記第１グループのフィルタに対応する撮像部が第１感度に変更され、前記第２グループのフィルタに対応する撮像部が前記第１感度よりも高い感度の第２感度に変更され、前記第１感度及び前記第２感度は、前記第１感度に変更された撮像部のうち最も減衰率が低いフィルタに対応する撮像部により撮像された画像の前記グラフの全部または一部分が、前記第２感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフと重なるような感度である第２モードと、前記感度変更部により前記第１グループのフィルタに対応する撮像部が第３感度に変更され、前記第２グループのフィルタに対応する撮像部が前記第３感度よりも高い感度の第４感度に変更され、前記第３感度及び前記第４感度は、前記第３感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフの前記裾部分の全てが、前記第４感度に変更された撮像部のうち最も減衰率が高いフィルタに対応する撮像部により撮像された画像の前記グラフと重なるような感度である第３モードであることを特徴とする。
【００１６】
このような撮像装置では、相対輝度の範囲が連続した画像を複数撮像することができ、また、モードに応じて、複数画像全体における輝度範囲、及び、輝度の信頼度を変更したダイナミックレンジが広い画像を作成することが可能となる。具体的には、第１モードでは、同一の感度の撮像部により、撮像される画像の相対輝度の範囲が連続するような複数の減衰率のフィルタを介して、画像を撮像するので、撮像装置は、フィルタの減衰率に応じた輝度範囲（ダイナミックレンジ）の画像を作成することができる。第２モードでは、このような複数の減衰率のフィルタを介して撮像される画像であって、異なる感度の撮像部で撮像した画像の相対輝度の範囲が連続するので、第１モードよりも広い輝度範囲（ダイナミックレンジ）の画像を作成することができる。第３モードでは、このような複数の減衰率のフィルタを介して撮像される画像の相対輝度の範囲のうちの信頼度が低い部分が、感度の違う撮像部で撮像された画像の相対輝度の範囲と重なるような画像を撮像するので、他のモードよりも輝度の信頼度の高い、つまり、画質の良い、広い輝度範囲（ダイナミックレンジ）の画像を作成することができる。
【００１７】
また、他の一態様では、上述の撮像装置において、前記複数の撮像光学系のうち少なくとも２つの撮像光学系に対応する撮像部で撮像された画像に基づいて前記対象物までの距離を求める距離演算部を、更に備え、前記距離演算部は、前記予め設定された所定の減衰率が同一の前記複数のフィルタに対応する撮像部であって、前記感度変更部によって同じ感度に変更された撮像部により撮像された複数の画像を用いて、前記対応点探索部に視差を算出させ、算出された視差に基づいて前記対象物までの距離を算出することを特徴とする。
【００１８】
このような撮像装置では、相対輝度の範囲が同じ画像を複数撮像することができるので、これらの画像に基づいて、画像における対象物の視差を算出することができ、対象物までの距離を算出することが可能となる。
【００１９】
また、他の一態様では、上述の撮像装置において、前記モードを設定する設定入力手段を更に備え、前記制御部は、前記設定入力手段により設定されたモードに応じて、前記感度変更部に前記複数の撮像部の感度を変更させることを特徴とする。
【００２０】
このような撮像装置では、ユーザは、所望する輝度範囲（ダイナミックレンジ）のモードを設定できるので、所望するダイナミックレンジの画像を容易に得ることが可能となる。
【００２１】
また、他の一態様では、上述の撮像装置において、前記制御部は、前記複数の撮像部で撮像された画像に基づいてモードを決定し、決定されたモードに応じて前記感度変更部に前記複数の撮像部の感度を変更させることを特徴とする。
【００２２】
このような撮像装置では、実際に撮像された画像に基づいて、モードが決定され、撮像部の感度が設定されるので、容易に、ハイダイナミックレンジ画像の撮像が可能となる。
【００２３】
また、他の一態様では、上述の撮像装置において、前記撮像部は、固体撮像素子を有し、前記感度変更部は、前記複数の撮像部それぞれが有する固体撮像素子の蓄積時間を変更することによって、前記複数の撮像部の感度を変更することを特徴とする。
【００２４】
このような撮像装置では、固体撮像素子の蓄積時間を変えることにより撮像部の感度を変えるので、容易に、複眼カメラの感度を変えて撮像を行うことが可能となる。
【発明の効果】
【００２５】
本発明にかかる撮像装置および撮像方法は、測距の精度とＨＤＲ画像のダイナミックレンジの広さとに関するユーザの要求に、１台の複眼カメラで柔軟に応じることができる。
【図面の簡単な説明】
【００２６】
【図１】実施形態の撮像装置の構成を示すブロック図である。
【図２】実施形態の撮像装置における画像取得部の構成を示すブロック図である。
【図３】（ａ）は、実施形態の画像取得部におけるアレイカメラ及び光学フィルタの配置位置を示す図であり、（ｂ）は、実施形態の画像取得部におけるアレイカメラの構成を示す図であり、（ｃ）は、光学フィルタ部の構成を示す図である。
【図４】撮像素子の感度範囲（ラチチュード）を説明するための図である。
【図５】実施形態の画像撮像部で得られる画像の相対輝度の範囲を説明するための図である。
【図６】実施形態の光学フィルタ部とアレイ撮像部の感度とを説明するための図である。
【図７】実施形態の通常ＨＤＲモードにおける対応点探索を説明するための図である。
【図８】実施形態の通常ＨＤＲモードにおける相対輝度範囲を説明するための図である。
【図９】実施形態のスーパーＨＤＲモードにおける対応点探索を説明するための図である。
【図１０】実施形態のスーパーＨＤＲモードにおける相対輝度範囲を説明するための図である。
【図１１】実施形態のスーパーＨＤＲモードの変形例における相対輝度範囲を説明するための図である。
【図１２】実施形態の高画質ＨＤＲモードにおける対応点探索を説明するための図である。
【図１３】実施形態の高画質ＨＤＲモードにおける相対輝度範囲を説明するための図である。
【図１４】実施形態の撮像装置における、ステレオ法による測距方法を説明するための図である。
【図１５】実施形態のアレイカメラにより得られた画像の視差を説明するための図である。
【図１６】実施形態のアレイカメラにより得られた画像の視差を説明するための図である。
【図１７】実施形態の撮像装置における撮像処理を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
＜実施形態＞
図１は、実施形態における撮像装置の構成を示すブロック図である。図２は、実施形態の撮像装置における画像取得部の構成を示すブロック図である。図３（ａ）は、前記画像取得部におけるアレイカメラ及び光学フィルタの配置位置を示す斜視図であり、図３（ｂ）は、前記画像取得部におけるアレイカメラの構成を示す斜視図であり、図３（ｃ）は、光学フィルタ部３２の構成を示す。
【００２８】
実施形態における撮像装置は、アレイカメラを構成する複数の個眼カメラの感度（撮像素子の感度）を変えて撮像した画像を用いて、ＨＤＲ画像を作成するとともに、被写体までの距離を算出するものである。実施形態の撮像装置Ｄは、取得できるＨＤＲ画像のダイナミックレンジの幅と測距精度とがそれぞれ異なる複数の撮像モードを提供する。
【００２９】
実施形態における撮像装置Ｄは、例えば、図１に示すように、制御処理部１と、記憶部２と、画像取得部３と、入力部４と、出力部５とを備える。
【００３０】
＜画像取得部＞
画像取得部３は、制御処理部１に接続され、同一の測定対象（物体、被写体）を撮像した複数の画像を取得するものである。このような画像取得部３は、例えば、図２に示すように、アレイカメラ３１と、光学フィルタ部３２とを備える。
【００３１】
図３（ａ）に示すように、アレイカメラ３１は、複数の個眼レンズ（撮像光学系）を有するアレイレンズ部３１１と、この複数の個眼レンズそれぞれによって結像された物体の光学像をそれぞれ撮像する複数の個眼撮像部（撮像部）を有するアレイ撮像部３１２とを備える。そして、光学フィルタ部３２は、複数種類のＮＤフィルタを有し、アレイレンズ部３１１の、物側に配置される。
【００３２】
図３（ｂ）に示すように、アレイレンズ部３１１は、複数の個眼レンズ３１１１を備える。１個の個眼レンズ３１１１は、その光軸に沿って１または複数の光学レンズを備えて構成される。複数の個眼レンズ３１１１は、図３（ｂ）に示す例では、各光軸が互いに略平行となるように、そして、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列される。図３（ｂ）に示す例では、複数の個眼レンズ３１１１は、３行４列に２次元マトリクス状に配列された１２個の個眼レンズ３１１１−１１〜３１１１−３４として示されている。
【００３３】
アレイ撮像部３１２は、複数の個眼撮像部３１２１を備える。１個の個眼撮像部３１２１は、２次元マトリクス状に配列された複数の光電変換素子（複数の画素）を備え、各光電変換素子は、それぞれ、受光した光の光量に応じて変換した電気信号を画像における各画素のデータとして出力する。複数の個眼撮像部３１２１は、アレイレンズ部３１１における複数の個眼レンズ３１１１に対応し、各撮像面が互いに同一平面となるように配列される。図３（ｂ）に示す例では、複数の個眼撮像部３１２１は、線形独立な２方向、より具体的には互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列されている。図３（ｂ）に示す例では、複数の個眼撮像部３１２１は、３行４列に２次元マトリクス状に配列された１２個の個眼撮像部３１２１−１１〜３１２１−３４として示されている。これら複数の個眼撮像部３１２１は、同一の基板上に２次元マトリクス状に配列された複数の前記固体撮像素子を備えて構成されて良いが、図３（ａ）に示す例では、１個の前記固体撮像素子を備えて構成されるものとする。この場合、１個の前記固体撮像素子における有効画素領域が、各個眼撮像部３１２１に対応するように、２次元マトリクス状に配列された複数の領域に分割され、これら各領域が各個眼撮像部３１２１として利用されるものとする。
【００３４】
光学フィルタ部３２は、入射光を領域ごとに光学的に互いに異なるように透過する光学素子であり、例えば、入射光を光学的に互いに異なるように透過する複数のサブ光学フィルタの領域を備える。実施形態では、図３（ｃ）に示すように、光学フィルタ部３２は、３行４列で配列された８個のＮＤフィルタ３２１−１１〜３３２−３４を備える。ＮＤフィルタは、入射光を予め設定された所定の減衰率で減光させて透過するフィルタである。尚、これらＮＤフィルタ３２１は、個別の光学素子であって良く、また一体に形成された光学素子であっても良い。
【００３５】
光学フィルタ部３２の、１行１列に配置されるＮＤフィルタ３２１−１１、１行３列に配置されるＮＤフィルタ３２１−１３、３行２列に配置されるＮＤフィルタ３２１−３２、及び、３行４列に配置されるＮＤフィルタ３２１−３４は、光学濃度（ＯＤ（Ｏｐｔｉｃａｌ  Ｄｅｎｓｉｔｙ）値）が「２．８」である。また、２行２列に配置されるＮＤフィルタ３２１−２２、２行４列に配置されるＮＤフィルタ３２１−２４、３行１列に配置されるＮＤフィルタ３２１−３１、及び、３行３列に配置されるＮＤフィルタ３２１−３３は、光学濃度が「１．４」である。１行２列に配置されるＮＤフィルタ３２１−１２、１行４列に配置されるＮＤフィルタ３２１−１４、２行１列に配置されるＮＤフィルタ３２１−２１、及び、２行３列に配置されるＮＤフィルタ２３１−３４は、光学濃度が「０．０」である。光学濃度「０．０」は、フィルタの透過率が「１００％」を示し、光学濃度「１．４」は、透過率が約「４％」を示し、光学濃度「２．８」は、透過率が約「０．１５％」を示す。
【００３６】
光学フィルタ部３２の複数のＮＤフィルタ３２１それぞれは、アレイレンズ部３１１が備える複数の個眼レンズ３１１１それぞれに対応して、各個眼レンズ３１１１の各物側にそれぞれ配置される。従って、各ＮＤフィルタ３２１を介して入射される被写体からの光束は、各個眼レンズ３１１１を介して、各個眼撮像部３１２１の各受光面に物体の光学像をそれぞれ形成するように入射される。複数の個眼撮像部３１２１の各光電変換素子は、それぞれ、受光した光を、その光量に応じた電気信号に光電変換し、この電気信号を画像における各画素のデータとして制御処理部１へ出力する。複数の個眼撮像部３１２１は、同じ被写体を写した略視差だけずれた画像データを出力する。
【００３７】
また、光学フィルタ部３２は、アレイレンズ部３１１の物側に設けることとしているが、アレイレンズ部３１１と個眼撮像部３１２１との間に設けることとしてもよい。
【００３８】
ここで、撮像素子（個眼カメラ）の感度範囲について、図４を用いて説明する。以下、それぞれ対向する個眼撮像部３１２１と個眼レンズ３１１１との組み合わせを、「個眼カメラ」というものとする。
【００３９】
図４は、撮像素子の出力とその信頼度との関係を模式的に示したグラフ（以下、「信頼度グラフ」という。）である。横軸に、撮像素子の出力に基づく相対輝度を示し、縦軸に、画素値（出力値）の信頼度を示す。信頼度は、縦軸の矢印の方に行くにしたがって高くなるものとする。信頼度とは、階調表現力、Ｓ／Ｎ比等をいうものとする。横軸の「２６  ２４  ２２  ２０」は、相対輝度「１００」〜「１０−２」の範囲は、６ビットで表されることを示す。
【００４０】
図４の信頼度グラフが示すように、撮像素子の感度範囲（相対輝度１０−２〜１０１）内において、撮像素子の出力値の信頼度は一定ではなく、相対的に暗い領域では暗くなるにつれて信頼度が徐々に低下する領域（以下、「裾部分」という。）がある（矢印４１参照）。尚、人間の感じる明るさの範囲は、撮像素子が一度にとらえることができる感度範囲に比べてかなり広いので、人間が一度に見ることができる明るさの範囲をカバーすることが望まれている。
【００４１】
次に、図５に、ＮＤフィルタ３２１を介した光を受光した場合の撮像素子（個眼カメラ）の信頼度グラフを示す。グラフＧ１は、光学濃度「２．８」のＮＤフィルタ３２１を介した光を受光した場合の信頼度グラフであり、グラフＧ２は、光学濃度「１．４」のＮＤフィルタ３２１を介した光を受光した場合の信頼度グラフであり、グラフＧ３は、光学濃度「０．０」のＮＤフィルタ３２１を介した光を受光した場合の信頼度グラフである。つまり、ＮＤフィルタにより入射光が予め設定された所定の減衰率で減光されて撮像素子に入射されるので、個眼カメラが出力する画像の相対輝度の範囲が、異なることになる。図５では、ＮＤフィルタの光学濃度が「１．４」異なれば、個眼カメラが出力する画像の相対輝度の範囲は「１０１．４」異なることになる。つまり、（１０１．４≒２４）であるので、光学濃度の異なるＮＤフィルタを備えた個眼カメラは、４ビットずれた相対輝度範囲をカバーできることになる。
【００４２】
従って、３種類のＮＤフィルタ３２１を設けることで、アレイカメラ３１が出力する複数画像全体の相対輝度の範囲（以下、「アレイカメラ３１の相対輝度範囲」という。）は、ＮＤフィルタ３２１を設けない場合に比べて、広い相対輝度範囲となる。
【００４３】
＜入力部＞
図１に戻って、入力部４は、制御処理部１に接続され、例えば、撮像の開始を指示するコマンド等の各種コマンド、及び、撮像モードの設定等の撮像処理を実行する上で必要な各種データを撮像装置Ｄに入力する機器である。例えば、撮像装置Ｄの本体に付属する操作部であり、ボタン、スライドスイッチ等である。また、通信可能に接続されたパソコン等のキーボード、マウス等であってもよい。
【００４４】
＜出力部＞
出力部５は、制御処理部１に接続され、入力部４から入力されたコマンドやデータ、および、撮像装置Ｄによって作成されたＨＤＲ画像や、測距された測定対象までの距離等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置等である。
【００４５】
尚、入力部４及び出力部５からタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部４は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部５は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として撮像装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い撮像装置Ｄが提供される。
【００４６】
＜記憶部＞
記憶部２は、制御処理部１に接続され、撮像処理を実行する上で必要な各種プログラムや各種データを記憶する装置であり、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性記憶素子、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶素子およびその周辺回路等を備えて構成される。記憶部２は、例えばハードディスク等の大容量記憶装置を備えても良い。
【００４７】
そして、記憶部２は、画像データを記憶し、この画像データに対し制御処理部１によって後述の撮像処理を行うための作業領域として用いられる。
【００４８】
＜制御処理部＞
制御処理部１は、所定の撮像処理プログラムに基づき後述の撮像処理を実行するべく、撮像装置Ｄの各部を当該各部の機能に応じてそれぞれ制御するものである。前記所定の撮像処理プログラムは、ユーザが設定した撮像モードに従って被写体を撮像し、ＨＤＲ画像を作成し、また、被写体までの距離を測定するためのプログラムである。制御処理部１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）およびその周辺回路を備えて構成され、所定の撮像処理プログラムを実行することによって、制御処理部１には、機能的に、制御部１１、感度調整部１２、及び、演算部１３が構成される。
【００４９】
制御部１１は、所定の撮像処理を実行するために、撮像装置Ｄの各部を当該各部の機能に応じてそれぞれ制御するものである。
【００５０】
感度調整部１２は、個眼撮像部３１２１の撮像素子の光子の蓄積時間（積分時間）をそれぞれ変更する。つまり、個眼撮像部３１２１の光電変換素子の受光時間を変更することで、個眼カメラの感度を変更する。以下、個眼撮像部３１２１−１１と個眼レンズ３１１１−１１との組み合わせを「個眼カメラ１１」、個眼撮像部３１２１−１２と個眼レンズ３１１１−１２との組み合わせを「個眼カメラ１２」のようにいうものとする。
【００５１】
図６は、光学フィルタ部３２であり、矩形はＮＤフィルタ３２１を示し、矩形内の円で囲まれた数字は、ＮＤフィルタ３２１の光学濃度を示す。「１」は光学濃度「２．８」、「２」は光学濃度「１．４」、「３」は光学濃度「０．０」を示す。つまり、同じ数字が付されたＮＤフィルタ３２１は、同じ光学濃度のＮＤフィルタ３２１であることを示す。以下、光学濃度「２．８」を「光学濃度（０）」、光学濃度「１．４」を「光学濃度（２）」、光学濃度「０．０」を「光学濃度（３）」という場合がある。
【００５２】
実施形態では、感度調整部１２は、図６に示すように、ＮＤフィルタ３２１をグループに分けて、つまり、アレイカメラ３１の１２個の個眼カメラを２つのグループ（グループＡ、グループＢ）に分けて、グループごとに感度を変更する。つまり、グループＡは、個眼カメラ１１、個眼カメラ１２、個眼カメラ２１、個眼カメラ２２、個眼カメラ３１、及び、個眼カメラ３２で構成され、グループＢは、個眼カメラ１３、個眼カメラ１４、個眼カメラ２３、個眼カメラ２４、個眼カメラ３３、及び、個眼カメラ３４で構成される。
【００５３】
感度調整部１２は、ユーザにより設定された撮像モードに応じて、グループＡ、及び、グループＢの感度を変更する。撮像モードに応じた処理については、＜撮像モード＞の項で、説明される。
【００５４】
演算部１３は、例えば、図１に示すように、ＨＤＲ画像生成部１３１、対応点探索部１３２、及び、距離算出部１３３を備える。
【００５５】
ＨＤＲ画像生成部１３１は、アレイカメラ３１により撮像された画像を、視差だけずらして合成し、１枚のＨＤＲ画像を生成する。つまり、ＨＤＲ画像生成部１３１は、各画像内の被写体の位置合わせを行って、各画像を合成する。各画像間の視差は、対応点探索部１３２が算出する。また、ＨＤＲ画像生成部１３１は、アレイ撮像部３１２の複数の個眼撮像部３１２１それぞれを構成する撮像素子からの出力値に基づいて、ダイナミックレンジ（輝度範囲）を決定し、アレイカメラ３１により撮像された画像を合成して、決定したダイナミックレンジの１枚の画像を作成する。
【００５６】
ここで、画像のずれについて図１５、１６を用いて説明する。各画像のずれの現れる方向は、各画像を撮像した個眼カメラの個眼レンズの位置に基づく。図１５（ａ）に、２つの個眼カメラで撮像した２つの画像を重ねた合成画像を示し、図１５（ｂ）には、図１５（ａ）の２つの画像を撮像したアレイカメラのアレイ撮像部を示す。このアレイカメラのアレイ撮像部は、３行３列の２次元マトリクス状に配列された９個の個眼撮像部から成る。内部に数値が表された矩形は、個眼撮像部を示し、ここでは、個眼撮像部で撮像された画像を、矩形の中の数値を用いて、画像１、画像２のように表すものとする。図１５（ａ）に示す合成画像は、図１５（ｂ）に示す画像１と画像２の合成画像である。画像１と画像２とのずれは、画像１を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点と、画像２を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点とを結んだ方向に現れる（矢印１５２参照）。図１５（ａ）の合成画面の矢印１５１の方向が、ずれの方向である。
【００５７】
同様に、図１６（ａ）に、２つの個眼カメラで撮像した２つの画像を重ねた合成画像を示し、図１６（ｂ）には、図１６（ａ）の２つの画像を撮像したアレイカメラのアレイ撮像部を示す。図１６（ａ）に示す合成画像は、図１６（ｂ）に示す画像２と画像５の合成画像である。画像２と画像５とのずれは、画像２を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点と、画像５を撮像した個眼レンズの光軸と個眼撮像部の撮像面との交点とを結んだ方向に現れる（矢印１６２参照）。図１６（ａ）の合成画面の矢印１６１の方向が、ずれの方向である。このずれの方向が、いわゆるエピポールラインの方向となる。エピポールラインとは、基準画像側のカメラの視線を参照画像上に投影した線であるからである。個眼カメラが、図３に示すように、互いに直交するＸ方向およびＹ方向の２方向に２次元マトリクス状に配列され、個眼カメラ間の基線長が等しい場合には、図１５に示すように、Ｘ軸方向の２つの画像、例えば、画像１と画像２のずれ量と、図１６に示すように、Ｙ軸方向の２つの画像、例えば、画像２と画像５のずれ量とを求めればよい。画像間のＸ軸方向のずれ量は、左右に隣り合う画像間では同じであり、Ｙ軸方向のずれ量は、上下の画像間では同じだからである。具体的には、例えば、画像１と画像２のＸ軸方向のずれ量と、画像２と画像３とのずれ量と、画像４と画像５とのずれ量とは同じであり、同様に、他の画像間のＸ軸方向のずれ量も同じである（図１５（ｂ）参照）。また、画像５と画像２のＹ軸方向ずれ量と、画像５と画像８とのずれ量と、画像１と画像４とのずれ量とは同じであり、同様に、他の画像間のＹ軸方向のずれ量も同じである（図１６（ｂ）参照）。つまり、ＨＤＲ画像生成部１３１は、ＨＤＲ画像を作成する際に必要な各画像間の視差を、容易に求めることができる。ＨＤＲ画像生成部１３１が、視差を求めるために選択する画像は、後述する距離算出部１３３が視差を求めるために選択する画像ペアと同じである。いずれの画像ペアを用いるかは、＜撮像モード＞の項で、説明する。尚、画像ペアは、Ｘ軸方向のＹ軸方向の隣り合った画像ペアに限られず、１以上の画像を間に挟んでいてもよく、また、ななめの位置の画像であってもよい。
【００５８】
また、複数の画像から得られたハイダイナミックレンジデータを、同一枚の画像データにまとめアルゴリズムついては、以下の文献を参照できる。
Ｍ．  Ｄｅｂｅｖｅｃ：  “Ｒｅｃｏｖｅｒｉｎｇ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｒａｄｉａｎｃｅ  Ｍａｐｓ  ｆｒｏｍ  Ｐｈｏｔｏｇｒａｐｈｉｃ”．  Ｉｎ：  Ｐｒｏｃ．  ＳＩＧＧＲＡＰＨ  （１９９７）
Ｓ．Ｂ．  Ｋｉｎｇ，  Ｍ．  Ｕｙｔｔｅｎｄａｅｌｅ，  Ｓ．  Ｗｉｎｄｅｒ，  Ｒ．  Ｓｚｅｌｉｓｋｉ：  “Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｖｉｄｅｏ”．  ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｇｒａｐｈｉｃｓ  （ＴＯＧ），  ２２，  ３  （Ｊｕｌｙ  ２００３）
対応点探索部１３２は、アレイカメラ３１により撮像された複数の画像のずれ量（視差）を算出する。具体的には、対応点探索部１３２は、アレイカメラ３１により撮像された画像のいずれかを基準画像とし、他の画像のいずれかを参照画像として対応点探索を行い、視差（ずれ画素数）を求める。対応点探索部１３２は、基準画像上に、対応点を探索したい所定の画素位置を中心に所定の大きさを持つウィンドウ（テンプレートＴ）を設定する。同様に、対応点探索部１３２は、参照画像上にも同じ大きさを持つウィンドウＷを、エピポールライン上に複数設定する。そして、対応点探索部１３２は、基準画像上におけるテンプレートＴに対する、参照画像上における各ウィンドウＷの一致度（相関度）を所定の手法で求め（テンプレートマッチング）、最も一致度の高いウィンドウＷにおける中心位置の画素を対応点として求める。対応点探索部１３２は、テンプレートＴの中心位置の画素と、対応点との差をずれ量として算出する。一致度を求める前記所定の手法には、公知の常套手段、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）法（絶対誤差法）、ＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）等が用いられる。
【００５９】
距離算出部１３３は、対応点探索部１３２が求めた視差を用いて、被写体までの距離を算出する。距離の算出について、図１４を用いて説明する。予め定める間隔（基線長）だけ離間して設けられた一対の個眼カメラによって被写体の各画像が得られ、これら各画像に対し対応点探索がピクセル単位で実行され、これら各画像から前記離間方向における前記一対のカメラ間の視差がピクセル単位で求められる。そして、この求められた視差に基づいて被写体までの距離がいわゆる三角測量の原理に基づいて求められる。より具体的には、図１４において、少なくとも焦点距離（ｆ）、撮像面（個眼撮像部３１２１）の画素数、１画素の大きさ（μ）が相互に等しい２台の第１および第２カメラが、所定の基線長（Ｂ）だけ左右に離間させて光軸ＡＸ−１、ＡＸ−２を平行に配置される。これら第１および第２カメラで物体（被写体）Ｏｂが撮影された場合に、撮像面ＩＰ−１、ＩＰ−２上の視差（ずれ画素数）がｄ（＝ｄ１＋ｄ２）であるとすると、前記物体（被写体）Ｏｂまでの距離（Ｚ）は、斜線を施して示す三角形が相似であることから、
Ｚ：ｆ＝Ｂ：（ｄ×μ）
の関係があり、
Ｚ＝（Ｂ×ｆ）／（ｄ×μ）
で求めることができる。
【００６０】
距離算出部１３３は、被写体までの距離を算出する際の視差を算出するために用いる２つの画像（画像ペア）を選択し、選択した画像ペアを対応点探索部１３２に渡して、視差を求めさせる。いずれの画像ペアを用いて視差を算出させるかは、ユーザによって設定された撮像モードによって異なる。いずれの画像ペアを用いるかは、＜撮像モード＞の項で、説明する。
【００６１】
距離算出部１３３は、複数の画像ペアから複数の視差を求めさせた場合には、算出された距離に基づいて、被写体までの距離を決定する。例えば、それぞれの距離の平均を測定対象物までの距離とする、または、信頼性の高い方の距離を採用するなどである。
【００６２】
＜撮像モード＞
以下、撮像装置Ｄが備える撮像モードについて説明する。撮像装置Ｄは、大きく３つの撮像モードを備える。１つ目のモードは、「通常ＨＤＲモード」であり、２つ目のモードは、「スーパーＨＤＲモード」であり、３つ目のモードは、「高画質ＨＤＲモード」である。そして、「スーパーＨＤＲモード」と「高画質ＨＤＲモード」は、それぞれ「静体撮影モード」を有する。従って、撮像装置Ｄは、５つの撮像モードを備えることになる。
【００６３】
＜通常ＨＤＲモード＞
以下、図７、８を用いて、通常ＨＤＲモード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。
【００６４】
通常ＨＤＲモードは、撮像装置Ｄが備える３つの撮像モードの中では、最も高精度の測距を行い、最もダイナミックレンジの狭いＨＤＲ画像を作成するモードである。従って、このモードは、ダイナミックレンジの幅よりも、距離の精度を重視される場合に、設定される撮像モードといえる。
【００６５】
図７は、個眼カメラの感度調整、及び、画像ペアを説明するための光学フィルタ部３２の図である。図８は、アレイカメラ３１が出力する画像の相対輝度の範囲を説明するための図である。
【００６６】
感度調整部１２は、図６のグループＡ及びグループＢを、同じ感度に調整する。つまり、感度調整部１２は、アレイ撮像部３１２を構成する全ての個眼撮像部３１２１の撮像素子の、受光時間を同じ時間にする。図８の信頼度グラフは、グラフＧ３は、光学濃度（３）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧ２は、光学濃度（２）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧ１は、光学濃度（１）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示す。光学濃度（１）、（２）、（３）の各ＮＤフィルタは、グラフＧ１、Ｇ２、Ｇ３のそれぞれの裾部分の一部が、光学濃度の値が次に低い（減衰率が低い）ＮＤフィルタのグラフと重なるように、それぞれの光学濃度が設定される。実施形態では、光学濃度（３）は、光学濃度「０．０」であり、光学濃度（２）は光学濃度「１．４」であり、光学濃度（１）は、光学濃度「２．８」である。従って、ＮＤフィルタの光学濃度が「１．４」異なれば、個眼カメラが出力する画像の相対輝度の範囲は「１０１．４」異なることになるので、アレイカメラ３１が出力する複数画像全体の相対輝度の範囲は、おおむね１０４．５となる（両端矢印８１参照）。
【００６７】
距離算出部１３３は、測距のための視差を算出する画像ペアを、同じ光学濃度のＮＤフィルタ３２１が設けられた個眼カメラで撮像された画像同士を、ペアとして選択する。つまり、距離算出部１３３は、４つの画像から、画像ペアを選択する。図７では、例えば、画像ペア７１、画像ペア７２、画像ペア７３の３つの画像ペアを選択する。この場合、この３つの画像ペアに共通する画像、つまり、３行３列のＮＤフィルタ３２１が設けられた個眼カメラ３３で撮像された画像を、基準画像として対応点探索を行う。このような３つの画像ペアは、ペアとなる個眼カメラ間の基線長がそれぞれ異なり、また、基線長の向きがそれぞれ異なる。このような画像ペアを用いた対応点探索は、被写体を映した画像に、所定の画像が一定の間隔で繰り返し現れる模様、例えば、縞模様が含まれる場合であっても、高精度で視差を算出できる可能性が高い。また、オクルージョンが生じている場合であっても、画像ペアの数が多ければ、高精度で視差を算出できる可能性が高くなる。従って、通常ＨＤＲモードでは、同じ光学濃度のＮＤフィルタ３２１が設けられた個眼カメラで撮像された画像の数が多いので、画像ペアの選択の幅が広く、距離算出部１３３は、適切な画像ペアを選択することが可能であるので、測距精度が高くなることになる。
【００６８】
尚、更に、１行１列のＮＤフィルタ３２１が設けられた個眼カメラ１１、及び、３行４列のＮＤフィルタ３２１が設けられた個眼カメラ３４の画像を画像ペアとして選択してもよい。
【００６９】
ＨＤＲ画像生成部１３１は、上述したように、距離算出部１３が選択する画像ペアのうち、画像間のずれ量を算出するのに必要な画像ペアを選択する。
【００７０】
＜スーパーＨＤＲモード＞
以下、図９〜１１を用いて、スーパーＨＤＲモード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。
【００７１】
スーパーＨＤＲモードは、比較的広い相対輝度範囲の画像を取得でき、比較的高精度の測距を行うモードである。従って、このモードは、ダイナミックレンジの幅も、距離の精度も、双方ともある程度重視される場合に、設定される撮像モードといえる。
【００７２】
図９は、個眼カメラの感度調整、及び、画像ペアを説明するための光学フィルタ部３２の図である。図１０は、アレイカメラ３１の相対輝度範囲を説明するための図である。
【００７３】
感度調整部１２は、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度を異ならせる。例えば、グループＡの受光時間を、グループＢの受光時間より長くなるように調整する。つまり、アレイ撮像部３１２を構成する個眼撮像部３１２１のうち、グループＡに属する個眼撮像部３１２１の撮像素子の受光時間を、グループＢに属する個眼撮像部３１２１の撮像素子の受光時間よりも、長くする。この受光時間を長くする時間は、図１０に示すように、各個眼カメラが出力する画像の相対輝度の範囲が一部重なるような時間である。図１０の信頼度グラフは、グラフＧＡ３は、グループＡの光学濃度（３）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＡ２は、グループＡの光学濃度（２）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＡ１は、グループＡの光学濃度（１）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示す。また、グラフＧＢ３は、グループＢの光学濃度（３）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＢ２は、グループＢの光学濃度（２）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示し、グラフＧＢ１は、グループＢの光学濃度（１）のＮＤフィルタ３２１が設けられた個眼カメラが出力する画像の相対輝度の範囲を示す。図１０に示すように、アレイカメラ３１の相対輝度範囲は、おおむね１０９となる（両端矢印１０１参照）。図１０に示すように、撮像装置Ｄは、グループＡの受光時間とグループＢの受光時間とを異ならせることで、アレイカメラ３１の相対輝度範囲を広くすることが可能となる。
【００７４】
尚、図１０に示すように各個眼カメラが出力する画像の相対輝度の範囲の一部が重なるようになる受光時間は、予め求め、定めておくものとする。
【００７５】
距離算出部１３３は、図９に示すように、画像ペア９１、又は、画像ペア９２を選択する。同じ光学濃度のＮＤフィルタ３２１が設けられた個眼カメラで撮像された画像は、図９に示すように、グループＡ、Ｂそれぞれに、２つ含まれる。例えば、グループＢにおいては、光学濃度（１）のＮＤフィルタ３２１による画像ペアは、画像ペア９１であり、光学濃度（２）のＮＤフィルタ３２１による画像ペアは、画像ペア９２である。つまり、同じ相対輝度範囲の画像のペアは１つであるので、対応点探索による視差の算出精度は、高くない場合が生じ得る。
【００７６】
そこで、図１１に示すように、グラフＧＡ１とグラフＧＢ３とが重なるように、感度調整部１２が、グループＡ、及び、グループＢの受光時間を調整してもよい。この場合、グループＡの光学濃度（１）のＮＤフィルタ３２１が設けられた２つの個眼カメラによる２つの画像と、グループＢの光学濃度（３）のＮＤフィルタ３２１が設けられた２つの個眼カメラによる２つの画像との、計４つの画像を用いて、距離算出部１３３は、対応点探索を行うことが可能となる。つまり、距離算出部１３３は、高精度で求めた視差を取得することができる。図１０で示すアレイカメラ３１の相対輝度範囲が、所望する相対輝度範囲より広い場合には、図１１に示すように、撮像装置Ｄは、一部の個眼カメラの感度範囲が重なるように、感度調整部１２に個眼カメラの感度を調整させることで、高精度の測距を行うことが可能となる。
【００７７】
ＨＤＲ画像生成部１３１は、距離算出部１３が選択する画像ペアのうち、画像間のずれ量を算出するのに必要な画像ペアを選択する。
【００７８】
＜スーパーＨＤＲモード：静体撮像モード＞
被写体が、静体である場合には、複数回撮像したとしても、撮像した画像内で被写体が変化することはない。従って、撮像装置Ｄは、スーパーＨＤＲモードで撮像し、更に、もう一度、通常ＨＤＲモードで撮像する。つまり、図９で示したように、撮像装置Ｄは、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度とを異ならせて、被写体を撮像し、次に、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度とを同じにして、同一被写体を撮像する。
【００７９】
このように２回撮像することで、撮像装置Ｄは、図１０に示すような広い相対輝度範囲のアレイカメラ３１で撮像された画像により、ＨＤＲ画像を作成でき、同時に、図７に示すような画像ペアにより、高精度の測距を行うことが可能となる。
【００８０】
＜高画質ＨＤＲモード＞
以下、図１２、１３を用いて、高画質ＨＤＲモード時の、感度調整部１２の感度調整、及び、距離算出部１３３が選択する画像ペアについて説明する。
【００８１】
高画質ＨＤＲモードは、最も画質がよい、つまり、Ｓ／Ｎ比が高いＨＤＲ画像を作成するモードであり、高精度の測距を行うモードである。従って、このモードは、ＨＤＲ画像の画質と、測距精度が重視される場合に、設定される撮像モードといえる。
【００８２】
図１２は、個眼カメラの感度調整、及び、画像ペアを説明するための光学フィルタ部３２の図である。図１３は、アレイカメラ３１の相対輝度範囲を説明するための図である。
【００８３】
感度調整部１２は、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度を異ならせる。例えば、感度調整部１２は、グループＡの受光時間を、グループＢの受光時間より長くなるように調整する。この受光時間を長くする時間は、図１３に示すように、各個眼カメラが出力する画像の相対輝度の範囲が重なるような時間である。図４を用いて説明したように、撮像素子の感度範囲（相対輝度１０−２〜１０１）内において、撮像素子の出力値の信頼度は、暗くなるに従って信頼度が低くなる（図４の矢印４１参照）。従って、アレイカメラ３１の相対輝度範囲において、信頼度が低くなる箇所が無いように、つまり、個眼カメラが出力する画像の相対輝度の範囲の信頼度が低い部分が、他の個眼カメラの信頼度の高い相対輝度の範囲と重なるように、感度調整部１２は、グループＡ及びグループＢの受光時間を調整する。
【００８４】
尚、図１３に示すように、個眼カメラが出力する画像の相対輝度の範囲が、他の個眼カメラが出力する画像の相対輝度の範囲の信頼度が低い部分を補うことになる受光時間は、予め求め、定めておくものとする。
【００８５】
図１３では、グラフＧＢ１の信頼度が低い部分は、グラフＧＡ１の信頼度が高い部分により補われ、グラフＧＢ２の信頼度が低い部分は、グラフＧＡ２の信頼度が高い部分により補われ、グラフＧＢ３の信頼度が低い部分は、グラフＧＡ３の信頼度が高い部分により補われている。アレイカメラ３１の相対輝度範囲は、おおむね１０４となる（両端矢印１３１参照）。アレイカメラ３１の相対輝度範囲は、スーパーＨＤＲモードに比べて狭くなるが、画質は、スーパーＨＤＲモードに比べて向上する。
【００８６】
距離算出部１３３は、図１２に示すように、画像ペア１２１、画像ペア１２２、及び、画像ペア１２３の、３つのペアを選択する。つまり、図１３に示すように、グループＡの個眼カメラが出力する画像の相対輝度の範囲とグループＢの個眼カメラが出力する画像の相対輝度の範囲は、重なっている部分がある。従って、距離算出部１３３は、グループＡ及びグループＢの個眼カメラによる画像から、画像ペアを選択することが可能となる。つまり、距離算出部１３３は、４つの画像から、画像ペアを選択することが可能となる。従って、距離算出部１３３は、通常ＨＤＲモードと同様に、高精度で視差を算出できる可能性が高くなる。尚、視差を算出するために、グループＡの個眼カメラによる画像と、グループＢの個眼カメラによる画像とを用いて対応点探索を行う際には、いずれか一方のデータに感度補正を行い、感度補正後のデータを用いて対応点探索を行う。
【００８７】
ＨＤＲ画像生成部１３１は、距離算出部１３が選択する画像ペアのうち、画像間のずれ量を算出するのに必要な画像ペアを選択する。
【００８８】
＜高画質ＨＤＲモード：静体撮像モード＞
被写体が、静体である場合には、複数回撮像したとしても、撮像した画像内で被写体が変化することはない。従って、撮像装置Ｄは、高品質ＨＤＲモードで撮像し、更に、もう一度、通常ＨＤＲモードで撮像する。つまり、撮像装置Ｄは、図１２で示したように、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度とを異ならせて、被写体を撮像し、次に、グループＡの個眼カメラの感度と、グループＢの個眼カメラの感度とを同じにして、同一被写体を撮像する。
【００８９】
このように２回撮像することで、撮像装置Ｄは、図１３に示すような感度範囲のアレイカメラ３１で撮像された画像を用いて高画質のＨＤＲ画像を作成でき、同時に、図７に示すような画像ペアにより、高精度の測距を行うことが可能となる。
【００９０】
＜動作＞
次に、本実施形態における撮像装置Ｄの動作について、図１７を用いて説明する。図１７は、撮像装置Ｄの撮像処理のフローチャートである。尚、図１７のフローチャートにおいて、ステップ番号が同じ処理は、その処理内容が同じであるとする。
【００９１】
ユーザは、入力部４を操作して、撮像モードを設定する。ユーザにより設定された撮像モードを、制御処理部１を介して受け付けた制御部１１は、設定された撮像モードが「通常ＨＤＲモード」である場合には（ステップＳ１１：Ｙｅｓ）、感度調整部１２にグループＡ及びグループＢの感度を同じにするよう指示する。指示を受けた感度調整部１２は、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、すべて同じ時間を設定する（ステップＳ１３）。
【００９２】
ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ１３）。
【００９３】
そして、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、各画像間のずれを算出することが可能な画像ペアを選択し、選択した画像ペアを対応点探索部１３２に渡して、視差（ずれ量）の算出を依頼する。依頼を受けた対応点探索部１３２は、ペアの画像を用いて対応点探索を行い、視差を求め、ＨＤＲ画像生成部１３１に渡す。
【００９４】
対応点探索部１３２から、画像間のずれ量を受け取ったＨＤＲ画像生成部１３１は、記憶部２から読み出した画像を、ずれ量だけずらして合成し、１枚のＨＤＲ画像を生成する（ステップＳ１４）。
【００９５】
また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、上述したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差の算出を依頼する。依頼を受けた対応点探索部１３２は、ペアの画像を用いて対応点探索を行い、視差を求め、距離算出部１３３に渡す。
【００９６】
対応点探索部１３２から視差を受け取った距離算出部１３３は、図１４を用いて説明したように、被写体までの距離を算出する（ステップＳ１５）。
【００９７】
制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。
【００９８】
ステップＳ１１において、設定された撮像モードが「通常ＨＤＲモード」ではなく（ステップＳ１１：Ｎｏ）、設定された撮像モードが「スーパーＨＤＲモード」であり（ステップＳ２１：Ｙｅｓ）、「静体撮像モード」ではない場合には（ステップＳ２２：Ｎｏ）、制御部１１は、＜スーパーＨＤＲモード＞の項で説明したように、感度調整部１２にグループＡの感度とグループＢの感度とを、それぞれスーパーＨＤＲモード用に予め定められた感度にするよう指示する。指示を受けた感度調整部１２は、スーパーＨＤＲモード用に予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、グループごとに設定する（ステップＳ２３）。
【００９９】
ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ２４）。
【０１００】
そして、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、画像ペアを選択し、選択した画像ペアを対応点探索部１３２に渡して視差（ずれ量）を算出させ、算出されたずれ量を用いて、１枚のＨＤＲ画像を生成する（ステップＳ２５）。
【０１０１】
また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、＜スーパーＨＤＲモード＞の項で説明したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差を算出させ、算出された視差を用いて、被写体までの距離を算出する（ステップＳ２６）。
【０１０２】
制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。
【０１０３】
ステップＳ２２において、「静体撮像モード」ではある場合には（ステップＳ２２：Ｙｅｓ）、制御部１１は、ステップＳ２３からステップＳ２５までの処理、つまり、スーパーＨＤＲモードでの撮像を行い、ＨＤＲ画像を作成する。
【０１０４】
そして、制御部１１は、次に、ステップＳ１２、Ｓ１３、Ｓ１５の処理、つまり、通常ＨＤＲモードでの撮像を行い、被写体までの距離を算出する。
【０１０５】
制御部１１は、作成されたＨＤＲ画像、及び、算出された被写体までの距離を出力部５に出力する。
【０１０６】
ステップＳ２１において、設定された撮像モードが「高画質ＨＤＲモード」であり（ステップＳ２１：Ｎｏ）、「静体撮像モード」ではない場合には（ステップＳ４１：Ｎｏ）、制御部１１は、＜高画質ＨＤＲモード＞の項で説明したように、感度調整部１２にグループＡの感度とグループＢの感度とを、それぞれ高画質ＨＤＲモード用に予め定められた感度にするよう指示する。指示を受けた感度調整部１２は、高画質ＨＤＲモード用に予め定められている受光時間を、画像取得部３のアレイカメラ３１の個眼撮像部３１２１の受光時間として、グループごとに設定する（ステップＳ４２）。
【０１０７】
ユーザが入力部４を操作して、撮像を指示するコマンドを入力すると、制御処理部１を介して撮像指示を受け付けた制御部１１は、画像取得部３から、感度調整部１２が設定した感度で撮像された複数の画像を取得し、記憶部２に記憶させる（ステップＳ４３）。
【０１０８】
そして、制御部１１は、ＨＤＲ画像生成部１３１に、ＨＤＲ画像の作成を指示する。指示を受けたＨＤＲ画像生成部１３１は、記憶部２から画像を読み出し、対応点探索部１３２に渡して視差（ずれ量）を算出させ、算出されたずれ量を用いて、１枚のＨＤＲ画像を生成する（ステップＳ４４）。
【０１０９】
また、制御部１１は、距離算出部１３３に、被写体までの距離の算出を指示する。指示を受けた距離算出部１３３は、＜高画質ＨＤＲモード＞の項で説明したような画像ペアを記憶部２から読み出し、読み出した画像ペアを対応点探索部１３２に渡し、視差を算出させ、算出された視差を用いて、被写体までの距離を算出する（ステップＳ４５）。
【０１１０】
制御部１１は、ＨＤＲ画像生成部１３１が作成したＨＤＲ画像、及び、距離算出部１３３が算出した被写体までの距離を出力部５に出力する。
【０１１１】
ステップＳ４１において、「静体撮像モード」ではある場合には（ステップＳ４１：Ｙｅｓ）、制御部１１は、ステップＳ４２からステップＳ４４までの処理、つまり、高画質ＨＤＲモードでの撮像を行い、ＨＤＲ画像を作成する。
【０１１２】
そして、制御部１１は、次に、ステップＳ１２、Ｓ１３、Ｓ１５の処理、つまり、通常ＨＤＲモードでの撮像を行い、被写体までの距離を算出する。
【０１１３】
制御部１１は、作成されたＨＤＲ画像、及び、算出された被写体までの距離を出力部５に出力する。
【０１１４】
このように、撮像装置Ｄでは、画像のダイナミックレンジ、及び、測距精度の選択を、ユーザが容易に行うことが可能となっている。
【０１１５】
尚、実施形態では、撮像モードをユーザが入力することとしているが、所望するダイナミックレンジを入力することとしてもよい。この場合は、撮像装置Ｄは、入力されたダイナミックレンジに応じて、適切な撮像モードを設定する。
【０１１６】
また、実施形態では、撮像モードごとにダイナミックレンジの幅を予め定めておくこととしているが、任意のダイナミックレンジの幅をユーザが入力してもよい。例えば、図１１のグループＡの個眼カメラが出力する画像の相対輝度の範囲と、グループＢの個眼カメラが出力する画像の相対輝度の範囲との重なり幅を変更することで、アレイカメラ３１の相対輝度範囲を任意の幅に変更することができるからである。この調整は、グループＡの受光時間とグループＢの受光時間とを調整することで、容易に実現が可能である。
【０１１７】
また、撮像装置Ｄが、被写体を動画として撮像しながら必要なダイナミックレンジ（相対輝度範囲）を算出し、グループＡ及びグループＢのそれぞれの感度を自動的に設定してもよい。例えば、撮像した画像内に暗い領域が、画像全体の一定割合以上ある場合には、スーパーＨＤＲモードが設定され、暗い領域の割合が前記一定割合を下回る場合は、標準ＨＤＲモードが設定されるなどである。また、時系列の画像に変化がなく被写体が静体であると判断される場合には、スーパーＨＤＲモードの静体撮像モードが設定されるなどである。
【０１１８】
更に、ユーザが、出力部５に表示される自動設定後の撮像画像を見ながら、ダイナミックレンジの調整を行えることとしてもよい。また、撮像装置Ｄは、最初にスーパーＨＤＲモードで被写体を撮像して撮像画像を表示し、その後、ユーザによるスライドスイッチ等の操作に応じて、ダイナミックレンジを変更させ、適切なモードに設定させることとしてもよい。
【０１１９】
また、撮像装置Ｄは、まず、複数の撮像モードで被写体を撮像し、異なる撮像モードで撮像した複数の撮像画像を出力部５に表示し、ユーザに所望するような画像を選択させて、選択された画像の撮像モードを設定することとしてもよい。また、撮像装置Ｄは、撮像モードで撮像した複数の撮像画像を通信可能に接続されたパソコン等にさせて、ユーザに、所望するような画像を選択させてもよい。
【０１２０】
また、実施形態では、撮像装置Ｄは、ハイダイナミックレンジ画像を作成することとしているが、アレイカメラ３１から得られた複数の画像を用いて、超解像画像を作成してもよく、更に、超解像画像を用いた測距を行ってもよい。
【０１２１】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【符号の説明】
【０１２２】
Ｄ  測距装置
１２  感度調整部
１３  演算部
１３１  ＨＤＲ画像生成部
１３２  対応点探索部
１３３  距離算出部
３  画像取得部
３１  アレイカメラ
３１１  アレイレンズ部
３１２  アレイ撮像部
３２  光学フィルタ部
３２１  ＮＤフィルタ
【図１】
2015207861.tif 000003
【図２】
2015207861.tif 000004
【図４】
2015207861.tif 000005
【図５】
2015207861.tif 000006
【図６】
2015207861.tif 000007
【図７】
2015207861.tif 000008
【図８】
2015207861.tif 000009
【図９】
2015207861.tif 000010
【図１０】
2015207861.tif 000011
【図１１】
2015207861.tif 000012
【図１２】
2015207861.tif 000013
【図１３】
2015207861.tif 000014
【図１４】
2015207861.tif 000015
【図１７】
2015207861.tif 000016
【図３】
2015207861.tif 000017
【図１５】
2015207861.tif 000018
【図１６】
2015207861.tif 000019