(57)【要約】【課題】複眼カメラを用いて高精細なハイダイナミックレンジ画像を生成する。【解決手段】アレイカメラ部４１１は、アレイ状に配列された複数のカメラを備える。視差検出部４２０は、視差を検出するための露光条件で各カメラにより撮像された画像を用いて被写体の視差を算出する。画像合成部４３０は、ハイダイナミックレンジ画像を得るための露光時間で各カメラにより撮像された画像を、視差検出部４２０により算出された視差だけずらして合成し、１枚のハイダイナミックレンジ画像を生成する。【選択図】図４
2015177258.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラが一体的に構成されたアレイカメラ部と、
各カメラの露光条件を個別に設定可能な露光制御部と、
前記露光制御部により各カメラがハイダイナミックレンジ画像を得るための露光条件に設定され、前記各カメラにより撮像された画像を、一枚の画像に合成する画像合成部とを備える画像入力装置。
【請求項２】
前記露光制御部により各カメラが視差を検出するための露光条件に設定され、前記各カメラにより撮像された画像を用いて被写体の視差を検出する視差検出部を更に備え、
前記画像合成部は、前記検出された視差を用いて前記被写体を位置合わせして、前記各カメラにより撮像された画像を、一枚の画像に合成する請求項１に記載の画像入力装置。
【請求項３】
複数のレンズが各カメラに対向して一体的に配列されたアレイレンズを更に備える請求項１又は２に記載の画像入力装置。
【請求項４】
前記アレイカメラは、前記複数のカメラに対応する複数の受光部が同一基板上に一体的に構成されている請求項１〜３のいずれか１項に記載の画像入力装置。
【請求項５】
前記露光制御部は、各カメラの露光時間を独立して設定する請求項１〜４のいずれか一項に記載の画像入力装置。
【請求項６】
前記露光制御部は、前記ハイダイナミックレンジ画像を得るために、前記各カメラの露光条件を異なる露光条件に設定する請求項１〜５のいずれか一項に記載の画像入力装置。
【請求項７】
前記露光制御部は、前記視差を検出するために、前記各カメラの露光時間が同一になるように前記各カメラの露光条件を設定する請求項２に記載の画像入力装置。
【請求項８】
前記視差検出部は、対応点探索手法を用いて前記視差を検出し、
前記視差検出部による対応点の探索結果を用いて、前記視差を検出するために設定された露光条件の信頼度を推定する信頼度推定部を更に備え、
前記露光制御部は、前記信頼度が規定値を超えるまで、前記露光条件を変えて前記各カメラに撮像させ、
前記視差検出部は、前記信頼度が規定値を超えた露光条件で撮像された画像を用いて、前記視差を検出する請求項２又は７に記載の画像入力装置。
【請求項９】
前記視差検出部は、対応点探索手法を用いて前記視差を検出し、
前記露光制御部は、前記視差を検出するために、複数の露光条件を切り替えて前記各カメラに被写体を複数回撮像させ、
前記視差検出部による対応点の探索結果を用いて、前記視差を検出するために設定された露光条件の信頼度を推定する信頼度推定部を更に備え、
前記視差検出部は、前記信頼度が最大となる露光条件で撮像された画像を用いて前記視差を検出する請求項２又は７に記載の画像入力装置。
【請求項１０】
前記各カメラにより撮像された画像から各カメラの露出評価値を算出する露出評価値算出部を更に備え、
前記露光制御部は、前記信頼度が規定値以下の場合、前記各カメラで撮像された画像の露出評価値を前記露出評価値算出部に算出させ、前記算出された露出評価値が所定の適正範囲から一定の値以上離れている画像を撮像したカメラについては、前記露光条件を最適露光条件に変更する請求項８記載の画像入力装置。
【請求項１１】
前記画像合成部は、前記カメラが撮像した画像から所定数の被写体を特定し、特定した被写体が位置合わせされるように各カメラが撮像した画像を合成する請求項１〜１０のいずれか一項に記載の画像入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハイダイナミックレンジ画像を生成する画像入力装置に関するものである。
【背景技術】
【０００２】
監視用途、工業用途、車載用途などで使用されるカメラにおいては、低照度から高輝度の被写体まで識別できる広い諧調特性（高ダイナミックレンジ）が求められている。これを実現するための一つの手段として複眼カメラがある。
【０００３】
例えば、特許文献１は、複眼カメラを構成する各個眼カメラに透過率の異なる光学フィルタを搭載し、各個眼カメラに撮像条件の異なる画像を同時に撮像させ、得られた画像を合成してハイダイナミックレンジ画像を得る技術を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２８１３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、複眼カメラにおいては、各個眼カメラは空間的にずれて配置されているため、各個眼カメラが撮像した画像における被写体の位置は、その距離に応じてずれて撮影されている。よって、各個眼カメラで得られた画像をそのまま合成すると、このずれにより高精細なハイダイナミックレンジ画像が得られないという課題がある。
【０００６】
しかしながら、特許文献１に記載の複眼カメラでは、個眼カメラで得られた画像のずれが全く考慮されていない。
【０００７】
ここで、対応点探索により画像同士の視差を求め、画像同士のずれを修正することも考えられる。しかしながら、特許文献１において、個眼カメラから得られた画像から被写体の視差を求めようとすると、個眼カメラで撮像された画像は、それぞれ、透過率の異なる色フィルタを用いて異なる露光条件で撮像された画像であるため、正確な視差を求めることができない。
【０００８】
つまり、視差を求めるためには、画像間で同じ被写体の同じ部分（対応点）を求める必要があるが、露光条件が異なると、被写体の明るさが異なるため、対応点を探索することが難しい。特に被写体が飽和している、或いは黒くつぶれて撮像されている場合、対応点を見つけることは不可能である。
【０００９】
本発明の目的は、複眼カメラを用いて高精細なハイダイナミックレンジ画像を生成する画像入力装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一態様による画像入力装置は、複数のカメラが一体的に構成されたアレイカメラ部と、各カメラの露光条件を個別に設定可能な露光制御部と、前記露光制御部により各カメラがハイダイナミックレンジ画像を得るための露光条件に設定され、前記各カメラにより撮像された画像を、一枚の画像に合成する画像合成部とを備える。
【００１１】
この場合、各カメラの露光条件がハイダイナミックレンジ画像を得るための露光条件に設定されて、被写体が撮像されるそのため、高精細なハイダイナミックレンジ画像が得られる。
【００１２】
また、上記態様において、前記露光制御部により各カメラが視差を検出するための露光条件に設定され、前記各カメラにより撮像された画像を用いて被写体の視差を検出する視差検出部を更に備え、前記画像合成部は、前記検出された視差を用いて前記被写体を位置合わせして、前記各カメラにより撮像された画像を、一枚の画像に合成してもよい。
【００１３】
この場合、各カメラの露光条件が視差を検出するための露光条件に設定されて、被写体が撮像され、各カメラで撮像された画像から被写体の視差が検出される。そして、各カメラで撮像された画像は、被写体が位置合わせされて合成される。そのため、高精細なハイダイナミックレンジ画像が得られる。
【００１４】
また、上記態様において、複数のレンズが各カメラに対向して一体的に配列されたアレイレンズを更に備えてもよい。
【００１５】
この場合、レンズが一体的に配列されたアレイレンズが用いられているため、撮像部を作成する際に、レンズをカメラに正確に位置合わせする作業が容易になる。
【００１６】
また、上記態様において、前記アレイカメラは、前記複数のカメラに対応する複数の受光部が同一基板上に一体的に構成されていてもよい。
【００１７】
この場合、１つの基板からなる撮像素子を用いてアレイカメラを構成でき、低コストでアレイカメラを作成できる。
【００１８】
また、上記態様において、前記露光制御部は、各カメラの露光時間を独立して設定してもよい。
【００１９】
この場合、各カメラの露光時間を変えることで、各カメラの露光条件が変更できる。
【００２０】
また、上記態様において、前記露光制御部は、前記ハイダイナミックレンジ画像を得るために、前記各カメラの露光条件を異なる露光条件に設定してもよい。
【００２１】
この場合、異なる露光条件が設定されたカメラで撮像された画像を合成することで、ハイダイナミックレンジ画像が得られる。
【００２２】
また、上記態様において、前記露光制御部は、前記視差を検出するために、前記各カメラの露光時間が同一になるように前記各カメラの露光条件を設定してもよい。
【００２３】
この場合、露光時間が同一に設定された複数のカメラで撮像された画像を用いて視差が検出されるため、視差を正確に検出できる。
【００２４】
また、上記態様において、前記視差検出部は、対応点探索手法を用いて前記視差を検出し、前記視差検出部による対応点の探索結果を用いて、前記視差を検出するために設定された露光条件の信頼度を推定する信頼度推定部を更に備え、前記露光制御部は、前記信頼度が規定値を超えるまで、前記露光条件を変えて前記各カメラに撮像させ、前記視差検出部は、前記信頼度が規定値を超えた露光条件で撮像された画像を用いて、前記視差を検出してもよい。
【００２５】
この場合、信頼度が規定値を超える露光条件で撮像された画像を用いて視差が検出されるため、視差を精度よく検知できる。
【００２６】
また、上記態様において、前記視差検出部は、対応点探索手法を用いて前記視差を検出し、前記露光制御部は、前記視差を検出するために、複数の露光条件を切り替えて前記各カメラに被写体を複数回撮像させ、前記視差検出部による対応点の探索結果を用いて、前記視差を検出するために設定された露光条件の信頼度を推定する信頼度推定部を更に備え、前記視差検出部は、前記信頼度が最大となる露光条件で撮像された画像を用いて前記視差を検出してもよい。
【００２７】
この場合、予め定められた複数の露光条件で被写体を撮像させ、信頼度が最大の露光条件で撮像された画像を用いて視差が検出されるため、視差を精度良く検出できる。
【００２８】
また、前記各カメラにより撮像された画像から各カメラの露出評価値を算出する露出評価値算出部を更に備え、前記露光制御部は、前記信頼度が規定値以下の場合、前記各カメラで撮像された画像の露出評価値を前記露出評価値算出部に算出させ、前記算出された露出評価値が所定の適正範囲から一定の値以上離れている画像を撮像したカメラについては、前記露光条件を最適露光条件に変更してもよい。
【００２９】
この場合、被写体をうまく撮像できなかったカメラについては露光条件が最適露光条件に設定されて、再度、各カメラで被写体が撮像されるため、視差を精度良く検知できる。
【００３０】
また、上記態様において、前記画像合成部は、前記各カメラが撮像した画像から所定数の被写体を特定し、特定した被写体が位置合わせされるように各カメラが撮像した画像を合成すればよい。
【００３１】
この場合、所定数の主要な被写体が位置合わせされるため、被写体がぼけることを防止できる。
【発明の効果】
【００３２】
本発明によれば、高精細なハイダイナミックレンジ画像が得られる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施の形態による画像入力装置を構成するアレイレンズ及び撮像部の構成の一例を示した図である。
【図２】本発明の一実施の形態による画像入力装置を構成するアレイレンズ及び撮像部の構成の他の一例を示した図である。
【図３】本発明の一実施の形態による画像入力装置を構成するアレイレンズ及び撮像部の構成の他の一例を示した図である。
【図４】本発明の一実施の形態による画像入力装置の構成の一例を示すブロック図である。
【図５】図２に示す撮像部が採用されたときの撮像部の構成の一例を示すブロック図である。
【図６】図１に示す撮像部が採用されたときの撮像部の構成の一例を示すブロック図である。
【図７】図２の撮像部が採用された場合において、アレイカメラ部における受光ブロックの分布を示した図である。
【図８】図３の撮像部が採用された場合において、アレイカメラ部に形成される受光ブロックの他の例を示す図である。
【図９】図３に示す撮像部を採用した場合の撮像素子の構成の一例を示すブロック図である。
【図１０】図９に示す撮像素子の読み出しシーケンスの一例を示すシーケンス図である。
【図１１】本実施の形態の画像入力装置による処理の一例を示すフローチャートである。
【図１２】第１パターンの視差検出処理の一例を示すフローチャートである。
【図１３】第２パターンの視差検出処理の一例を示すフローチャートである。
【図１４】視差を検出する際に撮像された画像の一例を示す図である。
【図１５】ハイダイナミックレンジ画像を得る際に撮像された画像の一例を示す図である。
【発明を実施するための形態】
【００３４】
図１は、本発明の一実施の形態による画像入力装置を構成するアレイレンズ１１及び撮像部１２の構成の一例を示した図である。撮像部１２は、撮像素子１２１及び撮像基板１２２を備える。撮像素子１２１は、撮像基板１２２上に、所定行×所定列でアレイ状に配列されている。図１の例では、撮像素子１２１は、４行×４列で配列されているが、これは、一例に過ぎず、撮像部１２において複数個含まれていればよい。
【００３５】
各撮像素子１２１は、それぞれ、１つの受光部１２１ａを備えている。受光部１２１ａには、１画素に対応する１つのフォトダイオードが所定行×所定列でアレイ状に配列されている。よって、図１の例では、受光部１２１ａとレンズ１１１とを組み合せた構成が１つのカメラに相当する。
【００３６】
撮像基板１２２は、例えばシリコン等の支持部材であり、撮像素子１２１を制御する制御回路等を含む。
【００３７】
アレイレンズ１１は、各撮像素子１２１に対応する所定行×所定列でアレイ状に配列されたレンズ基板１１２を備える。図１の例では、撮像素子１２１が４行×４列で配列されているため、レンズ基板１１２は、４行×４列で配列されている。但し、これは一例にすぎず、撮像素子１２１の個数に応じて複数のレンズ基板１１２が設けられる。レンズ基板１１２は、それぞれ、１つのレンズ部１１１を備える。つまり、図１の例では、アレイレンズ１１は、単体のレンズ基板１１２がアレイ状に配列されて構成されている。
【００３８】
図１の撮像部１２では、アレイレンズ１１の前方の被写体の光学像が、各レンズ部１１１を通じて各受光部１２１ａに個別に結像される。そして、各受光部１２１ａに個別に結像された光学像が１つのカメラで撮像された画像として読み出される。ここで、各受光部１２１ａに結像される光学像は、同じ被写体を撮像しているが、各レンズ部１１１が空間的にずれているため、光学像同士で被写体の結像位置にずれが発生する。
【００３９】
図２は、本発明の一実施の形態による画像入力装置を構成するアレイレンズ１１及び撮像部１２の構成の他の一例を示した図である。図２の例では、撮像基板１２２上には１つの撮像素子１２１が配置されている。撮像素子１２１は、所定行×所定列で複数の受光部１２１ｂがアレイ状に配列されている。受光部１２１ｂには、１画素に対応する１つのフォトダイオードが所定行×所定列でアレイ状に配列されている。つまり、図２では、１つの撮像素子１２１の表面を複数の領域に区画することで、複数の受光部１２１ｂが規定されている。よって、図２の例では、１つの受光部１２１ｂと１つのレンズ１１１とを組み合わせた構成が１つのカメラに相当する。
【００４０】
図２の例では、アレイレンズ１１は、各受光部１２１ｂに対応して複数のレンズ部１１１が所定行×所定列でアレイ状に配列された１つのレンズ基板１１２により構成されている。つまり、図２の例では、アレイレンズ１１は、複数のレンズ部１１１が一体的に構成されている。
【００４１】
図２の撮像部１２では、アレイレンズ１１の前方の被写体の光学像が、各レンズ部１１１を通じて各受光部１２１ｂに個別に結像される。そして、各受光部１２１ｂに個別に結像された光学像が１つのカメラで撮像された画像として読み出される。ここで、各受光部１２１ｂに結像される光学像は、同じ被写体を撮像しているが、各レンズ部１１１が空間的にずれているため、図１と同様、光学像同士で被写体の結像位置にずれが発生する。
【００４２】
図３は、本発明の一実施の形態による画像入力装置を構成するアレイレンズ１１及び撮像部１２の構成の他の一例を示した図である。図３において、アレイレンズ１１の構成は図２のものと同一であるが、撮像部１２の構成が図２と相違する。図３の例では、撮像基板１２２上に１つの撮像素子１２１が配置されている点は図２と同じである。但し、図３の撮像素子１２１は、１つの受光部１２１ｃを備えている点が図２と異なる。すなわち、図３の撮像部１２では、アレイレンズ１１の前方の被写体の光学像が、各レンズ部１１１を通じて１つの受光部１ｃに個別に結像される。そして、受光部１ｃに個別に結像された複数の光学像のそれぞれが１つのカメラで撮像された画像として読み出される。図３でも、各レンズ部１１１が空間的にずれているため、図１、図２と同様、光学像同士で被写体の結像位置にずれが発生する。  図４は、本発明の一実施の形態による画像入力装置の構成の一例を示すブロック図である。画像入力装置は、撮像部１２、視差検出部４２０、画像合成部４３０、露出評価値算出部４４０、信頼度推定部４５０、及び露光制御部４６０を備える。
【００４３】
撮像部１２は、アレイカメラ部４１１及び露光時間設定部４１２を備える。アレイカメラ部４１１は、アレイ状に配列された複数のカメラを備える。図１の撮像部１２が採用された場合、撮像基板１２２上に配置された複数の撮像素子１２１のそれぞれが備える１つの受光部１２１ａと１つのレンズ１１１とが、アレイカメラ部４１１の１つのカメラに相当する。図２の撮像部１２が採用された場合、撮像基板１２２上に配置された１つの撮像素子１２１に形成された１つの受光部１２１ｂとその受光部１２１ｂに対向する１つのレンズ１１とが、アレイカメラ部４１１の１つのカメラに相当する。図３の撮像部１２が採用された場合、１つのレンズ部１１１の光学像が結像される受光部１２１ｃ上の１つの領域とその領域に対向するレンズ１１１とが、アレイカメラ部４１１の１つのカメラに相当する。
【００４４】
露光時間設定部４１２は、例えば、撮像基板１２２に実装された回路モジュールにより構成され、露光制御部４６０から、各カメラに対する露光時間の設定に関する指示を受け付け、指示された露光時間（電荷の蓄積時間）で各カメラを露光し、電荷を蓄積させる。
【００４５】
視差検出部４２０は、視差を検出するための露光条件で各カメラにより撮像された画像を用いて被写体の視差を算出する。ここで、視差検出部４２０は、例えば、複数のカメラのうちの１つのカメラが撮像した画像を基準画像、１つ以外の残りのカメラが撮像した画像を参照画像とする。そして、視差検出部４２０は、基準画像の各点に対応する点を参照画像から探索し、得られた対応点を用いて被写体の視差を算出すればよい。ここで、対応点の探索手法としては、例えば、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）やＰＯＣ（Ｐｈａｓｅ−Ｏｎｌｙ  Ｃｏｒｒｅｌａｔｉｏｎ）などが採用できる。
【００４６】
参照画像が複数あったとすると、視差検出部４２０は、基準画像とそれぞれの参照画像に対して視差を算出すればよい。例えば、参照画像が３つあったとすると、視差検出部４２０は、１つの基準画像に対する対応点探索処理を３つの参照画像に個別に適用して視差を算出すればよい。なお、視差検出部４２０は、基準画像の全点を対応点の探索対象として設定してもよいし、基準画像において一定の間隔を空けて配置された点を、対応点の探索対象として設定してもよい。後者の場合、処理コストを削減できる。
【００４７】
画像合成部４３０は、ハイダイナミックレンジ画像を得るための露光条件で各カメラにより撮像された画像を、被写体毎に視差検出部４２０により算出された視差だけずらして合成し、１枚のハイダイナミックレンジ画像を生成する。
【００４８】
露出評価値算出部４４０は、各カメラが撮像した画像の露出評価値を算出する。ここで、露出評価値としては、例えば、各カメラが撮像した画像のそれぞれにおいて、一部の領域（例えば、画像の中央に位置する矩形状の領域）の平均輝度が採用できる。或いは、画像を複数領域に分割し、分割した領域の平均輝度値を重みづけして加算したものが露出評価値として採用されても良い。
【００４９】
露光制御部４６０は、各カメラの露光時間を設定するための指示を露光時間設定部４１２に出力し、各カメラの露光時間を個別に設定する。ここで、露光制御部４６０は、視差を検出する場合、例えば、各カメラの露光時間を同一に設定し、各カメラに被写体を撮像させる。また、露光時間設定部４１２は、ハイダイナミックレンジ画像を得る場合、例えば、各カメラの露光時間を異なる値に設定し、各カメラに被写体を撮像させる。
【００５０】
また、露光制御部４６０は、最適露光制御を行う場合、露出評価値算出部４４０で算出された各カメラの露出評価値を用いて各カメラの最適露光時間を算出し、各カメラに設定する。この場合、露光制御部４６０は、例えば、露出制御対象のカメラからの画像の輝度値が所定の適正範囲になるように、最適露光時間を設定すればよい。
【００５１】
信頼度推定部４５０は、視差検出部４２０による対応点の探索結果を用いて、視差を検出する際に設定された露光条件の信頼度を推定する。ここで、信頼度は、対応点探索処理において、より多くの対応点が正しく探索できるほど値が上昇する。なお、信頼度を用いた露光条件の設定については後述する。
【００５２】
図４において、視差検出部４２０、画像合成部４３０、露出評価値算出部４４０、信頼度推定部４５０、及び露光制御部４６０は、例えば、ＣＰＵがプログラムを実行することで実現されてもよいし、画像処理プロセッサ等の専用のハードウェア回路で構成されてもよい。
【００５３】
図５は、図２に示す撮像部１２が採用されたときの撮像部１２の構成の一例を示すブロック図である。図５では、受光部１２１ｂが３行×３列で配列された撮像部１２の例が示されている。
【００５４】
撮像部１２は、３行×３列で配列された９個の受光部１２１ｂ、１つの出力部１２３、及び１つの露光時間設定部４１２を備える。出力部１２３は、９個の受光部１２１ｂのそれぞれから個別に画像が入力される。そして、出力部１２３は、各受光部１２１ｂのそれぞれから入力された画像を１つのカメラで撮像された画像として、視差検出部４２０、画像合成部４３０、及び露出評価値算出部４４０に出力する。
【００５５】
露光時間設定部４１２は、露光制御部４６０から出力されるレジスタ制御信号にしたがって、各カメラの露光時間を設定するためのレジスタ値を書き込む。そして、露光時間設定部４１２は、露光制御部４６０から出力されるクロック信号及び同期信号と、レジスタ値とにしたがって、各カメラの駆動信号を生成し、各カメラの露光時間を個別に設定する。
【００５６】
図６は、図１に示す撮像部１２が採用されたときの撮像部１２の構成の一例を示すブロック図である。図６では、受光部１２１ａが３行×３列で配列された撮像部１２の例が示されている。図１に示す撮像部１２では、カメラ毎に１つの撮像素子１２１が割り当てられている。そのため、各撮像素子１２１は、それぞれ、出力部１２３、受光部１２１ａ、及び露光時間設定部４１２を備えている。この場合、１つの出力部１２３から出力される１枚の画像が１つのカメラで撮像された画像として、視差検出部４２０、画像合成部４３０、及び露出評価値算出部４４０に出力される。
【００５７】
図７は、図２の撮像部１２が採用された場合において、アレイカメラ部４１１における受光ブロックＢＬ１〜ＢＬ１６の分布を示した図である。なお、図７では、受光部１２１ｂが４行×４列で配列されているため、４行×４列で配列された１６個の受光ブロックＢＬ１〜ＢＬ１６が撮像素子１２１上に配置されている。ここで、露光時間設定部４１２は、各受光部１２１ｂと個別に接続されている。そのため、露光時間設定部４１２は、受光部１２１ｂ毎に露光時間を設定できる。つまり、露光時間設定部４１２は、受光ブロックＢＬ１〜ＢＬ１６毎に露光時間を設定できる。
【００５８】
また、図１の撮像部１２を採用した場合も、図６に示すように、各受光部１２１ａに対応して撮像素子１２１が設けられている。そのため、図１の撮像部１２を採用した場合も、受光ブロックＢＬ１〜ＢＬ１６毎に露光時間を設定できる。
【００５９】
図８は、図３の撮像部１２が採用された場合において、アレイカメラ部４１１に形成される受光ブロックの他の例を示す図である。図３の撮像部１２では、４行×４列のレンズ部１１１により、受光部１２１ｃ上には４行×４列で被写体の光学像が配置される。そのため、図３の撮像部１２が採用された場合、受光部１２１ｃは、図８に示すように、４行×４列の受光ブロックＢＬ１〜ＢＬ１６に区画される。
【００６０】
但し、図３に示す撮像部１２は、撮像素子１２１が１つであるため、各画素を垂直走査するＶシフトレジスタ（図９参照）も１つである。そのため、行単位で露光時間を設定するのが容易である。そこで、図３に示す撮像部１２を採用した場合、撮像素子１２１は、図８に示すように、各行に含まれる４つの受光ブロックが１つの受光ブロック群とされ、この受光ブロック群毎に露光時間が設定される。具体的には、受光ブロックＢＬ１〜ＢＬ４で１つの受光ブロック群Ｄ１が構成され、受光ブロックＢＬ５〜ＢＬ８で１つの受光ブロック群Ｄ２が構成され、受光ブロックＢＬ９〜ＢＬ１２で１つの受光ブロック群Ｄ３が構成され、受光ブロックＢＬ１３〜ＢＬ１６で１つの受光ブロック群Ｄ４が構成される。
【００６１】
図９は、図３に示す撮像部１２を採用した場合の撮像素子１２１の詳細な構成の一例を示すブロック図である。図９に示すように撮像素子１２１は、Ｖシフトレジスタ９０１、カラムＡ／Ｄ９０２、Ｈシフトレジスタ９０３、及び画素アレイ部９０４を備える。
【００６２】
画素アレイ部９０４には、水平方向に２４個、垂直方向に１６個で、合計、２４×１６個の画素がアレイ状に配列されている。この例では、画素アレイ部９０４は、水平方向がブロック番号ＢＨ１〜ＢＨ４の４つの受光ブロックに区画され、垂直方向がブロック番号ＢＶ１〜ＢＶ４の４つの受光ブロックに区画され、合計１６個の受光ブロックＢＬに区画されている。
【００６３】
そして、Ｖシフトレジスタ９０１は、ブロック番号ＢＶ１で規定される４つの受光ブロックＢＬを１つの受光ブロック群Ｄ１と設定し、ブロック番号ＢＶ２で規定される４つの受光ブロックＢＬを１つの受光ブロック群Ｄ２に設定し、ブロック番号ＢＶ３で規定される４つの受光ブロックＢＬを１つの受光ブロック群Ｄ３に設定し、ブロック番号ＢＶ４で規定される４つの受光ブロックＢＬを１つの受光ブロック群Ｄ４に設定する。そして、Ｖシフトレジスタ９０１は、受光ブロック群Ｄ１〜Ｄ４毎に露光時間を設定する。また、Ｖシフトレジスタ９０１は、画素アレイ部９０４の１行目から１６行目までを順次に選択し、選択した行の画素から画素信号を出力させる。
【００６４】
カラムＡ／Ｄ９０２は、画素アレイ部９０４の各列と信号線Ｌ１を介して接続されている。この信号線Ｌ１は、画素アレイ部９０４の各列に対応して２４本設けられている。カラムＡ／Ｄ９０２は、Ｖシフトレジスタ９０１により選択された行の画素から画素信号を読み出し、この画素信号を所定ビット数のデジタルの画素信号にＡ／Ｄ変換し、図略のレジスタに保持する。
【００６５】
Ｈシフトレジスタ９０３は、カラムＡ／Ｄ９０２による１行分の画素信号のＡ／Ｄ変換が終了する都度、カラムＡ／Ｄを水平走査する。これにより、カラムＡ／Ｄ９０２は、Ａ／Ｄ変換したデジタルの画素信号を順次に出力する。
【００６６】
図１０は、図９に示す撮像素子１２１の読み出しシーケンスの一例を示すシーケンス図である。なお、図１０の例では、受光ブロック群Ｄ１〜Ｄ４の露光時間はそれぞれ、Ｈ、２Ｈ、４Ｈ、８Ｈに設定されている。また、１〜１６行目に属する画素の読出期間は、それぞれ、水平走査期間Ｈ（ｔ１）〜Ｈ（ｔ１６）に割り付けられている。なお、Ｈは１水平走査期間を表す。また、図１０において、横方向に長尺の帯は、各行の露光時間を示す。また、図１０において、縦一列で付された１〜１６の番号は、画素アレイ部９０４の行を規定するインデックスである。
【００６７】
ここで、各行の読出期間は固定であるため、各行の露光開始タイミングは、読出期間を基準に定められる。例えば、受光ブロック群Ｄ１に属する１行目は、読出期間が水平走査期間Ｈ（ｔ１）に割り付けられているため、露光時間をＨにするために、水平走査期間Ｈ（ｔ０）の開始タイミングが露光開始タイミングに設定されている。
【００６８】
また、受光ブロック群Ｄ２に属する５行目は、読出期間が水平走査期間Ｈ（ｔ５）に割り付けられているため、露光時間を２Ｈにするために、水平走査期間Ｈ（ｔ３）の開始タイミングが露光開始タイミングに設定されている。
【００６９】
このように、図１０に示すシーケンスでは、水平走査期間Ｈ（ｔ１）〜Ｈ（ｔ４）のそれぞれにおいて、露光時間がＨに設定された１〜４行目の画素信号がカラムＡ／Ｄ９０２に順次に読み出される。また、水平走査期間Ｈ（ｔ５）〜Ｈ（ｔ８）のそれぞれにおいて、露光時間が２Ｈに設定された５〜８行目の画素信号がカラムＡ／Ｄ９０２に順次に読み出される。また、水平走査期間Ｈ（ｔ９）〜Ｈ（ｔ１２）のそれぞれにおいて、露光時間が４Ｈに設定された９〜１２行目の画素信号がカラムＡ／Ｄ９０２に順次に読み出される。また、水平走査期間Ｈ（ｔ１３）〜Ｈ（ｔ１６）のそれぞれにおいて、露光時間が８Ｈに設定された１３〜１６行目の画素信号がカラムＡ／Ｄ９０２に順次に読み出される。
【００７０】
そして、水平走査期間Ｈ（ｔ１）〜Ｈ（ｔ１６）で１つの垂直走査期間Ｖが規定される。そして、この垂直走査期間Ｖが繰り返され、１つ垂直走査期間Ｖ毎に受光ブロック群Ｄ１〜Ｄ４で撮像された４つの画像が得られる。
【００７１】
なお、図９において、画素アレイ部９０４の行数及び列数は一例であり、図９で示す行数及び列数以外の値が採用されてもよい。また、画素アレイ部９０４において、４行を１つの受光ブロック群としたが、これは一例であり、４行以外の行数で１つの受光ブロック群が構成されてもよい。また、図９では、受光ブロック群は４つであったが、これは一例であり、４以外の受光ブロック群が設定されてもよい。
【００７２】
図１１は、本実施の形態の画像入力装置による処理の一例を示すフローチャートである。まず、視差検出処理が実行される（Ｓ１１０１）。ここで、視差検出処理は、視差を検出するために被写体を撮像し、得られた画像から各画像毎に視差情報を生成する処理であり、詳しくは後述する。
【００７３】
視差検出処理が終了すると、露光制御部４６０は、各カメラの露光時間をハイダイナミックレンジ画像を得るための露光時間に設定するように露光時間設定部４１２に指示する（Ｓ１１０２）。この場合、露光制御部４６０は、例えば、基準画像を撮像する基準カメラが主要な被写体（例えば、画像の中央に位置する被写体）を撮像するための最適露光時間を求める。そして、露光制御部４６０は、最適露光時間の１００／２（プラスマイナスｎ乗）％（ｎは１以上の整数）の露光時間を、基準カメラ以外の残りのカメラの露光時間に設定すればよい。
【００７４】
例えば、基準カメラ以外に３つのカメラ（ＣＡＭ１〜ＣＡＭ３）があり、基準カメラの最適露光時間がＴｘであるすると、露光制御部４６０は、ＣＡＭ１の露光時間Ｔ＿ＣＡＭ１＝Ｔｘ×２、ＣＡＭ２の露光時間Ｔ＿ＣＡＭ２＝Ｔｘ／２、ＣＡＭ３の露光時間Ｔ＿ＣＡＭ３＝Ｔｘ×４、というように、各カメラの露光時間を設定すればよい。
【００７５】
なお、最適露光時間の１００／２（プラスマイナスｎ乗）％で基準カメラ以外の各カメラの露光時間を設定する手法は一例にすぎない。例えば、最適露光時間の１００／１０（プラスマイナスｎ乗）％で基準カメラ以外の各カメラの露光時間が設定されてもよい。要は、基準カメラの最適露光時間を基準として、上下にばらつくように基準カメラ以外の各カメラの露光時間が設定されればよい。ハイダイナミックレンジ画像を得るために各カメラに設定される露光時間の種類としては、少なくとも３〜４種類が想定される。したがって、カメラの個数が５つ以上あれば、露光制御部４６０は、全カメラに異なる露光時間を設定してもよいし、全カメラに対して３〜４種類の露光時間をサイクリックに設定してもよい。
【００７６】
アレイレンズ１１にＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルタが装着されていることもある。この場合、露光時間設定部４１２は、ＮＤフィルタによる減光分がキャンセルされるように、予め定められたオフセット値を露光時間に加えて各カメラの露光時間を設定してもよい。
【００７７】
次に、アレイカメラ部  ４１１を構成する各カメラは、設定された露光時間で被写体を撮像する（Ｓ１１０３）。
【００７８】
次に、画像合成部４３０は、各カメラで撮像された画像を合成する（Ｓ１１０４）。ここで、各カメラが撮像した画像に複数の被写体が含まれる場合、画像合成部４３０は、代表的な１つの被写体を特定し、特定した被写体の視差だけ各カメラで撮像された画像をずらして合成すればよい。代表的な１つの被写体としては、例えば、各カメラの中央部に結像された被写体が採用できる。ここで、画像合成部４３０は、視差検出部４２０により生成された視差情報を利用して、視差が同一又は一定の範囲内にある一群の点を１つの被写体として抽出し、抽出した被写体のうち、中央部に位置する被写体を、代表的な１つの被写体として特定すればよい。そして、画像合成部４３０は、特定した１つの被写体の視差の代表値を被写体の視差として算出すればよい。ここで、視差の代表値としては、例えば、被写体を構成する各点の各視差の平均値や、被写体の重心に位置する点の視差が採用できる。なお、視差情報は、対応点の探索対象となる１以上の点の基準画像における座標と、各点に対する視差とが対応付けられた情報である。
【００７９】
例えば、３つの参照画像Ｓ１〜Ｓ３がある場合、画像合成部４３０は、１つの被写体について、参照画像Ｓ１〜Ｓ３に対応する３つの視差情報Ｋ１〜Ｋ３のそれぞれから３つの視差ｋ１〜ｋ３を算出する。そして、画像合成部４３０は、基準画像Ｒ１に対して、参照画像Ｓ１〜Ｓ３をそれぞれ視差ｋ１〜ｋ３だけずらして合成する。これにより、１つの被写体について、ずれがないハイダイナミックレンジ画像が得られる。
【００８０】
或いは、各カメラが撮像した画像に複数の被写体が含まれる場合、画像合成部４３０は、これら複数の被写体別に各カメラで撮像された画像をずらして合成してもよい。例えば、画像合成部４３０は、視差情報Ｋ１〜Ｋ３のそれぞれにおいて、視差が同一或いは一定の範囲内にある一群の点を１つの被写体として特定する。そして、画像合成部４３０は、視差情報Ｋ１〜Ｋ３のそれぞれについて、各被写体の視差を求める。例えば、３つの被写体ＯＢ１〜ＯＢ３があったとすると、画像合成部４３０は、被写体ＯＢ１につき、視差情報Ｋ１〜Ｋ３のそれぞれから視差ｋ１１〜ｋ１３を求め、被写体ＯＢ２につき、視差情報Ｋ１〜Ｋ３のそれぞれから視差ｋ２１〜ｋ２３を求め、被写体ＯＢ３につき、視差情報Ｋ１〜Ｋ３のそれぞれから視差ｋ３１〜ｋ３３を求める。
【００８１】
そして、画像合成部４３０は、基準画像Ｒ１に対して、参照画像Ｓ１〜Ｓ３の被写体ＯＢ１に対応する領域を、それぞれ、視差ｋ１１〜ｋ１３だけずらして合成し、参照画像Ｓ１〜Ｓ３の被写体ＯＢ２に対応する領域を、それぞれ、視差ｋ２１〜ｋ２３だけずらして合成し、参照画像Ｓ１〜Ｓ３の被写体ＯＢ３に対応する領域を、それぞれ、視差ｋ３１〜ｋ３３だけずらして合成すればよい。
【００８２】
視差を補正する場合、１画素毎に視差を求め、これに基づいて視差は補正されても良い。
【００８３】
これにより、１枚のハイダイナミックレンジ画像が生成される。生成されたハイダイナミックレンジ画像は、例えば、図略の表示装置に表示されたり、図略の画像メモリに記録されたりする。
【００８４】
次に、Ｓ１１０１に示す視差検出処理について説明する。本実施の形態では、視差検出処理として大きく２パターンが用意されている。図１２は、第１パターンの視差検出処理の一例を示すフローチャートである。まず、露光制御部４６０は、各カメラ共通のデフォルトの露光条件を各カメラに設定し、各カメラに被写体を撮像させる（Ｓ１３０１）。ここでは、各カメラ共通のデフォルトの露光条件として、最適露光時間が採用できる。
【００８５】
次に、視差検出部４２０は、各カメラで撮像された画像から視差を検出し（Ｓ１３０２）、視差情報を生成する。
【００８６】
次に、信頼度推定部４５０は、視差情報を用いて視差を検出した際の露光条件に対する信頼度を推定する（Ｓ１３０３）。例えば、３つの参照画像Ｓ１〜Ｓ３があり、対応点の探索対象となる基準画像上の点が３つあったとする。ここでは、説明を簡単にするために、基準画像上の点を３つとしているが、実際にはこれより遙かに多い点が探索対象の点として採用される。この場合、参照画像Ｓ１について、３つの点Ｐ１〜Ｐ３のうち、点Ｐ１のみ対応点が正しく探索できたとすると、参照画像Ｓ１のスコアは、例えば、１点となる。また、参照画像Ｓ２について、点Ｐ１、Ｐ２のみ対応点が正しく探索できたとすると、参照画像Ｓ２についてのスコアは、例えば、２点となる。また、参照画像Ｓ３について、点Ｐ１〜Ｐ３の全てで対応点が正しく探索できたとすると、参照画像Ｓ３のスコアは、例えば、３点となる。この場合、現在設定されている露光条件の信頼度は、１＋２＋３＝６点となる。このようにして、信頼度推定部４５０は、露光条件の信頼度を推定する。
【００８７】
次に、露光制御部４６０は、推定した信頼度が規定値より大きければ（Ｓ１３０４でＹＥＳ）、Ｓ１３０２で生成した視差情報を出力対象の視差情報として決定する（Ｓ１３０５）。ここで、規定値として、対応点の探索対象となる点の総数と参照画像の総数との積を満点とすると、例えば、満点に対して６０％、７０％、８０％、９０％といった値が採用できる。
【００８８】
一方、露光制御部４６０は、推定した信頼度が規定値以下であれば（Ｓ１３０４でＮＯ）、露光条件を変更する（Ｓ１３０６）。
【００８９】
ここで、露光制御部４６０は、各カメラが撮像した画像のそれぞれの露出評価値を露出評価値算出部４４０に算出させ、露出評価値が所定の適正範囲から一定の値以上離れた画像を撮像したカメラを特定する。そして、露光制御部４６０は、特定したカメラについて、露出評価値を適正範囲内にする露光時間を、特定したカメラの露光条件として設定すればよい。また、露光制御部４６０は、露出評価値が適正範囲から一定の値以上離れていないカメラについては、前回設定した露光条件を維持すればよい。
【００９０】
そして、露光制御部４６０は、再度、各カメラに被写体を撮像させ（Ｓ１３０７）、処理をＳ１３０２に戻す。この場合、各カメラの露光条件が２種類以上に設定されて、視差が検出されることになる。
【００９１】
なお、上記の露光条件の変更手法は一例にすぎない。例えば、露光制御部４６０は、デフォルトの露光条件で撮像された画像を輝度に応じて複数の領域に区画し、区画した領域毎に最適な露光条件を決定してもよい。ここで、露出制御部４６０は、例えば、基準画像から画素値と頻度との関係を表すヒストグラムを作成し、ヒストグラムのピークを基準とする一群の画素を１つの領域として、基準画像を複数の領域に区画すればよい。そして、露光制御部４６０は、決定した領域別の最適な露光条件を各カメラに割り当てて、再度、各カメラに被写体を撮像させ、視差検出部４２０に視差を検出させてもよい。
【００９２】
ここで、露光制御部４６０は、例えば、基準画像を輝度に応じて複数の領域に区画し、区画した領域別の露出評価値を露出評価値算出部４４０に算出させる。そして、露光制御部４６０は、算出した各露出評価値を所定の適正範囲内にする最適露光条件を決定する。例えば、２つの領域ＲＤ１、ＲＤ２が抽出されたとすると、領域ＲＤ１の露出評価値を適正範囲内にする最適露光時間Ｔ１と領域ＲＤ２の露出評価値を適正範囲内にする最適露光時間Ｔ２とが決定される。
【００９３】
そして、露光制御部４６０は、各カメラに対して、最適露光時間Ｔ１と最適露光時間Ｔ２とを市松模様状に設定し、露光条件を変更すればよい。
【００９４】
また、露光条件の変更手法としては以下の手法が採用されてもよい。例えば、露光制御部４６０は、各カメラの露光時間を一律に増大又は減少させて、信頼度が規定値以上になるまで、各カメラによる撮像を繰り返し行わせてもよい。この場合、露光制御部４６０は、露出評価値算出部４４０に各カメラが撮像した画像の露出評価値を算出させ、その露出評価値の平均値が、例えば、適正範囲以下であれば、露光時間を増大させ、適正範囲以上であれば、露光時間を減少させればよい。また、露光制御部４６０は、露出評価値の平均値が適正範囲内であれば、信頼度が規定値に近づく方向に露光時間を増減させればよい。
【００９５】
このように、第１パターンの視差検出処理では、信頼度が規定値より大きくなるように、各カメラの露光条件が設定されるため、視差の検出精度を増大させ、画像同士の被写体のずれを正確に検知できる。
【００９６】
なお、露光制御部４６０は、Ｓ１３０１にデフォルトの露光条件を各カメラに設定したが、例えば、連続撮像中は、前回の視差検出処理において、信頼度が規定値を超えたときの各カメラに設定されていた露光条件が採用されてもよい。
【００９７】
図１３は、第２パターンの視差検出処理の一例を示すフローチャートである。第２パターンの視差検出処理は、予め用意された複数の露光条件を各カメラに設定し、信頼度が最も高い露光条件を採用することを特徴とする。
【００９８】
まず、露光制御部４６０は、１つ目の露光条件を各カメラに設定し、被写体を撮像させる（Ｓ１４０１）。Ｓ１４０２、Ｓ１４０３は、図１２のＳ１３０２、Ｓ１３０３と同じである。次に、露光制御部４６０は、全ての露光条件での撮像が終了していれば（Ｓ１４０４でＹＥＳ）、信頼度が最大の露光条件で撮像された画像から得られた視差情報を出力する視差情報として決定する（Ｓ１４０５）。
【００９９】
一方、全ての露光条件での撮像が終了していなければ（Ｓ１４０４でＮＯ）、露光制御部４６０は、各カメラの露光条件を次の露光条件に設定し（Ｓ１４０６）、各カメラに被写体を撮像させ（Ｓ１４０７）、処理をＳ１４０２に戻す。このように、第２パターンの視差検出処理では、複数の露光条件の中から信頼度が最大の露光条件で撮像された画像を用いて視差が検出されるため、被写体のずれを正確に求めることができる。
【０１００】
なお、図１２、図１３の例では、信頼度を考慮して露光条件を設定したが、本発明はこれに限定されない。例えば、上述のＳ１３０６で説明した、輝度値に応じた領域別に最適露光時間を決定し、決定した最適露光時間を各カメラに市松模様状に割り当てて、視差検出処理を行ってもよい。
【０１０１】
図１４は、視差を検出する際に撮像された画像の一例を示す図である。図１４の例では、４行×３列のカメラで被写体が撮像されたため、矩形状の小さな画像が４行×３列で配列されている。各カメラとも、窓付きの部屋内において、窓の手前に配置された２体のぬいぐるみを撮像している。図１４の例では、露光条件として、第１露光時間と第１露光時間よりも短い第２露光時間との２種類の露光時間が採用されている。ここで、第１露光時間としては、部屋の中における最適露光時間が採用されている。また、第２露光時間としては、部屋の外における最適露光時間が採用されている。
【０１０２】
そして、各カメラに対して第１露光時間と第２露光時間とが市松模様状に割り当てられている。したがって、図１４の例では、被写体が明るく表れた画像と、被写体が暗く表れた画像とが交互に並んでいる。
【０１０３】
視差検出部４２０は、これらの画像のうち、１つを基準画像、残りを参照画像とし、対応点探索処理を実行する。そして、視差検出部４２０は、各参照画像について、主要な被写体である２体のぬいぐるみの視差を検出する。
【０１０４】
次に、露光制御部４６０は、ハイダイナミックレンジ画像を得るために各カメラの露光時間を設定する。図１５は、ハイダイナミックレンジ画像を得る際に撮像された画像の一例を示す図である。図１５では、図１４と同じ被写体が、４行×３列のカメラで撮像されている。そのため、矩形状の小さな画像が４行×３列で配列されている。
【０１０５】
各カメラの露光時間は短い順に基準となる露光時間に対して、１／１０倍、１／１００倍、１０倍、１００倍、・・・というようにそれぞれ異なる時間に設定されている。なお、これは一例であり、基準となる露光時間に対して２のべき乗倍で各カメラの露光時間が設定されてもよい。なお、基準となる露光時間としては、例えば、基準画像を撮像するカメラの露光時間が採用される。図１５の例では、上の行に向かうほど露光時間が長く設定されており、各行において２種類の露光時間が交互に割り当てられている。そのため、上の行の画像ほど明るくなっている。
【０１０６】
画像合成部４３０は、図１５に示す１２個の画像を視差検出部４２０で検出された視差を用いて位置合わせし、一枚の画像に合成する。ここでは、２体のぬいぐるみが一致するように１２個の画像が位置合わせされる。これにより、主要な被写体である２体のぬいぐるみ位置ずれがなく、周囲の画像も明瞭に表れたハイダイナミックレンジ画像が得られる。
【０１０７】
なお、上記説明では、露光条件として主に露光時間を採用したが、これは一例にすぎず、絞り量が露光条件として採用されてもよいし、露光時間と絞り量との組み合わせが露光条件として採用されてもよい。
【符号の説明】
【０１０８】
４１０  撮像部
４１１  アレイカメラ部
４１２  露光時間設定部
４２０  視差検出部
４３０  画像合成部
４４０  露出評価値算出部
４５０  信頼度推定部
４６０  露光制御部
【図１】
2015177258.tif 000003
【図２】
2015177258.tif 000004
【図３】
2015177258.tif 000005
【図４】
2015177258.tif 000006
【図５】
2015177258.tif 000007
【図６】
2015177258.tif 000008
【図７】
2015177258.tif 000009
【図８】
2015177258.tif 000010
【図９】
2015177258.tif 000011
【図１０】
2015177258.tif 000012
【図１１】
2015177258.tif 000013
【図１２】
2015177258.tif 000014
【図１３】
2015177258.tif 000015
【図１４】
2015177258.tif 000016
【図１５】
2015177258.tif 000017