(57)【要約】  撮像装置は、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記複数のレンズを介して前記受光部で受光して信号を出力する第１撮像部および第２撮像部と、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における前記被写体の画像を生成する生成部と、を備える。
2018062368.tif 000002
【特許請求の範囲】
【請求項１】
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記複数のレンズを介して前記受光部で受光して信号を出力する第１撮像部および第２撮像部と、
前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における前記被写体の画像を生成する生成部と、
を備える撮像装置。
【請求項２】
前記生成部は、前記被写体のうち第１被写体からの光が入射する前記第１撮像部の前記受光部から出力された信号と、前記第１被写体からの光が入射する前記第２撮像部の前記受光部から出力された信号とにより、前記撮像光学系の光軸方向の複数の位置における前記第１被写体の画像を生成する請求項１記載の撮像装置。
【請求項３】
前記生成部は、前記第１被写体からの光が前記第１撮像部の前記受光部で受光され、前記第２撮像部の前記受光部で受光されない場合、前記第１撮像部から出力される信号により、前記撮像光学系の光軸方向の複数の位置における前記第１被写体の画像を生成する請求項２記載の撮像装置。
【請求項４】
前記生成部は、前記第１被写体からの光が入射する前記第１撮像部の前記複数のレンズのうち第１レンズの受光部および第２レンズの受光部から出力された信号と、前記第１被写体からの光が入射する前記第２撮像部の前記複数のレンズのうち第３レンズの受光部および第４レンズの受光部から出力された信号とにより前記撮像光学系の光軸方向の複数の位置における前記第１被写体の画像を生成する請求項２記載の撮像装置。
【請求項５】
前記生成部は、前記第１撮像部から出力される信号により前記撮像光学系の光軸方向の複数の位置において所定の間隔より狭い間隔で前記第１被写体の画像を生成することができないと、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより前記第１被写体の画像を生成する請求項４記載の撮像装置。
【請求項６】
前記第１撮像部に光が入射する撮像範囲と前記第２撮像部に光が入射する撮像範囲とが重なる範囲の一部が、前記生成部が前記第１撮像部から出力される信号により前記第１被写体の前記撮像光学系の光軸方向の複数の位置において所定の間隔より狭い間隔で画像が生成可能である前記撮像装置からの距離内にある請求項４または５に記載の撮像装置。
【請求項７】
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第３撮像部をさらに有し、
前記第２撮像部に光が入射する撮像範囲と前記第３撮像部に光が入射する撮像範囲とが重なる範囲の一部が、前記生成部が前記第１撮像部から出力される信号により前記第１被写体の前記撮像光学系の光軸方向の複数の位置において所定の間隔より狭い間隔で画像が生成可能である前記撮像装置からの距離内にある請求項６記載の撮像装置。
【請求項８】
前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とに基づいて、前記被写体から前記第１被写体を検出する検出部を備える請求項４から７のいずれか一項に記載の撮像装置。
【請求項９】
前記検出部は、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより前記生成部で生成されたパンフォーカス画像に基づいて、前記被写体から前記第１被写体を検出する請求項８記載の撮像装置。
【請求項１０】
前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とに基づき、前記第１被写体の前記撮像装置からの距離を求める信号処理部を備える請求項４から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記信号処理部は、前記第１被写体からの光が前記第１撮像部の前記受光部で受光され、前記第２撮像部の前記受光部で受光されない場合、前記第１撮像部から出力される信号から前記第１被写体の前記撮像装置からの距離を求める請求項１０記載の撮像装置。
【請求項１２】
前記信号処理部は、前記第１被写体からの光が入射する前記第１撮像部の前記複数のレンズのうち第１レンズの受光部および第２レンズの受光部とから出力された信号と、前記第１被写体からの光が入射する前記第２撮像部の前記複数のレンズのうち第３レンズの受光部および第４レンズの受光部とから出力された信号とにより前記第１被写体の前記撮像装置からの距離を求める請求項１０記載の撮像装置。
【請求項１３】
前記信号処理部は、前記生成部により生成された前記画像と、前記信号処理部により求められた前記第1被写体の前記撮像装置からの距離とにより、前記第1被写体を追尾する請求項１０から１２の何れか一項に記載の撮像装置。
【請求項１４】
前記信号処理部は、前記生成部により生成された前記画像と、前記信号処理部により求められた前記第1被写体の前記撮像装置からの距離とにより前記第1被写体の動きを求める請求項１０から１２の何れか一項に記載の撮像装置。
【請求項１５】
前記信号処理部は、求められた前記第1被写体の動きと、被写体の動きの情報が分類して記録されている記録部の前記情報とに基づいて、求められた前記第1被写体の動きを分類する請求項１４記載の撮像装置。
【請求項１６】
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、焦点距離が変更可能なレンズを有する撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第３撮像部と、
前記第1被写体の大きさにより前記レンズの焦点距離を変更するように制御するレンズ制御部とを備え、
前記生成部は、前記第３撮像部から出力される信号により、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する請求項４から１５のいずれか一項に記載の撮像装置。
【請求項１７】
前記第３撮像部の撮像方向を変更可能な駆動部と、
前記第1被写体を撮像するために、前記撮像方向を変更可能な駆動部を制御する駆動制御部と、
を備える請求項１６記載の撮像装置。
【請求項１８】
被写体を撮像して信号を出力する  、被写体からの光が透過する撮像光学系を有する撮像部を複数備える第１撮像部と、
被写体を撮像して信号を出力する、被写体からの光が透過する撮像光学系を有する撮像部を複数備える第２撮像部と、
前記第１撮像部から出力される前記信号と前記第２撮像部から出力される前記信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、
を備える撮像装置。
【請求項１９】
前記生成部は、前記被写体のうち第１被写体を撮像する前記第１撮像部の前記撮像部から出力された信号と、前記第１被写体を撮像  する前記第２撮像部の前記撮像部から出力された信号とにより、前記撮像光学系の光軸方向の複数の位置における前記第１被写体の画像を生成する請求項１８記載の撮像装置。
【請求項２０】
前記生成部は、前記第１被写体を撮像する前記第１撮像部の前記撮像部のうち少なくとも１つの前記撮像部からの信号により生成された第１画像と、前記第１被写体を撮像する前記第１撮像部の前記撮像部のうち少なくとも１つの前記撮像部からの信号により生成された第２画像と、を処理することにより前記第１被写体の前記撮像光学系の光軸方向の複数の位置における画像を生成する請求項１９記載の撮像装置。
【請求項２１】
前記生成部は、前記処理として前記第１画像の前記撮像光学系の光軸と交差する方向の位置と前記第２画像の前記撮像光学系の光軸と交差する方向の位置とを相対的にずらして、前記第１画像と前記第２画像とを合成する処理を行う請求項２０記載の撮像装置。
【請求項２２】
前記被写体のうち第１被写体を撮像する前記第１撮像部から出力される信号と前記第１被写体を撮像する前記第２撮像部から出力される信号とに基づき、前記第１被写体の前記撮像装置からの距離を求める信号処理部を備える請求項２０または２１記載の撮像装置。
【請求項２３】
前記信号処理部は、前記第１画像と前記第２画像との視差に基づいて、前記第１被写体の前記撮像装置からの距離を求める請求項２２記載の撮像装置。
【請求項２４】
前記受光部が赤外光または紫外光に受光感度を有する請求項１から１７のうちのいずれか一項に記載の撮像装置。
【請求項２５】
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第１撮像部と、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第２撮像部と、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、を備える第１撮像装置と、
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第３撮像部と、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第４撮像部と、前記第３撮像部から出力される信号と前記第４撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、を備える第２撮像装置と、
を備え、
第１撮像部の前記レンズ毎に設けられる受光部の数と第２撮像部の前記レンズ毎に設けられる受光部の数とは、第３撮像部の前記レンズ毎に設けられる受光部の数と第４撮像部の前記レンズ毎に設けられる受光部の数とよりも多い撮像システム。
【請求項２６】
第１撮像部の前記レンズの数と第２撮像部の前記レンズの数とは、第３撮像部の前記レンズの数と第４撮像部の前記レンズの数とよりも多い請求項２５記載の撮像システム。
【請求項２７】
前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とを記録する記録部を有する請求項２５または２６に記載の撮像システム。
【請求項２８】
複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記複数のレンズを介して前記受光部で受光して信号を出力する第１撮像部と、
複数の受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第２撮像部と、
前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における前記被写体の画像を生成する生成部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像システムに関する。
【背景技術】
【０００２】
被写体の任意の面に合焦した画像を生成可能なカメラが知られている（例えば、特許文献１）。従来のライトフィールドカメラでは、任意の面に合焦した画像を生成する間隔を狭くするのは難しかった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１５−３２９４８号公報
【発明の概要】
【０００４】
第１の態様によると、撮像装置は、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記複数のレンズを介して前記受光部で受光して信号を出力する第１撮像部および第２撮像部と、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における前記被写体の画像を生成する生成部と、を備える。
第２の態様によると、撮像装置は、被写体を撮像して信号を出力する  、被写体からの光が透過する撮像光学系を有する撮像部を複数備える第１撮像部と、被写体を撮像して信号を出力する、被写体からの光が透過する撮像光学系を有する撮像部を複数備える第２撮像部と、前記第１撮像部から出力される前記信号と前記第２撮像部から出力される前記信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、を備える。
第３の態様によると、撮像システムは、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第１撮像部と、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第２撮像部と、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、を備える第１撮像装置と、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第３撮像部と、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第４撮像部と、前記第３撮像部から出力される信号と前記第４撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における被写体の画像を生成する生成部と、を備える第２撮像装置と、を備え、第１撮像部の前記レンズ毎に設けられる受光部の数と第２撮像部の前記レンズ毎に設けられる受光部の数とは、第３撮像部の前記レンズ毎に設けられる受光部の数と第４撮像部の前記レンズ毎に設けられる受光部の数とよりも多い。
第４の態様によると、撮像装置は、複数のレンズと前記複数のレンズ毎に複数設けられた受光部を有し、撮像光学系を透過した被写体からの光を前記複数のレンズを介して前記受光部で受光して信号を出力する第１撮像部と、複数の受光部を有し、撮像光学系を透過した被写体からの光を前記受光部で受光して信号を出力する第２撮像部と、前記第１撮像部から出力される信号と前記第２撮像部から出力される信号とにより、前記撮像光学系の光軸方向の複数の位置における前記被写体の画像を生成する生成部と、を備える。
【図面の簡単な説明】
【０００５】
【図１】撮像装置を模式的に示す図
【図２】合成対象の像面上の光点からの光束と撮像部とを模式的に示した断面図
【図３】測距処理を説明する上面図
【図４】第１測距処理の説明図
【図５】駐車場に配置された撮像装置を例示する図
【図６】撮像部の配置例を示す図
【図７】撮像部の配置例を示す図
【図８】撮像部の構成を模式的に示す図
【図９】撮像装置を模式的に示す図
【図１０】撮像部の配置例を模式的に示す平面図
【図１１】撮像部の上面図
【図１２】合成対象の像面上の光点からの光束と撮像部とを模式的に示した断面図
【図１３】合成対象の像面上の光点からの光束と撮像部とを模式的に示した断面図
【図１４】２つの撮像部による画像データの生成方法の説明図
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置を模式的に示す図である。第１の実施形態の撮像装置１は、被写体の任意の面に合焦した画像を撮影後に生成可能なリフォーカス撮影ができる複数の撮像部を有し、一つの撮像部もしくは複数の撮像部で撮像したデータからリフォーカス画像を生成するものである。この撮像装置は例えば不審者の監視のために特定の範囲を撮像するように固定して設置される監視カメラ等に利用することができる。
撮像装置１は、２つの撮像部１０ａ、１０ｂ、制御部１１、表示部１２、および記憶部１３を備える。
【０００７】
撮像部１０ａは、撮像光学系１０１、マイクロレンズアレイ１０２、および受光素子アレイ１０３を有する。撮像光学系１０１は、マイクロレンズアレイ１０２の近傍に被写体像を結像させる。マイクロレンズアレイ１０２は、二次元状に配列された複数のマイクロレンズ１０４を有し、ｘ方向およびｙ方向に隣接する各マイクロレンズの中心間の距離はｄである。受光素子アレイ１０３は、二次元状に配列された複数の受光素子群１０５を有する。１つのマイクロレンズ１０４に入射した光は、１つの受光素子群１０５に入射する。各受光素子群１０５は、二次元状に配列された複数の受光素子１０６を含む。なお、マイクロレンズアレイ１０２は、マイクロレンズ１０４の形状として円形や矩形、六角形のものを使用することができる。。図１では一例として、円形のマイクロレンズ１０４を図示している。六角形のマイクロレンズ１０４を使用した場合には、複数のマイクロレンズ１０４をハニカム状に配列していても構わない。
【０００８】
被写体の像は撮像光学系１０１によりマイクロレンズアレイ１０２の近傍に結像する。受光素子アレイ１０３の受光面とマイクロレンズ１０４の主平面との距離は、マイクロレンズ１０４の焦点距離ｆにほぼ一致する。
撮像部１０ｂは撮像部１０ａと同じ構成になっており、撮像光学系１０１、マイクロレンズアレイ１０２、および受光素子アレイ１０３を有する。なお、撮像部１０ａの撮像光学系１０１の光学的な特性と撮像部１０ｂの撮像光学系１０１の光学的な特性とは同じであっても、違っても良い。ここで撮像光学系の光学的な特性とは、撮像光学系の焦点距離、絞り値、画角、Ｆ値などである。例えば、撮像部１０ａの撮像光学系１０１が３００ｍｍの焦点距離を有する望遠レンズで、撮像部１０ｂの撮像光学系１０１が５０ｍｍの焦点距離を有する標準レンズであっても構わない。また、撮像部１０ａの撮像光学系１０１が５０ｍｍの焦点距離を有する標準レンズで、撮像部１０ｂの撮像光学系１０１が２４ｍｍの焦点距離を有する広角レンズであってもよい。また、撮像部１０ａの撮像光学系１０１が５０ｍｍの焦点距離を有する標準レンズで、撮像部１０ｂの撮像光学系１０１も同じ５０ｍｍの焦点距離を有する標準レンズであってもよい。
撮像部１０ａ、１０ｂの２台に限られず３台以上でも構わない。その場合、一部の撮像部の撮像光学系１０１の光学的な特性が、他の撮像部の撮像光学系１０１の光学的な特性と異なっていてもよく、すべての撮像部の撮像光学系１０１の光学的な特性がそれぞれ異なっていてもよい。またすべての撮像部の撮像光学系１０１の光学的な特性が同じでもよい。
なお、複数の撮像部のうち１台を、マイクロレンズアレイ１０２を有しない通常の撮像を行う撮像部にしても構わない。
【０００９】
制御部１１は、不図示のＣＰＵおよび周辺回路を有する。制御部１１は、所定の制御プログラムを不図示の記憶媒体から読み込んで実行することにより、撮像装置１の各部を制御する。制御部１１は、生成部１１ａ、検出部１１ｂ、信号処理部１１ｃ、撮像制御部１１ｄを有する。生成部１１ａは、２つの撮像部１０ａ、１０ｂが受光して出力する信号に基づき、後述する画像データを生成する。検出部１１ｂは、生成部１１ａにより生成された画像データから被写体を検出する。信号処理部１１ｃは、２つの撮像部１０ａ、１０ｂが出力する信号に基づき、後述する距離データを生成する。撮像制御部１１ｄは、不図示の操作部からの信号により撮像部１０ａ、１０ｂの撮像を制御する。
【００１０】
表示部１２は、例えば液晶ディスプレイなどの表示装置である。表示部１２は、制御部１１の生成部１１ａにより生成された画像データに基づく画像や、信号処理部１１ｃで生成した距離データに基づく情報（距離を示す数値など）を表示画面に表示する。記憶部１３は、例えばハードディスクドライブ等の不図示の記憶装置を有する。記憶部１３は、制御部１１により生成された画像データおよび距離データをその記憶装置に記憶する。
【００１１】
なお、表示部１２および記憶部１３は、撮像装置１の外部に設けてもよい。例えば、表示部１２および記憶部１３は、撮像装置１の外部に設けられたスマートフォンやタブレット端末等のコンピュータであってもよい。その場合、撮像装置１は、画像データや距離データを、無線通信等により外部の表示部１２および記憶部１３に向けて送信する。
【００１２】
また、表示部１２および記憶部１３は、いずれか一方だけを設けるようにし、他方を省略してもよい。
【００１３】
（リフォーカス処理の説明）
生成部１１ａは、撮像部１０ａ、１０ｂが出力した信号から周知のリフォーカス処理を実行することにより、撮像光学系１０１により結像された被写体像の光軸ＯのＺ方向における任意像面の画像データを生成する。以下、１つの撮像部１０aが出力した信号からのリフォーカス処理について説明する。
【００１４】
図２は、撮像光学系１０１によって結像された被写体像の像面Ｓ上の点Ｐからの光束と撮像部１０ａとを模式的に示したｙ−ｚの断面図である。図２において、像面Ｓ上の点Ｐからマイクロレンズアレイ１０２に向かう光の広がり角θは、撮像光学系１０１の絞り値によって決まる撮像光学系１０１の瞳の大きさにより規定される。マイクロレンズ１０４の絞り値は撮像光学系１０１の絞り値と同じかそれより小さくなるように構成される。
【００１５】
図２に示すように、点Ｐからの光束は、例えば５つのマイクロレンズ１０４（１）〜１０４（５）に入射する。これらのマイクロレンズ１０４（１）〜１０４（５）に入射した光束２０（１）〜２０（５）は、それぞれマイクロレンズ１０４（１）〜１０４（５）を通過して、対応する受光素子群１０５（１）〜１０５（５）の一部に入射する。
【００１６】
生成部１１ａは、像面Ｓ上に複数の点Ｐを設定し、各点Ｐについてその点Ｐからの光束が入射するマイクロレンズ１０４を特定する。生成部１１ａは、特定した各マイクロレンズ１０４について、点Ｐからの光束がどの受光素子１０６に入射するかを特定する。これにより撮像光学系１０１により像面Ｓに形成された結像された被写体像の点Ｐからの光が入射する受光素子１０６を特定する。受光素子１０６から出力される受光信号から像面Ｓに形成された被写体像を生成するために、生成部１１ａは、特定した受光素子１０６の受光信号を積算することにより、各点Ｐのそれぞれに対応する画素値を算出し、算出した画素値から画像を生成することにより、像面Ｓに結像した被写体像による画像データを生成する。また像面Ｓから光軸方向にずれた像面で同様の処理を行うことにより、別な像面に結像した被写体の画像データを生成することができる。
像面Ｓから光軸方向にずれた像面をＳ１としたとき、上述した方法で生成された像面Ｓに結像した被写体の画像データと像面Ｓ１に結像した被写体の画像データとの関係について説明する。例えば、図１２に示すように、像面Ｓと像面Ｓ１の距離が極めて短い場合、撮像光学系１０１により像面Ｓ１に形成された結像された被写体像の点Ｐ’からの光が入射する受光素子は、像面Ｓに形成された結像された被写体像の点Ｐからの光が入射する受光素子１０６と同一である。すなわち、生成部１１ａは、同一の受光素子１０６を特定することになる。光が入射する受光素子が同一であるため、生成された画像データは同一となる。一方、図１３に示すように、像面Ｓと像面Ｓ１の距離が離れている場合、撮像光学系１０１により像面Ｓ１に形成された結像された被写体像の点Ｐ’からの光が入射する受光素子は、像面Ｓに形成された結像された被写体像の点Ｐからの光が入射する受光素子１０６と異なる。異なる受光素子の受光信号を積算することにより画像データを生成するので、生成された画像データは異なる。
像面Ｓから光軸方向に所定量だけずれた像面をＳ２としたとき、像面Ｓと像面Ｓ２の間に存在する無数の像面に結像した被写体の画像データを上述した方法で生成したとき、生成された相互に異なる画像データの枚数が多いほど、リフォーカス処理における光軸方向の解像度が高いと呼ぶ。リフォーカス処理における光軸方向の解像度が高い場合には、撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成できる。
リフォーカス処理における光軸方向の解像度を高くするためには、図２における被写体像の点Ｐからの光束が入射する角度θを大きくすればよい。点Ｐからの光束が入射する角度θが小さい場合には、点Ｐからの光が入射する受光素子は、例えば１０６（３）のみとなる。この場合、受光素子１０６（３）の受光信号のみを用いて、点Ｐに対応する画素値を算出することになる。次に、像面Ｓから光軸方向にずれた像面Ｓ１の点Ｐ’からの光が入射する受光素子について考える。像面Ｓ１の点Ｐ’からの光が入射する受光素子も１０６（３）のみとなる。つまり、点Ｐからの光束が入射する角度θが小さいということは、撮像光学系１０１がパンフォーカスであり、リフォーカス処理における光軸方向の解像度は低くなる。
一方、点Ｐからの光束が入射する角度θが大きい場合、例えば、点Ｐからの光が入射する受光素子は、１０６（１）〜１０６（５）となる。この場合、受光素子１０６（１）〜１０６（５）の受光信号を用いて、点Ｐに対応する画素値を算出することになる。次に、像面Ｓから光軸方向にずれた像面Ｓ１の点Ｐ’からの光が入射する受光素子を考える。光束が入射する角度θの大小にかかわらず受光素子１０６（３）には、像面Ｓ１の点Ｐ’からの光が入射する。しかしながら、点Ｐを通る光軸から離れた角度に存在する受光素子１０６（１）や１０６（５）には、もはや点Ｐ’からの光は入射しない。像面Ｓから像面Ｓ１の光軸方向のずれ量に対して、点Ｐからの光が入射する受光画素と点Ｐ’からの光が入射する受光画素のＸＹ平面上の位置の変化は、光軸から離れるほど大きくなるからである。つまり、点Ｐを通る光軸から離れた角度に存在する受光素子ほど、像面Ｓから像面Ｓ１の光軸方向のずれ量に対してセンシティブであるといえる。
被写体の任意の面に合焦した画像を撮影後に生成可能なリフォーカス撮影においては、撮影する被写体の被写体像の点Ｐから入射する光の角度を広くすると、撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成することができる。
生成部１１ａは、以上に説明したリフォーカス処理を実行することにより、生成対象として指定された像面Ｓの画像データを生成する。生成部１１ａは、１回の撮像によって撮像部１０ａ、１０ｂから出力される信号に基づいて、撮像部１０ａ、１０ｂ毎に複数の異なる像面の画像データを生成することができる。
【００１７】
次に２つの撮像部１０ａ、１０ｂから出力された信号に基づいて任意の像面の画像データを生成する方法について説明する。生成部１１ａは、１回の撮像によって２つの撮像部１０a、１０ｂから出力される信号に基づいて所定の像面に結像した１枚の画像データを生成することができる。
以下図１４を使って説明する。図１４では説明を簡単にするため、被写体の特定の部分を点Ｑとする。被写体の特定の部分である点Ｑからの光が撮像部１０ａの撮像光学系１０１ａと撮像部１０ｂの撮像光学系１０１ｂに入射する。撮像部１０ａでは被写体の特定の部分である点Ｑからの光は撮像光学系１０１ａにより光点Ｐａに結像し、光点Ｐａからの光束はマイクロレンズアレイ１０２ａの一部のマイクロレンズに入射する。光点Ｐａからの光束が入射したマイクロレンズに対応して配置された受光素子群にマイクロレンズを通過した光束が入射する。同様にして撮像部１０ｂでは点Ｑからの光は撮像光学系１０１ｂにより光点Ｐｂに結像し、光点Ｐｂからの光束はマイクロレンズアレイ１０２ｂの一部のマイクロレンズに入射する。光点Ｐｂからの光束が入射したマイクロレンズにより対応して配置された受光素子群にマイクロレンズを通過した光束が入射する。
生成部１１ａにより所定の像面の画像データを生成するには、図１４の光点Ｐaからの光束が入射する受光素子からの受光信号と、図１４の光点Ｐｂからの光束が入射する受光素子からの受光信号を加算することにより、被写体の所定の部分である点Ｑに対応する画像データを生成する。撮像光学系１０１で撮像する被写体１の全ての部分について同様の処理を行えば撮像光学系１０１で撮像する被写体１に共役な像面の画像データを生成することができる。２つの撮像部１０ａ、１０ｂを使用した場合でも、生成対象として指定された像面の画像データが生成される。
図１４において、撮像部１０ｂがなく撮像部１０ａだけで被写体を撮像する場合と、撮像部１０ａと撮像部１０ｂで被写体を撮像する場合とを比較する。撮像部１０ａには点Ｑからの光束のうち角度θａの光束が点Ｐａを介して入射し、撮像部１０ｂには点Ｑからの光束のうち角度θｂの光束が点Ｐｂを介して入射する。角度θａは撮像部１０ａと点Ｑとの距離により変化し、撮像部１０ａと点Ｑとの距離が遠くなると角度θａは小さくなる。１つの撮像部１０ａから出力する信号だけでは遠くの特定の被写体からの光の角度θａが小さくなる。従って上述したように光点Ｐａからの光束が入射する受光素子からの受光信号により生成される撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成することができない。これに対して撮像部１０ａからの信号と撮像部１０ｂからの受光信号の両方を用いることにより、点Ｑからの光束のうち角度θａの光束と角度θｂの光束による信号を用いることになる。これにより遠くの特定の被写体からの光の角度θａとθｂを合わせた広い角度となり、撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成することができる。なお、撮像部１０ａまたは撮像部１０ｂのいずれか一方を、マイクロレンズアレイ１０２を有しない通常の撮像を行う撮像装置にしても構わない。
次に測距処理について説明する。信号処理部１１ｃは、撮像部１０ａ、１０ｂが出力した受光信号に対して周知の測距処理を実行することにより、被写体までの距離データを生成する。まず被写体を検出するために、撮像部１０ａ、１０ｂから出力された受光信号を検出部１１ｂで例えばテンプレートマッチング等の周知の画像処理を行う。検出部１１ｂで検出された被写体までの距離を、信号処理部１１ｃで検出する。以下、信号処理部１１ｃで実行される測距処理について説明する。
【００１８】
図３は、測距処理を説明するための図であり、水平（Ｘ-Ｚ平面）方向に配置された２つの撮像部１０ａ、１０ｂと被写体３ａ、３ｂを上方（Ｙ方向）から見た図である。図３には、２つの撮像部１０ａ、１０ｂの撮像範囲（画角）が、破線で図示されている。２つの撮像部１０ａ、１０ｂはそれぞれの撮像光学系１０１の光軸Ｏが平行になるように配置されている。図３において、２つの撮像部１０ａ、１０ｂの撮像範囲内には、２つの被写体３ａ、３ｂ（被写体３と総称する）が存在する。一方の被写体３ａは、撮像部１０ａの撮像範囲内でかつ撮像部１０ｂの撮像範囲外の位置に存在する。他方の被写体３ｂは、撮像部１０ａの撮像範囲内であり撮像部１０ｂの撮像範囲内でもある位置に存在する。つまり被写体３ａは撮像部１０ａでのみ撮像され、被写体３ｂは撮像部１０ａおよび撮像部１０ｂの両方で撮像される。被写体３ａは、撮像部１０ａ、１０ｂから光軸Ｏの方向（Ｚ方向）に距離Ｌａだけ離れている。被写体３ｂは、光軸Ｏの方向（Ｚ方向）に距離Ｌａより長い距離Ｌｂだけ撮像部１０ａ、１０ｂから離れている。
【００１９】
制御部１１の撮像制御部１１ｄに制御されて撮像部１０ａおよび撮像部１０ｂは被写体３を撮像する。生成部１１ａは、撮像部１０ａの受光信号から所定の１つの像面の画像データ（以下、第１画像データと称する）を生成する。同様に生成部１１ａは、撮像部１０ｂの受光信号から、第１画像データと同じ像面の画像データ（以下、第２画像データと称する）を生成する。なお、第１画像データと第２画像データはリフォーカス処理して生成した所定の１つの像面の画像データにしたが、第１画像データと第２画像データは撮像部１０ａ、１０ｂの受光信号からそれぞれ生成したパンフォーカス画像データであってもよい。パンフォーカス画像データは例えば、各マイクロレンズの中央付近に対応して配置された１つまたは複数の受光素子からの受光信号によりマイクロレンズ毎に画像データの画素値を生成する周知の方法により生成することができる。
【００２０】
検出部１１ｂは、パンフォーカス画像データとして生成された第１画像データに対して被写体認識処理を行い、生成した像面に存在する被写体３ａを検出する。検出部１１ｂは、テンプレートマッチング等の周知の画像処理によって、被写体認識処理を行う。検出部１１ｂは、パンフォーカス画像データとして合成された第２画像データに対しても第１画像データと同様に被写体認識処理を行う。検出部１１ｂは、第２画像データから被写体３ｂを検出する。
【００２１】
信号処理部１１ｃは、第１画像データのみから検出された被写体３ａについて第１測距処理を実行することにより距離データを生成する。第１測距処理は、撮像部１０ａが出力した受光信号に基づき距離を演算する処理である。信号処理部１１ｃは、第１画像データおよび第２画像データの両方から検出された被写体３ｂについて、第２測距処理を実行することにより距離データを生成する。第２測距処理は、撮像部１０ａおよび撮像部１０ｂの両方が出力した受光信号に基づき距離を演算する処理である。
【００２２】
図４は、第１測距処理の説明図である。図４（ａ）は１つのマイクロレンズ１０４および受光素子群１０５を被写体側から見た平面図であり、図４（ｂ）はマイクロレンズアレイ１０２および受光素子アレイ１０３を図２と同様の方向から見た断面図である。
【００２３】
信号処理部１１ｃは、第１測距処理において図４（ａ）に斜線で示した範囲にある合計６個の受光素子１０６からの受光信号を使用して測距を行う。これら６個の受光素子１０６は、３つの受光素子１０６Ｌおよび３つの受光素子１０６Ｒに分けられる。３つの受光素子１０６Ｌおよび３つの受光素子１０６Ｒは、マイクロレンズ１０４の光軸を通る直線Ｌについて線対称な位置に配置されている。なお、合計６個の受光素子１０６を測距処理に用いることは一例であり、使用する受光素子の数は６個に限定されず、受光素子群１０５に含まれる受光素子１０６の数に基づいて任意に決定しても構わない。
【００２４】
図４（ｂ）に示した８つのマイクロレンズ１０４の各々について、３つの受光素子１０６Ｌからの受光信号を加算した信号ａ（０）、ａ（１）、ａ（２）、…、ａ（７）と、３つの受光素子１０６Ｒからの受光信号を加算した信号ｂ（０）、ｂ（１）、ｂ（２）、…、ｂ（７）とを、信号処理部１１ｃは生成する。信号処理部１１ｃは、このようにして生成した一対の信号列ａ（ｉ）、ｂ（ｉ）の間で相関演算を行い、相関量を算出する（ｉ＝０〜７）。ここで、相関量の算出は一般に知られた演算を用いることができる。制御部１１は、ａ（ｉ）とｂ（ｉ）とを少しずつシフトさせて繰り返し相関演算を行い、シフト量ごとの相関量を算出する。信号処理部１１ｃは、相関量が極大となるシフト量を特定する。ここで特定されるシフト量は、撮像光学系１０１の現在の結像位置と被写体が撮像素子に結像する位置の差に対応している。信号処理部１１ｃは、撮像光学系１０１の現在の焦点距離、特定したシフト量を用いて被写体ｂまでの距離を算出する。
【００２５】
なお、一対の信号列ａ（ｉ）、ｂ（ｉ）を得るために用いられる３つの受光素子１０６Ｌおよび３つの受光素子１０６Ｒは、受光素子群１０５の中で任意に決定することができる。例えば、２つの受光素子１０６Ｌおよび２つの受光素子１０６Ｒから一対の信号列ａ（ｉ）、ｂ（ｉ）を得てもよい。なお、受光素子１０６Ｌおよび受光素子１０６Ｒは、それぞれ４つ以上としてもよいし、それぞれ１つとしても良い。
【００２６】
第１測距処理は、被写体までの距離が一定距離以下である場合に精度の良い測距が可能である。第１測距処理は、被写体までの距離が一定距離を超えると、正しい距離を測定することができなくなる。その理由は、ある程度遠い被写体は一対の信号列ａ（ｉ）、ｂ（ｉ）の作成に用いる受光素子１０６Ｌおよび１０６Ｒから見たときに視差が小さくなるためである。この一定距離は、一対の信号列ａ（ｉ）、ｂ（ｉ）の作成に用いる受光素子１０６Ｌと１０６Ｒとの間隔（基線長）により決まる。基線長が長いほど、より遠くの被写体まで高い精度で測距を行うことができるが、撮像部１０の構成上、１つのマイクロレンズ１０４の大きさとマイクロレンズアレイ１０２のサイズ、および撮像光学系１０１のＦ値により基線長は制限される。
【００２７】
第２測距処理について説明する。信号処理部１１ｃは、第１画像データの１行分の画素値のうち第１画像データにおける被写体３ｂ上の画素値を第１信号列として取り出す。信号処理部１１ｃは、第２画像データの１行分の画素値から被写体３ｂの同一位置における画素値を第２信号列として取り出す。この第１信号列と第２信号列を用いて、上述した第１測距処理と同様の演算を行う。すなわち信号処理部１１ｃは、第１信号列と第２信号列との相関演算を、信号列同士を１画素ずつシフトさせながら繰り返し行い、相関が最も高くなるシフト量を求める。そして信号処理部１１ｃは、求めたシフト量に予め定められた係数を乗じることにより、被写体３ｂまでの距離を算出する。
【００２８】
前述の通り、基線長が長いほど、より遠くの被写体まで高い精度で測距を行うことができる。そして、第２測距処理における基線長は、撮像部１０ａと撮像部１０ｂとの距離である。この距離は、１つの撮像部１０ａもしくは１０ｂのマイクロレンズの大きさにより制約される第１測距処理における基線長よりも長い。従って、第２測距処理は、第１測距処理よりも遠くの被写体まで高い精度で距離を測定することが可能である。
【００２９】
なお、撮像部１０ａおよび撮像部１０ｂを設置する位置は、撮像部１０ａおよび撮像部１０ｂの撮像範囲と、上述した一定距離（単一の撮像部１０による受光信号だけで測距可能な距離）と、監視したい範囲とから適切に決定することが望ましい。具体的には、監視したい範囲内において、上述した一定距離から先の被写体は、両方の撮像部１０の撮像範囲に含まれるように撮像部１０を配置することが望ましい。例えば図３において、監視したい範囲４０を定め、上述した一定距離が符号４１で示す距離であったとすれば、符号４１で示す距離から先の範囲は、撮像部１０ａ、１０ｂの両方の撮像範囲に含まれるように撮像部１０ａ、１０ｂを配置する。撮像部１０ａ、１０ｂをこのように配置することで、監視したい範囲内において遠方の被写体の距離を確実に測定することができる。
【００３０】
なお、以上の説明において制御部１１は、被写体ごとに単一の距離を算出していたが、被写体の部分ごとに距離を算出し、いわゆるデプスマップを作成することも可能である。すなわち、制御部１１は、撮影画面内の各位置における被写体部分までの距離を二次元状に配列したデータを生成することも可能である。
【００３１】
なお、図１１（ａ）のように撮像部１０ａ、１０ｂ、１０ｃが３つの場合は、少なくとも２つの撮像部１０ａ、１０ｂおよび１０ｂ、１０ｃが同時に撮影できる範囲（図１１（ａ）の斜線部）に、撮像部１０ａ、１０ｂ、１０ｃのうちの１つによって距離情報を演算出来る距離Ｌｘより遠い距離にある監視対象の被写体が含まれるように撮像部１０ａ、１０ｂ、１０ｃを設置するのが好ましい。なぜなら、監視したい範囲内に位置する被写体が、距離Ｌｘより遠くにいたとしても、撮像部１０ａ、１０ｂ、１０ｃのうちの少なくとも２つの撮像部の撮影範囲に含まれていれば、距離情報を演算できるためである。図１１（ｂ）のように撮像部１０ａ、１０ｂが２つの場合は、２つの撮像部１０ａ、１０ｂが同時に撮影できる範囲（図１１（ｂ）の斜線部）に、２つの撮像部１０ａ、１０ｂのうちの１つによって距離情報を演算出来る距離Ｌｙより遠い距離にある監視対象の被写体が含まれるように撮像部１０ａ、１０ｂを設置するのが好ましい。以上のように撮像部を設置することにより、１つの撮像部で距離情報を演算出来る距離よりも遠方に位置する被写体であっても、距離情報を演算することができるので、監視対象範囲から距離情報が演算できない範囲をなくすことができる。
【００３２】
このように複数の撮像部１０を配置することは、リフォーカス処理が可能である範囲を考慮することでも同様に行うことができる。具体的には、撮像部１０ａ、１０ｂ、１０ｃのうちの１つが出力した受光信号に対してリフォーカス処理を行って所定の像面での画像データを生成できる距離に位置する被写体が、撮像部１０ａ、１０ｂ、１０ｃのうちの少なくとも２つが同時に撮影できる範囲（図１１（ａ）の斜線部）に含まれるように、撮像部１０ａ、１０ｂ、１０ｃを設置するのが好ましい。
【００３３】
以上のように構成された撮像装置１は、例えば防犯を目的とする監視カメラとして利用することができる。例えば図５のように、駐車場に配置された撮像装置１は、撮像装置１から近距離に位置する駐車列５１と、撮像装置１から遠距離に位置する駐車列５２とを同時に監視することができる。通常のカメラ（リフォーカス処理できないカメラ）が１つだけでは、近距離に位置する駐車列５１と遠距離に位置する駐車列５２で同時に距離を求めることができず、監視したい特定の被写体に合焦した画像が得られないことがある。また、リフォーカス処理が可能な撮像部１０を一台だけ設置した場合には、視差が小さい遠くの被写体について測距ができないおそれがあるが、上述した撮像装置１は２つの撮像部１０ａ、１０ｂを有しているので、撮像部１０ａと撮像部１０ｂにより基線長を長くして視差を大きくすることができ、より遠くの被写体について正確に測距することができる。
また、１回の撮像で、リフォーカス処理を行って所定の像面での画像を生成することができる画像データと、距離データとを同時に得ることができるので、例えば被写体である不審人物がどの駐車列に位置しているのかを示す距離データと、被写体の顔情報等を含む画像データとをタイムラグなしに得ることができる。特に、不審人物の不審行動のパターンを例えばディープラーニング等の機械学習により予め登録しておき、そのような不審行動が検出された場合には自動的に警備員等に通報するシステムとすることで、より効果的に防犯を行うことができる。従来の撮像装置であれば、合焦範囲が狭かったので、このように広範囲を監視対象としてカバーする場合には、より多数の撮像部が必要であった。また、リフォーカス処理を行って所定の像面での画像を生成することができる画像データと、近距離から遠距離までの距離データとを同時に得るためには、それぞれ複数の異なる装置を配置する必要があった。
【００３４】
従来の測距可能なカメラは、高い精度で測距可能な範囲が狭かったり、屋外では測定に用いる光源からの光以外の外光がカメラに入射してしまうので使えないといった問題があった。本実施の形態の方式では、高い精度で測距可能な範囲が広くなり測定用の光源を使っていないため、これらの問題が解決可能となる。
また、タイム・オブ・フライト（ＴＯＦ）装置などの三次元測距では測距点の色情報を得ることができなかったが本方式では色情報も取得可能である。
【００３５】
また、撮像装置１は、防犯目的以外の監視カメラとして活用することもできる。例えば、撮像装置１をショッピングモールに設置して、通路と店舗前とを撮像範囲に設定する。このようにすることで、通路の通行人と店舗前の顧客との両方について画像データと距離データを同時に得ることができ、顧客の動線や顧客の店舗での滞留時間等のマーケティング情報を得ることができる。
【００３６】
また、撮像装置１は、防犯目的と他の目的とを兼ね備えることも可能である。例えば、撮像装置１を宝石店に設置し、宝飾品が納められたショーケースと店舗前の通路とを撮像範囲に設定する。このようにすることで、ショーケースに収められた商品やそれに接近する窃盗犯の情報と、店舗前を通過する通行人や店舗に入ってくる顧客の情報とを同時に得ることができる。前者の情報は防犯目的に用いることができ、後者の情報はマーケティング目的に用いることができる。
【００３７】
同様に、撮像装置１は、自動販売機や自動券売機を監視するカメラや、航空施設・港湾施設等を監視するカメラ、駅改札口を監視するカメラ、列車の乗降扉と駅ホームとを監視するカメラなどに利用することができる。なお、列車の乗降扉と駅ホームとを監視する場合、撮像部１０を列車の乗降扉ごとに設置すれば、列車の乗降扉と駅ホームとを同時に監視することができる。
【００３８】
更に、撮像装置１は、自動車に設置されるいわゆるドライブレコーダとして用いることもできる。この場合、撮像装置１は、画像データのみならず、周囲の自動車などの距離データをも記録することができるので、例えば事故が発生した場合に、その事故が発生するに至った状況をより的確に把握することが可能となる。なお、撮像装置１をドライブレコーダ以外に運転支援（ブレーキ操作や操舵）や自動運転に用いられる、自動車に設置される撮像装置として用いてもよい。
【００３９】
また、本実施の形態における撮像装置１は、画像データを生成すると共に距離データを取得することができるよう構成されているので、従来の撮像装置では困難であった被写体交錯時の追尾を容易に行うことができる。被写体交錯時の追尾とは、例えば左から右に向かって歩く通行人を追尾しているときに、右から左に向かって歩く通行人が追尾対象の通行人とすれ違うような状況のことを指す。このような場合、従来の被写体形状や色等に基づく被写体追尾では、追尾対象と交錯した通行人が、その後の追尾対象になってしまうことがあった。本実施の形態に係る撮像装置１では、距離データを追尾処理に用いることができるので、そのような誤認識を避けることができる。
【００４０】
なお、撮像装置１は上述した用途以外にも好適に用いることができる。例えば地図を作成する際の測量などに撮像装置１を用いることが可能である。
【００４１】
上述した実施の形態によれば、次の作用効果が得られる。
（１）リフォーカス撮影ができる撮像部を撮影範囲が重なるように複数配置したので、単独の撮像部だけでは撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成できない距離に位置する被写体について、撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成することができる。また、複数の撮像部から出力された信号を用いて被写体の画像を生成するので、単独の撮像部だけでは撮像光学系の光軸方向の複数の位置における被写体うち第１被写体の画像を狭い間隔で生成できない距離に位置する被写体について、撮像光学系の光軸方向の複数の位置における被写体のうち第１被写体の画像を狭い間隔で生成することができる。
【００４２】
（２）制御部１１は、２つの撮像部からの信号により遠距離の被写体の距離データを演算し、２つの撮像部からの何れか一方の信号に基づき、近距離の被写体の距離データを更に演算する。このようにしたので、遠距離の被写体と近距離の被写体の両方について、距離を高い精度で測定することができる。
【００４３】
（３）制御部１１は、２つの撮像部１０ａ、１０ｂの各々の撮像範囲から被写体を検出する被写体検出部として機能する。制御部１１は、２つの撮像部１０ａ、１０ｂの撮像範囲から検出された被写体の距離データを、それぞれの受光信号に基づき演算する。このようにしたので、距離の測定対象とする被写体についてのみ距離を演算し、距離の測定対象以外の被写体については距離の演算を省略することができるので、測距演算にかかる時間を短くすることができる。
【００４４】
（４）制御部１１は、２つの受光信号のうちの少なくとも１つに基づき、被写体の画像データを作成する画像作成部として機能する。このようにしたので、距離データと画像データを１回の撮像で同時に得ることができる。また、画像データに対して顔検出等の画像処理を行う際、二次元の画像データだけでなく、距離データをも使うことができるので、顔検出等の画像処理における誤検出が少なくなる。
【００４５】
なお、撮像部１０の配置は、図３に例示した態様と異なっていてもよい。例えば図６（ａ）に例示するように、撮像部１０ａ、１０ｂのそれぞれの光軸Ｏが互いに交差するように内向きの角度をつけて撮像部１０ａ、１０ｂを配置してもよい。逆に、図６（ｂ）に例示するように、撮像部１０ａ、１０ｂのそれぞれの光軸Ｏが互いに交差しないように外向きの角度をつけて撮像部１０ａ、１０ｂを配置してもよい。
【００４６】
なお、撮像装置１は、３つ以上の撮像部１０を有していてもよい。例えば図７（ａ）に例示するように、３つ以上の撮像部１０を光軸Ｏが互いに平行になるように並列に配置してもよい。また、図７（ｂ）に例示するように、８つの撮像部１０をそれぞれの撮像部の光軸Ｏが放射状になるように配置してもよい。また、図７（ｃ）に例示するように、９つの撮像部１０を３行３列の配列で二次元状に配置してもよい。
【００４７】
なお、複数の撮像部１０により撮像される被写体の測距方法は、上述した測距方法と異なっていてもよい。例えば、撮像部１０ａの受光信号から作成された画像データと、撮像部１０ｂの受光信号から作成された画像データとを用いて、いわゆるステレオカメラで用いられる測距方法を適用することができる。つまり、そのような２つの画像データの間には、撮像部１０ａと撮像部１０ｂの視差によるずれが存在する。このずれは撮像部１０ａ、１０ｂからの距離に応じて変化するので、ずれ量を算出すればずれ量に所定の係数を乗じることで被写体の距離を求めることが可能である。
【００４８】
なお、測距処理の内容は、上述した実施の形態と異なっていてもよい。例えば、上述した実施の形態では、まず被写体の検出を行い、その被写体が一方の撮像部でのみ検出された場合には第１測距処理を、両方の撮像部で検出された場合には第２測距処理を、それぞれ実行していた。この測距処理以外にも、例えば信号処理部１１ｃは、まず撮像部１０ａの撮像範囲の全体について撮像部１０ａからの受光信号のみに基づく第１測距処理の実行を試みる。同様に信号処理部１１ｃは、撮像部１０ｂの撮像範囲の全体について撮像部１０ａからの受光信号のみに基づく第１測距処理の実行を試みる。撮像範囲に遠距離の被写体が含まれていた場合、遠距離の被写体は１つの撮像部から見た視差が小さいため、その被写体上の測距の精度は低下する。信号処理部１１ｃは、遠距離の被写体について、両方の撮像部からの受光信号に基づく第２測距処理を実行する。このようにすることで、被写体認識処理を省略することができる。
【００４９】
（第２の実施の形態）
第１の実施形態では、撮像部１０として２つのリフォーカスカメラを使用した構成の撮像装置を示したが、通常のカメラを複数配置したいわゆる多眼カメラで撮像装置を構成しても構わない。例えば図１の撮像部１０の代わりに、図８（ａ）に示した撮像部９９を複数有していてもよい。１つの撮像部９９は、撮像撮像光学系１０８と二次元状に配置された複数の受光素子を有する撮像素子１０９を有する。以下に説明する第２の実施形態における撮像部１００は、二次元状に配列された複数の撮像部９９を有する。
【００５０】
図８（ｂ）に、図８（ｃ）に例示した撮像部１００を２つ配置した様子を示す。このように、撮像部１０の代わりに撮像部１００を配置した撮像装置は、図１に例示した撮像装置１と同様の機能を有する。例えば、１つの撮像部１００が出力した受光信号から撮像光学系１０８の光軸方向の所定の像面での画像データを合成するリフォーカス処理を行うためには、撮像部１００が有する各撮像部９９で撮像して出力される受光信号を用いる。各撮像部９９は、撮像光学系１０８の光軸Ｏに垂直な方向において離れて配置されているため、それぞれの撮像部９９で撮像して出力される受光信号は視差を有している。各撮像部９９で撮像されて生成された撮像光学系１０８の光軸Ｏに垂直な方向にずれた画像データを処理することにより撮像光学系１０８の光軸方向の所定の像面での画像データを合成することができる。撮像光学系１０８の光軸方向に垂直な方向にずらすずらし量を変えた画像データを使用することで、合成される画像データの撮像光学系１０８の光軸方向の像面の位置を変えることができる。
【００５１】
上述した１つの撮像部１００に関するリフォーカス処理を２つの撮像部１００に適用することで、２つ撮像部１００による受光信号から所定の像面での画像データを合成できる。具体的には、被写体からの光が２つの撮像部１００の両方に入射している場合に、一方の撮像部１００の各撮像部９９で撮像して出力される受光信号と、他方の撮像部１００の各撮像部９９で撮像して出力される受光信号のうち、撮像光学系１０８の光軸方向に垂直な方向にずれた受光信号を使用して積算等の処理を行うことで、撮像光学系１０８の光軸方向の所定の像面での画像データを合成することができる。画像データを撮像光学系１０８の光軸方向に垂直な方向にずらすずらし量を変えることで、合成される画像データの撮像光学系１０８の光軸方向の像面の位置を変えることができる。
【００５２】
なお、図８（ｂ）のように２つの撮像部１００を用いることで、２つの撮像部１００の間隔が広くなり視差を大きくすることができる。そのため１つの撮像部１００では画像データを合成できなかった遠くの被写体について、撮像光学系１０８の光軸方向の範囲の像面の画像データを合成することができる。
【００５３】
また、測距処理については、各撮像部９９で撮像して出力される受光信号に基づく画像の視差量とレンズの光学特性（焦点距離等）に基づいて、撮像装置から被写体までの距離を演算することができる。なお、２つの撮像部１００を用いることで、撮像部１００同士の間隔が広くなり視差を大きくすることができるので、これにより、１つの撮像部１００では測距できなかった遠くの被写体の距離について高い精度で測距することができる。
【００５４】
なお、それぞれの撮像部１００が有する撮像部９９の撮像光学系１０８の光学特性（焦点距離、画角、Ｆ値等）は、同じでなくてもよい。また、１つの撮像部１００において、各撮像部９９の撮像光学系１０８の光学特性は同じでなくてもよい。
なお、上述したこと以外については、図１の撮像装置の場合と同様に適用することができる。
【００５５】
以上で説明した第２の実施の形態における撮像装置では単独の撮像部だけでは撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成できない距離に位置する被写体について、撮像光学系の光軸方向の複数の位置における被写体の画像を狭い間隔で生成することができる。
【００５６】
（第３の実施の形態）
第１の実施の形態に係る撮像装置１は、互いに同じ構成を有する２つの撮像部１０ａ、１０ｂを有していた。第３の実施の形態に係る撮像装置１００１は、それらとは異なる構成を有する撮像部１０ｘを有する。撮像部１０ｘを用いることで、２つの撮像部１０ａ、１０ｂしか用いない場合に比べて、被写体のより高解像な画像が生成される。以下、第３の実施の形態について説明する。なお、第１の実施の形態と同一の部材については第１の実施の形態と同一の符号を付し、説明を省略する。
【００５７】
図９は、第３実施の形態に係る撮像装置１００１を模式的に示す図である。撮像装置１００１は、第１の実施の形態と同様の撮像部１０ａ、１０ｂに加えて、撮像部１０ｘを備える。制御部１１は、第１の実施の形態と同様の生成部１１ａ、検出部１１ｂ、信号処理部１１ｃ、撮像制御部１１ｄに加えて、レンズ制御部１１ｅおよび駆動制御部１１ｆを有する。
【００５８】
撮像部１０ｘは、撮像光学系として変倍レンズ１００９を含む変倍光学系１０１０、マイクロレンズアレイ１０２、受光素子アレイ１０３、レンズ駆動部１０１１、およびパン・チルト駆動部１０１２を有する。レンズ制御部１１ｅの制御によりレンズ駆動部１０１１は、不図示のアクチュエータにより、変倍レンズ１００９を光軸ＯのＺ方向に駆動する。変倍レンズ１００９が駆動されると、変倍光学系１０１０の焦点距離が変化する。駆動制御部１１ｆの制御によりパン・チルト駆動部１０１２は、不図示のアクチュエータにより、撮像部１０ｘの向きを左右方向および上下方向に変化させる。
【００５９】
本実施の形態においては、撮像装置１００１を監視カメラとして用いる場合について説明する。監視カメラの使用者は検出したい被写体を注目対象として指定する。制御部１１は、注目対象の被写体の特徴データを不図示の入力部により予め読み込んでおく。特徴データとしては、例えばテンプレートマッチングに用いるテンプレートデータや、その他周知の画像処理に用いられる特徴量などである。
また、撮像部１０ａ、１０ｂ、１０ｘにより生成された画像に対して、信号処理部１１ｃが周知の被写体認識処理を行う。被写体認識処理により検出部１１ｂが検出した対象物を追尾するように駆動制御部１１ｆは、パン・チルト駆動部１０１２を駆動する。駆動制御部１１ｆは、検出された対象物が撮像部１０ｘの撮像範囲に入るようにパン・チルト駆動部１０１２を駆動して、撮像部１０ｘの撮像方向を変更する。
【００６０】
図１０は、撮像部１０ａ、１０ｂ、１０ｘの配置例を模式的に示す平面図である。撮像部１０ａ、１０ｂは、第１の実施の形態と同様に配置され、撮像部１０ｘは、撮像部１０ａと撮像部１０ｂの間に配置される。なお、撮像部１０ｘの向きおよび撮像範囲は変化するので、図１０では撮像部１０ｘの撮像範囲を図示していない。
【００６１】
生成部１１ａは、撮像部１０ａから出力される受光信号や撮像部１０ｂから出力される受光信号から生成した画像データに対して周知の被写体認識処理を実行し、検出部１１ｂは注目対象の被写体の検出をする。検出部１１ｂが注目対象の被写体を検出すると、駆動制御部１１ｆは撮像部１０ｘに注目対象の被写体の撮影を指示する。撮像部１０ｘは、その指示を受けると、レンズ駆動部１０１１およびパン・チルト駆動部１０１２を駆動して、特定した被写体の方向に光軸Ｏを変化させると共に、レンズ駆動部１０１１を制御して注目対象の被写体をズームする。
【００６２】
信号処理部１１ｃは、その後、撮像部１０ｘが有する受光素子アレイ１０３から出力される受光信号に基づき画像データおよび距離データを生成する。画像データおよび距離データの生成方法は、上述した第１の実施の形態と同様である。制御部１１は、作成した画像データおよび距離データを表示部１２に表示し、記憶部１３に記憶する。
【００６３】
以上のように、本実施の形態では、３つめの撮像部１０ｘが注目対象の被写体に対してパン・チルトしたりズームインしたりする。これにより、注目対象の被写体について、より大きなサイズの画像データ、すなわちより多くの画素からなる画像データを表示および記憶することができる。本実施の形態の撮像装置を監視カメラに用いた場合、３つめの撮像部１０ｘで撮像されて記憶された大きなサイズの画像データを用いることにより、撮影後に注目対象の被写体の行動が確認しやすくなる。
【００６４】
上述した実施の形態によれば、第１の実施の形態の作用効果に加えて、更に次の作用効果が得られる。
（５）撮像装置１００１は、撮像部１０ａ、撮像部１０ｂ、および撮像部１０ｘを備える。それら３つの撮像部１０のうち、１つの撮像部１０ｘは、撮像方向を可変に構成される。撮像部１０ｘは、３つの撮像部１０のいずれかにより撮像された所定の注目被写体に向けて撮像方向を変化させる。このようにしたので、例えば注目対象の被写体が撮像部１０ａや撮像部１０ｂの撮像範囲の端に少しだけしか写っていないような場合であっても、撮像部１０ｘにより、その注目対象の被写体をより大きく高解像に撮像することができる。
【００６５】
（６）撮像部１０ｘは、変倍レンズ１００９およびレンズ駆動部１０１１を有する。レンズ駆動部１０１１は、注目被写体の像がより大きく撮像されるように変倍レンズを駆動する。このようにしたので、注目対象の被写体について、その被写体にズームアップしたより大きなサイズの画像データを得ることができる。
【００６６】
なお、撮像部１０ｘは、マイクロレンズ１０４の屈折力を可変に構成してもよい。例えばマイクロレンズ１０４を液晶で構成した液晶レンズとする。液晶レンズは、印加する電圧を変化させることで屈折力が変化するレンズである。マイクロレンズ１０４の屈折力を１にした撮像部１０ｘは、通常のカメラと同様の受光信号を出力する。この受光信号からは、距離データを作成することはできないが、撮像部１０ａや撮像部１０ｂの受光信号から作成される画像データのように、１つのマイクロレンズ１０４に対して１つの画素が生成されるわけではないので、その画像データよりも高解像度の画像データを作成することができる。例えば、注目対象の被写体を検出するまでは、撮像部１０ｘを撮像部１０ａ、１０ｂと同様に、距離データを作成したり、複数の撮像部を組み合わせて距離データを作成するために利用する。そして、注目対象の被写体を検出した後は、撮像部１０ｘのマイクロレンズ１０４の屈折力を１にして、撮像部１０ｘを注目対象の被写体の画像データを得るためだけに用いる。このようにすることで、注目対象の被写体について、より高解像度の画像データを得ることができる。また、全ての撮像部について、マイクロレンズ１０４の屈折力を可変に構成してもよい。
【００６７】
また、撮像部１０ｘにマイクロレンズアレイ１０２を設けなくてもよい。この場合、撮像部１０ｘは、注目対象の被写体の画像データを得るためだけに用いられる。このようにすることで、注目対象の被写体についてより高解像度の画像データを得ることができる。
なお、各実施の形態の撮像部の受光素子としては、受光感度が可視光だけでなく、赤外光または紫外光に受光感度を有する受光素子を用いてもよい。このように可視光以外の光に受光感度を有する受光素子を用いることで、夜間等に人や動物等の被写体に赤外光や紫外光を照明して撮像することで、人や動物が照明光を気にしない状態で撮像することができ、特に監視カメラとして有効である。
【００６８】
（変形例）
なお、各実施の形態の撮像装置１００を複数設置して撮像システムを構成してもよい。例えば、撮像システムが第１の実施の形態の撮像装置１００を２台有し、第１の撮像装置１００と第２の撮像装置１００とで同じ被写体を撮像するように配置する。第１の撮像装置１００の撮像部１０の受光素子の数を第２の撮像装置の撮像部の受光素子の数よりも少なくし、第１の撮像装置をリアルタイムの表示用に用い、第２の撮像装置を記録用に用いる。第１の撮像装置は撮像素子の数が少ないため、リフォーカス処理や測距処理を行う場合の演算等の処理にかかる時間が短くなるので、リアルタイムの表示に適している。第２の撮像装置は撮像素子の数が多いため、リフォーカス処理や測距処理を行う場合の演算等の処理にかかる時間が長くなるので、受光信号を記録部に記録しておき、時間をかけて高画質の画像のリフォーカス処理や高精度の測距処理を行うことが可能である。
なお、第１の撮像装置の撮像部のマイクロレンズの数を第２の撮像装置の撮像部のマイクロレンズの数よりも少なくしてもよい。第１の撮像装置のマイクロレンズの数が少なくなると、リフォーカス処理や測距処理を行う場合の演算等の処理にかかる時間が短くなるので、リアルタイムの表示に適している。
【００６９】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第１９４６２８号（２０１６年９月３０日出願）
【符号の説明】
【００７０】
１、１００１…撮像装置、１０、１０ａ、１０ｂ、１０ｃ…撮像部、１１…制御部、１２…表示部、１３…記憶部、１０１…撮像光学系、１０２…マイクロレンズアレイ、１０３…受光素子アレイ、１０４…マイクロレンズ、１０５…受光素子群、１０６…受光素子
【図１】
2018062368.tif 000003
【図２】
2018062368.tif 000004
【図３】
2018062368.tif 000005
【図４】
2018062368.tif 000006
【図５】
2018062368.tif 000007
【図６】
2018062368.tif 000008
【図７】
2018062368.tif 000009
【図８】
2018062368.tif 000010
【図９】
2018062368.tif 000011
【図１０】
2018062368.tif 000012
【図１１】
2018062368.tif 000013
【図１２】
2018062368.tif 000014
【図１３】
2018062368.tif 000015
【図１４】
2018062368.tif 000016
【国際調査報告】
2018062368.tif 000017
2018062368.tif 000018
2018062368.tif 000019
2018062368.tif 000020