(57)【要約】【課題】補助的な照明系などを必要とせず、例えば監視対象となる被写体までの距離を求めることができ、それにより誤検出を抑制できる撮像装置を提供する。【解決手段】第１の個眼撮像光学系とは別に第２の個眼撮像光学系を設け、その第２の横倍率β２を、第１の横倍率β１と異ならせることで、被写体像の大きさの変化量（Ｄ−Ｂ）をより拡大して検出を容易に行えるようにした。【選択図】図１
2015220697.tif 000002
【特許請求の範囲】
【請求項１】
横倍率β１の複数の第１の個眼撮像光学系と、横倍率β１より大きい横倍率β２の第２の個眼撮像光学系とを有する複眼撮像光学系と、
前記第１の個眼撮像光学系を介して形成された被写体像と、前記第２の個眼撮像光学系を介して形成された被写体像とを光電変換して画像信号を出力する固体撮像素子と、を有する複眼撮像ユニットと、
前記複眼撮像ユニットを光軸方向に変位させる駆動装置と、
前記固体撮像素子から出力された画像信号を処理する画像処理部と、を有し、
通常撮像モード時には、前記第１の個眼撮像光学系を用いて撮像を行い、
特定被写体検出モード時には、前記駆動装置を駆動して、前記複眼撮像ユニットを光軸方向に所定量だけ変位させると共に、前記第２の個眼撮像光学系を用いて前記変位の前後で少なくとも２回の撮像を行い、
前記画像処理部は、前記特定被写体検出モード時における少なくとも２回の撮像による画像信号に基づいて、前記固体撮像素子の撮像面上に形成された被写体像の大きさの変化量を求めることを特徴とする撮像装置。
【請求項２】
前記画像処理部は、前記変位の前後の少なくとも２回の撮像による被写体像の大きさの変化量が基準値より小さい場合、当該被写体を遠距離被写体と認識することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、前記変位の前後の少なくとも２回の撮像による被写体像の大きさの変化量が基準値以上の場合、当該被写体を近距離被写体と認識することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像処理部は、前記大きさの変化量に基づいて、撮像した被写体までの距離を検出することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記横倍率β２は、以下の式を満たすことを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【数１】
2015220697.tif 000007
但し、
ｐｐ：使用する前記固体撮像素子の撮像面の画素ピッチ［ｍ］
ΔＬ：撮像面上における被写体像の大きさの変化量の基準画素数［定数］
ｘ：検出対象とする被写体までの距離［ｍ］
Ｌ：検出対象とする被写体の最小サイズ［ｍ］
δｘ：前記複眼撮像ユニットが変位する距離［ｍ］
【請求項６】
前記複眼撮像光学系は、前記横倍率β１及び前記横倍率β２とは異なる横倍率β３を有する第３の個眼撮像光学系を有することを特徴とする請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
前記複眼撮像光学系の被写体側を覆うカバー部材を設けたことを特徴とする請求項１〜６のいずれかに記載の撮像装置。
【請求項８】
前記固体撮像素子は、前記第１の個眼撮像光学系を介して形成された被写体像を光電変換する第１の撮像領域と、前記第２の個眼撮像光学系を介して形成された被写体像を光電変換する第２の撮像領域とを有し、前記第２の撮像領域の面積は、前記第１の撮像領域の面積より大きいことを特徴とする請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記第１の個眼撮像光学系を構成するレンズと、前記第２の個眼撮像光学系を構成するレンズとは一体に形成されていることを特徴とする請求項１〜８のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、小型で薄型であり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型イメージセンサ或いはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等の固体撮像素子に、アレイ状に配置された複数のレンズを用いて、複数の物体像を形成する複眼撮像ユニットを備えた撮像装置に関する。
【背景技術】
【０００２】
従来、撮像装置から得られた画像を利用し、侵入者を検出する自動監視カメラシステムでは、侵入者判定の基準として用いる基準画像と、カメラから時々刻々と入力される監視画像（入力画像）とを比較し、基準画像と監視画像との相違領域を分析し、侵入者を検出する画像処理が一般的に行われている。
【０００３】
ここで、例えば無害な昆虫などが撮像範囲に侵入した場合、被写体距離が長い場合には、撮像画面上で小さな点として認識されるのみであるので、侵入者判定のアルゴリズム上無視することが可能である。ところが、たまたま昆虫等が撮像装置に接近し、被写体距離が極端に短くなると、撮像された昆虫像が撮像画面上で比較的大きな面積を占めるため、侵入者判定のアルゴリズムに従い基準画像と比較して大きな相違が認識されることから、侵入者と誤って自動警報が発せられる恐れがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２１６６６号公報
【特許文献２】特開２０００−３５０１９１号公報
【特許文献３】特開２００５−３０３６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このような問題に対し特許文献１では、監視カメラのレンズ近傍に弱い光を投光することで、レンズ近傍に物体が存在していた場合には、これを浮かび上がらせて撮像を行い、その画像に基づいて虫か否かを判別することが行われている。ところが、かかる技術ではレンズの近傍に投光を行う照明系が必要になり、電源や配線等が複雑化するという問題がある。又、投光を行うことで侵入者に監視装置の存在を知らしめてしまい、カメラの死角に入られて監視不能となる恐れもある。
【０００６】
一方、特許文献２では、監視カメラのレンズに張り付いた虫がボヤけることを利用して非監視対象であると判定することが行われている。具体的には、撮像した画像を処理して輝度値分布を求め、所定の関数で近似することによって、撮像した映像を継続的に人が確認することなく、自動的に非焦点領域を非検出対象移動体と判定しており、これにより監視カメラのレンズに張り付いた虫等の非検出対象移動体と、侵入者等の検出対象移動体とを区別でき、非検出対象移動体による誤報を生じることなく、検出対象移動体を検出することができるとされている。ところが、特許文献２の技術は、監視カメラのレンズに張り付いた虫などの直近の被写体については有効に検出できるが、例えば監視カメラより１ｍ先を飛翔する虫など、ボケが小さい物体については侵入者と区別できず、誤検出が生じうるという問題がある。
【０００７】
更に特許文献３では、３つの短焦点レンズと１つの長焦点レンズを有する撮像装置において、短焦点レンズを用いて撮像した画像に、長焦点レンズを用いて撮像した画像をはめ込み、広画角を確保しつつ画像の一部の解像度を高めることが可能なものが開示されている。しかしながら、画像の一部の解像度を高めることができたとしても、それだけでは昆虫等と侵入者との判別はできない。
【０００８】
本発明は、このような課題点に鑑みてなされたものであり、補助的な照明系などを必要とせず、例えば監視対象となる被写体までの距離を求めることができ、それにより誤検出を抑制できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の撮像装置は、
横倍率β１の複数の第１の個眼撮像光学系と、横倍率β１より大きい横倍率β２の第２の個眼撮像光学系とを有する複眼撮像光学系と、
前記第１の個眼撮像光学系を介して形成された被写体像と、前記第２の個眼撮像光学系を介して形成された被写体像とを光電変換して画像信号を出力する固体撮像素子と、を有する複眼撮像ユニットと、
前記複眼撮像ユニットを光軸方向に変位させる駆動装置と、
前記固体撮像素子から出力された画像信号を処理する画像処理部と、を有し、
通常撮像モード時には、前記第１の個眼撮像光学系を用いて撮像を行い、
特定被写体検出モード時には、前記駆動装置を駆動して、前記複眼撮像ユニットを光軸方向に所定量だけ変位させると共に、前記第２の個眼撮像光学系を用いて前記変位の前後で少なくとも２回の撮像を行い、
前記画像処理部は、前記特定被写体検出モード時における少なくとも２回の撮像による画像信号に基づいて、前記固体撮像素子の撮像面上に形成された被写体像の大きさの変化量を求めることを特徴とする。
【００１０】
本発明の原理を、図面を参照して説明する。図１は、第１の個眼撮像光学系を用いて行った撮像により得られた被写体像と、第２の個眼撮像光学系を用いて行った撮像（但しβ２＞β１とする）により得られた被写体像の例を示している。ここで、例えば１枚の画面に、遠距離被写体ＦＯと近距離被写体ＮＯの双方が写っていたときに、被写体像自体は距離情報を持たないので、いずれが近距離被写体なのかを自動的に判別することはできない。そこで、本発明では複眼撮像ユニットを光軸方向に変位させて、その前後の少なくとも２回の撮像を行って、固体撮像素子の撮像面に結像される被写体像の大きさの変化量を求めるようにした。
【００１１】
具体的には、図２に示すように、被写体ＯＢＪまでの距離がｘ１の場合、撮像を行うと、図１（ａ）に示すような、第１の個眼撮像光学系を用いた被写体像が得られ、図１（ｂ）に示すような、第２の個眼撮像光学系を用いた被写体画像が得られる。更に、被写体ＯＢＪまでの距離を（ｘ１―δｘ）と変更して、撮像を行うと、図１（ｃ）に示すような、第１の個眼撮像光学系を用いた被写体像が得られ、図１（ｄ）に示すような、第２の個眼撮像光学系を用いた被写体像が得られる。図１において、近距離被写体ＮＯの幅（撮像面上のピクセル換算）をそれぞれＡ〜Ｄとする。
【００１２】
ここで、図１（ａ）に示す被写体像と、図１（ｃ）に示す被写体像とを比較したときに、遠距離被写体ＦＯの大きさは殆ど変わらないのに対し、近距離被写体ＮＯの大きさの変化量は大きくなる（後述する図３の説明参照）。つまり、被写体像の大きさの変化量を求めることで当該被写体までの距離が分かり、これにより遠距離被写体と近距離被写体とを区別できるのである。ところが、例えば監視カメラ等に撮像装置を用いる場合において、監視範囲を広げるために比較的広い画角での撮像が求められることが多いから、第１の個眼撮像光学系の第１の横倍率β１は比較的小さなものとしたい。すると、それに応じて近距離被写体ＮＯの大きさの変化量（Ｃ−Ａ）が小さくなってしまい、被写体像の大きさの変化量の検出が困難となる恐れがある。そこで、本発明においては、第１の個眼撮像光学系とは別に第２の個眼撮像光学系を設け、その第２の横倍率β２を、第１の横倍率β１より大きくすることで、図１（ｂ）、（ｄ）に示すように、被写体像の大きさの変化量（Ｄ−Ｂ）をより拡大して検出を容易に行えるようにしたのである。なお、変化量を、差の絶対値（｜Ｃ−Ａ｜及び｜Ｄ−Ｂ｜）としておけば、被写体ＯＢＪまでの距離を（ｘ１＋δｘ）としてもよい。
【００１３】
図３は、横軸に被写体距離（対数）をとり、縦軸に画素ピッチが１．７５μｍの固体撮像素子であって被写体の実寸が５０ｍｍのときの撮像された固体撮像素子上での画像の大きさ（画素数に換算）をとり、光学系の焦点距離ｆが、それぞれ２ｍｍ、４ｍｍ、８ｍｍのときの実寸５０ｍｍの被写体の固体撮像素子上での画像の大きさ（画素数）示したグラフである。焦点距離ｆは横倍率に対応する。図３において、例えば被写体距離１０ｍの位置に被写体がある場合、被写体距離が多少変化しても被写体像の大きさはほとんど変わらない。一方、たとえば被写体距離１ｍの位置に被写体がある場合、被写体距離が少し変化しただけで、被写体像の大きさが顕著に変化することが分かる。更に、近距離の被写体において、光学系の焦点距離ｆが長いほど（すなわち横倍率が大きいほど）、被写体像の大きさの変化量が増大することが分かる。すなわち、焦点距離が長くなるほど、近距離側での撮影倍率の変化が大きくなるために生ずる。
【００１４】
上述から明らかであるが、本発明によれば、通常撮像モード時には、第１の個眼撮像光学系を用いて撮像を行って監視作業を行いつつ、たとえば所定のインターバルで、特定被写体検出モードを用いて、複眼撮像ユニットを光軸方向に変位させ、第２の個眼撮像光学系を用いて、その変位前後の少なくとも２回の撮像を行うことで、画像処理部で被写体像の大きさの変化量を求めることで、撮像した被写体が近距離被写体か否かを判断できるのである。これにより、昆虫等の小動物が撮像装置に接近してきた場合に、画像処理部が近距離被写体と認識できるから、侵入者判定のアルゴリズム上無視することで誤警報の発生を抑制できるため、近距離被写体検出用の照明系などが不要となって電源や配線等が簡素化され、侵入者に気づかれる恐れも少ないというメリットがある。
【００１５】
第２の個眼撮像光学系の持つ横倍率β２が、被写体像の大きさの変化量に関与することとなる。従って、第２の個眼撮像光学系の横倍率β２を適切に選択することで、近距離被写体像の大きさや、検知したい被写体距離に応じた最適な構成を得ることができる。一方、第１の個眼撮像光学系を複数個設けることで、同じ画角の被写体画像を複数枚取得でき、これを用いて超解像処理することで高解像度化の実現を行うことができる。
【００１６】
請求項２に記載の撮像装置は、請求項１に記載の発明において、前記画像処理部は、前記変位の前後の少なくとも２回の撮像による被写体像の大きさの変化量が基準値より小さい場合、当該被写体を遠距離被写体と認識することを特徴とする。
【００１７】
撮像した被写体が遠距離被写体と認識した場合、例えば監視対象として注目度を上げる（侵入者と認識する範囲の閾値を広げる）などの処理を行うことができる。
【００１８】
請求項３に記載の撮像装置は、請求項１又は２に記載の発明において、前記画像処理部は、前記変位の前後の少なくとも２回の撮像による被写体像の大きさの変化量が基準値以上の場合、当該被写体を近距離被写体と認識することを特徴とする。
【００１９】
撮像した被写体が近距離被写体と認識した場合、例えば監視対象として無視する他、本撮像装置を車載用途に用いた場合など、近距離被写体を認識する衝突回避用のセンサとして用いることもできる。
【００２０】
請求項４に記載の撮像装置は、請求項１〜３のいずれかに記載の発明において、前記画像処理部は、前記大きさの変化量に基づいて、撮像した被写体までの距離を検出することを特徴とする。
【００２１】
複数の第１の個眼撮像光学系の視差を利用して被写体までの距離を求めることができるので、別個に測距センサを設けるなどの必要がない。
【００２２】
請求項５に記載の撮像装置は、請求項１〜４のいずれかに記載の発明において、前記横倍率β２は、以下の式を満たすことを特徴とする。
【００２３】
【数１】
2015220697.tif 000003
但し、
ｐｐ：使用する前記固体撮像素子の撮像面の画素ピッチ［ｍ］、
ΔＬ：撮像面上における被写体像の大きさの変化量の基準画素数［定数］
ｘ：検出対象とする被写体までの距離［ｍ］、
Ｌ：検出対象とする被写体の最小サイズ［ｍ］、
δｘ：前記複眼撮像ユニットが変位する距離［ｍ］
【００２４】
横倍率β２を数１式を満たすように設定することで、複眼撮像ユニットをδｘ変位させた際に、近距離にある被写体の像の大きさが基準画素数ΔＬだけ変化するような光学系になるから、基準画素数ΔＬを画像認識可能な値に設定することで、近距離にある被写体を容易に区別できることとなる。
【００２５】
請求項６に記載の撮像装置は、請求項１〜５のいずれかに記載の発明において、前記複眼撮像光学系は、前記横倍率β１及び前記横倍率β２とは異なる横倍率β３を有する第３の個眼撮像光学系を有することを特徴とする。
【００２６】
第２の個眼撮像光学系とは別に、横倍率β２とは異なる横倍率β３を持つ第３の個眼撮像光学系を用いることで、例えば第２の個眼撮像光学系は近距離被写体識別用、第３の個眼撮像光学系は中距離被写体識別用とするなど、異なる被写体距離にある近距離被写体を判別できるようになるので、高度な監視が可能になる。
【００２７】
請求項７に記載の撮像装置は、請求項１〜６のいずれかに記載の発明において、前記複眼撮像光学系の被写体側を覆うカバー部材を設けたことを特徴とする。
【００２８】
カバー部材を設けることで、被写体はそれ以上複眼撮像光学系に接近できないようになるから、カバー部材によって被写体の最近接距離を決めることができ、これにより撮像視野を同一の被写体で占有されてしまうことを防止することができる。撮像視野がすべて同一被写体で占有されてしまうと、倍率差を利用した被写体距離の検出が不能になるからである。具体的には、数１式の距離ｘより近くに被写体が入り込まないように、カバー部材を設けることが望ましい。
【００２９】
請求項８に記載の撮像装置は、請求項１〜７のいずれかに記載の発明において、前記固体撮像素子は、前記第１の個眼撮像光学系を介して形成された被写体像を光電変換する第１の撮像領域と、前記第２の個眼撮像光学系を介して形成された被写体像を光電変換する第２の撮像領域とを有し、前記第２の撮像領域の面積は、前記第１の撮像領域の面積より大きいことを特徴とする。
【００３０】
第１の撮像領域と第２の撮像領域の面積が同じである場合、第１の個眼撮像光学系の画角と第２の個眼撮像光学系の画角が異なるため撮影範囲が異なることとなり、第１の個眼撮像光学系を介して第１の撮像領域内に所定範囲の被写体像が形成されているが、第２の個眼撮像光学系を介して第２の撮像領域から同範囲の被写体像がはみ出して形成されることになり、それにより被写体像の大きさの変化量を正しく求めることができない恐れがある。そこで、第２の撮像領域の面積を、第１の撮像領域の面積より大きくすることで、第２の撮像領域から被写体像がはみ出すことを抑制し、被写体像の大きさの変化量を正しく求めることができる。又、第１の個眼撮像光学系を介した被写体像と、第２の個眼撮像光学系を介した被写体像とを比較することもできる。
【００３１】
請求項９に記載の撮像装置は、請求項１〜８のいずれかに記載の発明において、前記第１の個眼撮像光学系を構成するレンズと、前記第２の個眼撮像光学系を構成するレンズとは一体に形成されていることを特徴とする。
【００３２】
これにより、複眼撮像光学系を容易に精度良く形成できる。
【発明の効果】
【００３３】
本発明によれば、補助的な照明系などを必要とせず、例えば監視対象となる被写体までの距離を求めることができ、それにより誤検出を抑制できる撮像装置を提供することができる。
【図面の簡単な説明】
【００３４】
【図１】横倍率を異ならせた個眼撮像光学系において、被写体距離を変えて撮像を行った場合の被写体像を比較して示す図である。
【図２】被写体距離（ｘ１、Ｘ１―δｘ）を変えて撮像を行う状態を示す図である。
【図３】縦軸に被写体像の大きさをとり、横軸に被写体距離（対数）をとり、光学系の焦点距離ｆを変えて示すグラフである。
【図４】第１の実施の形態にかかる撮像装置を模式的に示す図である。
【図５】複眼撮像ユニットの断面図である。
【図６】複眼撮像光学系ＬＨを物体側から見た図である。
【図７】画像処理部ＰＲで行われる処理のフローの一例を示す図である。
【図８】ベイヤ信号を用いた補間処理を示す図である。
【図９】領域分割処理の概念を示す図である。
【図１０】画像処理部ＰＲで行われる処理のフローの一例を示す図である。
【図１１】オプティカルフローの概念を示す図である。
【図１２】第２の実施の形態にかかる撮像装置ＤＵの模式図である。
【図１３】第３の実施の形態にかかる撮像装置ＤＵの模式図である。
【図１４】第４の実施の形態にかかる撮像装置ＤＵに用いる複眼撮像光学系ＬＨを物体側から見た図である。
【図１５】第５の実施の形態にかかる撮像装置ＤＵに用いる固体撮像素子ＳＲの撮像面ＳＳを示す図である。
【図１６】第２の個眼撮像光学系により被写体像を結像される撮像領域を、第１の個眼撮像光学系により被写体像を結像される撮像領域と比較して示す図である。
【発明を実施するための形態】
【００３５】
（第１の実施の形態）
以下、本発明の実施の形態に係る撮像装置等を説明する。図４に、第１の実施の形態にかかる撮像装置を模式的に示す。図４に示すように、撮像装置ＤＵは、複眼撮像ユニットＬＵと、複眼撮像ユニットＬＵに連結された駆動部ＤＲと、駆動部ＤＲを制御する駆動制御部ＤＲＣと、Ａ／Ｄ変換部ＡＤと、被写体認識部ＰＲ１と演算部ＰＲ２とを備えた画像処理部ＰＲとを有する。撮像ユニットＬＵは、１つの撮像素子ＳＲと、その撮像素子ＳＲに対して微小な視差を有して同一の被写体の複数の像を形成する複眼撮像光学系ＬＨと、を有している。撮像素子ＳＲとしては、例えば複数の画素を有するＣＣＤ型イメージセンサ、ＣＭＯＳ型イメージセンサ等の固体撮像素子が用いられる。なお、図４においては本願発明に係る機能ブロックのみを示しており、画像処理部ＰＲは形成された複数の被写体像に対応する画像信号から高画質の1枚の画像を形成する機能等も有している。
【００３６】
駆動部ＤＲは、複眼撮像ユニットＬＵを光軸方向に変位させる機能を有し、例えばボイスコイルモータや、特開２０１４−６０８８５号などに記載されたＳＩＤＭ（登録商標）などのアクチュエータを駆動源として用いることができる。
【００３７】
図５は、複眼撮像ユニットＬＵの拡大断面図である。図６は、複眼撮像光学系ＬＨを物体側から見た図である。複眼撮像光学系ＬＨにおいて、物体側より順に、第１遮光部材ＳＨ１、第１アレイレンズＬＡ１、第２遮光部材ＳＨ２、第２アレイレンズＬＡ２、第３遮光部材ＳＨ３、第４遮光部材ＳＨ４が配置されており、これらは鏡枠ＨＬＤに保持されている。鏡枠ＨＬＤは、周囲壁ＨＬＤａと、その物体側に連結された物体側壁ＨＬＤｂとを有し、遮光性の樹脂、例えば黒色顔料等の着色剤を含む液晶ポリマー（ＬＣＰ）やポリフタルアミド（ＰＰＡ）等で形成されている。板材からなる第１遮光部材ＳＨ１は、複数（ここでは４×４）の開口絞りＳを形成している。
【００３８】
第１アレイレンズＬＡ１は、複数（ここでは４行４列に並べた１６個）の第１レンズ（個眼レンズ）Ｌ１Ａ、Ｌ１Ｂと、第１レンズ同士をつなげるフランジ部Ｌ１ｆとを一体に形成している。又、第２アレイレンズＬＡ２は、複数（ここでは４行４列に並べた１６個）の第２レンズ（個眼レンズ）Ｌ２Ａ、Ｌ２Ｂと、第２レンズ同士をつなげるフランジ部Ｌ２ｆとを一体に形成している。第１アレイレンズＬＡ１と第２アレイレンズＬＡ２は、それぞれが樹脂で一体で射出成形されている。開口絞りＳと、第１レンズＬ１Ａ、Ｌ１Ｂと、第２レンズＬ２Ａ、Ｌ２Ｂの光軸は一致しており、これにより個眼撮像光学系をそれぞれ構成する。
【００３９】
図６に示す左上の第１レンズＬ１Ｂと、それと同軸の第２レンズＬ２Ｂとで、第２の個眼撮像光学系を構成する。それ以外の１５個の第１レンズＬ１Ａと、それと同軸の第２レンズＬ２Ａとで、第１の個眼撮像光学系を構成する。第２の個眼撮像光学系の横倍率β２は、第１の個眼撮像光学系の横倍率β１より大きくなっている。但し、第２の個眼撮像光学系により被写体像を結像される撮像領域と、第１の個眼撮像光学系により被写体像を結像される撮像領域の面積は等しくなっている。なお、第１アレイレンズＬＡ１及び／又は第２アレイレンズＬＡ２は、ガラスモールドで一体成形されていても良いし、ガラス平板上にレンズ部が一体的に形成されたものであってもよい。
【００４０】
撮像素子ＳＲの光電変換部である撮像面ＳＳ上には、画素毎にＲＧＢのベイヤ配列のフィルタが設けられており、個眼撮像光学系を介して、それに対応した撮像領域毎に、被写体の光学像が形成されるようになっており、各々撮像素子ＳＲによって電気的な信号に変換される。但し、ベイヤ配列のフィルタを設ける代わりに、個々の個眼撮像光学系に対応した各撮像領域にＲ、Ｇ、Ｂの単色フィルタを設けるようにしても良い。
【００４１】
第４遮光部材ＳＨ４と撮像素子ＳＲとの間には、ＩＲカットフィルタＦと、撮像素子ＳＲの撮像面ＳＳを覆うカバーガラスＣＧとが物体側からこの順序で配置されている。各遮光絞りＳＨ２〜ＳＨ４は、各個眼レンズの各々に対応する開口部を持つ。鏡枠ＨＬＤの物体側壁ＨＬＤｂより物体側において、透明な素材からなるカバー部材ＣＶが物体側壁ＨＬＤｂ全体を覆うように取り付けられている。カバー部材ＣＶは球面状であっても良い。
【００４２】
以下、図１を参照しつつ、撮像装置ＤＵの動作について説明する。撮像装置ＤＵは通常撮像モードと、特定被写体検出モードとを取り得るようになっている。まず、通常撮像モード時には、複眼撮像光学系ＬＨの第１の個眼撮像光学系を介して、撮像素子ＳＲの撮像面ＳＳ上に１５個の個眼像を結像して、それに対応した電気信号を出力する。かかる電気信号は、Ａ／Ｄ変換部ＡＤに送信され、ここでＡ／Ｄ変換される。変換後のデジタル信号は、画像処理部ＰＲへと送信される。画像処理部ＰＲは、低画素の個眼像を合成して、１枚の高画素の被写体画像を形成するよう画像処理（再構成）を行って、その画像信号を外部へと出力する。
【００４３】
一方、特定被写体検出モード時（但し、本モード時と並行して第１の個眼撮像光学系を用いた撮像を行うことは可能である）には、図１を参照し、複眼撮像ユニットＬＵの第１の位置で、複眼撮像光学系ＬＨの第２の個眼撮像光学系を介して、撮像素子ＳＲの撮像面ＳＳ上に個眼像を形成して、それに対応した電気信号を出力する。その後、駆動部ＤＲの駆動により複眼撮像ユニットＬＵを光軸方向にδｘだけ変位させた後、同様に第２の個眼撮像光学系を介して、撮像素子ＳＲの撮像面ＳＳ上に個眼像を形成して、それに対応した電気信号を出力する。かかる電気信号は、Ａ／Ｄ変換部ＡＤでＡ／Ｄ変換された後、画像処理部ＰＲへと送信される。画像処理部ＰＲは、２つの信号間における各被写体像の大きさの変化量を被写体像毎にピクセル換算で求め、これを予め求めておいた相関関係（図３参照）に照らし合わせて、撮像された被写体毎に被写体距離を演算する。このとき、画像処理部ＰＲは、例えば変化量が基準値より小さい被写体を遠距離被写体と認識し、変化量が基準値以上の被写体を近距離被写体と認識できる。
【００４４】
尚、撮像装置ＤＵにカバー部材ＣＶを設けることで、被写体はそれ以上複眼撮像光学系ＬＨに接近できないようになるから、カバー部材ＣＶによって被写体の最近接距離を決めることができ、これにより撮像視野を同一の被写体で占有されてしまうことを防止することができる。撮像視野がすべて同一被写体で占有されてしまうと、倍率差を利用した被写体距離の検出が不能になるからである。
【００４５】
ここで、特定被写体検出モードにおける画像処理部ＰＲによる被写体の切り分けについて説明する。まず、第２の個眼撮像光学系により被写体像が結像される撮像領域に、いわゆるベイヤ配列のフィルタが形成されている場合を説明する。図７に、画像処理部ＰＲで行われる処理のフローの一例を示す。ベイヤ配列のフィルタが形成されている撮像領域からは、ＲＧＢのカラー情報を持つ信号（ベイヤ信号）が入力されるので、デモザイク処理により、３ｃｈのＲＧＢカラー画像を作成することができる。例えば、デモザイク処理は、以下の非特許文献１に記載の色相関補間方式を利用しても良い。
非特許文献１：蚊野浩、 デジタルカメラのしくみと画像処理、 IIEEJ、 Vol.41 o.3(2012)
【００４６】
画像処理部ＰＲの被写体認識部ＰＲ１は、図８に示すように、入力したベイヤ信号において、Ｒ、Ｇ、Ｂの色ごとにバイリニア法やバイキュービック法にて補間処理を施す。次に、補間処理したＲ、Ｇ、Ｂ各画像信号を、ローパスフィルタを通過させて平滑化（ＬＰＦ処理）する。そして、例えばＲの最終画像信号は、平滑化後の画像信号Ｒlpf、Ｇlpfの比に、平滑化前の画像信号Ｇの値をかけることで求める。画像信号Ｂについても同様である。また、Ｇの最終画像信号は、補間処理後の画像をそのまま利用する。
【００４７】
次に被写体認識部ＰＲ１は、各被写体を分離認識するために、領域分割処理を行う。図９に領域分割処理の概念を示す。ここでは、同一被写体は類似色で形成されていることを前提に、ＲＧＢ色空間を特徴空間として、画素単位で同じまたは同程度の画素値を持つ集合（クラス）ごとに分けるものとする。画素単位でクラス分けされた後、同じクラスに属する画素を取り出すことで領域分割、すなわち被写体の分離認識を行う。図９の例では、全体的に青色の被写体ＯＢＪｂは、ＲＧＢ色空間上で青色軸に沿って画素値が集まる傾向があり、全体的に緑色の被写体ＯＢＪｇは、ＲＧＢ色空間上で緑色軸に沿って画素値が集まる傾向があり、全体的に赤色の被写体ＯＢＪｒは、ＲＧＢ色空間上で赤色軸に沿って画素値が集まる傾向がある。これにより被写体を分離認識できる。
【００４８】
個々の被写体を認識した後、演算部ＰＲ２で処理を行う。具体的には、演算部１では、第２の個眼撮像光学系により結像された被写体像において、被写体認識部ＰＲ１で分割した各被写体ごとの面積、または最大幅をピクセル換算で求める。次に演算部２では、複眼撮像ユニットＬＵの少なくとも２種類の位置（第１の位置及び、第１の位置からδｘ変位した第２の位置）で撮像された異なるそれぞれの画像に関し、同一被写体間の大きさの差分量を算出する。
【００４９】
具体例をあげて説明する。使用する固体撮像素子ＳＲの撮像面の画素ピッチが１．７５μｍ、第１の個眼撮像光学系の焦点距離ｆ１＝２ｍｍ、第２の個眼撮像光学系の焦点距離ｆ２＝４ｍｍとする。そして、被写体距離５ｍの大きさ１８０ｃｍの被写体ＦＯと、および被写体距離０．１ｍの大きさ５ｃｍの被写体ＮＯとを撮像した後、複眼撮像ユニットＬＵ全体を光軸方向に２ｍｍ（δｘ）移動させ、もう１枚の画像を撮像したのち、上記領域分割処理を実施して被写体像を分離し、その大きさ（ここでは各被写体像の最大幅とする）を計算する。その結果、図１を参照して、１枚目の画像（図１（ｂ））では、被写体ＦＯの像が８２３ｐｉｘｅｌｓ、被写体ＮＯの像が１１４３ｐｉｘｅｌｓである一方、２枚目の画像（図１（ｄ））では被写体ＦＯの像が８２３ｐｉｘｅｌｓ、被写体ＮＯの像が１１６３ｐｉｘｅｌｓとなった。複眼撮像ユニットＬＵ全体を光軸方向に２ｍｍ移動することで、遠方の被写体ＦＯの像の大きさは不変だが、近傍の被写体ＮＯの像は固体撮像素子上で２３ｐｉｘｌｅｓも大きさが変化する。ここで、遠近判断の基準画素数を２０ｐｉｘｅlｓとすることで、被写体ＦＯが遠距離被写体であると認識でき、被写体ＮＯが近距離被写体であると認識できる。
【００５０】
更に、第２の個眼撮像光学系により被写体像が結像される撮像領域に、ベイヤ配列のフィルタが設けられていない場合について説明する。この場合、撮像領域から出力される信号（モノクロ信号）には色情報が含まれておらず、色ごとの画素値を特徴量として使用できないこととなる。かかる場合、図１０に示す被写体認識部ＰＲ１が、例えば、異なる時間に撮像された２枚の画像を利用した移動物体検出によるオプティカルフローを画素ごとに計算し、特徴量とすることができる。オプティカルフローとは、図１１に一例を示すように、２枚の画像間における各被写体の移動量をベクトルデータとして表現したものである。オプティカルフローの計算方法の１つとしては、異なる時間に撮像された２枚の画像間で、画素ごとにテンプレートマッチングを行い、画素単位で移動量を求める手法が挙げられる。もちろん、画素ごとではなく、あるサイズのブロック単位でも良い。例えば、特開平４−３２８６８９号公報に記載の方法を用いることができる。オプティカルフローが求まると、移動量（Ｘ、Ｙ）を特徴空間として、画素単位またはブロック単位でクラス分けを実施し、被写体の認識を行うことができる。
【００５１】
被写体認識後は、演算部ＰＲ２で上述と同様な処理を行う。上記オプティカルフローの算出は、前述のベイヤ画像に対しても可能である。デモザイク処理した後に、各ｃｈごとにオプティカルフローを計算し、３ｃｈの平均値などを用いることもできる。
【００５２】
（第２の実施の形態）
図１２は、第２の実施の形態にかかる撮像装置ＤＵの模式図である。本実施の形態は、図４の実施の形態に外部装置への指示部ＩＤが追加された例であり、例えば監視カメラ用途を想定したものである。上述したように、画像処理部ＰＲにて被写体間の光軸方向の相対位置を認識できるので、その情報を入力した指示部ＩＤは、距離が異なる被写体に合わせて異なる指示を外部装置へ出力することができる。
【００５３】
図１（ｂ）、（ｄ）の例で言えば、被写体ＮＯは被写体ＦＯよりも近距離にあることがわかり、監視カメラなどに撮像装置を用いた場合では、撮像装置近傍の昆虫や障害物の可能性が高くなる。よって、監視カメラ用途としては、この被写体ＮＯが移動または出現したとしても監視対象とは認識せず、遠方の被写体ＦＯのみに注目し、指示部ＩＤの動作判定部が侵入者判定のアルゴリズムに従い被写体ＦＯを異常と判断した場合には、指示部ＩＤを通して異常検知信号などを発信することができる。
【００５４】
（第３の実施の形態）
図１３は、第３の実施の形態にかかる撮像装置ＤＵの模式図である。本実施の形態は、図４の実施の形態の画像処理部ＰＲに対して、相対位置測定部ＰＲ３を更に備えた例であり、例えば衝突防止用の車載カメラ等の用途を想定したものである。
【００５５】
図１３の撮像装置ＤＵにおいて、例えば時刻Ｔ１において、複眼撮像ユニットＬＵの第１の位置及び、第１の位置から光軸方向にδｘ変位した第２の位置で第２の個眼撮像光学系を介して近距離被写体ＮＯを撮像したところ、その被写体像の大きさの変化量が１２ｐｉｘｌｅｓだったとする。一方、時刻Ｔ１より後の時刻Ｔ２において、複眼撮像ユニットＬＵの第１の位置及び、第１の位置から光軸方向にδｘ変位した第２の位置で第２の個眼撮像光学系を介して近距離被写体ＮＯを撮像したところ、その被写体像の大きさの変化量が２４ｐｉｘｌｅｓに拡大したとする。その結果、図３を参照して時刻Ｔ１より後の時刻Ｔ２のほうが大きさの変化量が大きいから、相対位置測定部ＰＲ３は、被写体ＮＯが複眼撮像ユニットＬＵに近づいてきたと判定する。単位時間あたりのこの変化量が、ある閾値を超えた場合には、図１２に示す指示部ＩＤの動作判定部において異常と判断し、指示部ＩＤを通して衝突警告信号などを発信することができる。
【００５６】
（第４の実施の形態）
図１４は、第４の実施の形態にかかる撮像装置ＤＵに用いる複眼撮像光学系ＬＨを物体側から見た図であるが、レンズの並びは３行３列とする。本実施の形態では、第１の個眼撮像光学系及び第２の個眼撮像光学系とは別に、第３の個眼撮像光学系（レンズＬ１Ｃを含む）を設けている。第３の個眼撮像光学系の横倍率β３は、第１の個眼撮像光学系の横倍率β１及び第２の個眼撮像光学系の横倍率β２と異なっている。
【００５７】
本実施の形態によれば、第１の個眼撮像光学系は通常の撮像用であり、第２の個眼撮像光学系及び第３の個眼撮像光学系は、それぞれ異なる被写体距離の被写体を認識するために用いる。例えば、第２の個眼撮像光学系の横倍率β２を、被写体距離ｘ２、被写体の最小サイズＬ２を認識できるようにする場合、数２式を満たすようにする。尚、数２式中の各符号において、数１式と共通するものは同じ意味を持つ。
【００５８】
【数２】
2015220697.tif 000004
【００５９】
一方、第３の個眼撮像光学系の横倍率β３を、被写体距離ｘ３（＞ｘ２）、被写体の最小サイズＬ３を認識できるようにする場合、数３式を満たすようにする。尚、数３式中の各符号において、数１式と共通するものは同じ意味を持つ。
【００６０】
【数３】
2015220697.tif 000005
【００６１】
そして、第１の個眼撮像光学系の横倍率β１は、所望の画角を満たす焦点距離ｆ１、主に撮像する被写体距離をｘ１とすれば、数４式より決められる。
【００６２】
【数４】
2015220697.tif 000006
【００６３】
本実施の形態の場合には、第１の個眼撮像光学系を用いて、主に被写体距離ｘ１の被写体を撮像しつつ、第２の個眼撮像光学系を用いて被写体距離ｘ２の被写体を認識でき、さらに第３の個眼撮像光学系を用いて、被写体距離ｘ３（＞ｘ２）の被写体を認識することができる。例えば、固体撮像素子の画素ピッチが１．７５μｍ、第２の個眼撮像光学系（横倍率β２）の焦点距離ｆ２＝４ｍｍとする。また、被写体距離ｘ１、および（ｘ１―δｘ）で撮像した際に、像の大きさの変化の判断とする基準画素数ΔＬ＝２０ｐｉｘｅｌｓ、複眼撮像ユニットの移動量δｘ＝２ｍｍとする。このとき、第２の個眼撮像光学系で、被写体距離ｘ２＝０．１ｍ、被写体サイズＬ２＝５０ｍｍのものを撮像した際には、複眼撮像ユニットの移動前後で２３ｐｉｘｌｅｓ＞ΔＬの変化が生じる。しかし、ｘ２＝０．２ｍとすると、移動前後の大きさの差は、６ｐｉｘｅｌｓ＜ΔＬしか発生せず、認識が難しくなる。そこで、上式において、ｘ３＝０．２ｍ、被写体サイズＬ３＝５０ｍｍとして計算し、第３の個眼撮像光学系（横倍率β３）の焦点距離ｆ３＝１３．９ｍｍとすると、複眼撮像ユニットの移動前後で２０ｐｉｘｌｅｓ≧ΔＬの変化が生じるため、被写体距離ｘ３の被写体も認識できるようになる。
【００６４】
（第５の実施の形態）
図１５は、第５の実施の形態にかかる撮像装置ＤＵに用いる固体撮像素子ＳＲの撮像面ＳＳを示す図である。上述した実施の形態では、第２の個眼撮像光学系により被写体像を結像される撮像領域の面積Ｓ２（図１６（ａ））を、第１の個眼撮像光学系により被写体像を結像される撮像領域の面積Ｓ１（図１６（ｂ））と等しくしている。ここで、第２の個眼撮像光学系の横倍率β２が、第１の個眼撮像光学系の横倍率β１より大きい場合、特に近距離被写体ＮＯについては、図１６（ａ）に示すように見切れてしまう（画像の一部が撮像領域からはみ出してしまう）可能性がある。被写体が見切れてしまうと、正確に被写体像の大きさの変化を計算できない恐れがある。そこで、図１５に示すように、第２の個眼撮像光学系により被写体像を結像される撮像領域（第２の撮像領域）の面積Ｓ２を、第１の個眼撮像光学系により被写体像を結像される撮像領域（第１の撮像領域）の面積Ｓ１より大きくしている。これにより、図１６（ｃ）に示すように、近距離被写体ＮＯが見切れることを抑制できる。
【符号の説明】
【００６５】
ＡＤ            Ａ／Ｄ変換部
ＣＧ            カバーガラス
ＣＶ            カバー部材
ＤＲ            駆動部
ＤＲＣ            駆動制御部
ＤＵ            撮像装置
Ｆ            ＩＲカットフィルタ
ＦＯ            遠距離被写体
ＨＬＤ            鏡枠
ＩＤ            指示部
ＩＬ            個眼撮像光学系
Ｌ１Ａ、Ｌ１Ｂ        レンズ
Ｌ２Ａ、Ｌ２Ｂ        レンズ
ＬＡ１            アレイレンズ
ＬＡ２            アレイレンズ
ＬＨ            複眼撮像光学系
ＬＵ            複眼撮像ユニット
ＮＯ            近距離被写体
ＰＲ            画像処理部
ＰＲ１            被写体認識部
ＰＲ２            演算部
ＰＲ３            相対位置測定部
ＳＨ１〜ＳＨ４        遮光部材
ＳＲ            固体撮像素子
ＳＳ            撮像面
【図１】
2015220697.tif 000008
【図２】
2015220697.tif 000009
【図３】
2015220697.tif 000010
【図４】
2015220697.tif 000011
【図５】
2015220697.tif 000012
【図６】
2015220697.tif 000013
【図７】
2015220697.tif 000014
【図８】
2015220697.tif 000015
【図９】
2015220697.tif 000016
【図１０】
2015220697.tif 000017
【図１１】
2015220697.tif 000018
【図１２】
2015220697.tif 000019
【図１３】
2015220697.tif 000020
【図１４】
2015220697.tif 000021
【図１５】
2015220697.tif 000022
【図１６】
2015220697.tif 000023