(57)【要約】【課題】イメージセンサを複数設けることなく、広角画像と、広角画像の任意の領域の望遠画像とを同時に撮像することができる小型で安価な撮像装置を提供する。【解決手段】広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系１２と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサ１７であって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサ１７と、広角光学系の撮影光軸の方向に対して望遠光学系の撮影光軸の方向を移動させるパン・チルト機構３２と、指向性センサ１７から広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部２２と、を備えている。【選択図】  図１１
2016012786.tif 000002
【特許請求の範囲】
【請求項１】
広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記広角光学系及び前記望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、
前記広角光学系の撮影光軸の方向に対して前記望遠光学系の撮影光軸の方向を移動させるパン・チルト機構と、
前記指向性センサから前記広角光学系を介して受光した広角画像と前記望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、
を備えた撮像装置。
【請求項２】
前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、
前記物体検出部により検出された物体の画像中における位置情報に基づいて前記パン・チルト機構を制御するパン・チルト制御部と、
を備えた請求項１に記載の撮像装置。
【請求項３】
前記物体検出部は、前記画像取得部が連続して取得した広角画像に基づいて動体を検出し、前記検出した動体を追尾対象の物体とする請求項２に記載の撮像装置。
【請求項４】
前記物体検出部は、前記画像取得部が取得した広角画像に基づいて特定の物体を認識し、前記認識した特定の物体を追尾対象の物体とする請求項２に記載の撮像装置。
【請求項５】
前記パン・チルト制御部は、前記物体検出部により検出した物体の画像中における位置情報に基づいて前記パン・チルト機構を制御し、前記検出した物体を少なくとも前記望遠画像の画角に入れる請求項２から４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えた請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は前記中央光学系に対して同心円状に配設された環状光学系である請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記環状光学系は、前記撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含む請求項７に記載の撮像装置。
【請求項９】
前記望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、該主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、
前記パン・チルト機構は、前記指向性センサの受光面に対して前記主反射光学系を直交２軸の各軸回り方向に傾動させるとともに、前記傾動させた前記主反射光学系の傾斜角の２分の１だけ前記副反射光学系を傾動させる請求項８に記載の撮像装置。
【請求項１０】
前記望遠光学系の焦点調整を行う焦点調整部を有する請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有する請求項１から１０のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に広角画像と望遠画像とを同時に取得することができる撮像装置に関する。
【背景技術】
【０００２】
近年、広角画像と望遠画像とを同時に取得可能な撮像装置が知られている。例えば、特許文献１には、広角レンズと、望遠レンズと、広角レンズを通して広角画像を撮像する撮像素子（第１のイメージセンサ）と、望遠レンズを通して望遠画像を撮像する撮像素子（第２のイメージセンサ）と、を備える撮像装置が記載されている。また、特許文献２には、撮像素子（イメージセンサ）の撮像面を２分割して、広角レンズを通して広角画像を撮像面の一方の領域で撮像し、且つ望遠レンズを通して望遠画像を撮像面の他方の領域で撮像する撮像装置が記載されている。
【０００３】
特許文献１に記載の撮像装置では、広角画像及び望遠画像を別々のイメージセンサで撮像するため、イメージセンサが２個必要となる。また、特許文献１に記載の撮像装置は、広角レンズにより撮像される光学画像と望遠レンズにより撮像される望遠画像とのパララックスを補正するために、望遠レンズの光軸を偏向させており、広角レンズと望遠レンズとが別々の位置に配置されていることから、撮像装置の小型化及び低コスト化を図ることができないという問題がある。また、特許文献２に記載の撮像装置は、イメージセンサの撮像面を２分割して広角画像と望遠画像とを撮像するため、イメージセンサを大型化する必要があり、実質的には２個のイメージセンサで撮像を行っている。その結果、特許文献２に記載の撮像装置においても小型化及び低コスト化を図ることができないという問題が発生する。
【０００４】
そこで、特許文献３では、焦点距離又は合焦距離が異なる複数の領域（例えば遠合焦距離、近合焦距離）を有する撮影レンズと、遠合焦距離及び近合焦距離をそれぞれ通過した光束を瞳分割して選択的に受光して撮像する撮像素子（指向性センサ）と、を有する撮像装置が提案されている。撮影レンズは、同一の光軸上に配置された中央光学系（広角レンズ）と、中央光学系の周辺部の環状光学系（望遠レンズ）とにより構成されている（特許文献３の段落００３８参照）。このような特許文献３の撮像装置は、撮影レンズの異なる領域を通過する光束を瞳分割し、瞳分割した光束に対応する複数の画像（広角画像、望遠画像）を１つのイメージセンサ（指向性センサ）により同時に撮像することができるので、撮像装置の小型化及び低コスト化を図ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−４８７０１号公報
【特許文献２】特開２００３−１１６０２９号公報
【特許文献３】特開２０１３−２０５７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献３の撮像装置では、同一光軸上に中央光学系（広角レンズ）と環状光学系（望遠レンズ）とが配置されているため、広角画像の中心と望遠画像の中心とは常に一致しており、広角画像の中心部の望遠画像しか得られないという問題がある。
【０００７】
また、広角レンズと望遠レンズとは互いに撮影光軸が固定されているため、仮に特許文献３に記載の撮像装置により物体の追尾のために望遠レンズを動かすと、広角系レンズ（広角画像）も動いてしまい、広角画像を基準にして望遠画像の位置（物体の位置）を求める場合には、広角画像の撮像領域変動分の補正計算が必要になり、計算が煩雑になるという問題がある。尚、望遠画像のみから物体の位置を検出し、物体を追尾する場合には、物体の移動速度によっては物体を見失う可能性がある。
【０００８】
本発明はこのような事情に鑑みてなされたものであり、イメージセンサを複数設けることなく、広角画像と、広角画像の任意の領域の望遠画像とを同時に撮像することができる小型で安価な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明の一の態様に係る撮像装置は、広角光学系と望遠光学系とがそれぞれ異なる領域に配置された撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、広角光学系及び望遠光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する指向性センサと、広角光学系の撮影光軸の方向に対して望遠光学系の撮影光軸の方向を移動させるパン・チルト機構と、指向性センサから広角光学系を介して受光した広角画像と望遠光学系を介して受光した望遠画像とをそれぞれ取得する画像取得部と、を備えている。
【００１０】
本発明の一の態様によれば、上記構成の撮影光学系及び指向性センサを含む撮像部（単一の撮像部）により、広角画像と望遠画像とを同時に取得することができ、特にパン・チルト機構により望遠光学系の撮影光軸の方向を、広角光学系に対して移動できるようにしたため、広角画像の任意の領域の望遠画像を取得（撮像）することができる。
【００１１】
本発明の他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出する物体検出部と、物体検出部により検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御するパン・チルト制御部と、を備えることが好ましい。
【００１２】
本発明の他の態様によれば、広角画像に基づいて追尾対象の物体を検出し、検出された物体の画像中における位置情報に基づいてパン・チルト機構を制御することにより、物体を望遠画像内に入れること（自動追尾すること）ができ、また、物体が高速で移動しても広角画像により物体を捉えることができるため、トラッキング逸脱が発生しない。更に、広角画像は固定されているため、パン・チルト機構を制御する際に必要な物体の位置の検出を容易に行うことができる。
【００１３】
本発明の更に他の態様に係る撮像装置において、物体検出部は、画像取得部が連続して取得した広角画像に基づいて動体を検出し、検出した動体を追尾対象の物体とすることが好ましい。追尾対象の物体は、移動するものであるため、動体の検出により所望の物体を検出することができる。
【００１４】
本発明の更に他の態様に係る撮像装置において、物体検出部は、画像取得部が取得した広角画像に基づいて特定の物体を認識し、認識した特定の物体を追尾対象の物体とすることが好ましい。例えば、特定の物体が人物である場合には、人物又は人物の顔を認識することで、追尾対象の物体を検出することができる。
【００１５】
本発明の更に他の態様に係る撮像装置において、パン・チルト制御部は、物体検出部により検出した物体の画像中における位置情報に基づいてパン・チルト機構を制御し、検出した物体を少なくとも望遠画像の画角に入れる。この場合、検出した物体が望遠画像の中心にくるようにパン・チルト機構を制御するようにしてもよいし、検出した物体が望遠画像の中心近傍の一定範囲内に入るようにパン・チルト機構を制御するようにしてもよい。
【００１６】
本発明の更に他の態様に係る撮像装置において、画像取得部が取得した広角画像及び望遠画像のうちの少なくとも望遠画像を記録する記録部を備えることが好ましい。これにより、記録された望遠画像を後日、確認することができる。また、望遠画像とともに広角画像も記録部に記録してもよく、この場合には、望遠画像の周囲の状況を確認することができる。
【００１７】
本発明の更に他の態様に係る撮像装置において、撮影光学系の広角光学系及び望遠光学系のうちの一方の光学系は、円形の中央光学系であり、他方の光学系は中央光学系に対して同心円状に配設された環状光学系であることが好ましい。円形の中央光学系と環状光学系とは、それぞれ回転対称の形状であるため、撮影光学系として好ましい。
【００１８】
本発明の更に他の態様に係る撮像装置において、環状光学系は、撮影光学系の望遠光学系であり、光束を２回以上反射させる反射光学系を含むことが好ましい。これにより、環状光学系の光軸方向の寸法を短くすることができ、撮像部をコンパクトにすることができる。
【００１９】
本発明の更に他の態様に係る撮像装置において、望遠光学系の反射光学系は、少なくとも光束を反射させる主反射光学系と、主反射光学系により反射した光束を更に反射させる副反射光学系とを有し、パン・チルト機構は、指向性センサの受光面に対して主反射光学系を直交２軸の各軸回り方向に傾動させるとともに、傾動させた主反射光学系の傾斜角の２分の１だけ副反射光学系を傾動させることが好ましい。このように主反射光学系と副反射光学系とを傾動させることにより、望遠光学系の撮影光軸の方向が変化しても、望遠像を指向性センサの受光面に直交するように入射させることができる。
【００２０】
本発明の更に他の態様に係る撮像装置において、望遠光学系の焦点調整を行う焦点調整部を有することが好ましい。望遠光学系は、広角光学系に比べて被写界深度が浅く、ボケやすいため、焦点調整を行うことが好ましい。尚、広角光学系にも焦点調整部を設けてもよいし、広角光学系には焦点調整部を設けず、広角光学系をパンフォーカスとしてもよい。
【００２１】
本発明の更に他の態様に係る撮像装置において、指向性センサは、瞳分割部として機能するマイクロレンズアレイ又は遮光マスクを有するものとすることができる。
【発明の効果】
【００２２】
本発明によれば、単一の撮像部により機械的な切替機構なしで広角画像と望遠画像とを同時に取得することができるため、装置の小型化及び低コスト化を図ることができ、かつ、望遠光学系の撮影光軸の方向を独立して移動させることができるため、広角画像の任意の領域の望遠画像を撮像することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る撮像装置の外観斜視図
【図２】撮像装置の撮像部の第１の実施形態を示す斜視図であり、特にパン・チルト機構の構造を示す図
【図３】撮像部を構成する撮影光学系の各光学部材の縦断面図
【図４】図２に示した撮影光学系のうちの広角光学系を示す斜視図
【図５】図２に示した撮影光学系のうちの望遠光学系を示す斜視図
【図６】図２に示した撮影光学系に光路を付加した図
【図７】広角光学系の光軸と望遠光学系の光軸とが一致している場合の、望遠光学系の各光学部材の縦断面図
【図８】望遠光学系の光軸が、所定のチルト角度θだけ傾いた状態の望遠光学系の各光学部材の縦断面図
【図９】指向性センサを構成するマイクロレンズアレイ及びイメージセンサの要部拡大図
【図１０】イメージセンサに配設されたカラーフィルタ配列等を示す図
【図１１】撮像装置の内部構成の実施形態を示すブロック図
【図１２】撮像された広角画像及び望遠画像の一例を示す図
【図１３】動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図
【図１４】本発明に係る撮像装置による自動追尾制御方法の一例を示すフローチャート
【図１５】本発明に係る撮像装置による自動追尾制御方法の他の例を示すフローチャート
【図１６】指向性センサの他の実施形態を示す側面図
【図１７】撮像装置に適用可能な撮像部の他の実施形態を示す断面図
【図１８】撮像装置の他の実施形態であるスマートフォンの外観図
【図１９】スマートフォンの要部構成を示すブロック図
【発明を実施するための形態】
【００２４】
以下、添付図面に従って本発明に係る撮像装置の実施の形態について説明する。
【００２５】
＜撮像装置の外観＞
図１は本発明に係る撮像装置の外観斜視図である。
【００２６】
図１に示す撮像装置１０は、自動車の車内に搭載される車載カメラ、あるいは特定の場所に設置される監視カメラである。撮像装置１０の前面には、撮影光学系１２が配置され、上面には記録スイッチ３８−１及び電源スイッチ３８−２などが設けられ、底面には固定用のステージ８が取り付けられている。尚、Ｌ１は撮影光学系１２のうちの後述する広角光学系１３の撮影光軸（以下、単に「光軸」という）を表す。
【００２７】
［撮像部の構成］
図２は、撮像装置１０の撮像部１１の第１の実施形態を示す斜視図であり、後述するパン・チルト機構３２（図１１）の要部構造を示している。
【００２８】
図２に示すように撮像部１１は、撮影光学系１２と指向性センサ１７とから構成されている。
【００２９】
＜撮影光学系＞
図３は、撮影光学系１２の光学部材の縦断面図である。
【００３０】
図２及び図３に示すように撮影光学系１２は、円形の中央光学系である広角光学系１３と、中央光学系（広角光学系１３）に対して同心円状に配設された環状光学系である望遠光学系１４とから構成されている。
【００３１】
広角光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角レンズであり、指向性センサ１７上に広角画像を結像させる。
【００３２】
望遠光学系１４は、第１レンズ１４ａ、主反射光学系としての第１反射ミラー１４ｂ、副反射光学系としての第２反射ミラー１４ｃ、及び共通レンズ１５から構成された反射式望遠レンズであり、指向性センサ１７上に望遠画像を結像させる。
【００３３】
図４及び図５は、それぞれ図２に示した撮影光学系１２のうちの広角光学系１３と望遠光学系１４とを分離して示した図である。
【００３４】
図４に示すように広角光学系１３は、撮像装置１０内の基台部１００に固定されたレンズ支持部１０２により支持されている。尚、指向性センサ１７も基台部１００に固定されたセンサ支持部１０４により支持されている。
【００３５】
一方、図５に示す望遠光学系１４は、第１ジンバル機構１２０及び第２ジンバル機構１３０を介して支持されている。これらの第１ジンバル機構１２０及び第２ジンバル機構１３０は、それぞれ基台部１００に対して広角光学系１３の光軸Ｌ１の方向（図５中の矢印ＡＢの方向）に移動自在な可動部１１０に配設されている。従って、基台部１００に対して可動部１１０（即ち、望遠光学系１４）を矢印ＡＢの方向に移動させることにより、望遠光学系１４の焦点調整を行うことができる。
【００３６】
第１ジンバル機構１２０は、片持ち式の２軸のジンバル機構であり、第１軸１２２Ａを中心にして回動する第１ジンバル１２２と、第２軸１２４Ａを中心にして回動する第２ジンバル１２４とを有し、第２ジンバル１２４にはレンズ支持枠１２６が固定されている。
【００３７】
第１ジンバル機構１２０の第１軸１２２Ａと第２軸１２４Ａとは、互いに軸方向が直交する直交２軸であり、広角光学系１３の光軸上で交差することが好ましい。また、レンズ支持枠１２６には、第１レンズ１４ａと第１反射ミラー１４ｂとが取り付けられている。
【００３８】
第２ジンバル機構１３０は、第１ジンバル機構１２０と同様に片持ち式の２軸のジンバル機構であり、第１軸１３２Ａを中心にして回動する第１ジンバル１３２と、第２軸１３４Ａを中心にして回動する第２ジンバル１３４とを有し、第２ジンバル１３４にはミラー支持枠１３６が固定されている。
【００３９】
第２ジンバル機構１３０の第１軸１３２Ａと第２軸１３４Ａとは、互いに軸方向が直交する直交２軸であり、広角光学系１３の光軸Ｌ１上で交差することが好ましい。また、ミラー支持枠１３６には、第２反射ミラー１４ｃが取り付けられている。
【００４０】
図６は、上記構成の撮影光学系１２の光路を示す図である。
【００４１】
広角光学系１３の第１レンズ１３ａを介して入射する被写体像は、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５（図３参照）を介して指向性センサ１７上に結像する。
【００４２】
また、望遠光学系１４の第１レンズ１４ａを介して入射した被写体像は、第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより２回反射された後、共通レンズ１５を介して指向性センサ１７上に結像する。第１反射ミラー１４ｂ及び第２反射ミラー１４ｃにより被写体像（光束）が折り返されることにより、焦点距離の長い望遠光学系の光軸方向の長さを短くしている。尚、第１反射ミラー１４ｂ及び第２反射ミラー１４ｃの少なくとも一方は、凹面又は凸面の球面ミラー、あるいは非球面ミラーであってもよいし、平面ミラーであってもよい。
【００４３】
＜パン・チルト機構＞
撮像装置１０のパン・チルト機構３２は、望遠光学系１４を水平方向（パン方向）及び垂直方向（チルト方向）に回動させ、望遠光学系１４の光軸Ｌ２の方向を移動させるものであり、図２等に示したように第１ジンバル機構１２０及び第２ジンバル機構１３０を含んでいる。
【００４４】
第１ジンバル機構１２０は、第１軸１２２Ａを中心にして第１ジンバル１２２を回動させることにより、第１レンズ１４ａ及び第１反射ミラー１４ｂを、第１軸１２２Ａの軸回り方向（パン方向）に回動させ、第１ジンバル機構１２０の第２軸１２４Ａを中心にして第２ジンバル１２４を回動させることにより、第１レンズ１４ａ及び第１反射ミラー１４ｂを第２軸１２４Ａの軸回り方向（チルト方向）に回動させる。
【００４５】
第２ジンバル機構１３０は、第１軸１３２Ａを中心にして第１ジンバル１３２を回動させることにより、第２反射ミラー１４ｃをパン方向に回動させ、第２ジンバル機構１３０の第２軸１３４Ａを中心にして第２ジンバル１３４を回動させることにより、第２反射ミラー１４ｃをチルト方向に回動させる。
【００４６】
図７は、広角光学系の光軸Ｌ１と望遠光学系１４の光軸Ｌ２とが一致している場合の、望遠光学系１４の各光学部材の縦断面図である。
【００４７】
即ち、図７に示す望遠光学系１４の光軸Ｌ２は、パン方向の角度（パン角度φ）及びチルト方向の角度（チルト角度θ）がともにゼロ（θ＝０，φ＝０）になっている。
【００４８】
図８は、望遠光学系１４の光軸Ｌ２が、所定のチルト角度θだけ傾いた状態の望遠光学系１４の各光学部材の縦断面図である。
【００４９】
図８に示すように、広角光学系１３の光軸Ｌ１の方向（指向性センサ１７の受光面に直交する方向）に対して、望遠光学系１４の光軸Ｌ２の方向をチルト角度θだけ下向きに傾ける（チルトさせる）場合、第１ジンバル機構１２０の第２ジンバル１２４をチルト角度θだけ回動させ、第１レンズ１４ａ及び第１反射ミラー１４ｂをチルト角度θだけ傾斜させるとともに、第２ジンバル機構１３０の第２ジンバル１３４をチルト角度θの２分の１の角度θ／２だけ回動させ、第２反射ミラー１４ｃを角度θ／２だけ傾斜させる。
【００５０】
このように、第１レンズ１４ａ及び第１反射ミラー１４ｂ（即ち、第１反射ミラー１４ｂを含み、第１反射ミラー１４ｂにより反射するまでの光学部材）を傾動させた傾斜角（チルト角度θ）に対して、その傾斜角（チルト角度θ）の２分の１の角度（角度θ／２）だけ第２反射ミラー１４ｃを傾動させることにより、望遠光学系１４の光軸Ｌ２の方向を変化させても、望遠像を指向性センサ１７の受光面に直交するように入射させることができる。
【００５１】
図８に示す例では、望遠光学系１４をチルト角度θだけ傾斜させた場合に関して説明したが、望遠光学系１４を水平方向にパン角度φ（図示せず）だけ傾斜させる場合には、広角光学系１３の光軸Ｌ１の方向に対して、第１ジンバル機構１２０の第１ジンバル１２２をパン角度φだけ回動させ、第１レンズ１４ａ及び第１反射ミラー１４ｂをパン角度φだけ傾斜させるとともに、第２ジンバル機構１３０の第１ジンバル１３２をパン角度φの２分の１の角度φ／２だけ回動させ、第２反射ミラー１４ｃを角度φ／２だけ傾斜させる。
【００５２】
上記のように望遠光学系１４をパン・チルト動作させ、望遠光学系１４の光軸の方向を移動させることにより、広角画像の任意の領域の望遠画像を取得（撮像）することができる。
【００５３】
＜指向性センサ＞
指向性センサ１７は、瞳分割部に相当するマイクロレンズアレイ１６と、イメージセンサ１８とから構成されている（図１１参照）。
【００５４】
図９は、図１１に示した指向性センサ１７を構成するマイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。
【００５５】
マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
【００５６】
また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の広角光学系１３及び望遠光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。
【００５７】
図９に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。
【００５８】
中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。
【００５９】
上記構成の撮像部１１によれば、後述するように広角光学系１３に対応する広角画像と、望遠光学系１４に対応する望遠画像とを同時に撮像することができる。
【００６０】
［イメージセンサの実施形態］
図１０は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図１０上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。
【００６１】
図１０（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
【００６２】
このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。
【００６３】
図１０（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図１０（ａ）の太枠で示したブロック、及び図１０（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。
【００６４】
図１０（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。
【００６５】
図１０（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図９に示した広角光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図９に示した望遠光学系１４を通過した光速が入射する受光セル）のグループとを示す。
【００６６】
図１０（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
【００６７】
一方、図１０（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。
【００６８】
具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。
【００６９】
また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００７０】
即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。
【００７１】
これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、望遠光学系１４に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。
【００７２】
＜撮像装置の内部構成＞
図１１は、撮像装置１０の内部構成の実施形態を示すブロック図である。
【００７３】
図１１に示すように撮像装置１０は、図２等で説明した広角光学系１３及び望遠光学系１４を有する撮影光学系１２と、図９及び図１０で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。
【００７４】
この撮像部１１は、望遠光学系１４の焦点調整を行う焦点調整部１９を備えることが好ましい。
【００７５】
焦点調整部１９は、図２等に示した可動部１１０（即ち、望遠光学系１４の全体又は一部の光学系）を、矢印ＡＢ方向（光軸Ｌ１の方向）に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系１３については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。
【００７６】
パン・チルト装置３０は、図２等に示したように望遠光学系１４をパン方向及びチルト方向に回動（傾動）させるパン・チルト機構３２（即ち、第１ジンバル機構１２０及び第２ジンバル機構１３０を含む機構）、パン駆動部３４及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角度φ）、及びチルト方向の傾き角（チルト角度θ）をそれぞれ検出する角度検出器を有している。角度検出器により検出されるパン角度φ及びチルト角度θは、パン・チルト装置３０をパン・チルト制御する際のフィードバック情報として使用することができる。
【００７７】
パン駆動部３４及びチルト駆動部３６は、それぞれサーボモータあるいはステッピングモータ、及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。
【００７８】
撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
【００７９】
イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。
【００８０】
これにより、イメージセンサ１８から広角光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、望遠光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
【００８１】
イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
【００８２】
画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
【００８３】
即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。
【００８４】
尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。
【００８５】
画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。
【００８６】
デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
【００８７】
即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。
【００８８】
一方、望遠画像は、図１０（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００８９】
具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。
【００９０】
上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
【００９１】
また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
【００９２】
デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、望遠画像のみを記録するようにしてもよい。
【００９３】
表示部４４は、デジタル信号処理部４０により処理された広角画像及び望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び望遠画像を再生することもできる。
【００９４】
一方、物体検出部５０は、画像取得部２２が取得した広角画像及び望遠画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するもので、望遠画像に基づいて物体を検出し、物体の広角画像中における位置情報を検出する第１の物体検出部５２と、望遠画像に基づいて物体を検出し、物体の望遠画像中における位置情報を検出する第２の物体検出部５４とを有している。
【００９５】
第１の物体検出部５２及び第２の物体検出部５４における物体の検出方法としては、人物の顔認識を行う技術に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。
【００９６】
物体認識による物体の検出方法は、特定の物体の見え方の特徴を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。
【００９７】
図１２（ａ）及び（ｂ）は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の実線で示した枠で囲まれた領域は、現在の望遠画像の撮像範囲を示しており、二点鎖線で示した枠で囲まれた領域は、過去及び未来の望遠画像の撮像範囲を示している。
【００９８】
いま、図１２（ａ）及び（ｂ）に示す広角画像及び望遠画像が撮像され、かつ特定の物体（図１２に示す例では、特定の自動車（ミニバン））を追尾対象とする場合、第１の物体検出部５２は、広角画像の画角内にミニバンが捉えられている限り、ミニバンの広角画像内の位置を検出することができる。
【００９９】
一方、第２の物体検出部５４は、望遠画像の画角内にミニバンが十分に捉えられている限り、ミニバンの望遠画像内の位置を検出することができるが、パン・チルト装置３０による自動追尾の性能や物体（ミニバン）の速度により、望遠画像の画角内にミニバンが全く又は一部しか捉えられていない場合には、ミニバンを認識することができず、ミニバンの望遠画像内の位置を検出することができない場合もある。
【０１００】
物体検出部５０（第１の物体検出部５２、第２の物体検出部５４）は、広角画像及び望遠画像のうちの少なくとも広角画像に基づいて追尾対象の物体を検出するため、物体が高速で移動しても広角画像により物体を捉えることができ、トラッキング逸脱が発生しない。
【０１０１】
第１の物体検出部５２により検出された物体の広角画像中の位置を示す位置情報、及び第２の物体検出部５４により検出された物体の望遠画像中の位置を示す位置情報は、パン・チルト制御部６０に加えられる。
【０１０２】
また、本例では、第１の追尾モード又は第２の追尾モードを選択するモード選択部５６が設けられている。第１の追尾モードは、第１の物体検出部５２により検出された物体の広角画像中の位置を示す位置情報のみをパン・チルト制御部６０に出力し、広角画像中の物体の位置情報に基づいてパン・チルト装置３０を制御するモードである。一方、第２の追尾モードは、第１の物体検出部５２及び第２の物体検出部５４を併用し、第２の物体検出部５４により検出された物体の望遠画像中の位置を示す位置情報もパン・チルト制御部６０に出力し、広角画像中の物体の位置情報及び望遠画像中の物体の位置を示す位置情報に基づいてパン・チルト装置３０を制御するモードである。
【０１０３】
パン・チルト制御部６０は、上記のように物体検出部５０から入力する画像中（広角画像中、望遠画像中）の物体の位置を示す位置情報に基づいてパン・チルト装置３０を制御する部分であり、画像中の物体の位置（例えば、追尾対象の物体の重心位置、又は物体の特徴部分の位置）が、望遠画像の中心位置（望遠光学系１４の光軸Ｌ２上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、望遠光学系１４の光軸Ｌ２の方向）を制御する。
【０１０４】
上記のパン・チルト機構３２の制御により、追尾対象の物体が望遠画像の中心にくるように、物体を自動追尾して撮像することができる。尚、画像中の物体の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合に限らず、画像中の物体の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。
【０１０５】
次に、第１の物体検出部５２及び第２の物体検出部５４における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。
【０１０６】
この場合、第１の物体検出部５２は、図１３に示すように時系列の２枚の広角画像（前回取得した広角画像（図１３（ａ）と、今回取得した広角画像（図１３（ｂ））の差分をとった差分画像（図１３（ｃ））を検出する。
【０１０７】
図１３（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。
【０１０８】
従って、図１３（ｃ）に示すように差分画像Ａ１，Ａ２は、物体Ａの移動により生じた画像である。
【０１０９】
ここで、差分画像Ａ１，Ａ２の重心位置を算出し、それぞれ位置Ｐ１，Ｐ２とし、これらの位置Ｐ１，Ｐ２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。
【０１１０】
このようして算出した広角画像中の物体Ａの位置Ｇが、望遠画像の中心位置（光軸Ｌ２上の位置）に移動するように、パン・チルト機構３２（即ち、望遠光学系１４の光軸Ｌ２の方向）を繰り返し制御することにより、物体Ａが望遠画像の中心位置に移動（収束）する。
【０１１１】
尚、第２の物体検出部５４も第１の物体検出部５２と同様に、望遠画像に基づいて追尾対象の物体（動体）を検出し、広角画像中の物体の位置を検出することができる。また、撮像部１１が移動（撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。
【０１１２】
＜自動追尾制御方法＞
図１４は、本発明に係る撮像装置による自動追尾制御方法の一例を示すフローチャートであり、モード選択部５６により第１の追尾モードが選択された場合に関して示している。
【０１１３】
図１４において、第１の物体検出部５２は、画像取得部２２から広角画像を取得し（ステップＳ１０）、取得した広角画像から追尾対象の物体を検出する（ステップＳ１２）。
【０１１４】
続いて、第１の物体検出部５２は、検出した物体の広角画像中の位置を示す位置情報を算出する（ステップＳ１４）。
【０１１５】
次に、パン・チルト制御部６０は、第１の物体検出部５２から広角画像中の物体の位置を示す位置情報を入力し、入力した位置情報に基づいて物体が望遠画像の中心にくるようにパン・チルト装置３０を制御する（ステップＳ１６）。
【０１１６】
一般的な写真レンズでは像の位置は光入射角の正接関数（tan)に比例するので、例えば、画像中心からのパン方向の物体の位置がｘであった場合、光学系を次式、
［数１］
φ＝arctan（ｘ／Ａ）
に示すパン角度φだけ回転（パン）させれば、物体を光学系の光軸中心にて捉えることができる。
【０１１７】
尚、上記［数１］式において、Ａは、焦点距離に対応する定数である。また、レンズの収差や意図的な設計によって［数１］式に示した関数からパン角度φがずれる場合には、そのずれ分を含む角度だけ光学系を回転させればよいことは言うまでもない。更に、画像中心からチルト方向に物体が移動（変位）している場合も、上記と同様に物体を光学系の光軸中心にて捉えるための光学系のチルト角θを求めることができ、求めたパン角度θだけ光学系を回転（チルト）させれば、物体を光学系の光軸中心にて捉えることができる。
【０１１８】
次に、自動追尾撮像が終了したか否かを判別し（ステップＳ１８）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ１８の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。尚、自動追尾撮像が終了したか否かを判別は、電源のオン／オフにより行ってもよいし、自動追尾撮像を行うか否かを示すスイッチ入力等により行ってもよい。
【０１１９】
図１５は、本発明に係る撮像装置による自動追尾制御方法の他の例を示すフローチャートであり、モード選択部５６により第２の追尾モードが選択された場合に関して示している。
【０１２０】
図１５において、ステップＳ１０、Ｓ１２及びＳ１４は、図１４に示したステップＳ１０、Ｓ１２及びＳ１４と同様の処理を行う。
【０１２１】
続いて、第２の物体検出部５４は、画像取得部２２から望遠画像を取得し（ステップＳ２０）、取得した望遠画像から追尾対象の物体を検出する（ステップＳ２２）。
【０１２２】
次に、第２の物体検出部５４は、ステップＳ２２において、物体が検出されたか否かを判別する（ステップＳ２４）。物体が検出された場合（「Yes」の場合）には、第２の物体検出部５４は、検出した物体の望遠画像中の位置を示す位置情報を算出する（ステップＳ２６）。一方、物体が検出されなかった場合（「No」の場合）には、ステップＳ３４に遷移させる。
【０１２３】
次に、パン・チルト制御部６０は、ステップＳ１４により検出された広角画像中の物体の位置情報、ステップＳ２２により検出された望遠画像中の物体の位置情報、及び角度検出器により検出されるパン・チルト機構３２の現在のパン角度φ及びチルト角度θを入力し、入力した位置情報及び角度情報に基づいて物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。
【０１２４】
ここで、パン・チルト制御部６０は、ステップＳ２４において、望遠画像から物体が検出されていないと判別されている場合には、ステップＳ１４により検出された広角画像中の物体の位置情報に基づいて、物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する。一方、ステップＳ２４において、望遠画像から物体が検出されていると判別されている場合には、望遠画像の取得時におけるパン角度φ及びチルト角度θと、ステップＳ２６により検出された望遠画像中の物体の位置情報とに基づいて、物体が望遠画像の中心位置にくるようにパン・チルト装置３０を制御する。望遠画像中の物体の位置情報を使用することにより、より精度の高い物体の自動追尾を行うことができる。
【０１２５】
次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ１０に遷移させる。これにより、上記ステップＳ１０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。
【０１２６】
＜指向性センサの他の実施形態＞
図１６は、指向性センサの他の実施形態を示す側面図である。
【０１２７】
この指向性センサ１７０は、瞳分割部に相当するマイクロレンズアレイ１６０及び遮光マスクとして機能する遮光部材１５０と、遮光部材１５０により受光セル１８０ａ、１８０ｂの一部が遮光されたイメージセンサ１８０とから構成されている。尚、遮光部材１５０により一部が遮光された受光セル１８０ａと受光セル１８０ｂとは、イメージセンサ１８０の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。
【０１２８】
マイクロレンズアレイ１６０は、イメージセンサ１８０の受光セル１８０ａ、１８０ｂと一対一に対応するマイクロレンズ１６０ａを有している。
【０１２９】
遮光部材１５０は、イメージセンサ１８０の受光セル１８０ａ、１８０ｂの開口を規制するものであり、図２等に示した撮影光学系１２の広角光学系１３及び望遠光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１６０の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
【０１３０】
受光セル１８０ａは、遮光部材１５０の遮光部１５０ａによりその開口の周辺部が遮光され、一方、受光セル１８０ｂは、遮光部材１５０の遮光部１５０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の広角光学系１３を通過した光束は、マイクロレンズアレイ１６０及び遮光部材１５０の遮光部１５０ａにより瞳分割されて受光セル１８０ａに入射し、一方、撮影光学系１２の望遠光学系１４を通過した光束は、マイクロレンズアレイ１６０及び遮光部材１５０の遮光部１５０ｂにより瞳分割されて受光セル１８０ｂに入射する。
【０１３１】
これにより、イメージセンサ１８０の各受光セル１８０ａから広角画像の画素信号を読み出すことができ、イメージセンサ１８０の各受光セル１８０ｂから望遠画像の画素信号を読み出すことができる。
【０１３２】
＜撮像部の他の実施形態＞
次に、本発明に係る撮像装置に適用される撮像部の他の実施形態について説明する。
【０１３３】
図１７は、撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。
【０１３４】
この撮像部は、撮影光学系２１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図３に示したものと同一であるため、以下、撮影光学系２１２について説明する。
【０１３５】
この撮影光学系２１２は、それぞれ円形の中央光学系である望遠光学系２１４とその周辺部の中央光学系（望遠光学系２１４）に対して同心円状に配設された環状光学系である広角光学系２１３とから構成されている。
【０１３６】
望遠光学系２１４は、第１レンズ２１４ａ、第２レンズ２１４ｂ、及び共通レンズ２１５から構成された望遠光学系であり、画角αを有している。
【０１３７】
広角光学系２１３は、レンズ２１３ａ及び共通レンズ２１５から構成された広角光学系であり、画角β（β＞α）を有し、望遠光学系２１４よりも広角である。
【０１３８】
この撮影光学系２１２は、図２等に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、円形の中央光学系が望遠光学系２１４であり、中央光学系に対して同心円状に配設された環状光学系が広角光学系２１３である点で相違する。
【０１３９】
尚、中央光学系である望遠光学系２１４は、広角光学系２１３の光軸の方向に対して、望遠光学系２１４の光軸の方向を相対的に移動できるものであることは言うまでもない。
【０１４０】
撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１４１】
＜スマートフォンの構成＞
図１８は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１４２】
図１９は、図１８に示したスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１４３】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１４４】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
【０１４５】
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
【０１４６】
操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１４７】
図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１４８】
尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１４９】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。
【０１５０】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１５１】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１５２】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１５３】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１５４】
ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
【０１５５】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０１５６】
電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１５７】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１５８】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１５９】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１６０】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１６１】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１６２】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１６３】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１６４】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１６５】
カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部５４１に前述した撮像装置１０を適用することができる。メカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン５００のように薄型の携帯端末に組み込むカメラ部として好適である。
【０１６６】
また、カメラ部５４１は、主制御部５０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
【０１６７】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１６８】
［その他］
本発明に係る撮像装置は、例えば、車載カメラ、監視カメラとして使用することができるが、その用途はこれに限定されるものではない。
【０１６９】
また、広角光学系の光軸の方向に対して望遠光学系の光軸の方向を移動させるパン・チルト機構は、ジンバル機構を使用したものに限らず、要は広角光学系とは独立して望遠光学系の光軸の方向を移動させることができるものであれば、如何なるものでもよい。
【０１７０】
更に、望遠光学系を反射式望遠レンズにより構成した場合、反射ミラーの枚数は２枚に限らず、３枚以上設けるようにしてもよい。また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。
【０１７１】
更にまた、本実施形態の撮影光学系は、それぞれ異なる領域に配置された広角光学系及び望遠光学系のうちの一方の光学系を円形の中央光学系とし、他方の光学系を中央光学系に対して同心円状に配設された環状光学系としたが、広角光学系と望遠光学系の形状は、本実施形態に限定されず、種々の形状のものが考えられる。
【０１７２】
また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１７３】
１０…撮像装置、１１…撮像部、１２、２１２…撮影光学系、１３ａ，１４ａ…第１レンズ、１３ｂ…第２レンズ、１３ｃ…第３レンズ、１３ｄ…第４レンズ、１３、２１３…広角光学系、１４、２１４…望遠光学系、１４ｂ…第１反射ミラー、１４ｃ…第２反射ミラー、１５…共通レンズ、１６、１６０…マイクロレンズアレイ、１６ａ、１６０ａ…マイクロレンズ、１７、１７０…指向性センサ、１８、１８０…イメージセンサ、１８ａ、１８０ａ、１８０ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、５０…物体検出部、５２…第１の物体検出部、５４…第２の物体検出部、６０…パン・チルト制御部、１００…基台部、１１０…可動部、１２０…第１ジンバル機構、１３０…第２ジンバル機構、１５０…遮光部材
【図１】
2016012786.tif 000003
【図２】
2016012786.tif 000004
【図３】
2016012786.tif 000005
【図４】
2016012786.tif 000006
【図５】
2016012786.tif 000007
【図６】
2016012786.tif 000008
【図７】
2016012786.tif 000009
【図８】
2016012786.tif 000010
【図９】
2016012786.tif 000011
【図１０】
2016012786.tif 000012
【図１１】
2016012786.tif 000013
【図１３】
2016012786.tif 000014
【図１４】
2016012786.tif 000015
【図１５】
2016012786.tif 000016
【図１６】
2016012786.tif 000017
【図１７】
2016012786.tif 000018
【図１８】
2016012786.tif 000019
【図１９】
2016012786.tif 000020
【図１２】
2016012786.tif 000021