(57)【要約】【課題】表示用の画像よりも広角の画像を使って自動追尾を行い、類似パターン以外のものが、ターゲット追従用のウィンドウに入ってくる確率を高め、誤った処理を減らすことが可能な追尾装置、追尾システム、及び表示装置を提供する。【解決手段】被写体位置検出部の検出した被写体の位置に応じて第１画像または第２画像を選択的に表示装置に表示させることで、類似パターン以外のものが、ターゲット追従用のウィンドウに入ってくる確率を高め、誤った処理を減らすことが可能となる。【選択図】図９
2016048824.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
前記画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、
前記被写体位置検出部の検出した被写体の位置に基づいて、前記追尾対象となる被写体を追尾するよう前記撮影光学系の姿勢を制御する追尾制御部と、
前記被写体位置検出部の検出した被写体の位置に応じて前記第１画像または第２画像を選択的に表示装置に表示させる表示制御部と、
を備える追尾装置。
【請求項２】
前記中央光学系から前記指向性センサに入射する光束の光路である第１光路に配置可能な第１赤外線カットフィルタと、
前記環状光学系から前記指向性センサに入射する光束の光路である第２光路に配置可能な第２赤外線カットフィルタと、
前記被写体位置検出部の検出した被写体の位置に応じて、前記第１赤外線カットフィルタの前記第１光路からの退出または前記第２光学フィルタの前記第２光路への挿入を制御するフィルタ制御部と、
をさらに備える請求項１に記載の追尾装置。
【請求項３】
前記表示制御部は、前記被写体位置検出部の検出した被写体の位置が前記第１画像内の特定の領域内である場合、前記第２画像を表示装置に表示させ、前記被写体位置検出部の検出した被写体の位置が前記第１画像内の特定の領域外である場合、前記第１画像を表示装置に表示させる請求項１に記載の追尾装置。
【請求項４】
前記画像読み出し装置から連続的に取得された前記第１画像および第２画像とともに、前記被写体位置検出部の検出した被写体の位置の履歴を記録媒体に記録させる記録制御部をさらに備える請求項１または２に記載の追尾装置。
【請求項５】
前記被写体の位置の履歴に同期して、前記記録媒体に記録された前記第１画像または第２画像を選択的に表示装置に再生させる再生制御部をさらに備える請求項４に記載の追尾装置。
【請求項６】
前記中央光学系は前記環状光学系より広角であり、
前記環状光学系は、光束を２回以上反射させる反射光学系を有する請求項１〜５のいずれか１項に記載の追尾装置。
【請求項７】
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
前記画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、
前記被写体位置検出部の検出した被写体の位置に基づいて、前記追尾対象となる被写体を追尾するよう前記撮影光学系の姿勢を制御する追尾制御部と、
前記被写体位置検出部の検出した被写体の位置に応じて前記第１画像または第２画像を選択的に出力可能な出力部と、
を備えた追尾装置と、
前記追尾装置から出力された前記第１画像または前記第２画像を表示させることが可能な表示装置と、
を備える追尾システム。
【請求項８】
それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、
２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、前記中央光学系及び前記環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、
前記中央光学系を介して受光した第１画像を示す画像信号と前記環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ前記指向性センサから取得する画像読み出し装置と、
前記画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、
前記被写体位置検出部の検出した被写体の位置に基づいて、前記追尾対象となる被写体を追尾するよう前記撮影光学系の姿勢を制御する追尾制御部と、
前記被写体位置検出部の検出した被写体の位置に応じて前記第１画像または第２画像を選択的に出力可能な出力部と、
を備えた追尾装置
【請求項９】
請求項８に記載の追尾装置から出力された前記第１画像または前記第２画像を表示させることが可能な表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は追尾装置、追尾システム、及び表示装置に関し、特に広角画像と望遠画像とを同時に撮像することができる追尾装置に関する。
【背景技術】
【０００２】
特許文献１のオートフォーカスシステムは、撮像手段と、撮像手段により撮像された撮影画像のうち、所定のＡＦエリア内の被写体にピントが合うようにフォーカス調整を行うオートフォーカス手段と、撮像された画像範囲内の被写体の移動に合わせてＡＦエリアを移動させる追尾手段と、ピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、撮影画像の中から、基準パターンに最も合致する被写体を検出する合致画像検出手段とを備え、検出された被写体の撮影画面内における移動量が所定値より小である場合には、被写体の画像で基準パターンを更新するとともに移動した被写体に合わせてＡＦ枠を更新し、また移動量が所定値以上である場合には追尾を中止する。これにより、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが存在しても確実に追尾対象を追尾する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４５９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のような従来のシステムで自動追従を行う場合、見ている画像と同じものを素材として、パターンマッチングなどにより追従を行う。類似パターンが多く存在する被写体がターゲットの場合、撮影時間の違う画像同士を対応づけることで、誤った処理を起こしやすい。
【０００５】
本発明はこのような事情に鑑みてなされたもので、表示用の画像よりも広角の画像を使って自動追尾を行い、類似パターン以外のものが、ターゲット追従用のウィンドウに入ってくる確率を高め、誤った処理を減らすことが可能な撮像装置、追尾システム、追尾装置、及び表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、被写体位置検出部の検出した被写体の位置に基づいて、追尾対象となる被写体を追尾するよう撮影光学系の姿勢を制御する追尾制御部と、被写体位置検出部の検出した被写体の位置に応じて第１画像または第２画像を選択的に表示装置に表示させる表示制御部と、を備える追尾装置を提供する。
【０００７】
本発明の第２の態様は、中央光学系から指向性センサに入射する光束の光路である第１光路に配置可能な第１赤外線カットフィルタと、環状光学系から指向性センサに入射する光束の光路である第２光路に配置可能な第２赤外線カットフィルタと、被写体位置検出部の検出した被写体の位置に応じて、第１赤外線カットフィルタの第１光路からの退出または第２光学フィルタの第２光路への挿入を制御するフィルタ制御部と、をさらに備える項１に記載の追尾装置を提供する。
【０００８】
本発明の第３の態様は、表示制御部は、被写体位置検出部の検出した被写体の位置が第１画像内の特定の領域内である場合、第２画像を表示装置に表示させ、被写体位置検出部の検出した被写体の位置が第１画像内の特定の領域外である場合、第１画像を表示装置に表示させる項１に記載の追尾装置を提供する。
【０００９】
本発明の第４の態様は、画像読み出し装置から連続的に取得された第１画像および第２画像とともに、被写体位置検出部の検出した被写体の位置の履歴を記録媒体に記録させる記録制御部をさらに備える項１または２に記載の追尾装置を提供する。
【００１０】
本発明の第５の態様は、被写体の位置の履歴に同期して、記録媒体に記録された第１画像または第２画像を選択的に表示装置に再生させる再生制御部をさらに備える項３に記載の追尾装置を提供する。
【００１１】
本発明の第６の態様は、中央光学系は環状光学系より広角であり、環状光学系は、光束を２回以上反射させる反射光学系を有する項１〜４のいずれか１項に記載の追尾装置を提供する。
【００１２】
本発明の第７の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、被写体位置検出部の検出した被写体の位置に基づいて、追尾対象となる被写体を追尾するよう撮影光学系の姿勢を制御する追尾制御部と、被写体位置検出部の検出した被写体の位置に応じて第１画像または第２画像を選択的に出力可能な出力部と、を備えた追尾装置と、追尾装置から出力された第１画像または第２画像を表示させることが可能な表示装置と、を備える追尾システムを提供する。
【００１３】
本発明の第８の態様は、それぞれ同一の光軸上に配置された中央部の中央光学系とその周辺部の環状光学系とからなる撮影光学系と、２次元状に配列された光電変換素子により構成された複数の画素を有する指向性センサであって、中央光学系及び環状光学系を介して入射する光束をそれぞれ瞳分割して選択的に受光する複数の画素を含む指向性センサと、中央光学系を介して受光した第１画像を示す画像信号と環状光学系を介して受光した第２画像を示す画像信号とをそれぞれ指向性センサから取得する画像読み出し装置と、画像読み出し部の取得した第１画像から追尾対象となる被写体の位置を検出する被写体位置検出部と、被写体位置検出部の検出した被写体の位置に基づいて、追尾対象となる被写体を追尾するよう撮影光学系の姿勢を制御する追尾制御部と、被写体位置検出部の検出した被写体の位置に応じて第１画像または第２画像を選択的に出力可能な出力部と、を備えた追尾装置を提供する。
【００１４】
本発明の第９の態様は、項８に記載の追尾装置から出力された第１画像または第２画像を表示させることが可能な表示装置を提供する。
【発明の効果】
【００１５】
この発明によると、被写体位置検出部の検出した被写体の位置に応じて第１画像または第２画像を選択的に表示装置に表示させることで、類似パターン以外のものが、ターゲット追従用のウィンドウに入ってくる確率を高め、誤った処理を減らすことが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明に係る自動追尾撮像装置の外観斜視図
【図２】自動追尾撮像装置の撮像部の第１の実施形態を示す断面図
【図３】図２に示したマイクロレンズアレイ及びイメージセンサの要部拡大図
【図４】イメージセンサに配設されたカラーフィルタ配列等を示す図
【図５】自動追尾撮像装置の内部構成の実施形態を示すブロック図
【図６】自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の周辺部に存在）及び望遠画像の一例を示す図
【図７】自動追尾撮像装置により撮像される広角画像（追尾対象が広角画像の中央部に存在）及び望遠画像の一例を示す図
【図８】動体を追尾対象の物体として検出する動体検出方法の一例について説明するために用いた図
【図９】本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャート
【図１０】指向性センサの他の実施形態を示す側面図
【図１１】自動追尾撮像装置に適用可能な撮像部の他の実施形態を示す断面図
【図１２】本発明の他の実施形態に係る追尾システムの内部構成の実施形態を示すブロック図
【発明を実施するための形態】
【００１７】
以下、添付図面に従って本発明に係る自動追尾撮像装置の実施の形態について説明する。
【００１８】
＜自動追尾撮像装置の外観＞
図１は本発明に係る自動追尾撮像装置の外観斜視図である。
【００１９】
図１（ａ）に示すように自動追尾撮像装置１０は、主として装置本体２と、撮像部１１と、パン・チルト装置３０（図５）と、撮像部１１を覆うドームカバー６とを有している。一例として、図１（ｂ）では、自動追尾撮像装置１０は、小型無人飛行機に取り付けられているが、その取付先は特に限られず、飛行機、ヘリコプター、車両、建物といった、各種の機器、構造物、移動体、飛翔物に取り付けることができる。
【００２０】
パン・チルト装置３０は、台座４と、台座４に固定されるとともに、撮像部１１を回動自在に保持する保持部８とを有している。
【００２１】
台座４は、装置本体２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図５）により垂直方向Ｚの軸を中心にして回転する。
【００２２】
保持部８は、水平方向Ｘの軸と同軸上に設けられたギア８Ａを有し、チルト駆動部３６（図５）からギア８Ａを介して駆動力が伝達されることにより、撮像部１１を上下方向に回動（チルト動作）させる。
【００２３】
ドームカバー６は、防塵及び防滴用のカバーであり、撮像部１１の光軸方向Ｌにかかわらず、撮像部１１の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。
【００２４】
また、装置本体２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。
【００２５】
［撮像部の構成］
図２（ａ）および図２（ｂ）は、自動追尾撮像装置１０の撮像部１１の第１の実施形態を示す断面図である。
【００２６】
図２（ａ）に示すように、撮像部１１は、撮影光学系１２と指向性センサ１７とから構成されている。
【００２７】
＜撮影光学系＞
撮影光学系１２は、それぞれ同一の光軸上に配置された、第１の光学系としての中央部の中央光学系１３と、その周辺部の同心円状の第２の光学系としての環状光学系１４とから構成されている。
【００２８】
中央光学系１３は、第１レンズ１３ａ、第２レンズ１３ｂ、第３レンズ１３ｃ、第４レンズ１３ｄ、及び共通レンズ１５から構成された広角光学系（広角レンズ）であり、指向性センサ１７を構成するマイクロレンズアレイ１６上に広角画像を結像させる。
【００２９】
環状光学系１４は、第１レンズ１４ａ、第２レンズ１４ｂ、反射光学系としての第１反射ミラー１４ｃ、第２反射ミラー１４ｄ、及び共通レンズ１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１６上に望遠画像を結像させる。第１レンズ１４ａ、及び第２レンズ１４ｂを介して入射した光束は、第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより２回反射された後、共通レンズ１５を通過する。第１反射ミラー１４ｃ及び第２反射ミラー１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向の長さを短くしている。
【００３０】
図２（ａ）に示すように、撮影光学系１２は、中央光学系１３の光路に挿入可能なフィルタ６３ａと、環状光学系１４の光路に挿入可能なフィルタ６３ｂを備える。フィルタ６３ａおよびフィルタ６３ｂは、赤外線をカットする光学特性を有している。
【００３１】
図２（ａ）に示すように、フィルタ６３ａは、中央光学系１３の光路に挿入されるか、あるいは図２（ｂ）に例示するように、当該光路から退出される。このフィルタ６３ａの挿入および退出の駆動は、後述のレンズＣＰＵ６５によって制御される不図示のドライバにより行われる。フィルタ６３ｂの挿入および退出の駆動も、レンズＣＰＵ６５によって制御されうる。
【００３２】
＜指向性センサ＞
指向性センサ１７は、マイクロレンズアレイ１６とイメージセンサ１８とから構成されている。
【００３３】
図３は、マイクロレンズアレイ１６及びイメージセンサ１８の要部拡大図である。
【００３４】
マイクロレンズアレイ１６は、複数のマイクロレンズ（瞳結像レンズ）１６ａが２次元状に配列されて構成されており、各マイクロレンズの水平方向及び垂直方向の間隔は、イメージセンサ１８の光電変換素子である受光セル１８ａの３つ分の間隔に対応している。即ち、マイクロレンズアレイ１６の各マイクロレンズは、水平方向及び垂直方向の各方向に対して、２つ置きの受光セルの位置に対応して形成されたものが使用される。
【００３５】
また、マイクロレンズアレイ１６の各マイクロレンズ１６ａは、撮影光学系１２の中央光学系１３及び環状光学系１４に対応する、円形の中央瞳像（第１の瞳像）１７ａ及び環状瞳像（第２の瞳像）１７ｂを、イメージセンサ１８の対応する受光領域の受光セル１８ａ上に結像させる。
【００３６】
図３に示すマイクロレンズアレイ１６及びイメージセンサ１８によれば、マイクロレンズアレイ１６の１マイクロレンズ１６ａ当たりに付き、格子状（正方格子状）の３×３個の受光セル１８ａが割り付けられている。以下、１つのマイクロレンズ１６ａ及び１つのマイクロレンズ１６ａに対応する受光セル群（３×３個の受光セル１８ａ）を単位ブロックという。
【００３７】
中央瞳像１７ａは、単位ブロックの中央の受光セル１８ａのみに結像し、環状瞳像１７ｂは、単位ブロックの周囲の８個の受光セル１８ａに結像する。
【００３８】
上記構成の撮像部１１によれば、後述するように中央光学系１３に対応する広角画像と、環状光学系１４に対応する望遠画像とを同時に撮像することができる。
【００３９】
［イメージセンサの実施形態］
図４は、イメージセンサ１８に配設されたカラーフィルタ配列等を示す図である。尚、図４上で、マイクロレンズアレイ１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１６の各マイクロレンズ１６ａにより瞳像が結像される３×３個の受光セルを含む単位ブロックを示している。
【００４０】
図４（ａ）に示すようにイメージセンサ１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。
【００４１】
このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）により構成されている。そして、各受光セル上には、ＲＧＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」という。
【００４２】
図４（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図４（ａ）の太枠で示したブロック、及び図４（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。
【００４３】
図４（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。
【００４４】
図４（ｃ１）及び（ｃ２）は、それぞれ４個の単位ブロックＢ１〜Ｂ４の中央の受光セル（図３に示した中央光学系１３を通過した光束が入射する受光セル）のグループと、周囲の８個の受光セル（図３に示した環状光学系１４を通過した光速が入射する受光セル）のグループとを示す。
【００４５】
図４（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。
【００４６】
一方、図４（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、かつ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。
【００４７】
具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。
【００４８】
また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００４９】
即ち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。
【００５０】
これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。
【００５１】
＜自動追尾撮像装置の内部構成＞
図５は、自動追尾撮像装置１０の内部構成の実施形態を示すブロック図である。
【００５２】
図５に示すように自動追尾撮像装置１０は、図２で説明した中央光学系１３及び環状光学系１４を有する撮影光学系１２と、図３及び図４で説明したマイクロレンズアレイ１６及びイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。
【００５３】
この撮像部１１は、望遠光学系（環状光学系１４）の焦点調整を行う焦点調整部１９を備えることが好ましい。焦点調整部１９は、例えば、環状光学系１４の全体又は一部の光学系を光軸方向に移動させるボイスコイルモータ等により構成することができる。また、望遠画像の合焦の判断は、望遠画像の焦点検出領域のコントラストにより行うことができるが、焦点調整方法はこれに限定されない。尚、広角光学系（中央光学系１３）については、別途、焦点調整部を設けるようにしてよいし、パンフォーカスとしてもよい。
【００５４】
パン・チルト装置（電動雲台）３０は、図１に示したように撮像部１１を装置本体２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。パン・チルト機構３２は、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。
【００５５】
パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。
【００５６】
撮像部１１は、撮影光学系１２及び指向性センサ１７を介して時系列の広角画像及び望遠画像を撮像するものであり、撮影光学系１２を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
【００５７】
イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。
【００５８】
これにより、イメージセンサ１８から中央光学系１３に対応する中央の受光セルのグループの広角画像を示す画素信号と、環状光学系１４に対応する周囲８個の受光セルのグループの望遠画像を示す画素信号とを読み出すことができる。尚、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，又は６０ｐ）で、広角画像及び望遠画像を示す画素信号が連続して読み出される。
【００５９】
イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
【００６０】
画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、広角画像を示す画素信号と望遠画像を示す画素信号とを同時に、又は選択的に取得することができる。
【００６１】
即ち、イメージセンサ１８の中央瞳像１７ａが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり１個の受光セル（３×３の受光セルの中央の受光セル）の広角画像を示す画素信号（ベイヤ配列のモザイク画像を示す画素信号）を取得することができ、一方、イメージセンサ１８の環状瞳像１７ｂが入射する受光セルの画素信号を選択的に読み出すことにより、１マイクロレンズ当たり８個の受光セル（３×３の受光セルの周囲の受光セル）の望遠画像を示す画素信号を取得することができる。
【００６２】
尚、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、広角画像と望遠画像の２つ画像の画素信号のグループ分けを行ってもよい。
【００６３】
画像取得部２２により取得された広角画像及び望遠画像を示す画素信号は、それぞれデジタル信号処理部４０及び物体検出部５０に出力される。
【００６４】
デジタル信号処理部４０は、入力するデジタルの画素信号（ＲＧＢの点順次のＲ信号、Ｇ信号、Ｂ信号）に対して、オフセット処理、ガンマ補正処理、及びＲＧＢのモザイク画像の信号に対するデモザイク処理等の所定の信号処理を行う。ここで、デモザイク処理とは、単板式のイメージセンサ１８のカラーフィルタ配列に対応したＲＧＢのモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなるイメージセンサ１８の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。
【００６５】
即ち、デジタル信号処理部４０に含まれるデモザイク処理部は、広角画像（ベイヤ配列のモザイク画像）のＧ受光セルの位置には、Ｒ受光セル、Ｂ受光セルが無いため、そのＧ受光セルの周囲のＲ受光セル、Ｂ受光セルのＲ信号、Ｂ信号をそれぞれ補間して、Ｇ受光セルの位置におけるＲ信号、Ｂ信号を生成する。同様に、モザイク画像のＲ受光セルの位置には、Ｇ受光セル、Ｂ受光セルが無いため、そのＲ受光セルの周囲のＧ受光セル、Ｂ受光セルのＧ信号、Ｂ信号をそれぞれ補間してＲ受光セルの位置におけるＧ信号、Ｂ信号を生成し、また、モザイク画像のＢ受光セルの位置には、Ｇ受光セル、Ｒ受光セルが無いため、そのＢ受光セルの周囲のＧ受光セル、Ｒ受光セルのＧ信号、Ｒ信号をそれぞれ補間してＢ受光セルの位置におけるＧ信号、Ｒ信号を生成する。
【００６６】
一方、望遠画像は、図４（ｃ２）に示したように１マイクロレンズ１６ａ当たり８個（３×３の単位ブロックの周囲８個）のモザイク画像からなり、かつ８個の受光セル内には、ＲＧＢの全ての色情報（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）が含まれているため、デモザイク処理部は、単位ブロック内の８個の受光セルの出力信号を使用して単位ブロック毎にデモザイク処理した、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。
【００６７】
具体的には、望遠画像のモザイク画像をデモザイク処理するデモザイク処理部は、単位ブロック内の４個のＧ受光セルの画素値の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置における画素のＧの画素値を算出し、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置における画素のＲの画素値及びＢの画素値を算出する。
【００６８】
上記デモザイク処理部により生成される広角画像及び望遠画像の２つのデモザイク画像のうちの望遠画像のデモザイク画像は、単位ブロック内の８個の受光セルの出力信号を使用してデモザイク処理が行われるため、周囲の単位ブロックの受光セルの出力信号を使用（補間）してデモザイク処理が行われる広角画像のデモザイク画像よりも解像度が実質的に高いものとなる。
【００６９】
また、デジタル信号処理部４０は、デモザイク処理部によりデモザイク処理されたＲＧＢの色情報（Ｒ信号、Ｇ信号、Ｂ信号）から輝度信号Ｙと色差信号Ｃｂ，Ｃｒを生成するＲＧＢ／ＹＣ変換等を行い、所定のフレームレートの広角画像及び望遠画像を示す動画記録用及び動画表示用の画像信号を生成する。
【００７０】
デジタル信号処理部４０で処理された広角画像及び望遠画像を示す画像信号は、それぞれ記録部４２及び表示制御部４５に出力される。記録部４２は、デジタル信号処理部４０により処理された広角画像及び／又は望遠画像を示す動画記録用の画像信号を記録媒体（ハードディスク、メモリカード等）に記録する。尚、記録部４２は、広角画像中の望遠画像に相当する画角から物体が検出された場合に望遠画像を記録し、それ以外の場合は広角画像のみを記録するようにしてもよい。記録部４２に記録された望遠画像／広角画像の再生時には、物体検出の有無の履歴も同期して表示してもよい。
【００７１】
表示部４４は、表示制御部４５から選択的に出力される広角画像または望遠画像を示す動画表示用の画像信号により、広角画像及び望遠画像を表示する。尚、表示部４４は、記録部４２に記録された画像信号に基づいて広角画像及び／又は望遠画像を再生することもできる。
【００７２】
一方、物体検出部５０は、画像取得部２２が取得した広角画像を示す画素信号に基づいて追尾対象の物体を検出し、検出した物体の画像中における位置情報をパン・チルト制御部６０に出力するものである。
【００７３】
物体検出部５０における物体の検出方法としては、人物の顔認識を行う技術や、車両のナンバープレートのナンバー認識に代表される物体認識技術により特定の物体を検出する方法、又は動体を追尾対象の物体として検出する動体検出方法がある。
【００７４】
物体認識による物体の検出方法は、特定の物体の見え方の特徴（車両のナンバープレートの数字の形状など）を物体辞書として予め登録しておき、撮影された画像から位置や大きさを変えながら切り出した画像と、物体辞書とを比較しながら物体を認識する方法である。
【００７５】
レンズＣＰＵ６５は、撮像装置を統括制御するプロセッサであり、フィルタ６３ａ・６３ｂの光路への挿入または光路からの退出、通信部７０の通信の開始および終了などを制御する。
【００７６】
図６及び図７は、それぞれ撮像された広角画像及び望遠画像の一例を示す図である。尚、広角画像中の破線で示した領域は、望遠画像の撮像範囲を示している。
【００７７】
いま、図６（ａ）及び（ｂ）に示す広角画像Ｉ１及び望遠画像Ｉ２（広角画像Ｉ１の中の範囲Ｒに相当）が撮像され、かつ人物の顔を追尾対象とし、物体（顔）認識技術により人物の顔を検出する場合、広角画像では、顔を検出することができるが、望遠画像では、顔を検出することができない。望遠画像には、人物の顔の一部しか入っておらず、顔を認識することができないからである。
【００７８】
従って、この場合、人物の顔（物体）の、広角画像中の位置情報をパン・チルト制御部６０に出力する。また、表示制御部４５は広角画像を選択的に表示部４４に出力する。すなわち、望遠画像に追尾対象の一部しか映っていない場合、広角画像を選択的に表示部４４に表示することで、追尾対象を見やすくする。
【００７９】
一方、図７（ａ）及び（ｂ）に示すように、広角画像Ｉ１中の望遠画像Ｉ２に相当する範囲Ｒで物体を検出した場合には、検出した物体の望遠画像中の位置情報をパン・チルト制御部６０に出力するとともに、表示制御部４５は望遠画像を選択的に表示部４４に出力する。望遠画像に追尾対象が映り物体が検出された場合、広角画像よりも望遠画像の方が検出された物体を見やすいからである。
【００８０】
パン・チルト制御部６０は、上記のように物体検出部５０から入力する広角画像中の物体の位置情報に基づいてパン・チルト装置３０を制御する部分であり、物体の画像中の位置情報（例えば、追尾対象の顔の場合には、顔領域の重心位置）が画像の中心位置（光軸上の位置）に移動するように、パン駆動部３４、チルト駆動部３６を介してパン・チルト機構３２（即ち、撮像部１１による撮影方向）を制御する。
【００８１】
上記のパン・チルト機構３２の制御により、追尾対象の物体（例えば、人物の顔）が広角画像の中心にくるように、物体を自動追尾して撮像することができる。尚、本例では、物体の画像中の位置（重心位置）が、望遠画像の中心にくるように追尾制御する場合について説明したが、これに限らず、物体の画像中の位置（重心位置）が、少なくとも望遠画像の画角（好ましくは、望遠画像の中心近傍の一定範囲（例えば、焦点検出領域内））に入るようにパン・チルト機構３２を制御するようにしてもよい。
【００８２】
次に、物体検出部５０における物体の検出方法として、動体を追尾対象の物体として検出する動体検出方法の一例について説明する。
【００８３】
この場合、物体検出部５０は、図８に示すように時系列の２枚の広角画像（前回取得した広角画像（図８（ａ）と、今回取得した広角画像（図８（ｂ））の差分をとった差分画像（図８（ｃ））を検出する。
【００８４】
図８（ａ）及び（ｂ）に示す例では、物体Ａ，Ｂのうちの物体Ａが移動し、物体Ｂは停止している。
【００８５】
従って、図８（ｃ）に示すように差分画像Ａ１，Ａ２は、物体Ａの移動により生じた画像である。
【００８６】
ここで、差分画像Ａ１，Ａ２の重心位置を算出し、それぞれ位置Ｐ１，Ｐ２とし、これらの位置Ｐ１，Ｐ２を結ぶ線分の中点を、位置Ｇとする。そして、この位置Ｇを動体（物体Ａ）の広角画像中の位置とする。
【００８７】
このようして算出した広角画像中の物体Ａの位置Ｇが、広角画像の中心位置（光軸上の位置）に移動するように、パン・チルト機構３２（即ち、撮像部１１による撮影方向）を繰り返し制御することにより、物体Ａが広角画像の中心位置に移動（収束）する。
【００８８】
撮像部１１が移動（パン・チルト機構３２により移動、又は自動追尾撮像装置１０を車載することにより移動）する場合、時系列の画像間の背景も移動することになるが、この場合には、時系列の画像間の背景が一致するように画像をシフトさせ、シフト後の画像間の差分画像をとることにより、撮像部１１の移動にかかわらず、実空間内を移動する物体を検出することができる。更に、動体検出方法は、上記の実施形態に限らない。
【００８９】
＜自動追尾制御方法＞
図９は、本発明に係る自動追尾撮像装置による自動追尾制御方法の一例を示すフローチャートである。
【００９０】
図９において、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２０）、取得した広角画像から追尾対象の物体を検出する（ステップＳ２２）。
【００９１】
続いて、物体検出部５０は、ステップＳ２２において、広角画像中で望遠画像の画角に相当する範囲から物体が検出されたか否かを判別する（ステップＳ２４）。この範囲から物体が検出された場合（「Yes」の場合）には、物体検出部５０は、検出した物体の広角画像中の位置情報を算出する（ステップＳ２６）。このとき、広角画像中の物体の位置情報を算出する精度を上げるため、また、可視光で望遠画像中の被写体を特定しやすくするため、レンズＣＰＵ６５の制御により、フィルタ６３ａは光路から退出され、フィルタ６３ｂは光路に挿入されているものとする（図２（ｂ）参照）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、望遠画像を選択的に表示部４４に出力する（ステップＳ２７）。この結果、表示部４４には、望遠画像が表示される。
【００９２】
一方、この範囲から物体が検出されなかった場合（「No」の場合）には、ステップＳ２８に遷移する。ここで、ステップＳ２８からステップＳ３２の処理は、物体検出部５０は、画像取得部２２から広角画像を取得し（ステップＳ２８）、取得した広角画像から追尾対象の物体を検出し（ステップＳ３０）、検出した物体の広角画像中の位置情報を算出する（ステップＳ３２）。このとき、レンズＣＰＵ６５の制御により、フィルタ６３ａおよびフィルタ６３ｂは光路に挿入されているものとする（図２（ａ）参照）。表示制御部４５は、デジタル信号処理部４０から出力された望遠画像および広角画像のうち、広角画像を選択的に表示部４４に出力する（ステップＳ３３）。この結果、表示部４４には、広角画像が表示される。
【００９３】
次に、パン・チルト制御部６０は、ステップＳ２６又はステップＳ３２により検出された広角画像中の物体の位置情報を入力し、入力した位置情報に基づいて物体が広角画像中の中心位置にくるようにパン・チルト装置３０を制御する（ステップＳ３４）。
【００９４】
次に、自動追尾撮像が終了したか否かを判別し（ステップＳ３６）、終了していないと判別すると、ステップＳ２０に遷移させる。これにより、上記ステップＳ２０からステップＳ３６の処理が繰り返され、物体を自動追尾した撮像が行われる。一方、自動追尾撮像が終了したと判別されると、自動追尾撮像を終了する。
【００９５】
＜指向性センサの他の実施形態＞
図１０は、指向性センサの他の実施形態を示す側面図である。
【００９６】
この指向性センサ１１７は、瞳分割手段としてのマイクロレンズアレイ１１８及び遮光マスクとして機能する遮光部材１２０と、遮光部材１２０により受光セル１１６ａ、１１６ｂの一部が遮光されたイメージセンサ１１６とから構成されている。尚、遮光部材１２０により一部が遮光された受光セル１１６ａと受光セル１１６ｂとは、イメージセンサ１１６の左右方向及び上下方向に交互（チェッカーフラグ状）に設けられている。
【００９７】
マイクロレンズアレイ１１８は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂと一対一に対応するマイクロレンズ１１８ａを有している。
【００９８】
遮光部材１２０は、イメージセンサ１１６の受光セル１１６ａ、１１６ｂの開口を規制するものであり、図２に示した撮影光学系１２の中央光学系１３及び環状光学系１４に対応する開口形状を有している。尚、マイクロレンズアレイ１１８の各レンズの下方には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配設されている。
【００９９】
受光セル１１６ａは、遮光部材１２０の遮光部１２０ａによりその開口の周辺部が遮光され、一方、受光セル１１６ｂは、遮光部材１２０の遮光部１２０ｂによりその開口の中心部が遮光されている。これにより、撮影光学系１２の中央光学系１３を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ａにより瞳分割されて受光セル１１６ａに入射し、一方、撮影光学系１２の環状光学系１４を通過した光束は、マイクロレンズアレイ１１８及び遮光部材１２０の遮光部１２０ｂにより瞳分割されて受光セル１１６ｂに入射する。
【０１００】
これにより、イメージセンサ１１６の各受光セル１１６ａから広角画像の画素信号を読み出すことができ、イメージセンサ１１６の各受光セル１１６ｂから望遠画像の画素信号を読み出すことができる。
【０１０１】
＜撮像部の他の実施形態＞
次に、本発明に係る自動追尾撮像装置に適用される撮像部の他の実施形態について説明する。
【０１０２】
図１１は、自動追尾撮像装置１０に適用可能な撮像部の他の実施形態を示す断面図である。
【０１０３】
この撮像部は、撮影光学系１１２と、指向性センサ１７とから構成されている。尚、指向性センサ１７は、図２及び図３に示したものと同一であるため、以下、撮影光学系１１２について説明する。
【０１０４】
この撮影光学系１１２は、それぞれ同一の光軸上に配置された中央部の中央光学系１１３とその周辺部の環状光学系１１４とから構成されている。
【０１０５】
中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、及び共通レンズ１１５から構成された望遠光学系であり、画角αを有している。
【０１０６】
環状光学系１１４は、レンズ１１４ａ及び共通レンズ１１５から構成された広角光学系であり、画角β（β＞α）を有し、中央光学系１１３よりも広角である。
【０１０７】
この撮影光学系１１２は、図２に示した撮影光学系１２と比較すると、反射ミラーを使用しておらず、また、中央光学系１１３が望遠光学系であり、環状光学系１１４が広角光学系である点で相違する。
【０１０８】
＜本発明の他の実施形態に係る追尾システム＞
図１２は本発明の他の実施形態に係る追尾システムの内部構成の実施形態を示すブロック図である。このシステムは、自動追尾撮像装置１０と表示装置１００とを備えており、図５と同様の機能を有するブロックには図１２でも同じ符号が付されている。
【０１０９】
自動追尾撮像装置１０のデジタル信号処理部４０で処理され、出力される広角画像および望遠画像を示す画像信号は、通信部７０に出力される。通信部７０は、有線または無線ＬＡＮ、インターネットなどの各種ネットワークに接続可能な規格でデータの送信を行うことができ、特に、表示装置１００と通信して、広角画像または望遠画像を送信することができる。
【０１１０】
表示装置１００は、表示制御部４５と表示部４４とを備えており、自動追尾撮像装置１０の通信部７０から送信された広角画像および望遠画像を受信したうえで、図５と同様の機能を有する表示制御部４５により上記の各種処理を実行する。また、表示装置１００は、記録部４２によって広角画像および望遠画像が記録された可搬性記録媒体から広角画像および望遠画像を読みだしたうえで、表示制御部４５により上記の各種処理を実行することもできる。
【０１１１】
［その他］
本実施形態の自動追尾撮像装置１０は、撮像部１１をパン方向及びチルト方向に回動させるパン・チルト機構３２が装置本体２に設けられているが、これに限らず、撮像装置全体を電動雲台（パン・チルト装置）に搭載したものでもよい。尚、本発明に係る自動追尾撮像装置は、例えば、監視カメラ、車載カメラとして使用することができる。
【０１１２】
また、追尾対象の物体は、表示部４４に表示された広角画像からタッチパネル等を使用して操作者が最初に設定するようにしてもよい。
【０１１３】
本実施形態の撮影光学系は、第１の光学系の周辺部に設けられた第２の光学系を、環状光学系としたが、これに限らず、光軸を中心とした同心円上に配設した複数の光学系により構成されたものでもよい。
【０１１４】
また、図２に示した撮影光学系１２の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。
【０１１５】
更に、焦点調整部は、中央光学系及び環状光学系の共通レンズ、又はイメージセンサを光軸方向に移動させるものでもよい。
【０１１６】
更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１１７】
１０…自動追尾撮像装置、１１…撮像部、１２、１１２…撮影光学系、１３、１１３…中央光学系、１４、１１４…環状光学系、１６、１１８…マイクロレンズアレイ、１６ａ、１１８ａ…マイクロレンズ、１７、１１７…指向性センサ、１８、１１６…イメージセンサ、１８ａ、１１６ａ、１１６ｂ…受光セル、２２…画像取得部、３０…パン・チルト装置、３２…パン・チルト機構、４２…記録部、５０…物体検出部、５６…モード選択部、６０…パン・チルト制御部、１２０…遮光部材
【図１】
2016048824.tif 000003
【図２】
2016048824.tif 000004
【図３】
2016048824.tif 000005
【図４】
2016048824.tif 000006
【図５】
2016048824.tif 000007
【図６】
2016048824.tif 000008
【図７】
2016048824.tif 000009
【図８】
2016048824.tif 000010
【図９】
2016048824.tif 000011
【図１０】
2016048824.tif 000012
【図１１】
2016048824.tif 000013
【図１２】
2016048824.tif 000014