(57)【特許請求の範囲】
【請求項１】
被写体の撮像を行う撮像部と、上記撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムについての撮像制御装置であって、
上記撮像視野の可変機構を駆動制御する撮像視野可変制御部と、
上記撮像視野可変制御部により撮像視野を変化させながら、パノラマ撮像として上記撮像部に撮像によるパノラマ画像データの生成用の複数の画像データの取得を実行させるとともに、上記撮像部で得られた撮像画像信号に基づいてパノラマ撮像時の制御動作を決定する自動パノラマ撮像制御部とを備え、
上記自動パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在判定を行うととともに、上記撮像視野可変制御部に、上記可変機構による撮像視野の移動を実行させたときに、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の開始位置とし、
さらに上記自動パノラマ撮像制御部は、上記パノラマ撮像の実行中に、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の終了位置とする
撮像制御装置。
【請求項２】
被写体の撮像を行う撮像部と、上記撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムに対する撮像制御方法として、
上記可変機構を駆動制御して撮像視野を変化させながら、パノラマ撮像として上記撮像部に撮像によるパノラマ画像データの生成用の複数の画像データの取得を実行させ、
上記パノラマ撮像の実行前又は実行中に上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在判定を行い、
上記可変機構による撮像視野の移動を実行させたときに、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の開始位置とし、
さらに上記パノラマ撮像の実行中に、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の終了位置とする
撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動的に撮像視野を変化させて静止画撮像やパノラマ撮像を行う撮像装置、撮像システムについての撮像制御装置及び撮像制御方法に関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開平１１−８８７５４号公報
【特許文献２】特開平１１−８８８１１号公報
【特許文献３】特開２００５−３３３３９６号公報
【特許文献４】特開２００９−１００３００号公報
【背景技術】
【０００３】
いわゆるパノラマ撮像として、ユーザ（カメラマン）がカメラを略水平回転方向に移動させながら撮像を行うことで、広範囲な角度の光景の静止画像が得られるようにしたものが知られている。例えば上記特許文献１，２，３にはパノラマ撮像に関する技術が開示されている。
【０００４】
デジタルスチルカメラにおいてパノラマ撮像モードとして撮像を行う場合、ユーザが、カメラを水平回転方向に移動させる。このときデジタルスチルカメラでは、他数枚の静止画像データを取得していき、被写体光景の繋ぎ目で合成処理していくことで、横長の静止画像としてのパノラマ画像データを生成する。
このようなパノラマ撮像により、通常の撮像では不可能な広角の光景を一枚の静止画として得ることができる。
【０００５】
また、ユーザのレリーズ操作によらない自動的な撮像を行うシステムも知られている。例えば上記特許文献４には、デジタルスチルカメラと、該デジタルスチルカメラのパン／チルト方向の向きを電動により変化させる雲台とを備えた撮像システムにより、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う技術が開示されている。
この特許文献４に記載の技術では、例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、上記雲台によりデジタルスチルカメラをパン方向に回転させつつ、画枠内に映し出される被写体（人物の顔）の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様（例えば被写体の数や位置やサイズなど）に応じた最適とされる構図の判定を行う（最適構図判定）。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う（構図合わせ）。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作（撮像画像自動記録）によれば、ユーザによる撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上記の自動撮像の動作において、通常の静止画撮像に加えてパノラマ撮像を実行できるようにすると、その撮像装置の利用態様が広がり、好適である。
そこで本発明では、自動的なパノラマ撮像が適切に実行できるようにすることを目的とする。例えばパノラマ撮像の範囲や構図が適切に制御されるようにする。
【課題を解決するための手段】
【０００７】
本発明の撮像制御装置は、被写体の撮像を行う撮像部と、上記撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムについての撮像制御装置であって、上記撮像視野の可変機構を駆動制御する撮像視野可変制御部と、上記撮像視野可変制御部により撮像視野を変化させながら、パノラマ撮像として上記撮像部に撮像によるパノラマ画像データの生成用の複数の画像データの取得を実行させるとともに、上記撮像部で得られた撮像画像信号に基づいてパノラマ撮像時の制御動作を決定する自動パノラマ撮像制御部とを備える。
【０００８】
また上記自動パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在判定に基づいて、上記パノラマ撮像の開始位置及び終了位置を決定する。
例えば上記自動パノラマ撮像制御部は、上記撮像視野可変制御部に、上記可変機構による撮像視野の移動を実行させたときに、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の開始位置とし、さらに上記自動パノラマ撮像制御部は、上記パノラマ撮像の実行中に、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の終了位置とする。
【０００９】
また上記自動パノラマ撮像制御部は、過去に上記撮像部で得られた撮像画像信号から生成された、所定の目的被写体の存在を示す履歴情報に基づいて、上記パノラマ撮像の開始位置及び終了位置を決定する。
例えば上記自動パノラマ撮像制御部は、上記履歴情報から得られる、上記目的被写体の存在分布を判別し、該存在分布に応じて、上記パノラマ撮像の開始位置及び終了位置を決定する。
また上記自動パノラマ撮像制御部は、上記履歴情報から得られる、上記目的被写体の水平方向位置及び垂直方向位置での存在分布と、パノラマ画サイズに基づいて、構図調整を行う。この場合、上記自動パノラマ撮像制御部は、上記構図調整として、ズーム倍率を算出し、上記可変機構の１つであるズーム機構のズーム倍率変更を、上記撮像視野可変制御部に実行させる。
【００１０】
また、本発明の撮像制御装置は、被写体の撮像を行う撮像部と、上記撮像部の撮像視野の可変機構とを有する撮像装置又は撮像システムについての撮像制御装置であって、上記撮像視野の可変機構を駆動制御する撮像視野可変制御部と、上記撮像視野可変制御部により撮像視野を変化させながら、パノラマ撮像として上記撮像部に撮像によるパノラマ画像データの生成用の複数の画像データの取得を実行させるとともに、パノラマ撮像実行のトリガに応じてパノラマ撮像時の制御動作を決定する自動パノラマ撮像制御部とを備える。
上記自動パノラマ撮像制御部は、ユーザ操作に基づくトリガに応じてパノラマ撮像を実行する場合、上記ユーザ操作の水平位置がパノラマ画像の中央となるように、上記パノラマ撮像の開始位置及び終了位置を決定する。
また上記自動パノラマ撮像制御部は、３６０°のパノラマ撮像のトリガによりパノラマ撮像を実行する場合、現在の水平方向位置を開始位置として、上記撮像視野可変制御部により撮像視野を３６０°範囲で水平方向に変化させながら、上記パノラマ撮像を実行させる。
【００１１】
また上記パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在数、又は複数の所定の目的被写体の離間距離に基づいて発生されるトリガに応じて、パノラマ撮像制御を行う。
或いは、上記撮像視野可変制御部により撮像視野を変化させながら被写体検出を行って、上記撮像装置に自動的に静止画撮像を実行させる自動静止画撮像制御部をさらに備え、上記パノラマ撮像制御部は、上記自動静止画撮像制御部の制御による静止画撮像数、又は自動静止画撮像期間、又は所定範囲での自動静止画撮像の完了に応じて発生されるトリガに応じて、パノラマ撮像制御を行う。
これらの場合、上記自動パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在判定に基づいて、上記パノラマ撮像の開始位置及び終了位置を決定する。
又は上記自動パノラマ撮像制御部は、過去に上記撮像部で得られた撮像画像信号から生成された、所定の目的被写体の存在を示す履歴情報に基づいて、上記パノラマ撮像の開始位置及び終了位置を決定する。
【００１２】
また上記パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号及び／又は周囲音声から推定される被写体状況に基づいて発生されるトリガに応じて、パノラマ撮像制御を行う。
また上記パノラマ撮像制御部は、上記撮像部で得られた撮像画像信号から認識される所定の被写体種別に基づいて発生されるトリガに応じて、パノラマ撮像制御を行う。
これらの場合、上記自動パノラマ撮像制御部は、上記パノラマ撮像の開始前の構図調整として、撮像視野の垂直方向位置の調整制御をのみを、上記撮像視野可変制御部に実行させる。
【００１３】
本発明の撮像制御方法は、上記可変機構を駆動制御して撮像視野を変化させながら、パノラマ撮像として上記撮像部に撮像によるパノラマ画像データの生成用の複数の画像データの取得を実行させ、上記パノラマ撮像の実行前又は実行中に上記撮像部で得られた撮像画像信号から認識される所定の目的被写体の存在判定を行い、上記可変機構による撮像視野の移動を実行させたときに、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の開始位置とし、さらに上記パノラマ撮像の実行中に、上記撮像部で得られた撮像画像信号から、所定範囲又は所定時間、上記目的被写体が非存在と判定されたときの撮像視野の位置を、上記パノラマ撮像の終了位置とする撮像制御方法である。
【００１４】
これらの本発明では、まず、パノラマ撮像の実行前又は実行中に撮像部で得られた撮像画像信号に基づいてパノラマ撮像時の制御動作を決定することで、例えば所定の目的被写体（例えば人の顔）の存在位置や分布、数などに応じた適切な構図でのパノラマ画像を得るパノラマ撮像が実現できる。
またパノラマ撮像実行のトリガに応じてパノラマ撮像時の制御動作を決定することで、トリガの内容や周囲状況などに応じた適切な構図でのパノラマ画像を得るパノラマ撮像が実現できる。
【発明の効果】
【００１５】
本発明によれば、自動的なパノラマ撮像の範囲や構図が、撮像画像信号から得られる上方や、パノラマ撮像実行のトリガの種別に応じて適切に制御されるようになる。これによって各種の状況に応じた適切な自動パノラマ撮像が実現される。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態のデジタルスチルカメラの正面図及び背面図である。
【図２】実施の形態のデジタルスチルカメラが装着できる雲台の斜視図及び背面図である。
【図３】実施の形態のデジタルスチルカメラを雲台に取り付けた状態の正面図である。
【図４】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのパン方向の動きの説明図である。
【図５】実施の形態のデジタルスチルカメラを雲台に取り付けた状態でのチルト方向の動きの説明図である。
【図６】実施の形態の雲台のタッチ操作位置の説明図である。
【図７】実施の形態のデジタルスチルカメラの内部構成例を示すブロック図である。
【図８】実施の形態の雲台の内部構成例を示すブロック図である。
【図９】実施の形態の制御機能構成例の説明図である。
【図１０】実施の形態のパノラマ撮像の説明図である。
【図１１】実施の形態が適用できる第１の自動撮像処理例のフローチャートである。
【図１２】実施の形態の適用できる第２の自動撮像処理例のフローチャートである。
【図１３】実施の形態のパノラマ撮像処理例Ｉのフローチャートである。
【図１４】実施の形態のパノラマ撮像処理例Ｉの説明図である。
【図１５】実施の形態のパノラマ撮像処理例Ｉの説明図である。
【図１６】実施の形態のパノラマ撮像処理例IIのフローチャートである。
【図１７】実施の形態のパノラマ撮像処理例IIの説明図である。
【図１８】実施の形態のパノラマ撮像処理例IIIのフローチャートである。
【図１９】実施の形態の撮像履歴情報及び顔検出マップ情報の説明図である。
【図２０】実施の形態のパノラマ撮像処理例IIIの説明図である。
【図２１】実施の形態のパノラマ撮像処理例IIIの説明図である。
【図２２】実施の形態のパノラマ撮像処理例IVのフローチャートである。
【図２３】実施の形態のパノラマ撮像処理例IVのズーム制御のフローチャートである。
【図２４】実施の形態のパノラマ撮像処理例IVの説明図である。
【図２５】実施の形態のパノラマ撮像処理例IVのズーム判断の説明図である。
【図２６】実施の形態のパノラマ撮像処理例Ｖのフローチャートである。
【図２７】実施の形態のトリガ発生処理のフローチャートである。
【図２８】実施の形態のトリガ発生処理のフローチャートである。
【図２９】実施の形態のトリガ発生処理のフローチャートである。
【図３０】実施の形態のトリガ発生処理のフローチャートである。
【図３１】実施の形態のトリガに応じた制御処理例の説明図である。
【図３２】実施の形態の他の機能構成の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態を次の順序で説明する。実施の形態ではデジタルスチルカメラと、該デジタルスチルカメラを装着可能な雲台による撮像システムを例に挙げる。デジタルスチルカメラは、もちろん単体での撮像も可能であるが、雲台と組み合わせた撮像システムとして自動撮像動作を行うことが可能なものとしている。
＜１．撮像システムの構成＞
［１−１：全体構成］
［１−２：デジタルスチルカメラ］
［１−３：雲台］
＜２．機能構成例＞
＜３．パノラマ撮像の概要＞
＜４．自動撮像処理＞
［４−１：第１の自動撮像処理例］
［４−２：第２の自動撮像処理例］
＜５．パノラマ撮像処理＞
［５−１：処理例Ｉ］
［５−２：処理例II］
［５−３：処理例III］
［５−４：処理例IV］
［５−５：処理例Ｖ］
＜６．パノラマ撮像へのトリガ＞
［６−１：各種トリガ例］
［６−２：トリガに応じた処理設定］
＜７．他の機能構成例＞
＜８．プログラム＞
【００１８】
なお、本明細書では「画枠」「画角」「撮像視野」「構図」という語を用いるが、各語の定義は以下の通りである。
「画枠」は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
「画角」は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
「撮像視野」は、撮像光学系による視野を表す。即ち撮像装置の周囲光景のうちで撮像対象として画枠に収まる範囲である。これは上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まる。
「構図」は、ここでは、フレーミングともいわれるもので、例えば撮像視野によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【００１９】
＜１．撮像システムの構成＞
［１−１：全体構成］
実施の形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が着脱可能に取り付けられた雲台１０とを備えて成る。
雲台１０は、デジタルスチルカメラ１のパン／チルト方向の向きを電動により変化させる。そして、自動構図合わせ及び該構図合わせにより得られた撮像画像の自動記録を行う。
例えば顔検出技術を用いて、人物としての被写体の探索を行う。具体的には、雲台１０によりデジタルスチルカメラ１を例えばパン方向に回転させつつ、画枠内に映し出される被写体（人物の顔）の検出を行う。
そして、このような被写体探索の結果、画枠内に被写体が検出された場合には、その時点での画枠内での被写体の検出態様（例えば被写体の数や位置やサイズなど）に応じた最適とされる構図の判定を行う（最適構図判定）。すなわち、最適とされるパン・チルト・ズームの各角度を求めるものである。
さらに、このように最適構図判定によって最適とされるパン・チルト・ズームのそれぞれの角度が求まったら、それらの角度を目標角度としてそれぞれパン・チルト・ズーム角の調整を行う（構図合わせ）。
この構図合わせの完了後に、撮像画像の自動記録を行う。
このような自動構図合わせによる自動撮像動作（撮像画像自動記録）によれば、使用者による撮像操作を一切不要として、自動的に最適とされる構図による撮像画像の記録を行うことができる。
【００２０】
図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、図１（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図である。
このデジタルスチルカメラ１は、図１（ａ）に示すように、本体部２の前面側にレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。
【００２１】
また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モード時においてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。撮像モード時には、後述するイメージセンサにより所定フレームレートで各フレーム毎の撮像画像データが得られる。
そして、レリーズボタン３１ａに対する操作（レリーズ操作／シャッタ操作）が行われると、そのタイミングでの撮像画像（フレーム画像）が、静止画の画像データとして記録媒体に記録される。つまり、一般に写真撮影といわれる静止画撮像が行われる。
【００２２】
また、デジタルスチルカメラ１は、図１（ｂ）に示すように、背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。スルー画は、イメージセンサで得られる各フレーム画像に基づく動画像であり、そのときの被写体をそのまま表す画像となる。
また、再生モード時においては、記録媒体に記録されている画像データが再生表示される。
さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。
また表示画面部３３ａに対してタッチパネルが組み合わされているようにすることで、ユーザは、表示画面部３３ａに対して指を当てることによって、必要な操作を行うことができる。
【００２３】
なお、デジタルスチルカメラ１には、レリーズボタン３１ａ以外の各種のキー、ダイヤル等の操作子が設けられることもある。
例えばズーム操作、モード選択、メニュー操作、メニュー上のカーソル操作、再生操作などのための操作キーやダイヤル等である。
【００２４】
図２（ａ）は雲台１０の外観を示す斜視図である。また図２（ｂ）は雲台１０の背面図を示している。
また、図３〜図５は、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５は側面図（特に図５（ｂ）では側面図によりチルト機構の可動範囲を示している）である。
図２、及び図３，図４，図５に示すように、雲台１０は、大きくは接地台部１５の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。
【００２５】
雲台１０にデジタルスチルカメラ１を取り付けるときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に置く。
図２に示すように、カメラ台座部１２の上面部には、突起部１３とコネクタ１４が設けられている。図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。
【００２６】
また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにカメラ台座部１２にデジタルスチルカメラ１が適正に取り付けられた状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。
【００２７】
なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２においてその位置を或る範囲内で変更（移動）できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に取り付けできるようになっている。
【００２８】
次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
雲台１０を例えばテーブル上や床面上などに置いた状態では、接地台部１５の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１側が時計回り方向、及び反時計回り方向に回転できるようになっている。つまりこれにより、雲台１０に取り付けられたデジタルスチルカメラ１の水平方向（左右方向）における撮像視野を変化させることができる（所謂パンニング）。
なお、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有している。
【００２９】
また、この雲台１０のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すように、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、すなわちパン位置（パン角度）を０°〜３６０°により表すものとする。
【００３０】
また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）（ｂ）に示すように、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に角度を振ることにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ０（０°）にある状態が示されている。この状態では、レンズ部２１ａ（光学系部）の撮像光軸と一致する撮像方向Ｆ１と、接地台部１５が接地する接地面部ＧＲとが平行となる。
そのうえで図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ０（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。
このようにカメラ台座部１２がチルト基準位置Ｙ０（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に取り付けられたデジタルスチルカメラ１のチルト方向（上下方向）における撮像視野を変化させることができる。つまりチルティングの動作が得られる。
【００３１】
図２（ｂ）に示すように雲台１０には、その本体部１１の背面部において、電源ケーブルを着脱可能に接続する電源端子部ｔ−Ｖｉｎと、ビデオケーブルを着脱可能に接続するビデオ端子部ｔ−Ｖｉｄｅｏとが形成されている。
【００３２】
雲台１０は、上述したカメラ台座部１２にて取り付けられたデジタルスチルカメラ１に対して上記電源端子部ｔ−Ｖｉｎを介して入力された電力を供給することで、上記デジタルスチルカメラ１に対する充電を行うように構成されている。
つまり本例の雲台１０は、デジタルスチルカメラ１に対する充電を行うためのクレードル（ドック）としても機能する。
また、本例の場合、雲台１０は、デジタルスチルカメラ１側から例えば撮像画像に基づく映像信号が伝送されてきた場合に、該映像信号を上記ビデオ端子部ｔ−Ｖｉｄｅｏを介して外部出力するように構成されている。
また、図２（ｂ）や図４に示すように、雲台１０の本体部１１における背面部には、メニューボタン６０ａが設けられる。メニューボタンの操作により、雲台１０とデジタルスチルカメラ１の間の通信により、例えばデジタルスチルカメラ１側の表示画面部３３ａでメニュー表示が行われる。このメニュー表示により、ユーザが所要の操作を行うことが可能とされる。
【００３３】
ところで本実施の形態としての一例（後述の処理例Ｉ）では、後述するパノラマ撮像実行のトリガの１つとしてユーザのタッチ操作が採用される。
具体的には、ユーザは雲台１０にタッチするという操作を行う。このため、例えば図６（ａ）のように本体部１１の上面にタッチ領域６０ｂが形成されている。このタッチ領域６０ｂにユーザがタッチすることで、雲台１０に装備されたタッチセンサが当該タッチ操作を検出する。
なお、この図６では、破線で示す正面側の一部領域をタッチ領域６０ｂとしているが、例えば本体部１１の上面全面をタッチ領域６０ｂとしてもよい。
【００３４】
また、図６（ｂ）には、雲台１０の本体部１１の上面において、正面方向側、右方側、左方側のそれぞれに、タッチ領域６０ｂ、６０ｃ、６０ｄが形成されている例を示している。例えば雲台１０内に３つのタッチセンサが装備され、各タッチ領域６０ｂ、６０ｃ、６０ｄへのタッチ操作が、それぞれのタッチセンサにより検出される。
この場合、どのタッチセンサによりタッチ操作が検出されたかにより、デジタルスチルカメラ１及び雲台１０による撮像システム側で、ユーザが、正面、右方、左方のうちのどの方向からタッチ操作を行ったかを判別できる。
ここでは、３つのタッチ領域６０ｂ〜６０ｄを形成した場合を例示しているが、もちろん、より多数のタッチセンサを備え、多数のタッチ領域で、より細かくタッチ操作が行われた方向を判定できるようにしてもよい。
【００３５】
また、図示しないが、雲台１０には、マイクロホン及び音声入力回路系を有する音声入力部（後述の音声入力部６２）が設けられる場合がある。
また雲台１０には、撮像レンズ、イメージセンサ、撮像信号処理系などを備えた撮像部（後述の撮像部６３）が設けられる場合もある。
それらについては逐次後述する。
【００３６】
［１−２：デジタルスチルカメラ］
図７は、デジタルスチルカメラ１の内部構成例を示したブロック図である。
光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられる。これらの駆動機構部は、例えば制御部２７が実行するズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００３７】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。
なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００３８】
イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
【００３９】
信号処理部２４は、例えばＤＳＰ(Digital Signal Processor)で構成され、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、プログラムに従った所定の信号処理を施す。
信号処理部２４は、Ａ／Ｄコンバータ２３から出力されるデジタル撮像信号について、１つの静止画 (フレーム画像)に相当する単位で取り込みを行う。そして取り込んだ静止画単位の撮像信号について所定の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成する。
また信号処理部２４は、このようにして取得した撮像画像データを利用して、後述する被写体検出処理や構図処理のための画像解析処理を実行する場合もある。
また信号処理部２４は、パノラマ撮像モードの場合は、パノラマ撮像動作で得られる多数のフレーム画像を合成して、パノラマ画像データを生成する処理も行う。
【００４０】
信号処理部２４で生成した撮像画像データを記録媒体であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。
メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記録媒体である。
なお、画像データを記録する記録媒体については、上記メモリカード以外の種別、形式などとされてもよい。例えば光ディスク、ハードディスク、着脱不能に取り付けられたフラッシュメモリチップなどの半導体メモリチップ、ホログラムメモリ等、各種の記録媒体を採用することもできる。
【００４１】
また、デジタルスチルカメラ１は、上記信号処理部２４にて得られる撮像画像データを利用して表示部３３に画像表示を実行させることで、現在撮像中の画像である、いわゆるスルー画を表示させることができる。
例えば信号処理部２４は、上述のようＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。
【００４２】
表示ドライバ３２は、上記のように信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していく。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていく。
これをユーザが見れば、そのときに撮像している画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
【００４３】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００４４】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３において、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００４５】
また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。
この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力する。これにより、表示部３３でユーザインターフェース画像が表示される。
なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることが可能である。またモニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００４６】
制御部２７は、ＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。
ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。
ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。
なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００４７】
本実施の形態の場合、制御部２７は、自動撮像のために各種の処理を行う。
まず被写体検出処理として、撮像視野を変化させながら信号処理部２４で得られる各フレーム画像から被写体検出を実行し（又は信号処理部２４に実行させ）、デジタルスチルカメラ１の周囲の被写体を探索する処理を行う。
また構図処理として、被写体検出に伴い検出された被写体の態様に応じた最適とされる構図を所定アルゴリズムに従って判定する最適構図判定、及び最適構図判定により求まった最適とされる構図を目標構図とした構図合わせを行う。これらの撮像準備処理の後、制御部２７は撮像画像の自動記録を実行せる制御・処理を行う。
また制御部２７は、パノラマ撮像のための処理、即ちパノラマ撮像としての多数のフレーム画像の撮像や合成処理の指示を行ったり、パノラマ撮像モードにおけるパラメータ設定などの処理も行う。さらに雲台１０にパノラマ撮像のための略水平方向の回転移動を実行させる制御も行う。
これらの制御処理については後述する。
【００４８】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成して制御部２７に出力する操作情報信号出力部位とを一括して示している。
操作子としては、図１に示したレリーズボタン３１ａがある。また他の各種の操作子（電源ボタン、モードボタン、ズーム操作ボタン、操作ダイヤル等）が設けられる場合もある。
また表示部３３がタッチパネルとして形成される場合、そのタッチセンサ部も、この操作部３１の具体例の１つとなる。
さらに、リモートコントローラからのコマンド信号の受信部も、操作部３１の例の一つとなる。
制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
【００４９】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位である。
例えばデジタルスチルカメラ１が雲台１０に取り付けられた状態において、雲台１０側の通信部との間で通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。
また雲台１０側からの充電を可能とすべく、上記の各コネクタには通信信号のやり取りを行うための端子のみでなく充電用電力の伝送のための端子も設けられる。図示は省略したが、デジタルスチルカメラ１には、バッテリーを着脱可能に装着するためのバッテリー装着部が設けられており、該装着部に装着されたバッテリーに対し、雲台１０側から伝送された電力に基づく充電が行われるようになっている。
【００５０】
デジタルスチルカメラ１には、音声入力部３５が設けられる場合がある。後述する自動パノラマ撮像の開始としてのトリガ入力として、例えば特定の言葉の声や特定の音（例えば手を叩く音など）の入力、或いは周囲の音量などを検出する場合に用いられる。本実施の形態では、周囲の人々が盛り上がっている状況の判定に入力音声を用いる場合がある。  さらにレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合にも音声入力部３５が設けられる。
音声入力部３５としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部２７が実行するものとしてもよい。
【００５１】
なお、デジタルスチルカメラ１の構成として、メモリカード４０等の記録媒体への記録機能を持たない構成例も考えられる。例えば撮像データを、その内部で記録媒体に記録せず、外部機器に出力して表示させたり、記録させたりする構成の場合である。
その場合、メディアコントローラ２６に代えて、外部機器に撮像データを送信する送信部を備える構成例が考えられる。つまりそのような撮像装置は、通常の静止画やパノラマ画像としての画像データを外部出力する機器となる。
【００５２】
［１−３：雲台］
図８は、雲台１０の内部構成例を示している。
先の図２（ｂ）に示したように、雲台１０には電源端子部ｔ−Ｖｉｎとビデオ端子部ｔ−Ｖｉｄｅｏとが設けられている。
電源端子部ｔ−Ｖｉｎを介して入力された電力は、電源回路６１を介した後、雲台１０内の必要な各部の動作電力として供給される。また、電源回路６１においては、デジタルスチルカメラ１に対する充電用電力が生成され、該充電用電力は通信部５２（コネクタ）を介してデジタルスチルカメラ１側に供給される。
また、上記ビデオ端子部ｔ−Ｖｉｄｅｏには、デジタルスチルカメラ１側から伝送された映像信号が通信部５２、制御部５１を介して供給される。
【００５３】
なお、ここでは、雲台１０の各部の動作電力は上記電源入力端子ｔ−Ｖｉｎを介してのみ供給されるかのように示しているが、実際には雲台１０には、電池の装着部が設けられ、該装着部に装着された電池から各部の動作電力を供給することが可能に構成されている。
【００５４】
また雲台１０には、上記電源端子部ｔ−Ｖｉｎ、上記ビデオ端子部ｔ−Ｖｉｄｅｏへのケーブルの接続有無を検出するための接続検出部５９が設けられる。ケーブル接続有無の検出機構の具体的な構成については、例えばケーブルの接続／抜き取りに応じてスイッチがＯＮ／ＯＦＦする構成などを挙げることができる。但し接続検出部５９としては、ケーブルの接続／抜き取りを識別するための検出信号を出力するように構成されたものであればよく、その具体的な構成については特に限定されない。
接続検出部５９による検出信号（電源端子部ｔ−Ｖｉｎについての検出信号とビデオ端子部ｔ−Ｖｉｄｅｏについての検出信号）は、制御部５１に対して供給される。
【００５５】
また雲台１０は、先に述べたようにパン・チルト機構を備えるものであり、これに対応する部位として、図８にパン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を示している。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。
同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００５６】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータによって成り、パン機構部５３、チルト機構部５６の動きをコントロールする。
例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、ＰＷＭ制御に対応したパルス信号となる。
このモータ駆動信号により、パン用モータ５４が例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くように駆動される。
同様に、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くように駆動される。
【００５７】
パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。
これにより制御部５１は、駆動中のパン機構部５３、チルト機構部５６の回転角度量の情報をリアルタイムに取得（モニタ）できるようにされている。
【００５８】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位である。
この通信部５２は、雲台対応通信部３４と同様に、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２（ａ）との対応では、カメラ台座部１２のコネクタ１４が含まれる。
【００５９】
操作部６０は、先の図２（ｂ）や図４に示したメニューボタン６０ａとしての操作子と、この操作子に対して行われた操作に応じた操作情報信号を生成して制御部５１に出力する操作情報信号出力部位とを一括して示している。制御部５１は、操作部６０から入力される操作情報信号に応じて所定の処理を実行する。
なお、雲台１０についてリモートコントローラが用意される場合は、そのリモートコントローラからのコマンド信号の受信部も、操作部６０の例の一つとなる。
また、図６で述べたように、雲台１０にはタッチセンサが設けられる場合もある。その場合、タッチセンサも操作部６０の一態様となる。タッチセンサによるタッチ操作の検出信号は制御部５１に供給される。
【００６０】
また雲台１０には、音声入力部６２が設けられる場合がある。音声入力部６２は、例えば自動パノラマ撮像の開始としてのトリガ入力として、例えば盛り上がり状況の検出や、特定の言葉の声や特定の音（例えば手を叩く音など）の入力を検出するために設けられる。
音声入力部６２としては、マイクロホン、マイクアンプを含む音声信号処理回路、特定の音を判定する音声解析部などを有する。なお、音声解析は、制御部５１が実行するものとしてもよい。
さらにデジタルスチルカメラ１でのレリーズタイミングの判断として、特定の言葉の声や特定の音の入力を判別する場合に対応するために、雲台１０側に音声入力部６２が設けられる場合もある。
【００６１】
また雲台１０には、撮像部６３が設けられる場合がある。撮像部６３は、自動パノラマ撮像の開始としてのトリガ入力として、特定の被写体の存在や周囲の動きなどを検出するために設けられる。或いは画像解析により周囲状況、例えば周囲の盛り上がり状況を判定し、パノラマ撮像動作の制御を行うために、雲台１０側の撮像部６３が用いられることも考えられる。さらにデジタルスチルカメラ１でのレリーズタイミングの判断として、特定の被写体状態を判別するために雲台１０側に撮像部６３が設けられる場合もある。
撮像部６３としては、光学系部、イメージセンサ、Ａ／Ｄコンバータ、信号処理部、画像解析部などを備える。なお画像解析は、制御部５１が実行するものとしてもよい。
【００６２】
＜２．機能構成例＞
次に、図９のブロック図により、本実施の形態のデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この機能構成例は、本例の撮像システムの撮像動作制御を行う撮像制御装置を実現する構成となり、主に、デジタルスチルカメラ１における制御部２７、雲台１０における制御部５１等のハードウエア構成と、それらで起動されたソフトウエアモジュールが連関して形成される制御処理機能である。
但し図９では、特に後述する自動パノラマ撮像処理、自動静止画撮像処理のために必要な制御機能を、機能毎にブロック化して示している。
【００６３】
図９に示すように、デジタルスチルカメラ１（制御部２７）側は、撮像記録制御部８１、自動静止画撮像制御部８２、撮像視野可変制御部８３、自動パノラマ撮像制御部８４、通信処理部８５、自動撮像モード制御部８６、撮像履歴情報管理部８７、入力認識部８８を備える。
なお、撮像履歴情報管理部８７は、特に後述するパノラマ撮像処理例III、IVを実行する場合に設けられる機能である。
また雲台１０（制御部５１）側は、例えば通信処理部７１、パン・チルト制御部７２、入力認識部７３を有している。
【００６４】
まずデジタルスチルカメラ１側において、撮像記録制御部８１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記録媒体に記憶するための制御処理を実行する部位である。また撮像記録制御部８１は、記録した静止画データの再生、表示動作、或いは撮像時のスルー画の表示動作等のための制御も行う。
即ち撮像記録制御部８１は、図７の光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、信号処理部２４、エンコード／デコード部２５、メディアコントローラ２６、表示ドライバ３２等の制御を行う。つまり光学系部２１のレンズ駆動制御、イメージセンサ２２の撮像動作、撮像信号処理、記録再生処理等を指示し、静止画撮像を実行させるなど、デジタルスチルカメラ１の基本動作を制御する機能部位である。
【００６５】
自動静止画撮像制御部８２は、ユーザのレリーズ操作によらない自動的な静止画撮像を実行する際に必要な各種処理を行う機能部位である。
処理の１つとして被写体検出処理がある。これは、雲台１０によるパン、チルト動作を実行させながら、信号処理部２４で得られる各フレーム画像を確認し、撮像視野内に被写体（例えば人の顔）が入るようにする処理である。このために、自動静止画撮像制御部８２は、必要な雲台１０のパン・チルト動作の判断や、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また処理の１つとして構図処理がある。構図処理とは、撮像視野内における被写体画像の配置について最適状態か否かを判断し（構図判定）、またその構図を調整する処理（構図合わせ）である。この構図の調整のために自動静止画撮像制御部８２は、必要な雲台１０のパン・チルト動作の判断や、光学系部２１におけるズームレンズ駆動の判断等を行う。
【００６６】
なお、上記の被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部２７ではなく信号処理部２４としてのＤＳＰ(Digital signal Processor)に実行させることもできる。従って自動静止画撮像制御部８２としての機能部は、制御部２７、信号処理部２４としてのＤＳＰの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【００６７】
撮像視野可変制御部８３は、実際に撮像視野を変化させる動作を制御する機能部位である。撮像視野の変化は、雲台１０のパン・チルト、もしくは光学系部２１のズーム動作により行われる。従って撮像視野可変制御部８３は、パン・チルト制御、ズーム制御を行う機能部位となる。
デジタルスチルカメラ１を用いてカメラマンが手動で撮像を行う場合は、撮像視野可変制御部８３は、例えばカメラマンのズーム操作に応じてズームレンズ駆動を制御することとなる。
また雲台１０に装着した状態で自動的な静止画撮像やパノラマ撮像を行う場合、撮像視野可変制御部８３は、自動静止画撮像制御部８２の判断・指示、又は自動パノラマ撮像制御部８４からの指示に応じて、ズーム駆動制御、パン駆動制御、チルト駆動制御を行う。
パン駆動制御、チルト駆動制御については、通信処理部８５を介して雲台１０側にパン・チルト制御信号を送信することになる。
例えば撮像視野可変制御部８３は、構図合わせ等の実行時には、自動静止画撮像制御部８２が判定するパン・チルトの移動量に応じて、雲台１０に当該移動量を指示するパン・チルト制御信号を出力する。
また撮像視野可変制御部８３は、自動静止画撮像制御部８２で判定されるズーム倍率に応じて、光学系部２１のズーム動作を駆動制御する。
また撮像視野可変制御部８３は、雲台１０に装着した状態でパノラマ撮像を行う場合は、パノラマ撮像における水平方向の回転移動を実行するため、主にパン動作を指示するパン・チルト制御信号を、通信処理部８５を介して雲台１０側に送信する。
【００６８】
自動パノラマ撮像制御部８４は、ユーザの操作によらない自動的なパノラマ撮像を実行する際に必要な各種処理を行う機能部位である。
処理の１つとして、所定角度のパンニングを実行させながら、パノラマ画像の生成のための撮像画像の取得を実行させる制御を行う。つまりパノラマ撮像制御である。このため自動パノラマ撮像制御部８４は、撮像視野可変制御部８３に指示して所要のパンニングを雲台１０に実行させ、また撮像記録制御部８１に指示して、パノラマ画像生成のための複数フレームの撮像画像データ取得を実行制御させる。
また処理の１つとして被写体検出処理がある。これは、雲台１０によるパン、チルト動作を実行させながら、信号処理部２４で得られる各フレーム画像を確認し、周囲の被写体（例えば人の顔）の存在等を確認する処理である。
このために自動パノラマ撮像制御部８４は、フレーム画像データの画像解析による人物検出、顔検出等の処理を行う。
また処理の１つとしてパノラマ撮像のための構図処理がある。この場合の構図処理とは、パノラマ撮像を実行する角度範囲の設定や、チルト設定、ズーム設定などである。この構図調整のために自動パノラマ撮像制御部８４は、必要な雲台１０のパン・チルト動作の判断や、光学系部２１におけるズームレンズ駆動の判断等を行い、撮像視野可変制御部８３に必要な駆動の指示を行う。
【００６９】
なお、この場合も、被写体検出処理や構図処理のための画像解析を行う処理機能は、制御部２７ではなく信号処理部２４としてのＤＳＰに実行させることもできる。従って自動パノラマ撮像制御部８４としての機能部は、制御部２７、信号処理部２４としてのＤＳＰの一方又は両方に与えるプログラム、インストラクションにより実現できる。
【００７０】
通信処理部８５は、雲台１０側に備えられる通信処理部７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。
上記の撮像視野可変制御部８３が生成したパン・チルト制御信号は、通信処理部６４の通信により、雲台１０の通信処理部７１に対して送信される。
【００７１】
自動撮像モード制御部８６は、自動撮像モードとして、ユーザのレリーズ操作によらない自動的な静止画撮像を行う場合に、その動作シーケンスを制御する。具体的には後述する図１１，図１２のような処理を、各機能部に指示して実行させる。
また自動撮像モード制御部８６は、図１１、図１２の処理のシーケンス上の判断処理として、トリガ入力の認識処理も行う。例えば自動撮像モードの開始トリガ、レリーズタイミングのトリガ、パノラマ撮像実行のトリガなどの認識である。
【００７２】
撮像履歴情報管理部８７は、例えば自動撮像としての静止画の撮像記録を行った際などに、その撮像記録時の各種情報を記憶する処理や、記憶されている撮像履歴情報を参照する処理を行う。撮像履歴情報の記憶は、例えばＲＡＭ２９やフラッシュメモリ３０の記憶領域を用いて行えばよい。
また後述する、撮像履歴情報に基づく顔検出マップ情報の生成なども行う。
【００７３】
入力認識部８８は、操作部３１からのユーザの操作入力や、音声入力部３５からの音声入力の認識処理を行う。
【００７４】
次に図９の機能構成における雲台１０側において、通信処理部７１は、デジタルスチルカメラ１側の通信処理部８５との間での通信を実行するための部位である。
上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御部７２に出力する。
【００７５】
パン・チルト制御部７２は、例えば図８に示した雲台１０側の制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能となる。
このパン・チルト制御部７２は、入力したパン・チルト制御信号に応じて、図８に示したパン用駆動部５５、チルト用駆動部５８を制御する。これにより、例えばパノラマ撮像や被写体検出処理のためのパンニング、チルティングや、構図処理による、最適な水平視野角と垂直視野角を得るためのパンニング、チルティング等が行われる。
【００７６】
入力認識部７３は、操作部６０からのユーザの操作入力や、音声入力部６２からの音声入力の認識処理を行う。特にパノラマ撮像に関しては、例えば図６で述べたタッチセンサ入力の認識を行う。その場合、タッチセンサ入力の情報は通信処理部７１を介してデジタルスチルカメラ１側の制御部２７に送信される。
【００７７】
なお、図９では、各制御機能部位をブロック化して示しているが、これらがそれぞれ独立したプログラムモジュール、或いはハードウエアとして構成される必要はない。事実上、これらの制御機能部の総合的な処理として、後述する実施の形態としての処理動作が実現されるものであればよい。
【００７８】
＜３．パノラマ撮像の概要＞
本実施の形態のデジタルスチルカメラ１は、雲台１０に装着された状態で自動的なパノラマ撮像が実行可能である。ここでパノラマ撮像の概要を図１０で説明しておく。
例えば図１０（ａ）は、デジタルスチルカメラ１の位置を中心としての周囲３６０度の光景であるとする。パノラマ撮像では、このような周囲の光景を広い範囲で一枚の画像として得る動作である。
【００７９】
デジタルスチルカメラ１の処理としては次のようになる。
例えば雲台１０に装着されたデジタルスチルカメラ１が自動的にパノラマ撮像を行う場合、デジタルスチルカメラ１は雲台によって回転される。つまりパンニングされる。これによりデジタルスチルカメラ１の被写体方向（撮像視野）が水平に移動されていく。
この過程でデジタルスチルカメラ１は、例えば図１０（ｂ）のフレームＦ１、Ｆ２、Ｆ３・・・Ｆｎとして示すように、所定フレーム間隔毎で撮像されるフレーム画像データを取り込んでいく。
そして、各フレーム画像データＦ１〜Ｆｎのそれぞれの必要領域を用いて合成処理を行う。ここでは合成処理の詳細については詳述を避けるが、結果として複数のフレーム画像データとして撮像された画像をつなぎ合わせる処理となる。そして、例えば図１０（ｃ）のようなパノラマ画像データを生成し、これを１枚のパノラマ画像データとしてメモリカード４０に記録する。
【００８０】
例えば雲台１０によってデジタルスチルカメラ１を３６０度回転させれば、デジタルスチルカメラ１の位置を中心として全周囲の光景が１枚のパノラマ画像として得られることになる。
特に雲台１０に装着されて回転されることで、ユーザが手にデジタルスチルカメラ１を持って被写体方向を移動させるようなパノラマ撮像の場合と比べて高品質なパノラマ画像が得られる。これは各フレーム画像データで上下のブレがなく、またパンニング速度も一定であり、画像合成が適切に実行できることによる。
【００８１】
＜４．自動撮像処理＞
［４−１：第１の自動撮像処理例］
本例の撮像システムにおける第１の自動撮像処理例を説明する。
自動撮像モードとしては、自動静止画撮像と自動パノラマ撮像の２種類の動作が可能とされる。なお、「自動静止画撮像」とは、パノラマ画像と区別する意味で、通常サイズの静止画を撮像する動作のこととする。
この第１の自動撮像処理例は、予めユーザがメニュー操作等により自動撮像として静止画撮像とパノラマ撮像のどちらを実行するかを選択設定しておき、その後、自動撮像を開始する操作を行うものとする例である。
【００８２】
図１１は、図９に示した機構構成により行われるデジタルスチルカメラ１の制御部２７の処理を示している。
ユーザが所定の操作により自動撮像を指示すると、制御部２７（自動撮像モード制御部８６）は、処理をステップＦ１０１からＦ１０２に進め、ユーザの選択設定を確認する。ユーザがメニュー操作設定により通常の静止画の自動撮像を選択していた場合はステップＦ１０３に進み、一方、ユーザがパノラマ画の自動撮像を選択していた場合はステップＦ１１０に進むことになる。
【００８３】
まず自動静止画撮像が選択されていた場合について説明する。
制御部２７（自動静止画撮像制御部８２）は、ステップＦ１０３で自動静止画撮像用のパラメータやアルゴリズム等の設定を行う。例えば最大チルト角、パンニング速度、被写体検出・構図処理のアルゴリズム（条件設定）、レリーズタイミングの条件設定などを行う。
【００８４】
自動静止画撮像用に各種制御設定を行った後、制御部２７（自動静止画撮像制御部８２）は実際の自動静止画撮像の制御処理を行う。
自動静止画撮像では、本例の撮像システムが、撮像準備として、被写体検出（探索）、最適構図判定、構図合わせの各動作により、被写体検出で検出された被写体の態様に応じて判定した最適とされる構図を目標構図とした自動構図合わせ動作を行う。そして所定の条件で自動的にレリーズ処理を行う。これにより、カメラマンの操作を不要として、適切な静止画撮像が行われるものである。
【００８５】
自動静止画撮像モードでの撮像動作が開始されると、ステップＦ１０４として、撮像画像データの取り込みが開始される。
即ち制御部２７（撮像記録制御部８１）が、イメージセンサ２２、信号処理部２４による撮像画像データの各フレーム毎の取り込みを開始させる。
【００８６】
その後、ステップＦ１０５で自動静止画撮像が終了と判断されるまで、ステップＦ１０６〜Ｆ１０９の処理が実行される。
ステップＦ１０６では被写体検出処理、ステップＦ１０７では構図処理が行われる。
被写体検出処理、構図処理（最適構図判定、構図合わせ）は、自動静止画撮像制御部８２の機能（具体的には制御部２７、及び／又は信号処理部２４の処理）により実行される。
【００８７】
上記のステップＦ１０４で撮像画像データの取り込みが開始された以降は、信号処理部２４は、イメージセンサ２２による撮像画像データとして、１枚の静止画に相当するフレーム画像データを順次取得する。
自動静止画撮像制御部８２は、被写体検出処理として、各フレーム画像データから、人物の顔に相当する画像部分を検出する処理を行う。
なお、被写体検出処理は、全フレーム毎に実行しても良いし、予め定められた所定のフレーム数間隔ごとに実行してもよい。
【００８８】
本例の場合における被写体検出処理では、例えばいわゆる顔検出技術を利用して、画像内から検出した被写体ごとにその顔の画像部分の領域に対応して顔枠を設定する。その上で、当該顔枠の数、サイズ、位置など情報から、画枠内における被写体数、各被写体のサイズやそれぞれの画枠内での位置の情報を得る。
なお、顔検出の手法についてはいくつか知られているが、本実施の形態において、どのような検出手法を採用するのかについては特に限定されるべきものではなく、検出精度や設計難易度などを考慮して適宜適切とされる方式が採用されるようにすればよい。
【００８９】
ステップＦ１０６での被写体検出処理としては、先ずはデジタルスチルカメラ１の周囲に存在する被写体の探索を行う。
この被写体の探索としては、デジタルスチルカメラ１における制御部２７（自動静止画撮像制御部８２、撮像視野可変制御部８３）が、雲台１０に対するパン・チルト制御や光学系部２１に対するズーム制御を行うことによって、撮像視野を変化させながら、例えば信号処理部２４（又は制御部２７）での画像解析による被写体検出を実行させること行う。
このような被写体探索は、撮像画像データとしてのフレーム画像に被写体が検出されるまで実行される。そしてフレーム画像内、つまりその時点の撮像視野に被写体（人物の顔）が存在する状態が得られたことに応じて終了する。
【００９０】
被写体検出処理が終了した後、制御部２７（自動静止画撮像制御部８２）は、ステップＦ１０７で構図処理を行う。
構図処理としては、まずその時点の構図が最適な状態か否かを判定する。この場合、被写体検出結果に基づく画構造の判定（この場合は画枠内における被写体数、被写体サイズ、被写体位置の判定など）を行った上で、該画構造判定により判定した画構造の情報に基づき、所定アルゴリズムに従って最適とされる構図を判定する。
この場合の構図は、パン・チルト・ズームの各撮像視野によって決定づけられるものである。従って当該最適な構図か否かの判定処理によっては、その判定結果として、上記被写体検出結果（画枠内での被写体の態様）に応じた最適な撮像視野とするためのパン・チルト・ズームの制御量の情報が得られるものとなる。
【００９１】
そして構図が最適な状態でなければ、構図合わせとして、最適な構図状態とすべく、パン・チルト制御、ズーム制御を行うこととなる。
具体的に制御部２７（自動静止画撮像制御部８２、撮像視野可変制御部８３）は、構図合わせ制御として、最適構図判定処理により求まったパン・チルトの各制御量の変更の情報を雲台１０側の制御部５１に指示する。
これに応じて雲台１０の制御部５１は、指示された制御量に応じたパン機構部５３・チルト機構部５６についての移動量を求め、この求めた移動量のパン駆動、チルト駆動が行われるように、パン用駆動部５５、チルト用駆動部５８に対する制御信号の供給を行う。
また、制御部２７（自動静止画撮像制御部８２、撮像視野可変制御部８３）は、最適構図判定処理により求まったズームについての画角の情報を、光学系部２１に指示することで、該指示した画角が得られるように光学系部２１によるズーム動作を実行させる。
【００９２】
なお、構図処理で最適構図の状態ではないと判断され、構図合わせとして、パン・チルト、ズーム制御を行った場合は、ステップＦ１０６の被写体検出処理からやり直す。パン・チルト、ズーム動作により、或いは人物の動きにより、被写体が撮像視野から外れることもあるためである。
【００９３】
制御部２７（自動撮像モード制御部８６）は、最適な構図が得られた場合は、ステップＦ１０８でレリーズタイミング判定処理を行う。
なお、ステップＦ１０８によるレリーズタイミング判定処理にてレリーズタイミングがＯＫとならない場合も有り得るが、その場合、ステップＦ１０６の被写体検出からやり直すことになる。被写体人物の動き等により被写体が撮像視野から外れたり、或いは構図が崩れる場合があるためである。
【００９４】
レリーズタイミング判定処理によってレリーズ条件が成立したとされた場合は、ステップＦ１０９のレリーズ処理として、撮像画像データの自動記録を行う。具体的に制御部２７（撮像記録制御部８１）は、エンコード／デコード部２５及びメディアコントローラ２６に対する制御を行って、その時点で得られている撮像画像データ（フレーム画像）のメモリカード４０への記録を実行させる。
【００９５】
ところで、ステップＦ１０８におけるレリーズタイミング判定処理とは、適切な静止画を得るため、所定の静止画撮像条件を満たしたか否かを判定する処理であるが、各種の例が考えられる。
例えば時間によるレリーズタイミング判定が考えられる。例えば構図処理がＯＫとなった時点から所定時間（例えば２，３秒）の経過を静止画撮像条件とする。その場合、制御部２７（自動撮像モード制御部８６）は、ステップＦ１０８では所定時間のカウントを行い、所定時間経過により、制御部２７（撮像記録制御部８１）はステップＦ１０９でレリーズ処理を実行させる。
【００９６】
また撮像画像から特定の被写体状態が判定されたときに、静止画撮像条件を満たしたと判断してもよい。
制御部２７（自動撮像モード制御部８６）は、ステップＦ１０８で、撮像画像の解析により検出される特定の被写体状態の有無を監視する。
特定の被写体状態とは、構図処理で捉えている被写体が笑顔になるなど、特定の表情となったことや、特定のジェスチャ、例えば撮像システムに向かって手を振る、手を挙げる、手を叩く、ピースサインをする、撮像システムに向かってウインクするなどの挙動を行った状態が考えられる。或いは、被写体となっているユーザが撮像システムを注視するなども考えられる。
制御部２７はステップＦ１０８で、撮像画像の画像解析処理により、これらユーザの特定の状態を判定する。そして特定の被写体状態が検出されたら、レリーズタイミングとなったとして、ステップＦ１０９でレリーズ処理を実行させる。
【００９７】
またデジタルスチルカメラ１が音声入力部３５を備える場合、特定の音声入力があったときに、静止画撮像条件を満たしたと判断してもよい。
例えばユーザの発する特定の言葉、手を叩く音、口笛の音などを静止画撮像条件としての特定の音とする。制御部２７（自動撮像モード制御部８６）は、ステップＦ１０８で、これらの特定の音の入力検出を行う。
制御部２７は、音声入力部３５からの入力音声信号解析結果から、これらの特定の音が確認されたら、レリーズタイミングとなったとして、ステップＦ１０９でレリーズ処理を実行させる。
【００９８】
以上のステップＦ１０６〜Ｆ１０９の処理が繰り返されることで、多数の静止画撮像が自動的に行われていく。
そしてユーザの操作等の所定の終了トリガにより、ステップＦ１０５で自動静止画撮像の終了と判断とされると、制御部２７の処理はステップＦ１１４に進み、自動撮像動作の終了処理を行って、一連の自動撮像モードの動作を終了させる。
【００９９】
自動パノラマ撮像が選択設定されていた場合は、制御部２７の処理はステップＦ１０２からＦ１１０に進む。
制御部２７（自動パノラマ撮像制御部８４）は、ステップＦ１１０で自動パノラマ撮像用のパラメータやアルゴリズム等の設定を行う。例えば最大チルト角、パンニング速度、被写体検出・構図処理のアルゴリズム設定、レリーズタイミングの条件設定などを行う。
【０１００】
自動パノラマ撮像用に各種制御設定を行った後、制御部２７は実際の自動パノラマ撮像の制御処理を行う。
自動パノラマ撮像では、本例の撮像システムが、自動的に所定角度のパンニングを行いながら多数のフレーム画像データを取得していき、それらを合成させることでパノラマ画像データを生成する動作となる。
自動パノラマ撮像モードでの撮像動作が開始される場合、まずステップＦ１１１として、撮像画像データの取り込みが開始される。
即ち制御部２７（撮像記録制御部８１）が、イメージセンサ２２、信号処理部２４による撮像画像データの各フレーム毎の取り込みを開始させる。
【０１０１】
その後、ステップＦ１１３で自動パノラマ撮像が終了と判断されるまで、ステップＦ１１２のパノラマ撮像処理が実行される。
ステップＦ１１２のパノラマ撮像処理の具体例は、パノラマ撮像処理例Ｉ〜Ｖとして後述する。
【０１０２】
自動撮像モードとして、パノラマ撮像を１回行って終了するものとされている場合は、ステップＦ１１３で終了と判断され、ステップＦ１１４で制御部２７は自動撮像モード動作の終了処理を行う。
また  自動撮像モードとして、パノラマ撮像を繰り返し行うものとされている場合は、ステップＦ１１３からＦ１１２に戻り、パノラマ撮像が繰り返される。そしてユーザの終了操作、或いは設定したパノラマ撮像回数の撮像完了のときに、ステップＦ１１３で終了とされ、ステップＦ１１４で制御部２７は自動撮像モード動作の終了処理を行う。
【０１０３】
自動撮像モードとしての自動静止画撮像、自動パノラマ撮像が、例えば以上のように行われる。
【０１０４】
［４−２：第２の自動撮像処理例］
第２の自動撮像処理例を図１２で説明する。
この第２の自動撮像処理例は、自動撮像モードとして動作が開始されるときは、基本的に自動静止画撮像が行われる。そして自動静止画撮像の実行中に、何らかのトリガによって自動パノラマ撮像が実行されるという例である。
【０１０５】
図１２は、図９に示した機構構成により行われるデジタルスチルカメラ１の制御部２７の処理を示している。
ユーザが所定の操作により自動撮像を指示すると、制御部２７（自動撮像モード制御部８６）は、処理をステップＦ２０１からＦ２０２に進め、自動静止画撮像用のパラメータやアルゴリズム等の設定を行う。
【０１０６】
自動静止画撮像用に各種制御設定を行った後、制御部２７は実際の自動静止画撮像の制御処理を行う。
まずステップＦ２０３として、撮像画像データの取り込みが開始される。
即ち制御部２７（撮像記録制御部８１）が、イメージセンサ２２、信号処理部２４による撮像画像データの各フレーム毎の取り込みを開始させる。
【０１０７】
その後、ステップＦ２０４で自動撮像モードの動作が終了と判断されるまで、ステップＦ２０５〜Ｆ２０９の処理が実行される。
制御部２７（自動撮像モード制御部８６）は、ステップＦ２０５で、パノラマ撮像実行のトリガが発生したか否かを確認する。
【０１０８】
ステップＦ２０６〜Ｆ２０９は、上記図１１のステップＦ１０６〜Ｆ１０９と同様の自動静止画撮像のための処理である。重複説明となるため詳細は省略するが、ステップＦ２０６〜Ｆ２０９の処理が繰り返されることで、多数の静止画撮像が自動的に行われていく。
そしてユーザの操作等の所定の終了トリガにより、ステップＦ２０４で自動撮像モード動作の終了と判断とされると、制御部２７の処理はステップＦ２１３に進み、自動撮像動作の終了処理を行って、一連の自動撮像モードの動作を終了させる。
【０１０９】
自動静止画撮像の実行中に、制御部２７（自動撮像モード制御部８６）はステップＦ２０５で、所定の状況をパノラマ撮像へのトリガとして認識する。
自動パノラマ撮像実行のトリガの例は、図２７〜図３０で各種説明する。
【０１１０】
制御部２７（自動撮像モード制御部８６、自動パノラマ撮像制御部８４）は、自動静止画撮像中のある時点で、パノラマ撮像実行のトリガ発生と判断したら、処理をステップＦ２１０に進める。そして制御部２７（自動パノラマ撮像制御部８４）は、ステップＦ２１０で自動パノラマ撮像用のパラメータやアルゴリズム等の設定を行う。例えば最大チルト角、パンニング速度、被写体検出・構図処理のアルゴリズム設定、レリーズタイミングの条件設定などを行う。
【０１１１】
自動パノラマ撮像用に各種制御設定を行った後、制御部２７はステップＦ２１１で実際の自動パノラマ撮像の制御処理を行う。
このステップＦ２１１のパノラマ撮像処理の具体例も、後述するパノラマ撮像処理例Ｉ〜Ｖとなる。
【０１１２】
パノラマ撮像処理を終えたら、ステップＦ２１２で自動静止画撮像用のパラメータやアルゴリズム等の設定（ステップＦ２０２と同様の設定）を行ったうえで、ステップＦ２０４に戻り、制御部２７は自動静止画撮像処理を再開する。
以上のように、自動撮像モードとしての自動静止画撮像、自動パノラマ撮像が行われる。
【０１１３】
なお、以上の第１，第２の自動撮像処理例は、デジタルスチルカメラ１と雲台１０による撮像システムにおける処理として説明したが、パン・チルト機構として撮像視野の可変機構が一体に設けられたデジタルスチルカメラでも可能な動作となる。
【０１１４】
＜５．パノラマ撮像処理＞
［５−１：処理例Ｉ］
以下、本実施の形態では、パノラマ撮像処理例Ｉ〜Ｖを説明していく。各処理例Ｉ〜Ｖは、上記図１１のステップＦ１１２、又は図１２のステップＦ２１１における制御部２７の処理となる。また各処理例Ｉ〜Ｖは、基本的に制御部２７の自動パノラマ撮像制御部８４の機能による処理である。パン・チルト・ズーム駆動や、それによる構図決定は、自動パノラマ撮像制御部８４の指示の元、撮像視野可変制御部８３が雲台１０にパン・チルト制御信号を供給したり、ズーム機構を駆動制御して実現する。また、撮像動作に関しては自動パノラマ撮像制御部８４の指示の元、撮像記録制御部８１が撮像系を制御して実行させる動作となる。
【０１１５】
まず処理例Ｉを図１３、図１４，図１５を参照して説明する。
この処理例は、図６で説明したユーザの雲台１０に対するタッチ操作に対応した処理例である。
特にこの処理例Ｉは、図１２の第２の自動撮像処理例において、制御部２７が雲台１０へのユーザのタッチ操作を認識した場合に、ステップＦ２０５でパノラマ実行のトリガ発生と判断し、ステップＦ２１０→Ｆ２１１と進んだ場合の処理と考えることができる。制御部２７は、雲台１０からの通信（入力認識部７３→通信処理部７１→通信処理部８５）により、雲台１０へのユーザのタッチ操作を認識できる。
なお処理例Ｉは、図１１の第１の自動撮像処理例の場合であっても、ステップＦ１１２の自動パノラマ撮像において、ユーザのタッチ操作に応じたパノラマ撮像を行う場合の処理と考えることもできる。
【０１１６】
ステップＦ１１２又はＦ２１１としてのパノラマ撮像処理例Ｉを図１３に示す。
制御部２７は、まず図１３のステップＦ１２１としてタッチ位置を中央とするパノラマ構図を実現するためのパンニング制御を行う。即ちパノラマ撮像を行う角度範囲のうち、ユーザのタッチ位置が水平方向の中央となるようにする。換言すれば、ユーザのタッチ位置を操作に係る水平位置として、その位置がパノラマ画像の中央となるような構図設定を行うことになる。
【０１１７】
図６（ａ）の例では、雲台１０の正面側にタッチ領域６０ｂが設けられている例を述べた。この例に則して具体的な動作を図１４で説明する。
図１４は、雲台１０とデジタルスチルカメラ１を示している。ユーザがタッチ領域６０ｂにタッチした時点におけるデジタルスチルカメラ１の視野方向を、水平方向位置で０°であるとする。また、パノラマ撮像は１８０°の角度範囲で行うと仮定する。
【０１１８】
タッチ領域６０ｂは雲台１０の正面側であり、この場合０°の方向の位置となっている。
そこで制御部２７は、まず破線矢印ＰＮ１のように反時計回りの９０°のパンニング制御を行う。このパンニングによって２７０°の位置がデジタルスチルカメラ１の視野方向となる。
制御部２７には、まずこのようなパンニング制御をステップＦ１２１で行う。そしてこの２７０°の位置がパノラマ撮像の開始位置となる。
【０１１９】
次に制御部２７はステップＦ１２２で構図決定を行う。
パンニング方向の構図は、ステップＦ１２１の制御で決定されたことになる。これ以外にはチルト角度の調整を行う。ズーム倍率の設定を行う場合もある。なお、パノラマ撮像においてはチルト設定、ズーム設定は行わないようにしてもよい。つまりステップＦ１２１のパンニングで構図が決定されたとして処理を進めても良い。
【０１２０】
構図を決定したら、実際のパノラマ撮像を開始する。まず、制御部２７はステップＦ１２３でレリーズタイミングの判定を行い、所定の条件でステップＦ１２４でレリーズを実行制御する。
つまりパノラマ開始位置における決定した構図の状態で、最初の１枚のフレーム画像データを取得する。
この場合のレリーズタイミング判定は、上記図１１のステップＦ２０８で説明したものと同様に被写体の笑顔や特定の仕草、特定の音などとしても良い。但し、パノラマ撮像の場合は、パノラマ撮像開始位置において被写体として人物等が存在しない場合もあるため、構図決定後、即座にレリーズタイミングとなった判定することも好適である。つまり構図決定完了をレリーズタイミングの条件を満たしたと判定する例である。
なお、この図１４のパノラマ撮像の場合のレリーズとは、もちろん静止画データの記録までは意味するものではなく、合成する画像データとして取得することを意味する。
【０１２１】
続いて制御部２７は、ステップＦ１２５で、雲台１０側に指示し、パンニングを開始させる。
図１４の例で言えば、２７０°の位置から実線矢印ＰＮ２として示す時計回り方向のパンニングを実行させる。
パンニングが開始された後、制御部８４はステップＦ１２６でレリーズタイミング判定を行い、ステップＦ１２７でレリーズ制御を行う。これを、ステップＦ１２８でパノラマ終了位置に達したとされるまで繰り返す。
つまり、パンニングしながら、レリーズタイミング判定を行って逐次、フレーム画像データを取得していく。
ステップＦ１２６でのレリーズタイミング判定は、例えば一定時間毎、或いは一定パンニング角度毎などとして制御することが考えられる。
【０１２２】
図１４のように１８０度のパンニングでパノラマ撮像が行われるものと設定されていた場合、制御部２７は、図１４の９０°位置までのパンニングを行った時点で、パノラマ終了位置に達したと判断する。即ち１８０度のパンニングが完了したと判断する。
このとき制御部２７はステップＦ１２９で雲台１０側に、パンニング終了を指示する。また制御部２７はステップＦ１３０で、それまでに取得された多数のフレーム画像データについての合成処理の実行及び合成されたパノラマ画像データのメモリカード４０への記録動作を制御する。
以上で図１２のステップＦ２１１、又は図１１のステップＦ１１２としてのパノラマ撮像処理が完了する。
【０１２３】
このようなパノラマ撮像動作制御によれば、パノラマ撮像を求めた人が中央に写るようなパノラマ画像が得られる。
つまり、ユーザが、デジタルスチルカメラ１が自分の方に向いているときに、雲台１０のタッチ領域６０ｂにタッチすると、まず反時計回りに振りかぶるようなパンニングが行われてから、所定角度範囲でのパノラマ撮像が行われる。タッチ操作したユーザは、パノラマ撮像を行う角度範囲の略中央となる。これによってパノラマ撮像を求めた人にとって最も良好な構図のパノラマ画像が得られることとなる。
【０１２４】
以上の処理例Ｉは、ユーザ操作に基づくトリガに応じてパノラマ撮像を実行する場合、ユーザ操作の水平位置がパノラマ画像の中央となるように、パノラマ撮像の開始位置及び終了位置を決定するものである。これによって、適切な構図の自動パノラマ撮像を実現する。
【０１２５】
なお、図１４の例では１８０°の範囲でパノラマ撮像を行うとしたが、３６０°の範囲でパノラマ撮像を行う設定の場合は、ステップＦ１２１でのパンニングは１８０°の位置まで行うようにする。そして、図１４の１８０°の位置をパノラマ撮像開始位置として、ステップＦ１２５以降、１周のパンニングを行うこととなる。
つまり、ステップＦ１２１でのパノラマ撮像開始位置までのパンニングは、パノラマ撮像を行う角度範囲の半分の角度範囲だけ行えばよい。
【０１２６】
ところで、図６（ｂ）には、雲台１０に３つのタッチ領域６０ｂ、６０ｃ、６０ｄが形成される例を示した。そのような場合の処理例は次のようにすればよい。パノラマ撮像の角度範囲を１８０°として説明する。
まずユーザがタッチ領域６０ｂに触れた場合は、図１４と同様となる。
【０１２７】
ユーザがタッチ領域６０ｄに触れた場合を、図１５（ａ）に示している。図１４と同様、タッチ操作時点のデジタルスチルカメラ１の視野方向を０°とすれば、タッチ領域６０ｂは図１５の９０°位置に相当する。
パノラマ撮像の角度範囲を１８０°とすれば、０°位置は、９０°方向をパノラマ画像の中央とするための開始位置に相当する。従って、この場合は、ステップＦ１２１は実際のパンニング制御は不要となる。既にタッチ操作時点でステップＦ１２１の動作が完了していると考えることができるためである。
そしてステップＦ１２５以降、実線矢印ＰＮ３として示すように、１８０°位置までの１８０°のパンニング制御を行いながらパノラマ撮像を実行していけばよい。
これにより、９０°方向にいるタッチ操作したユーザを中央とする構図のパノラマ画像が得られる
【０１２８】
次に、ユーザがタッチ領域６０ｃに触れた場合を、図１５（ｂ）で説明する。タッチ領域６０ｃは図１５の２７０°位置に相当する。
パノラマ撮像の角度範囲を１８０°とすると、タッチ領域６０ｃの位置（２７０°位置）をパノラマ画像の中央とするには、パノラマ撮像開始位置を１８０°位置とする必要がある。
従って、この場合は、ステップＦ１２１では破線矢印ＰＮ４のパンニング制御を行う。なお、時計回り方向のパンニング制御でパノラマ撮像開始位置を１８０°位置としてもよい。
そしてステップＦ１２５以降、実線矢印ＰＮ５として示すように、１８０°位置から０°位置までの１８０°角度範囲のパンニング制御を行いながらパノラマ撮像を実行していけばよい。
これにより、２７０°方向にいるタッチ操作したユーザを中央とする構図のパノラマ画像が得られる
【０１２９】
つまり、いずれにしても図１３のステップＦ１２１の処理としては、タッチ操作したユーザの位置と、パノラマ撮像の角度範囲に応じて、パンニング制御量を決めればよいことになる。
雲台にタッチ領域がより多数設けられ、より細かくユーザの位置が推定できる場合も、同様に考えればよい。
【０１３０】
なお、タッチセンサが雲台１０に設けられる例で説明したが、デジタルスチルカメラ１の筐体にタッチセンサ部が形成されることもある。その場合も、操作したユーザの居る方向が推定可能な構成であれば、上記同様にステップＦ１２１のパンニング制御を考えればよい。一方、ユーザの居る方向が推定できない態様の場合、その時点のデジタルスチルカメラ１の視野方向からユーザがタッチ操作を行ったと推定して、図１４のような動作を行っても良い。
なお、デジタルスチルカメラ１側にタッチセンサが設けられる場合は、制御部２７（入力認識部８８）がタッチ操作を認識する。
【０１３１】
また、以上はタッチ操作でユーザの位置を推定した処理例を述べているが、他にユーザの位置を推定できる場合は、処理例Ｉの適用が可能である。
例えば音声入力部３５（又は６２）で得られる特定の声が認識されたときに、その声を発したユーザの方向が推定できるのであれば、その方向がパノラマ画像の中央となるようにステップＦ１２１のパンニング制御を行うと良い。
また、例えば音量が増大したときに、盛り上がった状況を推定し、これをパノラマ撮像のトリガとする場合、その音の方向がパノラマ画像の中央となるようにするために、ステップＦ１２１のパンニング制御を行うことも考えられる。
【０１３２】
また、ユーザの特定のポーズ、仕草、ジェスチャーなどをパノラマ撮像のトリガとして認識する場合もある。撮像画像信号の解析で、特定のポーズ等が検出された場合に、図１２のステップＦ２０５でトリガ有りと判定する場合である。
そのような場合は、特定のポーズ等を行ったユーザはデジタルスチルカメラ１の視野方向に居るのであるから、図１３の処理により、ステップＦ１２１で図１４と同様のパンニング制御を行った上でパノラマ撮像を開始する。すると、当該ユーザが中央となる構図のパノラマ画像を得ることができる。
【０１３３】
［５−２：処理例II］
続いて、図１１のステップＦ１１２又は図１２のステップＦ２１１としてのパノラマ撮像処理例IIを図１６、図１７で説明する。
この処理例IIは、撮像により得られた撮像画像信号から認識される所定の目的被写体（例えば人の顔）の存在判定に基づいて、パノラマ撮像の開始位置及び終了位置を決定する処理である。
【０１３４】
図１６は処理例IIとしての制御部２７の処理を示している。なお、上述の図１３と同一の処理については同一符号を付し、詳細な説明は省略する。
図１１のステップＦ１１２又は図１２のステップＦ２１１に進むと、制御部２７は図１６の処理を行う。
制御部２７はまずステップＦ１４０として、左回りパンニング制御を行いながら顔検出を実行する処理を開始する。この場合、制御部２７は、パンニング中に、撮像により得られる撮像画像データを解析し、顔画像が存在するか否かを確認していく。
また制御部２７には、このステップＦ１４０の顔検出の開始時点でタイムカウントも開始する。
そして、一定期間、新たな顔が検出されなかったら、ステップＦ１４１からＦ１４２に進み、そのときの水平方向位置をパノラマ撮像開始位置と決定する。
【０１３５】
図１７に動作例を示す。図１６の処理開始時点でのデジタルスチルカメラ１の視野方向を矢印Ｈ１とする。この矢印Ｈ１の方向を０°とする。
制御部２７が、まずステップＦ１４０で左回りパンニングを指示することで、雲台１０が図１７（ａ）の波線矢印ＰＮ６のように左回りパンニングを開始する。このとき制御部２７は顔検出を継続的に行っており、撮像視野の左側から新たな顔が検出されたか否かを確認している。また制御部２７はパンニング開始時点からタイムカウントを開始しているが、このタイムカウントは、新たな顔検出がなされた時点でリセットされ、カウントを再開する。
図示の顔ＦＣのように周囲にユーザが居たとすると、波線矢印ＰＮ６のパンニング開始後、１人目から３人目までは、比較的短い時間で顔ＦＣが検出される。しかし３人目の顔ＦＣを検出した後は、４人目の顔ＦＣはなかなか検出されない。ここで、３人目の顔ＦＣを検出した後に、矢印Ｈ２の視野方向となった時点で、新たな顔が検出されない期間として時間ＴＭ１が経過したとする。
ステップＦ１４１では、このような時間ＴＭ１経過を一定期間経過と判定する。
そしてステップＦ１４２では、この時の位置、つまり図１７（ａ）のＸ°の水平方向位置を、パノラマ撮像の開始位置とすることになる。
【０１３６】
このようにパノラマ撮像の開始位置が決定されたら、制御部２７は上述の図１３と同様にステップＦ１２２で構図決定を行い、ステップＦ１２３でレリーズタイミング判定を行い、ステップＦ１２４で最初のレリーズ制御を行う。
そしてステップＦ１２５Ａで、パノラマ撮像のための右周りパンニングを開始させる。例えば図１７（ｂ）のＸ°位置からの矢印ＰＮ７のパンニングを開始させる。
ここで制御部２７は、このようにパノラマ撮像のパンニングの開始後も、顔検出及びタイムカウントを行う。即ち制御部２７は顔検出を継続的に行い、矢印ＰＮ７のパンニング中に撮像視野の右側から新たな顔が検出されたか否かを確認している。また制御部２７は矢印ＰＮ７の右回りパンニング開始後、最初の顔検出時点からタイムカウントを開始する。このタイムカウントは、新たな顔検出がなされた時点でリセットされ、カウントを再開する。
【０１３７】
この矢印ＰＮ７の右回りパンニング中は、制御部２７はステップＦ１２６でレリーズタイミングを判定しながらステップＦ１２７でレリーズ制御、即ちパノラマ画像生成のためのフレーム画像データの取得を実行していく。例えば一定時間毎、或いは一定パンニング角度毎などでレリーズ制御を行う。
またステップＦ１４３で、新たな顔検出が一定期間なされなかったか否かを確認している。
【０１３８】
図１７（ｂ）の例の場合、矢印ＰＮ７のパンニング開始後、１人目から４人目までは、比較的短い時間で顔ＦＣが検出される。しかし４人目の顔ＦＣを検出した後は、５人目の顔ＦＣはなかなか検出されない。ここで、３人目の顔ＦＣを検出した後に、矢印Ｈ３の視野方向となった時点で、新たな顔が検出されない期間として時間ＴＭ１が経過したとする。
ステップＦ１４３では、このような時間ＴＭ１経過を一定期間経過と判定する。
そして一定期間経過の場合は、ステップＦ１２９に進み、雲台１０側によるパノラマ撮像のためのパンニングを終了させる。即ち図１７（ｂ）のＹ°の水平方向位置が、パノラマ撮像の終了位置とされることになる。
また制御部２７はステップＦ１３０で、それまでに取得された多数のフレーム画像データについての合成処理の実行及び合成されたパノラマ画像データのメモリカード４０への記録動作を制御する。
以上で図１１のステップＦ１１２又は図１２のステップＦ２１１としてのパノラマ撮像処理が完了する。
【０１３９】
即ちこの図１６の処理例IIは、制御部２７（自動パノラマ撮像制御部８４）はまずパノラマ撮像開始前に、撮像視野可変制御部８３が雲台１０にパンニングを実行させながら撮像画像信号を解析する。そして所定時間、目的被写体（顔画像）が非存在と判定されたときの撮像視野の位置を、パノラマ撮像の開始位置とする。
さらに制御部２７（自動パノラマ撮像制御部８４）は、パノラマ撮像の実行中に、撮像画像信号から、所定時間、目的被写体（顔画像）が非存在と判定されたときの撮像視野の位置を、パノラマ撮像の終了位置とする。
このように撮像画像からの顔検出によってパノラマ撮像の開始位置及び終了位置を決定することで、適切な構図の自動パノラマ撮像が実現される。
例えば図１７（ａ）（ｂ）の動作によれば、図１７（ｃ）のような構図のパノラマ画像が得られることとなる。これは、複数のユーザが画像中央を中心として並び、両端は人がいないような画像である。即ち、人が居ないところをパノラマ画像の両端とすることとなるため、バランスの良い構図のパノラマ画像が得られる。
【０１４０】
なお、上記説明では、ステップＦ１４１、Ｆ１４３では、時間ＴＭ１のタイムカウントにより、一定期間経過の検出を行ったが、計時ではなくパンニング制御量を監視し、一定角度範囲のパンニング移動を検出してもよい。つまり顔検出がなされないまま一定角度のパンニングが行われたか否かを監視するようにする。
【０１４１】
またステップＦ１４２、Ｆ１４３では、共に時間ＴＭ１としたが、異なる時間を監視しても良い。
また、時間で監視する場合は、パノラマ撮像開始位置までのパンニング（波線矢印ＰＮ６）の速度と、パノラマ撮像中のパンニング（矢印ＰＮ７）の速度にもよって所定期間の時間値を設定することが適切である。
但し両端を開け、人の画像をバランスよく配置する構図とするには、パンニング速度が一定である場合は、ステップＦ１４１、Ｆ１４３では同じ時間値を監視することが好ましい。
【０１４２】
また、目的被写体を顔として説明しているが、顔以外の特定の被写体を目的被写体とすることも考えられる。
また、パンニングさせながらのパノラマ撮像を想定して説明しているが、例えばチルティングをさせながら垂直方向にパノラマ撮像を行うということも考えられる。その場合は、チルティングさせながら目的被写体の存在判定を行って、パノラマ撮像の開始位置、終了位置を決めるという処理が可能である。
【０１４３】
［５−３：処理例III］
図１１のステップＦ１１２又は図１２のステップＦ２１１に適用できるパノラマ撮像処理例IIIを図１８〜図２１で説明する。
この処理例IIIは、過去に得られた撮像画像信号から生成された、所定の目的被写体の存在を示す撮像履歴情報に基づいて、パノラマ撮像の開始位置及び終了位置を決定する処理である。
特にこの例では、制御部２７は、撮像履歴情報から得られる顔検出マップ情報を参照し、目的被写体（例えば顔）の存在分布を判別する。そして存在分布に応じて、パノラマ撮像の開始位置及び終了位置を決定する。
【０１４４】
まず、図２３で撮像履歴情報及び顔検出マップ情報について説明しておく。
制御部２７（撮像履歴情報管理部８７）は、例えば図１１のステップＦ１０９や図１２のステップＦ２０９でレリーズ、即ち静止画の撮像記録を行った際に、その撮像記録時の各種情報を例えばＲＡＭ２９やフラッシュメモリ３０に記憶する処理を行うようにする。この記憶する情報が撮像履歴情報の内容となる。
【０１４５】
撮像履歴情報の内容の例を図１９（ａ）で説明する。
撮像履歴情報は、単位撮像履歴情報１〜ｎの集合により形成される。１つの単位撮像履歴情報が、１回の自動撮像記録に応じた履歴の情報を格納する。
１つの単位撮像履歴情報は、図示するように、ファイル名、撮像日時情報、ズーム倍率情報、パン・チルト位置情報、被写体数情報、個人認識情報、画枠内位置情報、サイズ情報、顔方向情報、表情情報などを含む。
【０１４６】
ファイル名は、自動静止画撮像記録によりメモリカード４０にファイルとして記録された撮像画像データのファイル名が示される。また、ファイル名に代えて、ファイルパスなどとされてもよい。いずれにせよ、このようなファイル名、ファイルパスの情報によって、単位撮像履歴情報とメモリカード４０に記憶された撮像画像データとが対応付けられる。
【０１４７】
撮像日時情報は、対応する自動静止画撮像記録が実行された日時を示す。
ズーム倍率情報は、撮像記録時（レリーズ時）のズーム倍率を示す。
パン・チルト位置情報は、対応する自動撮像記録が実行されたときに設定されていたパン・チルト位置を示す。
【０１４８】
被写体数情報は、対応する撮像画像データ、即ち、対応する自動撮像記録によりメモリカード４０に記憶された撮像画像データの画像（画枠）内に存在する被写体（検出個別被写体）の数を示す。
個人認識情報は、対応する撮像画像データの画像内に存在する被写体ごとについての個人認識結果の情報（個人認識情報）である。
【０１４９】
画枠内位置情報は、対応する撮像画像データの画像内に存在する被写体ごとについての画枠内における位置を示す情報である。例えば、この画枠内位置情報は、画枠内における被写体ごとに求められた重心に対応する点の座標位置として表すことができる。
サイズ情報は、対応する撮像画像データの画像内に存在する被写体ごとについての画枠内におけるサイズを示す情報である。
顔方向情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された顔方向を示す情報である。
表情情報は、対応する撮像画像データの画像内に存在する被写体ごとについて検出された表情が何であるのか（例えば笑顔、笑顔でないなどの区別）を示す情報である。
【０１５０】
例えば自動静止画撮像の際のレリーズ処理時点毎に、このような内容の単位撮像履歴情報を記憶する。そしてそれらを撮像履歴情報として保持しておくことで、多様な処理が可能となる。本実施の形態では、パノラマ撮像に関して、次のように撮像履歴情報を利用する。
まず制御部２７（撮像履歴情報管理部８７）は、撮像履歴情報に基づいて、図１９（ｂ）のような顔検出マップ情報を生成する。これは、例えば雲台１０の周囲３６０°範囲を、所定角度毎に分割し、各角度位置にユーザ（顔）が存在したか（存在すると推定されるか）を示す情報である。
例えば各単位撮像履歴情報におけるパン・チルト位置情報や画枠内位置情報を参照し、人が居ると判定される角度位置について、マップ上に存在フラグ「１」を立てていくことで、顔検出マップ情報を生成する。
但し、周囲の人々の動きにより、ユーザ位置は常に固定しているわけではない。従って、顔検出マップ情報は必ずしも現時点での正確なマップとはならない。つまり顔検出マップ情報は、ユーザがその後動いていなければ、そのまま居るであろうと推定される角度位置の情報となる。そこで、より推定の正確性を高めるためには、顔検出マップ情報は、単位撮像履歴情報のうちで、撮像日時情報が現在からみて所定時間以内のものだけが反映されるように逐次更新していくことが考えられる。或いは自動静止画撮像時の顔探索として直近の３６０°範囲で行われた期間におけるレリーズ時点の単位撮像履歴情報のみから顔検出マップ情報を作成してもよい。
【０１５１】
このような顔検出マップ情報を参照すると、パノラマ撮像の際に、周囲におけるユーザの存在分布が推定できる。そこで、制御部２７はパノラマ撮像処理として図１８の処理を行う。
パノラマ撮像の開始に当たっては、まず制御部２７は図１８のステップＦ１５０で、顔検出マップ情報を参照し、パノラマ撮像の開始位置、終了位置を決定する。
そしてステップＦ１５１で制御部２７は、パノラマ撮像の開始位置へのパンニング制御を行う。
【０１５２】
図２０、図２１でこのステップＦ１５０，Ｆ１５１の動作例を説明する。
なお図２０、図２１に示す角度位置は、顔検出マップ情報の角度位置に対応するものとしている。制御部２７は、パン位置としての基準位置（図４参照）の方向を０°と把握して、顔検出マップ情報を生成し、また周囲の人の存在を推定する。
【０１５３】
デジタルスチルカメラ１及び雲台１０の周囲に多数のユーザが存在するとする。そして上述の顔検出マップ情報によれば、例えば図２０（ａ）のように周囲の各角度位置に顔ＦＣの存在が推定されるとする。
この場合、制御部２７は、顔ＦＣと顔ＦＣの距離が一番離れている部分の中点を、パノラマ画像の端となるようにする。言い換えれば、顔ＦＣと顔ＦＣの距離が一番離れている部分の中点がパノラマ画像の端となるように総合重心を設定する。
【０１５４】
仮にパノラマ撮像を３６０°範囲で行うとすると、パノラマ撮像の開始位置と終了位置は同じ角度位置となる。そして図２０（ａ）の場合、顔検出マップ情報から、図示する２２５°の位置が、顔ＦＣと顔ＦＣの距離が一番離れている部分の中点と判断される。その２２５°の位置をパノラマ画像の端とするには、総合重心を４５°の位置とすればよい。
この場合、制御部２７は、２２５°の位置をパノラマ撮像の開始位置及び終了位置と決定することとなる。
【０１５５】
また、仮にパノラマ撮像を２７０°範囲で行うとする場合の例を図２１（ａ）に示している。顔検出マップ情報から図２１（ａ）の状況が推定される場合、図示する１３５°の位置が、顔ＦＣと顔ＦＣの距離が一番離れている部分の中点と判断される。
その場合、制御部２７は、この１３５°の位置が、２７０°範囲のパノラマ画像に含まれない角度範囲（残りの９０°範囲）の中央となるように、パノラマ撮像の開始位置と終了位置を決定する。つまり図の３１５°の位置が総合重心となるようにする。
この例でいえば、１８０°位置をパノラマ撮像の開始位置とし、また９０°位置をパノラマ撮像の終了位置とすればよい。
【０１５６】
ステップＦ１５０で以上のように開始位置、終了位置を決定し、ステップＦ１５１で開始位置へ移行するパンニングを行ったら、ステップＦ１２２以降の処理でパノラマ撮像を実行する。ステップＦ１２２〜Ｆ１３０は図１３と同様なため、説明を省略する。
なおステップＦ１２８で判断するパノラマ終了位置とは、ステップＦ１５０で顔検出マップ情報に基づいて決定したパノラマ終了位置となることはいうまでもない。
【０１５７】
このような処理によって、自動パノラマ撮像においてバランスの良い構図のパノラマ画像を得やすいこととなる。
例えば図２０（ａ）で説明したように開始位置、終了位置を決定して３６０°範囲のパノラマ撮像を行えば、図２０（ｂ）のようなパノラマ画像が得られる可能性が高い。即ち、人が集まっている方向が画像の中央となって、両端は、あまり人が居ない（人の分布が少ない）方向となる構図である。
図２１（ａ）で説明したように開始位置、終了位置を決定して２７０°範囲のパノラマ撮像を行った場合も、同様に、図２１（ｂ）のようなバランスの良い構図のパノラマ画像が得られる可能性が高い。
これらのように、周囲の人の存在推定に基づいて、良好なパノラマ撮像が実現される。
【０１５８】
なお、目的被写体を顔として説明しているが、顔以外の特定の被写体を目的被写体とすることも考えられる。特定の目的被写体のマップ情報を生成し、参照してパノラマ撮像の開始位置、終了位置を決めればよい。
また、パンニングさせながらのパノラマ撮像を想定して説明しているが、チルティングをさせながら垂直方向にパノラマ撮像を行う場合にも適用できる。その場合は、チルティング範囲でのマップ情報を生成、参照して、パノラマ撮像の開始位置、終了位置を決めるという処理が可能である。
【０１５９】
［５−４：処理例IV］
図１１のステップＦ１１２又は図１２のステップＦ２１１に適用できるパノラマ撮像処理例IVを図２２〜図２５で説明する。
この処理例IVも、上記処理例IIIと同様に、過去に得られた撮像画像信号から生成された、所定の目的被写体の存在を示す撮像履歴情報や顔検出マップ情報に基づいて、パノラマ撮像の開始位置及び終了位置を決定する。
但し処理例IVでは、目的被写体の水平方向位置及び垂直方向位置での存在分布と、パノラマ画サイズに基づいて、構図調整を行う。
具体的には、構図調整として、ズーム倍率を算出してズーム機構のズーム倍率変更制御を行う。
【０１６０】
図２２で制御部２７の処理を説明する。
まずステップＦ１６０で、顔検出マップ情報を参照して、パノラマ撮像の開始位置、終了位置を決定する。これは、上記処理例III（図１８のステップＦ１５０）と同様と考えればよい。つまり顔検出マップ情報において、最も離れているユーザの中点を基準に総合重心を決め、開始位置、終了位置を決定する。なお、本処理例では画サイズがユーザの設定によって決められており、パノラマ撮像の角度範囲も、画サイズに応じて決まるとする。
【０１６１】
そしてステップＦ１６１で制御部２７は、画サイズと被写体の状況に応じたズーム設定を行う。図２４，図２５でこの処理を説明する。
今、仮に特にズーム制御することなしに、通常のパノラマ撮像時のズーム状態でパノラマ撮像を行った場合に、図２４（ａ）のようなパノラマ画像が得られたとする。このパノラマ画像は、比較的、各人の顔が小さく写った状態である。
一方で、このような状況で、ズーム倍率を変更してパノラマ撮像を行うと、図２４（ｂ）のようなパノラマ画像が得られるとする。
この図２４（ａ）（ｂ）のパノラマ画像を比べると、構図的には図２４（ｂ）の方が好ましいと考えることができる。構図的に充実し、また各ユーザの顔が大きく高精細に写され、画質的にも向上するためである。
【０１６２】
このようにパノラマ撮像の際にズーム制御を行うことで、適切なパノラマ画像が得られることがあるが、常にズーム制御を行うことが好適という訳でもない。例えばズーム倍率を上げることで、端の方にいる人が入らなくなるようなこともある。
そこで本例では、制御部２７はステップＦ１６１で、画サイズと被写体の分布状況に応じてズーム制御を行うか否か、また行う場合のズーム倍率を決定する。
【０１６３】
このステップＦ１６１のズーム設定の判断として制御部２７は図２３の処理を行う。
まずステップＦ１９１で、最大離間距離Ｘｍａｘ、Ｙｍａｘを算出する。
最大離間距離Ｘｍａｘ、Ｙｍａｘとは、図２５に示すように、水平方向、垂直方向での最も離れた顔同士の離間距離である。
水平方向の最大離間距離Ｘｍａｘは、顔検出マップ情報を参照することで、求めることができる。即ち、今回実行するパノラマ撮像の角度範囲に含まれるユーザの分布として、最も端となる２人の顔の角度差から、最大離間距離Ｘｍａｘを求めることができる。
また、垂直方向の最大離間距離Ｙｍａｘは、例えばこちらも顔の存在位置のマップ情報を生成すればよい。例えば各単位撮像履歴情報におけるチルト位置と、画枠内位置情報を用いれば、検出された各顔画像の絶対的な垂直方向位置が算出できる。これに基づいて垂直方向のマップを生成する。そして、これから実行するパノラマ撮像のチルト角度範囲内で、最も離れている２つの顔位置をマップから判定し、その離間距離を求める。
【０１６４】
例えばこのように最大離間距離Ｘｍａｘ、Ｙｍａｘを求めたら、制御部２７はステップＦ１９２、Ｆ１９３の演算を行う。
まずステップＦ１９２では、図２５に示す水平画サイズＸｗｉｄｅに対して所定係数（ここでは一例として０．８とする）を乗算した値と、最大離間距離Ｘｍａｘを比較する。
またステップＦ１９３では、垂直画サイズＹｗｉｄｅに対して所定係数（一例として０．８）を乗算した値と、最大離間距離Ｙｍａｘを比較する。
【０１６５】
このステップＦ１９２，Ｆ１９３で、Ｘｗｉｄｅ×０．８＜Ｘｍａｘの条件と、Ｙｗｉｄｅ×０．８＜Ｙｍａｘの条件の、一方でも満たされなければ、ズーム制御は行わないとする。つまりパノラマ撮像用の通常のズーム設定のままとする。
一方、上記２つの条件が両方満たされた場合は、制御部２７はステップＦ１９４、Ｆ１９５にすすみ、ズーム制御を行う。
【０１６６】
ステップＦ１９４では、制御部２７はズーム倍率を算出する。例えばズーム倍率は、
Ｘｗｉｄｅ／（Ｘｍａｘ＋Ｋ）
として求められる倍率とする。「Ｋ」はズーム後の余白分に相当する値とする。
そしてステップＦ１９５で、当該ズーム倍率となるように、ズーム機構を制御する。
【０１６７】
以上の処理を図２５で説明する。
例えば顔検出マップ情報から推定される周囲の人の分布が、パノラマ撮像する角度範囲において図２５（ａ）のようであったとする。つまり図２５（ａ）のような構図のパノラマ画像が得られると推定されるとする。
この場合、画像の端部にはユーザがおらず、各ユーザの顔が比較的中央に集まっており、全体の構図としてはあまり好ましくない。
そしてこの場合、最大離間距離Ｘｍａｘが、水平画サイズＸｗｉｄｅに対してかなり短いことから、Ｘｗｉｄｅ×０．８＜Ｘｍａｘの条件が成立するとする。
また最大離間距離Ｙｍａｘも、垂直画サイズＹｗｉｄｅに対してかなり短いことから、Ｙｗｉｄｅ×０．８＜Ｙｍａｘの条件も成立するとする。
この場合は、ステップＦ１９４でズーム倍率算出を行い、ズーム制御を行うこととなる。ズーム倍率は、図中の最大離間距離Ｘｍａｘに、余白分Ｋを加えた値が、水平画サイズＸｗｉｄｅとなる倍率とされる。
これによって各人の顔が大きく写され、また画像上の配置も好ましい構図のパノラマ画像が得られる。即ち図２４（ｂ）で説明したような構図が得られる。
【０１６８】
一方、図２５（ｂ）は、通常のズーム倍率状態において撮像すると、各ユーザの顔が水平方向に比較的広い範囲で分布した構図となる場合である。この場合、ズーム倍率を上げると、隅の人の顔が入らなくなってしまう。
この場合は、Ｘｗｉｄｅ×０．８＜Ｘｍａｘの条件が成立しないことで、ズーム制御は行われないこととなる。
また図２５（ｃ）は、通常のズーム倍率状態において撮像すると、各ユーザの顔が垂直方向に比較的広い範囲で分布した構図となる場合である。この場合、ズーム倍率を上げると、上又は下に位置する人の顔が入らなくなることがある。
この場合は、Ｙｗｉｄｅ×０．８＜Ｙｍａｘの条件が成立しないことで、ズーム制御は行われない。
なお、ここでは最大離間距離Ｘｍａｘ、Ｙｍａｘが、画サイズＸｗｉｄｅ、Ｙｗｉｄｅの０．８倍となっているか否かでズーム制御実行判断しているが、もちろん０．８倍でなくてもよい。
【０１６９】
図２２のステップＦ１６１では制御部２７は、このようにズーム設定を行うこととなる。そしてステップＦ１６１としてズーム制御を行い、又はズーム倍率変更は行わずに、ステップＦ１６２でパノラマ撮像の開始位置へのパンニング制御を行う。即ちステップＦ１６０で決定したパノラマ開始位置へのパンニングである。
【０１７０】
パノラマ撮像の開始位置へのパンニングを行ったら、ステップＦ１２３以降の処理でパノラマ撮像を実行する。ステップＦ１２３〜Ｆ１３０は図１３と同様なため、説明を省略する。
なおステップＦ１２８で判断するパノラマ終了位置とは、ステップＦ１６０で顔検出マップ情報に基づいて決定したパノラマ終了位置となる。
【０１７１】
この処理例IVによれば、処理例IIIと同様、自動パノラマ撮像においてバランスの良い構図のパノラマ画像を得やすいこととなる。その上で、分布状況によって適切と判断されるときにはズーム倍率が変更される。これによって、より好ましい構図、良好な画質のパノラマ画像が得られる。
【０１７２】
なお、ステップＦ１６１でズーム制御を行う場合は、同時にチルト制御も行って最適な構図を得ることも考えられる。例えば殆どのユーザの顔が、撮像視野の上端付近に分布するような場合、ズームすることで極端にパノラマ撮像の上端付近に顔が集まってしまうことも考えられる。そのような場合は、チルト制御を行うことで、より好適なパノラマ画像の構図を実現できる。
なおこの処理例も、目的被写体を顔以外の特定の被写体として適用可能である。
【０１７３】
［５−５：処理例Ｖ］
図１１のステップＦ１１２又は図１２のステップＦ２１１に適用できるパノラマ撮像処理例Ｖを図２６で説明する。
この処理例Ｖは、３６０°のパノラマ撮像を実行する場合、現在の水平方向位置を開始位置として、即座に３６０°範囲のパノラマ撮像を実行する例である。言い換えれば、パン方向の構図調整を行わないで、３６０°範囲のパノラマ撮像を実行する。
【０１７４】
制御部２７は、図１１のステップＦ１１２又は図１２のステップＦ２１１に進んでパノラマ撮像を実行する場合、図２６のステップＦ１２４として、その時点の状態でレリーズ制御を行う。つまり、構図調整をせずに、まず最初のフレーム画像データを取得する。
そしてステップＦ１２５でパンニングを開始させ、ステップＦ１２６でレリーズタイミングを判断し、ステップＦ１２７でレリーズ制御を行う。
ステップＦ１２８Ａでは、制御部２７は３６０°のパンニング完了を監視する。パンニング角度は、制御部２７のパン制御量から確認しても良いし、雲台１０の制御部５１から３６０°のパンニング完了の通知を受けるようにしても良い。
そして３６０°のパンニングが完了したことを検知したら、制御部２７はステップＦ１２９でパンニング終了制御を行い、ステップＦ１３０でパノラマ合成処理、パノラマ画像データの記録処理を実行させる。
【０１７５】
この処理例Ｖは、急いでパノラマ撮像を実行したい場合の制御方式として好適である。  まず、３６０°範囲のパノラマ撮像を行うため、水平方向の構図調整を行わなくとも、周囲全体を撮像できる。
上述してきた処理例Ｉ〜IVのように、パノラマ撮像開始前に所要のパンニングやチルト、ズーム制御を行うと、それだけ時間を要する。すると、パノラマ撮像のタイミングを逃すこともあり得る。
このことからすぐにパノラマ撮像を実行したい場合は、多少構図の善し悪しを犠牲としても、迅速性を優先する図２６のような処理を選択することが好適となる。
【０１７６】
なお図２６では、一切の構図調整を行わないとしたが、例えばステップＦ１２４の直前にチルト調整のみを行うという処理例も考えられる。
チルト調整のみは行うようにすれば、迅速なパノラマ撮像開始という点を考慮しつつ、より好ましい構図が実現できる。
【０１７７】
＜６．パノラマ撮像へのトリガ＞
［６−１：各種トリガ例］
続いてパノラマ撮像の実行へのトリガについて説明する。図２７〜図３０は、各種のトリガ発生判断の処理例を示している。これらは例えば図１２のステップＦ２０５の処理と考えることができる。
【０１７８】
図２７（ａ）は、ユーザのタッチ操作をパノラマ撮像を実行のトリガとして認識する例である。
制御部２７は、例えば自動静止画撮像中に、ステップＦ３００でタッチ操作を認識した場合に、ステップＦ３０４でパノラマ撮像実行のトリガ発生と判断する。雲台１０に対するユーザのタッチ操作は、雲台１０の制御部５１で認識され、制御部２７に通知される。
これは上述の処理例Ｉの場合に適用されるトリガ判断処理である。
なお、タッチ操作以外の何らかのユーザ操作によって制御部２７がパノラマ撮像のトリガを認識することも同様に考えられる。
【０１７９】
図２７（ｂ）は、自動静止画撮像としての所定範囲の探索又は静止画撮像の完了に応じてパノラマ撮像を実行するとする場合のトリガ発生判断である。
制御部２７はステップＦ３５０で、所定範囲の探索又は静止画撮像が完了したか否かを判断し、完了している場合、ステップＦ３５１でパノラマ撮像実行のトリガ発生と判断する。
図１２で説明したように、自動静止画撮像動作はステップＦ２０６〜Ｆ２０９の処理として、顔探索を行いながら実行する。例えば雲台１０の周囲について９０°毎にエリアを設定し、各エリアで所定のサーチパターンでパン・チルトを実行して顔を探索する。
そのような探索及び静止画撮像を各エリアについて一通り行うと、周囲３６０°を対象とした自動静止画撮像の処理を行ったこととなる。
例えばこのような時点で、パノラマ撮像を実行するようにする。その場合、制御部２７は所定範囲の探索として、３６０°範囲の探索を完了したかを判断し、その場合にパノラマ撮像のトリガ発生と認識すればよい。
【０１８０】
図２８（ａ）は、撮像画像信号から認識される所定の目的被写体の存在数に基づいて発生されるトリガの例である。目的被写体は顔とする。
制御部２７はステップＦ３１０で、自動静止画撮像開始後に検出された顔の数を確認する。つまり周囲の人の数である。
例えば上述した撮像履歴情報を自動静止画撮像開始時から蓄積していくことで、周囲に何人の人が居るかを判断することができる。図１９で説明した単位撮像履歴情報における個人認識情報を用いれば、各人を判別してある程度正確に人数を判定できる。
そして制御部２７は、ステップＦ３１１で所定数以上の顔が存在すると判断したら、ステップＦ３１２でパノラマ撮像実行のトリガ発生と判断する。
このようなトリガによれば、自動静止画撮像を行っている際で、周囲に人が多い場合に自動的にパノラマ撮像が実行されることとなる。
【０１８１】
図２８（ｂ）は、撮像画像信号から認識される複数の所定の目的被写体の離間距離に基づいて発生されるトリガの例である。
制御部２７はステップＦ３２０で、自動静止画撮像実行中に検出された顔の離間距離を判断する。例えば上述した撮像履歴情報に基づく顔検出マップ情報から、複数の人の離間距離を算出できる。
そして制御部２７は、ステップＦ３２１で離間距離が所定値以上であると判断したら、ステップＦ３２２でパノラマ撮像実行のトリガ発生と判断する。
このようなトリガによれば、自動静止画撮像を行っている際において、ある程度離れた位置に複数の人が居る場合に、自動的にパノラマ撮像が実行されることとなる。
【０１８２】
図２９（ａ）は、自動静止画撮像において所定枚数の静止画撮像記録を行ったことによりパノラマ撮像を実行させる場合である。
制御部２７はステップＦ３３０で、自動静止画撮像開始後の撮像枚数Ｃｐｃｔを確認する。撮像枚数Ｃｐｃｔは変数値として、図１２のステップＦ２０９の処理を行う毎にインクリメントされるものとする。
そして制御部２７はステップＦ３３１で、撮像枚数Ｃｐｃｔと所定値Ｃｍａｘを比較する。
そしてＣｐｃｔ≧Ｃｍａｘであれば、ステップＦ３３２でパノラマ撮像実行のトリガ発生と判断する。
ステップＦ３３３では、次回のトリガ判定のため、撮像枚数Ｃｐｃｔの値を０にリセットする。
このようなトリガ判断によれば、例えば所定値Ｃｍａｘ＝５０とした場合、自動静止画撮像として５０枚の静止画撮像記録を行う毎にパノラマ撮像を行うといったような処理が実現できる。
【０１８３】
図２９（ｂ）は、自動静止画撮像において定期的にパノラマ撮像を実行させる場合である。
制御部２７はステップＦ３４０で、自動静止画撮像動作の継続時間ＴＭｃｎｔを確認する。継続時間ＴＭｃｎｔは、図１２のステップＦ２０６〜Ｆ２０９の処理を行っている期間の時間である。最初はステップＦ２０３の時点で計数を開始する。
そして制御部２７はステップＦ３４１で、継続時間Ｔｃｎｔと所定時間ＴＭｍａｘを比較する。
ＴＭｃｎｔ≧ＴＭｍａｘであれば、ステップＦ３４２でパノラマ撮像実行のトリガ発生と判断する。
ステップＦ３４３では、次回のトリガ判定のため、継続時間Ｔｃｎｔの値を０にリセットしたうえで、計数を開始する。
このようなトリガ判断によれば、例えば所定値ＴＭｍａｘ＝５分とした場合、自動静止画撮像動作中に５分ごとにパノラマ撮像を行うといったような処理が実現できる。
【０１８４】
図３０（ａ）は、自動静止画撮像での被写体探索中に解析する撮像画像信号や、周囲音声から推定される被写体状況に基づいて発生されるトリガの例である。例えば盛り上がった状況であるか否かを判断する。
制御部２７はステップＦ３６０で、状況判定を行う。例えば音声入力として検知される音量の急激な増大があったか、或いは画像解析により、全体の動きが多くなったかなどに応じて周囲の状況を推定する。
例えばパーティ等で盛り上がっている場合、皆が拍手している場合などは、入力される音量が一時的に増大したり、撮像画像における被写体の動きが多くなる。これらのことから周囲が盛り上がっている状況の推定が可能である。
そこで制御部２７は、ステップＦ３６１で盛り上がっていると判定した場合は、ステップＦ３６２でパノラマ撮像実行のトリガ発生と判断する。
このようなトリガ判断によれば、自動静止画撮像中に、盛り上がったときにはパノラマ撮像を行うといったような処理が実現できる。
【０１８５】
図３０（ｂ）は、自動静止画撮像での被写体探索中に撮像画像信号から認識される所定の被写体種別に基づいて発生されるトリガの例である。
制御部２７はステップＦ３７０で、被写体判定を行う。例えば被写体が自然風景であるか否かを判定する。例えば周囲の３６０°で顔の探索を行っても、人が検出できない、或いは一人、二人程度しかいないような状況は、パーティ等ではなく、自然風景を撮像している推定要因となる。また、被写体の色として、空、海、山等を推定される青、緑の色領域が多かったり、被写体輝度が高く、屋外であると推定される値であることなども、自然風景を撮像していることの推定要因となる。
そのような条件判定を行い、制御部２７は、ステップＦ３７１で風景撮像を行っていると判定した場合は、ステップＦ３７２でパノラマ撮像実行のトリガ発生と判断する。
このようなトリガ判断によれば、風景撮像の場合に自動的にパノラマ撮像が行われることとなる。
【０１８６】
［６−２：トリガに応じた処理設定］
ここまで各種のトリガ種別を述べてきたが、各トリガのうちの複数を採用する場合、トリガに応じて図１２のステップＦ２１１でのパノラマ撮像処理の方式を切り替えることが好適となる。
例えば図１２のステップＦ２０５でトリガ発生と判断した場合、制御部２７はステップＦ２１０で、トリガの種別に応じて、ステップＦ２１１の処理方式を選択する。
【０１８７】
トリガ種別に応じた好適なパノラマ撮像処理の例を図３１に示す。
図２７（ａ）のタッチ操作認識によるトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図１３で述べた処理例Ｉを実行することが適切である。タッチ操作者を中央とするパノラマ画像構図を実現できるからである。
【０１８８】
図２７（ｂ）の所定範囲の自動静止画撮像完了によるトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図１６で述べた処理例IIを実行することが適切である。周囲の人のその時点の位置に応じて、適切な構図のパノラマ画像が得られるからである。
なお、この場合、図１８の処理例IIIや、図２２の処理例IVとして、撮像履歴情報（顔検出マップ情報）を利用した処理例も適切と考えられる。
【０１８９】
図２８（ａ）の自動静止画撮像開始後の顔の検出数が所定数以上であるときのトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図１６で述べた処理例IIを実行することが適切である。例えば顔が所定数以上と検出された場合にパノラマ撮像が実行されるものであり、定期的にパノラマ撮像が行われるわけではないことを考えると、周囲の人のそのパノラマ撮像実行時点の位置に応じて、適切な構図のパノラマ画像が得られることが好適だからである。
なお撮像履歴情報を蓄積しているのであれば、この場合も図１８の処理例IIIや、図２２の処理例IVとして、撮像履歴情報（顔検出マップ情報）を利用した処理例も適切と考えられる。
【０１９０】
図２８（ｂ）の複数の顔の離間距離が所定値以上であるときのトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図２２で述べた処理例IVを実行することが適切である。離間距離に応じて、適切なズーム制御が実行され、良い構図のパノラマ画像が得られるからである。
なお、この場合、図１８の処理例IIIや、図１６の処理例IIも適切と考えられる。
【０１９１】
図２９（ａ）の所定枚数の静止画撮像毎のトリガ、もしくは図２９（ｂ）の所定の撮像継続時間毎の定期的なトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図２２で述べた処理例IVを実行することが適切である。自動静止画撮像の継続により、撮像履歴情報や顔検出マップ情報の更新機会が多く、正確性の高い存在推定が可能と考えられるからである。その意味では図１８の処理例IIIも適している。なお、図１６の処理例IIも適切と考えられる。
【０１９２】
図３０（ａ）の盛り上がり状況判定によるトリガを認識した場合、ステップＦ２１１のパノラマ撮像処理としては、図２６で述べた処理例Ｖを実行することが適切である。
盛り上がった状況を逃さずに迅速にパノラマ撮像を実行するためである。
図３０（ｂ）の風景撮像判定によるトリガを認識した場合も、ステップＦ２１１のパノラマ撮像処理としては、図２６で述べた処理例Ｖを実行することが適切である。その時点の風景を適切に捉えることができるからである。但し、もちろん目的被写体の設定によれば、風景撮像の場合に処理例II、III、IVの適用が好適な場合もある。
【０１９３】
この図３１に示したトリガ種別と処理例の対応は一例にすぎないが、これらのようにトリガに応じてパノラマ撮像処理方式を切り替えることで、多様な状況に応じた適切なパノラマ撮像が実行できる。
例えば本例のデジタルスチルカメラ１と雲台１０の撮像システムにおいて、図３１に示した８種類のトリガの全てが図１２のステップＦ２０５の処理として採用されているとする。その場合、制御部２７はステップＦ２１０で、トリガ種別に応じて処理例Ｉ〜Ｖを選択し、ステップＦ２１１で選択した処理例の制御を実行する。これにより、状況に応じた好適な構図のパノラマ画像が得られる。
【０１９４】
＜７．他の機能構成例＞
以上、実施の形態の動作を説明してきたが、ここまでは基本的には図９の機能構成に基づいた制御処理として述べてきた。
例えばデジタルスチルカメラ１と雲台１０から成る撮像システムでは、図９以外にも機能構成例が考えられる。図３２に一例を挙げる。
【０１９５】
図３２は、デジタルスチルカメラ１側は撮像記録制御部８１と通信処理部８５と入力認識部８８のみを有する例である。そして雲台１０側（制御部５１）に、通信処理部７１、入力認識部７３、自動静止画撮像制御部７４、撮像視野可変制御部７５、自動パノラマ撮像制御部７６、自動撮像モード制御部７７、撮像履歴情報管理部７８を設ける。
【０１９６】
各機能部が実行する制御処理は、基本的には図９で説明したものと同様であるが、次の点が異なる。
自動パノラマ撮像制御部７６及び自動静止画撮像制御部７４は、各フレーム画像としての撮像画像データを、デジタルスチルカメラ１の信号処理部２４から供給を受けるようにする。そして必要な画像解析を行う。
但し図８で述べたように雲台１０側に撮像部６３が設けられる場合は、その撮像部６３での撮像画像データに基づいて画像解析や構図処理を行うことができる。
またパノラマ撮像制御部７６は、パノラマ撮像動作としてパンニング中のフレーム画像データの取得や、パノラマ合成処理を、通信処理部７１介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に指示する。
【０１９７】
撮像視野可変制御部７５は、自動静止画撮像制御部７４や自動パノラマ撮像制御部７６からの指示に応じて、パン用駆動部５５、チルト用駆動部５８を制御して、被写体検出や構図合わせのためのパン・チルト動作を実行させる。
また、ズーム制御のために、撮像視野可変制御部７５は、ズーム制御信号を通信処理部７１を介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）に出力する。撮像記録制御部８１は、構図合わせのためのズーム処理を、ズーム制御信号に基づいて実行制御する。
【０１９８】
また、自動撮像モード制御部７７は、例えば図１１、図１２のような処理動作を実現するために各機能部位に指示を与える。
自動撮像モード制御部７７は、図１１のステップＦ１０９や図１２のステップＦ２０９のレリーズ処理を行う際には、通信処理部７１介してデジタルスチルカメラ１側の制御部２７（撮像記録制御部８１）にレリーズ制御信号を出力する。撮像記録制御部８１は、レリーズ制御信号に応じて、静止画記録動作を実行制御する。
また自動撮像モード制御部７７は、トリガ認識としてユーザ操作の検知、外部音声の検知、画像判定等も行う。雲台１０に音声入力部６２が設けられる場合、入力認識部７３が音声入力の認識を行い、自動撮像モード制御部７７がトリガ判定を行う。
【０１９９】
即ちこの図３２は、雲台１０側が主体的に自動撮像モード制御を行うもので、デジタルスチルカメラ１の制御部２７に必要な指示を与えて、自動静止画撮像、自動パノラマ撮像を実現する例である。
この場合、上記処理例Ｉ〜Ｖや、トリガ認識の処理は、雲台１０の制御部５１の処理と考えることができる。
【０２００】
以上、図９、図３２の機能構成例を示したが、図９の機能構成を採る場合、デジタルスチルカメラ１に本発明の撮像制御装置が搭載されていることとなる。また図３２の機能構成を採る場合は、雲台１０に本発明の撮像制御装置が搭載されていることとなる。
また本発明の撮像制御装置は、少なくとも自動パノラマ撮像制御部（８４、７６）と撮像視野可変制御部（８３，７５）を備えるものである。
従って、各機能部位が別体機器に分かれて設けられたとしても、少なくともと自動パノラマ撮像制御部（８４、７６）と撮像視野可変制御部（８３，７５）を有する機器が、本発明の実現例となる。
或いは、自動パノラマ撮像制御部（８４、７６）と撮像視野可変制御部（８３，７５）がそれぞれ別体の機器の機能とされた場合、その各機器のシステムにおいて、本発明が実現される。
【０２０１】
また実施の形態では、自動撮像としてパノラマ撮像が行われる場合の例で述べたが、自動撮像実行中でなくてユーザ操作によりパノラマ撮像が指示された場合の処理として、上述の処理例Ｉ〜Ｖが適用できる。
【０２０２】
＜８．プログラム＞
実施の形態の撮像制御装置を実現するためのプログラムを提供することも可能である。実施の形態のプログラムは、上述した図１１，図１２の処理、処理例Ｉ〜Ｖの処理、トリガ認識の処理をＣＰＵ等の演算処理装置（制御部２７等）に実行させるプログラムである。
特に実施の形態のプログラムは、パン・チルトの可変機構を駆動制御して撮像視野を変化させながら、パノラマ撮像としてパノラマ画像データの生成用の複数の画像データの取得を実行させる。そしてこのパノラマ撮像の実行前又は実行中に、撮像画像信号に基づいてパノラマ撮像時の制御動作を決定する処理を演算処理装置に実行させる。
また実施の形態のプログラムは、パノラマ撮像実行のトリガに応じてパノラマ撮像時の制御動作を決定する。そしてパン・チルトの可変機構を駆動制御して撮像視野を変化させながら、決定した制御動作により、パノラマ撮像として撮像によるパノラマ画像データの生成用の複数の画像データの取得を演算処理装置に実行させる。
【０２０３】
これらの本実施の形態のプログラムは、パーソナルコンピュータや、デジタルスチルカメラ１や雲台１０等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０２０４】
また、本発明のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
そして本発明のプログラムによれば、上記実施の形態の処理を実行する撮像装置、撮像システムの実現及び広範な提供に適している。
【符号の説明】
【０２０５】
１  デジタルスチルカメラ、２  本体部、２１ａ  レンズ部、３１ａ  レリーズボタン、１０  雲台、１１  本体部、１２  カメラ台座部、１３  突起部、２１  光学系、２２  イメージセンサ、２３  Ａ／Ｄコンバータ、２４  信号処理部、２５  エンコード／デコード部、２６  メディアコントローラ、２７  制御部、２８  ＲＯＭ、２９  ＲＡＭ、３０  フラッシュメモリ、３１  操作部、３２  表示ドライバ、３３  表示部、３４  雲台対応通信部、３５  音声入力部、４０  メモリカード、５１  制御部、５２  通信部、５３  パン機構部、５４  パン用モータ、５５  パン用駆動部、５６  チルト機構部、５７  チルト用モータ、５８  チルト用駆動部、５９  接続検出部、６２  音声入力部、６３  撮像部、８１ 撮像記録制御部、８２，７４  自動静止画撮像制御部、８３，７５  撮像視野可変制御部、８４、７６  パノラマ撮像制御部、８５，７１  通信処理部、８６，７７  自動撮像モード制御部、８７，７８  撮像履歴情報管理部、８８，７３  入力認識部
【図１】
0005533048.tif 000002
【図２】
0005533048.tif 000003
【図３】
0005533048.tif 000004
【図４】
0005533048.tif 000005
【図５】
0005533048.tif 000006
【図６】
0005533048.tif 000007
【図７】
0005533048.tif 000008
【図８】
0005533048.tif 000009
【図９】
0005533048.tif 000010
【図１０】
0005533048.tif 000011
【図１１】
0005533048.tif 000012
【図１２】
0005533048.tif 000013
【図１３】
0005533048.tif 000014
【図１４】
0005533048.tif 000015
【図１５】
0005533048.tif 000016
【図１６】
0005533048.tif 000017
【図１７】
0005533048.tif 000018
【図１８】
0005533048.tif 000019
【図１９】
0005533048.tif 000020
【図２０】
0005533048.tif 000021
【図２１】
0005533048.tif 000022
【図２２】
0005533048.tif 000023
【図２３】
0005533048.tif 000024
【図２４】
0005533048.tif 000025
【図２５】
0005533048.tif 000026
【図２６】
0005533048.tif 000027
【図２７】
0005533048.tif 000028
【図２８】
0005533048.tif 000029
【図２９】
0005533048.tif 000030
【図３０】
0005533048.tif 000031
【図３１】
0005533048.tif 000032
【図３２】
0005533048.tif 000033