(57)【要約】【課題】効率の良い構図制御が行われるようにする。【解決手段】判定された構図が獲得されているとした画内容から、判定されたズーム倍率により変更された画角を、変更前に戻したとするときに、画枠において得られる被写体の位置を予備位置として求める。そして、画枠内の被写体がこの予備位置となるようにして可動機構部を制御し、この後、判定されたズーム倍率によるズーム制御を実行する。これによって、ズーム制御を完了した段階で、判定した構図を獲得することを可能とする。【選択図】図１８
2011030015.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手段と、
上記可動機構部制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手段と、
を備える構図制御装置。
【請求項２】
上記構図判定手段は、
上記被写体の目標位置について、撮像部の撮像光軸に対応する上記画像内の基準位置に対する水平方向における目標水平移動量、及び上記基準位置に対する垂直方向における目標垂直移動量として求め、
上記予備位置取得手段は、
上記予備位置について、上記目標水平移動量と上記ズーム倍率とにより算出した制御水平移動量、及び上記目標垂直移動量とズーム倍率とにより算出した制御水平移動量として求め、
上記可動機構部制御手段は、上記制御水平移動量に応じて決まるＸ座標、及び上記制御垂直移動量に応じて決まるＹ座標に、上記被写体に設定した重心が位置するようにして、可動機構部を制御する、
請求項１に記載の構図制御装置。
【請求項３】
上記撮像部は、
上記構図判定手段、上記予備位置取得手段、上記可動機構部制御手段、及び上記ズーム制御手段を備え、上記可動機構部制御手段は、上記可動機構部との通信により、上記撮像部とは別体の上記可動機構部を制御する、
請求項１又は請求項２に記載の構図制御装置。
【請求項４】
上記可動機構部を有する上記撮像部とは別体の可動機構装置は、上記撮像部から出力される上記画像データを入力する入力手段と、上記構図判定手段、上記予備位置取得手段、及び上記可動機構部制御手段を少なくとも備える、
請求項１又は請求項２に記載の構図制御装置。
【請求項５】
撮像装置と、
上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、
上記撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、
上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、
上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、
上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段と、
を備える撮像システム。
【請求項６】
上記構図判定手段、上記予備位置取得手段、上記可動機構装置制御手段、及び上記ズーム制御手段は、上記撮像装置において備えられ、
上記可動装置制御手段は、上記可動機構装置との通信により、上記可動機構装置を制御する、
請求項５に記載の撮像システム。
【請求項７】
撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
を実行する構図制御方法。
【請求項８】
構図制御装置に、
撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手順と、
上記構図判定手順により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手順と、
上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手順と、
上記可動機構部制御手順により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手順により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば画像データを対象として、その画内容において所望の構図が得られるようにするための制御を行う構図制御装置とその方法に関する。また、構図制御装置に必要な手順を実行させるためのプログラムに関する。
【背景技術】
【０００２】
先に本出願人は、特許文献１に示す構図制御の構成を提案している。つまり、撮像装置により得る撮像画像データの画像中に存在する被写体を検出し、検出される被写体数、また、被写体ごとに検出される顔方向の関係性などに応じて最適構図を判定する。そして、撮像画像データの画内容について、この判定した最適構図となるようにして、撮像装置が取り付けられた雲台のパン・チルト制御、また、撮像装置の光学系のズーム制御などにより構図合わせを行おうというものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１００３００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１において判定された構図を得るための構図合わせ制御は、上記もしたように、その要素として、雲台のパン方向における駆動制御若しくはチルト方向における駆動制御、及びズーム制御の組み合わせによって行われているといえる。
本願発明は、このような構図合わせ制御のシーケンスについてさらに改良を図り、例えば、より効率的に制御が実行されるようにすることを、その課題とする。
【課題を解決するための手段】
【０００５】
そこで本発明は上記した課題を考慮して、構図制御装置として次のように構成する。
つまり、撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記撮像部の撮像視野範囲を変更する可動機構部に対する制御を実行する可動機構部制御手段と、上記可動機構部制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像部のズームレンズを駆動制御する、ズーム制御手段とを備えることとした。
【０００６】
また、撮像システムとして次のように構成する。
つまり、撮像装置と、上記撮像装置の撮像視野範囲を変更するようにして可動する機構を有する可動機構装置とから成り、上記撮像部により撮像して得られる画像から検出した被写体情報に基づいて目標構図を判定するもので、この目標構図を得るためのズーム倍率、及び上記目標構図を得るための被写体の画像部分の目標位置を判定する構図判定手段と、上記構図判定手段により判定された目標構図が得られているとする場合に、上記ズーム倍率による画角変更を行う前において、上記画像において得られているとされる被写体の位置を予備位置として求める、予備位置取得手段と、上記被写体の画像部分の位置が、取得された上記予備位置となるようにして、上記可動機構装置に対する制御を実行する可動機構装置制御手段と、上記可動機構装置制御手段により上記被写体の画像部分が上記予備位置に在るようにされた後において、上記構図判定手段により判定されたズーム倍率に応じた画角が得られるようにして、上記撮像装置のズームレンズを駆動制御する、ズーム制御手段とを備えることとした。
【０００７】
上記構成では、判定された構図が獲得されているとした画内容から、判定されたズーム倍率により変更された画角を、変更前に戻したとするときに、画像において得られる被写体の位置を予備位置として求める。そして、画像内の被写体がこの予備位置となるようにして可動機構部を制御し、この後、判定されたズーム倍率によるズーム制御を実行する。これによって、本願では、ズーム制御を完了した段階で、判定した構図が得られることになる。
【発明の効果】
【０００８】
これにより、例えば構図制御としての可動機構部の制御、及びズーム制御に応じた物理的な動きに無駄がなくなり、判定した構図が得られるまでの時間も短縮可能になるなど、効率の良い構図制御が行われることになる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。
【図２】実施形態の撮像システムを成す雲台の外観例を示す斜視図である。
【図３】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。
【図４】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。
【図５】実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。
【図６】デジタルスチルカメラの構成例を示すブロック図である。
【図７】雲台の構成例を示すブロック図である。
【図８】実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。
【図９】画像データの画枠内に被写体が検出されたときの画内容例を示す図である。
【図１０】図９にて検出された被写体に対応して獲得すべきとして判定された構図による画枠内の画内容例を示す図である。
【図１１】第１例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置を示す図である。
【図１２】図１１の状態からズーム制御を実行した段階で得られる、画枠内の画内容を示す図である。
【図１３】第１例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置（水平オフセット量が０でない場合）を示す図である。
【図１４】図１３の状態からズーム制御を実行した段階で得られる、画枠内の画内容を示す図である。
【図１５】第３例の構図制御でのパン・チルト制御の段階で得られる、画枠内の被写体の位置を示す図である。
【図１６】第１例としての構図制御のための処理手順例を示すフローチャートである。
【図１７】第２例としての構図制御のための処理手順例を示すフローチャートである。
【図１８】第３例としての構図制御のための処理手順例を示すフローチャートである。
【図１９】被写体が複数の場合のズーム倍率Zの判定手法例を説明するための図である。
【図２０】被写体が複数の場合のズーム倍率Zの判定手法例を説明するための図である。
【図２１】実施の形態の撮像システムの変形例としての構成例を示す図である。
【図２２】実施の形態の撮像システムの他の変形例としての構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．撮像システムの構成＞
［１−１．全体構成］
［１−２．デジタルスチルカメラ］
［１−３．雲台］
＜２．実施形態の構図制御に対応する機能構成例＞
＜３．構図制御（第１例）＞
＜４．構図制御（第２例）＞
＜５．構図制御（第３例：実施形態）＞
［５−１．アルゴリズム例］
［５−２．被写体数が複数の場合］
＜６．本実施形態の撮像システムの変形例＞
また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。
【００１１】
また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。
【００１２】
＜１．撮像システムの構成＞
［１−１．全体構成］
本実施形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が載置される雲台１０から成る。
先ず、図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図となる。
この図に示されるデジタルスチルカメラ１は、先ず、図１（ａ）に示すように、本体部２の前面側においてレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。
【００１３】
また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モードにおいてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン３１ａに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。
【００１４】
また、デジタルスチルカメラ１は、図１（ｂ）に示すようにして、その背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。
【００１５】
なお、本実施形態のデジタルスチルカメラ１は、表示画面部３３ａに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部３３ａに対して指を当てることによって、しかるべき操作を行うことができる。
【００１６】
また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ１としての撮像部と、次に説明する雲台１０としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ１単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。
【００１７】
図２は、雲台１０の外観を示す斜視図である。また、図３〜図５は、本実施形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５（ａ）は側面図であり、図５（ｂ）は側面図によりチルト機構の可動範囲を示したものである。
【００１８】
図２、及び図３，図４，図５（ａ）に示すように、雲台１０は、大きくは接地台部１３の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。
【００１９】
雲台１０にデジタルスチルカメラ１を載置しようとするときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に対して置くようにようにする。
この場合のカメラ台座部１２の上面部には、図２に示すようにして、突起部１３とコネクタ１４が設けられている。
その図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。
【００２０】
また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部１２にデジタルスチルカメラ１が適正に載置される状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。
【００２１】
なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に載置できるようになっている。
また、デジタルスチルカメラ１とカメラ台座部１２との通信は無線により行われるようにしてもよい。
【００２２】
また、例えば雲台１０に対してデジタルスチルカメラ１が載置された状態では、雲台１０からデジタルスチルカメラ１に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ１にて再生している画像などの映像信号を雲台１０側にも伝送し、雲台１０からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台１０について、単に、デジタルスチルカメラ１の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。
【００２３】
次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台１０を床面などに置いた状態では、接地台部１３の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台１０に載置されているデジタルスチルカメラ１の撮像視野範囲は、左右方向（水平方向）に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有しているものとする。
【００２４】
また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すようにして、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、即ちパン位置を０°〜３６０°により表すものとする。
【００２５】
また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）及び図５（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ0（０°）にある状態が示されている。この状態では、レンズ部２１ａ(光学系部)の撮像光軸と一致する撮像方向Ｆ１と、接地台部１３が接地する接地面部ＧＲとが平行となる。
そのうえで、図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また、俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。このようにして、カメラ台座部１２がチルト基準位置Ｙ0（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に載置されたデジタルスチルカメラ１の撮像視野範囲は、上下方向（垂直方向）沿って変化することになる。つまりチルティングの動作が得られる。
【００２６】
なお、図２〜図５に示した雲台１０の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ１をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。
【００２７】
［１−２．デジタルスチルカメラ］
先ず、図６のブロック図は、デジタルスチルカメラ１の実際的な内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。
【００２８】
イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。
【００２９】
上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。
【００３０】
上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。
【００３１】
また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。
【００３２】
また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。
【００３３】
表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。
【００３４】
また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。
【００３５】
エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。
【００３６】
また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。
【００３７】
制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。
【００３８】
操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。
音声出力部３５は、制御部２７の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
ＬＥＤ部３６は、例えばデジタルスチルカメラ１の筐体前面部に表出して設けられるＬＥＤ(Light Emitting Diode)と、このＬＥＤを点灯駆動する回路部などから成り、制御部２７の制御に応じて、ＬＥＤを点灯、消灯する。このＬＥＤを点灯、消灯パターンにより、所定内容の通知が行われる。
【００３９】
雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。
【００４０】
［１−３．雲台］
図７のブロック図は、雲台１０の内部構成例を示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５（ｂ）に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。
【００４１】
制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
また、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。
【００４２】
通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。
【００４３】
＜２．実施形態の構図制御に対応する機能構成例＞
次に、図８のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この図において、デジタルスチルカメラ１は、撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。
【００４４】
撮像記録ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録（記憶）させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック６１における撮像画像データの記録（撮像記録）は、構図判定ブロックの指示、制御により実行される。
【００４５】
構図判定ブロック６２は、撮像記録ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック６２が実行する被写体検出処理（初期顔枠の設定を含む）は、図６との対応では信号処理部２４が実行するようにして構成できる。また、この信号処理部２４による被写体検出処理は、ＤＳＰ(Digital signal Processor)による画像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック６２が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部２７としてのＣＰＵがプログラムに従って実行する処理として実現できる。
【００４６】
パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック６２は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック６３に指示する。パン・チルト・ズーム制御ブロック６３は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置（ズーム倍率）を求め、このズーム位置となるようにして、撮像記録ブロック６１が備えるとされるズーム機構を制御する。
【００４７】
通信制御処理ブロック６４は、雲台１０側に備えられる通信制御処理ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御処理ブロック６４の通信により、雲台１０の通信制御処理ブロック７１に対して送信される。
【００４８】
雲台１０は、例えば図示するようにして、通信制御処理ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御処理ブロック７１は、デジタルスチルカメラ１側の通信制御処理ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。
【００４９】
パン・チルト制御処理ブロック７２は、例えば図７に示した雲台１０側の制御部５１（マイクロコンピュータ）が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。
【００５０】
また、パン・チルト・ズーム制御ブロック６３は、例えば、構図判定ブロック６２の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。
【００５１】
＜３．構図制御（第１例）＞
これまでに説明したデジタルスチルカメラ１と雲台１０の構成により実現可能な構図制御として、その第１例について説明する。
ここで、構図判定ブロック６２が、被写体検出処理のために、図９の画枠３００に示す画内容の撮像画像データを取り込んだとする。この撮像画像データの画内容としては、人としての被写体が１つ存在した画を撮影して得られたものとなる。
【００５２】
この場合の画枠３００は、撮像画像データの１フレーム相当の画像領域に相当する。ここでは、画枠３００としてのフレーム画像について、水平画素数を（水平画サイズ）をCx、垂直画素数（垂直画サイズ）をCyとして、Cx=320，Cy=240により形成されているものとしている。
また、この場合の画枠３００における位置は、座標（Ｘ，Ｙ）により表されるものとしており、ここでは画枠３００の右上端を座標（０，０）として定義している。
また、この画枠３００に対しては、垂直基準線Ｌｄ１及び水平基準線Ｌｄ２が仮想的に設定されている。垂直基準線Ｌｄ１は、画枠３００の水平方向における中点を通過する直線で、水平基準線Ｌｄ２は、画枠３００の垂直方向における中点を通過する直線となる。これら垂直基準線Ｌｄ１及び水平基準線Ｌｄ２は、それぞれ、構図制御として、画枠３００における被写体の位置を水平／垂直方向で移動させる際の基準線となる。また、垂直基準線Ｌｄ１と水平基準線Ｌｄ２の交点座標(160,-120)は、構図制御における基準点Ｐとして扱われる。
【００５３】
図９に示す画内容の撮像画像データを対象に被写体検出（顔検出）を行うことによっては、検出被写体として、図において示される１つの被写体ＳＢＪの顔が検出されることになる。即ち、顔検出処理によって１つの顔が検出されることを以て、ここでは１つの被写体が検出されることとしている。そして、このようにして被写体を検出した結果としては、先にも述べたように、被写体の数、向き、位置、サイズの情報を得るようにされる。
また、被写体数に関しては、例えば顔検出により検出された顔の数を求めればよい。図９（ａ）の場合には、検出される顔が１つであるから、被写体数としても１であるとの結果が得られる。
【００５４】
また、構図判定ブロック６２が、顔検出の手法を用いて被写体検出を行う場合、検出結果として、検出した被写体の顔部分に対して枠を設定する。ここでは、この枠を顔枠という。図９においては、顔枠ＦＲとして、被写体ＳＢＪの画像の顔部分に対応して配置されるようにして示されている。この場合の顔枠ＦＲは、検出された被写体における顔の画像部分に対応して方形により配置されるものとなる。なお、ここでの顔枠ＦＲは、正方形であるものとする。また、この顔枠ＦＲは、画枠３００における顔としての画像部分に対して設定されるものとなる。従って、そのときに顔検出処理により検出される画枠３００における被写体の顔の位置、大きさなどに応じて、顔枠ＦＲの画枠３００における位置、サイズも変更設定される。
【００５５】
また、被写体ごとの位置情報に関しては、少なくとも、撮像画像データとしての画像内における被写体ＳＢＪの重心である被写体重心Ｇ（X,Y）を求めることとする。
また、この被写体重心Ｇをどのようにして設定するのかについては、例えばこれまでに知られている被写体重心検出方式を採用することができる。１つの例としては、被写体ＳＢＪに対応して検出された顔枠ＦＲとしての四角形の対角線の交点を、被写体重心とすることが考えられる。
【００５６】
また、被写体のサイズについては、ここでは、顔枠ＦＲの垂直又は水平方向の一辺のサイズ(画素数)により表すものとする。図９では、例として、顔枠ＦＲの垂直サイズsizey=32として検出されている状態が示されている。
【００５７】
また、ここでの被写体ごとの顔方向に関しては、例えば左、正面、右の３段階での何れであるのかを検出することとする。図９の被写体ＳＢＪについては、顔方向については正面であると検出されているものとする。
【００５８】
この図９に示すようにして検出された被写体ＳＢＪについての被写体検出情報に基づき、構図制御処理ブロック６２は、構図判定処理により、図１０に示す構図とすべきであるとの判定結果を得たとする。
つまり、先ず、被写体サイズについては、sizey=64とし、被写体重心Ｇについては、Ｇ（160，-120＋Δｙ）に位置させる、という構図である。
【００５９】
例えば、その検出された数に応じても異なってくるが、良い構図とするためには、画枠３００における被写体のサイズが小さすぎず、また、大きすぎず、適切であることが求められる。図１０において示されるsizey=64としての被写体サイズは、被写体ＳＢＪが画枠３００において最適サイズとなる値として判定されたものである。
【００６０】
また、上記の被写体重心Ｇは、例えば次のような根拠により求められる。
被写体ＳＢＪが１つの場合、最も単純で基本的な被写体ＳＢＪの位置は、画枠３００の中央に配置するというものになる。つまり、被写体重心Ｇを基準点Ｐに位置させるというものである。
しかし、このような被写体を画面の中央に位置させた構図は、一般に良くない構図の典型とされている。例えば三分割法であるとか黄金率法などに代表されるようにして、画面中央から在る規則に従って被写体の位置をずらした方が、良い構図が得られるものとされている。
【００６１】
そこで、この場合には、先ず、画枠３００の垂直方向における被写体ＳＢＪの位置(被写体重心Ｇ)について、水平基準線Ｌｄ２に対して一定量だけ移動させるようにすることとした。このようにして被写体重心Ｇに設定する、水平基準線Ｌｄ２を基準とした垂直方向における被写体重心Ｇについての移動量を、ここでは、垂直オフセット量Δｙとして規定している。この垂直オフセット量Δｙ，及び後述する水平オフセット量Δxは、例えば画素数により表すことができる。これにより、図１０の被写体重心ＧのＹ座標は、（-120＋Δｙ）として表されるものとなる。なお、ここでは、垂直オフセット量Δｙとして正の値を与えることとしており、これにより、図示するようにして、被写体重心Ｇは、画枠３００において、水平基準線Ｌｄ２より上側の領域に位置するようにされている。
【００６２】
また、本実施形態では、水平方向における被写体の位置は、被写体について検出された顔方向に基づくこととしている。
図９にて説明したように、この場合の被写体ＳＢＪの顔方向は、右、正面、左の３段階のうち、正面であるとして検出されている。
ここでは、１つの被写体ＳＢＪの顔方向が正面であるとして検出されている場合には、水平方向については中央に位置させることとしている。つまり、被写体重心ＧのＸ座標については水平方向における中点、つまり垂直基準線Ｌｄ１（基準点Ｐ）と同じＸ座標(160)とするものである。この場合、垂直基準線Ｌｄ１を基準にした水平方向における被写体重心Ｇの移動量として規定される、水平オフセット量Δxは０として設定されていることになる。
図１０の場合には、このような構図判定の規則、アルゴリズムに従って、被写体重心Ｇ（160，-120＋Δｙ）を設定した。
【００６３】
また、ここでは図示していないが、検出された個別被写体の顔方向が左であるとする。なお、ここでの左の顔方向とは、画枠３００の画内容を実際に見たとした場合、これを見る者からは、画枠３００において、個別被写体ＳＢＪの顔が左側を向いているようにして見える状態をいう。ちなみに、この個別被写体ＳＢＪとしての実際の人物自身は、現実には、撮像を行った撮像装置と相対する方向を正面として、これより右側を向いていることになる。
この場合には、被写体重心Ｇの水平方向における位置については、垂直基準線Ｌｄ１により２分割される左右の画像領域(分割領域)のうちで、顔方向が示す「左」とは反対側の「右」側の画像領域に在るようにさせる。これにより、画枠３００においては、個別被写体ＳＢＪの顔が向いている方向である左側において空間が得られるようする。このような構図とすることで、例えば、顔方向が左であるとされる個別被写体ＳＢＪの重心Ｇを、左右方向における画面中央に対応させた(一致させた)被写体位置とする場合や、垂直基準線Ｌｄ１に対して左方向の画像領域とするような場合と比較して、より良好な構図を得ることができる。
また、検出された個別被写体の顔方向が右である場合には、左の場合とは逆に、被写体重心Ｇを垂直基準線Ｌｄ１により２分割される左右の画像領域(分割領域)のうち、左側の画像領域に在るようにさせる。
【００６４】
これまでの説明から理解されるように、本実施形態において判定される構図は、被写体サイズと、被写体重心Ｇの位置とによって決まる。そして、構図合わせに際しては、この判定された被写体サイズと、被写体重心Ｇの位置が実際に得られるようにして制御することになる。
被写体サイズの変更は、先に述べたように、例えばデジタルスチルカメラ１の光学系部２１におけるズームレンズを移動する制御（ズーム制御）、若しくは撮像画像データに対する画像切り出しなどの画像信号処理の何れか一方を行えばよいが、ここでは、ズーム制御によって行うものとする。
また、被写体重心Ｇの位置の変更であるが、水平方向については雲台１０のパン機構に対するパン制御により行うことになる。また、垂直方向については雲台１０のチルト機構に対するチルト制御により行うことになる。
つまり、本実施形態では、判定構図を獲得するための構図合わせ制御として、ズーム制御による画像の拡大縮小と、パン・チルト制御による画像の水平／垂直方向における移動とを組み合わせている。
【００６５】
図１６のフローチャートは、構図制御のときのズーム制御及びパン／チルト制御の実行手順として順当に考えられるものの一例（第１例）を示している。なお、この図に示す処理は、例えば図９に示すようにして画枠３００において被写体を検出したことに応じて実行されるものとなる。また、この図に示す処理は、例えばデジタルスチルカメラ１として、図８に示した構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３が、適宜実行するものとしてみることができる。
【００６６】
この図に示す処理としては、先ず構図判定ブロック６２は、ステップＳ１０１により、所定の規則に従って、最適構図(目標構図)に応じた水平オフセット量Δxを判定する。次に、ステップＳ１０２により、パン・チルト・ズーム制御ブロック６３は、上記ステップＳ１０２により判定された水平オフセット量Δxに応じたＸ座標上に被写体重心Ｇが位置するようにしてパン制御を実行する。
図９，図１０に例示した構図制御との対応では、水平オフセット量Δx=0として判定され、これに応じて、被写体重心Ｇは、Ｘ座標=160に位置するようにして水平方向における移動が行われる。
【００６７】
続いて、構図判定ブロック６２は、ステップＳ１０３により垂直オフセット量Δｙを判定する。パン・チルト・ズーム制御ブロック６３は、ステップＳ１０３により、判定された垂直オフセット量Δｙに応じたY座標上に被写体重心Ｇが位置するようにしてチルト制御を実行する。
図９，図１０に例示した構図制御との対応では、図１０に示したように、水平基準線Ｌｄ２に対して上方向に所定の絶対値分移動する垂直オフセット量Δｙが設定され、被写体重心Ｇは、Ｙ座標＝-120+Δｙに位置するようにして垂直方向において移動が行われる。
【００６８】
次に、構図判定ブロック６２は、ステップＳ１０３により、ズーム倍率Ｚを判定する。
先にも述べたように、画枠３００における被写体ＳＢＪのサイズ変更は、ズーム制御によって画角を変更することによって行う。ここでいうズーム倍率は、被写体検出処理によって被写体が検出されたときの被写体サイズから、最適構図に対応して判定される被写体サイズを得るために必要な画角の倍率をいう。
このためには、先ず、構図判定ブロック６２は、検出された被写体の条件に応じて、所定の規則に従って、最適構図として必要される目標被写体サイズ(ズーム制御目標値)を判定する。この被写体サイズは、例えば検出された被写体が１つの場合の例では、図９，図１０にて説明したように、例えば正方形の顔枠ＦＲの垂直方向（又は水平方向）の一辺のサイズ（画素数）を求めればよい。
そして、上記のようにして求めた目標被写体サイズsize_trgと、被写体検出処理時に得られた被写体サイズsize_org（顔枠ＦＲの垂直方向（又は水平方向）の一辺のサイズ（画素数））との比を求めて、これをズーム倍率Zとする。つまり、
Z＝size_trg/size_org・・・（式１）
により、ズーム倍率Zを算出する。
図９，図１０との対応では、目標被写体サイズが６４画素、被写体検出処理時に得られた被写体サイズが３２画素であるから、ズーム倍率Z=64/32=2となる。
【００６９】
そして、パン・チルト・ズーム制御ブロック６３は、ステップＳ１０６により、上記ステップＳ１０５にて求められたズーム倍率Zによるズーム制御を実行する。図９，図１０との対応では、ズーム倍率Z=2であるから、画角が1/2となるようにしてズームレンズを駆動する制御を実行する。
【００７０】
上記図１６の手順は、先に、水平オフセット量Δx、垂直オフセット量Δｙを判定して、これらの判定結果に応じてパン・チルト制御を行う。これにより、先ず、被写体重心Ｇを、判定されたオフセット量Δx、Δｙに応じた、画枠内の目標座標に位置させている。そして、この後に、ズーム制御を実行して目標被写体サイズとするようにしている。
【００７１】
ここで、先に例示した、図９の状態から図１０の状態とするための構図制御を、上記図１６に示した手順により実際に実行した場合には、例えば次のようになる。
図１１は、先ず、図９の状態から、ステップＳ１０１〜Ｓ１０５を実行して、被写体重心Ｇを、目標座標（Ｇ（160，-120+Δｙ）に位置させた状態を示している。
【００７２】
図１６の手順では、上記図１１の状態の後、ズーム倍率Z=2によるズーム制御を実行することになるが、その結果は、図１２に示すものとなってしまう。
つまり、画角を可変した場合には、画枠３００における画像は、レンズ光軸に対応した画枠３００の中心位置である基準点Ｐを中心にして拡大、縮小する。このために、例えば、この場合のようにして、図１１の状態から、ズーム倍率Z=2による画角変更を行ったとすると、図１２に示すようにして、被写体重心Ｇの座標は、Ｘ座標については垂直基準線Ｌｄ１と一致しているために動かないが、Ｙ座標については、２倍に拡大されたことに応じて、Ｙ＝-120+Δｙから、Ｙ＝-120+2Δｙに移動してしまう。つまり、目標座標から外れてしまう。そして、結果としては、図１２に示しているように、被写体ＳＢＪが、画枠３００の上側にはみ出したような状態になってしまう。
【００７３】
これは、図１３，図１４に示すようにして、水平オフセット量Δxとして０以外の絶対値が与えられた場合にも同様である。
図１３は、被写体ＳＢＪについて検出した顔方向が左向きであった場合に応じて、図１６のステップＳ１０１〜Ｓ１０６の処理によって、先ず、被写体重心Ｇを目標座標に位置させたときの画枠３００の画内容を示している。
顔方向が左向きとして検出された場合には、先に述べたようにして、水平方向における被写体重心Ｇは、垂直基準線Ｌｄ１に対して右側の領域における所定の座標となるようにして設定される。これに応じて、被写体重心Ｇの目標座標は、Ｇ（160+Δx，-120+Δｙ）で表されるものとなる。なお、このときの垂直オフセット量Δxとしては正の値が設定される。
【００７４】
図１６の手順では、この図１３の状態から、ズーム制御を行うことになる。図１３の被写体サイズ(sizey)は32画素となっている。ここで、目標被写体サイズが、図１０の場合と同様に64画素であるとすると、ズーム倍率Z=2となる。
そこで、図１３の状態からズーム倍率Z=2によるズーム制御を実行したとすると、図14に示すようにして、被写体重心Ｇの基準点Pからの距離は、垂直方向においてはΔｙから2Δｙに拡大し、水平方向においてもΔxから２Δxに拡大する。つまり、被写体重心Ｇは、（160+Δx，-120+Δｙ）から（160+2Δx，-120+2Δｙ）に移動してしまって、目標座標から大きく外れ、例えば、図示するようにして被写体ＳＢＪが画枠３００の右上からはみ出るような状態となる。
【００７５】
つまり、図１６の手順では、ズーム制御を実行した段階で、被写体重心Ｇが目標座標から外れてしまって、判定された構図とは異なるものとなってしまう。
このために、実際においては、図１６の手順を実行した後に、再度、被写体重心Ｇを目標座標に戻すためのパン・チルト制御が必要になってくることになる。ただし、例えば図１４に例示したように、ズーム制御が実行されたことで、被写体ＳＢＪ（顔枠ＦＲ）が画枠３００からはみ出たような場合には、この段階で被写体が検出できなくなって、再度、被写体探索の制御に戻らなければならない場合もある。
このような構図制御の手順は、合理的ではないといえる。また、実際の雲台１０のパン・チルト機構の動きに応じたデジタルスチルカメラ１の物理的な動きも、スムーズには見えず、ユーザに対して良い印象を与えにくい。
【００７６】
＜４．構図制御（第２例）＞
そこで、例えば第２例として、図１７のフローチャートに示す構図制御の手順とすることが考えられる。
なお、この図に示す処理も、例えば画枠３００において被写体処理によって被写体を検出したことに応じて、適宜、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３が実行するものとしてみることができる。
【００７７】
先ず、構図判定ブロック６２は、ステップＳ２０１として示すように、検出された被写体ＳＢＪの被写体重心Ｇを、基準点Ｐに位置させるためのパン/チルト制御を実行する。
次に、構図判定ブロック６２は、ステップＳ２０２によりズーム倍率Zを判定し、ステップＳ２０３により、ズーム倍率Zに応じたズーム制御を実行する。
【００７８】
次に、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３は、ステップＳ２０４〜Ｓ２０７により、図１６のステップＳ１０１〜Ｓ１０６と同様にして、水平オフセット量Δxを判定し、この水平オフセット量Δxに応じたパン制御を実行し、さらに垂直オフセット量θyを判定し、この垂直オフセット量θyに応じたチルト制御を実行する。
【００７９】
このような構図制御の手順であれば、先ず、被写体重心Ｇを基準点Ｐに位置させてからパン・チルト制御を実行することになるので、ズーム倍率Zが適切である限り、被写体ＳＢＪの顔枠が画枠３００からはみ出ることはない。そして、この段階から被写体サイズＧを目標座標に位置させるようにしてパン・チルト制御を実行して、判定構図を得ることができる。
【００８０】
しかし、この第２例の手順では、ズーム制御の後に、画枠内の目標座標に被写体重心Ｇを位置させるためのパン・チルト制御を実行する。
ズーム倍率Zは、これまでの図９〜図１４の説明のようにして、１より大きな正の値を設定して、被写体をクローズアップしたような構図とすることはしばしば行われるものと想定できる。
また、被写体重心Ｇを目標座標に位置させるための制御として、例えばパン制御であれば、構図判定ブロック６２は、水平方向において被写体重心Ｇが目標のＸ座標に近づいていく向きに動くようにして、雲台１０に対してパン方向移動の指示を行う。そして、取り込まれる撮像画像データの画枠において被写体重心Ｇが目標のＸ座標に一致したと判定したタイミングで、雲台１０に対してパン方向移動の停止を指示する。同様にして、チルト制御も、垂直方向において被写体重心Ｇが目標のＹ座標に近づいていく向きに動くようにして、雲台１０に対してパン方向移動の指示を行い、被写体重心Ｇが目標のＹ座標に一致したタイミングで、パン方向移動の停止を指示する、というものになる。
しかし、当然のこととして、パン・チルト方向におけるデジタルスチルカメラ１自体の少しの移動であっても、ズーム倍率が大きいほど、撮像画像の画枠内における画像の動き量は大きなものとなる。このことは、ズーム倍率が大きい状態での画像であるほど、上記したような被写体重心Ｇを目標座標に一致させるパン・チルト制御を細かく実行することが困難であることを意味している。つまり、図１７に示した手順では、ズーム倍率によっては、判定された構図に応じた画枠内の位置に被写体を正確に位置させることが難しい場合がある。このようなときには、例えば被写体が適正位置に納まるまでに必要以上に時間がかかってしまうことになり、そのときのパン・チルト機構に応じたデジタルスチルカメラ１の挙動も、やはりユーザによい印象を与えにくい。
【００８１】
＜５．構図制御（第３例：実施形態）＞
［５−１．アルゴリズム例］
そこで、本実施形態としては、以降説明する第３例としての構図制御を採用する。
図１８のフローチャートは、第３例としての構図制御のためのアルゴリズム例を示している。先の図１６，図１７では、被写体処理によって画枠３００において被写体を検出した後の構図制御の手順例を示していた。図１８では、被写体検出（被写体探索処理）を含んだ処理手順例を示している。
また、この図に示す処理は、図８に示されるデジタルスチルカメラ１の各機能部位が必要に応じて適宜実行するものとしてみることができる。また、これらの各機能部位が実行する処理は、図１の制御部（ＣＰＵ）２７、また、ＤＳＰとしての信号処理部２４がプログラム（インストラクション）を実行することにより実現される制御、処理の手順としてみることができる。
なお、このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、データインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。
【００８２】
図１８においては、先ず、ステップＳ３０１にて、構図判定ブロック６２（信号処理部２４）により、撮像記録ブロック６１にてそのときに得られているとされる撮像画像データの取り込み（入力）を開始する。
【００８３】
次のステップＳ３０２では、構図判定ブロック６２（信号処理部２４）が、取り込んだ撮像画像データを利用して被写体検出処理を実行する。
この被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、これまでに述べたようにして、検出した被写体ごとに、その顔の画像部分の領域に対応して顔枠ＦＲを設定する。例えば、被写体数であるとか、被写体検出時点での被写体サイズ及び画枠内の位置などの被写体に関する基本的情報は、この顔枠ＦＲの数、サイズ、位置などにより得ることができる。また、顔枠ＦＲが設定されることに応じて、この段階で、被写体の被写体重心Ｇも取得される。
【００８４】
ステップＳ３０３において構図判定ブロック６２は、上記ステップＳ３０２による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合にはステップＳ３０２に戻り、被写体探索のための被写体検出処理を実行する。ここでの被写体探索とは、デジタルスチルカメラ１側にて雲台１０のパン／チルト方向への移動を制御するとともに、ズーム制御も行って撮像視野範囲を変更していくことで、被写体が存在する撮像画像データが得られる状態とすることをいう。
ステップＳ３０３において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップＳ３０４に進む。
【００８５】
ステップＳ３０４において構図判定ブロック６２は、検出された被写体に応じて、所定の判定アルゴリズムによって、目標水平オフセット量Δxを判定する。また、ステップＳ３０５においては、検出された被写体に応じて、所定の判定アルゴリズムによって、目標垂直オフセット量Δｙを判定する。
これらの目標水平オフセット量Δx、目標垂直オフセット量Δｙは、それぞれ、例えば先の第１例、第２例として、図１６，図１７のステップＳ１０１，Ｓ２０４、Ｓ１０３，Ｓ２０６にて判定した水平オフセット量Δx、垂直オフセット量Δｙに相当する。つまり、判定した構図に対応して被写体重心Ｇが最終的に位置すべき座標に対応する、基準点Ｐからの水平／垂直方向における距離を示す。
【００８６】
続いて、ステップＳ３０６において構図判定ブロック６２は、ズーム制御目標値を判定する。ズーム制御目標値は、例えば、先の第１例、第２例に応じた説明との対応では、図１０に示した獲得すべき構図での被写体サイズである、顔枠FRの垂直サイズである、size_trgとなる。
次のステップＳ３０７において構図判定ブロック６２は、上記ステップＳ３０６において判定したズーム制御目標値を利用して、ズーム倍率Zを判定する。このズーム倍率Zの判定のためには、第１例、第２例に応じた説明との対応では、ズーム制御目標をsize_trgと、被写体検出処理による検出時における被写体ＳＢＪの顔枠FRの垂直サイズ/size_orgとを利用して、先の(式１)によりズーム倍率Zを算出することになる。
【００８７】
そして、この場合には、構図判定ブロック６２は、ステップＳ３０８，Ｓ３０９によりそれぞれ、水平制御オフセット量Δx1，垂直制御オフセット量Δｙ1とを求める。
水平制御オフセット量Δx1は、後述するステップＳ３１０，Ｓ３１１によるパン制御により実際にパンニングを行って被写体重心Ｇを位置させるべき、垂直基準線Ｌｄ１に対する距離を表すものとなる。同様に、垂直制御オフセット量Δx2は、後述するステップＳ３１２、Ｓ３１３によるパン制御により実際にパンニングを行って被写体重心Ｇを位置させるべき、水平基準線Ｌｄ2に対する距離を表すものとなる。
【００８８】
先ず、水平制御オフセット量Δx1は、目標水平オフセット量Δxと、ズーム倍率Zとに基づいて、例えば次のようにして求める。
Δx1=Δx/Z・・・(式２)
また、制御垂直オフセット量Δｙ1は、目標垂直オフセット量Δｙと、ズーム倍率Zとに基づいて、例えば次のようにして求める。
Δｙ1=Δｙ/Z・・・(式３)
上記(式２)(式３)により求められる制御水平オフセット量Δx1、制御垂直オフセット量Δｙ1は、例えば図１０に示した判定構図が得られた状態から、ズーム倍率Ｚにより拡大する前の状態に戻したときに得られているとされる水平オフセット量Δx、垂直オフセット量Δｙに相当するといえる。
即ち、逆にいえば、被写体重心Ｇについて、予め、制御水平オフセット量Δx1、制御垂直オフセット量Δｙ1に応じた座標位置としておいたうえで、ズーム倍率Ｚによるズームを行えば、その結果、被写体重心Ｇは、目標水平オフセット量Δx、目標垂直オフセット量Δｙに応じた座標に位置できることになる。
【００８９】
そこで、パン・チルト・ズーム制御ブロック６３は、次のステップＳ３１０により、制御水平オフセット量Δx1に対応するX座標上に被写体重心Ｇが位置する状態となるようにパン制御を実行する。このためには、被写体探索処理ブロック６１は、通信制御処理ブロック６３を経由して、雲台１０の制御部５１に対して、被写体重心Ｇが、制御水平オフセット量Δx1に対応するX座標に対して近づくようにして移動するように、パン方向の指示とともに、パン機構部５３の駆動を命令する。
そして、構図判定ブロック６２は、上記のパン制御を実行させながら、例えばステップＳ３１１により、被写体重心Ｇが制御オフセット量Δx1に対応するX座標に位置する状態が得られたか否かについて判別する。ここで、パン制御の結果、被写体重心Ｇが制御水平オフセット量Δx1に対応するX座標に位置したとされれば、ステップＳ３１２に進む。
これに対して、例えばパン制御中に被写体としての人物が移動したなどの原因で、例えば或る規定時間を経過しても被写体重心Ｇが制御水平オフセット量Δx1に対応するX座標に位置する状態が得られなかった場合には、ステップＳ３０１の被写体検出処理（被写体探索処理）に戻る。
【００９０】
ステップＳ３１２においてパン・チルト・ズーム制御ブロック６３は、制御オフセット量Δｙ1に対応するY座標上に被写体重心Ｇが位置する状態となるようにチルト制御を実行しながら、ステップＳ３１３により、被写体重心Ｇが制御垂直オフセット量Δｙ1に対応するY座標に位置する状態が得られたか否かについて判別する。ここで、パン制御の結果、被写体重心Ｇが制御垂直オフセット量Δｙ1に対応するY座標に位置したとして肯定の判別結果が得られたのであれば、ステップＳ３１４に進み、否定の判別結果が得られた場合には、ステップＳ３０２に戻る。
【００９１】
ステップＳ３１４に至った段階では、ステップＳ３０３に対応して検出された被写体ＳＢＪの被写体重心Ｇは、画枠３００において、制御水平オフセット量Δx1，制御垂直オフセット量Δx2に対応したＸ、Ｙ座標に位置していることになる。
【００９２】
そこで、構図判定ブロック６２は、次のステップＳ３１４により、先のステップＳ３０７により判定されたズーム倍率Zに応じたズーム制御を実行する。ズーム倍率Zに応じたズーム制御は、例えばズーム倍率Zに応じた移動量によってズームレンズを移動させるようにして光学系に対するカメラ制御を実行すればよい。
具体例については後述するが、第３例では、ここまでの制御によって、画枠３００において、被写体重心Ｇの座標と、被写体サイズを要素とした判定構図が獲得されている状態にある。
【００９３】
そこで、この場合の構図判定ブロック６２は、ステップＳ３１５により、例えば撮像画像データの画内容について判定したとおりの構図が得られた状態の下、撮像記録すべきタイミングとなるのを待機する。
例えば、本実施形態のデジタルスチルカメラ１は、検出された被写体の顔の表情として少なくとも笑顔を検出可能とされている。そのうえで、例えば予めのユーザ操作などにより、検出された被写体が笑顔であることが検出されているタイミングのときに撮像記録を行うべきモードが設定されているとする。ステップＳ３１５は、例えばこのような笑顔撮影のモードに応じて、撮影記録すべきタイミングであるか否かについての判別を行う。つまり、現在得られている撮像画像データにおいて検出されている被写体の表情が笑顔となっているか否かについて判別する。
【００９４】
ステップＳ３１６においては、構図判定ブロック６２は、撮像記録タイミングがＯＫと成ったか否かについての判別を行っている。
例えば、上記ステップＳ３１６として実行する記録タイミングの判定処理期間において、検出されている被写体の表情が笑顔になったことが検出されたとする。すると、ステップＳ１０９により肯定の判別結果が得られることとなり、ステップＳ３１７に進む。これに対して、上記記録タイミングの判定処理期間を越えても検出されている被写体の表情について笑顔が検出されなければ、ステップＳ１０９において否定の判別結果が得られる。この場合には、ステップＳ３０２に戻り、被写体探索を伴う被写体検出処理を実行する。
【００９５】
ステップＳ３１７においては、例えば構図判定ブロック６２は、撮像記録ブロック６１により撮像記録を実行させる。これに応じて、撮像記録ブロック６１においては、そのときに得られている撮像画像データを、メモリカード４０に対して静止画のファイルとして記録する動作が実行される。
【００９６】
図１８の処理に対応した実際例として、被写体検出処理によって、図９に示す被写体ＳＢＪが検出されたとする。また、この場合にも、この図９の被写体ＳＢＪに応じて獲得すべき構図としては、図１０に示すものであるとする。ただし、説明の便宜上、ここでは、被写体検出処理により検出された被写体サイズ（sizey）については、図９において（  ）内に示すようにして、sizey=40であるとする。
【００９７】
この場合、ステップＳ３０６によるズーム制御目標値は、図１０に示されるsizey=64であるとして判定されることになる。そして、ステップＳ３０７においては、例えば（式１）を利用して、Z＝size_trg/size_org=1.6として求められる。
これに応じて、制御水平オフセット量Δx1，制御垂直オフセット量Δｙ1は、それぞれ、（式２），（式３）を用いた、Δx1=Δx/1.6、Δｙ1=Δｙ/1.6の演算によって、その値が求められる。図１０の構図とするためには、目標水平オフセット量Δx=0であるから、上記(式２)により制御水平オフセット量Δx1=0が求められる。また、目標垂直オフセット量Δｙ=40とすれば、制御垂直オフセット量Δｙ1=40/1.6=25となる。
目標水平オフセット量Δx=0に対応するX座標は、160+0=160となる。また、目標垂直オフセット量Δｙ=25に対応するY座標は、-120+25=-95となる。そこで、構図判定ブロック６２は、ステップＳ３１０、Ｓ３１１によっては、被写体重心ＧのＸ座標が160となるようにして移動させ、ステップＳ３１０、Ｓ３１１によっては、被写体重心ＧのＹ座標が-95となるようにして移動させることになる。
【００９８】
上記のようにして、ステップＳ３１３までの制御が実行された段階での画枠３００の画内容を図１５に示す。
この図における、ステップＳ３１３までの制御が実行された段階での被写体ＳＢＪは、その被写体重心Ｇの座標は、(160+Δx1，-120+Δｙ1)で表されることになる。この場合、Δx1=0、Δｙ1=-25であるから、被写体重心Ｇ（160，-95）となっている。
【００９９】
そして、この図１５に示す状態とされたうえで、ステップＳ３１４によってズーム倍率Z=1.6に応じたズーム制御を行う。これにより、図１０に示すように、被写体サイズ(sizey)は、sizey=40からsize64に拡大されることになる。また、被写体重心Ｇについては、上記の画像の拡大に従って、X座標については（160+Δx1・1.6）、Y座標については（-120+Δｙ1・1.6）で示される位置に移動する。つまり、図１０にも示しているように、被写体重心Ｇの座標は（160+Δx，-120+Δｙ）となるものであり、目標水平オフセット量Δx、目標垂直オフセット量Δｙに応じた座標が得られている。より具体的には、この例でのΔx=0，Δｙ=40としているから、被写体重心Ｇ（160，-80）となる。そして、これはステップＳ３１４のズーム制御を完了させた段階で、判定された構図が獲得されていることを意味する。
【０１００】
このようにして、本実施形態としての第３例では、判定構図の要素であるズーム倍率Zと、目標水平オフセット量Δx、目標垂直オフセット量Δｙとにより、制御水平オフセット量Δx1、制御垂直オフセット量Δｙ1とを求めることとしている。そして、制御水平オフセット量Δx1、制御垂直オフセット量Δｙ1により決まる座標（予備座標）に対して、被写体重心Ｇを先ず位置させることとしている。
この制御水平オフセット量Δx1、制御垂直オフセット量Δｙ1は、先にも説明したように、ズーム倍率Zによるズーム制御を完了させたときに、目標水平オフセット量Δx、目標垂直オフセット量Δｙが得られるものとして逆算して得られる値である。従って、被写体重心Ｇが予備座標に位置している状態で、ズーム倍率Ｚによるズーム制御を行えば、その結果として、被写体重心Ｇは、目標水平オフセット量Δx、目標垂直オフセット量Δｙにより決まる目標座標に位置した状態が得られる。
【０１０１】
このような第３例の構図制御では、先ず、第１例の場合のようにして、ズーム制御の結果、被写体重心Ｇが、大きく目標座標から外れてしまうということはなくなる。
また、被写体重心Ｇを画枠内にて移動させるためのパン・チルト制御は、ズーム制御の前段階において実行される。従って、第２例と比較すれば、被写体重心Ｇを予備座標に対して正確に位置させることが容易となって、その精度も高くなる。これにより、必要とする構図がより的確に得られることにもなる。
【０１０２】
［５−２．被写体数が複数の場合］
なお、先の図９〜図１５による説明では、説明を簡単で分かりやすいものとすることの便宜上、画枠３００において検出される被写体が１つの場合を例に挙げた。
しかし、本実施形態の構図制御は、検出される被写体が複数の場合にも適用できる。
例えば、図示による説明は省略するが、複数の被写体が検出された場合には、これらの検出された複数の被写体から成る画像領域をひとまとまりの総合的な被写体（総合被写体）としてみることとして、この総合被写体を対象として１つの被写体重心（総合被写体重心）Ｇｔを求めることとする。そして、この総合被写体重心Ｇｔを、これまでの説明における被写体重心Ｇとして扱って、例えば図１８にて説明した処理を実行すればよい。
【０１０３】
上記の総合被写体重心Ｇをどのようにして設定するのかについては、いくつか考えることができるが、ここでは、最も簡易な例として、検出された複数の個々の被写体のうちで、画枠３００の左端と右端の両端に位置する被写体の重心を結ぶ線分上の中間点を総合被写体重心Ｇｔとして設定することが考えられる。
【０１０４】
また、被写体が複数のときには、個別の被写体ごとに検出される顔方向が異なる場合がある。この場合には、複数の個別の被写体ごとに検出される顔方向の関係性に基づいて、総合被写体としての１つの顔方向を決定することとすればよい。複数の個別の被写体ごとに検出される顔方向の関係性として、同一となる顔方向の数が、個別の被写体の全体数における所定割合以上を占めるときに、この同一となる顔方向を、総合被写体の顔方向として決定し、これを構図判定に使用する。
【０１０５】
また、被写体数が複数の場合には、例えば次のようにして、ズーム倍率Zを判定することができる。
図１９においては、画枠３００内において２つの被写体ＳＢＪ０，ＳＢＪ１が検出されている状態が示されている。
例えば、この図に示される検出時の被写体ＳＢＪ０、ＳＢＪ１のサイズでは、最適構図を満足するにはサイズが小さすぎるとする。そこで、この場合には、構図判定処理により、しかるべきサイズにまで被写体ＳＢＪ０、ＳＢＪ１を拡大するための拡大率が設定されることになる。なお、ここでいう拡大率は、撮像により得られた画像についてのものとなるので、本実施形態の構図制御におけるズーム倍率Zに相当するものとなる。
【０１０６】
次に、図２０は、上記図１９に示す画内容の下で設定された拡大率に従って構図合わせ制御としてのズーム制御を行って得られたとする画内容を示している。
図２０に示される画内容は、被写体が横方向において並んでいるとみて良い位置関係にある。このような場合には、最も左の被写体の顔枠ＦＲから最も右の被写体の顔枠ＦＲまでの距離を、被写体総体の水平（横方向）サイズＫとして扱う。
そして、この場合における適正な被写体サイズとは、上記被写体総体の水平サイズＫについて、画枠３００の水平画素数Ｃｘに対して一定の比率（占有率）ｎ（０＜ｎ＜１）を占めるときであるとして規定する。つまり、K=Cx・nが成立するようにして拡大率を設定すればよい。なお、この例では、K=Cx・nが、図１８のステップＳ３０６にて判定するズーム目標値となる。
そして、例えば、図１９に対応して得られている被写体検出時の被写体総体の水平サイズをK1、図１３に対応して得られている構図制御後の被写体総体の水平サイズ（画素す）をK2とし、拡大率（ここでは拡大率を長さとして捉えている）、即ちズーム倍率をZとすれば、K2=K1×Zとなるのであるから、ズーム倍率Zは、
Z=Cx・n/K1・・・（式４）
により求めることができる。
このようにして求められたズーム倍率Zにより、図１９に示した状態からズーム制御を行った結果が、図２０となる。
【０１０７】
＜６．本実施形態の撮像システムの変形例＞
図２１は、先に図７，図８に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６３を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図７の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図８に示した構図判定ブロック６２と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図８の構図制御処理ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図７における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図２１に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック７４が、通信制御処理ブロック７１経由で、デジタルスチルカメラ１側にズーム制御を指示するように構成すればよい。
【０１０８】
図２２は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図２１と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図６に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。
【０１０９】
この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図２１と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。
【０１１０】
また、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。
【０１１１】
なお、本実施形態としての構図制御における目標水平オフセット量Δx、目標垂直オフセット量Δｙ、また、ズーム倍率Zなどのパラメータを判定するアルゴリズムとしては、これまでに説明した例に限定されない。例えば、これらのパラメータを、検出された個別の被写体数に応じて変更することも考えられる。また、人としての個別の被写体ごとに、性別、年齢などの属性を検出し、この検出結果に応じて上記パラメータを変更することも考えられる。また、個別の被写体ごとに個人認識を実行し、認識される個人に応じて上記パラメータを変更すると言うことも考えられる。
【０１１２】
また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ１と雲台１０から成るものとしているが、例えば、撮像装置部と、雲台に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。
【０１１３】
また、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。
【符号の説明】
【０１１４】
１  デジタルスチルカメラ、２  シャッターボタン、３  レンズ部、１０  雲台、２１  光学系、２２  イメージセンサ、２３  Ａ／Ｄコンバータ、２４  信号処理部、２５  エンコード／デコード部、２６  メディアコントローラ、２７  制御部、２８  ＲＯＭ、２９  ＲＡＭ、３０  フラッシュメモリ、３１  操作部、３２  表示ドライバ、３３  表示部、３４  雲台対応通信部、４０  メモリカード、５１  制御部、５２  通信部、５３  パン機構部、５４  パン用モータ、５５  パン用駆動部、５６  チルト機構部、５７  チルト用モータ、５８  チルト用駆動部、６１  撮像記録ブロック、６２  構図判定ブロック、６３  パン・チルト・ズーム制御ブロック、６４  通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ）  被写体、７１  通信制御処理ブロック、７２  パン・チルト制御処理ブロック、７３  被写体検出処理ブロック、７４  構図制御処理ブロック、７５  撮像部
【図１】
2011030015.tif 000003
【図２】
2011030015.tif 000004
【図３】
2011030015.tif 000005
【図４】
2011030015.tif 000006
【図５】
2011030015.tif 000007
【図６】
2011030015.tif 000008
【図７】
2011030015.tif 000009
【図８】
2011030015.tif 000010
【図１６】
2011030015.tif 000011
【図１７】
2011030015.tif 000012
【図１８】
2011030015.tif 000013
【図２１】
2011030015.tif 000014
【図２２】
2011030015.tif 000015
【図９】
2011030015.tif 000016
【図１０】
2011030015.tif 000017
【図１１】
2011030015.tif 000018
【図１２】
2011030015.tif 000019
【図１３】
2011030015.tif 000020
【図１４】
2011030015.tif 000021
【図１５】
2011030015.tif 000022
【図１９】
2011030015.tif 000023
【図２０】
2011030015.tif 000024