(57)【要約】【課題】使用者の自由度を飛躍的に向上させ、撮影操作に専念しなくとも所望の画像・映像を撮影し記録できるようにする。【解決手段】被写体となる第１の対象を撮影するための第１のカメラ１００と、使用者となる第２の対象を撮影するための第２のカメラ１０３と、第２のカメラにより撮影された画像に基づいて、第２の対象１３１の状態情報を検出する状態検出部１１２と、状態検出部により検出された第２の対象の状態情報に基づいて、第１の対象が存在すると予想される位置に関する情報である予想位置情報を検出する予想位置検出部１１２と、予想位置検出部により検出された予想位置情報に基づいて、第１の対象を撮影するように第１のカメラを制御する被写体撮影制御部１１７とを具備する。【選択図】        図１
2007074033.tif 000002
【特許請求の範囲】
【請求項１】
第１の対象を撮影するための少なくとも１つの第１の撮像手段と、
第２の対象を撮影するための少なくとも１つの第２の撮像手段と、
前記第２の撮像手段により撮影された画像に基づいて、前記第２の対象の状態情報を検出する状態検出手段と、
前記状態検出手段により検出された前記第２の対象の状態情報に基づいて、前記第１の対象が存在すると予想される位置に関する情報である予想位置情報を検出する予想位置検出手段と、
前記予想位置検出手段により検出された前記予想位置情報に基づいて、前記第１の対象を撮影するように前記第１の撮像手段を制御する第１の撮影制御手段と、
を具備することを特徴とする撮像装置。
【請求項２】
前記予想位置検出手段により検出された前記予想位置情報に基づいて、前記第１の撮像手段の撮像光軸の方向を変更する撮像方向変更手段を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の撮像手段により撮影された画像から前記第２の対象を検出する第２の対象検出手段と、前記第２の対象検出手段の検出結果に基づいて、前記第２の撮像手段が前記第２の対象を撮像し続けるように、前記第２の撮像手段の撮像光軸の方向を変更する撮像方向変更手段とをさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記予想位置検出手段により検出された前記予想位置情報に基づいて、前記第１の撮像手段の撮像倍率を制御する拡大撮影手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記状態検出手段により検出された前記第２の対象の状態情報に基づいて、前記第１の撮像手段の撮像倍率を制御する拡大撮影手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記状態検出手段による前記第２の対象の状態情報の検出において必要とされる場合に、前記第２の撮像手段の撮像倍率を制御する拡大撮影手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項７】
複数の前記第１の撮像手段を備え、前記第１の撮影制御手段は、前記予想位置情報に基づいて、前記第１の対象の最適な画像を撮影することのできる前記第１の撮像手段を選択して前記第１の対象を撮影することを特徴とする請求項１に記載の撮像装置。
【請求項８】
複数の前記第２の撮像手段を備えるとともに、前記第２の撮像手段により撮影された画像から前記第２の対象を検出する第２の対象検出手段と、該第２の対象検出手段による検出結果に基づいて、前記第２の対象の最適な画像を撮影することのできる前記第２の撮像手段を選択して前記第２の対象を撮影する第２の撮影制御手段とをさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記状態検出手段により検出される前記第２の対象の状態情報は、前記第２の対象の移動方向の情報、第２の対象の顔が向いている方向の情報、及び第２の対象の視線の方向の情報の少なくとも一つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記状態検出手段により検出される前記第２の対象の状態情報は、前記第２の対象の眼の開閉度の情報を含むことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記予想位置検出手段により検出される前記予想位置情報は、第１の対象が存在すると予想される方向の情報及び予想される距離の情報の少なくとも一つを含むことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記第１の撮影制御手段は、前記状態検出手段により検出される前記第２の対象の状態情報に基づいて、前記第１の対象の画像の記憶手段への記録の開始および中断を行うよう制御することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
第１の対象を撮影するための少なくとも１つの第１の撮像手段と、第２の対象を撮影するための少なくとも１つの第２の撮像手段とを備える撮像装置を制御する方法であって、
前記第２の撮像手段により撮影された画像に基づいて、前記第２の対象の状態情報を検出する状態検出工程と、
前記状態検出工程において検出された前記第２の対象の状態情報に基づいて、前記第１の対象が存在すると予想される位置に関する情報である予想位置情報を検出する予想位置検出工程と、
前記予想位置検出工程において検出された前記予想位置情報に基づいて、前記第１の対象を撮影するように前記第１の撮像手段を制御する第１の撮影制御工程と、
を具備することを特徴とする撮像装置の制御方法。
【請求項１４】
前記予想位置検出工程において検出された前記予想位置情報に基づいて、前記第１の撮像手段の撮像光軸の方向を変更する撮像方向変更工程をさらに備えることを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１５】
前記第２の撮像手段により撮影された画像から前記第２の対象を検出する第２の対象検出工程と、前記第２の対象検出工程における検出結果に基づいて、前記第２の撮像手段が前記第２の対象を撮像し続けるように、前記第２の撮像手段の撮像光軸の方向を変更する撮像方向変更工程をさらに備えることを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１６】
前記予想位置検出工程において検出された前記予想位置情報に基づいて、前記第１の撮像手段の撮像倍率を制御する拡大撮影工程をさらに備えることを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１７】
前記状態検出工程において検出された前記第２の対象の状態情報に基づいて、前記第１の撮像手段の撮像倍率を制御する拡大撮影工程をさらに備えることを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１８】
前記状態検出工程における前記第２の対象の状態情報の検出において必要とされる場合に、前記第２の撮像手段の撮像倍率を制御する拡大撮影工程をさらに備えることを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項１９】
前記撮像装置は複数の前記第１の撮像手段を備え、前記第１の撮影制御工程では、前記予想位置情報に基づいて、前記第１の対象の最適な画像を撮影することのできる前記第１の撮像手段を選択して前記第１の対象を撮影することを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項２０】
前記撮像装置は複数の前記第２の撮像手段を備え、前記第２の撮像手段により撮影された画像から前記第２の対象を検出する第２の対象検出工程と、該第２の対象検出工程における検出結果に基づいて、前記第２の対象の最適な画像を撮影することのできる前記第２の撮像手段を選択して前記第２の対象を撮影する第２の撮影制御工程とをさらに具備することを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項２１】
前記状態検出工程において検出される前記第２の対象の状態情報は、前記第２の対象の移動方向の情報、第２の対象の顔が向いている方向の情報、及び第２の対象の視線の方向の情報の少なくとも一つを含むことを特徴とする請求項１３に記載の撮像装置の制御方法。
【請求項２２】
請求項１３乃至２１のいずれか１項に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【請求項２３】
請求項２２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の操作の煩わしさから使用者を解放し、撮影していることを意識しなくとも、所望する被写体の画像・映像を自動的に撮影記録可能とする技術に関するものである。
【背景技術】
【０００２】
従来、被写体を静止画または動画にて撮影する撮像装置あるいはシステムにおいて、使用者（ユーザ）の負担を軽減するための提案がいくつかなされている。
【０００３】
例えば特開平１−２４１５１１号公報（特許文献１）、特開２００１−１８８１６４号公報（特許文献２）等には視線検出装置を備えたカメラが開示されている。これらのカメラにおいては、ファインダ部を覗き込んだ使用者の眼球部を、光分割器やハーフミラー等を介して光電変換素子により撮影し、画像処理を行うことによって瞳孔部の向いている方向すなわち、撮影者の視線方向を自動的に検知する。そして撮像画面中の視線方向に被写体が存在するものとみなし、オートフォーカス等の制御を行う構成となっている。
【０００４】
特開平７−３０９５７７号公報（特許文献３）に開示されるクレーン用テレビモニタ装置においては、クレーンの先端に方向制御装置を介して取り付けられたテレビカメラによって撮影される画像を表示するテレビモニタを備える。そして、そのテレビモニタの前に座ったオペレータに対し、その視線方向を検出する検出装置を取り付け、視線方向と対応する位置にテレビカメラの撮影方向を追尾させる駆動制御を行っている。
【０００５】
また、特開平７−１９９２７８号公報（特許文献４）には撮影装置が開示されており、特開平７−２０９７００号公報（特許文献５）には光学機器の立体リンク機構が開示されている。これらの装置は、カメラとカメラから分離した眼鏡型ファインダ装置を備え、眼鏡型ファインダの向いている方向を検知する。そして、検知した方向に一致するようにカメラの撮影方向を一致させる駆動機構を備えることによって、眼鏡型ファインダを装着した使用者が向いた方向を撮影可能としている。
【０００６】
一方で、使用者を必要とせず、撮影する被写体を自動的に検知し、追尾撮影を行う撮像装置も存在し、監視カメラ等に用いられている。特許第３４４０９１６号公報（特許文献６）等に開示されている自動追尾装置においては、パン・チルトの２軸に旋回動作可能な駆動装置を備え、撮像する方向（光軸方向）を所望の方向に移動させることを可能としている。そして、撮像した画像信号より例えば人物等の移動物体を検出する追尾物体抽出手段を備え、抽出した追尾物体が常に撮像範囲内に収まるようにパン・チルト駆動制御を行っている。
【０００７】
また、パン・チルト駆動機構を備えないビデオカメラやデジタルカメラ等においても、撮像された画面内における移動物体を追尾し、撮像領域内で追尾視野領域を移動させるものも多数存在する。この追尾視野領域に被写体が存在するものと判断して、自動焦点検出（オートフォーカス）処理等を行う。このような技術は、特公平５−６０７１２号公報（特許文献７）、特許第３４４９４８９号公報（特許文献８）等に開示されている。尚、追尾物体抽出処理としては、処理負荷の少なさから、異なった時点での２つ以上の撮像画像フレームの相関情報を利用しているものが多い。
【特許文献１】特開平１−２４１５１１号公報
【特許文献２】特開２００１−１８８１６４号公報
【特許文献３】特開平７−３０９５７７号公報
【特許文献４】特開平７−１９９２７８号公報
【特許文献５】特開平７−２０９７００号公報
【特許文献６】特許第３４４０９１６号公報
【特許文献７】特公平５−６０７１２号公報
【特許文献８】特許第３４４９４８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したような従来の撮像装置においては、以下に示すような問題点があった。
【０００９】
特許文献１、特許文献２、特許文献３に開示されている構成では、使用者が明確に被写体を撮影しようとする意思を持っている必要がある。すなわち、特許文献１、特許文献２においては、撮像装置のファインダ部を覗き込む必要があり、特許文献３においては、テレビモニタの前に座る必要があって、使用者の自由を制限するものとなってしまっている。
【００１０】
また、特許文献４および特許文献５に開示されている構成では、使用者は専用の眼鏡型ファインダ装置を装着する必要があって、やはり自由度を制限するものとなっている。
【００１１】
一方で特許文献６、特許文献７、特許文献８に開示される、撮像された画像から自動的に追尾対象物体を抽出する構成では、撮影者の意図を全く組み入れることができないため、自動抽出された被写体が意図するものでないということが頻繁に有り得る。
【００１２】
特にコンシューマ用途においては、例えば、運動会や学芸会のビデオ撮影や、旅行に行った際の風景写真など、その場においてはできれば撮影操作には専念したくはないが、そのとき注目していたもの等は記録保存しておきたい、という要求は非常に強い。
【００１３】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、使用者の自由度を飛躍的に向上させ、撮影操作に専念しなくとも所望の画像・映像を撮影し記録できるようにすることである。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、第１の対象を撮影するための少なくとも１つの第１の撮像手段と、第２の対象を撮影するための少なくとも１つの第２の撮像手段と、前記第２の撮像手段により撮影された画像に基づいて、前記第２の対象の状態情報を検出する状態検出手段と、前記状態検出手段により検出された前記第２の対象の状態情報に基づいて、前記第１の対象が存在すると予想される位置に関する情報である予想位置情報を検出する予想位置検出手段と、前記予想位置検出手段により検出された前記予想位置情報に基づいて、前記第１の対象を撮影するように前記第１の撮像手段を制御する第１の撮影制御手段と、を具備することを特徴とする。
【００１５】
また、本発明に係わる撮像装置の制御方法は、第１の対象を撮影するための少なくとも１つの第１の撮像手段と、第２の対象を撮影するための少なくとも１つの第２の撮像手段とを備える撮像装置を制御する方法であって、前記第２の撮像手段により撮影された画像に基づいて、前記第２の対象の状態情報を検出する状態検出工程と、前記状態検出工程において検出された前記第２の対象の状態情報に基づいて、前記第１の対象が存在すると予想される位置に関する情報である予想位置情報を検出する予想位置検出工程と、前記予想位置検出工程において検出された前記予想位置情報に基づいて、前記第１の対象を撮影するように前記第１の撮像手段を制御する第１の撮影制御工程と、を具備することを特徴とする。
【００１６】
また、本発明に係わるプログラムは、上記の制御方法をコンピュータに実行させることを特徴とする。
【００１７】
また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、使用者の自由度を飛躍的に向上させ、撮影操作に専念しなくとも所望の画像・映像を撮影し記録することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【００２０】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置のハードウェア構成を示すブロック図である。
【００２１】
図１において、１００は目的とする被写体１３０を光学的に撮影し光電変換して画像データ信号として出力するための第１のカメラであって、パン・チルト駆動機構を備えた第１の雲台１０１の上に設置されている。第１の雲台１０１を駆動させることにより、第１のカメラ１００の撮像光軸１４０を水平方向（パン）１５０および垂直方向（チルト）１５１の２軸方向に回転駆動することが可能である。
【００２２】
１０３は、被写体撮影のための操作を行う人物すなわち使用者（ユーザ）１３１を撮影し同様に画像データとして出力するための第２のカメラである。第２のカメラ１０３も、第１のカメラ１００と同様に、パン・チルト駆動機構を備えた第２の雲台１０２の上に設置され、撮像光軸１４１を２軸方向（１５２，１５３）に回転駆動することが可能である。
【００２３】
尚、第１の雲台１０１および第２の雲台１０２のパン軸およびチルト軸の各駆動モータには、ステッピングモータや超音波モータ等が用いられ、後述するコントローラ部１１０から制御される。また、第１のカメラ１００および第２のカメラ１０３はズーム機構を備え、必要に応じて対象を所望の倍率で拡大して撮影することが可能となっている。
【００２４】
１１０は、本実施形態の撮像装置のコントローラ部であって、上記の第１のカメラ１００、第１の雲台１０１、第２のカメラ１０３、第２の雲台１０２が接続されている。コントローラ部１１０の内部には、ＣＰＵ１１２と、これに接続されたシステムバス１１１が配置されており、システムバス１１１に各装置や処理回路が接続され、ＣＰＵ１１２で動作するプログラムで統括的に制御される。１１３はハードディスクドライブやフラッシュＲＯＭなどの不揮発性メモリ装置であって、ＣＰＵ１１２で動作するプログラムや、各処理を行う上で必要となる固定値パラメータ等をデータとして格納している。
【００２５】
１１４は揮発性メモリ（ＲＡＭ）であって、ＣＰＵ１１２がプログラムを実行する際に作業領域として使用する。また、一部領域を第１のカメラ１００および第２のカメラ１０３にて撮影された画像データを一時的に格納するためのバッファ領域である画像バッファ１１５として使用している。尚、本実施形態では、同一のＲＡＭ装置をＣＰＵ１１２の作業領域と画像バッファ領域の両方に使用する構成としているが、これらを別々のＲＡＭ装置に分割する構成としてももちろん構わない。また、この画像バッファ１１５を、後述する被写体画像撮影制御部１１７や使用者追尾撮影制御部１１９あるいは物体検出処理部１２１に分散して内蔵する構成とすることも可能である。
【００２６】
１１６はユーザＩ／Ｆ装置であって、不図示のディスプレイ装置とキー入力装置を備え、ＣＰＵ１１２の指令に従って、ユーザに対して本装置の状態等の情報を通知したり、ユーザが撮像の開始・停止指令や、後述する使用者登録操作等を行う際に使用する。キー入力信号は、システムバス１１１を介してＣＰＵ１１２に伝えられ適切に処理される。
【００２７】
１１７は被写体画像撮影制御部であって、第１のカメラ１００に接続されている。また内蔵する第１の駆動制御部１１８は、第１の雲台１０１に接続されている。被写体画像撮影制御部１１７は、ＣＰＵ１１２からの指令を受けて第１のカメラ１００および第１の雲台１０１の光軸駆動および撮像制御を行い、光軸方向の画像を取得する。取得した画像信号はデジタル画像データとして、画像バッファ１１５に格納される。
【００２８】
尚、画像バッファ１１５は複数枚の撮像範囲画像を格納することが可能な容量となっており、それぞれをフレームと呼ぶ。もちろん画像バッファ１１５は、被写体画像撮影制御部１１７からだけでなく、ＣＰＵ１１２や後述する物体検出処理部１２１からもアクセス可能であり、これらの複数の装置からのアクセスは、バス・アービタによって排他制御される。
【００２９】
１１８は、被写体画像撮影制御部１１７に内蔵される第１の駆動制御部であって、第１の雲台１０１のパン軸およびチルト軸駆動モータに接続されている。そして、不図示のパルス発生回路やドライバ回路などを内蔵し、被写体画像撮影制御部１１７を介したＣＰＵ１１２からの指令に基づいて、所望のパン・チルト駆動を行うことを可能とする。また、第１の雲台１０１に内蔵される不図示の位置センサ（エンコーダ等）の出力に基づき、現在のパンおよびチルト角の位置情報を取得し、被写体画像撮影制御部１１７を介してＣＰＵ１１２に通知することも可能である。
【００３０】
尚、第１の駆動制御部１１８を本実施形態のようにコントローラ１１０に内蔵する構成とするのではなく、外部に独立した筐体として配置し、シリアルやネットワーク回線等の所定のＩ／Ｆを介してＣＰＵ１１２と通信する構成をとることもできる。
【００３１】
１１９は使用者追尾撮影制御部であって、第２の駆動制御部１２０を備え、第２のカメラ１０３および第２の雲台１０２に対して、被写体画像撮影制御部１１７および第１の駆動制御部１１８と同様の処理を行う。
【００３２】
１２１は画像データ中から、対象とする物体を検出する処理を行う物体検出処理部であって、画像処理ハードウェアにより構成されている。検出対象とする物体の特性に応じて、例えば人物を検出する処理回路など、最適の検出アルゴリズムを搭載する。本実施形態では、後述するように、人物の顔部を検出可能なニューラルネットワークアルゴリズムを実行する処理回路を実装している。この回路には、不図示のレジスタやＣＰＵ１１２に接続された割り込み出力が備えられている。そして、ＣＰＵ１１２から検出の開始指令を受け付け、検出完了を割り込みで通知し、検出結果を画像中の座標値としてレジスタに格納しＣＰＵ１１２に知らせる、といった機能を持つ。尚、もちろんＣＰＵ１１２の処理能力が十分にある場合には、ＣＰＵ１１２で動作させるソフトウェア・プログラムとしてこの検出処理部を実装しても構わないし、ＤＳＰなどの比較的汎用的な画像処理用チップを用いて構成してももちろん構わない。また、他のアルゴリズムを用いて、顔でなく人物の全身、あるいは人物の他の一部を検出するようにしたり、これら複数の検出器を組み合わせるようにしても、もちろん構わない。
【００３３】
１２２は画像記録用ディスクドライブであって、ドライブにセットされた画像記録用の光学ディスクメディアに、第１のカメラ１００で撮影された被写体画像を記録する。記録の開始と停止は、ＣＰＵ１１２からの指令に基づいて行われ、画像バッファ１１５に一時的に保存されている被写体画像データを読み出して記録する。尚、本実施形態の装置においては、画像データの記録は、動画も静止画も可能である。
【００３４】
[撮影処理プロセス]
次に図２および図３、図４を用いて、本実施形態におけるＣＰＵ１１２で動作するプログラムの処理について説明する。
【００３５】
本実施形態のプログラムは、図２に示すように大きく２つの処理プロセスにより構成されている。ここでプロセスとは、プログラム中の独立した並行処理体である。具体的には、オペレーティングシステム（ＯＳ）による１つのＣＰＵでの時分割処理、あるいは複数のＣＰＵでの分配処理により実現されている。
【００３６】
本実施形態におけるプログラムにおいては、２つのプロセスがある。すなわち、使用者追尾撮影制御部１１９により使用者を追尾撮像し続ける処理を行う使用者追尾プロセス２０１と、被写体画像撮影制御部１１７により目的とする被写体を撮影し画像信号を記録する処理を行う被写体撮影プロセス２０２である。また、使用者追尾プロセス２０１で検出した使用者に関する情報２０３は、ＯＳのプロセス間共有メモリ機能を用いて被写体撮影プロセス２０２に渡される。
【００３７】
図３は使用者追尾プロセス２０１の処理の流れを説明するフローチャートである。
【００３８】
このプロセスは、第２のカメラ１０３により撮影された画像から、撮影の操作を行うものとみなされる人物（使用者と呼ぶ）を抽出し、その挙動や状態を検出するとともに、使用者を常に撮影し続けられるように追尾制御を行うプロセスである。
【００３９】
ステップＳ３０１は、初期設定処理である。この処理は、使用者が撮影開始前に上述したユーザＩ／Ｆ１１６を操作することによって行う、使用者に関する情報や撮影条件等を設定する処理である。
【００４０】
尚、使用者に関する情報や撮影条件等の初期設定処理は、基本的に一度行っておけば不揮発性メモリ１１３に保存されるため、使用者の変更が無い限りは省略可能である。
【００４１】
上述したように、本実施形態においては、物体検出処理部１２１として顔検出を行うニューラルネットワークを搭載しており、使用者の検出にもこれを用いている。人物の顔であることのみを条件とする使用者検出を行い、その後状態判別等を行わないならば、このステップにおいて使用者に関する情報として設定すべき項目は無い。しかし、顔から後述するような使用者状態の判別を行う場合や、検出した顔に対し使用者であるかどうかを判別する個人認識を行う場合には、使用者の顔に関する基準情報を予め登録する必要がある。ここで基準情報とは、例えば正面を向いたときの両目間の間隔、正面と所定角度を向いたときの瞳孔の位置、通常状態の場合の眼球部の輝度分布や、使用者個人を識別するための特徴情報等である。
【００４２】
ステップＳ３０２からステップＳ３０８までの処理は、撮影を開始した状態での繰り返し処理である。ユーザＩ／Ｆ１１６の操作によりステップＳ３０１の初期設定処理のステップが完了して撮影開始指令が出されると、使用者追尾プロセス２０１はこの繰り返し処理に移行する。以後使用者は撮影していることを殆ど意識することなく、自然に過ごすだけで、その時々に注目していた所望の被写体を自動的に記録させてゆくことができる。
【００４３】
まずステップＳ３０２において、使用者追尾プロセス２０１は、第２のカメラ１０３による撮影画像を取得する。この画像データは、上述したとおり画像バッファ１１５に一旦格納される。
【００４４】
次にステップＳ３０３において、画像バッファ１１５に格納された画像データに対し、物体検出処理部１２１による処理を実行し、画像中より使用者を検出する。本実施形態における物体検出処理である顔検出処理に関しては、後ほど詳細に説明する。
【００４５】
ステップＳ３０４においては、使用者が見つかったかどうかを判断し、見つからなかった場合にはステップＳ３０２の画像取得から繰り返す。見つかった場合にはステップＳ３０５へ進む。
【００４６】
ステップＳ３０５においては、検出した使用者の位置や、興味を示していると考えられる方向の判別および使用者の状態判別を行う。興味を示していると考えられる方向（興味方向と呼ぶ）とは、顔の向いている方向や進んでいる方向、視線の向いている方向であって、その方向に所望の被写体が存在すると考えられる。興味方向のみでなく、興味のある距離も合わせて判別するようにすることも可能である。また、使用者の状態とは、例えば表情であって、注視していたり眠っていたりしているかどうかを判別する。これらの判別処理に関しては後述する。
【００４７】
ステップＳ３０５で抽出した使用者に関する情報２０３は、ステップＳ３０６において共有メモリに書き出され、被写体撮影プロセス２０２に通知される。
【００４８】
そして、ステップＳ３０７において、使用者の位置情報と、必要ならば興味を示している方向の情報を用いて、第２の駆動制御部１２０を介して第２の雲台１０２および第２のカメラ１０３のズーム機能を駆動し、常に使用者を最適に撮影できるように制御する。
【００４９】
そしてステップＳ３０８において、検出した使用者情報を履歴としてＲＡＭ１４４の所定領域に記録し、ステップＳ３０２に戻って処理を繰り返す。
【００５０】
次に図４は被写体撮影プロセス２０２の処理の流れを説明するフローチャートである。
【００５１】
このプロセスは、使用者追尾プロセス２０１より通知される使用者情報２０３に基づき、第１のカメラ１００および第１の雲台１０１を制御し、使用者が興味を示している被写体を撮影して画像データを記録する処理を行うプロセスである。
【００５２】
まずステップＳ４０１において、必要に応じて対象被写体に関する情報の設定等の初期設定処理を行う。これは例えば、物体検出処理部１２１が複数種類の物体を検出可能である場合には、対象とすべき物体の種類を決定し、その物体を検出可能なようにパラメータを設定する処理である。本実施形態においては、物体検出処理部の対象物体は顔のみであるので、検出処理に関しては特にここで設定すべきパラメータはない。ここで設定するのは、大まかな画像中の顔の位置と倍率、すなわち構図に関するパラメータのみで、ステップＳ３０１の設定と同様、使用者がユーザＩ／Ｆ１１６を用いて予め設定する。
【００５３】
ステップＳ４０２以下は、撮影開始後の定常状態である。ステップＳ４０２の処理は、共有メモリより使用者情報２０３を読み出す処理である。
【００５４】
そしてステップＳ４０３において、これらの情報が前回から変化しているかどうかを確認する。尚、撮影開始直後の初回時においては、無条件に変化していることとなり、ステップＳ４０４へと進む。変化していない場合には、ステップＳ４０９へと進み、前回と同条件のまま被写体撮影を継続する。
【００５５】
初回あるいは使用者情報が変化すると、ステップＳ４０４へ進む。ステップＳ４０４では、まず使用者の位置とステップＳ３０５で抽出した興味方向・距離の変化をチェックする。
【００５６】
変化した場合には、これらの情報に基づきステップＳ４０５の被写体発見処理を行う。これについては後述する。変化していなければ、次の処理へと進む。
【００５７】
次に使用者の状態の変化をチェックする。例えば、白目部分を含む目の大きさにより開き度合いを判別し、通常の大きさに比べて目が大きくなった場合には、目を見開くような表情すなわち被写体に注目したものと判断し、被写体撮影のためのズーム倍率設定値を上げる。目が半分閉じたような状態となった場合には、被写体にあまり注目していないものと判断し、ズーム倍率をワイド側に切り替える。目を閉じた状態が一定時間続いていると判断される場合には、使用者が眠ってしまったものと判断し、被写体画像のメディアへの記録を一時的に停止するか、もしくは直前に見ていた被写体をロックし、その被写体を追尾して撮影し続けるようにモードを変更する。尚、目の開閉度の判別方法については後述する。
【００５８】
そしてステップＳ４０８において、これらの使用した使用者情報を履歴として使用可能なように記録すると共に、ステップＳ４０９においてステップＳ４０７での設定に基づいて被写体撮影を行い、ステップＳ４０２の処理に戻る。
【００５９】
[顔検出]
対象物体検出方法の一例として、本実施形態で使用している顔検出処理方法について、図５、図６、図７を用いて説明する。尚、本実施形態で採用している顔検出技術は、特開２００４−１９９２０号公報に開示されているものをベースとしているが、別の顔検出技術を用いてももちろんかまわない。
【００６０】
図５は、検出すべき人物の顔を模式的に表した図である。人物の顔は、目や口、鼻といったいくつかの特徴点が、おおよそ定まった位置に配置されている。本実施形態は、このうち特に目と口の特徴点に注目し、局所的な低次元特徴から、階層的により高次元の特徴抽出を行うことによって、画像中の顔検出処理を行うものである。
【００６１】
具体的な階層特徴は、図６に示すようになっている。各々の四角形の大きさは入力画像信号のある１点に注目したとき、その周辺部分を切り出して入力する範囲を示す（受容野）。
【００６２】
図６の（ａ）は、もっとも原始的な微少な受容野範囲における特徴を示している。上から順に、縦方向特徴、横方向特徴、右上がり斜め方向特徴、左上がり斜め方向特徴となっている。これは例えばガボールウェーブレット変換等のフィルタによって得られる微小線分の方向と考えればよく、画像中のどの位置にこれらそれぞれの特徴が存在するかを抽出するのが第１次特徴抽出処理である。もちろんこの４種類だけでなく、必要に応じて同程度のサイズの受容野の特徴を追加することもできる。
【００６３】
これらの第１次特徴抽出処理の出力を用いて、第２次特徴の抽出を行う。第２次特徴の例は図６（ｂ）に示すように、第１次特徴を複数集め特定の空間的配置に並べたものとなっている。上から順に右開きＶエッジ、左開きＶエッジ、水平エッジ、垂直エッジとなっている。この他、色成分を含む特徴としてもよい。
【００６４】
さらに、第２次特徴抽出出力を同様に用いて、第３次特徴を抽出する。本実施形態では、図６（ｃ）に示すように、第３次特徴が先に述べた注目すべき特徴点であって、目および口としている。
【００６５】
同様にして、この第３次特徴点が、おおよそ図６（ｄ）に示すような配置にあるとき、これを第４次特徴すなわち顔として判定するのである。つまり、顔検出処理部としては、ある程度の位置ロバスト性を持たせつつ、第１次から第４次までの特徴抽出処理を階層的に行うことができればよい。
【００６６】
この処理は、例えば、図７に示すConvolutional Neural Network構造（LeCun, Y. and Bengio, Y., １９９５, “ConvolutionalNetworks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks （M. Arbib, Ed.）, MIT Press, pp.２５５-２５８」）により実現できる。その最終層の出力は、認識された検出対象物体の入力データ上の位置情報である。
【００６７】
図７において、８０１はデータ入力層であって、画像バッファ中に格納されている各カメラで撮影された画像データを入力する層である。
【００６８】
最初の特徴検出層Ｓ1（８０２）は、局所的な低次の特徴である第１次特徴を抽出するフィルタとして機能するようにパラメータ設定されている。図６の（ａ）に示した第１次特徴１つにつき、これを検出するための細胞平面が１つ割り当てられている。これにより、入力画像面の各位置を中心とする局所領域における複数種類の特徴を抽出することが可能である。尚、各細胞平面は、入力画像信号の画素数と等しいかこれを所定レートで間引いた数に等しい数のニューロンにより構成されている。これは他の層に関しても同様である。
【００６９】
続く特徴統合層Ｃ1（８０３）は、Ｓ1層の各特徴検出のための細胞平面毎に、同サイズの細胞平面を１つずつ用意しており、所定の受容野構造をもって、それぞれの出力を統合する。これにより、各特徴についてある程度の位置ロバスト性を持たせることを可能としている。
【００７０】
以下、Ｓn層とＣn層を最終出力層であるＮ層まで、ｎ＝１，２，…Ｎの順に並べたネットワーク構造となっており、各々のＳn層の各特徴抽出平面への入力は、ｎ＝１を除いて、その前のＣn-1層の全特徴統合平面の出力を用いるものとなっている。このような構造により、低次の特徴を順次検出・統合していき、最終層の出力として、所望の検出物体すなわち本実施形態の撮像装置においては、顔の存在する位置を出力することが可能となる。
【００７１】
ここで、特徴検出層における各細胞平面を構成するニューロンの入出力特性は、次のように表される。第ｌ層目の特徴検出層の第ｋ番目の特徴を検出する細胞平面の位置ｎにあるニューロンの出力をｕsl（ｎ，ｋ）とすると、ｕsl（ｎ，ｋ）は次式で表わされる。
【００７２】
【数１】
2007074033.tif 000003
【００７３】
ここでｕcl（ｎ，ｋ）は、第ｌ層目の特徴統合層の第ｋ番目の細胞平面の位置ｎにあるニューロンの出力を示す。Ｋclは、第ｌ層目の特徴統合層の細胞平面の数であって、同一層の特徴検出層の細胞平面の数すなわち検出する特徴の種類の数に等しい。ｗ1（ν，κ，ｋ）は、第ｌ層目の特徴検出層の第ｋ番目の細胞平面の位置ｎにあるニューロンの、第ｌ−１層目の特徴統合層の第κ番目の細胞平面の位置ｎ＋νにあるニューロンからの、入力結合パラメータである。また、Ｗlは、検出細胞の受容野を示し、その大きさは有限である。
【００７４】
受容野Ｗlの各位置からの結合加重値ｗ1を適切に設定してやることにより、所望の特徴を検出することができる。この設定は、図６に示した各層の各特徴ごとに、十分な数のサンプル（教師データ）を用意し、特徴平面毎に例えば誤差逆伝播法などの学習アルゴリズムを用いて設定すればよい。本実施形態では、左右開きのＶエッジや、目および口、顔のサンプルを多数用意し、これを学習させることによって、結合加重パラメータを定めた。
【００７５】
また、上記式において、ｆ（ｘ）は積和演算結果に対しての非線形処理を示し、例えば次式で表わされるロジスティック関数を使用する。
【００７６】
ｆ（ｘ）＝１／（１＋ｅ-x）
次に、第ｌ層目の特徴統合層の第ｋ番目の細胞平面の位置ｎにあるニューロンの出力をｕcl（ｎ，ｋ）とすると、ｕcl（ｎ，ｋ）は次式で表わされる。
【００７７】
【数２】
2007074033.tif 000004
【００７８】
この式において、ｄ1（ν）は第ｌ層目の特徴検出層（Ｓ層）ニューロンから、同一特徴に対する第ｌ層目の特徴統合層（Ｃ層）の細胞平面のニューロンへの入力結合であり、｜ν｜に関して単純に減少する関数で設定されている。また、Ｄ1は統合細胞の受容野を示す。ｄ1（ν）およびＤ1を適切に調整することにより、前層の特徴に対する位置ロバスト性を調整することが可能である。
【００７９】
以上Convolutional Neural Network構造により、第４次特徴として、画像中の人物の顔がある位置を検出する検出器が構成される。また、顔検出位置を基準に所定の範囲の第３次特徴を調べることにより、目および口特徴点の位置も特定することが可能となる。この構成によると、例えば目特徴の検出は、第２次特徴であるＶエッジおよび横方向エッジのおおよその位置に基づいて検出されるので、目を瞑るなど少々の形の変形は関係なく検出を行うことが可能である。
【００８０】
尚、本実施形態においては、このConvolutional Neural Network検出処理を専用のハードウェア回路を用いて高速に行っている。しかし、ＣＰＵが十分な処理能力を持つものであれば、ソフトウェアプログラムにより、同一のアルゴリズムを実行するようにすることも、もちろん可能である。
【００８１】
[使用者追尾と移動方向の検出]
使用者の興味方向として、フレーム間画像より移動量および移動方向を検出する方法と、これに基づき使用者を追尾撮像するためのパン・チルト駆動量の計算方法について、図８を用いて説明する。この処理は、図３におけるステップＳ３０５の興味方向判別処理と、ステップＳ３０７における追尾処理の具体的な一例である。
【００８２】
まず、図８（ａ）は、対象物体検出処理部により検出された使用者の画像中の位置を表している。本実施形態においては、ステップＳ３０７の追尾処理は、撮像画像の中心位置に使用者がくるようにパン・チルト制御を行うものであるので、図８（ａ）の中心位置黒点は、前フレームにおける使用者の存在していた位置とみなせる。従って、黒点位置から現在位置を指すベクトルＤ→を考えると、Ｄ→は前フレームから今回のフレームが撮影されるまでに、使用者が動いた方向および距離の、第２のカメラ１０３のセンサ平面への射影を表していることになる。なお、ここで→はベクトルを表わすものとする。
【００８３】
使用者を追尾し続けるためには、次のフレームの撮影までに、Ｄ→の位置が画像中心となるようにパン・チルト駆動してやればよい。
【００８４】
このとき、Ｄ→の第２のカメラ１０３のセンサ平面の水平方向の成分をＤx→とすると、図８（ｂ）のように表せる。ただし、ここで第２のカメラ１０３はレンズ中心をＰの位置とし、Ｐがパン軸と一致するように回転駆動するものとする。カメラの撮像画像中心すなわち光軸方向はＣＣ’の方向に一致する。Ｄx'→は実空間における検出物体の移動量のセンサ平面の水平方向成分であるが、全フレームにおける検出物体までの距離Ｚが不定の状態ではＤx'→も定まらない。しかしそのセンサ平面上への射影であるＤx→に関しては、センサ平面上で中心Ｃからの画素数で表すことが可能である。尚、Ｓxはセンサの水平方向の画素数、αxは同画角であって、第２のカメラ１０３に付随するパラメータである。
【００８５】
今、レンズ中心からセンサ面までの距離（焦点距離）をｆとすると、ｆは次のように表わされる。
【００８６】
ｆ＝Ｓx／｛２tan（αx／２）｝
従って、パン方向の駆動量θxは、次のように求めることができる。
【００８７】
【数３】
2007074033.tif 000005
【００８８】
同様に、センサ垂直方向成分Ｄy→を用いてチルト方向駆動量θyを求め、この駆動量をもってステップＳ３０７における追尾処理の第２の雲台への駆動指令量とする。これにより、常に使用者を画面の中心付近に捕え続けるように、追尾制御を行うことができる。
【００８９】
尚、過去の数フレームにおけるＤ→を履歴として記憶しておくことにより、使用者の動きを予測してより精度良く追尾するようにしてもよい。
【００９０】
また、対象物体検出処理部の出力結果に基づき、その時点での対象物体の大きさをパラメータとしてこの変化量を調べることにより、奥行き方向すなわちカメラ光軸方向の移動量Ｄz→および対象物体までの距離Ｚを推測することも可能である。すなわち、図８（ｃ）に示すように第２のカメラ１０３の光軸方向を基準として、実空間における対象物体の移動方向を推測することが可能なのは自明である。
【００９１】
[被写体発見処理]
使用者の位置と興味方向情報に基づき、図４のステップＳ４０５の被写体発見処理を行う。この処理の一例を、図９を用いて説明する。
【００９２】
本実施形態の一例としては、被写体撮影用の第１のカメラ１００と使用者撮影用の第２のカメラ１０３は、極めて近い位置に設置されている。例えばコントローラ部１１０を含めて一体化されているものとする。
【００９３】
コントローラ部１１０では、第２の雲台１０２の制御位置情報を知ることができるので、これと、検出された使用者の位置情報に基づき、第１のカメラ１００が第２のカメラ１０３と同じ方向に使用者を撮影するように制御する。
【００９４】
そして、興味方向を使用者に近い位置から順次撮影（スキャン駆動撮影）できるように、第１の雲台１０１を一定速度で動かす。ここで、一定速度とは、使用者の移動速度より速く、被写体を所望の時間で発見できる程度の速度である。尚、上述した移動方向の検出処理での奥行き方向のように、第２のカメラ１０３のセンサ面水平および垂直軸方向の情報だけでなく、光軸方向の情報も使用者の興味方向として推定できる場合もある。その場合には、この情報に基づき第１のカメラ１００が注目すべき位置＝スキャン駆動撮影する際に被写体が存在するかもしれない位置までの距離情報を算出する。そして、この距離情報に基づいて、フォーカスや、対象とする被写体を最適の構図に捉えられるズーム倍率を適時設定して、撮影するようにする。
【００９５】
被写体を撮影する第１のカメラ１００が撮影する画像は、順次、対象物体検出部１２１で処理される。対象物体が見つかったとき、これを被写体とみなして、スキャン駆動を停止して、その物体の画像の記録を開始する。
【００９６】
尚、本実施形態では、同一の顔検出手段を使用者検出処理にも被写体発見処理にも用いるようにしているが、複数の検出手段を備え、それぞれ別の検出手段を用いるようにしてももちろんかまわない。あるいは状況によって切り替えるようにしてももちろんかまわない。また、本被写体発見処理は、必ずしも毎回行う必要は無い。ステップＳ４０４で使用者の位置と興味方向が、今まで被写体を撮影していた条件から大きく変化したときのみ行うことによって、スキャン駆動撮影の回数を減らすこともできる。スキャン駆動撮影をしない場合には、第１のカメラ１００の映像のみから被写体を検出して追尾撮像すればよい。
【００９７】
[目の開閉度による使用者状態判別]
図３のステップＳ３０５における使用者の状態判別の一例として、目の開閉度合に基づく表情判別方法について、図１０を用いて説明する。
【００９８】
図１０の上段の３つの図は、物体検出処理部１２１で検出された顔の目特徴点付近を切り出した画像を示している。切り出し範囲は、水平方向は目の両端左右開きＶエッジ特徴点の間で、垂直方向は最大限目を開いたときに白目部分が全て含まれるような一定の値である。尚、この処理に先立ち、切り出し元となる画像は、目の両端のＶエッジ間距離で正規化してあるため、水平方向サイズも常に一定である。
【００９９】
図１０（ａ）の上段の図は、ほぼ目を閉じている状態のときの切り出し画像である。このとき、切り出し領域内の輝度ヒストグラムを取ると、図１０（ａ）の下段の図のようになる。ここで横軸は輝度であり、縦軸は画素数である。
【０１００】
同様に、通常状態の目の画像を切り出したものが図１０（ｂ）の上段の図で、その輝度ヒストグラムが図１０（ｂ）の下段の図である。さらに、目を大きく見開いたとき（すなわち注目しているとき）の画像が図１０（ｃ）の上段の図で、その輝度ヒストグラムが図１０（ｃ）の下段の図である。
【０１０１】
輝度ヒストグラムを見て分かるとおり、特に肌色付近の輝度の部分に、目の開閉度合の特徴が現れている。従って、本実施形態では、肌色付近の画素数を２つの閾値で区別することにより、目の開閉具合を「目を瞑っている」、「通常」、「注目」の３段階に判別する処理を行っている。
【０１０２】
尚、画像全体の明るさの変化等に対応するために、これら３つのヒストグラムの形状をテンプレートとして記憶しておき、どれに近いかを判定することによって、開閉度合を判定する処理とすることも可能である。
【０１０３】
また、ここで述べた目の開閉度合のみでなく、他の画像情報を組み合わせて使用者の状態判別を行なってももちろんよい。他の情報の例としては、顔色、特徴点間の距離の変化による表情認識情報などがある。
【０１０４】
これらの判別した使用者状態は、共有メモリを介して被写体撮影プロセス２０２に伝えられる。また、「目を瞑っている」が一定時間以上続いた場合には、眠ってしまったものと判断している。使用者状態が眠っていると伝えられた被写体撮影プロセス２０２は、ステップＳ４０７の処理において被写体記録を一次停止する、あるいは直前まで撮影していた被写体を撮り続けるように撮影条件を変更する。
【０１０５】
[第２の実施形態]
[顔方向検出]
使用者の興味方向の抽出の別の一例として、使用者の顔の向いている方向を推定する手段を用いることも可能である。
【０１０６】
使用者の顔の向いている方向を推定する手段としては、例えば「頑健性と精緻性を備えた顔特徴点追跡による顔方向推定（電子情報通信学会論文誌２００１/８ Vol. J８４-D-II No.８ pp.１７６２-１７７１）」に紹介されている手法を応用することができる。但し、本実施形態では、上記の文献の鼻特徴点の代わりに口特徴点を用いている。
【０１０７】
まず使用者は、予め使用者を撮像する第２のカメラ１０３に正対し、正面顔画像を撮影して、その特徴点位置を登録しておくものとする。これは図３におけるステップＳ３０１の処理の一部に相当する。ここで、右目、左目、口の符号をそれぞれ順に、０, １, ２とし、正面顔画像上でのそれぞれの特徴点の位置をｘ0→，ｘ1→，ｘ2→とする。これを図１１の（ａ）に示す。
【０１０８】
そして、ある時点における撮影者顔画像の各特徴点位置をｘ0'→，ｘ1'→，ｘ2'→とする。これは例えば、図１１の（ｂ）や（ｃ）に示される目および口特徴点の位置である。このとき、動きベクトルνl→を以下の通り定義する。
【０１０９】
νl→＝ｘl→−ｘl'→
並進成分を除くこの式の、点ｘ0→を中心とする動きベクトル場は、アフィン変換行列と相対位置ｘl→−ｘ0→の積によって与えられるとする。この動きベクトルが拡大される量をdivとすれば、divはアフィン変換行列の対角成分の和によって与えられる（R.Cipolla, Active Visual Inference of Serface Shape, Springer, １９９２」）。このdivを用いることにより、基準正面顔（顔特徴点位置ｘ0→，ｘ1→，ｘ2→）の画像に対して、特徴点位置がｘ0'→，ｘ1'→，ｘ2'→である画像の顔部（頭部）の大きさを正規化することができる。もちろんこの正規化は、特徴点付近の顔の存在する領域のみに対して行えばよい。
【０１１０】
ここで、基準正面顔における両目間距離をｄeye、特徴点位置ｘ0'→，ｘ1'→，ｘ2'→のときの顔画像をdivで正規化した両目間距離をｄ'eyeとする（図１１（ａ）および（ｂ）参照）。図１１（ｅ）の左図に示すように、縦軸（背骨方向の軸）方向の顔の回転量（左右回転量）をθとすると、以下のようになる。
【０１１１】
θ＝cos-1（ｄ'eye／ｄeye）
同様に、口特徴点から両目を結ぶ線分へ降ろした垂線の足の長さをそれぞれｄmouth，ｄ'mouthとして（図１１（ａ）および（ｂ）参照）、横軸（左右の耳の穴を結ぶ方向の軸）方向の顔の回転量（上下回転量）をφとすれば（図１１（ｅ）の右図参照）、次式を得ることができる。
【０１１２】
φ＝cos-1（ｄ'mouth／ｄmouth）
また、これに加えて、両目間を結ぶ線分が、例えば、図１１の（ｃ）に示すように、水平方向線分と成す角度γも顔方向を表す一つの角度パラメータである。ここで、基準正面顔の両目間線分は撮影画像の水平方向と一致するように記録している。図１１の（ｃ）のように、γが０でない顔を扱う場合には、先に線分ｄ'eyeと水平方向（または線分ｄeye）とを比較してγの値を求め、（ｂ）の画像となるように回転補正してからθ，φを求めるようにすればよい。
【０１１３】
ところで、θ，φに関して上記で求まるのは、あくまで回転「量」であって、これだけでは左右（または上下）どちらの方向に回転したのかは分からない。これを判別するためには、特徴点が頭部輪郭中のどちらに寄っているかを判定する必要がある。すなわち、まず頭部輪郭の位置を得ることが必要となる。この頭部輪郭抽出処理を、図１２を用いて説明する。
【０１１４】
図１２（ａ）は、頭部輪郭を抽出すべき顔画像の一例である。この顔画像をエッジ抽出処理したものを、図１２の（ｂ）に示している。尚このエッジ抽出処理は、側抑制構造のエッジ抽出フィルタによって処理しても良いし、先に説明した顔検出処理部のニューラルネットワークの低次特徴出力を統合して生成しても良い。
【０１１５】
図１２の（ｂ）に示すように、頭部輪郭は、ほぼ円形に近いものとみなせるので、エッジ抽出フィルタによって得られたエッジ画像を、図１２（ｃ）に示すような、ある程度幅を持たせた円形テンプレートでマッチングする。これにより、その位置を特定することができる。
【０１１６】
通常、この方法で撮影された画像から直接頭部輪郭を抽出しようとすると、サイズの異なる多数のテンプレートを用意して、これら全てに対して計算を行う必要があるため、その計算コストは膨大なものとなり、また誤検出も非常に多くなってしまう。しかし、本実施形態においては、上述したとおり、別の検出手段により顔の位置はほぼ分かっており、その大きさも正規化されているので、一つのテンプレートで画像の一部領域に探索領域を絞って計算することができる。そのため、極めて少ない計算コストでマッチングを取ることが可能である。
【０１１７】
もちろん頭部輪郭抽出はこの方法に限らず、他の方法、例えば「HeadFinder: フレーム間差分をベースにした人物追跡 馬場 功淳，大橋 健，乃万 司，松尾 英明，江島 俊朗 （画像センシングシンポジウム２０００, pp３２９-３３４,２０００）」に見られるようなフレーム間差分を利用する方法を用いても良い。また、肌色や髪の色を利用する方法も考えられる。
【０１１８】
検出された頭部輪郭を簡単のため真円で表したとき、 図１１の（ａ）の基準正面顔に対し、図１１の（ｂ）の特徴点は全体的に右上によっている。顔輪郭の中心位置を原点としてｘ0→，ｘ1→，ｘ2→の位置ベクトルを表すとき、ｘ0'→，ｘ1'→，ｘ2'→を同様の位置ベクトルで表してｘ0→，ｘ1→，ｘ2→からの変化の方向を調べれば、θおよびφの符号を決定できる。
【０１１９】
以上のようにθ，φ，γとその符号が求まれば、これらの値を変換処理して移動方向の抽出時と同様に使用者の興味方向を求めることができる。すなわち、図１１（ｄ）に示すように、第２のカメラ１０３のセンサ平面水平方向をｘ軸、垂直方向をｙ軸、奥行き方向をｚ軸方向とする座標系で、使用者の興味方向を求めることができる。
【０１２０】
もちろん、この顔方向検出処理だけを使用者の興味方向の検出処理として用いても良いが、第１の実施形態で説明した移動方向抽出処理を組み合わせて、双方の情報より興味方向を決定する処理としてもよいのは言うまでもない。
【０１２１】
このようにして決定した興味方向を第１の実施形態と同様、被写体の存在する方向と見なし、図９で説明したのと同様のスキャン駆動撮影を行う。以後の処理は第１の実施形態と同様である。
【０１２２】
[第３の実施の形態]
[視線方向の検出]
使用者の興味方向の抽出のまた別の一例として、使用者の眼球部の画像を処理して、視線の方向を推定する手段を用いることも可能である。尚、上述したとおり顔検出処理において目特徴点の位置は判明しているので、この情報に基づき、眼球部をズーム撮影してより詳細な眼部の画像情報を得るようにしてももちろん良い。
【０１２３】
図１３は、本実施形態における視線検出処理を説明する図である。この視線方向の検出方法は、目特徴の両端の左右開きＶエッジ間における瞳孔の位置に基づく。瞳孔の詳細な位置検出には、顔検出で用いたのと同様の階層的な特徴抽出アルゴリズムを用いている。
【０１２４】
ステップＳ３０１の処理の一部として、基準正面注視眼画像における左右Ｖエッジ間における瞳孔の位置を予め登録しておく。このときの眼部の画像の一例としては、図１３の（ａ）の下段に示したものとなる。また、ユーザＩ／Ｆのディスプレイ部を用いるなどして、正面より予め定めてある所定角度αの方向を向いた眼部画像における瞳孔の位置も登録しておく。このときの眼部の画像の一例としては、図１３の（ｂ）の下段に示したものとなる。
【０１２５】
また、眼球は図１３の上段に示すように、半径ｒの球形としてモデル化する。
【０１２６】
視線方向が所定角度αの方向を向いたときの瞳孔位置の、基準正面注視位置からの水平方向のずれ量をｘαとすると、
ｒ＝ｘα／sinα
となる。そのため、ある時点 における瞳孔位置の基準正面注視位置からの水平方向のずれ量をｘtとすれば、このときの視線方向αtは、次のように求めることができる。
【０１２７】
αt＝sin-1（ｘt／ｒ）＝sin-1｛ｘt／（ｘα／sinα）｝
垂直方向の視線角度に関しても同様に求めることができる。第２の実施形態で説明した顔方向検出処理に、ここで求めた視線角度を加えることにより、より正確に、使用者の見ている方向を推測することが可能となる。
【０１２８】
また、図１４に示すとおり、両眼それぞれの視線方向を求め、その交差する地点を割り出すことにより、被写体までの距離Ｚを推測することも可能である。左右の目のそれぞれの視線方向をαr，αl、両眼距離をｄeyeとすれば、距離Ｚは、
Ｚ＝ｄeye／（tanαr＋tanαl）
として求めることができる。
【０１２９】
尚、眼球の動きは顔の向きの変化に比べると激しいので、ある程度の時間間隔で、平均化した視線方向を用いるようにする。
【０１３０】
また、第２の実施形態と同様、このようにして検出した情報を、顔方向や移動方向等の他の興味方向および距離の検出手段と組み合わせても良いことは自明である。
【０１３１】
このようにして決定した興味方向を第１および第２の実施形態と同様、被写体の存在する方向と見なし、図９で説明したのと同様のスキャン駆動撮影を行う。以後の処理は第１の実施形態と同様である。
【０１３２】
[第４の実施形態]
図１５は、第４の実施形態に係わる撮像装置のハードウェア構成を示すブロック図である。本実施形態では、被写体撮影用の第１のカメラおよび使用者撮影用の第２のカメラを、第１の実施の形態のようにそれぞれ１台のみとするのではなく、どちらか一方あるいは両方を複数台にて構成する。
【０１３３】
図１５の５１０〜５２２は、第１の実施形態を示す図１の１１０〜１２２の百の桁を除いて対応する部位と同様の処理部あるいは装置であるため、詳細な説明は省略する。但し、図１の１１８および１２０に相当する駆動制御部は、図１５上では記載していない。もし各カメラをそれぞれ１つの雲台に搭載したとすると、駆動制御部は雲台毎に１つずつ必要となる。これらは、被写体画像撮影制御部５１７もしくは使用者追尾撮影制御部内５１９に搭載されることになる。しかしながら、各カメラを雲台には取り付けずに撮像光軸方向固定の構成とすることも可能である。
【０１３４】
図１５において、５００，５０１，５０２は、被写体を撮影するための３台の第１のカメラを示している。それぞれのカメラの撮影光軸方向は異なって設置されており、被写体が存在すると想定される範囲を全て撮影可能に配置されている。
【０１３５】
また、５０４，５０５，５０６は、使用者を追尾撮影するための３台の第２のカメラを示している。この図の例では、使用者が移動すると想定される範囲の周りを取り囲むように配置している。
【０１３６】
もちろん、これらの複数の第１のカメラおよび第２のカメラを、空間的に離れた位置に配置した撮像システムとしてもかまわない。
【０１３７】
図１５の撮像装置のプログラムの処理フローは図２で説明した第１の実施形態の処理フローと同様である。
【０１３８】
複数の使用者撮像用の第２のカメラ５０４〜５０６を、使用者の行動範囲の周りを取り囲むように配置すれば、常に使用者のほぼ正面の顔画像を撮り続けるようにすることができる。従って、第１の実施形態で説明したように、物体検出処理部に人物の正面顔検出処理のみを用いていたとしても、すべてのカメラ映像に対して検出処理を行うことにより、使用者を見失う可能性は低くなる。
【０１３９】
このように図３におけるステップＳ３０７の追尾処理相当の処理を、最適に配置された複数のカメラで行うことにより、パン・チルト駆動機構を省略することも可能となる。さらに、上述した顔方向検出処理を行い、カメラの撮影方向情報と合わせて、使用者の興味方向や距離を判別することももちろん可能である。もちろん、一部のカメラにあえてパン・チルト駆動機構を備える構成にしてもよいし、ズーム機構を備えて、前述したのと同様、眼部の拡大撮影を行って視線方向や開閉度合の判別をし易くしてもよい。
【０１４０】
また、撮影方向の異なる被写体撮影用の第１のカメラを複数台設置した場合、使用者の意図する方向より特定される被写体を、最も望ましい構図で撮影することのできるカメラが選択されることになる。このとき図４のステップＳ４０５の被写体発見処理に相当する処理は、複数の第１のカメラの内、まず使用者の存在する地点に最も近い位置を撮影可能な１台を選択して撮影を開始する。そして、そこに被写体が存在しなければ、使用者の興味方向の次に近い位置を撮影可能なカメラで撮影する、というように、順次撮影者から遠ざかる位置を撮影可能なカメラを選択してゆく処理を行う。従って、個々のカメラにパン・チルト駆動機構が無くとも、あるいはパン・チルト駆動機構はあってもその駆動範囲が限られていたとしても、複数台を最適に配置することにより、第１の実施形態と同様の処理を行うことが可能となる。そして、使用者の所望する被写体画像を得ることができる。
【０１４１】
第１の実施形態をとるか第４の実施形態とするかは、撮像装置あるいはシステムが対象とする被写体や使用者の動き回る範囲やコスト等の要因に基づき、より適した方を選べば良いのは明らかである。
【０１４２】
以上述べてきたように、上記の実施形態によれば、撮影の操作担当者（使用者）は、必要な初期設定を行うのみで、以後はほとんど撮影を意識することなく過ごしているだけで、所望の画像・映像を撮影し記録してゆくことが可能になる。これにより、使用者の自由度は飛躍的に向上する。また、例えば、特定の客や見学者を使用者と見なすことにより、その人物そのものの映像ではなく、興味を示した物体等を記録することができるため、店舗や展示会等での調査目的に応用することができる。
【０１４３】
もちろん本発明は上述した実施形態の構成のみに限ったものではなく、例えば第１のカメラや第２のカメラのどちらか一方あるいは両方を、１台のカメラであるが全方位カメラを用いるようにしても良い。また、第１のカメラと第２のカメラを兼用とする構成にして、複数台のカメラを状況に応じて使用者撮影用と被写体撮影用に切り替えて使用する構成としてもよいことは言うまでもない。
【０１４４】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１４５】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１４６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１４７】
【図１】本発明の第１の実施形態に係わる撮像装置のハードウェア構成を示すブロック図である。
【図２】本発明の第１の実施形態に係わる撮像装置のＣＰＵで動作させる制御プログラムの基本的な処理プロセス構成を示すブロック図である。
【図３】本発明の第１の実施形態に係わる撮像装置における制御プログラムの使用者追尾プロセスの処理の流れを説明するフローチャートである。
【図４】本発明の第１の実施形態に係わる撮像装置における制御プログラムの被写体撮影プロセスの処理の流れを説明するフローチャートである。
【図５】本発明の第１の実施形態に係わる撮像処理において、物体検出処理の一例として行う顔検出処理で検出される顔画像の一例を示す図である。
【図６】本発明の第１の実施形態に係わる撮像処理において、物体検出処理の一例として行う顔検出処理で用いている低次から高次の特徴を示す図である。
【図７】本発明の第１の実施形態に係わる撮像処理において、物体検出処理として行う顔検出処理を実行するConvolutional Neural Network構造を示す図である。
【図８】物体検出処理結果に基づくパン・チルト駆動を行う駆動量の算出方法を説明し、かつ使用者の移動方向の推定方法を説明するための図である。
【図９】被写体の探索動作の一例を説明する図である。
【図１０】本発明の第１の実施形態に係わる撮像処理において、使用者の状態判別のための一手法として導入している、眼球部の開閉度を判定する判定方法の一例を説明する図である。
【図１１】検出された顔特徴点より、顔の向いている方向を推定する推定方法の一例を説明する図である。
【図１２】顔輪郭の位置の抽出方法の一例を説明する図である。
【図１３】顔の眼部の画像に基づき、視線方向を推定する推定方法の一例を説明する図である。
【図１４】検出した両眼の視線方向より、対象とする被写体の存在する位置を推定する推定方法を説明する図である。
【図１５】本発明の第４の実施形態に係わる撮像装置のハードウェア構成を示すブロック図である。
【図１】
2007074033.tif 000006
【図２】
2007074033.tif 000007
【図３】
2007074033.tif 000008
【図４】
2007074033.tif 000009
【図５】
2007074033.tif 000010
【図６】
2007074033.tif 000011
【図７】
2007074033.tif 000012
【図８】
2007074033.tif 000013
【図９】
2007074033.tif 000014
【図１０】
2007074033.tif 000015
【図１１】
2007074033.tif 000016
【図１２】
2007074033.tif 000017
【図１３】
2007074033.tif 000018
【図１４】
2007074033.tif 000019
【図１５】
2007074033.tif 000020