【手続補正書】
【提出日】平成20年4月4日(2008.4.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】主被写体推定装置、撮像装置、主被写体推定方法、及び撮像装置の制御方法
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  視覚情報を画像情報として処理し所定の主被写体候補に関する検出結果を出力する画像情報処理手段と、
視覚情報以外の感覚情報である二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、
前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力を統合して、主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする主被写体推定装置。
【請求項２】  画像情報を入力する第一のセンサと、
視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサと、
前記第一のセンサから入力された画像情報を処理して所定の主被写体候補に関する検出結果を出力する画像情報処理手段と、
前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、
前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする主被写体推定装置。
【請求項３】  前記主被写体推定手段は、
前記画像情報処理手段及び前記二次感覚情報処理手段のそれぞれの出力値の信頼度と基準値との大小比較を行う比較手段を有し、
前記信頼度の一方が前記基準値よりも小さい場合には、前記画像情報処理手段及び前記二次感覚情報処理手段のうち信頼度が大きい方の出力に基づいて、前記主被写体の方向又は位置を推定することを特徴とする請求項１又は請求項２に記載の主被写体推定装置。
【請求項４】  前記主被写体推定手段は、
前記比較手段により前記信頼度の両方が前記基準値よりも小さい場合には、前記画像情報の特徴量の変化を抽出し、その変化の顕著度に基づいて前記主被写体の方向又は位置を推定することを特徴とする請求項３に記載の主被写体推定装置。 
【請求項５】  前記特徴量は、色情報、動きベクトル又は幾何学的特徴であることを特徴とする請求項４に記載の主被写体推定装置。
【請求項６】  前記主被写体推定手段は、
前記比較手段により前記各信頼度の両方が前記基準値よりも大きい場合には、前記主被写体のカテゴリ及び方向に関する整合性を判定する判定手段を有し、
前記主被写体のカテゴリ及び方向に関する整合性に矛盾がない場合には、前記各信頼度に基づいて前記主被写体の方向又は位置を推定し、整合性に矛盾がある場合には、前記画像情報処理手段による認識処理結果と前記二次感覚情報処理手段による認識処理結果とに基づいて、前記主被写体の方向又は位置を推定することを特徴とする請求項３乃至請求項５のいずれか１項に記載の主被写体推定装置。
【請求項７】  前記主被写体推定手段は、前記画像情報処理手段からの出力と前記二次感覚情報処理手段の出力と外部からの指示を入力する指示入力手段の出力とに基づいて、前記主被写体の方向、位置又はサイズを推定することを特徴とする請求項１乃至請求項６のいずれか１項に記載の主被写体推定装置。
【請求項８】  前記主被写体推定手段は、前記指示入力手段からの主被写体位置情報に基づき、前記主被写体の位置又は方向を更新することを特徴とする請求項７に記載の主被写体推定装置。
【請求項９】  視覚情報である画像信号を処理して所定の主被写体のカテゴリ及び該主被写体の方向又は位置を求める視覚情報処理手段と、
前記視覚情報以外の感覚情報である二次感覚情報の音声信号を処理して前記主被写体のカテゴリ及び前記主被写体の方向又は位置を求める二次感覚情報処理手段と、
前記２つの処理手段の各出力を統合して前記主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする主被写体推定装置。
【請求項１０】  前記主被写体推定手段は、前記視覚情報処理手段と前記二次感覚情報処理手段の出力値のそれぞれの信頼度に基づいて該二つの処理手段の出力を統合して、主被写体の方向又は位置を推定したことを特徴とする請求項９に記載の主被写体推定装置。
【請求項１１】  前記視覚情報処理手段は、前記視覚情報を処理して所定の特徴量分布を抽出し、該特徴量分布に基づいて前記主被写体の位置を求めることを特徴とする請求項９又は請求項１０に記載の主被写体推定装置。
【請求項１２】  前記特徴量は、色情報、動きベクトル又は幾何学的特徴であることを特徴とする請求項１１に記載の主被写体推定装置。
【請求項１３】  前記主被写体推定手段は、前記視覚情報処理手段と前記二次感覚情報処理手段のいずれか一方において前記主被写体が存在しないと判定された場合には、当該他方の処理手段の出力に基づいて前記主被写体の方向又は位置を推定することを特徴とする請求項９乃至１２のいずれか１項に記載の主被写体推定装置。
【請求項１４】  前記視覚情報処理手段は、検出されるべき少なくとも１つの被写体の視覚データを記憶する記憶手段を有し、該視覚データを参照して前記視覚情報において前記主被写体候補の位置及びカテゴリ情報を求める構成にし、前記二次感覚情報処理手段は、検出されるべき少なくとも１つの被写体の音声データを記憶する記憶手段を有し、該音声データを参照して前記音声信号から前記主被写体候補の存在方向及びカテゴリ情報を求める構成にし、
前記主被写体推定手段は、前記二次感覚情報処理手段においてカテゴリが同定された前記主被写体の音声情報が、前記視覚情報処理手段よって求められた主被写体候補に関する音声情報と異なる場合に、前記二次感覚情報処理手段において求められた主被写体候補の存在する方向が前記主被写体の方向と推定することを特徴とする請求項９又は１０に記載の主被写体推定装置。
【請求項１５】  前記主被写体推定手段は、前記視覚情報処理手段からの出力と前記二次感覚情報処理手段からの出力と外部からの指示を入力する指示入力手段の出力とに基づいて、前記主被写体の方向、位置又はサイズを推定することを特徴とする請求項９又は１０に記載の主被写体推定装置。
【請求項１６】  前記主被写体推定手段は、前記指示入力手段からの主被写体位置情報に基づき、前記主被写体の位置又は方向を更新することを特徴とする請求項１５に記載の主被写体推定装置。
【請求項１７】  結像光学系からの視覚情報を入力する第一のセンサと、
視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサと、
前記第一のセンサから入力された視覚情報を処理して所定の主被写体候補に関する検出結果を出力する視覚情報処理手段と、
前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、
前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定手段と、前記主被写体推定手段で推定された主被写体の撮像に適するように撮像条件を設定する撮像条件制御手段とを備えたことを特徴とする撮像装置。
【請求項１８】  視覚情報を画像情報として処理し所定の主被写体候補に関する検出結果を出力する画像情報処理工程と、
視覚情報以外の感覚情報である二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理工程と、
前記２つの処理工程のそれぞれの出力値の信頼度に基づいて該二つの処理工程の出力を統合して、主被写体の方向又は位置を推定する主被写体推定工程とを実行することを特徴とする主被写体推定方法。
【請求項１９】  結像光学系からの視覚情報を入力する第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサとを有する撮像装置の制御方法であって、
前記第一のセンサから入力された視覚情報を処理して所定の主被写体候補に関する検出結果を出力する視覚情報処理工程と、
前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理工程と、
前記２つの処理工程のそれぞれの出力値の信頼度に基づいて該二つの処理工程の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定工程と、
前記主被写体推定工程で推定された主被写体の撮像に適するように撮像条件を設定する撮像条件制御工程とを実行することを特徴とする撮像装置の制御方法。 
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、画像信号（視覚情報）と音声などの二次感覚情報に基づき、被写体の注視又は追尾を自動的に行う主被写体推定装置、撮像装置、主被写体推定方法、及び撮像装置の制御方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明は上記従来の問題点に鑑み、（１）主被写体の位置又は方向に関する信頼度の高い推定を行い、注視（追尾）すべき主被写体を見失うことなく適正に検出し続けることができ、（２）主被写体に最適な撮像条件の設定を行いながら、追尾又は注視の安定制御を行うことができ、（３）不必要な光軸制御を行うのを防ぎ、入力画像の安定性を確保することができる主被写体推定装置、撮像装置、主被写体推定方法、及び撮像装置の制御方法を提供することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明の主被写体推定装置は、視覚情報を画像情報として処理し所定の主被写体候補に関する検出結果を出力する画像情報処理手段と、視覚情報以外の感覚情報である二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力を統合して、主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする。
本発明の主被写体推定装置は、画像情報を入力する第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサと、前記第一のセンサから入力された画像情報を処理して所定の主被写体候補に関する検出結果を出力する画像情報処理手段と、前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする。
本発明の主被写体推定装置は、視覚情報である画像信号を処理して所定の主被写体のカテゴリ及び該主被写体の方向又は位置を求める視覚情報処理手段と、前記視覚情報以外の感覚情報である二次感覚情報の音声信号を処理して前記主被写体のカテゴリ及び前記主被写体の方向又は位置を求める二次感覚情報処理手段と、前記２つの処理手段の各出力を統合して前記主被写体の方向又は位置を推定する主被写体推定手段とを備えたことを特徴とする。
本発明の撮像装置は、結像光学系からの視覚情報を入力する第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサと、前記第一のセンサから入力された視覚情報を処理して所定の主被写体候補に関する検出結果を出力する視覚情報処理手段と、前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づいて該二つの処理手段の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定手段と、前記主被写体推定手段で推定された主被写体の撮像に適するように撮像条件を設定する撮像条件制御手段とを備えたことを特徴とする。
本発明の主被写体推定方法は、視覚情報を画像情報として処理し所定の主被写体候補に関する検出結果を出力する画像情報処理工程と、視覚情報以外の感覚情報である二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理工程と、
前記２つの処理工程のそれぞれの出力値の信頼度に基づいて該二つの処理工程の出力を統合して、主被写体の方向又は位置を推定する主被写体推定工程とを実行することを特徴とする。
本発明の撮像装置の制御方法は、結像光学系からの視覚情報を入力する第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する少なくとも１種類以上の二次センサとを有する撮像装置の制御方法であって、前記第一のセンサから入力された視覚情報を処理して所定の主被写体候補に関する検出結果を出力する視覚情報処理工程と、前記二次センサから入力された二次感覚情報を処理して前記主被写体候補に関する検出結果を出力する二次感覚情報処理工程と、前記２つの処理工程のそれぞれの出力値の信頼度に基づいて該二つの処理工程の出力の統合をして、主被写体の方向又は位置を推定する主被写体推定工程と、前記主被写体推定工程で推定された主被写体の撮像に適するように撮像条件を設定する撮像条件制御工程とを実行することを特徴とする。 
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】