(57)【要約】【課題】  特別な操作を行わずとも、ユーザの意図したタイミングで意図した構図の画像を撮像する。【解決手段】  前記撮像部が設けられ、前記撮像部を少なくともパン動作の方向に回動可能な可動撮像部と、前記可動撮像部に設けられ、前記パン動作の方向を表す仮想平面上に配置された複数のマイクと、前記複数のマイクを用いて音源の方向を検出する音方向検出を行う音方向検出手段と、前記可動撮像部を第１の方向に向けた状態で、前記音方向検出手段により検出された音方向と、前記可動撮像部を前記第１の方向からパン動作の方向に回転させて第２の方向に向けた状態で、前記音方向検出手段により検出された音方向とに基づいて、音源の方向を特定する処理を行うように制御する制御手段と、を備える撮像装置。【選択図】  図２
2019212965.tif 000002
【特許請求の範囲】
【請求項１】
撮像部が設けられ、前記撮像部を少なくともパン動作の方向に回動可能な可動撮像部と、
前記可動撮像部に設けられ、前記パン動作の方向を表す仮想平面上に配置された複数のマイクと、
前記複数のマイクを用いて音源の方向を検出する音方向検出を行う音方向検出手段と、
前記可動撮像部を第１の方向に向けた状態で、前記音方向検出手段により検出された音方向と、前記可動撮像部を前記第１の方向からパン動作の方向に回転させて第２の方向に向けた状態で、前記音方向検出手段により検出された音方向とに基づいて、音源の方向を特定する処理を行うように制御する制御手段と、を備える撮像装置。
【請求項２】
前記制御手段は、前記可動撮像部を前記第１の方向に向けた状態で、前記音方向検出手段により検出された第１音方向及び第２音方向、前記可動撮像部を前記第２の方向に向けた状態で、前記音方向検出手段により検出された第３音方向及び第４音方向に基づいて、共通する音方向を音源の方向として特定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記可動撮像部を前記第１の方向に向けた状態で、前記音方向検出手段により検出された第１音方向又は第２音方向と基準方向との差と、前記可動撮像部を前記第２の方向に向けた状態で、前記音方向検出手段により検出された第３音方向又は第４音方向と前記基準方向との差との大小関係に基づいて、音源の方向を特定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第２の方向は、前記第１の方向から、０度より大きく９０度以下である予め定められた回転角度だけ、前記可動撮像部をパン動作の方向に回転させた方向であることを特徴とする請求項１から３までのいずれか１項に記載の撮像装置。
【請求項５】
前記可動撮像部は、
前記撮像部が設けられ、チルト動作の方向に回動可能な第１の筐体部と、
前記第１の筐体部が設けられ、パン動作の方向に回動可能な第２の筐体部と、を含み、
前記複数のマイクは、前記第１の筐体部に設けられることを特徴とする請求項１から４までのいずれか１項に記載の撮像装置。
【請求項６】
前記複数のマイクのうちの２つは、前記撮像部の撮像方向を挟む位置に維持され、動画撮影におけるステレオマイクとして機能することを特徴とする請求項１から５までのいずれか１項に記載の撮像装置。
【請求項７】
前記制御手段は、前記撮像部の撮像方向が前記音源の方向となるまで前記可動撮像部のパン動作を行い、当該パン動作を行った後に前記可動撮像部のチルト動作を開始して、被写体を前記撮像部の画角内に位置させることを特徴とする請求項１から６までのいずれか１項に記載の撮像装置。
【請求項８】
前記複数のマイクのうちの１つから入力した音声データに基づき、音声データが表す音声コマンドを認識する認識手段をさらに備え、
前記制御手段は、前記認識手段により音声コマンドが認識された場合、認識した音声コマンドに基づく処理を実行することを特徴とする請求項１から７までのいずれか１項に記載の撮像装置。
【請求項９】
前記音声コマンドには、静止画の撮影及び記録を要求するコマンド、音声付の動画像の撮影及び記録を要求するコマンド、前記撮像部の撮像方向をユーザの動きに追尾することを要求するコマンドが含まれることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記複数のマイクのうちの１つに接続され、予め設定された閾値を超える音圧レベルを表す音声データを検出する音圧レベル検出手段をさらに備え、
前記制御手段は、
前記撮像装置の起動時では、前記複数のマイクのうち、前記音圧レベル検出部に接続されたマイクのみを利用して、前記閾値を超える音圧レベルの音声データの検出を待ち、
前記閾値を超える音圧レベルの音声データの検出をトリガにして、前記認識手段を起動して音声認識を開始し、かつ、前記音方向検出手段への電力供給を開始することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
撮像部が設けられ、前記撮像部を少なくともパン動作の方向に回動可能な可動撮像部と、前記可動撮像部に設けられ、前記パン動作の方向を表す仮想平面上に配置された複数のマイクと、を備える撮像装置の制御方法であって、
前記複数のマイクを用いて音源の方向を検出する音方向検出を行う音方向検出工程と、
前記可動撮像部を第１の方向に向けた状態で、前記音方向検出工程で検出された音方向と、前記可動撮像部を前記第１の方向からパン動作の方向に回転させて第２の方向に向けた状態で、前記音方向検出工程で検出された音方向とに基づいて、音源の方向を特定する処理を行うように制御する制御工程と、を有する撮像装置の制御方法。
【請求項１２】
前記撮像部が設けられ、前記撮像部を少なくともパン動作の方向に回動可能な可動撮像部と、前記可動撮像部に設けられ、前記パン動作の方向を表す仮想平面上に配置された複数のマイクと、を備える撮像装置のプロセッサが読み込み実行するプログラムであって、前記プロセッサに、請求項１１に記載の方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法及びプログラムに関するものである。
【背景技術】
【０００２】
カメラ等の撮像装置による静止画・動画撮影においては、ユーザがファインダー等を通して撮影対象を決定し、撮影状況を自ら確認して撮影画像のフレーミングを調整することによって、画像を撮影するのが通常である。このような撮像装置では、ユーザの操作ミスを検知してユーザに通知したり、外部環境の検知を行い、撮影に適していない場合にユーザに通知したりする機能が備えられている。また、撮影に適した状態になるようにカメラを制御する仕組みが従来から存在している。
【０００３】
このようなユーザの操作により撮影を実行する撮像装置に対し、ユーザが撮影指示を与えることなく定期的および継続的に撮影を行うライフログカメラが存在する（特許文献１）。ライフログカメラは、ストラップ等でユーザの身体に装着された状態で用いられ、ユーザが日常生活で目にする光景を一定時間間隔で映像として記録するものである。ライフログカメラによる撮影は、ユーザがシャッタを切るなどの意図したタイミングで撮影するのではなく、一定の時間間隔で撮影を行うため、普段撮影しないような不意な瞬間を映像として残すことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２０１６−５３６８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザの身に着けるタイプの、これまでのライフログカメラでは、定期的に自動撮影を行うものであるので、得られる画像は意図とは無関係なものとなる可能性が高い。マイク等の音声入力部を用いて音源の方向を検知する場合、音声入力部の数が多ければ音源の方向検知を高精度に行うことができるが、部品コストが増加する。また、装置の構造やデザイン的な制約により、多数の音声入力部を設けるのは難しい場合もある。
【０００６】
本発明は上記問題に鑑みなされたものであり、特別な操作を行わずとも、ユーザの意図したタイミングで意図した構図の画像を撮像する技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
撮像部が設けられ、前記撮像部を少なくともパン動作の方向に回動可能な可動撮像部と、
前記可動撮像部に設けられ、前記パン動作の方向を表す仮想平面上に配置された複数のマイクと、
前記複数のマイクを用いて音源の方向を検出する音方向検出を行う音方向検出手段と、
前記可動撮像部を第１の方向に向けた状態で、前記音方向検出手段により検出された音方向と、前記可動撮像部を前記第１の方向からパン動作の方向に回転させて第２の方向に向けた状態で、前記音方向検出手段により検出された音方向とに基づいて、音源の方向を特定する処理を行うように制御する制御手段と、を備える。
【発明の効果】
【０００８】
本発明によれば、特別な操作を行わずとも、ユーザの意図したタイミングで意図した構図の画像を撮像することが可能になる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る撮像装置のブロック図。
【図２】実施形態に係る音声入力部と音声信号処理部の詳細ブロック図。
【図３】実施形態に係る撮像装置の外観図と使用例を示す図。
【図４】実施形態に係る撮像装置のパン動作とチルト動作を示す図。
【図５】実施形態における中央制御部の処理手順を示すフローチャート。
【図６】図５における音声コマンド処理の詳細を示すフローチャート。
【図７】実施形態における音声コマンドの意味と音声コマンドとの関係を示す図。
【図８】実施形態における起動時から動作撮影開始コマンドに至るまでのタイミングチャート。
【図９】実施形態に係る音方向検出処理を説明するための図。
【図１０】実施形態に係る音方向特定処理を説明するための図。
【図１１】実施形態における中央制御部の処理手順を示す他のフローチャート。
【発明を実施するための形態】
【００１０】
以下図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１のブロック構成図である。撮像装置１は、光学レンズユニットを含み、撮像する撮像方向が可変の可動撮像部１００、及び、可動撮像部１００の駆動制御および、撮像装置全体を制御する中央制御部（ＣＰＵ）を含む支持部２００で構成される。
【００１２】
なお、支持部２００は、圧電素子を含む複数の振動体１１〜１３が可動撮像部１００の面に対し接触するように設けられている。これらの振動体１１〜１３の振動の制御により、可動撮像部１００がパン、チルト動作を行うことになる。なお、パン、チルト動作はサーボモータ等で実現しても構わない。
【００１３】
可動撮像部１００は、レンズ部１０１、撮像部１０２、レンズアクチュエータ制御部１０３、及び、音声入力部１０４を有する。
【００１４】
レンズ部１０１は、ズームレンズ、絞り・シャッタ、および、フォーカレンズなどの撮影光学系で構成される。撮像部１０２は、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子を含み、レンズ部１０１により結像された光学像を光電変換して電気信号を出力する。レンズアクチュエータ制御部１０３は、モータドライバＩＣを含み、レンズ部１０１のズームレンズ、絞り・シャッタ、および、フォーカスレンズ等の各種アクチュエータを駆動する。各種アクチュエータは、後述する支持部２００内の中央制御部２０１より受信した、アクチュエータ駆動指示データに基づいて駆動される。音声入力部１０４はマイクロフォン（以降マイク）を含む音声入力部であり複数のマイク（実施形態では２つ）で構成されており、音声信号を電気信号にさらにデジタル信号（音声データ）に変換して出力する。
【００１５】
一方、支持部２００は、撮像装置１の全体の制御を行うための中央制御部２０１を有する。この中央制御部２０１は、ＣＰＵと、ＣＰＵが実行するプログラムを格納したＲＯＭ、及び、ＣＰＵのワークエリアとして使用されるＲＡＭで構成される。また、支持部２００は、撮像信号処理部２０２、映像信号処理部２０３、音声信号処理部２０４、操作部２０５、記憶部２０６、表示部２０７を有する。更に、支持部２００は、入出力端子部２０８、音声再生部２０９、電源部２１０、電源制御部２１１、位置検出部２１２、回動制御部２１３、無線通信部２１４、並びに、先に説明した振動体１１〜１３を有する。
【００１６】
撮像信号処理部２０２は、可動撮像部１００の撮像部１０２から出力された電気信号を映像信号へ変換する。映像信号処理部２０３は、撮像信号処理部２０２から出力された映像信号を用途に応じて加工する。映像信号の加工は画像切り出し、及び、回転加工による電子防振動作や、被写体（顔）を検出する被写体検出処理も含まれる。
【００１７】
音声信号処理部２０４は、音声入力部１０４からのデジタル信号に対して音声処理を行う。音声入力部１０４が電気アナログ出力であれば、音声信号処理部２０４において、電気アナログ信号からデジタル信号に変換する構成が含まれても構わない。なお、音声入力部１０４を含めた音声信号処理部２０４の詳細については図２を用いて後述する。
【００１８】
操作部２０５は、撮像装置１とユーザとの間のユーザインターフェースとして機能するものであり、各種スイッチ、ボタン等で構成される。記憶部２０６は、撮影により得られた映像情報などの種々のデータを記憶する。表示部２０７は、ＬＣＤなどのディスプレイを備え、映像信号処理部２０３から出力された信号に基づいて、必要に応じて画像表示を行う。また、この表示部２０７は、各種メニュー等を表示することで、ユーザインターフェースの一部として機能する。外部入出力端子部２０８は、外部装置との間で通信信号および映像信号を入出力する。音声再生部２０９はスピーカーを含み、音声データを電気信号に変換し、音声を再生する。電源部２１０は、撮像装置の全体（各要素）の駆動に必要な電力供給源であり、実施形態では充電可能なバッテリであるものとする。
【００１９】
電源制御部２１１は、撮像装置１の状態に応じて、上記の各構成要素への電源部２１０からの電力の供給／遮断を制御するものである。撮像装置１の状態によっては、不使用の要素が存在する。電源制御部２１１は、中央制御部２０１の制御下で、撮像装置１の状態によって不使用な要素への電力を遮断して、電力消費量を抑制する機能を果たす。なお、電力供給／遮断については、後述する説明から明らかにする。
【００２０】
位置検出部２１２はジャイロ、加速度センサ、ＧＰＳといった撮像装置１の動きを検出する。この位置検出部２１２は、撮像装置１がユーザに身に着ける場合にも対処するためである。回動制御部２１３は、中央制御部２０１からの指示に従って振動体１１〜１３を駆動する信号を生成し、出力する。振動体１１〜１３は圧電素子で構成され、回動制御部２１３から印加される駆動信号に応じて振動する。振動体１１〜１３は、回動駆動部（パン・チルト駆動部）を構成する。この結果、可動撮像部１００は、中央制御部２０１が指示した方向に、パン動作、チルト動作することになる。
【００２１】
無線通信部２１４はＷｉｆｉやＢＬＥなどの無線規格に準拠して画僧データ等のデータ送信を行う。
【００２２】
次に、実施形態における音声入力部１０４および音声信号処理部２０４の構成と、音方向検出処理を図２を参照して説明する。同図は、音声入力部１０４および音声信号処理部２０４の構成と、音声信号処理部２０４、中央制御部２０１及び電源制御部２１１の接続関係を示している。
【００２３】
音声入力部１０４は、２つの無指向性のマイク（マイク１０４ａ、マイク１０４ｂ）で構成される。各マイクはＡ／Ｄコンバータを内蔵している。そして、予め設定されたサンプリングレート（コマンド検出・方向検出処理：１６ｋＨｚ、動画録音：４８ｋＨｚ）で音声をサンプリングし、内蔵のＡ／Ｄコンバータによりサンプリングした音声信号をデジタルの音声データとして出力する。なお、実施形態では音声入力部１０４は２つのデジタルマイクで構成されるものとしているが、アナログ出力のマイクで構成されても構わない。アナログマイクの場合、音声信号処理部２０４内に、対応するＡ／Ｄコンバータが設ければ良い。また、実施形態におけるマイクの数は２つとするが、２つ以上であれば良い。
【００２４】
マイク１０４ａは、撮像装置１の電源がＯＮの場合には無条件に電力が供給され、集音可能状態となる。一方、他のマイク１０４ｂは、中央制御部２０１の制御下での電源制御部２１１による電力供給／遮断の対象となっており、撮像装置１の電源がＯＮとなった初期状態では、電力は遮断されている。
【００２５】
音声信号処理部２０４は、音圧レベル検出部２０４１、音声用メモリ２０４２、音声コマンド認識部２０４３、音方向検出部２０４４、動画用音声処理部２０４５、及び、コマンドメモリ２０４６で構成される。
【００２６】
音圧レベル検出部２０４１は、マイク１０４ａからの音声データが表す出力レベルが予め設定された閾値以上となったとき、音声検出を表す信号を電源制御部２１１及び音声用メモリ２０４２に供給する。
【００２７】
電源制御部２１１は、音圧レベル検出部２０４１から音声検出を表す信号を受信した場合、音声コマンド認識部２０４３への電力供給を行う。
【００２８】
音声用メモリ２０４２は、中央制御部２０１の制御下での電源制御部２１１による電力供給／遮断の対象の１つである。また、この音声用メモリ２０４２は、マイク１０４ａからの音声データを一時的に記憶するバッファメモリである。この音声用メモリ２０４２は、少なくとも、最長の音声コマンドを比較的ゆっくり発声した場合の全サンプリングデータを記憶可能な容量を有する。マイク１０４ａによるサンプリングレートが１６ＫＨｚであり、１サンプリングにつき２バイト（１６ビット）の音声データを出力する。最長の音声コマンドが仮に５秒であった場合、音声用メモリ２０４２は、約１６０Ｋバイト（≒５×１６×１０００×２）の容量を有する。また、音声用メモリ２０４２は、マイク１０４ａからの音声データで満たされた場合、古い音声データが新たな音声データで上書きされる。この結果、音声用メモリ２０４２は、直近の所定期間（上記例では約５秒）の音声データが保持されることになる。また、音声用メモリ２０４２は、音圧レベル検出部２０４１から音声検出を示す信号を受信したことをトリガにして、マイク１０４ａからの音声データをサンプリングデータ領域に格納していく。
【００２９】
コマンドメモリ２０４６は不揮発性のメモリで構成され、本撮像装置が認識する音声コマンドに係る情報を予め記憶（登録）されている。詳細は後述するが、コマンドメモリ２０４６に格納される音声コマンドの種類は例えば図７に示す通りであり、「起動コマンド」をはじめとして、複数種類のコマンドの情報が格納されている。
【００３０】
音声コマンド認識部２０４３は、中央制御部２０１の制御下での電源制御部２１１による電力供給／遮断の対象の１つである。なお、音声認識そのものは周知であるので、ここでの説明は省略する。この音声コマンド認識部２０４３は、コマンドメモリ２０４６を参照し、音声用メモリ２０４２に格納された音声データの認識処理を行う。そして、音声コマンド認識部２０４３は、マイク１０４ａにより集音した音声データが、音声コマンドであるか否か、並びに、いずれの登録音声コマンドに一致するのかの判定を行う。そして、音声コマンド認識部２０４３は、コマンドメモリ２０４６に記憶されたいずれかの音声コマンドに一致する音声データを検出したとき、いずれのコマンドであるかを示す情報を中央制御部２０１に供給する。また、音声用メモリ２０４２内の、その音声コマンドを決定づけた最初と最後の音声データのアドレス（或いはタイミング）を中央制御部２０１に供給する。
【００３１】
音方向検出部２０４４は、中央制御部２０１の制御下での電源制御部２１１による電力供給／遮断の対象の１つである。また、音方向検出部２０４４は、２つのマイク１０４ａ，１０４ｂからの音声データに基づき、周期的に音源の存在する方向の検出処理を行う。音方向検出部２０４４は、内部にバッファメモリ２０４４ａを有し、検出した音源方向を表す情報をバッファメモリ２０４４ａに格納する。なお、音方向検出部２０４４による音方向検出処理を行う周期（例えば、１６ｋＨｚ）は、マイク１０４ａのサンプリング周期に対して十分に長くて構わない。ただし、このバッファメモリ２０４４ａは、音声用メモリ２０４２に格納可能な音声データの期間と同じ期間分の音方向情報を記憶するための容量を有するものとする。
【００３２】
動画用音声処理部２０４５は、中央制御部２０１の制御下での電源制御部２１１による電力供給／遮断の対象の１つである。動画用音声処理部２０４５は、２つのマイク１０４ａ，１０４ｂの２つの音声データをステレオ音声データとして入力する。そして、各種フィルタ処理、ウィンドカット、ステレオ感強調、駆動音除去、ＡＬＣ（Ａｕｔｏ  Ｌｅｖｅｌ  Ｃｏｎｔｒｏｌ）、圧縮処理といった動画音声用の音声処理を行う。詳細は後述する説明から明らかになるが、実施形態ではマイク１０４ａはステレオマイクのＬチャネル用マイク、マイク１０４ｂはＲチャネル用マイクとして機能する。
【００３３】
なお、図２では、音声入力部１０４の各マイクと音声信号処理部２０４に含まれる各ブロックとの接続は消費電力や回路構成を考慮し、２つのマイクにおける必要最低限で表している。しかし、電力および回路構成の許す限り、複数のマイクを音声信号処理部２０４に含まれる各ブロックで共有して使用しても構わない。また、本実施形態ではマイク１０４ａを基準のマイクとして接続しているが、どのマイクを基準としても構わない。
【００３４】
図３（ａ）乃至（ｅ）を参照して、撮像装置１の外観図および使用例を説明する。同図（ａ）は、実施形態に係る撮像装置１の外観の上面及び正面図を示している。撮像装置１の可動撮像部１００は、半球体形であり、水平から垂直方向の約９０度の範囲の切欠き窓を有し、図示矢印Ａが示す水平面にて３６０度に亘って回動可能な第１の筐体部１５０を有する。また、可動撮像部１００は、この切欠き窓に沿って図示の矢印Ｂが示す水平から垂直の範囲内で、レンズ部１０１及び撮像部１０２と一緒に回動可能な第２の筐体部１５１を有する。ここで、第１の筐体部１５０の矢印Ａの回動動作はパン動作、第２の筐体部１５１の矢印Ｂの回動動作はチルト動作に対応し、これらは振動体１１〜１３の駆動によって実現している。
【００３５】
マイク１０４ａ、１０４ｂは、第２の筐体部１５１のレンズ部１０１及び撮像部１０２のリング部１０２ａの上方側の位置に配置されている。リング部１０２ａは、レンズ部１０１を保護するためのリング状の部材であり、レンズ部１０１の周囲を囲うように設けられている。図示からもわかるように、第２筐体部１５２を固定にした状態で、第１筐体部１５０を矢印Ａに沿ってどの方向にパン動作させたとしても、レンズ部１０１及び撮像部１０２に対する、マイク１０４ａ、１０４ｂの相対的な位置は変わらない。つまり、撮像部１０２の撮像方向に対して左側にマイク１０４ａが常に位置し、右側にマイク１０４ｂが常に位置することになる。それ故、撮像部１０２による撮像して得た画像が表す空間と、マイク１０４ａ，１０４ｂによる取得した音場は一定の関係を維持できることになる。
【００３６】
なお、実施形態における２つのマイク１０４ａ、１０４ｂは、図３（ａ）に示すように、パン動作の方向を表す仮想平面上に配置されている。また、これら２つのマイクは、図３（ａ）における１つの水平面上に位置するものとするが、多少のずれがあっても構わない。
【００３７】
マイク１０４ａとマイク１０４ｂとの距離は、１０ｍｍ〜３０ｍｍ程度が望ましい。また、図３（ａ）のマイク１０４ａ乃至１０４ｄの配置位置は一例であって、これらの配置方法は、メカ的制約やデザイン制約によって適宜変更しても構わない。
【００３８】
図３（ｂ）乃至（ｅ）は、実施形態における撮像装置１の利用形態を示している。図３（ｂ）は、机などに撮像装置１に載置される場合で、撮影者自身やその周囲の被写体の撮影を目的とするものである。図３（ｃ）は、撮像装置１を、撮影者の首にぶら下げる例であり、主に、撮影者の行動の前方の撮影を目的とするものである。図３（ｄ）は、撮像装置１を撮影者の肩に固定した使用例であり、図示の場合は、撮影者の周囲の前後、及び、右側の撮影を目的とするものである。そして、図３（ｅ）は、撮像装置１をユーザが持つ棒の端に固定する使用例であり、ユーザが望む所望の撮影位置（高所や手が届かない位置）に撮像装置１を移動させることで、撮影を行うことを目的とするものである。
【００３９】
図４（ａ）乃至（ｃ）を用いて、本実施形態の撮像装置１のパン、チルトの動作を更に詳しく説明する。ここでは図３（ｂ）のように据え置いた使用例で前提として記載するが、そのほかの使用例においても同様である。
【００４０】
図４（ａ）はレンズ部１０１が水平を向いている状態を示している。図４（ａ）を初期状態とし、第１筐体部１５０を、上方向から見て反時計回りに９０度パン動作させると、図４（ｂ）のようになる。一方、図４（ａ）の初期状態から、第２筐体部１５１の９０度チルト動作をおこなうと、図４（ｃ）の様になる。第１筐体部１５０、第２筐部体１５１の回動は、先に説明したように、回動制御部２１３により駆動される振動体１１〜１３による振動にて実現している。
【００４１】
次に、実施形態における撮像装置１の中央制御部２０１の処理手順を図５のフローチャートに従って説明する。同図に係る処理は、撮像装置１のメイン電源がＯＮ、もしくはリセットされた場合の中央制御部２０１の処理を示している。
【００４２】
中央制御部２０１は、ステップＳ１０１にて、撮像装置１の初期化処理を行う。この初期化処理にて、中央制御部２０１は、現在の可動撮像部１００の撮像部１０２の撮像方向における、水平面内の方向成分をパン動作の基準角度（０度）として決定する。なお、可動撮像部１００の撮像部１０２の撮像方向は、レンズ１０１の光軸方向（主軸方向）とも言い換えられる。
【００４３】
これ以降、可動撮像部１００のパン動作を行った後の撮像方向のうち水平面の成分は、この基準角度からの相対的な角度で表されるものとする。また、音方向検出部２０４４が検出する音源方向のうちの水平面の成分は、水平面における現在の可動撮像部１００の２つのマイクの位置を結ぶ直線を基準方向とし、当該基準方向に対する相対的な角度で表されるものとする。また、詳細は後述するが、音方向検出部２０４４は、撮像装置１の真上の方向（パン動作の回転軸の軸方向）に音源があるか否かの判定も行う。
【００４４】
なお、この段階で、音声用メモリ２０４２、音方向検出部２０４４、動画用音声処理部２０４５、並び、マイク１０４ｂ乃至１０４への電力は遮断されている。
【００４５】
初期化処理を終えると中央制御部２０１は、ステップＳ１０２にて、電源制御部２１１を制御して、音圧レベル検出部２０４１、マイク１０４ａへの電力の供給を開始する。この結果、音圧レベル検出部２０４１は、マイク１０４ａでサンプリングされた音声データに基づく音圧検出処理を実行し、予め設定された閾値を超える音圧レベルの音声データを検出したときにその旨を中央制御部に通知することになる。なお、この閾値は、例えば６０ｄＢ  ＳＰＬ（Ｓｏｕｎｄ  Ｐｒｅｓｓｕｒｅ  Ｌｅｖｅｌ）とするが、撮像装置１が環境等に応じて変更しても良いし、必要な周波数帯域だけに絞るようにしても良い。
【００４６】
中央制御部２０１は、ステップＳ１０３にて、音圧レベル検出部２０４１による閾値を超える音圧を表す音声データが検出されるのを待つ。閾値を超える音圧の音声データが検出されると、ステップＳ１０４にて、音声用メモリ２０４２はマイク１０４ａからの音声データの受信、格納処理を開始する。
【００４７】
また、ステップＳ１０５にて、中央制御部２０１は、電源制御部２１１を制御し、音声コマンド認識部２０４３への電力供給を開始する。この結果、音声コマンド認識部２０４３は、コマンドメモリ２０４６を参照した音声用メモリ２０４２に格納されていく音声データの認識処理を開始する。そして、音声コマンド認識部２０４３は、音声用メモリ２０４２に格納された音声データの認識処理を行う。コマンドメモリ２０４６内のいずれかの音声コマンドと一致すると音声コマンドを認識した場合、その認識された音声コマンドを特定する情報を中央制御部２０１に通知する。さらに、音声用メモリ２０４２内の、認識した音声コマンドを決定づけた最初と最後の音声データのアドレス（或いはタイミング）情報とを含む情報を中央制御部２０１に通知することになる。
【００４８】
ステップＳ１０６にて、中央制御部２０１は、電源制御部２１１を制御し、音方向検出部２０４４、マイク１０４ｂへの電力供給を開始する。この結果、音方向検出部２０４４は、２つのマイク１０４ａ，１０４ｂからの同時刻の音声データに基づく、音源方向の検出処理を開始することになる。音源の方向の検出処理は、所定周期で行われる。そして、音方向検出部２０４４は、検出した音方向を示す音方向情報を、内部のバッファメモリ２０４４ａに格納していく。このとき、音方向検出部２０４４は、音方向情報の決定に利用した音声データのタイミングが、音声用メモリ２０４２に格納された音声データのどのタイミングであったのかを対応付くように、バッファメモリ２０４４ａに格納する。典型的には、バッファメモリ２０４４ａに格納するのは、音方向と、音声用メモリ２０４２内の音声データのアドレスとすれば良い。なお、先に説明したように、水平面における現在の可動撮像部１００の２つのマイクの位置を結ぶ直線を基準方向とし、当該基準方向に対する音源の方向との差を表す検出角度が、音方向情報に含まれる。
【００４９】
ステップＳ１０７にて、中央制御部２０１は、電源制御部２１１を制御し、撮像部１０２、及び、レンズアクチュエータ制御部１０３への電力供給を開始する。この結果、可動撮像部１００は、撮像装置としての機能し始めることになる。
【００５０】
ステップＳ１０８にて、中央制御部２０１は、音声コマンド認識部２０４３から、音声コマンドが認識されたことを示す情報を受信したか否かを判定する。否の場合、中央制御部２０１は、処理をステップＳ１１０に進め、音声コマンド認識部２０４３を起動させてからの経過時間が、予め設定された閾値を超えたか否かを判定する。そして、経過時間が閾値以内である限り、中央制御部２０１は、音声コマンド認識部２０４３による音声コマンドが認識されるのを待つ。そして、閾値が示す時間が経過しても、音声コマンド認識部２０４３が音声コマンドを認識しなかった場合、中央制御部２０１は処理をステップＳ１１１に進める。このステップＳ１１１にて、中央制御部２０１は、電源制御部２１１を制御して音声コマンド認識部２０４３への電力を遮断する。そして、中央制御部２０１は、処理をステップＳ１０２に戻す。
【００５１】
一方、中央制御部２０１が、音声コマンド認識部２０４３から、音声コマンドが認識されたことを示す情報を受信した場合、処理をステップＳ１０９に進める。このステップＳ１０９にて、中央制御部２０１は、認識された音声コマンドが、図７に示される起動コマンドに対応するか否かを判定する。そして、認識された音声コマンドが起動コマンド以外のコマンドであると判定した場合、中央制御部２０１は処理をステップＳ１１０に進める。また、認識された音声コマンドが起動コマンドであった場合、中央制御部２０１は処理をステップＳ１０９からステップＳ１１２に進める。
【００５２】
中央制御部２０１は、ステップＳ１１２にて、音声コマンド認識部２０４３で認識された音声コマンドに同期する音方向情報を、音方向検出部２０４４のバッファメモリ２０４４ａから取得する。音声コマンド認識部２０４３は、先に説明したように、ステップＳ１０８にて音声コマンドを認識したとき、音声用メモリ２０４２内の音声コマンドを表す先頭と終端を表す２つのアドレスを中央制御部２０１に通知する。そこで、中央制御部２０１は、ステップＳ１０８にて認識された音声コマンドに同期した音方向として、この２つのアドレスが示す期間内で検出した音方向情報をバッファメモリ２０４４ａから取得する。２つのアドレスが示す期間内に複数の音方向情報が存在することもある。その場合、中央制御部２０１はその中の時間的に最も後の音方向情報をバッファメモリ２０４４ａから取得する。時間的に後の音方向情報の方が、その音声コマンドを発した人物（音源）の現在の位置を表している蓋然性が高いからである。
【００５３】
次に、Ｓ１１３にて、中央制御部２０１は、回動制御部２１３を制御して、可動撮像部１００のパン動作を行い、現在の撮像部１０２の撮像方向（光軸方向）の水平面の角度を、所定の角度だけ回転させる。所定の角度とは、例えば、３０度又は９０度等、０度より大きく９０度以下の任意の角度である。
【００５４】
次に、ステップＳ１１４にて、中央制御部２０１は、音声コマンド認識部２０４３から、新たな音声コマンドが認識されたことを示す情報を受信したか否かを判定する。否の場合、中央制御部２０１は、処理をステップＳ１１５に進め、現在、ユーザからの指示に従った実行中のジョブがあるか否かを判定する。有の場合は、Ｓ１１４に戻り、否の場合は、Ｓ１１６に進む。詳細は図６のフローチャートの説明から明らかになるが、動画撮影記録や追尾処理等が上記ジョブに相当する。ここでは、そのような実行中のジョブは存在しないものとして説明を続ける。
【００５５】
ステップＳ１１６にて、前回の音声コマンドを認識してからの経過時間が、予め設定された閾値を超えるか否かを判定する。否の場合、中央制御部２０１は処理をステップＳ１１４に戻し、音声コマンドの認識を待つ。そして、実行中のジョブが無く、且つ、前回の音声コマンドを認識してから閾値を超える時間が経過しても、更なる音声コマンドが認識されない場合、中央制御部２０１は処理をステップＳ１１７に進める。このステップＳ１１７にて、中央制御部２０１は、電源制御部２１１を制御し、撮像部１０２、レンズアクチュエータ１０３への電力を遮断する。そして、中央制御部２０１は、ステップＳ１１８にて、電源制御部２１１を制御し、音方向検出部２０４４への電力も遮断し、処理をステップＳ１０８に戻す。
【００５６】
さて、中央制御部２０１が音声コマンド認識部２０４３から新たな音声コマンドが認識されたことを示す情報を受信したとする。この場合、音声コマンド認識部２０４３は、処理をステップＳ１１４からステップＳ１１９に進める。
【００５７】
中央制御部２０１は、ステップＳ１１９にて、音声コマンド認識部２０４３で認識された音声コマンドに同期する音方向情報を、音方向検出部２０４４のバッファメモリ２０４４ａから取得する。音声コマンド認識部２０４３は、先に説明したように、ステップＳ１１４にて音声コマンドを認識したとき、音声用メモリ２０４２内の音声コマンドを表す先頭と終端を表す２つのアドレスを中央制御部２０１に通知する。そこで、中央制御部２０１は、ステップＳ１１４にて認識された音声コマンドに同期した音方向として、この２つのアドレスが示す期間内で検出した音方向情報をバッファメモリ２０４４ａから取得する。
【００５８】
次に、ステップＳ１２０にて、中央制御部２０１は、音源の音方向を特定する音方向特定処理を行う。具体的には、ステップＳ１１２で取得した音方向と、ステップＳ１１９で取得した音方向とに基づいて、音源の音方向を特定し、特定した音方向を音方向特定処理の結果として内部メモリに記憶する。音方向特定処理の詳細は、後で図１０を用いて説明する。なお、中央制御部２０１の代わりに、音方向検出部２０４４が音方向特定処理を行ってもよい。
【００５９】
次に、ステップＳ１２１にて、中央制御部２０１は、回動制御部２１３を制御して、可動撮像部１００のパン動作を行い、現在の撮像部１０２の撮像方向（光軸方向）の水平面の角度を、特定した音源の音方向の水平面の角度に一致させる。
【００６０】
続いて、ステップＳ１２２にて、中央制御部２０１は、映像信号処理部２０３から撮像画像を受信し、撮像画像内に音声発生原となるオブジェクト（顔）が存在するか否かを画像認識処理により判定する。否の場合、中央制御部２０１は処理をステップＳ１２３に進め、回動制御部２１３を制御して、目標とするチルト角に向かって予め設定された角度だけ可動撮像部１００のチルト動作を行う。そして、ステップＳ１２４にて、中央制御部２０１は、撮像部１０２の撮像方向のチルト角が、チルト動作の上限（実施形態では水平方向に対して９０度）に到達したか否かを判定する。否の場合には、中央制御部２０１は処理をステップＳ１２２に戻す。こうして、中央制御部２０１は、チルト動作を行いながら、映像信号処理部２０３からの撮像画像の画角内に音声発生原となるオブジェクト（顔）が存在するか否かを画像認識処理により判定していく。そして、撮像部１０２の撮像方向のチルト角がチルトの上限に到達してもオブジェクトが検出されない場合、中央制御部２０１は処理をステップＳ１２４からステップＳ１１４に戻す。一方、撮像画像の画角内にオブジェクトが存在した場合、中央制御部２０１は処理をステップＳ１２５に進め、ステップＳ１１４で認識した音声コマンドに対応するジョブを実行する。
【００６１】
次に、図６のフローチャート、並びに、図７に示す音声コマンドテーブルに基づいて、ステップＳ１２５の処理の詳細を説明する。図７の音声コマンドテーブルに示される“Ｈｉ，  Ｃａｍｅｒａ”等の音声コマンドに対応する音声パターンデータはコマンドメモリ２０４６に格納されるものである。なお、図７には音声コマンドとして代表的な数例示しているが、この数に特に制限はない。また、以下の説明における音声コマンドは、図５のステップＳ１１４のタイミングで検出された音声コマンドである点に注意されたい。
【００６２】
まず、ステップＳ２０１にて、中央制御部２０１は、音声コマンドが、起動コマンドであるか否かを判定する。
【００６３】
この起動コマンドは、撮像装置１に対し、撮像可能な状態に遷移させる音声コマンドである。この起動コマンドは、図５のステップＳ１０８で判定されるコマンドであり、撮像に係るジョブではない。よって、中央制御部２０１は、認識した音声コマンドが起動コマンドである場合には、そのコマンドについては無視し、処理をステップＳ１１４に戻す。
【００６４】
ステップＳ２０２にて、中央制御部２０１は、音声コマンドが、停止コマンドであるか否かを判定する。この停止コマンドは、一連の撮像可の状態から、起動コマンドの入力を待つ状態に遷移させるコマンドである。よって、中央制御部２０１は、認識した音声コマンドが停止コマンドである場合には、処理をステップＳ２１１に進める。ステップＳ２１１にて、中央制御部２０１は、電源制御部２１１を制御し、既に起動している撮像部１０２、音方向検出部２０４４、音声コマンド認識部２０４３、動画用音声処理部２０４５、マイク１０４ｂ乃至１０４ｄ等への電力を遮断し、これらを停止する。そして、中央制御部２０１は、処理を起動時のステップＳ１０３に戻す。
【００６５】
ステップＳ２０３にて、中央制御部２０１は、音声コマンドが静止画撮影コマンドであるか否かを判定する。この静止画撮影コマンドは、撮像装置１に対して１枚の静止画の撮影・記録ジョブの実行の要求を行うコマンドである。よって、中央制御部２０１は、音声コマンドが静止画撮影コマンドであると判定した場合、処理をステップＳ２１２に進める。ステップＳ２１２にて、中央制御部２０１は、撮像部１０２で撮像した１枚の静止画像データを例えばＪＰＥＧファイルとして、記憶部２０６に格納する。なお、この静止画撮影コマンドのジョブが、１枚の静止画撮影記録により完結するので、先に説明した図５のステップＳ１１５で判定する対象のジョブとはならない。
【００６６】
ステップＳ２０４にて、中央制御部２０１は、音声コマンドが動画撮影コマンドであるか否かを判定する。動画撮影コマンドは、撮像装置１に対して音声付の動画像の撮像と記録を要求するコマンドである。中央制御部２０１は、音声コマンドが動画撮影コマンドであると判定した場合、処理をステップＳ２１３に進める。このステップＳ２１３にて、中央制御部２０１は、撮像部１０２による動画像の撮影と記録を開始し、処理をステップＳ１１４に戻す。実施形態では、撮像した動画像は記憶部２０６に格納されるものとするが、外部入出力端子部２０８を介してネットワーク上のファイルサーバに送信しても構わない。動画撮影コマンドは、動画像の撮像、記録を継続させるコマンドであるので、このコマンドによるジョブは、先に説明したステップＳ１１５で判定する対象のジョブとなる。
【００６７】
ステップＳ２０５にて、中央制御部２０１は、音声コマンドが動画撮影終了コマンドであるか否かを判定する。中央制御部２０１は、音声コマンドが動画撮影終了コマンドであり、尚且つ、現に動画像の撮像・記録中である場合には、その記録（ジョブ）を終了する。そして、中央制御部２０１は処理をステップＳ１１４に戻す。
【００６８】
ステップＳ２０６にて、中央制御部２０１は、音声コマンドが追尾コマンドであるか否かを判定する。追尾コマンドは、撮像装置１に対して、撮像部１０２の撮像方向に、ユーザを継続して位置させることを要求するコマンドである。中央制御部２０１は、音声コマンドが追尾コマンドであると判定した場合、処理をステップＳ２１５に進める。そして、ステップＳ２１５にて、中央制御部２０１は、映像信号処理部２０３で得られた映像の中心位置にオブジェクトが位置し続けるように、回動制御部２１３の制御を開始する。そして、中央制御部２０１は処理をステップＳ１１４に戻す。この結果、可動撮像部１００がパン動作、或いはチルト動作を行い、移動するユーザを追尾することになる。ただし、ユーザを追尾するものの、撮像した画像の記録は行わない。また、追尾している間は、先に説明した図５のステップＳ１１５で判定する対象のジョブとなる。そして、追尾終了コマンドを受信して初めて、中央制御部２０１はこの動画像の撮影記録を終了する。なお、追尾中に、例えば静止画撮影コマンドや動画撮影コマンドのジョブを実行しても構わない。
【００６９】
ステップＳ２０７にて、中央制御部２０１は、音声コマンドが追尾終了コマンドであるか否かを判定する。中央制御部２０１は、音声コマンドが追尾終了コマンドであり、尚且つ、現に追尾中である場合には、その記録（ジョブ）を終了する。そして、中央制御部２０１は処理をステップＳ１１４に戻す。
【００７０】
以上であるが、上記以外の音声コマンドについては、ステップＳ２０７以降で実行されるが、ここでの説明は省略する。
【００７１】
ここで、実施形態における撮像装置１におけるメイン電源ＯＮからの処理のシーケンスの一例を図８に示すタイミングチャートに従って説明する。
【００７２】
撮像装置１のメイン電源がＯＮになると、音圧レベル検出部２０４１はマイク１０４ａからの音声データの音圧レベルの検出処理を開始する。タイミングＴ６０１にて、ユーザは、起動コマンド“Ｈｉ，Ｃａｍｅｒａ”の発声を開始したとする。この結果、音圧レベル検出部２０４１が閾値以上の音圧を検出する。そして、これがトリガになって、タイミングＴ６０２にて、音声用メモリ２０４２がマイク１０４ａからの音声データの格納を開始し、音声コマンド認識部２０４３が音声コマンドの認識を開始する。また、上記トリガに応じて、タイミングＴ６０２にて、中央制御部２０１は、音方向検出部２０４４に電力供給を開始するとともに、撮像部１０２への電力供給も開始する。ユーザが起動コマンド“Ｈｉ，Ｃａｍｅｒａ”の発声を終えると、タイミングＴ６０４にて、音声コマンド認識部２０４３がその音声コマンドを認識し、且つ、認識した音声コマンドが起動コマンドであることを特定する。音声コマンド認識部２０４３は、音声用メモリ２０４２内の“Ｈｉ，Ｃａｍｅｒａ”を表す音声データの先頭と終端のアドレスと、認識結果を中央制御部２０１に通知する。中央制御部２０１は、受信した先頭と終端のアドレスが表す範囲を有効範囲として決定する。中央制御部２０１は、音方向検出部２０４４のバッファメモリ２０４４ａ内の有効範囲内から、タイミングＴ６０４〜Ｔ６０５にて音声コマンド認識部２０４３で認識された音声コマンドに同期する音方向情報を取得する。
【００７３】
中央制御部２０１は、この起動コマンドが認識されたことをトリガにして、タイミングＴ６０５にて、回動制御部２１３を制御して、可動撮像部１００のパン動作を開始し、所定の角度（例えば、３０度又は９０度等の任意の角度）だけ回転させる。
【００７４】
ユーザは、タイミングＴ６０６にて、例えば“Ｍｏｖｉｅ  ｓｔａｒｔ”の発声を開始したとする。この場合、発生の開始のタイミングの音声データは、タイミングＴ６０７から順に音声用メモリ２０４２に格納されていく。そして、タイミングＴ６０８にて、音声コマンド認識部２０４３が、音声データを“Ｍｏｖｉｅ  ｓｔａｒｔ”を表す音声コマンドとして認識する。音声コマンド認識部２０４３は、音声用メモリ２０４２内の“Ｍｏｖｉｅ  ｓｔａｒｔ”を表す音声データの先頭と終端のアドレスと、認識結果を中央制御部２０１に通知する。中央制御部２０１は、受信した先頭と終端のアドレスが表す範囲を有効範囲として決定する。そして、中央制御部２０１は、音方向検出部２０４４のバッファメモリ２０４４ａ内の有効範囲内から、タイミングＴ６０８〜Ｔ６０９にて音声コマンド認識部２０４３で認識された音声コマンドに同期する音方向情報を取得する。そして、中央制御部２０１は、タイミングＴ６０４〜Ｔ６０５にて認識された音声コマンドに同期する音方向情報と、タイミングＴ６０８〜Ｔ６０９にて認識された音声コマンドに同期する音方向情報とに基づいて、音源の音方向を特定する。音源の音方向を特定する音方向特定処理の詳細は、後で図１０を用いて説明する。そして、タイミングＴ６０９にて、特定した音源の音方向に基づいて、回動制御部２１３を制御して、可動撮像部１００のパン動作、チルト動作を開始する。
【００７５】
可動撮像部１００のパン動作、チルト動作中に、タイミングＴ６１０にて、撮像部１０２で撮像画像に被写体（オブジェクト；顔）を検出したとする。すると、中央制御部２０１はパン動作、チルト動作を停止する（タイミングＴ６１１）。また、タイミングＴ６１２にて、中央制御部２０１は、動画用音声処理部２０４５に電力を供給して、マイク１０４ａ、及び、１０４ｂによるステレオ音声の収音状態にする。そして、中央制御部２０１は、タイミングＴ６１３にて、音声付の動画像の撮像と記録を開始する。
【００７６】
次に、実施形態における音方向検出部２０４４による音源方向の検出処理を説明する。この処理は、図５のステップＳ１０６以降、周期的に、且つ、継続的に行われるようにしてもよい。
【００７７】
まず、図９を用いて、マイク１０４ａとマイク１０４ｂの２つのマイクを用いた音方向検出処理を説明する。同図は、マイク１０４ａとマイク１０４ｂが平面上（仮想平面上）に配置されているとする。マイク１０４ａとマイク１０４ｂの距離をｄ［ａ‐ｂ］と表す。距離ｄ［ａ‐ｂ］に対して、撮像装置１と音源間の距離は十分に大きいと仮定する。この場合、マイク１０４ａとマイク１０４ｂの音声を比較することによって、両者間の音声の遅延時間を特定することができる。
【００７８】
到達遅延時間に音速（空気中は３４０ｍ／ｓ）を乗じることで、距離ｌ［ａ‐ｂ］を特定することができる。その結果、次式で音源方向角度θ［ａ‐ｂ］を特定することができる。
θ［ａ‐ｂ］＝ａｃｏｓ（ｌ［ａ‐ｂ］／ｄ［ａ‐ｂ］）
【００７９】
しかしながら、２つのマイクで求めた音方向は、求めた音源方向とθ［ａ‐ｂ］’との区別ができない。つまり、２つの方向のいずれであるのかまでは特定できないことになる。
【００８０】
そこで、実施形態における音方向特定処理を以下、図１０（ａ）〜（ｅ）を用いて説明する。具体的には、２つのマイクで推定できる音源方向は２つあるので、それら２つの方向を仮方向として扱う。そして、２回のタイミングに分けて、２つのマイクで音源の方向を求め、仮方向を２つ求める。そして、これらに共通している方向が、求める音源の方向として決定される。
【００８１】
図１０（ａ）において、マイク１０４ａ、マイク１０４ｂの並ぶ方向に直交する、レンズ部１０１の撮像方向（光軸方向）は、Ｙ軸方向と一致している。
【００８２】
図９で説明したように、マイク１０４ａ、マイク１０４ｂより、距離ｄ［ａ‐ｂ］は既知であり、音声データより距離ｌ［ａ‐ｂ］を特定することができれば、θ［ａ‐ｂ］を特定できる。
【００８３】
音源が方向Ａ（Ｂ）に存在する場合の音方向特定処理について、図１０（ａ）（ｂ）を用いて説明する。図１０（ａ）に示すように、図５のステップＳ１１２で取得された音方向情報から、ＸＹ平面上の方向Ａもしくは方向Ａ′に音源が存在すると、中央制御部２０１により推定される。このとき、２つの検出角度θ１［ａ−ｂ］，θ１［ａ−ｂ］’が、音源方向の仮方向として検出される。
【００８４】
次に、ステップＳ１１３でのパン動作により、撮像装置１は３０°回転したものとする。パン動作後のステップＳ１１９時点での、マイク１０４ａ、１０４ｂの配置と音源の位置関係は、図１０（ｂ）で示す通りとなり、ＸＹ平面上の方向Ｂもしくは方向Ｂ′に音源が存在すると、中央制御部２０１により推定される。このとき、２つの検出角度θ２［ａ−ｂ］，θ２［ａ−ｂ］’が、音源方向の仮方向として検出される。
【００８５】
中央制御部２０１は、ステップＳ１１２で取得された検出角度θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）、ステップＳ１１９で検出されたθ２［ａ−ｂ］（又はθ２［ａ−ｂ］’）の変位を算出する。このとき、パン動作前後の検出角度の大小関係は、θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）＜θ２［ａ−ｂ］（又はθ２［ａ−ｂ］’）となっている。このとき、θ１［ａ−ｂ］＋３０度＝θ２［ａ−ｂ］の関係式が成立する。この場合、パン動作したことで、音源から遠ざかる方向に回転したことがわかる。したがって、パン動作の回転方向とは逆側の位置で検出された方向Ａ（＝Ｂ）に音源が存在することが特定できる。また、音源の位置が移動していない場合は、方向Ａ，Ａ’，Ｂ，Ｂ’のうち、共通する方向Ａ（＝Ｂ）に音源が存在することが特定できる。中央制御部２０１は、特定した音源の方向Ａ（＝Ｂ）を音方向特定処理の結果として内部メモリに記憶する。
【００８６】
また、音源が方向Ｃ（Ｄ）に存在する場合の音方向特定処理について、図１０（ｃ）（ｄ）を用いて説明する。図１０（ｃ）に示すように、図５のステップＳ１１２で取得された音方向情報から、ＸＹ平面上の方向Ｃもしくは方向Ｃ′に音源が存在すると、中央制御部２０１により推定される。このとき、２つの検出角度θ１［ａ−ｂ］，θ１［ａ−ｂ］’が、音源方向の仮方向として検出される。
【００８７】
次に、ステップＳ１１３でのパン動作により、撮像装置１は３０°回転したものとする。パン動作後のステップＳ１１９時点での、マイク１０４ａ、１０４ｂの配置と音源の位置関係は、図１０（ｄ）で示す通りとなり、ＸＹ平面上の方向Ｄもしくは方向Ｄ′に音源が存在すると、中央制御部２０１により推定される。このとき、２つの検出角度θ２［ａ−ｂ］，θ２［ａ−ｂ］’が、音源方向の仮方向として検出される。
【００８８】
中央制御部２０１は、ステップＳ１１２で取得された検出角度θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）、ステップＳ１１９で検出されたθ２［ａ−ｂ］（又はθ２［ａ−ｂ］’）の変位を算出する。このとき、パン動作前後の検出角度の大小関係は、θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）＞θ２［ａ−ｂ］（又はθ２［ａ−ｂ］’）となっている。このとき、θ１［ａ−ｂ］＝θ２［ａ−ｂ］＋３０度の関係式が成立する。この場合、パン動作したことで、音源に近づく方向に回転したことがわかる。したがって、パン動作の回転方向とは同じ側の位置で検出された方向Ｃ（＝Ｄ）に音源が存在することが特定できる。また、音源の位置が移動していない場合は、方向Ｃ，Ｃ’，Ｄ，Ｄ’のうち、共通する方向Ｃ（＝Ｄ）に音源が存在することが特定できる。中央制御部２０１は、特定した音源の方向Ｃ（＝Ｄ）を音方向特定処理の結果として内部メモリに記憶する。
【００８９】
なお、ステップＳ１１３でのパン動作により、撮像装置１を９０°回転してもよく、その場合について図１０（ａ）（ｅ）を用いて説明する。音源が方向Ａ（Ｅ）に存在する場合の音方向特定処理について説明する。図１０（ａ）の説明は上述のとおりなので、繰り返さない。
【００９０】
ステップＳ１１３でのパン動作により、撮像装置１は９０°回転する。パン動作後のステップＳ１１９時点での、マイク１０４ａ、１０４ｂの配置と音源の位置関係は、図１０（ｅ）で示す通りとなり、ＸＹ平面上の方向Ｅもしくは方向Ｅ′に音源が存在すると、中央制御部２０１により推定される。このとき、２つの検出角度θ３［ａ−ｂ］，θ３［ａ−ｂ］’が、音源方向の仮方向として検出される。
【００９１】
中央制御部２０１は、ステップＳ１１２で取得された検出角度θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）、ステップＳ１１９で検出されたθ３［ａ−ｂ］（又はθ３［ａ−ｂ］’）の変位を算出する。このとき、パン動作前後の検出角度の大小関係は、θ１［ａ−ｂ］（又はθ１［ａ−ｂ］’）＜θ３［ａ−ｂ］（又はθ３［ａ−ｂ］’）となっている。つまり、パン動作したことで、音源から遠ざかる方向に回転したことがわかる。このとき、θ１［ａ−ｂ］＋９０度＝θ３［ａ−ｂ］の関係式が成立する。この場合、パン動作したことで、音源から遠ざかる方向に回転したことがわかる。したがって、パン動作の回転方向とは逆側の位置で検出された方向Ｅ（＝Ａ）に音源が存在することが特定できる。また、音源の位置が移動していない場合は、方向Ａ，Ａ’，Ｅ，Ｅ’のうち、共通する方向Ａ（＝Ｅ）に音源が存在することが特定できる。中央制御部２０１は、特定した音源の方向Ａ（＝Ｅ）を音方向特定処理の結果として内部メモリに記憶する。
【００９２】
マイク１０４ａ、マイク１０４ｄ間の距離ｄ［ａ‐ｄ］は既知であるので、音声データから距離ｌ［ａ‐ｄ］を特定できるので、θ［ａ‐ｄ］も特定できる。
【００９３】
ステップＳ１１３で、可動撮像部１００のパン動作により回転させるパン回転角度は、例えば、０＜パン回転角度≦９０の範囲で、予め任意の値に設定可能である。パン回転角度が小さいほど、パン動作の駆動時間が短くなるので、早く音方向特定処理の結果が得られるが、特定される音源の方向の精度が低くなる。一方、パン回転角度が大きいほど、パン動作の駆動時間が長くなるので、音方向特定処理の結果が得られるのが遅くなるが、特定される音源の方向の精度が高くなる。例えば、図８の時刻Ｔ６０３〜Ｔ６０７の期間に、音源の位置が３０度以上移動した場合、ステップＳ１１３で可動撮像部１００のパン動作により回転させるパン回転角度が３０度である場合は、音方向特定処理により正確な音源の方向を特定できないことがある。しかし、図８の時刻Ｔ６０３〜Ｔ６０７の期間に、音源の位置が３０度以上移動した場合でも、ステップＳ１１３で可動撮像部１００のパン動作により回転させるパン回転角度が９０度である場合は、音方向特定処理によりある程度正確な音源の方向を特定し得る。
【００９４】
なお、ステップＳ１１３で、可動撮像部１００のパン動作中に、音圧レベル検出部２０４１による閾値を超える音圧を表す音声データが検出された場合は、そのタイミングでパン動作を停止させてもよい。また、図５のステップＳ１０３にて、音圧レベル検出部２０４１による閾値を超える音圧を表す音声データが検出された期間の長さに比例して大きくなるように、パン回転角度を決定してもよい。
【００９５】
また、θ２［ａ‐ｂ］、θ３［ａ−ｂ］と検知角度を増やしていけば、方向検知の角度の精度を高めることも可能である。例えば、可動撮像部１００のパン動作による回転角度が３０度の場合と、９０度の場合の両方の音方向検出結果を中央制御部２０１が取得し、２回分の音方向検出結果に基づいて、音源の方向を特定すれば、方向検知の角度の精度が高くなる。例えば、２回分の音方向特定処理の結果が異なる場合は、２回分の音方向特定処理の結果の平均値を求めることにより、音源の方向を確定してもよい。その場合のフロー図を、図１１に示す。
【００９６】
図１１のフロー図では、図５のフロー図からステップＳ３０１，Ｓ３０２が追加されている。例えば、ステップＳ１１３では、中央制御部２０１は、回動制御部２１３を制御して、可動撮像部１００のパン動作を行い、現在の撮像部１０２の撮像方向（光軸方向）の水平面の角度を、３０度だけ回転させる。
【００９７】
そして、中央制御部２０１は、ステップＳ３０１にて、音声コマンド認識部２０４３で認識された音声コマンドに同期する音方向情報を、音方向検出部２０４４のバッファメモリ２０４４ａから取得する。音声コマンド認識部２０４３は、先に説明したように、ステップＳ１０８にて音声コマンドを認識したとき、音声用メモリ２０４２内の音声コマンドを表す先頭と終端を表す２つのアドレスを中央制御部２０１に通知する。そこで、中央制御部２０１は、ステップＳ１０８にて認識された音声コマンドに同期した音方向として、この２つのアドレスが示す期間内で検出した音方向情報をバッファメモリ２０４４ａから取得する。
【００９８】
ステップＳ３０２では、中央制御部２０１は、回動制御部２１３を制御して、可動撮像部１００のパン動作を行い、現在の撮像部１０２の撮像方向（光軸方向）の水平面の角度を、さらに６０度だけ回転させる。これにより、ステップＳ１１３とステップＳ３０２により、パン回転される角度の合計は９０度となる。
【００９９】
この場合、ステップＳ１１９では、中央制御部２０１は、ステップＳ１１４にて認識された音声コマンドに同期した音方向として、検出した音方向情報をバッファメモリ２０４４ａから取得する。この結果、撮像部１０２の撮像方向（光軸方向）の水平面の角度を、基準角度に対して３０度回転させた状態で検出された音方向と、９０度回転させた状態で検出された音方向とが得られる。そして、ステップＳ１２０にて、中央制御部２０１は、ステップＳ１１２，Ｓ３０１，Ｓ１１９で取得した３回分の音方向に基づいて、音源の音方向を特定し、特定した音方向を音方向特定処理の結果として内部メモリに記憶する。
【０１００】
上記実施形態によれば、特別な操作を行わずとも、ユーザの意図したタイミングで意図した構図の画像を撮像することができる。この結果、音声コマンドを発声した人物（の顔）以外を誤って被写体とすることを抑制できる。また、音声コマンドを発した人物の意図したジョブを実行することも可能になる。また、少ないマイク数で音源の方向検知を高精度に行うことができる。また、少ないマイク数でよいため、部品コストが抑えられ、簡易な構造で、音源の方向検知を高精度に行うことができる。
【０１０１】
更に、上記実施形態で説明したように、マイク１０４ａ，１０４ｂ、音声信号処理部２０４を構成する各要素は、実際にそれらが利用する段階でなって初めて中央制御部２０１の制御の元で電力供給が行われる。よって、全構成要素が可動状態にある場合と比較して、電力消費量を抑制できる。
【０１０２】
上記実施形態では、音圧レベル検出部２０４１、音声コマンド認識部２０４３、音方向検出部２０４４、動画用音声処理部２０４５等が、中央制御部２０１とは独立した処理部とする例を説明した。しかしながら、中央制御部２０１が、これらの全部或いは一部を、プログラムを実行することで代替しても構わない。
【０１０３】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０４】
１  撮像装置
１００  可動撮像部
１０１  レンズ部
１０２  撮像部
１０４  音声入力部
１０４ａ，１０４ｂ  マイク
２０１  中央制御部
２０４１  音圧レベル検出部
２０４２  音声用メモリ
２０４３  音声コマンド認識部
２０４４  音方向検出部
２０４５  動画像音声処理部
２０４６  コマンドメモリ
【図１】
2019212965.tif 000003
【図２】
2019212965.tif 000004
【図３】
2019212965.tif 000005
【図４】
2019212965.tif 000006
【図５】
2019212965.tif 000007
【図６】
2019212965.tif 000008
【図７】
2019212965.tif 000009
【図８】
2019212965.tif 000010
【図９】
2019212965.tif 000011
【図１０】
2019212965.tif 000012
【図１１】
2019212965.tif 000013