(57)【要約】【課題】撮影装置において、従来と比較してより簡易な構成で特定の被写体を追尾して撮影することのできる技術を提供する。【解決手段】撮影装置１には、複数のマイクロホン１５が列状に配置されている。撮影装置１の制御部１１は、マイクロホン１５のそれぞれで収音された音声を表す音声データを解析し、解析結果に応じて音源の方向を複数推定する。また、制御部１１は、推定した音源方向のそれぞれからの音声を表す音声データを、照合用データ記憶領域１２１に記憶された照合用データと照合し、その一致度に応じて特定の被写体の方向を特定する。また、制御部１１は、マイクロホン１５毎の音声データを解析し、解析結果に応じて、被写体の方向の遷移を検出し、回動機構７０を制御して、撮影装置１の撮影範囲に検出した方向が含まれるように撮影装置１の向きを変更する。【選択図】図１
2009239346.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、
前記撮影手段の周囲でマイクロホン毎に音声を収音し、音声データとして出力する複数のマイクロホンと、
前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を１又は複数推定する推定手段と、
前記推定手段により推定された音源の方向のうちの少なくともいずれか一つを特定する特定手段と、
前記マイクロホン毎の音声データを解析し、解析結果に応じて前記特定手段により特定された音源の方向の遷移を検出する検出手段と、
前記撮影手段の前記撮影範囲を、前記検出手段により検出された音源の方向を含む範囲に変更する撮影範囲変更手段と
を具備することを特徴とする撮影装置。
【請求項２】
前記撮影範囲変更手段により前記撮影範囲が変更されたときに、前記撮影手段から出力される映像データを所定の記憶手段に記憶する映像データ記憶制御手段
を具備することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記推定手段は、前記マイクロホン毎の音声データの相関に基づいて、前記撮影手段の周囲における音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を前記音源の方向として推定する
ことを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記撮影範囲変更手段は、前記方向推定手段により推定された音源の方向が前記撮影範囲に含まれるように、前記撮影手段の向きを変更する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
【請求項５】
前記検出手段は、前記推定手段により算出された音圧の分布における音圧のピークの遷移を検出する
ことを特徴とする請求項３に記載の撮影装置。
【請求項６】
音声の特徴を表す照合用データを記憶する照合用データ記憶手段と、
前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段と
を具備し、
前記特定手段は、前記方向別音声データ生成手段により生成された方向別音声データを、前記照合用データ記憶手段に記憶された照合用データと照合し、両者の一致度に基づいて前記音源の方向を特定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮影装置。
【請求項７】
前記複数のマイクロホン毎の音声データから、前記特定手段により特定された方向に対応した音声データを照合用データとして生成する照合用データ生成手段と、
前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段と
を具備し、
前記検出手段は、前記方向別音声データ生成手段により生成された方向別音声データのそれぞれを前記照合用データ生成手段により生成された照合用データと照合し、その一致度に基づいて前記音源の方向の遷移を検出する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮影装置。
【請求項８】
前記照合用データは、特定の個人の声の特徴情報を含むことを特徴とする請求項６又は７に記載の撮影装置。
【請求項９】
前記方向別音声データ生成手段は、前記推定手段により推定された方向からのそれぞれについて、該方向からの音圧が高くなるようにミキシングして方向別音声データを生成する
ことを特徴とする請求項６乃至８のいずれか１項に記載の撮影装置。
【請求項１０】
前記方向別音声データ生成手段は、独立成分分析を用いて前記音声データから音源に対応する音声データを推定することで方向別音声データを生成する
ことを特徴とする請求項６乃至８のいずれか１項に記載の撮影装置。
【請求項１１】
前記推定手段は、独立成分分析を用いて音源の方向を推定することを特徴とする請求項１乃至１０のいずれか１項に記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影を行う技術に関する。
【背景技術】
【０００２】
静止画や動画を撮影するデジタルカメラ等の撮影装置において、特定の被写体を追尾して撮影する技術が提案されている。例えば、特許文献１には、発信機を取り付けた被写体を自動追尾して撮影する装置が提案されている。また、特許文献２には、複数の被写体のそれぞれにタグを取り付け、画角とほぼ等しい広がり角で同調信号を送信し、同調信号に応じて各タグから発信される応答信号を受信してタグ方向を検出し、検出したタグ方向に撮影方向をほぼ一致させて撮影を行う装置が提案されている。この装置によれば、被写体が複数いる場合であっても、画角内の被写体だけを確実に捕捉して撮影することができる。
【特許文献１】特開２００３−６９８８４号公報
【特許文献２】特開２００６−２６１９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１や２に記載の技術では、撮影装置に発信機（タグ）からの信号を受信するための受信部を別途設ける必要があり、撮影装置の装置構成が複雑になってしまうという問題があった。
本発明は上述した背景の下になされたものであり、従来と比較して、より簡易な構成で、特定の被写体を追尾して撮影することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の好適な態様である撮影装置は、撮影範囲が設定され、該撮影範囲内の映像を表す映像データを出力する撮影手段と、前記撮影手段の周囲でマイクロホン毎に音声を収音し、音声データとして出力する複数のマイクロホンと、前記複数のマイクロホンのそれぞれから出力される音声データを解析し、解析結果に応じて音源の方向を１又は複数推定する推定手段と、前記推定手段により推定された音源の方向のうちの少なくともいずれか一つを特定する特定手段と、前記マイクロホン毎の音声データを解析し、解析結果に応じて前記特定手段により特定された音源の方向の遷移を検出する検出手段と、前記撮影手段の前記撮影範囲を、前記検出手段により検出された音源の方向を含む範囲に変更する撮影範囲変更手段とを具備することを特徴とする。
【０００５】
上述の態様において、前記撮影範囲変更手段により前記撮影範囲が変更されたときに、前記撮影手段から出力される映像データを所定の記憶手段に記憶する映像データ記憶制御手段を具備してもよい。
【０００６】
また、上述の態様において、前記推定手段は、前記マイクロホン毎の音声データの相関に基づいて、前記撮影手段の周囲における音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を前記音源の方向として推定してもよい。
【０００７】
また、上述の態様において、前記撮影範囲変更手段は、前記方向推定手段により推定された音源の方向が前記撮影範囲に含まれるように、前記撮影手段の向きを変更してもよい。
また、上述の態様において、前記検出手段は、前記推定手段により算出された音圧の分布における音圧のピークの遷移を検出してもよい。
【０００８】
また、上述の態様において、音声の特徴を表す照合用データを記憶する照合用データ記憶手段と、前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段とを具備し、前記特定手段は、前記方向別音声データ生成手段により生成された方向別音声データを、前記照合用データ記憶手段に記憶された照合用データと照合し、両者の一致度に基づいて前記音源の方向を特定してもよい。
【０００９】
また、上述の態様において、前記複数のマイクロホン毎の音声データから、前記特定手段により特定された方向に対応した音声データを照合用データとして生成する照合用データ生成手段と、前記マイクロホン毎の音声データから、前記推定手段により推定された方向のそれぞれに対応した方向別音声データを生成する方向別音声データ生成手段とを具備し、前記検出手段は、前記方向別音声データ生成手段により生成された方向別音声データのそれぞれを前記照合用データ生成手段により生成された照合用データと照合し、その一致度に基づいて前記音源の方向の遷移を検出してもよい。
また、上述の態様において、前記特定手段は、操作手段から出力される信号に応じて前記音源の方向を特定してもよい。
【００１０】
また、上述の態様において、前記照合用データは、特定の個人の声の特徴情報を含んでもよい。
また、上述の態様において、前記方向別音声データ生成手段は、前記推定手段により推定された方向からのそれぞれについて、該方向からの音圧が高くなるようにミキシングして方向別音声データを生成してもよい。
【００１１】
また、上述の態様において、前記方向別音声データ生成手段は、独立成分分析を用いて前記音声データから音源に対応する音声データを推定することで方向別音声データを生成してもよい。
また、上述の態様において、前記推定手段は、独立成分分析を用いて音源の方向を推定してもよい。
【発明の効果】
【００１２】
本発明によれば、従来と比較して、より簡易な構成で、特定の被写体を追尾して撮影することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明の実施形態について説明する。
＜Ａ：構成＞
図１は、この発明の一実施形態である撮影装置１のハードウェア構成を示すブロック図であり、図２は撮影装置１の外観を示す斜視図である。撮影装置１は、静止画や動画を撮影する機能を備えた装置であり、例えばデジタルカメラである。図１において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介して撮影装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネル等を備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、撮影装置１の利用者による操作に応じた信号を制御部１１に出力する。操作部１４は、十字キー（図示略）や、録音を開始・終了させるための録音ボタンＢ１、静止画像の撮影及び動画像の撮影を開始・終了させるための撮影ボタンＢ２等の各種のボタンを備えており、撮影装置１の利用者は、これらのボタンを押下することで、静止画像の撮影や動画像の撮影等の各種の操作を行うことができる。なお、静止画の撮影と動画像の撮影との切替は、撮影装置１に設けられた切替スイッチ（図示略）によって切り替えられるようになっている。
【００１４】
撮影部１８は、撮影用レンズ１８ａ等を備え、撮影し、撮影した映像を表す映像データを出力する。撮影部１８は、撮影用レンズ１８ａを前後に移動させることによって撮影範囲を変更可能である。撮影装置１の利用者は、操作部１４の十字キー等を用いて撮影部１８の撮影範囲を設定できるようになっており、撮影部１８は、操作部１４からの信号に応じて、撮影用レンズ１８ａを移動させて撮影範囲を設定する。なお、本実施形態に係る映像データは静止画像を表すデータや動画像を表すデータを含む。
【００１５】
マイクロホンアレイＭＡは、複数のマイクロホン１５１，１５２，…，１５ｎ（ｎは２以上の自然数）が列状に配置されて構成されている。図２に示すように、撮影装置１の前面（撮影用レンズ１８ａが設けられている面と同じ面）に、複数のマイクロホン１５１，１５２，…，１５ｎが列状に配置されており、これら複数のマイクロホン１５１，１５２，…１５ｎは、撮影装置１の周囲で収音する。なお、これらの複数のマイクロホン１５１，１５２，…，１５ｎは指向性マイクロホンであることが望ましい。以下の説明では、マイクロホン１５１，１５２，…，１５ｎを各々区別する必要がない場合には、これらを「マイクロホン１５」と称して説明する。マイクロホン１５は、収音し、収音した音声を表すアナログ信号を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するアナログ信号をＡ／Ｄ変換してデジタルデータを生成する。また、音声処理部１６は、制御部１１の制御の下、デジタル形式の音声データをＤ／Ａ変換してアナログ信号を生成し、生成したアナログ信号をスピーカ１７に出力する。スピーカ１７は、音声処理部１６から供給されるアナログ信号に応じた強度で放音する放音手段である。
【００１６】
なお、この実施形態では、マイクロホン１５とスピーカ１７とが撮影装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３、操作部１４、撮影部１８についても同様であり、撮影装置１に内蔵される形式であってもよく、外付けされる形式であってもよい。
【００１７】
記憶部１２は、図示のように、照合用データ記憶領域１２１と、動画データ記憶領域１２２とを有している。照合用データ記憶領域１２１には、予め録音された特定の人物の音声の特徴（周波数特性等）を表す照合用データが記憶されている。この照合用データは、制御部１１が後述する照合処理を行う際に用いられるデータである。なお、以下の説明では、説明の便宜上、照合用データ記憶領域１２１に記憶された照合用データの表す音声を「特定音声」と称することとする。動画データ記憶領域１２２には、撮影部１８から出力される映像データとマイクアレイＭＡが収音された音声を表す音声データとを含む動画データが記憶される。操作部１４の撮影ボタンＢ２が撮影者によって操作されることにより撮影が行われると、制御部１１は、撮影部１８から出力される映像データとマイクアレイＭＡが収音した音声を表す音声データとを含む動画データをこの動画データ記憶領域１２２に記憶する。
【００１８】
撮影装置１は、図２に示すように、回動機構７０に取り付けられている。回動機構７０は机等の台６１に設置されており、撮影装置１は、回動機器７０によって矢印Ｐ方向に回動可能となっている。図３は、回動機構７０の構成の一例を示す図である。回動機構７０は、図示のように、回動部７１と固定部７２とを有している。回動部７１は撮影装置１に固定される。固定部７２には軸７２１が設けられており、この軸７２１が回動部７１の軸受７１１に差し込まれ、回動部７１は軸７２１で回動可能に支持される。固定部７２には駆動歯車７２２と、この駆動歯車７２２を回転させるモータ７２３とが設けられている。モータ７２３は、制御部１１の制御の下に駆動歯車７２２を回転させる。駆動歯車７２２が回転することにより、駆動歯車７２２とかみ合った受動歯車７１２が回転され、これにより、モータ７２３の駆動により回動部７１が軸７２１を中心に回転する。
【００１９】
＜Ｂ：動作＞
＜Ｂ−１：照合用データ登録動作＞
次に、この実施形態の動作について説明する。まず、撮影装置１の利用者は、操作部１４を操作して、照合用データを登録するための操作を行う。撮影者が録音ボタンＢ１を押下して録音を開始すると、操作部１４は、操作された内容に応じた操作信号を出力し、制御部１１は、操作部１４から供給される信号に応じて、音声処理部１６を制御して録音を開始する。利用者の音声はマイクロホン１５で収音されて音声信号に変換され、音声処理部１６へ出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルデータ（以下「音声データ」という）に変換する。制御部１１は、音声処理部１６から出力される音声データに所定のフィルタリング処理等を施して、音声データから音声の特徴を表す特徴データを生成し、生成した特徴データを照合用データとして照合用データ記憶領域１２１に記憶する。利用者が録音ボタンＢ１を押下して録音を終了させる操作を行うと、制御部１１は、操作部１４から供給される信号に応じて録音を終了する。
【００２０】
＜Ｂ−２：撮影動作＞
次に、撮影装置１が行う撮影動作について説明する。撮影装置１は、動画撮影モードと、静止画撮影モードと、自動撮影モード、との３つのモードを切り替えることができる。利用者は、撮影装置１の操作部１４を操作して、撮影モードを切り替えることができる。制御部１１は、操作部１４から出力される信号に応じて、選択されたモードの撮影処理を行う。以下では、自動撮影モードが選択された場合の動作について説明する。なお、動画撮影や静止画撮影の動作については、従来の撮影装置の動作と同様であり、ここではその詳細な説明を省略する。
【００２１】
図４は、撮影装置１が行う撮影処理の流れを示すフローチャートである。撮影者が撮影装置１の電源をオンにして、自動撮影モードを選択することにより、図４に示す処理が開示される。自動撮影モードが選択されると、制御部１１は動画像の撮影を開始する。マイクロホン１５は収音した音声を音声信号に変換し、音声処理部１６へ出力する。音声処理部１６は、マイクロホン１５から出力される音声信号を音声データに変換する。制御部１１は、複数のマイクロホン１５のそれぞれに対応する音声データをミキシングして、全体の音声を表す全体音声データを生成し、生成した全体音声データと、撮影部１８から出力される映像データとをあわせて動画データとして動画データ記憶領域１２２に記憶する。
【００２２】
また、制御部１１は、マイクロホン１５毎の音声データを解析し、解析結果に応じて音源の方向（以下「音源方向」）を推定する（ステップＳ１）。ここでは、制御部１１は、複数のマイクロホン１５のそれぞれから出力された音声信号の音圧を検出し、検出したマイクロホン１５毎の音圧の相関に基づいて音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を音源の方向として推定する。この推定処理の具体的な内容の一例について、図５を参照しつつ説明する。
【００２３】
図５は、制御部１１が算出する音圧の分布の一例を示す図である。図において、横軸はマイクアレイＭＡの中心方向に対する角度を示し、縦軸は音圧を示す。或る音源で発生した音波が複数のマイクロホン１５のそれぞれに到達するまでの時間は、撮影装置１からみた音源の方向（角度）によってそれぞれ異なる。この原理を利用して、この動作例では、所定単位量の角度毎に、角度に応じた遅延時間をマイクロホン１５毎に予め設定しておき、制御部１１は、マイクロホン１５毎の音声データを各マイクロホン１５に応じた遅延時間だけそれぞれ遅延させ、遅延させたマイクロホン１５毎の音声データをミキシングして、各角度に対応する音圧を算出する。次いで、制御部１１は、算出した角度毎の音圧（すなわち音圧の分布）においてピークが表れる角度を１又は複数検出し、検出した角度を音源の方向とする。図５に示す例においては、制御部１１は、音圧のピークが表れる角度θ１、θ２、θ３を音源方向として推定する。
【００２４】
次いで、制御部１１は、推定した音源方向のうちの少なくともいずれか一つを、特定の被写体がいる方向（以下、「特定方向」という）として特定する。この動作例では、制御部１１は、まず、複数のマイクロホン１５毎の音声データを、所定単位量の角度毎に、各角度からの音声の音圧が高くなるようにミキシングして、角度毎の音声データ（以下「方向別音声データ」という）を生成する（ステップＳ２）。次いで、制御部１１は、生成した方向別音声データに所定のフィルタ処理等を施して音声の特徴を表す特徴データを生成し、生成した特徴データを、照合用データ記憶領域１２１に記憶された照合用データと照合し、その一致度が最も高い方向を特定方向として特定する（ステップＳ３）。
【００２５】
特定方向を特定すると、制御部１１は、回動機構７０のモータ７２３を制御して、撮影装置１の撮影範囲に特定方向が含まれるように、撮影装置１の向きを変更する（ステップＳ４）。このとき、制御部１１は、撮影装置１の撮影範囲の中央方向が特定方向と一致するように、撮影装置１の向きを変更するようにしてもよい。
【００２６】
制御部１１は、撮影部１８から出力される映像データとマイクロホン１５が収音した音声を表す音声データを含む動画データを、動画データ記憶領域１２２に出力する（ステップＳ５）。次いで、制御部１１は、撮影を終了するか否かを判定し（ステップＳ６）、判定結果が肯定的である場合には（ステップＳ６；ＹＥＳ）、撮影を終了する（ステップＳ７）。一方、判定結果が否定的である場合には（ステップＳ６；ＮＯ）、制御部１１は撮影を継続して行う。
【００２７】
制御部１１は、撮影中において、マイクロホン１５毎の音声データを解析し、解析結果に応じて特定方向の遷移を検出する（ステップＳ８）。この動作例では、制御部１１は、マイクロホン１５毎の音声データの音圧の相関に基づいて、方向に対する音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を、所定単位時間（例えば、１０ｍｓ、等）毎に検出する。そして、制御部１１は、音圧のピークの遷移を検出し、検出結果に応じて特定方向の遷移を検出する。特定方向の遷移の検出の態様としては、例えば、制御部１１は、音圧のピークを検出し、検出したピークの角度と前回に検出したピークの角度との差分が予め定められた閾値以下である場合に、前回のピーク位置の音源が移動したと判断する。具体的には、例えば、図５に示す例において、角度θ２が特定方向として特定されている場合において、図５に示す状態の所定単位時間経過後に、音圧分布が、図６に示すものに遷移したとする。このとき、図６に示す角度θ２１と図５に示す角度θ２との差分が予め定められた閾値以下である場合には、制御部１１は、図５に示す時刻において角度θ２の方向にあった音源が、角度θ２１の方向に移動したと判断し、角度θ２１を特定方向として検出する。
【００２８】
このように、制御部１１は、所定単位時間毎に音圧のピークを検出し、検出したピークの方向と特定方向との差分に応じて特定方向の移動を検出する。制御部１１は、撮影している期間にわたってこの移動の検出を逐次行い、検出結果に応じて回動機構７０を制御して撮影装置１の方向を特定方向に追尾して変更する。これにより、特定の被写体が移動した場合であっても、特定の被写体の方向を追尾して撮影を行うことができる。
【００２９】
以上のようにして、撮影装置１は、特定方向の遷移に追尾して撮影部１８の撮影範囲を変更し、撮影範囲内の映像の映像データを生成するとともに、撮影範囲内の全体の音声を表す音声データを生成し、これらのデータを含む動画データを動画データ記憶領域１２２に記憶する。
【００３０】
＜Ｃ：実施形態の効果＞
以上説明したように本実施形態によれば、制御部１１が、被写体（音源）の方向を複数推定し、推定した複数の音源方向から利用者が所望する音源を特定し、特定した方向が撮影範囲に含まれるように撮影装置１の向きを変更する。これにより、撮影者は、或る特定の被写体（例えば、自分の家族、自分の好きな鳥、等）を追尾して撮影を行うことができる。
【００３１】
また、本実施形態では、制御部１１が、音源の方向の遷移を検出するから、これにより、撮影者は、撮影したい被写体が移動した場合であっても、その移動を追尾しつつ、所望する被写体を撮影範囲に含めて撮影することができる。
【００３２】
また、この実施形態では、マイクアレイＭＡを用いて音源方向を特定するから、被写体に発信機をつけたり撮影装置１に発信機からの信号を受信するための受信部を別途設けたりする必要がなく、従来と比較してより簡易な構成で、特定の被写体を追尾して撮影することができる。
【００３３】
また、本実施形態によれば、マイクロホン１５毎の音圧の相関に基づいて、方向に対する音圧の分布を算出し、算出した分布において音圧のピークが表れる方向を、音源の方向として推定する。このように音圧の分布によって音源の方向を推定するから、複雑な処理を行うことなく音源の方向を推定することができる。また、音源方向の推定処理に要する処理時間を短くすることができる。
【００３４】
また、本実施形態によれば、所定単位量の角度毎に方向別音声データを生成し、生成した各方向別音声データを照合用データ記憶領域１２１に記憶された照合用データと照合し、その一致度に基づいて方向を特定する。すなわち、所望する被写体の音声を撮影装置１に登録しておくだけで、撮影装置１が、登録された被写体を追尾して撮影するから、これにより、撮影者は、所望の被写体が移動するたびにその都度撮影装置１を移動させたり撮影装置１の向きを変えたりするといった複雑な操作を行う必要がない。
【００３５】
ところで、撮影したい被写体の位置を撮影者が容易に特定できない場合がある。例えば、木に止まって鳴いているセミを撮影したい場合や、林の中で特定の野鳥を撮影したい場合等においては、被写体（セミや鳥等）がどこにいるのかを特定することが困難である場合が多く、また、被写体を見つけたとしても被写体がすぐに移動してしまい、再度被写体を見失ってしまう場合が多い。また、例えば、子供の運動会や学芸会において、撮影者が撮影したい自身の子供を大勢の児童の中から見つけだすことは困難である場合が多く、自身の子供を捜している間に重要なシャッターチャンスを逃してしまう場合があった。従来の技術では、撮影開始時に被写体を画像解析により認識する方法があるが、画像解析により認識することが困難な被写体（セミ、鳥、同じ体操服を着た児童の中に子供、等）については適用することができなかった。
それに対しこの実施形態では、被写体の音声を照合して被写体の方向を特定するから、これにより、被写体が視認しにくい場合であっても、被写体を追尾して撮影することができる。なお、マイクロホン１５の周波数特性は人間の可聴領域を超える範囲であってもよく、例えば超音波に対しても適用可能である。
【００３６】
＜Ｄ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）音源方向の推定は、独立成分分析（Independent Component Analysis）を用いてもよい。独立成分分析は、複数の信号源からの各信号が空間内で混合されて複数のセンサに到来し、これらセンサで観測された到来信号から、各源信号の到来方向の推定や各源信号を分離することを、その源信号の混合系の情報を知らずに行うものであり、例えば特許３８８１３６７（特許文献３）の背景技術に記載されている。また、特許文献３に記載されている信号源の到来方向を求める技術を用いても良い。
【００３７】
（２）方向別音声データまたは特定方向音声データの生成方法は、上述の実施形態に記載された方法に限らず、前述の独立成分分析を用いてマイクロホン１５の音声データから音源に対応する音声データを推定することで求めてもよい。また、特許文献３に記載されている技術を用いても良い。
【００３８】
（３）照合用データが記憶する音声の特徴は、個人の声の特徴（声紋など）であってもよい。制御部１１は、方向別音声データを解析し、特定の個人の声の特徴が検出されたか否かを判定することで、音源の方向を特定するようにしてもよい。
【００３９】
（４）上述の実施形態では、制御部１１が、特定方向が撮影範囲に含まれるように撮影装置１の向きを変更するようにしたが、これに変えて、特定方向を撮影者に報知するようにしてもよい。具体的には、例えば、撮影装置１が撮影社に特定方向を案内するための音声メッセージを出力してもよく、また、例えば、表示部１３に特定方向を報知するメッセージを表示するようにしてもよい。また、例えば、撮影装置１の内部に、水平方向に回転する振動子を設け、撮影装置１の撮影範囲の中心方向から特定方向へ回転する向きに振動子を回転させることによって、特定方向を振動によって撮影者に報知するようにしてもよい。
【００４０】
（５）上述の実施形態では、制御部１１がモータ７２３を駆動して撮影装置１の向きを変更するようにしたが、撮影範囲の変更の態様はこれに限らず、例えば、図７に示すように、撮影用レンズ１８ｂやＣＣＤ１８ｃ等を含む撮影部１８Ａを図中Ｐ方向に回動させる回動機構を撮影装置１Ａに設ける構成とし、撮影部１８Ａを回動させることによって撮影範囲を変更するようにしてもよい。図７に示す例において、回動部７５はローラ７６ａ，７６ｂ，７６ｃによって撮影装置１Ａに回動可能に支持されており、この回動部７５に撮影部１８Ａが固定されている。回動部７５の回動に伴って撮影部１８Ａが回動する。モータ７７は、制御部１１の制御の下にローラ７８を回転させ、ローラ７８の回転に伴って回動部７５が回転する。なお、撮影部１８Ａを回動させる構成はこれに限らず、他の回動機構を用いて撮影部を回動させるようにしてもよい。
このように、撮影装置の撮影範囲を変更する態様としては、撮影装置本体を回動させるようにしてもよく、また、撮影機構を回動させるようにしてもよく、要は、制御部１１が、発音有りと判定された方向が撮影範囲に含まれるように、撮影範囲を変更するように撮影装置１を制御すればよい。
【００４１】
（６）上述の実施形態では、制御部１１は、音圧の分布における音圧のピークが表れる方向の遷移を検出することによって、被写体の移動を検出したが、これに代えて、制御部１１が、所定単位量の方向毎に、各方向からの音声の音圧が高くなるようにミキシングして方向別音声データを生成し、生成した方向別音声データのそれぞれを記憶された照合用データと照合し、その一致度に基づいて被写体（音源）の方向の遷移を検出するようにしてもよい。このとき、照合用データとしては、上述の実施形態の照合用データ記憶領域１２１に記憶した照合用データと同様のものを用いてもよい。すなわち、音声データにフィルタリング処理を施して音声の特徴を抽出した特徴データを照合用データとして用い、制御部１１が、方向毎の音声データにフィルタリング処理を施して音声の特徴を抽出し、抽出した特徴を表す特徴データと照合用データとを照合し、一致度に基づいて特定の被写体の方向の遷移を検出してもよい。
【００４２】
（７）上述の実施形態では、制御部１１が、音源方向毎の音声データを、照合用データ記憶領域１２１に記憶された照合用データと照合し、その一致度に基づいて特定方向を特定するようにした。これに代えて、撮影者が表示部１３に表示された被写体の位置を視認して撮影したい被写体の方向を操作部１４を操作して入力するようにしてもよい。具体的には、例えば、制御部１１が、図４のステップＳ１に示した音源方向推定処理を終えた後に、音源方向推定処理によって推定された音源方向を表示部１３に表示することによって撮影者に報知し、撮影者が、表示部１３に表示された音源方向のいずれかを操作部１４を用いて選択するようにしてもよい。この場合は、制御部１１は、操作部１４からの操作信号に応じて、推定した音源方向のうち、撮影者によって選択された音源方向を特定方向として特定する。
【００４３】
このように、制御部１１が、音源方向毎の音声データを解析することによって複数の音源方向から特定方向を特定するようにしてもよく、また、操作部１４からの操作信号に応じて特定方向を特定するようにしてもよく、要は、制御部１１が、推定した音源方向のうちの少なくともいずれか一つを特定するようにすればよい。
また、上述の実施形態では、制御部１１は、一つの特定方向を特定したが、特定方向を複数特定するようにしてもよい。
【００４４】
また、特定方向の特定方法として、例えば、撮影者が任意の方向を選択できるようにしてもよい。この場合は、撮影者は、操作部１４を用いて収音したい方向を指定する操作を行い、制御部１１が、操作部１４からの信号に応じて、指定された方向を特定方向として、その方向からの音声を表す特定音声データを生成するようにしてもよい。具体的には、例えば、周囲の騒音が大きいために被写体の方向でピークが検出され得ないような場合においては、撮影者が収音したい方向を指定することで、撮影装置１がより好適に特定方向音声データを生成することができる。
【００４５】
また、撮影者が収音したい方向を指定するモードと、上述の実施形態で示したような撮影装置１が特定方向を自動的に検出するモードとを、撮影者が操作部１４を用いて選択できるようにしてもよい。この場合は、制御部１１は、操作部１４からの操作信号に応じて、選択されたモードに応じて特定方向の特定処理や特定方向音声データ生成処理等を行う。
【００４６】
（８）上述の実施形態では、図２に示すような、複数のマイクロホン１５が列状に配置されて構成されたマイクアレイを備える撮影装置１について説明したが、マイクロホン１５の配置態様はこれに限らず、例えば、マイクロホン１５が面状（２次元状）に配置されて構成されたマイクアレイを備える構成としてもよい。また、例えば、図８に示すような、撮影装置１の前面及び側面に３次元状に配置されて構成されたマイクアレイを備える構成としてもよい。この場合は、撮影装置１Ａは、音源の角度として、ｘ軸方向（図８参照）の角度だけでなく、ｙ軸方向及びｚ軸方向（図８参照）の角度をも推定することができるから、音源の方向を３次元で推定することができ、より詳細な方向を推定することができる。また、この場合は、より広い範囲で音源を検出することができる。
【００４７】
また、マイクロホンが２次元や３次元に配置されて構成されたマイクアレイを備える撮影装置を用いる場合には、撮影装置を水平方向（図８における矢印Ｐ方向）に回転させるに加えて、垂直方向（図８における矢印Ｑ方向）に回転させる回動機構７０Ａを備える構成としてもよい。
【００４８】
また、上述の実施形態におけるマイクロホン１５は、小型のシリコンマイクを用いるようにしてもよい。また、通常の音波に加えて超音波を収音可能な小型のシリコンマイクを用いる構成とし、超音波を発信する超音波タグを被写体に装着させ、この超音波タグから発信される超音波をシリコンマイクが受信し、制御部１１が、シリコンマイクが受信した超音波に基づいて被写体の方向を特定するようにしてもよい。この場合は、被写体に超音波タグを装着させる必要があるものの、録音するためのマイクアレイを超音波の受信器として併用することができるため、簡易な装置構成で被写体の方向を特定することができる。
【００４９】
（９）上述の実施形態では、動画データを記憶する記憶手段としてハードディスク装置等の記憶部１２を用いたが、動画データを記憶する記憶手段はハードディスク装置に限らず、例えば、ＳＤカード、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ等の記録媒体であってもよく、要は、制御部１１が、動画データを、コンピュータが読取可能な記録媒体に記録するようにすればよい。また、制御部１１が動画データを通信ネットワークを介して所定のサーバ装置に出力するようにしてもよい。
【００５０】
（１０）上述の実施形態では、撮影装置１が、上記実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークや通信Ｉ／Ｆ等で接続された２以上の装置で上記実施形態に係る処理を分担して実行するようにし、それら複数の装置を備えるシステムが同実施形態の撮影装置１を実現するようにしてもよい。具体的には、例えば、デジタルカメラとコンピュータ装置とがＵＳＢ等の通信Ｉ／Ｆを介して接続されたシステムとして構成されていてもよい。
【００５１】
（１１）上述の実施形態では、撮影装置１の制御部１１は、音圧分布を算出してピーク値が表れる角度を音源方向として推定した。音源方向の推定方法はこれに限らず、例えば、所定単位量の角度毎に音圧を検出し、検出した音圧が予め定められた閾値以上となる角度を音源方向として検出するようにしてもよく、要は、制御部１１が、マイクロホン１５から出力される音声データの音圧を所定単位量の角度毎に検出し、検出した角度毎の音圧から音源方向を推定するようにすればよい。
【００５２】
また、上述の実施形態では、音声データの音圧に基づいて音源方向を推定したが、これに限らず、方向毎の音声データの周波数特性を検出し、検出した周波数特性に基づいて音源方向を推定してもよい。
このように、音源方向は、音声データの音圧に基づいて検出してもよく、また、周波数に基づいて検出するようにしてもよく、要は、制御部１１が、マイクロホン１５から出力される音声データを音声解析し、解析結果に応じて音源方向を推定するものであればよい。
【００５３】
また、制御部１１が撮影部１８から出力される映像データを画像解析して人物抽出（又は顔抽出）処理を行い、抽出した人物（又は顔）の位置に対応する方向を音源方向として推定するようにしてもよい。また、上述の音声解析とこの画像解析とを併用して音源方向を推定するようにしてもよい。このように音声解析結果に加えて画像解析結果を用いることで、音源推定処理の精度を高くすることができる。
【００５４】
（１２）上述の実施形態では、制御部１１は、音源方向からの音声を表す音声データの特徴を表す特徴データと、照合用データ記憶領域１２１に記憶された照合用データとを照合し、その一致度に基づいて特定方向を特定するようにしたが、特定方向の特定方法はこれに限らず、例えば、特定の被写体の画像を表すデータを照合用データとして照合用データ記憶領域１２１に予め記憶しておき、制御部１１が、撮影部１８から出力される映像データを画像解析し、解析結果に応じて人物抽出（又は顔抽出）処理を行い、抽出した人物（又は顔）の画像データと照合用データ記憶領域１２１に記憶された照合用データとを照合して、その一致度に基づいて特定方向を特定するようにしてもよい。
【００５５】
また、上述の実施形態では、制御部１１が、マイクロホン１５で収音した音声を表す音声データにフィルタリング処理等を施して音声の特徴を表す特徴データを生成し、生成した特徴データを照合用データとして用いたが、これに限らず、マイクロホン１５で収音した音声を表す音声データをそのまま照合用データとして用いてもよい。
【００５６】
（１３）また、上述の実施形態において、制御部１１が音源（被写体）にピントを合わせるように撮影部１８を制御するようにしてもよい。この場合は、例えば、制御部１１が、複数の異なるマイクロホン１５（例えば、図２に示すマイクロホン１５１とマイクロホン１５ｎ）が収音した音声を表す音声データを解析し、音が複数のマイクロホン１５のそれぞれに到達する時間差を算出し、算出した時間差を用いて撮影装置１と音源との距離を算出し、算出結果に応じてフォーカス制御を行うようにしてもよい。
【００５７】
また、撮影装置１が、音源の方向にカメラの方向を変更するとともに、被写体の接近や遠ざかりに応じて、ズームインやズームアウトを自動的に行うようにしてもよい。この場合、制御部１１が、上述の処理によって撮影装置１と音源との距離を算出し、算出した距離に応じて自動的にズームアップ（例えば、人の顔がアップになる様に）するように制御してもよい。
【００５８】
（１４）上述の実施形態では、本発明に係る撮影装置をデジタルカメラに適用した例について説明したが、本発明に係る撮影装置が適用される装置はデジタルカメラに限らず、例えば、パーソナルコンピュータ、携帯通信端末、コンピュータゲーム機等であってもよく、本発明に係る撮影装置は様々な装置に適用可能である。
【００５９】
（１５）上述の実施形態における撮影装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどのコンピュータが読取可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で撮影装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００６０】
【図１】撮影装置のハードウェア構成の一例を示すブロック図である。
【図２】撮影装置の外観の一例を示す斜視図である。
【図３】回動機構の構成の一例を示す図である。
【図４】撮影装置が行う撮影処理の流れを示すフローチャートである。
【図５】制御部が算出する音圧分布の一例を示す図である。
【図６】制御部が算出する音圧分布の一例を示す図である。
【図７】回動機構の構成の一例を示す図である。
【図８】撮影装置の外観の一例を示す斜視図である。
【符号の説明】
【００６１】
１…撮影装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１８…撮影部、１２１…照合用データ記憶領域、１２２…動画データ記憶領域。
【図１】
2009239346.tif 000003
【図２】
2009239346.tif 000004
【図３】
2009239346.tif 000005
【図４】
2009239346.tif 000006
【図５】
2009239346.tif 000007
【図６】
2009239346.tif 000008
【図７】
2009239346.tif 000009
【図８】
2009239346.tif 000010