(57)【要約】【課題】撮像領域を可変とした撮像装置において撮像領域を適切に変更できるようにする。【解決手段】ネットワークカメラ１００において、システム制御部１２０は、マイクロフォンユニット１１０により集音した音声が所定の特徴を有するか否かを判定する。音声が所定の特徴を有する場合、音源方向特定部１１２は、音声の音源方向を特定する。そして、音声強調部１１３は、マイクロフォンユニット１１０を用いてビームフォーミングを行い、特定した音源方向の音声を強調する。また、撮像領域設定部１０２は、ＰＴＺ機能により、特定した音源方向を含むように撮像領域を変更する。その後、システム制御部１２０は、撮像画像に所定の時間だけ変化がなく、また、音源方向で所定の特徴を有する音声が検出されない状態が所定の時間だけ継続したとき、元の撮像領域に戻す。【選択図】図１
2020017904.tif 000002
【特許請求の範囲】
【請求項１】
撮像部による撮像領域を可変とした撮像装置を制御する撮像装置の制御装置であって、
マイクロフォンにより集音した音声に所定の特徴を有する音声が含まれるとき、前記所定の特徴を有する音声の音源方向を特定する音源方向特定手段と、
前記音源方向特定手段により特定した前記音源方向に応じて、所定の方向の音声を強調する音声強調手段と、
前記音源方向特定手段により特定した前記音源方向に応じて、撮像領域を第１の撮像領域に変更し、その後、前記音声強調手段により強調した前記所定の方向の音声に基づいて、前記第１の撮像領域から第２の撮像領域に変更するよう制御する制御手段とを備えたことを特徴とする撮像装置の制御装置。
【請求項２】
前記制御手段は、更に前記撮像部による撮像画像に基づいて、前記第１の撮像領域から前記第２の撮像領域に変更するよう制御することを特徴とする請求項１に記載の撮像装置の制御装置。
【請求項３】
前記撮像部による撮像画像に所定の時間だけ変化がないことを、前記第２の撮像領域に変更する条件とすることを特徴とする請求項２に記載の撮像装置の制御装置。
【請求項４】
前記音声強調手段により強調した前記所定の方向で、前記所定の特徴を有する音声が検出されない状態が所定の時間だけ継続することを、前記第２の撮像領域に変更する条件とすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置の制御装置。
【請求項５】
前記制御手段が、前記第２の撮像領域に変更した後、所定の条件を満たしたとき、前記音声強調手段は、音声の強調を停止することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置の制御装置。
【請求項６】
前記音声強調手段が、前記所定の方向の音声を強調した後、所定の条件を満たしたとき、前記制御手段は、前記第１の撮像領域に変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置の制御装置。
【請求項７】
前記第１の撮像領域は、前記音源方向特定手段により特定した前記音源方向の撮像領域であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置の制御装置。
【請求項８】
前記第２の撮像領域は、前記第１の撮像領域に変更する前の、元の撮像領域であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置の制御装置。
【請求項９】
前記所定の特徴は、音声の周波数及び音圧のうち少なくともいずれか一方によって定められることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置の制御装置。
【請求項１０】
撮像部による撮像領域を可変とした撮像装置を制御する撮像装置の制御方法であって、
マイクロフォンにより集音した音声に所定の特徴を有する音声が含まれるとき、前記所定の特徴を有する音声の音源方向を特定する音源方向特定ステップと、
前記音源方向特定ステップにより特定した前記音源方向に応じて、所定の方向の音声を強調する音声強調ステップと、
前記音源方向特定ステップにより特定した前記音源方向に応じて、撮像領域を第１の撮像領域に変更し、その後、前記音声強調ステップにより強調した前記所定の方向の音声に基づいて、前記第１の撮像領域から第２の撮像領域に変更するよう制御する制御ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１１】
撮像部による撮像領域を可変とした撮像装置を制御するためのプログラムであって、
マイクロフォンにより集音した音声に所定の特徴を有する音声が含まれるとき、前記所定の特徴を有する音声の音源方向を特定する音源方向特定手段と、
前記音源方向特定手段により特定した前記音源方向に応じて、所定の方向の音声を強調する音声強調手段と、
前記音源方向特定手段により特定した前記音源方向に応じて、撮像領域を第１の撮像領域に変更し、その後、前記音声強調手段により強調した前記所定の方向の音声に基づいて、前記第１の撮像領域から第２の撮像領域に変更するよう制御する制御手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の制御装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、インターネットやイントラネットを利用したネットワークカメラシステムが普及している。ネットワークカメラシステムでは、カメラで撮像した映像や、カメラに内蔵又は外付けのマイクロフォンで収録した音声を、ネットワークを介してパーソナルコンピュータ等に送信し、パーソナルコンピュータに備えられたモニタやスピーカー等で確認することができる。カメラにパン・チルト・ズーム（以下、ＰＴＺと称する）機能がある場合、モニタを確認しながら、ユーザがカメラを遠隔操作することも可能である。また、カメラを複数の場所に設置すれば、複数の場所の監視を１台のモニタで行うことも可能である。このようにしたネットワークカメラシステムを利用したテレビ会議システムやライブストリーミングカメラのように、映像と音声を利用する機種も存在する。
【０００３】
例えば特許文献１には、赤外線カメラにて撮影した画像から道路以外の領域を検出し、道路以外の領域の中から、人物の検出結果に基づいて集音すべきターゲット領域を求め、当該ターゲット領域の方向を集音方向として決定し、集音方向に指向性マイクを向けるようにした技術が開示されている。
非特許文献１には、複数のマイクロホンを用いた収音装置を用いて収音した複数チャネルの信号を利用して音源分離を行う技術が開示されており、指向性（方向に関する選択性）を制御する信号処理技術（ビームフォーミング）について記載されている。
特許文献２には、監視カメラを備えたネットワークカメラシステムにおいて、複数のマイクを用いてビームフォーミングを行い、特定の範囲の音を強調するようにした技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５３９５７１６号公報
【特許文献２】特開２０１２−２９２０９号公報
【非特許文献】
【０００５】
【非特許文献１】電子情報通信学会『知識の森』２群-６編-２章  音源分離  http://www.ieice-hbkb.org/files/02/02gun_06hen_02.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば監視カメラにおいて、人の声やガラスの破壊音等の音声を検出したとき、ＰＴＺ機能により、その音声が発生した方向（本願において「音源方向」と呼ぶ）を撮像するように撮像領域を変更する構成が実現可能である。
この場合に、音源方向を撮像するように撮像領域を変更した後、どういった条件やタイミングで元の撮像領域に戻すかを定める必要がある。
例えば予め撮影しておいた過去の画像と現在の撮像領域の画像とを比較して、その変化の有無に基づいて、元の撮像領域に戻すことを判定する構成が考えられる。しかしながら、元々あった物体の配置の変更や露光条件等の変化により、適切なタイミングで元の撮像領域に戻すことができないおそれがある。
また、音声が物陰から発せられた場合等には、過去の画像と現在の撮像領域の画像とに変化はないため、音声が続いていても、元の撮像領域に戻ってしまうことになり、適切な撮像領域での撮像ができなくなるおそれがある。
【０００７】
本発明は上記のような点に鑑みてなされたものであり、撮像領域を可変とした撮像装置において撮像領域を適切に変更できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置の制御装置は、撮像部による撮像領域を可変とした撮像装置を制御する撮像装置の制御装置であって、マイクロフォンにより集音した音声に所定の特徴を有する音声が含まれるとき、前記所定の特徴を有する音声の音源方向を特定する音源方向特定手段と、前記音源方向特定手段により特定した前記音源方向に応じて、所定の方向の音声を強調する音声強調手段と、前記音源方向特定手段により特定した前記音源方向に応じて、撮像領域を第１の撮像領域に変更し、その後、前記音声強調手段により強調した前記所定の方向の音声に基づいて、前記第１の撮像領域から第２の撮像領域に変更するよう制御する制御手段とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮像領域を可変とした撮像装置において撮像領域を適切に変更することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係るネットワークカメラの機能構成例を示す図である。
【図２】実施形態に係るクライアント装置の機能構成例を示す図である。
【図３】実施形態に係るネットワークカメラのハードウェア構成例を示す図である。
【図４】実施形態に係るクライアント装置のハードウェア構成例を示す図である。
【図５】音源方向を特定することの概要を説明するための図である。
【図６】音源方向を特定することの概要を説明するための図である。
【図７】音源方向を特定することの概要を説明するための図である。
【図８】実施形態に係るネットワークカメラの制御方法を示すフローチャートである。
【図９】音源方向が撮像領域に含まれるか否かの判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１、図２を参照して、実施形態に係るネットワークカメラシステムの構成を説明する。本実施形態に係るネットワークカメラシステムは、図１に示すようにネットワークカメラ１００と、図２に示すようにクライアント装置２００とを備える。
【００１２】
ネットワークカメラ１００とクライアント装置２００とは、ＬＡＮやインターネット等のネットワーク１５０に接続されており、相互にデータ通信を行うことが可能である。ネットワーク１５０は、有線、無線のいずれであってもかまわない。また、ネットワークカメラ１００とクライアント装置２００とは、複数のネットワークを介して接続する構成にしてもよいし、ネットワークカメラ１００とクライアント装置２００との間に１つ以上の装置が介在してもよい。このようにネットワークカメラ１００とクライアント装置２００とが相互にデータ通信を行うことが可能であれば、その間のネットワーク構成は特定のネットワーク構成に限られるものではない。
【００１３】
図１を参照して、ネットワークカメラ１００の機能構成例を説明する。
ネットワークカメラ１００は、撮像部１０１と、撮像領域設定部１０２と、撮像制御部１０３とを備える。また、ネットワークカメラ１００は、マイクロフォンユニット１１０と、音声記憶部１１１と、音源方向特定部１１２と、音声強調部１１３と、音声特徴抽出部１１４と、音声処理部１１５とを備える。また、ネットワークカメラ１００は、システム制御部１２０と、通信部１２１と、メモリ１２２とを備える。
【００１４】
撮像部１０１は、レンズ、絞り及び撮像素子により構成され、被写体を含む外界の光を電気信号に変換し、変換した電気信号を画像信号として撮像制御部１０３に転送する。撮像部１０１による撮像領域は、不図示のＰＴＺ駆動部により可変となっている。
撮像領域設定部１０２は、ＰＴＺ駆動部を制御するＰＴＺ駆動制御部により構成され、その動作は、システム制御部１２０の制御下で撮像制御部１０３の制御コマンドに従って制御される。
撮像制御部１０３は、撮像部１０１から順次送出される各フレームの画像信号に対して画像信号処理を施すことで、デジタルデータとしての撮像画像を生成する。
【００１５】
マイクロフォンユニット１１０は、３つのマイクロフォンＭ1、Ｍ2、Ｍ3を備え、全方位での集音が可能である。マイクロフォンは、コンデンサマイクやＭＥＭＳマイク等で構成され、４つ以上でもかまわない。また、マイクロフォンユニット１１０は、ネットワークカメラ１００が備えるＰＴＺ駆動部等の可動部ではなく、非可動部に配置される。
音声記憶部１１１は、マイクロフォンユニット１１０により集音、出力される音声を所定のタイミングで記憶、更新する。
【００１６】
音源方向特定部１１２は、音声記憶部１１１に記憶した音声の音源方向を特定する。
音声強調部１１３は、マイクロフォンユニット１１０を用いてビームフォーミングを行い、特定の方向の音声を強調し、指向性を持たせて特定の方向の集音化を実現する。
音声特徴抽出部１１４は、マイクロフォンユニット１１０により集音、出力される音声又は音声強調部１１３からの音声から、周波数や音圧等の音声の特徴を抽出する。
【００１７】
音声処理部１１５は、マイクロフォンユニット１１０から順次出力される音声に対して音声信号処理を施すことで、デジタルデータとしての音声信号を生成する。この音声信号は、通信部１２１を介してクライアント装置２００に送信される。ユーザは、クライアント装置２００により、マイクロフォンユニット１１０により集音した音声を聞くことができる。
システム制御部１２０は、ネットワークカメラ１００の各部の制御を司る。
通信部１２１は、ネットワーク１５０を介してクライアント装置２００とのデータの送受信を行う。
メモリ１２２は、各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくために使用される。メモリ１２２は、例えばクライアント装置２００からの制御指示により静止画像、パノラマ画像、動画像等の撮像データや音声データを記憶することが可能である。また、メモリ１２２は、各種パラメータや、システム制御部１２０が実行するプログラム格納領域、プログラム実行中のワーク領域等として使用することも可能である。また、メモリ１２２は、撮像部１０１による撮像領域や、撮像制御部１０３を駆動するための制御パラメータ等を保持することも可能である。
【００１８】
システム制御部１２０は、撮像制御部１０３から順次送出される各フレームの撮像画像や音声信号を順次、通信部１２１、ネットワーク１５０を介してクライアント装置２００に送信する。また、システム制御部１２０は、ネットワーク１５０、通信部１２１を介して、クライアント装置２００から送信された各種のコマンドを受信すると、該受信したコマンドに応じた処理も実行する。例えばクライアント装置２００からカメラ制御コマンドを受信すると、システム制御部１２０は、ネットワークカメラ１００の撮像条件の設定や、撮像領域設定部１０２を介してＰＴＺ機能による撮像領域の変更の制御を行う。一例を挙げると、システム制御部１２０は、パン制御コマンドを受信すると、パン動作コマンドを撮像制御部１０３に送出する。これにより、撮像領域設定部１０２は、パン動作コマンドに従って不図示のパン駆動部を制御して、撮像部１０１のパン角を制御する。
【００１９】
図２を参照して、クライアント装置２００の機能構成の例を説明する。
クライアント装置２００は、通信部２０１と、メモリ２０２と、システム制御部２０３と、画像処理部２０４と、モニタ２０５と、カメラ制御ＵＩ処理部２０６と、入力部２０７と、スピーカー制御部２０８と、スピーカー２０９とを備える。
通信部２０１は、ネットワーク１５０を介してネットワークカメラ１００とのデータの送受信を行う。
メモリ２０２は、各処理を実行する際に一時的に若しくは恒久的に情報を格納しておくために使用される。メモリ１２２は、各種パラメータや、システム制御部２０３が実行するプログラム格納領域、プログラム実行中のワーク領域等として使用することも可能である。
システム制御部２０３は、クライアント装置２００の各部の制御を司る。システム制御部２０３は、例えばネットワークカメラ１００からネットワーク１５０を介して撮像画像等のデータが送信された場合、このデータを通信部２０１を介して受信して画像処理部２０４に転送する。また、システム制御部２０３は、カメラ制御ＵＩ処理部２０６から各種のコマンドを受けると、このコマンドを、通信部２０１、ネットワーク１５０を介してネットワークカメラ１００に送信する。
【００２０】
画像処理部２０４は、通信部２０１から撮像画像を受けると、この撮像画像に対して各種の画像処理を行った後、画像処理済みの撮像画像をモニタ２０５に送出する。これにより、モニタ２０５の表示画面上には、画像処理済みの撮像画像が表示される。
モニタ２０５は、液晶画面等により構成され、画像処理部２０４から受けた撮像画像や、各種ＵＩ（ユーザインターフェース）等、様々な情報を表示する。
カメラ制御ＵＩ処理部２０６は、ネットワークカメラ１００の撮影条件の設定やパン角やチルト角等を指示するとともに、各種ＵＩをモニタ２０５の表示画面上に表示させる。
【００２１】
入力部２０７は、キーボードやマウス等により構成され、ユーザが入力部２０７を操作することでＵＩを操作することができるとともに、各種のコマンドを入力することができる。なお、入力部２０７は、モニタ２０５のタッチパネルでもよく、ユーザはモニタ２０５のタッチパネルを直接タッチすることで直感的な操作が可能となる。
スピーカー制御部２０８は、通信部２０１から音声信号を受けると、この音声信号に対して各種の音声信号処理を行った後、音声信号処理済の音声信号をスピーカー２０９に送出する。
スピーカー２０９は、音声信号処理済の音声信号を音声に変える。
【００２２】
このように、クライアント装置２００は、ネットワークカメラ１００からネットワーク１５０を介して送信された撮像画像を取得することができるとともに、ネットワーク１５０を介してネットワークカメラ１００を制御することができる。
なお、ネットワークカメラ１００のシステム制御部１２０は、ＰＴＺの駆動範囲、すなわち全撮像領域を予め知ることが可能であり、その撮像領域はメモリ１２２に記憶されている。また、システム制御部１２０は、ＰＴＺの現在の位置する情報を知ることも可能である。これにより、全撮像領域に対する現在の撮像領域を知ることが可能であり、この情報は撮像画像と共に、撮像領域座標データとしてクライアント装置２００に送出される。クライアント装置２００のカメラ制御ＵＩ処理部２０６は、ネットワークカメラ１００の撮像画像を表示するとともに、全撮像領域座標と、現在の撮像領域座標等のＵＩをモニタ２０５の表示画面上に表示させることも可能である。
【００２３】
図３は、ネットワークカメラ１００のハードウェア構成例を示す図である。なお、図１に示した構成要素と同一の構成要素には同符号を付し、その説明を省略する。ネットワークカメラ１００は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４とを備える。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。図１で説明したネットワークカメラ１００の機能構成のうち、例えば撮像領域設定部１０２、撮像制御部１０３、音源方向特定部１１２、音声強調部１１３、音声特徴抽出部１１４、音声処理部１１５、システム制御部１２０は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。なお、一つのプロセッサ（ＣＰＵ３０１）が各種処理を実行するものとしたが、他の様態であってもかまわない。例えば複数のプロセッサや複数のＲＡＭ、ＲＯＭ及びストレージを協働させて各種処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしてもよい。
【００２４】
図４は、クライアント装置２００のハードウェア構成例を示す図である。なお、図２に示した構成要素と同一の構成要素には同符号を付し、その説明を省略する。クライアント装置２００は、ＣＰＵ４０１と、ＲＯＭ４０２と、ＲＡＭ４０３と、ＨＤＤ４０４とを備える。ＣＰＵ４０１は、ＲＯＭ４０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ４０４は、各種データや各種プログラム等を記憶する。図２で説明したクライアント装置２００の機能構成のうち、例えばシステム制御部２０３、画像処理部２０４、カメラ制御ＵＩ処理部、スピーカー制御部２０８は、ＣＰＵ４０１がＲＯＭ４０２又はＨＤＤ４０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現される。なお、一つのプロセッサ（ＣＰＵ４０１）が各種処理を実行するものとしたが、他の様態であってもかまわない。例えば複数のプロセッサや複数のＲＡＭ、ＲＯＭ及びストレージを協働させて各種処理を実行することもできる。また、ハードウェア回路を用いて一部の処理を実行するようにしてもよい。
【００２５】
次に、図５乃至図７を参照して、複数のマイクロフォンにより集音した音声の音源方向を特定することの概要を説明する。
図５に示すように、２つのマイクロフォンＭ1、Ｍ2の距離をａ、マイクロフォンＭ1、Ｍ2を結ぶ直線と音源との角度をθとすると、音源から各マイクロフォンＭ1、Ｍ2までの距離差ｄは、式（１）のように表される。したがって、音源から各マイクロフォンＭ1、Ｍ2までの時間差ｔは、音速をｖとすると、式（２）のように表される。また、角度θは、式（３）のように表される。
ｄ＝ａ・ｃｏｓθ  ・・・（１）
ｔ＝ａ／ｖ・ｃｏｓθ  ・・・（２）
θ＝ａｒｃｃｏｓ（ｔ・ｖ／ａ）  ・・・（３）
【００２６】
ここでマイクロフォンＭ1、Ｍ2と角度θを立体的に考えると、図６に示すように、音源方向は、マイクロフォンＭ1、Ｍ2を結ぶ線ＬとマイクロフォンＭ1、Ｍ2の中心ＭCがなす角θ、つまり円錐の表面上となり、音源の取りうる方向は多数存在することになる。
そこで、図７に示すように、マイクロフォンＭ3をもう一つ用意し、マイクロフォンＭ1、Ｍ2、Ｍ3をｘｙ平面に正三角形の頂点になるように配置する。そして、マイクロフォンＭ1、Ｍ2だけでなくマイクロフォンＭ2、Ｍ3からも音源方向の円錐を求め、この２つの円錐Ｃ12、Ｃ23の重なる箇所を考える。２つの円錐Ｃ12、Ｃ23の重なる箇所は、方向Ｄ1、Ｄ2の線上となるため、マイクロフォンＭ1、Ｍ2、Ｍ3から求められる音源方向は、マイクロフォンＭ1、Ｍ2、Ｍ3の中心ＭCからみて、Ｄ1、Ｄ2の二方向ということになる。マイクロフォンＭ1、Ｍ2、Ｍ3を備えた機器の設置条件により、Ｄ1かＤ2のどちらかの方向が確実に除外されるのであれば、Ｄ1又はＤ2のいずれかを音源方向とすることも可能である。
また、詳細は割愛するが、更に４つ目のマイクロフォンＭ4を用意し、Ｍ1、Ｍ2、Ｍ3の同一平面ではない箇所に配置してＭ4といずれか一つのマイクロフォンから求められる円錐との交点を求めれば、音源方向を一つに特定することも可能である。
【００２７】
ビームフォーミングも、前述した音源方向の特定と内容が同等である。図５に示すように、音源から各マイクロフォンＭ1、Ｍ2までの時間差ｔは、式（２）のように表されるので、設定角度θにおいて、マイクロフォンＭ1、Ｍ2への音源からの音の時間差ｔが一意に求まる。この時間をずらして足し合わせることで、音源からの音声を強調することができる。一方、他の角度からの音声は、この時間差ｔと異なる値であるため、強調されることはない。このようにマイクロフォンＭ1、Ｍ2が無指向性の場合でも、音声信号処理により特定方向の音声の強調（特定方向の集音化）を実現することができる。
【００２８】
次に、図８を参照して、ネットワークカメラ１００の制御方法を説明する。
ステップＳ１で、ユーザにより、検知したい音声の周波数や音圧等が指定されると、システム制御部１２０は、この設定された特徴（以下、所定の特徴と呼ぶ）を設定する。音声の特徴の指定の仕方は限定されるものでない。例えばクライアント装置２００から遠隔操作により指定できるようにすればよい。具体的には、例えばクライアント装置２００のモニタ２０５に周波数を入力するＵＩを表示して、ユーザが所望の周波数の数値を入力できるようにする。また、クライアント装置２００のモニタ２０５に複数のターゲット音声（「人の声」、「ガラスの破壊音」等）を選択可能としたＵＩを表示して、例えばユーザが「人の声」を選択すると、人の声の周波数帯である４００〜１０００Ｈｚが指定されるようにする。
【００２９】
ステップＳ２で、システム制御部１２０は、マイクロフォンユニット１１０により音声が集音、出力されたか否かを確認し、ステップＳ３で、システム制御部１２０の制御下で、ステップＳ２において出力された音声を音声記憶部１１１に記憶する。
ステップＳ４で、システム制御部１２０は、音声記憶部１１１に記憶した音声が、ステップＳ１において設定した所定の特徴を有するか否かを判定する。具体的には、音声特徴抽出部１１４は、音声記憶部１１１に記憶した音声から周波数や音圧等の音声の特徴を抽出する。システム制御部１２０は、音声特徴抽出部１１４により抽出した特徴が、ステップＳ１において設定した所定の特徴に合致するか否かを判定する。音声記憶部１１１に記憶した音声が所定の特徴を有する場合、ステップＳ６に進む。音声記憶部１１１に記憶した音声が所定の特徴を有さない場合、ステップＳ５に進み、ステップＳ３において音声記憶部１１１に記憶した音声を消去して、ステップＳ２に戻る。このように所定の特徴を有する音声が検出されない場合、所定のサイクルで音声記憶部１１１に記憶する音声が更新され、音声記憶部１１１には常に新しい音声が記憶される。
【００３０】
ステップＳ６で、システム制御部１２０の制御下で、音源方向特定部１１２は、音声記憶部１１１に記憶した音声の音源方向を特定する。
ステップＳ７で、システム制御部１２０は、ステップＳ６において特定した音源方向が撮像領域に含まれるか否かを判定する。この判定処理の詳細は後述する。特定した音源方向が撮像領域に含まれる場合、ステップＳ５に進む。ここで音声データを消去する際に、音源方向は現在の撮影方向であることをモニタ２０５に表示するようにしてもよい。特定した音源方向が撮像領域に含まれない場合、ステップＳ８に進む。
【００３１】
ステップＳ８で、システム制御部１２０の制御下で、音声強調部１１３は、マイクロフォンユニット１１０を用いてビームフォーミングを行い、ステップＳ６において特定した音源方向の音声を強調し、音源方向の集音化を実現する。なお、音源方向の音声を強調すると述べたが、厳密な一方向とすることを求めるものではなく、ある程度の範囲を持った方向や複数の方向としてもよい。例えば音源方向を含むようにした撮像領域全体での集音化を実現したり、撮像領域内の複数の方向での集音化を実現したりすればよい。また、音源方向の音声を強調するときに、全方位で集音する通常時と比較して、より小さな音を集音できるように音声検出レベルを変更するようにしてもよい。
【００３２】
ステップＳ９で、システム制御部１２０は、現在の撮像領域座標をメモリ１２２に記憶する。
ステップＳ１０で、システム制御部１２０の制御下で、撮像制御部１０３の制御コマンドに従って、撮像領域設定部１０２は、ＰＴＺ機能により、ステップＳ６において特定した音源方向を含むように撮像領域を変更する。
【００３３】
ステップＳ１１で、システム制御部１２０は、撮像制御部１０３から送出される撮像画像に変化があるか否かを判定する。撮像画像に変化があれば、ステップＳ１０において変更した撮像領域で引き続き撮影を行う必要があるとして、ステップＳ１１に戻る。撮像画像に変化がなければ、ステップＳ１２に進む。
ステップＳ１２で、システム制御部１２０は、ステップＳ８において強調した音源方向で、所定の特徴を有する音声が検出されているか否かを判定する。所定の特徴を有する音声が検出されている場合、ステップＳ１０において変更した撮像領域で引き続き撮影を行う必要があるとして、ステップＳ１１に戻る。所定の特徴を有する音声が検出されない場合、ステップＳ１３に進む。
ステップＳ１３で、システム制御部１２０は、所定の時間が経過したか否かを判定する。すなわち、撮像画像に所定の時間だけ変化がなく、また、音源方向で所定の特徴を有する音声が検出されない状態が所定の時間だけ継続したか否かを判定する。所定の時間だけ経過していない場合、ステップＳ１０において変更した撮像領域で引き続き撮影を行う必要があるとして、ステップＳ１１に戻る。所定の時間だけ経過している場合、ステップＳ１４に進む。
【００３４】
ステップＳ１４で、システム制御部１２０の制御下で、撮像制御部１０３の制御コマンドに従って、撮像領域設定部１０２は、ＰＴＺ機能により、ステップＳ１０において変更した撮像領域を、元の撮像領域に戻す。元の撮像領域は、ステップＳ９においてメモリ１２２に記憶した撮像領域になる。
ステップＳ１５で、システム制御部１２０の制御下で、音声強調部１１３は、ステップＳ８において開始した音声の強調を停止し、全方位で集音する状態に戻す。
【００３５】
図９を参照して、ステップＳ７における音源方向が撮像領域に含まれるか否かの判定処理の詳細を説明する。
ステップＳ１０１で、システム制御部１２０は、撮像領域設定部１０２で設定している現在の撮像領域設定を読み出して、撮像領域を取得する。撮像領域は、パン方向、チルト方向、ズームに対するエンコーダの出力情報から、ネットワークカメラ１００の初期状態の位置からの相対的な位置及び撮影領域として算出される。例えば右９０°、上側２０°を中心に、左右６０°（つまり左右方向３０°以上９０°以下）、上下３０°（つまり上下方向５°以上３５°以下）等の数値で算出される。
ステップＳ１０２で、システム制御部１２０は、ステップＳ６において特定した音源方向を取得する。
ステップＳ１０３で、システム制御部１２０は、ステップＳ１０２において取得した音源方向が、ステップＳ１０１において取得した撮像領域に含まれるか否かを判定する。マイクロフォンユニット１１０は、ネットワークカメラ１００において非可動部に配置されており、音源方向が右８０°、上１０°の場合は、ステップＳ１０１において算出した相対的な撮像領域の数値と単純に比較すればよい。
【００３６】
以上述べたように、マイクロフォンＭ1、Ｍ2、Ｍ3により集音した音声に、人の声等の所定の特徴を有する音声が含まれるとき、所定の特徴を有する音声の音源方向を特定する。そして、特定した音源方向の音声を強調する。また、現在の撮像領域を、特定した音源方向を含む撮像領域に変更する。その後、強調した音源方向の音声、及び撮像画像に基づいて、音源方向を含む撮像領域を、元の撮像領域に戻すようにした。このように撮像画像だけでなく、音声に基づいて撮像領域を変更することにより、撮像領域を適切に変更することができる。
【００３７】
（変形例）
ステップＳ８において音源方向の音声を強調した後、無条件にステップＳ１０に進むのではなく、所定の条件を満たしたとき、ステップＳ１０に進んで撮像領域を変更するようにしてもよい。例えばステップＳ８において音源方向の音声を強調した後、音源方向で所定の特徴を有する音声が検出されていることを再確認してから、ステップＳ１０に進んで撮像領域を変更する。
【００３８】
また、ステップＳ１４において元の撮像領域に戻した後、無条件にステップＳ１５に進むのではなく、所定の条件を満たしたとき、ステップＳ１５に進んで音声の強調を停止するようにしてもよい。例えばステップＳ１４において元の撮像領域に戻した後、予め定められた一定の時間経過するのを待ってから、ステップＳ１５に進んで音声の強調を停止する。
【００３９】
また、ステップＳ１０において撮像領域を変更した結果、撮像画像において動体を検出した場合、ＰＴＺ機能により動体を追尾するようにしてもよい。その際、ビームフォーミングにより音声を強調する方向を動体の移動に合わせて変えるようにしてもよい。
【００４０】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば上記実施形態では、本発明でいう撮像装置としてネットワークカメラ１００を例にしたが、これに限定されるものではなく、本発明はネットワークに接続していない監視カメラ等にも適用可能である。
また、上記実施形態では、ネットワークカメラ１００が本発明を適用した撮像装置の制御装置を内蔵するようにしたが、本発明を適用した撮像装置の制御装置は、撮像装置と別体として構成されてもよい。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４１】
１００：ネットワークカメラ、１０１：撮像部、１０２：撮像領域設定部、１０３：撮像制御部、１１０：マイクロフォンユニット、１１１：音声記憶部、１１２：音源方向特定部、１１３：音声強調部、１１４：音声特徴抽出部、１１５：音声処理部、１２１：通信部、１２２：メモリ
【図１】
2020017904.tif 000003
【図２】
2020017904.tif 000004
【図３】
2020017904.tif 000005
【図４】
2020017904.tif 000006
【図５】
2020017904.tif 000007
【図６】
2020017904.tif 000008
【図７】
2020017904.tif 000009
【図８】
2020017904.tif 000010
【図９】
2020017904.tif 000011