(57)【要約】【課題】音声入力装置の特性を熟知していないユーザでも、適切な音声入力装置の数を選択することができるようにすることである。【解決手段】表示装置は、複数の撮像装置を配置する領域の広さと音声入力装置の集音範囲の広さに応じて、前記複数の撮像装置を配置する領域に配置する音声入力装置の最大数を決定する決定手段と、指示に応じて、前記音声入力装置の最大数以下の音声入力装置の数を選択する第１の選択手段と、前記選択された数の音声入力装置と前記複数の撮像装置の配置を表示部に表示する第１の表示手段とを有する。【選択図】図６
2020043415.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置を配置する領域の広さと音声入力装置の集音範囲の広さに応じて、前記複数の撮像装置を配置する領域に配置する音声入力装置の最大数を決定する決定手段と、
指示に応じて、前記音声入力装置の最大数以下の音声入力装置の数を選択する第１の選択手段と、
前記選択された数の音声入力装置と前記複数の撮像装置の配置を表示部に表示する第１の表示手段と
を有することを特徴とする表示装置。
【請求項２】
前記第１の選択手段は、前記音声入力装置の最大数以下の音声入力装置の数の選択肢を表示部に表示し、前記選択肢の中から選択指示された音声入力装置の数を選択することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記決定手段は、前記複数の撮像装置を配置する領域の面積を前記音声入力装置の集音範囲の面積で割ることにより、前記音声入力装置の最大数を決定することを特徴とする請求項１または２に記載の表示装置。
【請求項４】
前記決定手段は、前記複数の撮像装置を配置する領域の横の寸法Ｘと縦の寸法Ｙと前記音声入力装置の集音範囲の直径Ｒを基に、（Ｘ÷Ｒ）×（Ｙ÷Ｒ）を演算することにより、前記音声入力装置の最大数を決定することを特徴とする請求項１または２に記載の表示装置。
【請求項５】
前記第１の表示手段は、前記選択された音声入力装置の数Ｎを基に、前記複数の撮像装置を配置する領域の重心、内心または外心と正Ｎ角形の重心、内心または外心が一致するように正Ｎ角形を生成し、前記正Ｎ角形の重心、内心または外心から前記正Ｎ角形の各頂点を通るＮ本の直線を生成し、前記複数の撮像装置を配置する領域を前記Ｎ本の直線により分割したＮ個の領域の各々の重心、内心または外心に音声入力装置を配置して表示部に表示することを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
前記第１の表示手段は、前記複数の撮像装置の撮影範囲と前記音声入力装置との間の距離に応じた形態で、前記複数の撮像装置の撮影範囲を表示部に表示することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
【請求項７】
前記音声入力装置の数の確定指示に応じて、前記複数の撮像装置を配置する領域にグリッドを生成し、前記グリッドの各交点と前記複数の撮像装置の撮影範囲との距離に応じた形態で、前記グリッドの各交点に前記音声入力装置を示す図形を表示部に表示する第２の表示手段をさらに有することを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
【請求項８】
前記第２の表示手段は、配置可能領域を設定し、前記配置可能領域の中の前記グリッドの各交点と前記複数の撮像装置の撮影範囲との距離に応じた形態で、前記配置可能領域の中の前記グリッドの各交点の図形を表示部に表示することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記第２の表示手段は、前記確定指示された音声入力装置の数Ｎを基に、前記複数の撮像装置を配置する領域の重心、内心または外心と正Ｎ角形の重心、内心または外心が一致するように正Ｎ角形を生成し、前記正Ｎ角形の重心、内心または外心から前記正Ｎ角形の各頂点を通るＮ本の直線を生成し、前記複数の撮像装置を配置する領域を前記Ｎ本の直線により分割したＮ個の領域ごとに、前記グリッドの各交点と前記複数の撮像装置の撮影範囲との距離に応じた形態で、前記グリッドの各交点の図形を表示部に表示することを特徴とする請求項７または８に記載の表示装置。
【請求項１０】
指示に応じて、前記グリッドの各交点の中の交点を前記音声入力装置の配置位置として選択する第２の選択手段をさらに有することを特徴とする請求項７〜９のいずれか１項に記載の表示装置。
【請求項１１】
前記複数の撮像装置ごとに、前記音声入力装置の集音範囲を分割した複数の指向性の集音範囲の中の集音範囲を設定する設定手段と、
前記複数の撮像装置ごとに、前記設定された指向性の集音範囲を表示部に表示する第３の表示手段とをさらに有することを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【請求項１２】
前記設定手段は、指示に応じて、前記複数の撮像装置ごとに、前記設定された指向性の集音範囲を追加または削除することを特徴とする請求項１１に記載の表示装置。
【請求項１３】
複数の撮像装置を配置する領域に配置する音声入力装置の数を選択する選択手段と、
前記選択された数の音声入力装置の配置と前記複数の撮像装置の配置とを表示部に表示し、前記複数の撮像装置の撮影範囲と前記音声入力装置との間の距離に応じた形態で、前記複数の撮像装置の撮影範囲を表示部に表示する表示手段と
を有することを特徴とする表示装置。
【請求項１４】
複数の撮像装置を配置する領域にグリッドを生成し、前記グリッドの各交点と前記複数の撮像装置の撮影範囲との距離に応じた形態で、前記グリッドの各交点に音声入力装置を示す図形を表示部に表示する表示手段と、
指示に応じて、前記グリッドの各交点の中の交点を前記音声入力装置の配置位置として選択する選択手段と
を有することを特徴とする表示装置。
【請求項１５】
複数の撮像装置ごとに、音声入力装置の集音範囲を分割した複数の指向性の集音範囲の中の集音範囲を設定する設定手段と、
前記複数の撮像装置と前記音声入力装置の配置を表示部に表示し、前記複数の撮像装置ごとに、前記設定された指向性の集音範囲を表示部に表示する表示手段と
を有することを特徴とする表示装置。
【請求項１６】
決定手段により、複数の撮像装置を配置する領域の広さと音声入力装置の集音範囲の広さに応じて、前記複数の撮像装置を配置する領域に配置する音声入力装置の最大数を決定する決定ステップと、
第１の選択手段により、第１の指示に応じて、前記音声入力装置の最大数以下の音声入力装置の数を選択する第１の選択ステップと、
第１の表示手段により、前記選択された数の音声入力装置と前記複数の撮像装置の配置を表示部に表示する第１の表示ステップと
を有することを特徴とする表示装置の制御方法。
【請求項１７】
選択手段により、複数の撮像装置を配置する領域に配置する音声入力装置の数を選択する選択ステップと、
表示手段により、前記選択された数の音声入力装置の配置と前記複数の撮像装置の配置とを表示部に表示し、前記複数の撮像装置の撮影範囲と前記音声入力装置との間の距離に応じた形態で、前記複数の撮像装置の撮影範囲を表示部に表示する表示ステップと
を有することを特徴とする表示装置の制御方法。
【請求項１８】
表示手段により、複数の撮像装置を配置する領域にグリッドを生成し、前記グリッドの各交点と前記複数の撮像装置の撮影範囲との距離に応じた形態で、前記グリッドの各交点に音声入力装置を示す図形を表示部に表示する表示ステップと、
選択手段により、指示に応じて、前記グリッドの各交点の中の交点を前記音声入力装置の配置位置として選択する選択ステップと
を有することを特徴とする表示装置の制御方法。
【請求項１９】
設定手段により、複数の撮像装置ごとに、音声入力装置の集音範囲を分割した複数の指向性の集音範囲の中の集音範囲を設定する設定ステップと、
表示手段により、前記複数の撮像装置と前記音声入力装置の配置を表示部に表示し、前記複数の撮像装置ごとに、前記設定された指向性の集音範囲を表示部に表示する表示ステップと
を有することを特徴とする表示装置の制御方法。
【請求項２０】
コンピュータを、請求項１〜１５のいずれか１項に記載された表示装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示装置の制御方法およびプログラムに関するものである。
【背景技術】
【０００２】
特許文献１には、撮像部と、表示部と、複数のマイクロフォンを含む集音部を有する音声処理システムが開示されている。音声処理システムは、表示部に表示された映像データの指定箇所をユーザが指定することにより、指定箇所に対応する位置に向かう音声を強調した音声データを生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１００１２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、カメラに対する、マイクロフォンの位置が適切に配置されていることを前提としている。ユーザが適切な配置を設定するためには、マイクロフォンの特性を熟知することが必要である。このことは、ユーザにとっては煩雑であり、適切な配置を行わないと、カメラの映像に合わせた音声を生成することができない。そのために、ユーザは録音機能を断念するか、カメラの数分のマイクロフォンを用意する必要がある。各カメラの近傍にマイクロフォンを配置すると、機材の費用が増えてしまう。
【０００５】
特許文献１では、カメラとマイクロフォンを別々の位置に配置した後、マイクロフォンの集音方向を指定する手法について開示している。しかしながら、特許文献１には、マイクロフォンの数と、マイクロフォンの配置をどのようにすれば、適切な位置の音声データを集音できるかについては記載されていない。
【０００６】
本発明の目的は、音声入力装置の特性を熟知していないユーザでも、適切な音声入力装置の数を選択することができるようにすることである。
【課題を解決するための手段】
【０００７】
本発明の表示装置は、複数の撮像装置を配置する領域の広さと音声入力装置の集音範囲の広さに応じて、前記複数の撮像装置を配置する領域に配置する音声入力装置の最大数を決定する決定手段と、指示に応じて、前記音声入力装置の最大数以下の音声入力装置の数を選択する第１の選択手段と、前記選択された数の音声入力装置と前記複数の撮像装置の配置を表示部に表示する第１の表示手段とを有する。
【発明の効果】
【０００８】
本発明によれば、音声入力装置の特性を熟知していないユーザでも、適切な音声入力装置の数を選択することができる。
【図面の簡単な説明】
【０００９】
【図１】映像音声処理システムの構成例を示す図である。
【図２】カメラとマイクロフォンとサーバ装置の構成例を示す図である。
【図３】ＣＰＵとＲＯＭとＲＡＭを示す図である。
【図４】音源からの音がマイクロフォンに到達する様子を示す図である。
【図５】カメラの撮影範囲とマイクロフォンの集音範囲を示す図である。
【図６】カメラを配置する部屋の寸法と集音範囲を示す図である。
【図７】マイクロフォンの数による推奨候補位置を決定する方法を示す図である。
【図８】撮影範囲と配置されるマイクロフォンの表示方法を示す図である。
【図９】撮影範囲とマイクロフォンの距離による集音音量の大小を示す図である。
【図１０】マイクロフォンの配置位置を決めるための選択候補を示す図である。
【図１１】カメラＩＤの選択と集音方向を表示する図である。
【図１２】マイクロフォンの指向性条件を変更する図である。
【図１３】マイクロフォンの配置と指向性条件を設定するフローチャートである。
【発明を実施するための形態】
【００１０】
図１（ａ）は、本発明の実施形態による映像音声処理システム１００の構成例を示す図である。映像音声処理システム１００は、カメラ１１０１と、カメラ１１０２と、カメラ１１０３と、マイクロフォン２０００と、サーバ装置３０００と、ネットワーク４０００とを有する。カメラ１１０１と、カメラ１１０２と、カメラ１１０３と、マイクロフォン２０００と、サーバ装置３０００は、ネットワーク４０００を介して、相互に通信可能である。マイクロフォン２０００の数は、カメラ１１０１〜１１０３の数より少ない。
【００１１】
カメラ１１０１は、映像データを生成し、映像データをネットワーク４０００を介して送信するネットワークカメラであり、撮像装置に相当する。カメラ１１０２とカメラ１１０３は、それぞれ、カメラ１１０１と同様である。なお、映像音声処理システム１００は、カメラ１１０１〜１１０３以外にも、複数のカメラを備えてもよい。カメラ１１０１〜１１０３は、ズーム駆動機構、パン駆動機構、チルト駆動機構等を備えてもよい。
【００１２】
マイクロフォン２０００は、音声を入力し、入力した音声をネットワーク４０００を介して送信するネットワークマイクロフォンであり、音声入力装置に相当する。図１（ｂ）は、マイクロフォン２０００の構成例を示す図である。マイクロフォン２０００は、複数のマイクロフォン（集音部）２０１１〜２０１８を有する。マイクロフォン２０１１〜２０１８の数は、８個に限定されず、増やしても、減らしてもよい。
【００１３】
サーバ装置３０００は、カメラ１１０１〜１１０３およびマイクロフォン２０００に対して、ネットワーク４０００を介して相互に通信可能である。カメラ１１０１〜１１０３、マイクロフォン２０００およびサーバ装置３０００は、それぞれ、ネットワーク４０００を介して、他の装置に各種コマンドを送信し、コマンドを受信した場合には、送信した装置にレスポンスを送信する。サーバ装置３０００は、パーソナルコンピュータ（ＰＣ）等の表示装置の一例である。
【００１４】
ネットワーク４０００は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク４０００は、カメラ１１０１〜１１０３とマイクロフォン２０００とサーバ装置３０００との間の通信を行うことができるものであれば、その通信規格、規模、構成を問わない。例えば、ネットワーク４０００は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されていてもよい。なお、カメラ１１０１〜１１０３は、例えば、ＰｏＥ（Ｐｏｗｅｒ  Ｏｖｅｒ  Ｅｔｈｅｒｎｅｔ（登録商標））に対応する監視カメラでもよく、ＬＡＮケーブルを介して電力を供給されてもよい。
【００１５】
図２は、カメラ１１０１とマイクロフォン２０００とサーバ装置３０００の構成例を示す図である。カメラ１１０１は、撮像部１００１と、画像処理部１００２と、制御部１００３と、通信部１００４と、記憶部１００５とを有する。なお、カメラ１１０２および１１０３は、カメラ１１０１と同様の構成を有する。
【００１６】
撮像部１００１は、レンズと、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有し、レンズ設定等によって決定される画角によって被写体を撮像し、光電変換により、映像信号を生成する。画像処理部１００２は、撮像部１００１により生成された映像信号に対して、所定の画像処理および圧縮符号化処理を行い、映像データを生成する。なお、制御部１００３は、ユーザにより設定された撮像条件または制御部１００３が自動で決定した撮像条件に基づいて、撮像部１００１および画像処理部１００２を制御する。ここで、撮像条件は、撮像ゲイン条件、ガンマ条件、ダイナミックレンジ条件、露出条件、フォーカス条件等を含む。
【００１７】
制御部１００３は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。制御部１００３は、マイクロフォン２０００とサーバ装置３０００等からネットワーク４０００経由で受信したカメラ制御コマンドを解析し、カメラ制御コマンドに応じた処理を行う。例えば、制御部１００３は、画像処理部１００２に対して、画質調整の指示、ズームやフォーカス制御の指示、パンチルト動作の指示、音声データと映像データの結合および送信を行う。また、制御部１００３は、ＣＰＵ３０１を有し、カメラ１１０１の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、制御部１００３は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＡＭ３０２またはＲＯＭ３０３に記憶されたプログラムを実行する。ＲＡＭ３０３は、制御部１００３が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、制御部１００３は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。
【００１８】
通信部１００４は、マイクロフォン２０００が送信した音声データをネットワーク４０００経由で受信し、適切なパケット処理を行った後に、制御部１００３へ出力する。また、通信部１００４は、マイクロフォン２０００からコマンドを受信し、受信したコマンドに対するレスポンスをマイクロフォン２０００へ送信する。また、通信部１００４は、映像データをネットワーク４０００経由でサーバ装置３０００に送信する。また、通信部１００４は、サーバ装置３０００が送信するカメラ制御コマンドを受信し、適切なパケット処理等を行った後に、制御部１００３へ出力する。また、通信部１００４は、サーバ装置３０００から受信したコマンドに対するレスポンスをサーバ装置３０００へ送信する。
【００１９】
記憶部１００５は、カメラ１１０１によって生成された映像データとマイクロフォン２０００によって生成された音声データを関連付けるための情報を記憶する。
【００２０】
続いて、図２を参照して、マイクロフォン２０００の各部構成と機能を説明する。マイクロフォン２０００は、集音部２００１と、音声処理部２００２と、制御部２００３と、通信部２００４と、記憶部２００５とを有する。なお、８個のマイクロフォン２０１１〜２０１８の各々は、少なくとも別々の集音部２００１を有する。
【００２１】
集音部２００１は、振動膜および固定板等の電極から構成され、音圧による振動膜の振動に応じて電極間の距離が変わることにより、電圧が変動することで音声を電気の音声信号へ変換する。また、集音部２００１は、音声信号の電圧を増幅するためのアンプを含んでもよい。
【００２２】
音声処理部２００２は、集音部２００１により生成された音声信号に対して、音声処理および圧縮符号化処理を行い、音声データを生成する。なお、制御部２００３は、ユーザにより設定された音声入力条件または制御部２００３が自動で決定した音声入力条件に基づいて、集音部２００１および音声処理部２００２を制御する。ここで、音声入力条件は、音量ゲイン条件、音声周波数特性条件、音声指向方向条件、音声指向範囲条件等を含む。
【００２３】
制御部２００３は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。制御部２００３は、カメラ１１０１とサーバ装置３０００等からネットワーク４０００経由で受信した制御コマンドを解析し、制御コマンドに応じた処理を行う。例えば、制御部２００３は、音声処理を行った音声データの送信先の制御指示を行う。また、制御部２００３は、ＣＰＵ３０１を有し、マイクロフォン２０００の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、制御部２００３は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＯＭ３０２またはＲＡＭ３０３に記憶されたプログラムを実行する。なお、ＲＡＭ３０３は、制御部２００３が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、制御部２００３は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。また、制御部２００３は、２つのマイクロフォン２０１１および２０１２等の音声信号を、指向性処理（目的の方向からの音声を強調し、目的以外の方向からの音声を抑制する信号処理）し、指向性処理した音声信号を出力する。
【００２４】
図４（ａ）および図４（ｂ）を用いて、指向性処理を説明する。図４（ａ）は、音源からの音が、マイクロフォン２０１１およびマイクロフォン２０１２に対して、角度θの方向から到達する様子を示している。マイクロフォン２０１１とマイクロフォン２０１２は、距離Ｄ２を隔てて配置されている。この場合において、音源とマイクロフォン２０１１との距離と、音源とマイクロフォン２０１２との距離の差Ｌは、次式で表される。
Ｌ＝Ｄ２×ｃｏｓθ
【００２５】
また、音速をＶとすると、音源からの音がマイクロフォン２０１１に到達してから、音源からの音がマイクロフォン２０１２に到達するまでの時間Ｔは、次式で表される。
Ｔ＝Ｌ／Ｖ＝Ｄ２×ｃｏｓθ／Ｖ
【００２６】
図４（ｂ）は、Ｄ２＝５０ｍｍ、Ｖ＝３４６．７５ｍ／ｓとした場合の、角度θに対する、ＬとＴの値、および、Ｔの差分を示している。例えば、θ＝０ｄｅｇのとき、Ｌ＝５０ｍｍ、Ｔ＝１４４μｓである。θ＝１５ｄｅｇのとき、Ｌ＝４８ｍｍ、Ｔ＝１３９μｓである。θ＝０ｄｅｇとθ＝１５ｄｅｇのＴの差分は、５μｓである。
【００２７】
制御部２００３は、時間Ｔを基にして、指向性処理の演算を行う。例えば、正面方向（９０ｄｅｇ）の音声を強調したい（指向性を持たせたい）場合を説明する。その場合、制御部２００３は、マイクロフォン２０１１とマイクロフォン２０１２に同時に到達する音声（Ｔ＝０μｓの音声）を強調し、時間差をもって到達する音声（Ｔ≠０μｓの音声）を抑制するための演算を行う。
【００２８】
通信部２００４は、音声データをネットワーク４０００経由でサーバ装置３０００に送信する。また、通信部２００４は、サーバ装置３０００から送信される制御コマンドを受信し、適切なパケット処理等を行った後に、制御部２００３へ出力する。また、通信部２００４は、サーバ装置３０００から受信したコマンドに対するレスポンスをサーバ装置３０００へ送信する。
【００２９】
記憶部２００５は、カメラ１１０１〜１１０３によって生成された映像データとマイクロフォン２０００によって生成された音声データを関連付けるための情報を記憶する。
【００３０】
続いて、図２を参照して、サーバ装置３０００の各部構成と機能について説明する。サーバ装置３０００は、例えば、パーソナルコンピュータ等の汎用コンピュータである。サーバ装置３０００は、通信部３００１と、システム制御部３００２と、記憶部３００３と、表示部３００４と、入力部３００５とを有する。
【００３１】
通信部３００１は、ネットワーク４０００を介して、カメラ１１０１〜１１０３から映像データを受信し、マイクロフォン２０００から音声データを受信する。また、通信部３００１は、カメラ１１０１〜１１０３またはマイクロフォン２０００に対して制御コマンドを送信し、この制御コマンドに対するレスポンスを受信する。
【００３２】
システム制御部３００２は、図３に示すように、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３を有する。システム制御部３００２は、ユーザの操作に応じてカメラ制御コマンドを生成し、カメラ制御コマンドを通信部３００１を介してカメラ１１０１〜１１０３へ送信する。また、システム制御部３００２は、通信部３００１を介して受信したカメラ１１０１〜１１０３からの映像データを記憶部３００３に保存する。また、システム制御部３００２は、ＣＰＵ３０１を有し、サーバ装置３０００の各構成要素を統括的に制御し、各種パラメータ等の設定を行う。また、システム制御部３００２は、データを記憶するＲＯＭ３０２およびＲＡＭ３０３を有し、ＲＯＭ３０２またはＲＡＭ３０３に記憶されたプログラムを実行する。なお、ＲＡＭ３０３は、システム制御部３００２が実行するプログラムの格納領域、プログラム実行中のワーク領域、データの格納領域等を有する。また、システム制御部３００２は、計時手段を有し、取得した各データに対してタイムスタンプ等を付与することができる。
【００３３】
記憶部３００３は、カメラ１１０１〜１１０３およびマイクロフォン２０００が取得したデータを保存する。システム制御部３００２は、記憶部３００３に記憶されているデータを読み出し、転送する。システム制御部３００２は、カメラ１１０１〜１１０３およびマイクロフォン２０００の配置を示すレイアウト図等を表示部３００４に表示する。入力部３００５は、キーボード、マウスまたはタッチパネル等である。
【００３４】
図５は、部屋（領域）５０００に配置したカメラ１１０１〜１１０７およびマイクロフォン２０００の配置、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７、およびマイクロフォン２０００の集音範囲Ａ〜Ｈを示す図である。カメラ１１０２〜１１０７は、カメラ１１０１と同様の構成を有し、ネットワーク４０００に接続される。マイクロフォン２０００の数は、カメラ１１０１〜１１０７の数より少ない。図５を参照しながら、マイクロフォン２０００の指向性処理における集音範囲の決定方法について説明する。カメラ１１０１〜１１０７が部屋５０００に配置されている場合、サーバ装置３０００は、カメラ管理ソフトウェアにより、図５のように部屋５０００を上から見た方向で表示する。サーバ装置３０００は、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７を表示し、ユーザの設定またはカメラ１１０１〜１１０７の画角に合わせて撮影範囲１２０１〜１２０７を自動的に設定する。マイクロフォン２０００の指向性の設定可能な集音範囲Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈのエリアを分割し、マイクロフォン２０００に対して集音範囲Ａ〜Ｈのいずれかを選択することにより、集音エリアを指定することができる。例えば、マイクロフォン２０００の指向性を集音範囲ＡおよびＢと指定した場合、集音範囲ＡおよびＢのエリアにある音源の音のみを集音することができる。集音範囲Ａ〜Ｈは、マイクロフォン２０１１〜２０１８に対応する。マイクロフォン２０００は、複数の場所または複数の方向の音声を集音し、複数の場所または複数の方向の音声を指向性処理することにより、複数のカメラ１１０１〜１１０７に対応する複数の音声データを生成する。
【００３５】
図６は、カメラ１１０１〜１１０７を配置する部屋５０００の寸法とマイクロフォン２０００の集音範囲５１００を示す図である。サーバ装置３０００は、部屋５０００の広さとマイクロフォン２０００の集音範囲５１００の広さに応じて、部屋５０００に配置するマイクロフォン２０００の必要最大数を決定する。カメラ１１０１〜１１０７を配置する部屋の面積Ｓ［ｍ2］は、部屋５０００の横の寸法Ｘ［ｍ］と部屋５０００の縦の寸法Ｙ［ｍ］を基に、次式で表される。
Ｓ＝Ｘ×Ｙ
【００３６】
マイクロフォン２０００の最大数は、マイクロフォン２０００の集音範囲５１００の直径Ｒ［ｍ］を基に、下記の第１の方法または第２の方法で決めることができる。
【００３７】
第１の方法では、サーバ装置３０００は、次式により、カメラ１１０１〜１１０７を配置する部屋５０００の面積Ｓをマイクロフォン２０００の集音範囲５１００の面積で割ることにより、マイクロフォン２０００の最大数を決定する。ただし、小数は切り上げである。
マイクロフォンの最大数＝Ｓ÷（（Ｒ／２）2×π）
【００３８】
第２の方法では、サーバ装置３０００は、カメラ１１０１〜１１０７を配置する部屋５０００の寸法ＸおよびＹから、次式の演算により、マイクロフォン２０００の最大数を決定する。ただし、小数は切り上げである。
マイクロフォンの最大数＝（Ｘ÷Ｒ）×（Ｙ÷Ｒ）
【００３９】
ここで、寸法ＸおよびＹは、カメラを配置する部屋５０００の寸法でもよいし、カメラを配置する部屋５０００内でカメラが配置されている領域の寸法でもよい。
【００４０】
図７は、マイクロフォンの推奨候補位置を決定する方法を示す図である。以下、サーバ装置３０００が推奨候補位置を決定する方法について説明する。まず、サーバ装置３０００は、ユーザの入力部３００５の操作により、プルダウンリスト６０００からマイクロフォンの数Ｎを選択する。プルダウンリスト６０００のマイクロフォンの数の最大数は、図６で説明したマイクロフォンの最大数を決める方法により決定される。次に、サーバ装置３０００は、選択されたマイクロフォンの数Ｎにより、カメラを配置する部屋５０００の重心（内心または外心）６２００と正Ｎ角形の重心（内心または外心）が一致するように、正Ｎ角形を生成する。なお、部屋５０００の重心６２００は、ユーザが指定してもよいし、内心または外心であってもよい。図７では、マイクロフォンの数が３の場合を例としている。
【００４１】
次に、サーバ装置３０００は、重心６２００から正Ｎ角形の各頂点を通るＮ本の直線６４００を生成し、これらのＮ本の直線６４００により部屋５０００をＮ個の領域６１０１〜６１０３に分割する。次に、サーバ装置３０００は、領域６１０１の重心（内心または外心）を推奨候補位置６１１１とし、領域６１０２の重心（内心または外心）を推奨候補位置６１１２とし、領域６１０３の重心（内心または外心）を推奨候補位置６１１３として決定する。
【００４２】
図８（ａ）および（ｂ）は、サーバ装置３０００の表示を示す図である。システム制御部３００２は、ユーザがマイクロフォンの数を確定すると、図８（ａ）または図８（ｂ）に示すように、図７のマイクロフォンの推奨候補位置にマイクロフォンを配置する。そして、システム制御部３００２は、カメラ１１０１〜１１０７の配置とカメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７とマイクロフォンの配置を表示部３００４に表示する。システム制御部３００２は、ユーザが選択したマイクロフォンの数に応じて、マイクロフォンの配置を表示する。ユーザは、マイクロフォンの配置の表示を参照することにより、適切なマイクロフォンの数を選択することができる。
【００４３】
図８（ａ）は、ユーザが選択したマイクロフォンの数が１個である場合の表示例を示す図である。システム制御部３００２は、ユーザがプルダウンリスト６０００から１個のマクロフォンを選択すると、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７と１個のマイクロフォン２０００の配置を表示部３００４に表示する。
【００４４】
図８（ｂ）は、ユーザが選択したマイクロフォンの数が２個である場合の表示例を示す図である。システム制御部３００２は、ユーザがプルダウンリスト６０００から２個のマクロフォンを選択すると、図７の方法により、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７と２個のマイクロフォン２０００，２００１の配置を表示部３００４に表示する。
【００４５】
図８（ａ）および図８（ｂ）における撮影範囲１２０１〜１２０７の濃淡は、それぞれの撮影範囲１２０１〜１２０７と最も近いマイクロフォンとの距離によって決定される。システム制御部３００２は、撮影範囲１２０１〜１２０７とマイクロフォンとの間の距離に応じて、撮影範囲１２０１〜１２０７を濃淡を決定し、撮影範囲１２０１〜１２０７の濃淡を表示部３００４に表示する。撮影範囲１２０１〜１２０７は、マイクロフォンに近い場合、すなわち集音音量が大きい場合には、濃くなるように表示され、マイクロフォンから遠い場合、すなわち集音音量が小さい場合には、淡くなるように表示される。なお、撮影範囲１２０１〜１２０７は、マイクロフォンに対する遠近を色または模様で示してもよい。システム制御部３００２は、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７とマイクロフォンとの間の距離に応じた形態で、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７を表示部３００４に表示する。ユーザは、撮影範囲１２０１〜１２０７の濃淡を参考にして、マイクロフォンの数を決定することができる。
【００４６】
図９は、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７とマイクロフォン２０００との間の距離による集音音量の大小を示す図である。以下、撮影範囲１２０１〜１２０７の濃淡の決定方法を説明する。システム制御部３００２が、ユーザの指示により、マイクロフォン２０００を図９の位置に配置する例を説明する。システム制御部３００２は、マイクロフォン２０００を中心として、３個の円７０００，７０１０，７０２０を設定する。円７０００，７０１０，７０２０の半径は、マイクロフォン２０００の集音性能によって決まるため、あらかじめ設定されている。なお、円７０００，７０１０，７０２０の半径は、配置環境の環境ノイズ音によりＳ／Ｎ比に影響があることも想定できるため、後からユーザが変更できるようにしてもよい。
【００４７】
システム制御部３００２は、円７０００の内側の領域にすべてが含まれる撮影範囲１２０５を最も濃く表示する。また、システム制御部３００２は、円７０００の内側の領域と円７０００の外側かつ円７０１０の内側の領域との両方に含まれる撮影範囲１２０６と、円７０００の外側かつ円７０１０の内側の領域にすべてが含まれる撮影範囲とを、２番目に濃く表示する。また、システム制御部３００２は、円７０１０の内側の領域と円７０１０の外側かつ円７０２０の内側の領域との両方に含まれる撮影範囲１２０７と、円７０１０の外側かつ円７０２０の内側の領域にすべてが含まれる撮影範囲とを、３番目に濃く表示する。また、システム制御部３００２は、円７０２０の外側の領域に少なくとも一部が含まれる撮影範囲１１０１〜１１０４を４番目に濃く（最も淡く）表示する。
【００４８】
図１０（ａ）〜（ｃ）は、マイクロフォンの配置位置の決定方法を説明するための図である。サーバ装置３０００は、マイクロフォンの数が確定すると、マイクロフォンの配置位置の選択候補を表示する。まず、システム制御部３００２は、部屋５０００に対して、グリッド８０００を生成し、グリッド８０００の各交点をマイクロフォンの配置位置の選択候補として、円の図形を表示する。次に、システム制御部３００２は、図９で説明した濃淡の決定方法と同様に、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７とグリッド８０００の各交点との間の距離に応じて、グリッド８０００の各交点の円の濃淡を表示する。
【００４９】
まず、図１０（ａ）について説明する。グリッド８０００の交点の円８１００は、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７のうちのいずれかまでの距離が第１の閾値より遠いため、淡く表示される。また、グリッド８０００の交点の円８１１０は、すべてのカメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７までの距離が第１の閾値より近いため、濃く表示される。システム制御部３００２は、グリッド８０００の各交点とカメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７との距離に応じた形態で、グリッド８０００の各交点にマイクロフォンを示す円（図形）を表示部３００４に表示する。
【００５０】
次に、図１０（ｂ）について説明する。まず、システム制御部３００２は、ユーザの指示により、マイクロフォンの配置可能領域８２００を設定し、配置可能領域８２００を表示する。次に、システム制御部３００２は、図１０（ａ）で説明した方法と同様に、配置可能領域８２００の内部にあるグリッド８０００の各交点の円のみ、濃淡を決定して表示する。システム制御部３００２は、配置可能領域８２００の中のグリッド８０００の各交点とカメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７との距離に応じた形態で、配置可能領域８２００の中のグリッド８０００の各交点の円を表示部３００４に表示する。配置可能領域８２００の内部にあるグリッド８０００の各交点の円は濃淡の処理が必要であるが、配置可能領域８２００の外にあるグリッド８０００の各交点の円は濃淡の処理が必要でない。そのため、システム制御部３００２の処理時間が減り、ユーザの操作感が向上する。
【００５１】
次に、図１０（ｃ）について説明する。まず、システム制御部３００２は、図７で説明した方法により、部屋５０００を３個の領域６１０１〜６１０３に分割する。次に、システム制御部３００２は、図１０（ａ）で説明した方法により、領域６１０１内において、カメラの撮影範囲とグリッド８０００の各交点との間の距離に応じて、グリッド８０００の各交点の円の濃淡を表示する。また、システム制御部３００２は、図１０（ａ）で説明した方法により、領域６１０２内において、カメラの撮影範囲とグリッド８０００の各交点との間の距離に応じて、グリッド８０００の各交点の円の濃淡を表示する。また、システム制御部３００２は、図１０（ａ）で説明した方法により、領域６１０３内において、カメラの撮影範囲とグリッド８０００の各交点との間の距離に応じて、グリッド８０００の各交点の円の濃淡を表示する。システム制御部３００２は、３個の領域６１０１〜６１０３ごとに、グリッド８０００の各交点とカメラの撮影範囲との距離に応じた形態で、グリッド８０００の各交点の円を表示部３００４に表示する。ここで、システム制御部３００２は、直線６４００上にあるグリッド８０００の交点については、濃淡の決定処理を行わないが、この交点の位置にマイクロフォンを配置することは可能である。
【００５２】
以上により、システム制御部３００２は、図１０（ａ）、図１０（ｂ）、図１０（ｃ）で説明した方法によって、グリッド８０００の各交点の円の濃淡を表示する。ユーザは、グリッド８０００の各交点の円の濃淡を参考にすることにより、グリッド８０００の各交点の中から適切なマイクロフォンの配置位置を選択することができる。システム制御部３００２は、ユーザの指示に応じて、マイクロフォンの配置位置を決定する。
【００５３】
図１１（ａ）および（ｂ）は、各カメラ１１０１〜１１０７に対するマイクロフォン２０００の集音方向を確認するためにカメラＩＤを選択し、集音方向を表示する方法を説明するための図である。システム制御部３００２は、図１０（ａ）または（ｂ）で説明した方法により、１個のマイクロフォン２０００の配置を決定する。マイクロフォン２０００の集音範囲２１００は、マイクロフォン２０００の位置を中心として設定され、８個の指向性の集音範囲Ａ〜Ｈに分割される。システム制御部３００２は、カメラ１１０１〜１１０７の撮影範囲１２０１〜１２０７の各々が一部でも重なる集音範囲Ａ〜Ｈを、各カメラ１１０１〜１１０７の指向性の集音範囲として設定する。例えば、システム制御部３００２は、カメラ１１０５の撮影範囲１２０５の少なくとも一部が重なる集音範囲Ｅを、カメラ１１０５の指向性の集音範囲として設定する。システム制御部３００２は、カメラ１１０１〜１１０７ごとに、マイクロフォン２０００の指向性の集音範囲Ａ〜Ｈの中の集音範囲を設定する。
【００５４】
まず、図１１（ａ）に示すように、システム制御部３００２は、ユーザの指示により、プルダウンリスト６５００から、カメラＩＤを選択する。カメラＩＤは、カメラ１１０１〜１１０７を識別するための１〜７の数字であり、数字ではなく文字列でもよい。例えば、システム制御部３００２は、ユーザの指示により、プルダウンリスト６５００から「５」のカメラＩＤを選択すると、図１１（ｂ）に示すように、カメラＩＤの表示領域６５１０に「５」のカメラＩＤを表示する。ここで、「５」のカメラＩＤは、カメラ１１０５のカメラＩＤである。カメラ１１０１〜１１０７には、それぞれ、指向性の集音範囲として、集音範囲Ａ〜Ｈのうちの１個以上が設定されている。例えば、カメラ１１０５は、指向性の集音範囲として、マイクロフォン２０００の集音範囲Ｅが設定されている。次に、システム制御部３００２は、選択された「５」のカメラＩＤに対応するカメラ１１０５と、カメラ１１０５の撮影範囲１２０５と、カメラ１１０５に設定されている集音範囲Ｅを強調して表示する。システム制御部３００２は、カメラ１１０１〜１１０７ごとに、設定された指向性の範囲Ａ〜Ｈを表示部３００４に表示する。
【００５５】
図１２は、選択したカメラＩＤに対するマクロフォンの指向性の集音範囲を変更する方法を説明するための図である。ユーザは、図１１（ｂ）において、「５」のカメラＩＤに対応するカメラ１１０５の指向性の集音範囲を、集音範囲Ｅから集音範囲ＥおよびＦに変更したい場合には、入力部３００５により、集音範囲Ｆの領域をクリックまたはタップ等する。システム制御部３００２は、集音範囲Ｆの領域がクリックまたはタップ等されると、図１２に示すように、集音範囲Ｆを強調して表示する。そして、システム制御部３００２は、「５」のカメラＩＤに対応するカメラ１１０５の指向性の集音範囲を、集音範囲Ｅから集音範囲ＥおよびＦに変更する。
【００５６】
以上のように、ユーザは、集音範囲Ｅ以外の追加したい集音範囲Ａ〜Ｈをクリックまたはタップ等する。すると、システム制御部３００２は、クリックまたはタップ等された集音範囲を、カメラ１１０５の指向性の集音範囲として追加する。また、ユーザは、カメラ１１０５に設定されている指向性の集音範囲うちの削除した集音範囲の領域をクリックまたはタップ等することができる。すると、システム制御部３００２は、クリックまたはタップ等された集音範囲を、カメラ１１０５の指向性の集音範囲から削除する。以上のように、システム制御部３００２は、ユーザの入力部３００５の指示に応じて、カメラ１１０１〜１１０７ごとに、設定された指向性の集音範囲を追加または削除する。ユーザは、上記の方法により、各カメラ１１０１〜１１０７の指向性の集音範囲を設定することができる。
【００５７】
図１３は、サーバ装置３０００の制御方法を示すフローチャートである。ユーザは、マイクロフォンの配置と指向性の集音範囲を設定することができる。以下、サーバ装置３０００がマイクロフォンの配置と指向性の集音範囲を設定する方法を説明する。
【００５８】
ステップＳ１３０１では、システム制御部３００２は、図６で説明した方法により、部屋の広さとマイクロフォンの集音範囲の広さに応じて、部屋に配置するマイクロフォンの最大数を決定する。
【００５９】
次に、ステップＳ１３０２では、システム制御部３００２は、図７のプルダウンリスト６０００として、ステップＳ１３０１のマイクフォンの最大数以下のマイクロフォンの数の選択肢を表示部３００４に表示する。そして、システム制御部３００２は、ユーザの入力部３００５の選択指示に応じて、プルダウンリスト６０００の選択肢の中から選択指示されたマイクロフォンの最大数以下のマイクロフォンの数を選択する。
【００６０】
次に、ステップＳ１３０３では、システム制御部３００２は、図７で説明した方法により、選択されたマイクロフォンの数のマイクロフォンの推奨候補位置を決定する。そして、システム制御部３００２は、図８（ａ）または（ｂ）に示すように、マイクロフォンの推奨候補位置にマイクロフォンを配置し、選択された数のマイクロフォンの配置と複数のカメラの配置と複数のカメラの撮影範囲を表示部３００４に表示する。
【００６１】
次に、ステップＳ１３０４では、ユーザは、図８（ａ）または（ｂ）に示すマイクロフォンの配置を参照し、マイクロフォンの数を確定または変更する。システム制御部３００２は、ユーザがマイクロフォンの数の確定を指示すると、ステップＳ１３０５に進み、ユーザがマイクロフォンの数の変更を指示すると、ステップＳ１３０２に戻る。システム制御部３００２は、マイクロフォンの数が確定するまで、上記の処理を繰り返す。
【００６２】
ステップＳ１３０５では、システム制御部３００２は、マイクロフォンの数の確定指示後、図１０（ａ）〜（ｃ）に示すように、部屋にグリッド８０００を生成する。そして、システム制御部３００２は、グリッド８０００の各交点とカメラの撮影範囲との距離に応じた濃淡で、グリッド８０００の各交点にマイクロフォンを示す円（図形）を表示部３００４に表示する。ユーザは、図１０（ａ）〜（ｃ）の表示を基に、グリッド８０００の各交点の中からマイクロフォンの配置位置を選択することができる。システム制御部３００２は、ユーザの入力部３００５の指示に応じて、グリッド８０００の各交点の中の交点をマイクロフォンの配置位置として選択する。
【００６３】
次に、ステップＳ１３０６では、ユーザは、図１０（ａ）〜（ｃ）の表示を基に、マイクロフォンの配置位置を確定または変更する。システム制御部３００２は、ユーザがマイクロフォンの配置位置の確定を指示すると、ステップＳ１３０７に進み、ユーザがマイクロフォンの配置位置の変更を指示すると、ステップＳ１３０５に戻る。
【００６４】
ステップＳ１３０７では、システム制御部３００２は、図１１（ａ）および（ｂ）に示すように、上記の方法により、カメラ１１０１〜１１０７ごとに、マイクロフォン２０００の指向性の集音範囲Ａ〜Ｈの中の集音範囲を設定する。次に、システム制御部３００２は、図１１（ａ）に示すように、ユーザの入力部３００５の操作により、カメラＩＤを選択する。次に、システム制御部３００２は、図１１（ｂ）に示すように、選択したカメラＩＤに対応するカメラに設定されているマイクロフォンの指向性の集音範囲を強調して表示部３００４に表示する。システム制御部３００２は、図１２に示すように、ユーザの入力部３００５の操作により、選択したカメラＩＤに対応するカメラに設定されているマイクロフォンの指向性の集音範囲を追加または削除することができる。
【００６５】
次に、ステップＳ１３０８では、ユーザは、図１１（ｂ）または図１２の表示を基に、すべてのカメラに設定されているマイクロフォンの指向性の集音範囲を確定するか否かを指示する。システム制御部３００２は、ユーザが上記の指向性の集音範囲の確定を指示すると、図１３の処理を終了し、ユーザが上記の指向性の集音範囲の変更を指示すると、ステップＳ１３０７に戻る。
【００６６】
本実施形態によれば、マイクロフォンの特性を熟知していないユーザでも、カメラとマイクロフォンの適切な配置を決定することができる。これにより、映像音声処理システム１００は、カメラの映像に合わせた音声を生成することができる。
【００６７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６８】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００６９】
１１０１〜１１０７  カメラ、２０００  マイクロフォン、３０００  サーバ装置、４０００  ネットワーク、５０００  部屋
【図１】
2020043415.tif 000003
【図２】
2020043415.tif 000004
【図３】
2020043415.tif 000005
【図４】
2020043415.tif 000006
【図５】
2020043415.tif 000007
【図６】
2020043415.tif 000008
【図７】
2020043415.tif 000009
【図８】
2020043415.tif 000010
【図９】
2020043415.tif 000011
【図１０】
2020043415.tif 000012
【図１１】
2020043415.tif 000013
【図１２】
2020043415.tif 000014
【図１３】
2020043415.tif 000015