(57)【要約】【課題】プライバシー保護エリア内で音声が発せられても、その内容が他人に知られることなく、プライバシー保護を向上できる指向性制御システムを提供する。【解決手段】指向性制御システム１０では、カメラ装置ＣＡは、撮像エリアＳＡの映像を撮像する。マイクアレイ装置ＭＡは、撮像エリアＳＡの音声を収音する。信号処理部３３は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音源を検出する。検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、出力制御部３５は、マイクアレイ装置ＭＡにより収音され、スピーカ装置３７から出力される撮像エリアＳＡの音声を制御する。マイクアレイ装置ＭＡで収音される音圧ｐが音圧閾値ｓｚを超えている間（期間）、代替音であるピー音がスピーカ装置３７から出力される。【選択図】図４
2016219966.tif 000002
【特許請求の範囲】
【請求項１】
撮像エリアの映像を撮像可能な撮像部と、
前記撮像エリアの音声を収音する収音部と、
前記撮像部により撮像された前記撮像エリアの映像データを表示する表示部と、
前記収音部により収音された前記撮像エリアの音声を出力する音声出力部と、
前記表示部に表示された前記撮像エリアの映像データに対して指定されたプライバシー保護エリアの位置情報を記憶する第１メモリと、
前記収音部により収音された前記撮像エリアの音声の音源を検出する検出部と、
前記検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声の前記音声出力部における出力を制御する出力制御部と、を備える、
指向性制御システム。
【請求項２】
請求項１に記載の指向性制御システムであって、
前記出力制御部は、前記検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、
前記収音部により収音された前記撮像エリアの音声の音圧が閾値を超えると、前記音声出力部における出力を制御し、
前記収音部により収音された前記撮像エリアの音声の音圧が閾値を超えないと、前記音声出力部における出力の制御を省略する、
指向性制御システム。
【請求項３】
請求項１に記載の指向性制御システムであって、
前記出力制御部は、前記収音部により収音された音声を所定の代替音に代えて音声出力部から出力させる、
指向性制御システム。
【請求項４】
請求項１に記載の指向性制御システムであって、
前記出力制御部は、前記収音部により収音された音声の出力を制限する、
指向性制御システム。
【請求項５】
請求項１に記載の指向性制御システムであって、
前記出力制御部は、前記収音部により収音された音声を加工処理して出力させる、
指向性制御システム。
【請求項６】
請求項１に記載の指向性制御システムであって、
前記表示部に対する前記プライバシー保護エリアの指定操作に応じて、指定された位置の座標を、前記プライバシー保護エリアの位置情報として設定する位置情報設定部、を更に備える、
指向性制御システム。
【請求項７】
請求項１に記載の指向性制御システムであって、
前記収音部により収音された前記撮像エリアの音声を収音時刻とともに記憶する第２メモリ、を更に備え、
前記出力制御部は、前記検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記音源が検出された時刻より所定時間前から収音されて前記第２メモリに記憶された音声の前記音声出力部における出力を制御する、
指向性制御システム。
【請求項８】
撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、
前記撮像部において、撮像エリアの映像を撮像する処理と、
前記収音部において、前記撮像エリアの音声を収音する処理と、
前記撮像エリアの映像データが表示された表示部に対して指定されたプライバシー保護エリアの位置情報をメモリに記憶する処理と、
前記収音部により収音された前記撮像エリアの音声の音源を検出する処理と、
検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声の出力を制御する処理と、を実行する、
音声出力制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音された音声の出力を制御する指向性制御システム及び音声出力制御方法に関する。
【背景技術】
【０００２】
従来、マイクアレイ装置から音声の収音位置に向かう指向方向に指向性を形成する指向性制御システムが知られている（例えば、特許文献１参照）。特許文献１の指向性制御システムは、指定された音声の収音位置が既定のプライバシー保護エリアの範囲内である場合に、マイクアレイ装置により収音された音声の音声データの出力を抑制する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０２９２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の構成では、プライバシー保護エリアに近接する外側の位置が音声の収音位置に指定されてしまうと、プライバシー保護エリア内の音が外側に漏れて聞こえてしまい、会話の内容が他人に知られてしまう等、プライバシー保護エリア内にいる人物のプライバシー保護が不十分であるという課題があった。
【０００５】
本発明は、上述した従来の課題を解決するために、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制する指向性制御システム及び音声出力制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像エリアの映像を撮像可能な撮像部と、前記撮像エリアの音声を収音する収音部と、前記撮像部により撮像された前記撮像エリアの映像データを表示する表示部と、前記収音部により収音された前記撮像エリアの音声を出力する音声出力部と、前記表示部に表示された前記撮像エリアの映像データに対して指定されたプライバシー保護エリアの位置情報を記憶する第１メモリと、前記収音部により収音された前記撮像エリアの音声の音源を検出する検出部と、前記検出部により検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声の前記音声出力部における出力を制御する出力制御部と、を備える、指向性制御システムである。
【０００７】
また、本発明は、撮像部及び収音部を有する指向性制御システムにおける音声出力制御方法であって、前記撮像部において、撮像エリアの映像を撮像する処理と、前記収音部において、前記撮像エリアの音声を収音する処理と、前記撮像エリアの映像データが表示された表示部に対して指定されたプライバシー保護エリアの位置情報をメモリに記憶する処理と、前記収音部により収音された前記撮像エリアの音声の音源を検出する処理と、検出された前記音源が前記プライバシー保護エリアの範囲内である場合に、前記収音部により収音された前記撮像エリアの音声の出力を制御する処理と、を実行する、音声出力制御方法である。
【発明の効果】
【０００８】
本発明によれば、プライバシー保護エリア内で人物により音声が発せられても、その人物が発した音声の内容が他人に知られることなく、人物のプライバシー保護の劣化を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の指向性制御システムの内部構成の一例を示すブロック図
【図２】マイクアレイ装置により収音された音声に対し、特定の方向に指向性を形成する原理の一例の説明図
【図３】第１の実施形態の指向性制御装置の音声処理手順の一例を説明するフローチャート
【図４】（Ａ）プライバシー保護エリアを指定する前の音声処理動作の一例を説明する図、（Ｂ）プライバシー保護エリアを指定した後の音声処理動作の一例を説明する図
【図５】第２の実施形態の指向性制御装置の音声処理手順の一例を説明するフローチャート
【図６】（Ａ）プライバシー保護エリアを指定する前の音声処理動作の一例を説明する図、（Ｂ）プライバシー保護エリアを指定した後の音声処理動作の一例を説明する図
【図７】各実施形態の変形例におけるマイクアレイ装置の内部構成の一例を示すブロック図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、本発明に係る指向性制御システム及び音声出力制御方法を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１１】
以下、本発明に係る指向性制御システム及び音声出力制御方法の各実施形態について、図面を参照して説明する。
【００１２】
（第１の実施形態）
図１は第１の実施形態における指向性制御システム１０の構成を示すブロック図である。指向性制御システム１０は、カメラ装置ＣＡと、マイクアレイ装置ＭＡと、指向性制御装置３０とを含む構成を有する。カメラ装置ＣＡ、マイクアレイ装置ＭＡ及び指向性制御装置３０は、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。
【００１３】
撮像部の一例としてのカメラ装置ＣＡは、例えば室内の天井に設置された全方位カメラであり、自装置が設置された撮像空間（撮像エリア）を撮像可能な監視カメラとして機能する。なお、カメラ装置ＣＡは、全方位カメラに限られず、画角が固定された固定カメラでもよいし、パン・チルト・ズーム動作自在なＰＴＺ（Pan Tilt Zoom）カメラでもよい。カメラ装置ＣＡは、映像を撮像した時刻（つまり、撮像時刻）を映像データと対応付けて記憶し、撮像時刻のデータを含む映像データを、ネットワークＮＷを介して指向性制御装置３０に送信する。
【００１４】
収音部の一例としてのマイクアレイ装置ＭＡは、例えば室内の天井に設置された全方位マイクアレイ装置であり、自装置が設置された収音空間（収音エリア）における全方位の音声を収音する。ここでは、撮像エリアと収音エリアは略同一である。マイクアレイ装置ＭＡは、中央に開口部が形成された筐体を有し、更に、この開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンユニットを有する。マイクロホンユニット（以下、単にマイクロホンと称する）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。
【００１５】
マイクアレイ装置ＭＡは、収音した音声データを、収音した時刻（つまり、収音時刻）と対応付けて記憶するとともに、収音時刻のデータを含む音声データを、ネットワークＮＷを介して、指向性制御装置３０に送信する。
【００１６】
指向性制御装置３０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された室内の外に設置される据置型のＰＣ（Personal Computer）であり、マイクアレイ装置ＭＡで収音された全方位の音声に対し指向性を形成し、その指向方向の音声を強調する。また、指向性制御装置３０は、撮像エリア内の音源の位置（以下、「音声位置」ともいう）を検出して推定し、この推定された音源の位置がプライバシー保護エリアの範囲内である場合に所定のマスク処理を行う。マスク処理の詳細については後述する。なお、指向性制御装置３０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末でもよい。
【００１７】
指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成である。信号処理部３３は、音圧算出部３４及び出力制御部３５を含む。
【００１８】
位置情報設定部の一例としての設定管理部３９は、初期設定として、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対し、ユーザによって指定されたプライバシー保護エリアの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標に変換する。この変換処理では、設定管理部３９は、プライバシー保護エリアの指定に応じて、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。この座標算出処理の詳細については、例えば特許文献１に記載されている。ここで、θＭＡｈはマイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角を表し、θＭＡｖはマイクアレイ装置ＭＡから音声位置に向かう指向方向の垂直角を表す。音声位置は、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指又はスタイラスペンによって指定された指定位置に対応する実際の位置である。なお、この変換処理は、信号処理部３３により行われてもよい。
【００１９】
また、設定管理部３９は、第１メモリの一例としてのメモリ３９ｚを有し、カメラ装置ＣＡで撮像された映像が表示されたディスプレイ装置３６に対しユーザによって指定されたプライバシー保護エリアの位置座標と、変換されたプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標とをメモリ３９ｚに記憶する。
【００２０】
更に、設定管理部３９は、マイクアレイ装置ＭＡで収音された音声の音圧ｐと比較される音圧閾値ｓｈをメモリ３９ｚに設定する。ここで、音圧ｐは、マイクアレイ装置ＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。また、音圧閾値ｓｈは、例えばマイクアレイ装置ＭＡで収音されてスピーカ装置３７から出力される音声をユーザが聞き取れない、或いは、聞き取れても音声の内容が分からないような値に設定される。
【００２１】
通信部３１は、カメラ装置ＣＡが送信した撮像時刻のデータを含む映像データ、及びマイクアレイ装置ＭＡが送信した収音時刻のデータを含む音声データを受信して信号処理部３３に出力する。
【００２２】
操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指やスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。
【００２３】
操作部３２は、ディスプレイ装置３６に表示されたカメラ装置ＣＡの映像データ（図４（Ａ）参照）の中で、ユーザがプライバシー保護を希望するエリアであるプライバシー保護エリアＰＲＡ（図中、点線枠）を指定し、指定されたプライバシー保護エリアの位置を表す座標データを取得して信号処理部３３に出力する。
【００２４】
メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。第２メモリの一例としてのメモリ３８は、マイクアレイ装置ＭＡで収音される音声の音声データを収音時刻とともに記憶する。信号処理部３３は、メモリ３８に記憶された音声データを用いて、マイクアレイ装置ＭＡで収音された音声がプライバシー保護エリア内で検出されたか否かを判定する。従って、マイクアレイ装置ＭＡで収音された音声の収音時間より若干遅れて（リアルタイムより僅かに遅れて）音声が再生される。この遅れ時間は、マイクアレイ装置ＭＡが音声を収音してから、その音声がプライバシー保護エリア内で検出されたものであるか否かを判定する処理に要する時間である。また、メモリ３８に音声データを一旦記憶しておくことで、後述するように、信号処理部３３は、プライバシー保護エリアＰＲＡからの音声が検出された時刻より所定時間前から収音されてメモリ３８に記憶された音声の出力を制御することも可能となる。このように、メモリ３８は音声データを一時的に記憶するバッファメモリとしても機能する。
【００２５】
信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。
【００２６】
検出部の一例としての信号処理部３３は、マイクアレイ装置ＭＡで音声が収音された場合、音源の方向がプライバシー保護エリアの範囲内であるか否かを判定する。この方法では、信号処理部３３は、例えば撮像エリアを複数のブロックに分割し、ブロック毎に音声の指向性を形成し、その指向方向に既定の閾値を超える音声があるか否かを判定し、撮像エリア内の音声位置を推定する。また、信号処理部３３が音声位置を推定する方法は、例えば『論文「マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定」  西浦  敬信 等、電子情報通信学会論文誌  Ｄ−１１  Ｖｏｌ．Ｊ８３−Ｄ−１１  Ｎｏ．８  ｐｐ．１７１３−１７２１  ２０００年  ８月  』の文献に記載されている方法でもよい。
【００２７】
また、信号処理部３３は、マイクアレイ装置ＭＡが収音した音声データに対し、信号処理部３３がプライバシー保護エリア内の位置に指向性を形成する処理を行い、その指向方向に音声が検出されているか否かを判定する方法でもよい。この場合、信号処理部３３は、音声位置がプライバシー保護エリアの範囲内にあるか否かを判定できるが、プライバシー保護エリアの外側に音声位置があっても、その位置は特定されない。
【００２８】
信号処理部３３内の音圧算出部３４は、マイクアレイ装置ＭＡで収音される音声のうち、プライバシー保護エリアＰＲＡで収音された音声の音圧を計算する。
【００２９】
信号処理部３３内の出力制御部３５は、カメラ装置ＣＡ、マイクアレイ装置ＭＡ、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、カメラ装置ＣＡから送信された映像データをディスプレイ装置３６に出力させ、マイクアレイ装置ＭＡから送信された音声データをスピーカ装置３７に音声出力させる。出力制御部３５は、マイクアレイ装置ＭＡが収音して指向性制御装置３０に送信した音声データを用いて指向性の形成処理を行うことで、信号処理部３３により算出された収音方向の座標（θＭＡｈ，θＭＡｖ）に対応する指向方向に、音声データの指向性を形成する。
【００３０】
また、出力制御部３５は、算出された指向方向を示す座標データを基に、音声位置が予め指定されたプライバシー保護エリアＰＲＡ（図４（Ａ）参照）内に含まれるか否かを判定する。出力制御部３５は、プライバシー保護エリアＰＲＡ内に含まれると判定し、かつ、音圧算出部３４によって算出されたプライバシー保護エリアＰＲＡ内の音圧ｐが音圧閾値ｓｈを超えたと判定した場合、マイクアレイ装置ＭＡにより収音された音声の出力を制御する。例えば、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声に代えて、所定の代替音（例えば通称「ピー音」）を再生して出力する。ピー音は１ｋＨｚ等の正弦波（サイン波）を有する音声であり、その音声波形のデータは出力制御部３５内のメモリに予め登録されている。なお、代替音は「ピー音」に限るものではなく、メロディ音やノイズ音等であってもよいし、「ただいま音声をマスクしています」等のアナウンスでもよい。つまり、誰が発した声であるか、その声を発した人物の特定が困難になるように音声が出力されれば、音声の出力制御の方法は限定されない。
【００３１】
表示部の一例としてのディスプレイ装置３６は、カメラ装置ＣＡが撮像した映像データを画面に表示する。
【００３２】
音声出力部の一例としてのスピーカ装置３７は、マイクアレイ装置ＭＡが収音した音声データ、又は信号処理部３３が指向方向（θＭＡｈ，θＭＡｖ）に指向性が形成されたマイクアレイ装置ＭＡが収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。
【００３３】
図２は、マイクアレイ装置ＭＡにより収音された音声に対して、特定の方向に指向性を形成する原理の一例の説明図である。指向性制御装置３０は、マイクアレイ装置ＭＡから送信された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭＡ１〜ＭＡｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭＡ１〜ＭＡｎの位置から特定の方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定の方向とは、マイクアレイ装置ＭＡから操作部３２で指定された音声位置に向かう方向である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報や特開２０１５−０２９２４１号公報（特許文献１）等に示されるように、公知の技術である。
【００３４】
図２では、説明を分かり易くするため、マイクロホンは直線上に一次元配列としている。この場合、指向性は面内の二次元空間になるが、三次元空間で指向性を形成するためには、マイクロホンを二次元配列にして同様な処理方法を行えば良い。
【００３５】
音源８０から発した音波は、マイクアレイ装置ＭＡに内蔵される各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，〜，ＭＡ（ｎ−１），ＭＡｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。入射角θは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角θＭＡｈでも垂直角θＭＡｖでもよい。
【００３６】
音源８０は、例えばマイクアレイ装置ＭＡが収音する収音方向に存在するカメラ装置ＣＡの被写体である人物の会話であり、マイクアレイ装置ＭＡの筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎ間の間隔ｄは一定とする。
【００３７】
音源８０から発した音波は、最初にマイクロホンＭＡ１に到達して収音され、次にマイクロホンＭＡ２に到達して収音され、同様に次々に収音され、最後にマイクロホンＭＡｎに到達して収音される。
【００３８】
マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，〜，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。
【００３９】
更に、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎにおいて、各々のマイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎにおける到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器２６において遅延処理後の音声データを加算する。これにより、マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎに、所定角度θの方向に音声データの指向性を形成する。
【００４０】
このように、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，〜，Ｄｎ−１，Ｄｎを変更することで、収音した音声データの指向性を簡易に形成することができる。
【００４１】
上記構成を有する指向性制御システム１０の動作を示す。
【００４２】
図３は、第１の実施形態の指向性制御装置３０の音声処理手順の一例を説明するフローチャートである。図３において、先ず、指向性制御装置３０内の設定管理部３９は、初期設定を行う（Ｓ１）、この初期設定では、カメラ装置ＣＡで撮像された映像の映像データが表示されたディスプレイ装置３６に対し、ユーザが指ＦＧ或いはスタイラスペンで点線枠にて囲むようにプライバシー保護エリアＰＲＡ（図４（Ａ）参照）を指定する。
【００４３】
設定管理部３９は、指定されたプライバシー保護エリアＰＲＡの座標を、マイクアレイ装置ＭＡからプライバシー保護エリアに対応する音声エリアに向かう指向方向を示す座標に変換する。更に、設定管理部３９は、マイクアレイ装置ＭＡで収音された音圧ｐと比較されるための音圧閾値ｓｈを設定する。音圧閾値ｓｈは、前述したように、マイクアレイ装置ＭＡで収音され、スピーカ装置３７から出力される音声をユーザが聞き取れない、或いは聞き取れてもその内容が分からないような値に設定される。
【００４４】
通信部３１は、マイクアレイ装置ＭＡから出力される音声データを受信して入力する（Ｓ２）。信号処理部３３は、マイクアレイ装置ＭＡで収音された音声の音源がプライバシー保護エリアＰＲＡ内にあるか否かを判定する。プライバシー保護エリア内にあると判定された場合、音圧算出部３４は、その音圧を計算する（Ｓ３）。ここで、マイクアレイ装置ＭＡで収音された音声の音源がプライバシー保護エリアＰＲＡ内にあるか否かの判定は、前述したいずれかの方法で行われる。
【００４５】
出力制御部３５は、音圧算出部３４によって計算された音圧ｐと、設定管理部３９内のメモリ３９ｚに記憶された音圧閾値ｓｚとを比較し、音圧ｐが音圧閾値ｓｚ以下であるか否かを判別する（Ｓ４）。音圧ｐが音圧閾値ｓｚ以下である場合、出力制御部３５は、マイクアレイ装置ＭＡで収音された音声をそのままスピーカ装置３７から出力させる（Ｓ５、図４（Ａ）参照）。この後、指向性制御装置３０は、ステップＳ２の処理に戻る。
【００４６】
一方、ステップＳ４で音圧ｐが音圧閾値ｓｚを超える場合、出力制御部３５は、マイクアレイ装置ＭＡで収音された音声の代替音であるピー音（例えば１ｋＨｚの正弦波を有する音）をスピーカ装置３７から出力させる（Ｓ６、図４（Ｂ）参照）。この後、指向性制御装置３０は、ステップＳ２の処理に戻る。
【００４７】
図４（Ａ）は、プライバシー保護エリアＰＲＡを指定する前の音声処理動作の一例を説明する図である。カメラ装置ＣＡによって撮像される撮像エリアＳＡは、応接スペース７１の内側である。応接スペース７１では、２人の人物ｐ１，ｐ２がそれぞれ椅子に７３、７４に腰かけた状態で向かい合って会話している。指向性制御装置３０のスピーカ装置３７からは、マイクアレイ装置ＭＡで収音された、人物ｐ１が発声した「Ｈｅｌｌｏ」の音声が出力されている。ユーザは、指向性制御装置３０のディスプレイ装置３６の画面に表示されたカメラ装置ＣＡの撮像映像に対し、指ＦＧで画面をなぞるようにプライバシー保護エリアＰＲＡを指定する。ここでは、人物ｐ２を囲むように、プライバシー保護エリアＰＲＡが指定される。なお、プライバシー保護エリアの指定は、これに限らず、範囲を表す位置座標をキーボードから直接入力し、又は映像に現れる特定の顔画像を認識し、その顔画像を囲む範囲に設定する等の画像処理によって行われてもよい。
【００４８】
図４（Ｂ）は、プライバシー保護エリアＰＲＡを指定した後の音声処理動作の一例を説明する図である。設定管理部３９が、ユーザによって指定されたプライバシー保護エリアＰＲＡの位置座標をメモリ３９ｚに保存すると、撮像エリアＳＡに対してプライバシー保護エリアＰＲＡが設定される。応接スペース７１では、人物ｐ１が「Ｈｅｌｌｏ」と発声し、人物ｐ２が「Ｔｈａｎｋｓ」と発声している。人物ｐ２はプライバシー保護エリアＰＲＡ内であるので、人物ｐ２が発声している期間、マイクアレイ装置ＭＡで収音される音声は、マスク処理され、スピーカ装置３７からは出力制御部３５によって再生された「ピー音」だけが出力される。
【００４９】
以上により、本実施形態の指向性制御システム１０では、カメラ装置ＣＡは、撮像エリアＳＡの映像を撮像する。マイクアレイ装置ＭＡは、撮像エリアＳＡの音声を収音する。ディスプレイ装置３６は、カメラ装置ＣＡにより撮像された撮像エリアＳＡの映像データを表示する。スピーカ装置３７は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声を出力する。設定管理部３９は、ディスプレイ装置３６に表示された映像エリアの映像データに対して指定されたプライバシー保護エリアＰＲＡの位置情報をメモリ３９ｚに記憶しておく。
【００５０】
信号処理部３３は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音源を検出する。検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、出力制御部３５は、マイクアレイ装置ＭＡにより収音され、スピーカ装置３７から出力される撮像エリアＳＡの音声を制御する。従って、マイクアレイ装置ＭＡで収音される音圧ｐが音圧閾値ｓｚを超えている間（期間）、代替音であるピー音がスピーカ装置３７から出力される。
【００５１】
これにより、カメラ装置ＣＡによって撮像された撮像エリアＳＡのうち、プライバシー保護エリアＰＲＡ内で発声があった場合、その期間、マイクアレイ装置ＭＡで収音された音声全体が代替音（「ピー音」）に変わるので、プライバシー保護エリアＰＲＡを含め、撮像エリアＳＡ内で発声した全ての音声の内容が分からなくなる。これにより、プライバシー保護エリア内で音声が発せられても、その内容が他人に知られることなく、プライバシー保護を向上できる。また、代替音である「ピー音」は、ＴＶ放送でもよく使われている音声であるので、これを聞いたユーザは、音声が秘匿化（マスク処理）されていることを容易に知ることができる。
【００５２】
また、検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音圧が音圧閾値ｓｈを超える場合、出力制御部３５は、スピーカ装置３７における出力をマスク処理により制御し、一方、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声の音圧が音圧閾値ｓｈを超えない場合、出力制御部３５は、スピーカ装置３７における出力をマスク処理による制御を行わない。
【００５３】
これにより、プライバシー保護エリアＰＲＡの範囲内で音声が発せられても、その音圧が低い場合には、マスク処理により音声の出力を制御することなく、そのまま出力させることで、不要な処理を省くことができ、処理の負荷を軽減できる。
【００５４】
また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声を代替音に代えてスピーカ装置３７から出力させる。撮像エリアＳＡ内の音声全体が代替音（ピー音）に変わるので、プライバシー保護エリアから外れた人物（ここでは人物ｐ１）が発する音声から会話の内容を推測することも難しく、秘匿性が高まる。
【００５５】
また、指向性制御装置３０内の設定管理部３９は、操作部３２からプライバシー保護エリアＰＲＡの指定操作を受け付けると、指定操作に応じた位置座標を指定されたプライバシー保護エリアの位置情報に設定する。例えば、カメラ装置ＣＡによって撮像される映像に対し、指ＦＧで画面をなぞるようにプライバシー保護エリアＰＲＡを指定することで、ユーザはプライバシー保護エリアを任意に設定できる。
【００５６】
また、信号処理部３３は、マイクアレイ装置ＭＡにより収音された撮像エリアＳＡの音声を収音時刻とともにメモリ３８に記憶する。出力制御部３５は、信号処理部３３により検出された音源がプライバシー保護エリアＰＲＡの範囲内である場合に、音源が検出される所定時間前からメモリ３８に記憶された音声のスピーカ装置３７からの出力を制御する。
【００５７】
また、プライバシー保護エリアＰＲＡからの音声が検出される所定時間前から、音声出力が制御されるので、音声検出から代替音を出力するまでの処理に要する僅かな時間（例えば３秒程度の数秒間）、プライバシー保護エリア内の音声の冒頭部分（出だし部分）がマスク処理されることなく出力されることを防止できる。従って、音声の冒頭部分から内容が察せられることも回避される。この場合、一旦、収音した音声データをメモリに記憶した後に音声を再生する事後再生、或いはマイクアレイ装置ＭＡで収音される音声の収音時間より少し遅れて（リアルタイムよりディレイをかけて）音声を再生する場合に有効である。所定時間は、マイクアレイ装置ＭＡが音声を収音してから、その音声がプライバシー保護エリア内で検出されたものであるか否かを判定するまでに要する僅かな時間（例えば３秒程度の数秒間）である。
【００５８】
（第２の実施形態）
前述した第１の実施形態では、プライバシー保護エリアで音声が発せられた場合、撮像エリア内で検出された全ての音声の代替音としてピー音を出力する場合を示したが、第２の実施形態では、プライバシー保護エリアで音声が発せられた場合、全ての音声を消去（ミュート）して無音状態にする場合を示す。
【００５９】
第２の実施形態における指向性制御システムのハードウェア構成は、前述した第１の実施形態と同じであるので、同一の符号を用いることでその説明を省略する。
【００６０】
図５は、第２の実施形態の指向性制御装置３０の音声処理手順の一例を説明するフローチャートである。前述した第１の実施形態と同一のステップ処理については同一のステップ番号を付すことでその説明を省略する。
【００６１】
図５において、ステップＳ４で、出力制御部３５は、音圧算出部３４によって計算された音圧ｐと、設定管理部３９内のメモリ３９ｚに記憶された音圧閾値ｓｚとを比較した結果、音圧ｐが音圧閾値ｓｚを超える場合、何も出力せず、つまり、音声を消去（ミュート）して無音にする。この後、指向性制御装置３０はステップＳ２の処理に戻る。なお、前述した第１の実施形態では、音圧ｐが音圧閾値ｓｚを超える場合には、マイクアレイ装置ＭＡで収音された音声の代替音であるピー音がスピーカ装置３７から出力された。
【００６２】
図６（Ａ）は、プライバシー保護エリアＰＲＡを指定する前の音声処理動作の一例を説明する図である。図４（Ａ）と同様、撮像エリアＳＡの内側にある応接スペース７１では、２人の人物ｐ１，ｐ２がそれぞれ椅子に７３、７４に腰かけた状態で向かい合って会話している。指向性制御装置３０のスピーカ装置３７からは、人物ｐ１が発声した「Ｈｅｌｌｏ」の音声が出力されている。ユーザは、指向性制御装置３０のディスプレイ装置３６の画面に表示された、カメラ装置ＣＡによって撮像された映像に対し、指ＦＧ又はスタイラスペンで画面をなぞるようにプライバシー保護エリアＰＲＡを指定する。ここでは、人物ｐ２を囲むように、プライバシー保護エリアＰＲＡが指定される。
【００６３】
図６（Ｂ）は、プライバシー保護エリアＰＲＡを指定した後の音声処理動作の一例を説明する図である。設定管理部３９が、ユーザによって指定されたプライバシー保護エリアＰＲＡの座標をメモリ３９ｚに保存すると、撮像エリアＳＡに対しプライバシー保護エリアＰＲＡが設定される。応接スペース７１では、人物ｐ１が「Ｈｅｌｌｏ」と発声し、人物ｐ２が「Ｔｈａｎｋｓ」と発声している。人物ｐ２はプライバシー保護エリアＰＲＡ内であるので、人物ｐ２が発声している期間、スピーカ装置３７からは、再生中の音声が中断されて無音となる。
【００６４】
以上により、本実施形態の指向性制御システム１０では、プライバシー保護エリアＰＲＡ内で発声があった場合、その期間、マイクアレイ装置ＭＡで収音された撮像エリアＳＡ内の全ての音声の出力が遮断される。これにより、プライバシー保護エリアＰＲＡから発せられた音声も当然に聞こえなくなる（つまり、無音状態となる）。
【００６５】
なお、音声出力を制限する際、無音にする代わりに、音圧を所定の音圧まで下げる、例えば１／１０に低減させてもよい。音圧を下げることで、プライバシー保護エリアＰＲＡ内から音声が僅かに聞こえても、何を話しているのかその内容を分からなくすることができる。従って、プライバシー保護エリアＰＲＡ内にいる人物のプライバシー保護を向上できるので、プライバシー保護エリアＰＲＡ内にいる人物のプライバシーの劣化を抑制可能となる。
【００６６】
（各実施形態の変形例）
前述した各実施形態では、指向性制御装置がプライバシー保護エリアの位置情報（つまり、位置座標）を記憶し、検出された音声位置がプライバシー保護エリアに含まれる場合、代替音としてピー音を出力する、或いは無音化していた。各実施形態の変形例（以下、単に「変形例」という）では、指向性制御装置の代わりに、これらの処理をマイクアレイ装置が行う場合を示す。
【００６７】
図７は、各実施形態の変形例におけるマイクアレイ装置ＭＢの内部構成の一例を示すブロック図である。変形例のマイクアレイ装置ＭＢにおいて、前述した第１及び第２の実施形態におけるマイクアレイ装置ＭＡと同一の構成要素については同一の符号を用いることでその説明を省略する。
【００６８】
マイクアレイ装置ＭＢは、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎ、アンプ２３１，２３２，…，２３ｎ、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎ、ＣＰＵ２５、符号化部２８及び通信部２９を有する。
【００６９】
アンプ２３１，２３２，…，２３ｎは、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎで収音した音声信号を増幅する。Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎは、それぞれアンプ２３１，２３２，…，２３ｎによって増幅された音声信号をデジタル音声データに変換する。
【００７０】
ＣＰＵ２５は、複数のマイクロホンＭＢ１、ＭＢ２、…、ＭＢｎで収音し、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎによって変換された音声データを入力し、これらの音声データを基に、音声出力処理を行う。また、ＣＰＵ２５は、通信部２９を介して受信したプライバシー保護エリアＰＲＡの位置情報（つまり、位置座標）を内部メモリに記憶している。また、ＣＰＵ２５は、撮像エリアＳＡ内で発せられた音声の位置を検出し、検出された音声位置がプライバシー保護エリアＰＲＡ内の位置座標と一致した場合、マイクロホンＭＢ１，ＭＢ２，…，ＭＢｎで収音され、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎでそれぞれ変換された音声データの音声に対し、前述したようなマスク処理（「ピー音」の出力或いは無音化）を行う。
【００７１】
符号化部２８は、ＣＰＵ２５から出力される音声データを符号化し、ネットワークＮＷで伝送可能な音声パケットを生成する。通信部２９は、符号化部２８によって符号化された音声データを、ネットワークＮＷを介して指向性制御装置３０に送信し、また、ネットワークＮＷを介して指向性制御装置３０から送信されるプライバシー保護エリアＰＲＡの位置情報を受信する。
【００７２】
以上により、変形例のマイクアレイ装置ＭＢは、収音した音声データを、収音した時刻（収音時刻）と対応付けて記憶するとともに、記憶した音声データ及び収音時刻のデータを、ネットワークＮＷを介して、指向性制御装置３０に送信する。また、マイクアレイ装置ＭＢは、収音した音声データの音声位置がプライバシー保護エリアＰＲＡの位置情報と一致するか否かを判定し、プライバシー保護エリアＰＲＡに含まれる場合、代替音としてピー音を出力或いは無音化する。なお、代替音がこれに限られないことは前述した第１の実施形態と同様である。
【００７３】
また、変形例の指向性制御システムでは、マイクアレイ装置ＭＢからネットワークＮＷを介して送信される音声データは、マスク処理されているので、途中で盗聴されても情報が漏れることはなく、安全に音声データを送信できる。また、この場合、音声データには、マスク処理されていることを付属情報として、音声データのヘッダに付加してもよく、付加しておくことで音声データを受け取った側では、音声データがマスク処理されていることを即座に知ることができる。なお、付属情報には、時刻情報や位置情報等が含まれてもよい。
【００７４】
以上、図面を参照しながら実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７５】
例えば、上記各実施形態では、マイクアレイ装置で検出される音声の音声位置がプライバシー保護エリア内である場合、撮像エリアＳＡで検出された音声を必ずマスク処理（代替音、無音化等）していたが、ユーザによってはマスク処理しなくてもよい。例えば、指向性制御装置を操作するユーザが、一般ユーザである場合、マスク処理し、管理者等の権限のあるユーザである場合、マスク処理しないようにすることも可能である。いずれのユーザであるかは、例えば、指向性制御装置にログインする際のユーザＩＤ等によって判断可能である。
【００７６】
また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声の音声データに対してボイスチェンジ処理（加工処理）を施してもよい。ボイスチェンジ処理の一例として、出力制御部３５は、例えばマイクアレイ装置ＭＡにより収音された音声の音声データの周波数（ピッチ）の高低を大きく変化させる。つまり、スピーカ装置３７から出力される音声の周波数を音声の内容が分かりにくくなるような他の周波数に変更することで、プライバシー保護エリア内から聞こえる音声の内容を分からなくすることができる。従って、マイクアレイ装置ＭＡで収音された音声の内容を知ろうとしても難しくなる。このように、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声を加工処理してスピーカ装置３７から出力させることで、プライバシー保護エリアＰＲＡ内に存在する被写体（例えば人物）のプライバシーを効果的に保護することができる。
【００７７】
更に、出力制御部３５は、ユーザの指又はスタイラスペンによって画面上で指定された指定位置に対応する音声位置がプライバシー保護エリアＰＲＡに含まれる旨を、画面上でユーザに対して明示的に通知してもよい。
【産業上の利用可能性】
【００７８】
本発明は、収音された音声を出力する際、プライバシー保護エリア内で音声が発せられても、その内容が他人に知られることなく、プライバシー保護を向上できる指向性制御システム及び音声出力制御方法として有用である。
【符号の説明】
【００７９】
１０  指向性制御システム
２１  筐体
２５  ＣＰＵ
２６  加算器
２８  符号化部
２９  通信部
３０  指向性制御装置
３１  通信部
３２  操作部
３３  信号処理部
３４  音圧算出部
３５  出力制御部
３６  ディスプレイ装置
３７  スピーカ装置
３８  メモリ
３９  設定管理部
３９ｚ  メモリ
７１  応接スペース
７３，７４  椅子
８０  音源
２３１，２３２，…，２３ｎ  アンプ
２４１，２４２，２４３，…，２４ｎ  Ａ／Ｄ変換器
２５１，２５２，２５３，…，２５ｎ  遅延器
ＣＡ  カメラ装置
ＦＧ  指
ＮＷ  ネットワーク
ＭＡ，ＭＢ  マイクアレイ装置
ＭＡ１，ＭＡ２，…，ＭＡｎ，ＭＢ１，ＭＢ２，…，ＭＢｎ  マイクロホン
ｐ１，ｐ２  人物
【図１】
2016219966.tif 000003
【図２】
2016219966.tif 000004
【図３】
2016219966.tif 000005
【図４】
2016219966.tif 000006
【図５】
2016219966.tif 000007
【図６】
2016219966.tif 000008
【図７】
2016219966.tif 000009