(57)【要約】【課題】検知した状況に応じて適切な音処理を行う。【解決手段】音処理装置は、映像データが撮像装置によって撮像されている際に収音された音を示す音データを取得し、取得された該音データと該映像データとの少なくとも一方に基づいて、所定の複数のイベントのうちのいずれかのイベントの発生を検知し、検知されたイベントに応じて、取得された該音データを処理する。【選択図】  図４
2018025646.tif 000002
【特許請求の範囲】
【請求項１】
映像データが撮像装置によって撮像されている際に収音された音を示す音データを取得する取得手段と、
前記取得手段により取得された前記音データと前記映像データとの少なくとも一方に基づいて、所定の複数のイベントのうちのいずれかのイベントの発生を検知する検知手段と、
前記検知手段により検知されたイベントに応じて、前記取得手段により取得された前記音データを処理する音処理手段と、
を有することを特徴とする音処理装置。
【請求項２】
前記検知手段が、人の集まりを検知した場合、前記音処理手段は、前記音データにおいて、低域周波数の成分をカットすることを特徴とする請求項１に記載の音処理装置。
【請求項３】
前記検知手段が、悲鳴または大音量を検知した場合、前記音処理手段は、前記音データにおいて、当該悲鳴または当該大音量以外の音の成分をカットすることを特徴とする請求項１または２に記載の音処理装置。
【請求項４】
前記音処理手段は、前記検知手段により前記所定の複数のイベントのうちのいずれかのイベントの発生が検知されている間に収音される音に対応する音データを処理することを特徴とする請求項２または３に記載の音処理装置。
【請求項５】
前記検知手段が、動体が所定の境界線を通過すること、または動体が所定の領域に進入したことを検知した場合、前記音処理手段は、前記所定の境界線を通過した動体または前記所定の領域に進入した動体から発せられる音の成分が強調されるように前記音データを処理することを特徴とする請求項１から４のいずれか１項に記載の音処理装置。
【請求項６】
前記音処理手段は、前記音データが示す音を収音する収音部を制御することにより、前記音データを処理することを特徴とする請求項５に記載の音処理装置。
【請求項７】
前記検知手段が、動体としての人が動いていることを検知した場合、前記音処理手段は、前記音データにおいて、低域周波数の成分をカットすることを特徴とする請求項１から６のいずれか１項に記載の音処理装置。
【請求項８】
前記検知手段が、動体としての車が動いていることを検知した場合、前記音処理手段は、前記車から発せられる音の成分が強調されるように前記音データを処理することを特徴とする請求項１から７のいずれか１項に記載の音処理装置。
【請求項９】
前記検知手段が、人と車以外の動体が存在することを検知した場合、前記音処理手段は、前記音データにおいて、予め記憶部に記憶されている背景の音の成分をカットすることを特徴とする請求項１から８のいずれか１項に記載の音処理装置。
【請求項１０】
前記音処理手段は、前記動体が前記音データが示す音を収音する収音部の収音範囲を越えるまで、前記音データを処理することを特徴とする請求項５から９のいずれか１項に記載の音処理装置。
【請求項１１】
前記映像データがライブ配信される場合、前記音処理手段により処理された音データを配信させ、当該映像データがライブ配信されない場合、前記映像データ、前記音データと前記音処理手段により処理された当該音データとを関連付けて記憶させることを特徴とする請求項１から９のいずれか１項に記載の音処理装置。
【請求項１２】
前記検知手段により、前記所定の複数のイベントのうち２つ以上のイベントの発生が検知された場合、
前記音処理手段は、検知された当該２つ以上のイベントのうち、優先度の高いイベントに対応する音処理を優先して行うことを特徴とする請求項１から１１のいずれか１項に記載の音処理装置。
【請求項１３】
音処理方法であって、
映像データが撮像装置によって撮像されている際に収音された音を示す音データを取得する取得工程と、
前記取得工程において取得された前記音データと前記映像データとの少なくとも一方に基づいて、所定の複数のイベントのうちのいずれかのイベントの発生を検知する検知工程と、
前記検知工程において検知されたイベントに応じて、前記取得工程において取得された前記音データを処理する音処理工程と、
を有することを特徴とする音処理方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の音処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音処理に関する。
【背景技術】
【０００２】
従来、ネットワークや専用線を介して、遠隔操作により監視カメラを制御し、映像を監視する監視カメラシステムが知られている。この監視システムの中には、接続されたマイクから周囲の音データを生成し、映像データと音データを同時に記録・配信するものも存在する。
【０００３】
このような音データを使用する監視システムでは、映像データのみを使用する監視システムよりも得られる情報量が増えるため、監視者がよりリアルな現場の状況を確認することが可能となる。さらに、音データから事件の発生の有無を判断し、監視者に通知する機能を有した監視カメラも存在する。また、特許文献１には、映像データから対象の人物の口の動きを判別し、発声している間は音声の特性に適した帯域を強調して記録する撮像システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2011-101110号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば監視カメラでは、環境音によらず、必要な音データを記録することが望まれる。特許文献１に開示された撮像システムでは、人の声に特化した音の記録はできるが、監視カメラの設置状況や発生したイベントに動的に対応できないという課題がある。発生するイベントや注視すべき音データは、時と場合によって変わるため、人の声に特化して録音することは他の重要な手掛かりを見落としてしまう事に繋がり得る。
【０００６】
例えば、高架付近や幹線道路の近くなど、車や電車の交通量が多い場所に設置された監視カメラがあるとする。通常時は、監視カメラが記録した映像データと音データをライブ配信することにより、配信されたデータを見る監視者は、道路の交通状況や通行人の様子などリアルな現場の状況を確認することができる。しかし、監視カメラが異常事態を察知した時、監視者は、手掛かりとなり得る情報を十分に把握することができない場合がある。例えば、監視カメラが人の悲鳴を検知した場合であっても、人の悲鳴と同時に発生している車の交通音により、声の内容を十分に検出できない場合がある。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、検知した状況に応じて適切な音処理を行うことを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の音処理装置は以下の構成を有する。すなわち、映像データが撮像装置によって撮像されている際に収音された音を示す音データを取得する取得手段と、前記取得手段により取得された前記音データと前記映像データとの少なくとも一方に基づいて、所定の複数のイベントのうちのいずれかのイベントの発生を検知する検知手段と、前記検知手段により検知されたイベントに応じて、前記取得手段により取得された前記音データを処理する音処理手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、検知した状況に応じて適切な音処理を行うことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態における監視システムの構成の一例を示す図。
【図２】監視カメラのハードウェア構成の一例を示す図。
【図３】クライアント装置のハードウェア構成の一例を示す図。
【図４】実施形態１における音処理のフローチャート。
【図５Ａ】実施形態１において検知されるイベントと音処理の関係を示す表。
【図５Ｂ】実施形態１において検知されるイベントに対応する音処理のフローチャート。
【図６Ａ】実施形態１におけるクライアント装置のＵＩ表示例を示す図。
【図６Ｂ】実施形態１におけるクライアント装置のＵＩ表示例を示す図。
【図７】実施形態における配信処理のフローチャート。
【図８】実施形態２におけるクライアント装置のＵＩ表示例を示す図。
【図９】実施形態３における音処理のフローチャート。
【図１０】実施形態３におけるクライアント装置のＵＩ表示例を示す図。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
［実施形態１］
図１は、本発明の実施形態における監視システム１００の構成の一例を示す図である。監視システム１００は、監視カメラ（撮像装置）１０００、クライアント装置２０００、および、監視カメラ１０００とクライアント装置２０００とを接続するネットワーク３０００から構成される。
【００１３】
監視カメラ１０００の機能構成について説明する。なお、図１に示される監視カメラ１０００の機能構成は、後述する監視カメラ１０００のＣＰＵ１１０１が制御プログラムに従って、各ハードウェアを制御することに構成される。監視カメラ１０００は、撮像部１００２、収音部１００３、音処理部１００４、イベント検知部１００５、配信処理部１００６、通信部１００７、およびシステム制御部１００１を有する。撮像部１００２は、レンズおよび撮像素子から構成される撮像部１１０５を用いて被写体の撮像及び撮像した信号を電気信号への変換を行う。撮像部１００２は、さらに電気信号に対する所定の画像処理、圧縮符号化処理を行い、映像データ（画像データ）を生成する。収音部１００３は、周囲の音をマイク１１０４により電気信号へ変換し、音データ（生の音データ）を生成する。なお、収音部１００３に用いられるマイク１１０４は、監視カメラ１０００に内蔵されていても、外付けされていてもよい。音処理部１００４は、収音部１００３で生成された音データに対して所定の処理を行うことにより、加工した音データ（加工音データ）を生成する。音処理部１００４による音処理の詳細については後述する。
【００１４】
イベント検知部１００５は、撮像部１００２により生成された映像データ、または収音部１００３により生成された音データから、イベントの発生を検知する。イベント検知部１００５は、映像解析処理または音解析処理を行うことによりイベントの発生を検知する。配信処理部１００６は、クライアント装置２０００への映像データ／音データの配信のための処理を行う。具体的には、配信処理部１００６は、配信データとして、撮像部１００２により生成された映像データ、収音部１００３により生成された音データ、または音処理部１００４により生成された加工音データの少なくとも一つを配信するかを決定する。また、配信処理部１００６は、データの配信手法、すなわち、ライブで配信する（ライブ配信）か、ＲＯＭ１１０２（図２）や外部のサーバ（不図示）に記録されたデータを配信するかを決定する。データの配信手法は、監視カメラ１０００へのユーザ操作、クライアント装置２０００からの指示等により設定され得る。例えば、監視者がリアルタイムの監視を行っていない場合は、ライブ配信の設定は行われない。
【００１５】
通信部１００７は、配信処理部１００６により決定された配信データを、決定された配信手法でクライアント装置２０００に通信Ｉ／Ｆ１１０７を介して配信（送信）する。また、通信部１００７は、イベント検知部１００５により検知されたイベントに関する情報をクライアント装置２０００に通知することも可能である。システム制御部１００１は、各機能（撮像部１００２〜通信部１００７）の制御を行う。例えば、システム制御部１００１は、イベント検知部１００５による検知結果に基づいて、音処理部１００４の制御を変更し得る。
【００１６】
クライアント装置２０００は、表示部２００２、入力部２００３、通信部２００４、音再生部２００５、およびシステム制御部２００１を有する。表示部２００２は、監視カメラ１０００から送信された映像データの再生を行う。入力部２００３は、監視カメラ１０００への制御を受け付けるインターフェイス（Ｉ／Ｆ）である。通信部２００４は、監視カメラ１０００から映像データをはじめとする各種データを受信するだけでなく、入力部２００３で受け付けた制御を監視カメラ１０００へ送信する。音再生部２００５は、監視カメラ１０００から送信された音データの再生を行う。システム制御部２００１は、各機能（表示部２００２〜音再生部２００５）の制御を行う。
【００１７】
図２は、本実施形態における監視カメラ１０００のハードウェア構成の一例を示す図である。監視カメラ１０００は、ハードウェア構成として、ＣＰＵ１１０１と、ＲＯＭ１１０２と、ＲＡＭ１１０３と、マイク１１０４と、撮像部１１０５、入力部１１０６、および通信Ｉ／Ｆ１１０７を有する。
【００１８】
ＣＰＵ１１０１は、監視カメラ１０００における動作を統括的に制御し、各構成部（ＲＯＭ１１０２〜通信Ｉ／Ｆ１１０７）を制御およびデータの入出力を行う。記憶部としてのＲＯＭ１１０２は、ＣＰＵ１１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ（不図示）や着脱可能な記憶媒体（不図示）に記憶されていてもよい。別の記憶部としてのＲＡＭ１１０３は、ＣＰＵ１１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１０１は、処理の実行に際してＲＯＭ１１０２から必要なプログラム等をＲＡＭ１１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現し得る。
【００１９】
マイク１１０４は、図１の収音部１００３に対応する。撮像部１１０５は、図１の撮像素子及びレンズなどにより構成される。入力部１１０６は、電源ボタンやスイッチ制御ボタンなどから構成される。通信Ｉ／Ｆ１１０７は、有線通信または無線通信を行うためのハードウェアである。通信Ｉ／Ｆ１１０７は、例えば、ネットワーク３０００を介してクライアント装置２０００へ生成された映像データ及び音データを送信する他、クライアント装置２０００からコマンド制御命令や画像送信制御命令を受信しＣＰＵ１１０１へ伝達する。
【００２０】
図２に示す監視カメラ１０００の各要素の一部または全部の機能は、ＣＰＵ１１０１がプログラムを実行することで実現することができる。ただし、図２に示す監視カメラ１０００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１０１の制御に基づいて動作する。また、図１に示す監視カメラ１０００の各要素の一部または全部の機能は、専用のハードウェアとして構成するようにしてもよい。
【００２１】
図３は、本実施形態におけるクライアント装置２０００のハードウェア構成図である。クライアント装置２０００は、ハードウェア構成として、ＣＰＵ２１０１と、ＲＯＭ２１０２と、ＲＡＭ２１０３と、ＨＤＤ２１０４、入力部２１０５、通信Ｉ／Ｆ２１０６、表示部２１０７、および音再生部２１０８から構成される。
【００２２】
ＣＰＵ２１０１は、クライアント装置２０００における動作を統括的に制御するものであり、各構成部（ＲＯＭ２１０２〜音再生部２１０８）を制御する。ＲＯＭ２１０２は、ＣＰＵ２１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。ＲＡＭ２１０３は、ＣＰＵ２１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２１０１は、処理の実行に際してＲＯＭ２１０２から必要なプログラム等をＲＡＭ２１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現し得る。
【００２３】
ＨＤＤ２１０４は、例えば、ＣＰＵ２１０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、ＨＤＤ２１０４には、例えば、ＣＰＵ２１０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。入力部２１０５は、電源ボタンやキーボード、マウスなどから構成される。通信Ｉ／Ｆ２１０６は、ネットワーク３０００を介しクライアント装置２０００から各データを受信する。例えば、受信するデータには、監視カメラ１０００で生成された映像データや音データが含まれる。また、通信Ｉ／Ｆ２１０６は、監視カメラ１０００で検知されたイベントの情報などを受信する。表示部２１０７は、図１の表示部２００２に対応する。なお、表示部２１０７と入力部２１０５が組み合わされて、ユーザインタフェース（ＵＩ）が構成されてもよい。音再生部２１０８は、図１の音再生部２００５に対応し、スピーカー等から構成される。音再生部２１０８は、監視カメラ１０００から受信した音データを再生する。
【００２４】
クライアント装置２０００の各要素の一部または全部の機能は、ＣＰＵ２１０１がプログラムを実行することで実現することができる。ただし、クライアント装置２０００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１０１の制御に基づいて動作する。また、図１に示すクライアント装置２０００の各要素の一部または全部の機能は、専用のハードウェアとして構成するようにしてもよい。
【００２５】
図４は、本実施形態におけるイベント検知時の音処理のフローチャートを示す。このフローチャートの処理は、イベント検知部１００５が、所定の複数のイベントのうちのいずれかのイベントを検出した際に実行される。検出され得るイベントについては、図５Ａを用いて後述する。
【００２６】
まず、Ｓ４００１において、音処理部１００４が所定の音処理を行い、加工した音データを生成する。音処理については、図５Ａと図５Ｂを用いて後述する。音処理部１００４による音処理は、当該音処理に対応する処理時間が経過するまで（Ｓ４００２でＮｏ）続けられ、当該処理時間が経過した場合（Ｓ４００２でＹｅｓ）、停止される（Ｓ４００３）。Ｓ４００２における処理時間についても、図５Ａと図５Ｂを用いて後述する。
【００２７】
図５Ａは、本実施形態において検知し得るイベントと音処理の関係を示す表５００である。また、図５Ｂは、検知されたイベントに対応する音処理のフローチャートである。
【００２８】
まず、図５Ａの表５００について説明する。検知イベント５００１は、イベント検知部１００５により検知され得るイベントを示す。処理ＩＤ５００２は、検知イベント５００１に対応する音処理５００３を識別するためのＩＤを示す。それぞれ音処理５００３において、重視される（残される）音５００４、削除される（不要な）音５００４、および処理時間５００５が規定されている。
【００２９】
例えば、イベント検知部１００５が、撮像部１００２により生成された映像データから、人の集まり（処理ＩＤ５００２＝１）を検知したとする。人が集まるケースとしては、事件性があるケースと、井戸端会議などの事件性がないケースが考えられる。そのため、監視者は、検知されたイベントに対して何らかのアクションが必要か否か、事件性の緊急度が高いか否かを判断する必要がある。
【００３０】
そこで、音処理部１００４は、人の声が車両の走行音より周波数帯が高いことを利用し、低域周波数の成分をカットする音処理を行う（処理ＩＤ５００２＝１の処理）。これにより、人の声（音声）を際立たせた音データを生成することが可能となる。また、監視者は、滞留している複数人の会話の内容を確認しやすくなり、危険性や緊急度を認識することが可能となる。この音処理は、人々の集まりが解散するまで行う必要があると考えられる。したがって、音処理部１００４は、映像データから人の集まりが解散したことが検知されるまで、処理ＩＤ５００２＝１に対応する音処理を行う。音処理部１００４により音処理が施された音データ（加工音データ）は、配信処理部１００６に送られ、最終的に通信部１００７により配信（送信）され得る。
【００３１】
また、例えばイベント検知部１００５が、収音部１００３により生成された音データから、悲鳴音または所定の閾値以上の音レベルの音を検知したとする。悲鳴／大音量が発生するケースとしては、何らかの事件が発生したケースが考えられるが、事件の内容によって、重視される音は異なる。例えば、変質者に対して被害者が悲鳴を上げた場合、直後の音声は重要な手掛かりとなり得る。一方で、爆発が起きた場合では、直後の音声だけでなく周囲の環境の音（環境音）も重要である。
【００３２】
そこで、音処理部１００４は、悲鳴／大音量以外の、環境音の背景に流れている音（背景音）の成分をカットする音処理を行う（処理ＩＤ５００２＝２の処理）。これにより、背景音がカットされ、音処理部１００４は、突発的に発生した音を際立たせた音データを生成することが可能となる。なお、音処理部１００４は、カットする背景音を特定するために、例えば、イベント検知部１００５がイベントの発生を検知しない通常時において、背景音を辞書として作成しておくことができる。また、店舗においては、イベント検知部１００５がイベントの発生を検知しない通常時において、背景音としてのＢＧＭと含む環境音を辞書として作成しておくこともできる。この場合、イベント検知部１００５が悲鳴／大音量を検知した場合に、音処理部１００４は、ＢＧＭに邪魔されることなく現場の状況を確認することが可能となる。また、この音処理は、突発的に発生した音が減少するまで（一連のイベントが終了するまで）継続する必要があると考えられる。したがって、音処理部１００４は、突発的に発生した音が減少するまで（一連のイベントが終了するまで）、処理ＩＤ５００２＝２に対応する音処理を行う。音処理部１００４により音処理が施された音データ（加工音データ）は、配信処理部１００６に送られ、最終的に通信部１００７により配信（送信）され得る。
【００３３】
また、例えばイベント検知部１００５が、撮像部１００２により生成された画像において、動体が所定の境界線を通過したり所定の領域に進入したことを検知したとする。動体の通過／侵入イベントでは、通過または侵入した動体の特定に繋がる音データが重視される。例えば、動体が人間である場合、足音や話し声などから緊急度や目的を特定できる場合がある。また、道路に設置されたカメラであれば、通過した車両のナンバープレートが確認できずともエンジン音から車種の特定が可能な場合がある。
【００３４】
そこで、音処理部１００４は、マイク１１０４を制御し、通過又は侵入した動体が発する音の成分が強調された音データを生成する（処理ＩＤ５００２＝３の処理）。例えば、マイク１１０４として指向性マイクを用いた場合、音処理部１００４は、指向性マイクの制御を行い、通過又は侵入した動体が発する音を重点的に記録する。また、動体はカメラの画角外に出ても重要な音データを残す可能性を考慮し、音処理部１００４は、動体がマイク１１０４の収音範囲を越えるまでの時間、音処理を続ける。なお、当該時間は、例えば、画角内の被写体の速度から計算することが可能である。
【００３５】
また、例えばイベント検知部１００５が、撮像部１００２により生成された画像において、動体を検知したとする。動体イベントは、動体の種類によって、音処理部１００４により行われる音処理が異なる。イベント検知部１００５が、検知した動体を人と認識した場合、音処理部１００４は、低域周波数の成分をカットする音処理を行う（処理ＩＤ５００２＝４の処理）。これにより、背景音がカットされ、音処理部１００４は、突発的に発生した音を際立たせた音データを生成することが可能となる。また、イベント検知部１００５が、検知した動体を車と認識した場合、音処理部１００４は、低域周波数の成分を持ち上げる（強調する）音処理を行う（処理ＩＤ５００２＝５の処理）。これにより、音処理部１００４は、車のエンジン音を際立たせた音データを生成することが可能となる。また、イベント検知部１００５が、人や車を、検知した動体と認識しなかった場合、音処理部１００４は、背景音の成分をカットする音処理を行う（処理ＩＤ５００２＝６の処理）。音処理部１００４は、動体の通過／侵入イベント（処理ＩＤ５００２＝３）と同様に、動体はカメラの画角外に出ても重要な音データを残す可能性を考慮し、動体がマイク１１０４の収音範囲を越えるまで音処理を続ける。
【００３６】
なお、上記の例は一例であり、イベントの種類や音処理はこれらに限定されない。また、イベントに応じて、ユーザが音処理を指定することも可能である。
【００３７】
図５Ｂは、図５Ａで定義した音処理の切り換えを行うフローチャートを示す。このフローチャートは、イベント検知部１００５が、映像データまたは音データに基づいてイベントを検知したと判定した場合に開始される。
【００３８】
イベント検知部１００５が、人の集まりイベントを検知した場合（Ｓ５１０１でＹｅｓ）、音処理部１００４は、低域周波数の成分をカットする（低域カット）音処理を行う（Ｓ５１０２）。イベント検知部１００５が悲鳴／大音量イベントを検知した場合（Ｓ５１０１でＮｏ、Ｓ５１０３でＹｅｓ）、音処理部１００４は、背景音の成分を削除する（Ｓ５１０４）。イベント検知部１００５が、動体の通過／侵入イベントを検知した場合（Ｓ５１０３でＮｏ、Ｓ５１０５でＹｅｓ）、音処理部１００４は、動体が発する音の成分を強調させるために、マイクの制御を行う（Ｓ５１０６）。イベント検知部１００５が、動体を検知し、その動体を人と認識した場合（Ｓ５１０５でＮｏ、Ｓ５１０７でＹｅｓ、Ｓ５１０８でＹｅｓ）、音処理部１００４は、低域カットを行う（Ｓ５１０９）。イベント検知部１００５が、動体を検知し、その動体を車と認識した場合（Ｓ５１０７でＹｅｓ、Ｓ５１０８でＮｏ。Ｓ５１１０でＹｅｓ）、音処理部１００４は、低域の成分を持ち上げる（低域の成分を強調する）処理を行う（Ｓ５１１１）。イベント検知部１００５が、人と車以外の動体を検知した場合（５１１０でＮｏ）、音処理部１００４は、背景音の成分をカットする処理を行う。イベント検知部１００５が検知したイベントが、図５Ａの検知イベント５００１のいずれにも該当しない場合（Ｓ５１０７でＮｏ）、音処理部１００４は、ユーザ指定の制御／音処理を行う（Ｓ５１１３）。
【００３９】
なお、特定のイベントが発生している間に他のイベントが発生した場合、音処理部１００４は、当該特定のイベントに対応する音処理に継続して、当該他のイベントに対応すると処理を行ってもよい。また、一つの音処理が終了した場合は、次のイベントが検知されるまで、音処理部１００４は音処理を行わなくてよい。また、上記のフローチャートでは音処理が決定されると同時に、適した処理時間も決定される。よって、音処理部１００４は、実行している音処理の処理時間が終了してから、次の音処理に移行することとなる。
【００４０】
図６Ａと図６Ｂに、本実施形態におけるクライアント装置２０００のＵＩ表示例を示す。図６Ａは、映像データの下部にあるコメント欄を使用したＵＩ例を示す。クライアント装置２０００のＵＩ（入力部２１０５＋表示部２１０７）における画面６０００は、映像表示エリア６００１と、コメントエリア６００２を有する。映像表示エリア６００１には、監視カメラ１０００から送信された映像データが表示される。コメントエリア６００２には、現在どのイベントが検知されているか（現在のイベント検知の種類）及び、音処理の詳細が表示される。このコメントエリア６００２は、現在のイベント検知の種類や音処理の詳細だけでなく、監視カメラ１０００の撮影に関するパラメータやエラー等を表示することも可能である。
【００４１】
図６Ｂは、映像データの右側に配置された音処理パネルを使用したＵＩ例を示す。クライアント装置２０００のＵＩ（入力部２１０５＋表示部２１０７）における画面６０００は、映像表示エリア６１０１と、音処理パネルエリア６１０２を有する。音処理パネルエリア６１０２は、イベント検知の種類を表示するエリア６１０３〜６１０８、および音処理中を示すエリア６１０９を有する。各項目のＯＮ／ＯＦＦは、ランプの点灯／消灯で明示されることが可能となっている。
【００４２】
図６Ｂの例において、監視カメラ１０００のイベント検知部１００５が、撮像範囲内で人の集まりを検知し、対応する音処理（処理ＩＤ５００２＝１）により加工音データを生成し、クライアント装置２０００に送信したとする。また、監視カメラ１０００は、撮像部１００２により生成された映像データに、イベント検知部１００５により検知された人の集まりを囲んだマーカーを重ねて、クライアント装置２０００に送信したとする。この場合、クライアント装置２０００のＵＩにおける映像表示エリア６１０１おいて、人が集まっている場所がマーカー６１１２で表示される。また、この時、監視カメラ１０００の音処理部１００４では、図５Ｂのフローチャートに則って決定された音処理が行われる。これに応じて、クライアント装置２０００のＵＩにおける音処理パネルエリア６１０２では、人の集まり検知の項目のエリア６１０３に対応するランプ６１１０と音処理済みの音データを受信していることを表す、音処理中に対応するランプ６１１１が点灯（ＯＮ）する。監視カメラ１０００のイベント検知部１００５によるイベント検知が終了すると、ランプ６１１０は消灯し、処理ＩＤ５００２＝１に対応する音処理の処理時間が経ち、音処理が終了すると、ランプ６１１１も消灯する。
【００４３】
以上、説明したように、実施形態１では、検知された状況からイベントを特定し、特定したイベントに応じて、適した音処理と音処理時間が決定される。これにより、監視者が監視を行う上で重要な音データを効率的に取得することが可能となる。
【００４４】
［実施形態２］
実施形態１で説明したように、発生したイベント毎に、音データに対して音処理を切り替える場合、全ての音データに対して音処理を行う事が最善とは限らない。例えば、映像データ及び音データを録画／録音する場合、当該録画／録音したデータを使用するユースケースは、主に事後の検証と考えられる。また、より詳細にリアルタイムな現場の情報が求める際には、音処理した音データよりも生の音データを必要とする場合がある。
【００４５】
そこで、本実施形態における監視カメラ１０００は、データの配信手法に基づいて、配信するデータを切り替える。これに応じて、クライアント装置２０００では、映像データとともに再生する音データを、生の音データまたは加工音データのいずれかに切り換えることができる。以下、実施形態１と異なる点について説明する。
【００４６】
図７は、本実施形態における配信処理のフローチャートを示す。まず、Ｓ７００１において、監視カメラ１０００は、撮像部１００２により生成された映像データおよび収音部１００３により生成された生の音データの配信を開始する。次に、Ｓ７００２において、イベント検知部１００５がイベントの発生を検知した場合（Ｓ７００２でＹｅｓ）、配信処理部１００６は、生の音データおよび音処理部１００４により音処理が施されることにより生成された加工音データを保持する（Ｓ７００３）。次に、配信処理部１００６は、設定されたデータの配信手法が、ライブ配信か否かを判定する。設定されたデータの配信手法がライブ配信ではないと判定された場合（Ｓ７００４でＮｏ）、映像データ、および、生の音データおよび加工音データの両音データが関連付けて記憶される。そして、通信部１００７を介して、映像データ、および、生の音データおよび加工音データの両音データがクライアント装置２０００に送信される。なお、設定されたデータの配信手法がライブ配信ではない例としては、監視者がリアルタイムな監視を行っていない場合等である。一方、設定されたデータ配信手法がライブ配信と判定された場合（Ｓ７００４でＹｅｓ）、通信部１００７を介して、映像データおよび加工音データがクライアント装置２０００に送信される。Ｓ７００４〜Ｓ７００６の処理は、監視カメラ１０００からの配信処理が終了するまで（Ｓ７００７でＹｅｓ）継続される。
【００４７】
図８に、本実施形態におけるクライアント装置２０００のＵＩ表示例を示す。なお、監視カメラ１０００において、データの配信手法は、ライブ配信に設定されていないものとする。クライアント装置２０００のＵＩ（入力部２１０５＋表示部２１０７）における画面８０００は、映像表示エリア８００１、再生ボタン８００２、停止ボタン８００３、および音処理ボタン８００４を有する。再生ボタン８００２は、監視カメラ１０００から配信されたデータの再生を行うためのボタンである。停止ボタンは、監視カメラ１０００から配信されたデータの再生を停止するためのボタンである。音処理ボタン８００４は、監視カメラ１０００が現在検知しているイベントの種類を表示するボタンである。図８の例では、監視カメラ１０００は、悲鳴／大音量イベントを検知していることから、音処理ボタン８００４には「悲鳴検知」が表示されているものとする。また、音処理ボタン８００４が選択されることにより、検知されたイベントに応じた音処理が施された加工音データが再生されるものとする。
【００４８】
映像表示エリア８００１では、監視カメラ１０００から配信された映像データが再生される。監視者は、再生ボタン８００２または停止ボタン８００３を選択することより、映像データおよび音データ（生の音データまたは加工音エータ）の再生または停止を行うことができる。また、監視者は、音処理ボタン８００４を選択することにより、図５Ａの処理ＩＤ５００２＝２に対応する音処理が施された加工音データを再生することができる。なお、図８の例では、音処理ボタン８００４は選択されておらず、灰色掛けで表示されており、この場合は、生の音データが再生される。
【００４９】
以上、説明したように、実施形態２では、監視カメラ１０００は、ライブ配信か否かにより、配信する音データを切り替える。また、ライブ配信ではない場合、例えば、録画配信の場合には、クライアント装置２０００において、ユーザが、再生する音データを、生の音データまたは加工音データに切り換えることができる。これにより、録画配信を用いた監視では、ユーザは音処理を施した加工音データと生の音データの両方を用いて効率的に現場の状況を把握することができる。
【００５０】
なお、上記の説明では、データの配信手法によって送信する音データの種類を変更したが、これに限定されない。例えば、監視カメラ１０００は、ライブ配信の場合は音処理を施した加工音データのみを送信し、録画配信の場合は音処理を行わない生の音データを送信してもよい。この場合、クライアント装置２０００のＵＩでは、音処理ボタン８００４が表示されなくてもよい。
【００５１】
［実施形態３］
本実施形態では、監視カメラ１０００が複数のイベント検知が発生した場合に、各イベントに予め与えられている条件（本実施形態では優先度）に基づく音処理について説明する。以下、実施形態１および実施形態２と異なる点について説明する。
【００５２】
図９は、本実施形態におけるイベント検知時の音処理のフローチャートを示す。このフローチャートの処理は、イベント検知部１００５が、図５Ａに示した複数のイベントのうちのいずれかのイベントを検出した際に実行される。
【００５３】
まず、Ｓ９００１において、イベント検知部１００５が、今回検出したイベントと、他に検知されているイベントと比べ、今回検知したイベントの優先度が高いか否かを判定する。今回検知したイベントの優先度が最も優先度が高い場合、または、他のイベントが検知されていない場合は（Ｓ９００１でＹｅｓ）、今回検知したイベントに対応する音処理を行う（Ｓ９００２）。当該音処理に対応する処理時間の間（Ｓ９００３でＮｏ）、イベント検知部１００５が新たな他のイベントの発生を検知した場合（Ｓ９００４でＹｅｓ）、処理はＳ９００１へ戻る。ここで、当該新たな他のイベントの優先度が最も高い場合は、当該他のイベントに対応する音処理に切り替わることとなる。イベント検知部１００５が新たな他のイベントの発生を検知せずに、処理時間が経過した場合（Ｓ９００４でＮｏ，Ｓ９００３でＹｅｓ）、処理は停止される（Ｓ９００５）。音処理および処理時間は、図５Ａおよび図５Ｂを用いて上述した通りである。
【００５４】
なお、各イベントにはデフォルトでは同じ値の優先度が与えられているものとする。その後、システムの運用中にイベント検知が発生する度に検知数がカウントされ、検知数が多いイベントに、高い優先度が与えられる。もし検知数が同じ場合は、優先度も同じとし、同じ優先度のイベントが相次いで検知された場合は、先着順で音処理が行われる。なお、優先度を与える方法、決定する方法については、この例に限定されず、例えば、平均検知時間を用いて優先度を決定しても良い。
【００５５】
図１０は、本実施形態におけるクライアント装置２０００のＵＩ表示例を示す。図９で説明したように、イベントの優先度が、検知数カウントによって決定される場合、図６Ａのコメントエリア６００２に、各イベントの検知数や現在の優先度等といった情報が表示されてもよい。また、イベントの優先度はユーザが設定することも可能とする。
【００５６】
クライアント装置２０００のＵＩ（入力部２１０５＋表示部２１０７）における画面１００００は、イベントの種類を表示するエリア１０００１〜１０００６と、優先度の高低を表す１０００７を有する。ユーザは、エリア１０００１〜１０００６の各項目をドラッグ＆ドロップすることができ、これにより優先度の順番を変更することができる。例えば、ユーザが、侵入検知の項目を表示するエリア１０００６をドラッグし、人々集まり検知の項目を表示するエリア１０００１の直下に持っていくことにより順番が変更され、侵入検知イベントに対応する音処理が２番目に高い優先度となる。
【００５７】
以上、説明したように、実施形態３では、複数のイベントが発生した場合に音処理を特定のルールに従って切り替える。これにより、複数のイベント検知が発生した場合でも効果的に音処理を行う事が可能である。
【００５８】
なお、上記の説明では、監視カメラ１０００またはユーザが決定した優先度に従って音処理を切り替えているが、これに限定されない。例えば、イベントが発生した順番で音処理を決定しても構わない。また、上記の説明では、複数の音処理が、当該音処理に対応する処理時間が終わるまで排他的に制御され得るが、音処理が行われる時間は、対応する処理時間に限定されない。例えば、監視カメラ１０００またはユーザが指定した時間毎に音処理を切り替えたり、全ての音処理を重畳したり、処理時間中により優先度が高いイベントが発生した場合に音処理を切り替えても構わない。また、複数のイベントが検知された場合に、当該複数のイベントのうちの２つ以上のイベントに対応する音処理を同時進行で行ってもよい。
【００５９】
このように、以上の実施形態では、監視カメラが音データを録音・配信する際に、イベント検知の結果から適切な音処理を適切な時間行うことが可能となる。これにより、事件の手がかりとなり得る重要な音データを重点的に録音することができ、効率的な監視が可能となる。
【００６０】
［その他の実施形態］
上述の実施形態において、監視カメラ１０００がイベントの検知や音処理を実行する構成としたが、クライアント装置２０００がイベントの検知や音処理を実行する構成としてもよい。
【００６１】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６２】
１０００  監視カメラ、２０００  クライアント装置、３０００  ネットワーク
【図１】
2018025646.tif 000003
【図２】
2018025646.tif 000004
【図３】
2018025646.tif 000005
【図４】
2018025646.tif 000006
【図５Ａ】
2018025646.tif 000007
【図５Ｂ】
2018025646.tif 000008
【図６Ａ】
2018025646.tif 000009
【図６Ｂ】
2018025646.tif 000010
【図７】
2018025646.tif 000011
【図８】
2018025646.tif 000012
【図９】
2018025646.tif 000013
【図１０】
2018025646.tif 000014