(57)【要約】【課題】他の装置から入力される音信号に基づいて被制御部を制御することが可能な処理装置を提供すること。【解決手段】音信号を受信する音信号受信部と、前記音信号受信部で受信した前記音信号から非音声音信号を検出する非音声音検出部と、前記非音声音信号の検出パターンと制御情報とを対応して記憶する記憶部と、前記非音声音検出部によって検出された前記非音声音信号の検出パターンに対応する前記制御情報を前記記憶部から取得する制御情報取得部と、前記制御情報取得部によって取得された前記制御情報に基づいて被制御部を制御する制御部とを備える処理装置。【選択図】図１
2013229657.tif 000002
【特許請求の範囲】
【請求項１】
音信号を受信する音信号受信部と、
前記音信号受信部で受信した前記音信号から非音声音信号を検出する非音声音検出部と、
前記非音声音信号の検出パターンと制御情報とを対応して記憶する記憶部と、
前記非音声音検出部によって検出された前記非音声音信号の検出パターンに対応する前記制御情報を前記記憶部から取得する制御情報取得部と、
前記制御情報取得部によって取得された前記制御情報に基づいて被制御部を制御する制御部とを備える
ことを特徴とする処理装置。
【請求項２】
前記音信号から前記非音声音検出部によって検出される前記非音声音信号を除去する非音声音除去部を備える
ことを特徴とする請求項１に記載の処理装置。
【請求項３】
前記被制御部は、映像信号を取得する撮像部を備え、
前記映像信号に、前記制御部による前記被制御部の制御結果を表す画像を合成する制御結果合成部を備える
ことを特徴とする請求項１又は２に記載の処理装置。
【請求項４】
前記記憶部に記憶される前記検出パターンは、所定の時間以内に検出される前記非音声音信号についての、数、時間間隔及び種類のうち少なくとも１つ以上で構成されている
ことを特徴とする請求項１から３の何れか一項に記載の処理装置。
【請求項５】
音信号を受信する音信号受信ステップと、
前記音信号受信ステップによって受信した前記音信号から非音声音信号を検出する非音声音検出ステップと、
前記非音声音検出ステップによって検出された前記非音声音信号の検出パターンに対応する前記制御情報を記憶部から取得する制御情報取得ステップと、
前記制御情報取得ステップによって取得された前記制御情報に基づいて被制御部を制御する制御ステップとを備える
ことを特徴とする処理方法。
【請求項６】
請求項５に記載の処理方法をコンピュータに実行させるためのプログラム。
【請求項７】
請求項６に記載のプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
【請求項８】
少なくとも第１の処理装置と第２の処理装置が接続され、音に応じて前記第２の処理装置が備える被制御部を制御する処理システムであって、
前記第２の処理装置は、
前記第１の処理装置から送信された音信号から非音声音信号を検出する非音声音検出部と、
前記非音声音検出部によって検出された前記非音声音信号の検出パターンと前記被制御部の制御情報とを対応して記憶する記憶部と、
前記非音声音検出部によって検出された前記非音声音信号の検出パターンに対応する前記制御情報を前記記憶部から取得する制御情報取得部と、
前記制御情報取得部によって取得される前記制御情報に基づいて前記被制御部を制御する制御部とを備える
ことを特徴とする処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理装置、処理方法、プログラム、記録媒体及び処理システムに関する。
【背景技術】
【０００２】
例えばテレビ、ビデオ、プロジェクタ等の様に、ユーザが離れた位置から利用できる様々な装置がある。この様な装置において、例えばテレビの音量、プロジェクタの画像調整、或いはテレビ会議システム等におけるカメラの向きやマイクの音量等を操作する場合には、利用者が装置本体に設けられている操作部で直接操作するか、リモコン等を用いて操作を行うのが一般的である。
【０００３】
また、発音部により発生されるリズム音に合わせた声や手打ち等の音波を検知することで、チャンネル、音量及び電源の操作を行うリモコン装置が知られている（例えば特許文献１参照）。特許文献１に記載されているリモコン装置によれば、利用者は装置本体を直接操作したり、リモコン等を操作することなく、離れた位置から装置の操作を行うことができる。
【０００４】
ここで、例えば複数の拠点にそれぞれ設置される会議端末で構成され、各会議端末間で音声や映像等の送受信を行うことで会議を行う会議システムを考える。この様な会議システムにおいて、ある会議端末のユーザが、他拠点の会議端末のカメラやマイクロホン等を操作して、自拠点の会議端末に映し出される映像や出力される音声等の調整を行いたい場合がある。
【０００５】
この様に遠隔地に存在する他拠点の会議端末が備えるカメラやマイクロホン等を操作する場合には、例えば音声や映像等の信号とは異なる操作のための信号を、自拠点の会議端末から他拠点の会議端末に送信することが考えられる。他拠点の会議端末は操作信号を受信し、操作信号に応じてカメラやマイクロホン等を制御することで、他拠点の会議端末のユーザは、所望の映像や音声を得ることが可能になる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記方法では、操作信号を生成して送受信し、受信した操作信号に応じてカメラやマイクロホン等を制御する機能を、会議システムを構成する各会議端末が備えている必要がある。したがって、一方の会議端末から他方の会議端末を操作する場合に、何れかの会議端末が当該機能を備えていない場合には、他方の会議端末の操作ができなくなる、という問題がある。
【０００７】
本発明は上記に鑑みてなされたものであって、他の装置から入力される音信号に基づいて被制御部を制御することが可能な処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、音信号を受信する音信号受信部と、前記音信号受信部で受信した前記音信号から非音声音信号を検出する非音声音検出部と、前記非音声音信号の検出パターンと制御情報とを対応して記憶する記憶部と、前記非音声音検出部によって検出された前記非音声音信号の検出パターンに対応する前記制御情報を前記記憶部から取得する制御情報取得部と、前記制御情報取得部によって取得された前記制御情報に基づいて被制御部を制御する制御部とを備える。
【発明の効果】
【０００９】
本発明の実施形態によれば、他の装置から入力される音信号に基づいて被制御部を制御することが可能な処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る会議システムの機能構成を例示するブロック図である。
【図２】実施形態に係る会議システムのハードウェア構成を例示する図である。
【図３】実施形態に係る会議端末の制御フローチャートを例示する図である。
【図４】実施形態に係る会議端末の受信部に入力される音信号を例示する図である。
【図５】実施形態に係る会議端末の非音声音検出部の機能構成を例示するブロック図である。
【図６】実施形態に係る会議端末の非音声音検出部における非音声音信号の検出処理のフローチャートを例示する図（１）である。
【図７】実施形態に係る会議端末の非音声音検出部による非音声音の検出結果を例示する図である。
【図８】実施形態に係る会議端末の非音声音検出部における非音声音信号の検出処理のフローチャートを例示する図（２）である。
【図９】実施形態に係る会議端末における被制御部の制御手順のシーケンスを例示する図である。
【図１０】実施形態に係る会議端末における制御情報取得部の認識部が備えるバッファに記憶される非音声音検出結果を例示する図である。
【図１１】実施形態に係る会議端末の制御情報記憶部の制御情報を例示する図である。
【図１２】実施形態に係る会議システムにおけるディスプレイへの制御結果の表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
【００１２】
本実施形態では、本発明に係る処理装置の一例としての会議端末１００を複数備える処理システムの一例としての会議システム３００について説明する。なお、本発明の実施形態はこれに限るものではなく、例えばテレビ、ビデオカメラ、デジタルカメラ、ＩＣレコーダ等の様々な装置、及びこの様な装置を複数備えるシステム等に適用可能である。
【００１３】
＜会議システムの機能構成＞
図１は、本実施形態に係る会議システム３００の機能構成を例示するブロック図である。
【００１４】
図１に示す様に、会議システム３００は、会議端末１００と、会議端末２００とがネットワーク４００を介して接続することにより構成される。なお、会議システム３００を構成する会議端末の数はこれに限らず、ネットワーク４００等を介して接続するさらに多数の会議端末で構成しても良い。
【００１５】
会議端末１００は、受信部１０１、非音声検出部１０２、非音声音除去部１０３、制御情報取得部１０４、制御情報記憶部１０５、制御部１０６、被制御部１０７、送信部１０８、保存部１０９、映像合成部Ａ１１０、映像合成部Ｂ１１１、受信モード選択部１１２等を備える。
【００１６】
受信部１０１は、ネットワーク４００を介して接続する会議端末２００から送信される音信号、映像信号等を受信する。受信部１０１は、受信した音信号を非音声音検出部１０２及び非音声音除去部１０３に送信し、映像信号を映像合成部Ａ１１０を介して被制御部１０７に送信する。
【００１７】
非音声音検出部１０２は、受信部１０１から送信される音信号に非音声音信号が含まれているか否かを判定し、非音声音検出結果を非音声音除去部１０３と制御情報取得部１０４に送信する。
【００１８】
非音声音除去部１０３は、非音声音検出部１０２から送信される非音声音検出結果に基づいて、受信部１０１から送信される音信号から非音声音信号を除去し、被制御部１０７、保存部１０９に出力する。
【００１９】
制御情報取得部１０４は、非音声音検出部１０２による非音声音信号の検出パターンを認識する。制御情報取得部１０４は、検出パターンに対応する制御情報を制御情報記憶部１０５から取得し、制御部１０６に送信する。制御情報取得部１０４が非音声音信号の検出パターンを認識し、制御情報を取得する方法については後述する。
【００２０】
制御情報記憶部１０５は、制御情報取得部１０４によって認識される非音声音信号の検出パターンと、被制御部１０７の制御情報とを対応して記憶する記憶部の一例である。
【００２１】
制御部１０６は、制御情報取得部１０４から送信される制御情報に基づく制御信号を送信することで、被制御部１０７の制御を行う。
【００２２】
被制御部１０７は、ディスプレイ１０７ａ、スピーカ１０７ｂ、カメラ１０７ｃ、マイクロホン１０７ｄを有する。ディスプレイ１０７ａは、受信部１０１が受信する会議端末２００からの映像信号や、カメラ１０７ｃによって撮影される映像を表示する。スピーカ１０７ｂは、非音声音除去部１０３によって非音声音信号が除去された音信号を外部に出力する。カメラ１０７ｃは、撮像部の一例であり、ディスプレイ１０７ａ若しくは会議端末２００等の他の装置に表示させる画像を撮影して映像信号を出力する。なお、被制御部１０７は、本実施形態において例示する構成に限るものではなく、例えば照明等の他の装置を含んで構成しても良い。
【００２３】
制御部１０６は、例えば被制御部１０７のカメラ１０７ｃのズームイン及びズームアウト、カメラ１０７ｃの向き、マイクロホン１０７ｄの音量等の制御を、制御情報に基づいて行う。
【００２４】
送信部１０８は、被制御部１０７のカメラ１０７ｃによって撮影される映像や、マイクロホン１０７ｄによって集音される音信号等を、会議端末２００等の他の装置に送信できる。
【００２５】
保存部１０９は、非音声音除去部１０３により非音声音信号が除去された音信号、被制御部１０７のカメラ１０７ｃによって撮影された映像信号、マイクロホン１０７ｄによって集音された音信号、受信部１０１が受信する映像信号等を保存できる。保存部１０９に保存された映像信号や音信号は、後からディスプレイ１０７ａやスピーカ１０７ｂにより再生することができ、また他の装置、記録媒体等にデータとして出力することもできる。
【００２６】
映像合成部Ａ１１０は、受信部１０１が受信する映像信号に、制御部１０６による被制御部１０７の制御結果を表す画像を合成した映像信号を生成し、被制御部１０７のディスプレイ１０７ａに送信して表示させる。
【００２７】
映像合成部Ｂ１１１は、被制御部１０７のカメラ１０７ｃによって撮影された映像信号に、制御部１０６による被制御部１０７の制御結果を表す画像を合成した映像信号を生成し、送信部１０８に送信する。
【００２８】
受信モード選択部１１２は、制御部１０６が、受信部１０１が受信する音信号に基づいて被制御部１０７の制御を実施するか否かを選択決定することができる。
【００２９】
会議端末２００は、カメラ２０１、マイクロホン２０２、ディスプレイ２０３、スピーカ２０４、送信部２１１、受信部２１２等を備え、ネットワーク４００に接続する。
【００３０】
カメラ２０１は、例えば会議端末２００の周囲のユーザ等を撮影する。カメラ２０１が撮影した映像はディスプレイ２０３に表示させることも可能であり、ネットワークを介して接続する他の装置に送信することもできる。
【００３１】
マイクロホン２０２は、音信号変換部の一例であり、会議端末２００の周囲の音を集音して音信号に変換する。マイクロホン２０２が集音した音声はスピーカ２０４から出力させることも可能であり、ネットワークを介して接続する他の装置に送信することもできる。
【００３２】
ディスプレイ２０３は、カメラ２０１で撮影した映像や、ネットワーク４００を介して接続する他の装置から送信される映像等を表示する。また、スピーカ２０４は、マイクロホン２０２で集音した音声や、ネットワーク４００を介して接続する他の装置から送信される音信号に基づいて音を出力する。
【００３３】
送信部２１１は、カメラ２０１によって撮影された映像信号、マイクロホン２０２によって集音された音信号を、ネットワーク４００を介して接続する会議端末１００等に送信できる。
【００３４】
受信部２１２は、ネットワーク４００を介して接続する会議端末１００等からの映像信号、音信号を受信し、ディスプレイ２０３に映像信号を表示させ、スピーカ２０４に音信号を出力させる。
【００３５】
会議システム３００は、上記した構成により、遠隔地にそれぞれ設置される会議端末１００，２００の間で音声及び映像を送受信し、会議システム３００の各会議端末１００，２００のユーザは、お互いの音声や映像を介して会議等を行うことができる。
【００３６】
＜会議システムのハードウェア構成＞
図２は、本実施形態に係る会議システム３００のハードウェア構成を例示する図である。
【００３７】
図２に示す様に、会議端末１００は、被制御部１０７、ＣＰＵ１１１、ＨＤＤ（Hard Disk Drive）１１２、ＲＯＭ（Read Only Memory）１１３、ＲＡＭ（Read and Memory）１１４、操作部１１５、ネットワークＩ／Ｆ部１１６、記録媒体Ｉ／Ｆ部１１７等を備え、それぞれがバスＢで相互に接続されている。
【００３８】
ＣＰＵ１１１は、ＨＤＤ１１２やＲＯＭ１１３等の記憶装置からプログラムやデータをＲＡＭ１１４上に読み出して処理を実行することで、会議端末１００が備える各機能を実現する演算装置である。ＣＰＵ１１１は、図１に示す非音声音検出部１０２、非音声音除去部１０３、制御情報取得部１０４、制御部１０６等として機能する。
【００３９】
ＨＤＤ１１２は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、会議端末１００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。また、ＨＤＤ１１２は、制御情報記憶部１０５、保存部１０９等として機能する。
【００４０】
ＲＯＭ１１３は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１１３には、会議端末１００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ１１４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。
【００４１】
操作部１１５は、ユーザインターフェースの役割を果たし、例えばキースイッチ（ハードキー）等で構成され、会議端末１００に各操作信号を入力するのに用いられる。
【００４２】
ネットワークＩ／Ｆ部１１６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続される通信機能を有する周辺機器と会議端末１００とのインタフェースである。
【００４３】
記録媒体Ｉ／Ｆ部１１７は、記録媒体とのインタフェースである。会議端末１００は記録媒体Ｉ／Ｆ１１７を介して、記録媒体１１８の読み取り及び／又は書き込みを行うことができる。記録媒体１１８にはフレキシブルディスク、ＣＤ、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（SD Memory card）、ＵＳＢメモリ（Universal Serial Bus memory）等がある。
【００４４】
会議端末２００は、カメラ２０１、マイクロホン２０２、ディスプレイ２０３、スピーカ２０４、ＣＰＵ２０５、ＨＤＤ２０６、ＲＯＭ２０７、ＲＡＭ２０８、操作部２０９、ネットワークＩ／Ｆ部２１０等を備える。
【００４５】
ＣＰＵ２０５は、ＨＤＤ２０６やＲＯＭ２０７等の記憶装置からプログラムやデータをＲＡＭ２０８上に読み出して処理を実行することで、会議端末２００が備える各機能を実現する演算装置である。
【００４６】
ＨＤＤ２０６は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、会議端末２００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、及びＯＳ上において各種機能を提供するアプリケーションソフトウェア等がある。
【００４７】
ＲＯＭ２０７は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ２０７には、会議端末２００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ２０８は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。
【００４８】
操作部２０９は、ユーザインターフェースの役割を果たし、例えばキースイッチ（ハードキー）等で構成され、会議端末２００に各操作信号を入力するのに用いられる。
【００４９】
ネットワークＩ／Ｆ部２１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続される通信機能を有する周辺機器と会議端末２００とのインタフェースである。
【００５０】
＜会議端末における入力音に基づく被制御部の制御＞
次に、本実施形態に係る会議端末１００における入力音に基づく被制御部１０７の制御について説明する。
【００５１】
図３は、本実施形態に係る会議端末１００における制御フローチャートを例示する図である。
【００５２】
まず、ステップＳ１にて、受信部１０１が入力音信号を受信すると、ステップＳ２にて、非音声音検出部１０２が、受信部１０１によって受信された入力音信号から非音声音信号の検出を行う。非音声音信号とは、会議端末１００を使用するユーザが発する音声以外の音であり、例えば机を叩く音、手を叩く音等をいう。
【００５３】
ステップＳ２にて、入力音信号から非音声音信号が検出された場合には、ステップＳ３にて、非音声音除去部１０３が入力音信号から非音声音信号の除去を行い、ステップＳ４にて、送信部１０８から非音声音信号が除去された音信号を外部に出力する。また、保存部１０９に、非音声音信号が除去された音信号を保存しても良い。
【００５４】
ステップＳ２にて、入力音信号に非音声音信号が検出された場合には、さらにステップＳ５にて、制御情報取得部１０４が、非音声音信号の検出パターンを認識する。制御情報取得部１０４が認識する非音声音信号の検出パターンとは、例えば所定の時間以内に検出される非音声音信号の数、種類、検出される非音声音信号の時間間隔等である。
【００５５】
ステップＳ６にて、制御情報取得部１０４は、制御情報記憶部１０６に検出パターンに合致する制御情報がある場合にはこれを取得して制御部１０６に送信する。次にステップＳ７にて、制御部１０６が、制御情報取得部１０４が取得した制御情報に基づく制御信号を送信し、被制御部１０７を制御する。
【００５６】
以上で説明した制御により、本実施形態に係る会議端末１００は、会議端末２００等の他の装置から入力される音信号から非音声音信号を検出し、被制御部１０７の制御を行う。したがって、会議端末２００等のユーザは、会議端末２００が会議端末１００を制御するための通信機能等を備えなくても、非音声音を発することで会議端末１００のディスプレイ１０７ａ、スピーカ１０７ｂ、カメラ１０７ｃといった被制御部１０７を制御できる。
【００５７】
次に、会議端末１００の各部が行う処理の詳細について、図面に基づいて説明する。
【００５８】
≪音信号の受信≫
図４は、会議端末１００の受信部１０１が受信する音信号を例示する図である。図４は、受信部１０１が受信する音信号を、横軸を時間、縦軸を振幅とするグラフで表示したものである。
【００５９】
例えば音信号に含まれる音声や非音声音等は、図中の実線枠で示される振幅の大きい音として表れる。受信部１０１は、図中破線で示す単位時間ごとに区切られた音信号を受信する。
【００６０】
≪非音声音の検出≫
図５は、入力音信号から非音声音の検出を行う非音声音検出部１０２の機能構成を例示するブロック図である。
【００６１】
図５に示す様に、非音声音検出部１０２は、線形予測誤差計算部２０、平均値計算部２１、非音声音判定部Ａ２２、切替部２３、ＦＦＴ計算部２４、ＭＦＣＣ計算部２５、尤度計算部２６、非音声音判定部Ｂ２７、最終判定部２８、音モデル記憶部２９を備える。
【００６２】
非音声音検出部１０２に、受信部１０１が受信した音信号が入力されると、まず線形予測誤差計算部２０が、入力音信号の線形予測誤差信号を一定区間ごとに計算して出力する。
【００６３】
例えば、現在の時刻をｋとし、ある区間ごとの音信号の値ｘを以下の様に表す。
【００６４】
…, xk-1, xk, xk+1, …
このとき、ある区間の音信号の値ｘｋ＋１を当該区間の前までの値ｘ１〜ｘｋを用いて以下の式により予測する際に、最適となる線形予測係数ａｎ（ｎ＝０〜Ｎ−１）を求める。
【００６５】
x^k+1 = a0 xk + a1 xk-1 + a2 xk-2 + ・・・ + aN-1 xk-(N-1)
次に、上式で予測される予測値ｘ^ｋ＋１と、実際の値ｘｋ＋１との差として、線形予測誤差ｅｋ＋１を以下の式により求めることができる。
【００６６】
ek+1 = x^k+1 - xk+1
この誤差は予測と実測とのずれを示すことから、誤差が大きいほど、入力音波形に急峻な変化（＝音声、非音声音の混入）が起きていると考えることができる。
【００６７】
この様に、線形予測誤差計算部２０が上式に基づいて線形予測誤差を算出し、平均値計算部２１が、誤差の平均値を一定区間ごとに計算し、非音声音判定部Ａ２２に出力する。
【００６８】
非音声音判定部Ａ２２は、平均値計算部２１によって計算される線形予測誤差の平均値と、例えば予め設定される閾値とを比較し、平均値が閾値よりも大きい場合には、平均値を算出した入力音信号には音声又は非音声音信号が含まれていると判定し、判定結果情報１を出力する。
【００６９】
切替部２３は、非音声音判定部Ａ２２において線形予測誤差の平均値が閾値を上回った場合に、入力音信号をＦＦＴ計算部２４に入力する。なお、本実施形態では、非音声音判定部Ａ２２において線形予測誤差の平均値が、予め設定される閾値を上回った場合に、切替部２３がＦＦＴ計算部２４に入力音信号を入力する様に信号の切り替えを行うが、常にＦＦＴ計算部２４に入力音信号を入力する様に構成しても良い。
【００７０】
ＦＦＴ計算部２４は、入力音信号に対してある一定区間ごとに高速フーリエ変換（ＦＦＴ）を行い、周波数スペクトルを計算する。
【００７１】
ＭＦＣＣ計算部２５は、ＦＦＴ計算部２４によって計算された周波数スペクトルからメル周波数ケプストラム係数（ＭＦＣＣ）を計算する。ＭＦＣＣは、人間の聴覚の性質を取り入れた特徴量であり、音声認識等に用いられる。
【００７２】
ＭＦＣＣの計算は、ＦＦＴにより得られる周波数スペクトルに対して、（１）絶対値を取る、（２）メル尺度（人間の聴覚に応じた音の高さの尺度）上で等間隔なフィルタバンクにかけて、各帯域のスペクトルの和を求める、（３）対数を取る、（４）離散コサイン変換（ＤＣＴ）を行う、（５）低次成分を取り出す、というものである。
【００７３】
尤度計算部２６は、音モデル記憶部２９に記憶されているモデルパラメータを読み込み、ＭＦＣＣ計算部２５により求められるＭＦＣＣに対する尤度を計算する。
【００７４】
音モデル記憶部２９には、音声及び検出対象とする非音声音信号の音モデルのモデルパラメータが記憶されている。ここで、音モデルとは、音声等の特徴をモデル化したものであり、例えばガウス混合モデル（ＧＭＭ）等で音声等の特徴がモデル化され、その場合には各多次元ガウス分布の重み、平均や共分散等がモデルパラメータとなる。モデルパラメータは、予め収集される音声及び非音声音のデータベースから抽出した特徴量を用いて推定される。
【００７５】
尤度計算部２６により求められる尤度は、音モデル記憶部２９に記憶されている音モデルに対する尤もらしさを示すものであり、この場合、尤度が高いほど入力音信号は音声又は検出対象とする非音声音である可能性が高いということになる。
【００７６】
尤度計算部２６における尤度Ｌは、例えばＧＭＭに対して行う場合には以下の式により求めることができる。
【００７７】
【数１】
2013229657.tif 000003
ここで、ｘがＭＦＣＣのベクトル、Ｗｋがｋ番目の分布の重み、Ｎｋがｋ番目の多次元ガウス分布を表す。
【００７８】
非音声音判定部Ｂ２７は、尤度計算部２６によって計算される尤度と、例えば予め設定される閾値とを比較することで、この区間における入力音声信号に対して音声信号又は非音声音信号の有無等を判定し、判定結果情報２を出力する。
【００７９】
最終判定部２８は、非音声音判定部Ａ２２による判定結果情報１と、非音声音判定部Ｂ２７による判定結果情報２とに基づいて、最終的な検出結果情報を出力する。例えば、入力音信号に音声信号又は非音声音信号が有るという判定結果情報１と、入力音信号に非音声音信号が有るという判定結果情報２を得た場合にのみ、非音声音信号有りという検出結果を出力する。
【００８０】
図６は、非音声音検出部１０２における非音声音信号の検出処理のフローチャートを例示する図（１）である。
【００８１】
図６に示す様に、非音声音検出部１０２では、まずステップＳ１１にて、線形予測誤差計算部２０が、入力音信号から線形予測誤差を計算する。次にステップＳ１２にて、平均値計算部２１が、線形予測誤差計算部２０による線形予測誤差のある区間における平均値を計算する。
【００８２】
ステップＳ１３にて、非音声音判定部Ａ２２が平均値計算部２１によって計算される平均値と予め設定される閾値１とを比較し、線形予測誤差の平均値が閾値１以下の場合には、ステップＳ２１にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。
【００８３】
ステップＳ１３にて、線形予測誤差の平均値が閾値１よりも大きい場合には、切替部２３が入力音信号をＦＦＴ計算部２４に送信し、ステップＳ１４にて、ＦＦＴ計算部２４が入力音信号から周波数スペクトルを計算する。
【００８４】
次に、ステップＳ１５にて、ＦＦＴ計算部２４によって計算される周波数スペクトルから、ＭＦＣＣ計算部２５がＭＦＣＣを計算し、ステップＳ１６にて、尤度計算部２６が音モデル記憶部２９に記憶されている音声の音モデルに対する尤度を計算する。
【００８５】
ステップＳ１７にて、尤度計算部２６によって計算された尤度が、予め設定される閾値２以上の場合には、入力音信号には人間が発する音声が含まれているものとして、ステップＳ２１にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。
【００８６】
ステップＳ１７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が、閾値２よりも小さい場合には、ステップＳ１８にて、尤度計算部２６が検出対象とする非音声音の音モデルに対する尤度を計算する。
【００８７】
次にステップＳ１９にて、非音声音判定部Ｂ２７が尤度と閾値３とを比較し、尤度が閾値３より大きい音モデルが存在する場合には、ステップＳ２０にて、最終判定部２８が検出対象とする非音声音信号が入力音信号に含まれていると最終判定して処理を終了する。
【００８８】
ステップＳ１９にて、尤度が閾値３より大きい音モデルが存在しない場合には、ステップＳ２２にて、入力音には検出対象とする非音声音信号は含まれていないものと最終判定して処理を終了する。
【００８９】
図７は、非音声音検出部１０２による非音声音信号の検出結果を例示する図である。
【００９０】
図７に示す様に、非音声音検出部１０２は、入力音信号における単位時間ごとに非音声音信号を検出し、単位時間ごとに付与される区間ＩＤ、非音声音の有無、非音声音の種類といった情報と共に出力する。
【００９１】
非音声音検出部１０２が検出する非音声音信号の種類は、例えば机を叩く音、手を叩く音（手拍子）等である。なお、音モデル記憶部２９にさらに多くの種類の非音声音信号の音モデルを記憶させることで、非音声音検出部１０２において多様な種類の非音声音信号を検出する様に設けることができる。また、入力音信号に含まれる非音声音信号の有無のみを検出する様に設けても良い。
【００９２】
非音声音信号の有無のみを検出する場合には、音モデル記憶部２９に音声の音モデルが記憶され、非音声音検出部１０２は、図８に示すフローチャートに基づいて非音声音信号の検出処理を行う。
【００９３】
図８に示す様に、まずステップＳ３１にて、線形予測誤差計算部２０が、入力音信号から線形予測誤差を計算する。次にステップＳ３２にて、平均値計算部２１が、線形予測誤差計算部２０による線形予測誤差の平均値を計算する。
【００９４】
ステップＳ３３にて、非音声音判定部Ａ２２が平均値計算部２１によって計算される平均値と閾値１とを比較し、線形予測誤差の平均値が閾値１以下の場合には、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。
【００９５】
ステップＳ３３にて、線形予測誤差の平均値が予め設定される閾値１よりも大きい場合には、切替部２３が入力音信号をＦＦＴ計算部２４に送信し、ステップＳ３４にて、ＦＦＴ計算部２４が入力音信号から周波数スペクトルを計算する。
【００９６】
次に、ステップＳ３５にて、ＦＦＴ計算部２４によって計算される周波数スペクトルから、ＭＦＣＣ計算部２５がＭＦＣＣを計算し、ステップＳ３６にて、尤度計算部２６が音モデル記憶部２９に記憶されている音声の音モデルに対する尤度を計算する。
【００９７】
ステップＳ３７にて、尤度計算部２６によって計算された尤度が、予め設定される閾値２以上の場合には、入力音信号には人間が発する声が含まれているものとして、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。
【００９８】
ステップＳ３７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が、閾値２以上の場合には、入力音信号には人間が発する声が含まれているものとして、ステップＳ３９にて、最終判定部２８が非音声音信号なしと最終判定して処理を終了する。
【００９９】
ステップＳ３７にて、尤度計算部２６によって計算された音声の音モデルとの尤度が閾値２より小さい場合には、ステップＳ３９にて、最終判定部２８が非音声音信号ありと最終判定して処理を終了する。
【０１００】
この様に、会議端末１００は、入力音信号に対して非音声音信号の有無を検出し、非音声音信号の有無に基づいて被制御部１０７の制御を行うことも可能である。
【０１０１】
≪被制御部の制御≫
非音声音検出部１０２にて、上記した処理により入力音信号に含まれる非音声音の有無が検出されると、次に制御情報取得部１０４が非音声音信号の検出パターンを認識する。
【０１０２】
図９は、本実施形態に係る会議端末１００における被制御部１０７の制御手順のシーケンスを例示する図である。
【０１０３】
会議端末１００の制御情報取得部１０４は、認識部１０４ａ、監視部１０４ｂを備え、非音声音検出部１０２による検出結果は、認識部１０４ａに入力される。
【０１０４】
図９に示す様に、非音声音検出部１０２は入力音信号から非音声音信号の検出を行い、非音声音検出結果を制御情報取得部１０４の認識部１０４ａに出力する（ステップＳ１０１）。
【０１０５】
制御情報取得部１０４の認識部１０４ａは、監視部１０４ｂに非音声音信号が検出されたことを通知し、監視部１０４ｂは、時間の計測を開始する（ステップＳ１０２）。また、認識部１０４ａは、非音声音検出結果を認識部１０４ａが備えるバッファに記憶させる（ステップＳ１０３）。
【０１０６】
同様に、非音声音検出部１０２によって非音声音信号が検出された場合には、非音声音検出部１０２が非音声音検出結果を制御情報取得部１０４の認識部１０４ａに出力し（ステップＳ１０４，Ｓ１０６）、認識部１０４ａが非音声音検出結果をバッファに記憶させる（ステップＳ１０５，Ｓ１０７）。
【０１０７】
図１０は、制御情報取得部１０４の認識部１０４ａが備えるバッファに記憶される非音声音検出結果の例である。図１０に示す様に、認識部１０４ａのバッファには、非音声音信号の検出結果として、付与される非音声音ＩＤ、非音声音信号が検出された区間ＩＤ、非音声音信号の種類が記憶される。
【０１０８】
次に、時間の計測を開始していた監視部１０４ｂは、一定の時間ｔ秒（例えば２秒等）が経過した時点で、認識部１０４ａに一定の時間ｔ秒が経過したことを通知する（ステップＳ１０８）。次に、制御情報取得部１０４の認識部１０４ａが制御情報記憶部１０５との間で検出パターンの照合を行う（ステップＳ１０９）。
【０１０９】
ここで、制御情報記憶部１０５には、図１１に例示する様に、非音声音信号の検出パターンに対応する被制御部１０７の制御情報が記憶されている。検出パターンは、非音声音検出部１０２によって検出される非音声音信号の数、種類、間隔等によって構成される。
【０１１０】
例えば、[制御ＩＤ：０]は、上記した監視部１０４ｂによって計測される所定の時間ｔ秒の間に、非音声音信号として「机を叩く音」が間隔ｔ１で２回検出された場合には、被制御部１０７のカメラ１０７ｃをズームイン制御する、という制御情報である。また、[制御ＩＤ：１]は、非音声音信号として「机を叩く音」が間隔ｔ２、ｔ３で３回検出された場合には、被制御部１０７のスピーカ１０７ｂのボリュームを上げる様に制御する、という制御情報である。また、[制御ＩＤ：２]は、[制御ＩＤ：１]と非音声音信号の種類、回数は同じだが、非音声音信号の検出間隔が異なり、カメラ１０７ｃをズームアウトする、という制御情報である。さらに、[制御ＩＤ：３]は、非音声音信号として「手を叩く音」が間隔ｔ６で２回検出された場合には、ディスプレイ１０７ａの画面レイアウトを変える様に制御する、という制御情報である。
【０１１１】
なお、制御情報記憶部１０５に記憶される検出パターンに対応する被制御部１０７の制御情報は、図１１に示す例に限るものではなく、異なる検出パターンに対応して異なる制御情報を記憶させても良い。制御情報は、所定の時間以内に検出される非音声音信号についての、数、時間間隔及び種類のうち少なくとも１つ以上を用いた組み合わせにより、多様な種類の制御を行うことが可能になる。また、非音声音検出部１０２にて、非音声音信号の有無のみを検出する場合には、例えば非音声音信号の検出回数と、検出される非音声音信号の間隔等を組み合わせることで、複数の検出パターンを構成できる。
【０１１２】
図９のシーケンス図に戻り、認識部１０４ａは、バッファに記憶させた非音声音信号の数、種類及び区間ＩＤから求められる間隔に基づいて検出パターンを認識し、制御情報記憶部１０６に記憶されている制御情報との照合を行う（ステップＳ１０９）。
【０１１３】
認識部１０４ａのバッファに記憶された検出パターンに合致する検出パターンが制御情報記憶部１０５に存在する場合には、認識部１０４ａは、制御情報記憶部１０５からこの検出パターンに対応する制御情報を取得する（ステップＳ１１０）。
【０１１４】
認識部１０４ａは、制御情報を取得すると、制御部１０６に制御情報を送信し（ステップＳ１１１）、制御部１０６が制御情報に基づいて被制御部１０７に制御信号を送信する（ステップＳ１１２）。
【０１１５】
この様に、会議端末１００は、受信部１０１が受信する入力音信号に含まれる非音声音に基づいて、被制御部１０７の動作を制御することが可能になる。したがって、例えば会議端末１００にネットワーク４００を介して接続する会議端末２００のユーザは、所定の非音声音を発することによって、当該非音声音を入力音信号として受信する会議端末１００の被制御部１０７を制御することができる。
【０１１６】
≪非音声音の除去≫
非音声音除去部１０３には、受信部１０１が受信する入力音信号と、非音声音検出部１０２によって検出される非音声音信号とが入力され、入力音信号と非音声音信号との差分を出力音信号として出力する。
【０１１７】
この様に、非音声音除去部１０３は、入力音信号から非音声音信号を除去することで、会議端末１００の被制御部１０７を制御するために発せられる本来不必要な非音声音を除去した出力音信号を、例えば保存部１０９に保存することが可能になる。
【０１１８】
≪映像信号への制御結果の合成≫
映像合成部Ａ１１０は、制御部１０６によって被制御部１０７の制御が行われた場合に、受信部１０１から送信される映像信号に、制御部１０６による被制御部１０７の制御結果を表す画像を合成し、被制御部１０７のディスプレイ１０７ａに表示させる。
【０１１９】
また、映像合成部Ｂ１１１は、制御部１０６によって被制御部１０７の制御が行われた場合に、被制御部１０７のカメラ１０７ｃによって撮影された映像信号に、制御部１０６による被制御部１０７の制御結果を表す画像を合成し、送信部１０８に送信する。
【０１２０】
図１２は、本実施形態に係る会議システム３００におけるディスプレイ１０７ａ，２０１への制御結果の表示例を示す図である。
【０１２１】
会議システム３００において、会議端末１００の被制御部１０７のディスプレイ１０７ａには会議端末２００から送信される映像が表示され（図中右側）、会議端末２００のディスプレイ２０３には会議端末１００から送信される映像が表示される（図中左側）。この状態で、会議端末１００の制御部１０６による被制御部１０７の制御が行われた場合に、映像合成部Ａ１１０及び映像合成部Ｂ１１１は、制御部１０６の制御結果を表す文字、記号等を映像信号に合成する。
【０１２２】
図１２は、会議端末２００のユーザが所定の非音声音を発し、会議端末１００のカメラ１０７ｃをズームさせた場合の例であり、図１２（ａ）は制御結果を文字で表示し、図１２（ｂ）は制御結果を絵と文字で表示した例である。
【０１２３】
この様に、各会議端末１００，２００のディスプレイ１０７ａ，２０１に制御結果を表示させることで、会議端末２００のユーザは意図する制御が行われたことを確認し、会議端末１００のユーザは被制御部１０７の制御が行われたことを確認できる。
【０１２４】
なお、制御結果は、例えば会議端末１００の被制御部１０７を制御する非音声音を発した側の会議端末２００のディスプレイ２０３にのみ表示させても良い。また、各会議端末１００，２００において、それぞれのユーザが制御結果の表示ＯＮ／ＯＦＦを選択できる様にしても良い。
【０１２５】
≪受信モードの選択≫
受信モード選択部１１２は、会議端末１００のユーザが、ネットワーク４００を介して接続する会議端末２００のユーザによる被制御部１０７の制御を受け付けるか否か等の受信モードの選択を受け付ける。
【０１２６】
受信モード選択部１１２が備える受信モードの種類としては、例えば「制御を受け付ける」、「制御を受け付けるか否か都度確認する」、「制御を受け付けない」等を設けることができる。受信モードを適宜設定することにより、例えば会議端末２００のユーザによって、会議端末１００のユーザにとって望ましくない制御が行われるのを防止できる。
【０１２７】
以上で説明した様に、本実施形態の会議端末１００によれば、受信部１０１が音信号を受信し、受信した音信号に含まれる非音声音の検出パターンに応じて、被制御部１０７の制御が行われる。したがって、会議端末１００は、例えばネットワーク４００を介して接続する会議端末２００から送信される音信号に基づいて、被制御部１０７を制御することが可能である。
【０１２８】
また、本実施形態の会議システム３００によれば、会議端末２００のユーザは、所定の非音声音を発することで、ネットワーク４００を介して接続する会議端末１００の被制御部１０７を制御することができる。したがって、会議端末２００に送信される会議端末１００の映像や音声等を、会議端末２００のユーザが望む状態に制御することが可能になる。また、会議端末２００には、非音声音を含む音を集音して会議端末１００に送信できれば良く、会議端末１００を制御するための特別な機能等を設ける必要がない。
【０１２９】
ここまで、上記実施形態に基づき本発明の説明を行ってきたが、上記実施形態に係る会議端末１００が有する機能は、上記に説明を行った各処理手順を、上記実施形態に係る会議端末１００にあったプログラミング言語でコード化したプログラムとしてコンピュータで実行することで実現することができる。よって、上記実施形態に係る会議端末１００を実現するためのプログラムは、コンピュータが読み取り可能な記録媒体１１８に格納することができる。
【０１３０】
よって、上記実施形態に係るプログラムは、フレキシブルディスク、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体１１８に記憶させることによって、これらの記録媒体１１８から、会議端末１００にインストールすることができる。また、会議端末１００は、ネットワークＩ／Ｆ部１１５を有していることから、上記実施形態に係るプログラムは、インターネット等の電気通信回線を介してダウンロードし、インストールすることもできる。
【０１３１】
以上、本発明の実施形態について説明したが、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１３２】
１００  会議端末
１０１  受信部
１０２  非音声音検出部
１０３  非音声音除去部
１０４  制御情報取得部
１０５  制御情報記憶部（記憶部）
１０６  制御部
１０７  被制御部
１０７ｃ  カメラ（撮像部）
１０８  送信部
１０９  保存部
１１１  映像合成部Ｂ（制御結果合成部）
１１８  記録媒体
２０１  マイクロホン（音信号変換部）
２１１  送信部
３００  会議システム
【先行技術文献】
【特許文献】
【０１３３】
【特許文献１】特開平３−５４９８９号公報
【図１】
2013229657.tif 000004
【図２】
2013229657.tif 000005
【図３】
2013229657.tif 000006
【図４】
2013229657.tif 000007
【図５】
2013229657.tif 000008
【図６】
2013229657.tif 000009
【図７】
2013229657.tif 000010
【図８】
2013229657.tif 000011
【図９】
2013229657.tif 000012
【図１０】
2013229657.tif 000013
【図１１】
2013229657.tif 000014
【図１２】
2013229657.tif 000015