(57)【要約】【課題】入力された音声情報に対する音声処理を簡易な構成で実行すること。【解決手段】収音された音声に基づく音声情報を取得し、収音された前記音声の発生源を含む範囲が撮像された映像情報を取得し、取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定し、取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行する。【選択図】図３
2015149679.tif 000002
【特許請求の範囲】
【請求項１】
収音された音声に基づく音声情報に対して音声処理を実行する音声処理装置であって、
収音された前記音声に基づく前記音声情報を取得する音声情報取得部と、
収音された前記音声の発生源を含む範囲が撮像された映像情報を取得する映像情報取得部と、
取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定する動作検知部と、
取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行する音声処理部と、
を備えることを特徴とする音声処理装置。
【請求項２】
前記音声処理部は、前記特定の動作として音声を低減する旨のしぐさが検知された場合、特定された前記位置から発生した音声が低減されるように前記音声処理を実行することを特徴とする請求項１に記載の音声処理装置。
【請求項３】
前記音声処理部は、前記特定の動作として音声を強調する旨のしぐさが検知された場合、特定された前記位置から発生した音声が強調されるように前記音声処理を実行することを特徴とする請求項１又は２いずれか１項に記載の音声処理装置。
【請求項４】
音声処理済みの前記音声情報を記憶媒体に記憶させ、若しくは、ネットワークを介して送信する処理済情報出力部を備えることを特徴とする請求項１乃至３いずれか１項に記載の音声処理装置。
【請求項５】
請求項１乃至４いずれか１項に記載の音声処理装置と、
取得された前記音声情報に基づき、特定された前記位置に撮像されている映像に対して、検知された前記特定の動作に応じた映像処理を実行する映像処理部を備える映像処理装置と、
を備えることを特徴とする情報処理装置。
【請求項６】
前記映像処理部は、前記特定の動作として音声を低減する旨のしぐさが検知された場合、特定された前記位置を含む所定の範囲が隠れるように前記映像処理を実行することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記音声処理部は、前記特定の動作として音声を強調する旨のしぐさが検知された場合、特定された前記位置を含む範囲が強調されるように前記映像処理を実行することを特徴とする請求項５又は６に記載の情報処理装置。
【請求項８】
収音された音声に基づく音声情報に対して音声処理を実行する音声処理方法であって、
収音された前記音声に基づく前記音声情報を取得し、
収音された前記音声の発生源を含む範囲が撮像された映像情報を取得し、
取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定し、
取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行することを特徴とする音声処理方法。
【請求項９】
収音された音声に基づく音声情報に対して音声処理を実行する音声処理プログラムであって、
収音された前記音声に基づく前記音声情報を取得するステップと、
収音された前記音声の発生源を含む範囲が撮像された映像情報を取得するステップと、
取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定するステップと、
取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行するステップと、
を実行することを特徴とする音声処理プログラム。
【請求項１０】
収音された音声に基づく音声情報に対して音声処理を実行する音声処理システムであって、
前記音声を収音する音声収音部と、
収音された前記音声に基づく前記音声情報を取得する音声情報取得部と、
収音された前記音声の発生源を含む範囲を撮像する撮像部と、
前記範囲が撮像された映像情報を取得する映像情報取得部と、
取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定する動作検知部と、
取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行する音声処理部と、
を備えることを特徴とする音声処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、音声処理方法、音声処理プログラム、音声処理システムに関し、特に、入力された音声情報に対する音声処理に関する。
【背景技術】
【０００２】
近年、互いに離れた場所に位置する拠点にいる人物同士が、ネットワークを介した通信により、各拠点における音声や映像をやり取りし、若しくは、記録することで、コミュニケーションをとったり、監視したりすることを可能にする遠隔地コミュニケーションシステムや遠隔地監視システムといった遠隔システムが利用されている（例えば、特許文献１を参照）。
【０００３】
このような遠隔システムは、周囲の音を収音してデジタルデータである音声情報を取得するためのマイクロフォン等の音声入力装置、及び、周囲を撮像してデジタルデータである映像情報を取得するためのデジタルカメラ等の撮影装置を備えた情報処理端末が各拠点に設置され、それらが上記ネットワークを介して接続されて構成される。そして、各拠点に設置された上記情報処理端末により取得された音声情報及び映像情報が記録され、若しくは、他拠点に設置されている情報処理端末に送信されて再生されることで、上記コミュニケーションや監視が可能となる。
【０００４】
このような遠隔システムに使用される上記情報処理端末は、通常、利用者の操作により一時的に音声情報の取得を遮断するためのミュート機能を備えている。そのため、このような遠隔システムにおいては、各拠点にいる利用者が自身の判断でそのミュート機能を有効にすることで、その意図に反して音声情報が記録され、若しくは、他拠点に送信されることがないといった利点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、一の拠点に複数の利用者がいる場合、上記情報処理端末においてミュート機能が有効にされると、その情報処理端末が設置されている拠点にいる利用者全員の音声情報の取得が遮断されてしまい、本来ならば音声情報が記録され、若しくは、他拠点に送信されるべき音声情報についても取得が遮断されてしまうといった問題がある。
【０００６】
そこで、各利用者がそれぞれミュート機能を利用することが可能なように、利用者毎に上記情報処理端末若しくは音声入力装置を設置することで、どの利用者も自身の意図した通りに音声情報を取得させ若しくはその取得を遮断させさせることが可能となる。
【０００７】
しかし、このように、利用者毎に上記情報処理端末若しくは音声入力装置が設置されると、遠隔システムの構成が複雑になって運用が煩雑になり、また、イニシャルコスト及びランニングコストが上昇してしまうといった問題がある。
【０００８】
尚、このような問題は、遠隔システムに使用される上記情報処理端末に限らず、上記情報処理端末の機能の一部として搭載され、収音された音声に基づく音声情報に対して音声処理を実行する音声処理装置においても同様に起こり得る問題である。
【０００９】
本発明は、このような課題を解決するためになされたものであり、入力された音声情報に対する音声処理を簡易な構成で実行することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、収音された音声に基づく音声情報に対して音声処理を実行する音声処理装置であって、収音された前記音声に基づく前記音声情報を取得する音声情報取得部と、収音された前記音声の発生源を含む範囲が撮像された映像情報を取得する映像情報取得部と、取得された前記映像情報から人物の特定の動作を検知し、前記動作が検知された位置を特定する動作検知部と、取得された前記音声情報に基づき、特定された前記位置から発生した音声に対して、検知された前記特定の動作に応じた音声処理を実行する音声処理部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力された音声情報に対する音声処理を簡易な構成で実行することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る遠隔システムの運用形態を示す図である。
【図２】本発明の実施形態に係るクライアント端末のハードウェア構成を模式的に示すブロック図である。
【図３】本発明の実施形態に係るクライアント端末の機能構成を模式的に示すブロック図である。
【図４】本発明の実施形態に係る動作検知情報の一例を示す図である。
【図５】本発明の実施形態に係る動作種別登録情報の一例を示す図である。
【図６】本発明の実施形態に係る音声加工処理登録情報の一例を示す図である。
【図７】本発明の実施形態に係る音声加工処理制御情報の一例を示す図である。
【図８】本発明の実施形態に係る音声加工処理登録情報の一例を示す図である。
【図９】本発明の実施形態に係る映像加工処理制御情報の一例を示す図である。
【図１０】本発明の実施形態に係る音声加工処理の処理内容を説明するための図である。
【図１１】本発明の実施形態に係る映像加工処理の処理内容を説明するための図である。
【図１２】本発明の実施形態に係る映像加工処理部が映像情報に映像加工処理を実行した結果の一例を示す図である。
【図１３】本発明の実施形態に係る映像加工処理部が映像情報に映像加工処理を実行した結果の一例を示す図である。
【図１４】本発明の実施形態に係るクライアント端末が、動作検知情報を生成する際の処理を説明するためのフローチャートである。
【図１５】本発明の実施形態に係るクライアント端末が、音声情報及び映像情報を他のクライアント端末に送信する際の処理を説明するためのフローチャートである。
【図１６】本発明の実施形態に係るクライアント端末が他のクライアント端末から受信した音声情報及び映像情報を再生する際の処理を説明するためのフローチャートである。
【図１７】本発明の実施形態に係る音声加工処理プログラム格納情報の一例を示す図である。
【図１８】本発明の実施形態に係る映像加工処理プログラム格納情報の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、互いに離れた場所に位置する拠点にいる人物同士がネットワークを介した通信により各拠点における音声や映像をやり取りすることでコミュニケーションをとったり、監視したりすることを可能にする遠隔地コミュニケーションシステムや遠隔地監視システムといった遠隔システムを例として説明する。
【００１４】
また、本実施形態に係る遠隔システムは、周囲の音を収音してデジタルデータである音声情報を取得するためのマイクロフォン等の音声入力機能、及び、周囲を撮像してデジタルデータである映像情報を取得するためのデジタルカメラ等の撮影機能を備えた、音声処理装置及び映像処理装置としての情報処理端末が各拠点に設置され、それらがネットワークを介して接続されて構成される。そして、各拠点に設置された上記クライアント端末により取得された音声情報及び映像情報が記録され、若しくは、他拠点に設置されているクライアント端末に送信されて再生されることで、上記コミュニケーションや監視が可能となる。
【００１５】
このようなクライアント端末において、本実施形態に係る要旨の一つは、取得した映像情報から人物の特定の動作を検知し、検知した動作に応じた音声処理を、取得した音声情報に対して実行することにある。例えば、本実施形態に係るクライアント端末は、取得した映像から両手の指を交差させて×（バツ）マークをつくる動作を検知した場合、その動作が検知された人物が発した音声を低減するような音声処理を、取得した音声情報に対して実行する。
【００１６】
従って、本実施形態に係るクライアント端末は、ハードウェア構成に変更を加えることなく簡単な操作で、利用者の意図に反して音声情報が出力されることを防ぎつつ、本来ならば出力されるべき音声情報についても取得が遮断されてしまうことを防ぐことが可能となる。これにより、本実施形態に係るクライアント端末は、利便性の向上を図りつつ、簡易な構成で利用者の意図した通りの音声処理を実行することが可能となる。
【００１７】
まず、本実施形態に係る遠隔システムの運用形態について、図１を参照して説明する。図１は、本実施形態に係る遠隔システムの運用形態を示す図である。図１に示すように、本実施形態に係る遠隔システムは、クライアント端末１ａが接続されたネットワーク２と、クライアント端末１ｂが接続されたネットワーク３とがインターネットや電話回線等の公衆回線４を介して接続されて構成されている。以下では、クライアント端末１ａと１ｂとを区別する必要がない場合に限り、それらをまとめてクライアント端末１とする。
【００１８】
尚、ネットワーク３に接続されているクライアント端末１の数は一例であり、これらがもっと多く接続された大規模なシステムであっても良い。また、それぞれ異なるクライアント端末１が接続された複数のネットワークが公衆回線４を介して接続される構成としても良いし、クライアント端末１ａと１ｂとが同一のネットワーク上の異なる場所、例えば、同一の建物内の異なる部屋等で接続されて構成されていても良い。
【００１９】
クライアント端末１は、本実施形態に係る遠隔システムを利用するための情報処理端末であり、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）やスマートフォン、タブレット端末等の携帯情報端末、遠隔システムで利用される専用の装置等の情報処理装置によって実現される。
【００２０】
本実施形態に係るクライアント端末１は、周囲の音声を収音してデジタルデータである音声情報を入力するためのマイクロフォン等の音声入力機能、及び、周囲を撮像してデジタルデータである映像情報を入力するためのデジタルカメラやビデオカメラ等の撮影機能を備えている。また、本実施形態に係るクライアント端末１は、他のクライアント端末１からネットワークを介して送信されてきた音声情報を出力するためのスピーカ等の音声出力機能、及び、映像情報を表示するための液晶ディスプレイ等の表示機能を備えている。
【００２１】
尚、本実施形態に係るクライアント端末１には、本実施形態に係る遠隔システムを利用するための専用のソフトウェアである遠隔システム利用アプリがインストールされている。これにより、本実施形態に係るクライアント端末１は、本実施形態に係る遠隔システムを利用するための機能を提供することが可能となる。
【００２２】
尚、図１におけるネットワーク２及び３は、例えば、オフィスＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の限定されたネットワークであり、クライアント端末１ａと１ｂとは、夫々のＬＡＮを介して公衆回線４に接続されるが、公衆回線４に直接接続される態様とすることも可能である。
【００２３】
次に、本実施形態に係るクライアント端末１のハードウェア構成について図２を参照して説明する。図２は、本実施形態に係るクライアント端末１のハードウェア構成を模式的に示すブロック図である。
【００２４】
図２に示すように、本実施形態に係るクライアント端末１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス７０を介して接続されている。また、Ｉ／Ｆ５０には、入出力部６０として、表示部６１、操作部６２、撮像部６３、音声入力部６４、音声出力部６５が接続されている。
【００２５】
ＣＰＵ１０は演算手段であり、クライアント端末１全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。
【００２６】
Ｉ／Ｆ５０は、バス７０と各種のハードウェアやネットワーク等を接続し制御する。表示部６１は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やプロジェクタ等、ユーザがクライアント端末１の状態を確認するための視覚的ユーザインタフェースであり、また、デジタルデータである映像情報に基づく映像を表示するための出力インタフェースである。操作部６２は、キーボードやマウス等、ユーザがクライアント端末１に情報を入力するためのユーザインタフェースである。
【００２７】
撮像部６３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子であり、周囲を撮像して電気信号に変換し、クライアント端末１に入力するための入力インタフェースである。
【００２８】
音声入力部６４は、マイクロフォン等、周囲の音を収音して電気信号に変換し、クライアント端末１に入力するための入力インタフェースである。音声出力部６５は、スピーカやサーモフォン等、デジタルデータである音声情報に基づいて生成された電気信号を音に変換して出力するための出力インタフェースである。
【００２９】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０がＲＡＭ２０にロードされたプログラムに従って演算を行うことにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係るクライアント端末１の機能を実現する機能ブロックが構成される。
【００３０】
次に、本実施形態に係るクライアント端末１の機能構成について、図３を参照して説明する。図３は、本実施形態に係るクライアント端末１の機能構成を模式的に示すブロック図である。尚、図３においては、電気的接続を実線の矢印で示している。
【００３１】
図３に示すように、本実施形態に係るクライアント端末１は、コントローラ１００、マイクロフォン２００、カメラ３００、スピーカ４００、ディスプレイパネル５００、ネットワークＩ／Ｆ６００を有する。コントローラ１００はさらに、音声入力制御部１０１、映像入力制御部１０２、動作検知部１０３、音声加工処理制御部１０４、映像加工処理制御部１０５、音声処理部１０６、映像処理部１０７、符号化部１０８、入出力制御部１０９、復号部１１０、音声出力制御部１１１、操作表示制御部１１２を有する。
【００３２】
コントローラ１００は、ソフトウェアとハードウェアとの組み合わせによって構成される。具体的には、ＲＯＭ３０やＨＤＤ４０等の不揮発性記憶媒体に格納されたファームウェア等の制御プログラムが、ＲＡＭ２０にロードされ、それらのプログラムに従ってＣＰＵ１０が演算を行うことにより構成されるソフトウェア制御部と集積回路などのハードウェアとによってコントローラ１００が構成される。コントローラ１００は、クライアント端末１全体を制御する制御部として機能する。
【００３３】
マイクロフォン２００は、周囲の音を収音して電気信号に変換し、音声入力制御部１０１に入力する。マイクロフォン２００は、図２に示す音声入力部６４によって実現される。カメラ３００は、周囲を撮像して電気信号に変換し、映像入力制御部１０３に入力する。カメラ３００は、図２に示す撮像部６３によって実現される。スピーカ４００は、音声出力制御部１１１から入力された電気信号を音に変換して出力する。スピーカ４００は、図２に示す音声出力部６５によって実現される。
【００３４】
ディスプレイパネル５００は、クライアント端末１の状態を視覚的に表示する出力インタフェースであると共に、ユーザによる操作を受けるための画像を表示し、タッチパネルとしてユーザがクライアント端末１を直接操作し若しくはクライアント端末１に対して情報を入力する際の入力インタフェースでもある。また、ディスプレイパネル５００は、操作表示制御部１１２の制御により映像情報に基づく映像を表示する。ディスプレイパネル５００は、図２に示す表示部６１及び操作部６２によって実現される。
【００３５】
ネットワークＩ／Ｆ６００は、クライアント端末１がネットワークを介して他のクライアント端末１等の他の機器と通信するためのインタフェースであり、Ｅｔｈｅｒｎｅｔ（登録商標）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インタフェース、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）、ＦｅｌｉＣａ（登録商標）等のインタフェースが用いられる。ネットワークＩ／Ｆ６００は、図２に示すＩ／Ｆ５０によって実現される。
【００３６】
音声入力制御部１０１は、マイクロフォン２００から入力される電気信号に基づいてデジタルデータである音声情報を生成し、音声処理部１０４に入力する。即ち、本実施形態においては、音声入力制御部１０１が、音声情報取得部として機能する。映像入力制御部１０２は、カメラ３００から入力された電気信号に基づいてデジタルデータである映像情報を生成し、映像処理部１０５に入力する。即ち、本実施形態においては、映像入力制御部１０２が、映像情報取得部として機能する。
【００３７】
動作検知部１０３は、映像情報入力制御部１０２により生成された映像情報から人物の特定の動作を検知して、その動作が検知された位置の映像情報における位置座標を特定し、検知された動作の動作種別と特定された位置座標とを関連付けることで動作検知情報を生成する。そして、動作検知部１０３は、生成した動作検知情報を音声加工処理制御部１０４及び映像加工処理制御部１０５に入力する。
【００３８】
ここで、動作検知情報とは、図４に示すように、検知された動作の動作種別を識別するための動作種別識別情報とその動作が検知された位置の映像情報における位置座標とが関連付けられて登録された情報のことである。図４は、本実施形態に係る動作検知情報の一例を示す図である。尚、本実施形態に係る動作検知部１０３が動作検知情報を生成する際の処理についてはそれぞれ、図１４を参照して後述する。
【００３９】
このとき、動作検知部１０３が検知する人物の特定の動作には複数の動作種別があり、例えば、音声を低減する旨のしぐさとして、唇を手の甲若しくは手のひらで隠す動作や、唇の中央辺りで唇の開閉方向に指を立てる動作、両手の指を交差させて×（バツ）マークをつくる動作等があり、音声を強調する旨のしぐさとして、発声するかの如く唇を動かす動作、人差し指の指先と親指の指先を接触させて○（マル）マークをつくる動作、挙手する動作等がある。そして、図５に示すように、それら動作種別と各動作種別を識別するための動作種別識別情報とが関連付けられて動作種別登録情報として予めＲＯＭ３０やＨＤＤ４０に記憶されている。図５は、本実施形態に係る動作種別登録情報の一例を示す図である。
【００４０】
尚、図５においては、動作の検知がない場合として「動作検知なし」と示している。また、図５においては、動作種別として、唇を手の甲若しくは手のひらで隠す動作を「唇を隠す」、唇の中央辺りで唇の開閉方向に指を立てる動作を「唇辺りで指を立てる」、両手の指を交差させて×（バツ）マークをつくる動作を「×をつくる」、発声するかの如く唇を動かす動作を「唇を動かす」、人差し指の指先と親指の指先を接触させて○（マル）マークをつくる動作を「○をつくる」、挙手する動作を「挙手する」と示している。
【００４１】
本実施形態に係るクライアント端末１は、ここで検知された動作の動作種別に基づいて、その動作が検知された人物が発している声を低減するように、若しくは、強調するように音声情報を加工処理することを要旨の一つとしている。
【００４２】
例えば、本実施形態に係るクライアント端末１は、人物の特定の動作として、唇の中央辺りで唇の開閉方向に指を立てる動作が検知された場合、その動作が検知された人物が発している音声を低減するように音声情報を加工処理する。また、例えば、本実施形態に係るクライアント端末１は、人物の特定の動作として、発声するかの如く唇を動かす動作が検知された場合、その動作が検知された人物が発している音声を強調するように音声情報を加工処理する。
【００４３】
本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、利用者の意図に反して音声情報が出力されることを防ぎつつ、本来ならば出力されるべき音声情報についても取得が遮断されてしまうことを防ぐことが可能となる。これにより、本実施形態に係るクライアント端末１は、利便性の向上を図りつつ、簡易な構成で利用者の意図した通りの音声処理を実行することが可能となる。
【００４４】
また、本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、発話者以外の人物の音声を除去することが可能となり、若しくは、発話者の音声のみを強調することが可能となる。これにより、本実施形態に係るクライアント端末１は、簡易な構成で、出力される音声情報の音質を向上させることが可能となる。
【００４５】
さらに、本実施形態に係るクライアント端末１は、ここで検知された動作の動作種別に基づいて、その人物が映像に写り込まないように、若しくは、その人物が目立つように映像情報を加工処理することを他の要旨の一つとしている。
【００４６】
例えば、本実施形態に係るクライアント端末１は、人物の特定の動作として、唇の中央辺りで唇の開閉方向に指を立てる動作が検知された場合、その人物が写り込まないように映像情報を加工処理する。また、例えば、本実施形態に係るクライアント端末１は、人物の特定の動作として、発声するかの如く唇を動かす動作が検知された場合、その人物が目立つように映像情報を加工処理する。
【００４７】
本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、利用者の意図に反して映像情報が出力されることを防ぎつつ、本来ならば出力されるべき映像情報についても取得が遮断されてしまうことを防ぐことが可能となる。これにより、本実施形態に係るクライアント端末１は、利便性の向上を図りつつ、簡易な構成で利用者の意図した通りの映像処理を実行することが可能となる。
【００４８】
また、本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、発話者がいる拠点とは異なる拠点にいる利用者に対して誰が発話しているのかを容易に認識させることが可能となる。これにより、本実施形態に係るクライアント端末１は、簡易な構成で利便性を向上させることが可能となる。
【００４９】
音声加工処理制御部１０４は、動作検知部１０３から入力された動作検知情報に基づき、音声処理部１０６による音声情報の加工処理（以下、「音声加工処理」とする）を制御するための音声加工処理制御情報を生成して音声処理部１０６に入力する。ここで、音声加工処理制御部１０４が音声加工処理制御情報を生成する方法について、図６を参照して説明する。図６は、本実施形態に係る音声加工処理登録情報の一例を示す図である。
【００５０】
音声加工処理登録情報とは、映像情報からどの動作種別が検知された場合にどのような音声加工処理を実行すべきかといった対応関係が登録された情報であって、図６に示すように、動作種別識別情報毎に、音声加工処理の処理内容を識別するための音声加工処理識別情報が関連付けられて登録された情報のことである。尚、この音声加工処理登録情報は予めＲＯＭ３０やＨＤＤ４０に記憶されている。音声加工処理制御情報には、この他、音声加工処理に必要なパラメータ、例えば、音声加工処理の対象となる音の方向情報等がある。これは、動作検知部１０３により特定された位置座標から得られる。
【００５１】
そして、音声加工処理制御部１０４は、このような音声加工処理登録情報を参照することで、動作検知部１０３から入力された動作検知情報に基づき、動作検知部１０３により特定された位置座標毎に音声加工処理識別情報を対応付けて図７に示すような音声加工処理制御情報を生成する。図７は、本実施形態に係る音声加工処理制御情報の一例を示す図である。本実施形態に係るクライアント端末１は、このような音声加工処理制御情報により、上記位置座標毎にどのような音声加工処理を実行するべきかを把握することができる。
【００５２】
映像加工処理制御部１０５は、動作検知部１０３から入力された動作検知情報に基づき、映像処理部１０７による映像情報の加工処理（以下、「映像加工処理」とする）を制御するための映像加工処理制御情報を生成して映像処理部１０７に入力する。ここで、映像加工処理制御部１０７が映像加工処理制御情報を生成する方法について、図８を参照して説明する。図８は、本実施形態に係る音声加工処理登録情報の一例を示す図である。
【００５３】
映像加工処理登録情報とは、映像情報からどの動作種別が検知された場合にどのような映像加工処理を実行すべきかといった対応関係が登録された情報であって、図８に示すように、動作種別識別情報毎に、映像加工処理の処理内容を識別するための映像加工処理識別情報が関連付けられて登録された情報のことである。尚、この映像加工処理登録情報は予めＲＯＭ３０やＨＤＤ４０に記憶されている。映像加工処理制御情報には、この他、映像加工処理に必要なパラメータ、例えば、映像加工処理の対象となる位置の方向情報等がある。これは、動作検知部１０３により特定された位置座標から得られる。
【００５４】
そして、映像加工処理制御部１０５は、このような映像加工処理登録情報を参照することで、動作検知部１０３から入力された動作検知情報に基づき、動作検知部１０３により特定された位置座標毎に映像加工処理識別情報を対応付けて図９に示すような映像加工処理制御情報を生成する。図９は、本実施形態に係る映像加工処理制御情報の一例を示す図である。本実施形態に係るクライアント端末１は、このような映像加工処理制御情報により、上記位置座標毎にどのような映像加工処理を実行するべきかを把握することができる。
【００５５】
音声処理部１０６は、音声入力制御部１０１から入力された音声情報に対して、音声加工処理制御部１０４から入力された音声加工処理制御情報に基づいて音声加工処理を実行し、音声加工処理後の音声情報（以下、「加工済音声情報」とする）を符号化部１０８に入力する。
【００５６】
ここで、音声加工処理の具体的な処理内容について、図１０を参照して説明する。図１０は、本実施形態に係る音声加工処理の処理内容を説明するための図である。図１０に示すように、本実施形態に係る音声加工処理には、音声加工処理識別情報が「１」である場合に実行される処理であって、人物が発している音声を低減させる処理と、音声処理識別情報が「２」である場合に実行される処理であって、人物が発している音声を強調させる処理とがある。
【００５７】
尚、図１０に示すように、音声加工処理識別情報が「０」である場合には、音声加工処理が実行されず、標準の音声処理として、音声の指向性を制御しないような処理が実行される。また、この他、音声加工処理識別情報が「０」である場合、音声加工処理が実行されず、標準の音声処理として、音声を全て除去するような処理が実行されても良い。前者の場合、一部の人物の音声及び映像のみ遮断したいといった場合に有用である。一方、後者の場合、出力するべき音声及び映像のみを出力し、不要な音声及び映像は除去したいといった場合に有用である。
【００５８】
そして、本実施形態に係る音声処理部１０６は、音声加工処理制御部１０４から入力された音声加工処理制御情報に基づき、どの位置に対してどの内容の音声加工処理を実行するのかを決定し、決定した内容の音声加工処理を音声入力制御部１０１から入力された音声情報に対してその位置毎に実行する。即ち、本実施形態に係る音声処理部１０６は、上記のような音声加工処理を、音声加工処理制御部１０４から入力された音声加工処理制御情報に登録されている位置座標毎に実行する。これにより、本実施形態に係るクライアント端末１は、特定の動作が検知された人物が発している声を低減するように、若しくは、強調するように音声情報を加工処理することが可能となり、このことを要旨の一つとしている。
【００５９】
このような、音声加工処理により、音声を低減させ、若しくは、強調させる方法としては、例えば、複数のマイクロフォンから構成されたマイクロアレイを用いる方法がある。このようなマイクロアレイを用いる方法においては、各マイクロフォンの入力信号を利用して音声の指向性を制御することができる。
【００６０】
このようなこのようなマイクロアレイを用いて音声を強調する方式として、例えば、遅延和アレイ方式がある。遅延和アレイ方式では、マイクロアレイを構成する各マイクロフォンからの入力信号の角周波数をωとし、出力信号の周波数スペクトルをＹ（ω）とし、ベクトルで表した場合の各マイクロフォンからの入力信号をＺ（ω）とし、Ｈを共役複素転置をＨとし、フィルタをｗＨとすると、下記の式（１）により算出される。
2015149679.tif 000003
【００６１】
但し、ｎ番目のマイクロフォンからの入力信号の周波数スペクトルをＺｎ（ω）とし、転置をＴとし、ｘｙ平面上に配置されたマイクロアレイを構成するマイクロフォンの数をＭとすると、
2015149679.tif 000004
2015149679.tif 000005
である。
【００６２】
尚、ある基準点に対して、その基準点及び音源を通る直線とｙ軸とのなす角である到来角をθとすると、その音源の音を強調する場合、ｎ番目のマイクロフォンについてのｗｎは、下記の式（４）により算出される。
2015149679.tif 000006
【００６３】
また、上記のようなマイクロアレイを用いて音声を低減する方式として、例えば、２ｃｈ減算型アレイ方式がある。２ｃｈ減算型アレイ方式では、マイクロアレイを構成するマイクロフォンの数Ｍ＝２とすると、１番目及び２番目のマイクロフォンについてのｗ１及びｗ１はそれぞれ、下記の式（５）及び（６）により算出される。
2015149679.tif 000007
2015149679.tif 000008
【００６４】
また、マイクロアレイによって音声の指向性を制御する方式には他にも、ＭＶＤＲ方式やＧＳＣ方式等があるが、どのような方式であっても良い。また、マイクロアレイ以外の方法で音声の指向性を制御するように構成されていても良い。
【００６５】
映像処理部１０７は、映像入力制御部１０２から入力された映像情報に対して、映像加工処理制御部１０５から入力された映像加工処理制御情報に基づいて映像加工処理を実行し、映像加工処理後の映像情報（以下、「加工済映像情報」とする）を符号化部１０８に入力する。
【００６６】
ここで、映像加工処理の具体的な処理内容について、図１１を参照して説明する。図１１は、本実施形態に係る映像加工処理の処理内容を説明するための図である。図１１に示すように、本実施形態に係る映像加工処理には、映像加工処理識別情報が「１」である場合に実行される処理であって、人物が写り込まないようにする処理と、映像加工処理識別情報が「２」である場合に実行される処理であって、人物が目立つようにする処理とがある。尚、図１１に示すように、映像加工処理識別情報が「０」である場合には、映像加工処理が実行されず、標準の映像処理が実行される。
【００６７】
そして、本実施形態に係る映像処理部１０７は、映像加工処理制御部１０５から入力された映像加工処理制御情報に基づいて、どの位置に対してどの内容の映像加工処理を実行するのかを決定し、決定した内容の映像加工処理を映像入力制御部１０２から入力された映像情報に対してその位置毎に実行する。即ち、本実施形態に係る映像処理部１０７は、上記のような映像加工処理を、映像加工処理制御部１０５から入力された映像加工処理制御情報に登録されている位置座標毎に実行する。これにより、本実施形態に係るクライアント端末１は、特定の動作が検知された人物が映像に写り込まないように、若しくは、強調されるように映像情報を加工処理することが可能となり、このことを他の要旨の一つとしている。
【００６８】
このような、映像加工処理により、人物が写り込まないようにする方法として、例えば、該当部分に色を重ねるといった処理や、モザイクをかけるといった処理がある。その結果、図１２（ａ）、（ｂ）に示すように、該当部分の人物が写り込まなくなる。図１２（ａ）、（ｂ）は、本実施形態に係る映像加工処理部１０７が映像情報に映像加工処理を実行した結果の一例を示す図である。
【００６９】
また、上記映像加工処理により、人物が目立つようにする方法として、例えば、該当部分を囲むといった処理や、該当部分以外の輝度を落とすといった処理がある。その結果、図１３（ａ）、（ｂ）に示すように、該当部分の人物が目立つようになる。図１３（ａ）、（ｂ）は、本実施形態に係る映像加工処理部１０７が映像情報に映像加工処理を実行した結果の一例を示す図である。
【００７０】
符号化部１０８は、音声処理部１０６及び映像処理部１０７から入力された加工済音声情報と加工済映像情報とを時間的なズレが生じないように同期して、ネットワークを介して送信することができる形に符号化し、符号化後の加工済音声情報（以下、「符号化音声情報」とする）及び加工済映像情報（以下、「符号化映像情報」とする）を入出力制御部１０９に入力する。
【００７１】
入出力制御部１０９は、符号化部１０８から入力された符号化音声情報及び符号化映像情報をネットワークＩ／Ｆ６００及びネットワークを介して他のクライアント端末１に送信する。また、入出力制御部１０９は、ネットワークＩ／Ｆ６００及びネットワークを介して送信されてくる符号化音声情報及び符号化映像情報を受信して復号部１１０に入力する。即ち、本実施形態においては、入出力制御部１０９が、処理済情報出力部として機能する。
【００７２】
復号部１１０は、入出力制御部１０９から入力された符号化音声情報及び符号化映像情報を復号して、復号した音声情報及び映像情報をそれぞれ音声出力制御部１１１及び操作表示制御部１１２に入力する。
【００７３】
音声出力制御部１１１は、復号部１１０から入力された音声情報に基づいて電気信号を生成してスピーカ４００に入力する。操作表示制御部１１２は、復号部１１０から入力された映像情報に基づいてディスプレイパネル５００に映像を表示させる。また、操作表示制御部１１２は、操作画面情報を生成し、生成した操作画面情報に基づいてディスプレイパネル５００に操作画面を表示し、若しくは、ユーザによりディスプレイパネル５００を介して入力された操作情報をコントローラ１００の各部に通知する。
【００７４】
次に、本実施形態に係る動作検知情報を生成する際の処理について、図１４を参照して説明する。図１４は、本実施形態に係るクライアント端末１が、動作検知情報を生成する際の処理を説明するためのフローチャートである。
【００７５】
図１４に示すように、本実施形態に係るクライアント端末１が動作検知情報を生成する際にはまず、動作検知部１０３は、映像情報入力制御部１０２により生成された映像情報から人物毎に特定の動作を検知し（Ｓ１４０１）、その動作が検知された位置の映像情報における位置座標を特定する（Ｓ１４０２）。
【００７６】
尚、動作検知部１０３が、Ｓ１４０１の処理において人物の特定の動作を検知する際にはまず、映像情報入力制御部１０２により生成された映像情報から人物の手と唇とを検知する。そして、動作検知部１０３は、検知した手と唇とが所定時間以上重なっているか否かを判定し、所定時間以上重なっていると判定した場合に、唇を手の甲若しくは手のひらで隠す動作として上記特定の動作を検知する。また、動作検知部１０３は、検知した手の指が唇の開閉方向に立った状態で唇と所定時間以上重なっているか否かを判定し、所定時間以上重なっていると判定した場合に、唇の中央辺りで唇の開閉方向に指を立てる動作として上記特定の動作を検知する。動作検知部１０３は、その他の動作についても上記と同様にして検知することが可能である。
【００７７】
そして、動作検知部１０３は、Ｓ１４０１の処理において検知した動作の動作種別に基づき、図５に示した動作種別登録情報を参照することで、その動作種別を識別するための動作種別識別情報を取得し（Ｓ１４０３）、Ｓ１４０２の処理において特定された位置座標と関連付ける（Ｓ１４０４）。
【００７８】
動作検知部１０３は、映像情報入力制御部１０２により生成された映像情報において、写り込んでいる全ての人物について、若しくは、撮像された全範囲についてＳ１４０１〜Ｓ１４０４の処理を終えると（Ｓ１４０５）、図４に示したような動作検知情報を完成させ、動作検知情報を生成する際の処理を終了する。
【００７９】
次に、本実施形態に係る遠隔システムが運用される際のクライアント端末１が実行するする処理について、図１５及び図１６を参照して説明する。図１５は、本実施形態に係るクライアント端末１が、音声情報及び映像情報を他のクライアント端末１に送信する際の処理を説明するためのフローチャートである。図１６は、本実施形態に係るクライアント端末１が他のクライアント端末１から受信した音声情報及び映像情報を再生する際の処理を説明するためのフローチャートである。
【００８０】
図１５に示すように、本実施形態に係るクライアント端末１が音声情報及び映像情報を他のクライアント端末１に送信する際にはまず、音声入力制御部１０１及び映像入力制御部１０２はそれぞれ、マイクロフォン２００から入力される電気信号に基づいて音声情報を生成し、カメラ３００から入力された電気信号に基づいて映像情報を生成して（Ｓ１５０１）、音声処理部１０４及び映像処理部１０５に入力する。
【００８１】
そして、動作検知部１０３は、Ｓ１５０２において生成された映像情報に基づき、図１４に示したような処理により、動作検知情報（図４を参照）を生成し（Ｓ１５０２）、音声加工処理制御部１０４及び映像加工処理制御部１０５に入力する。
【００８２】
音声加工処理制御部１０４及び映像加工処理制御部１０５はそれぞれ、動作検知部１０３により生成された動作検知情報に基づき、音声加工処理制御情報（図７を参照）及び映像加工処理制御情報（図９を参照）を生成し（Ｓ１５０３）、音声処理部１０６及び映像処理部１０７に入力する。
【００８３】
音声処理部１０６及び映像処理部１０７はそれぞれ、音声加工処理制御部１０４及び映像加工処理制御部１０５により入力された音声加工処理制御情報（図７を参照）及び映像加工処理制御情報（図９を参照）に基づき、Ｓ１５０１において入力された音声情報及び映像情報に対して音声加工処理及び映像加工処理を実行し（Ｓ１５０４）、加工済音声情報及び加工済映像情報を符号化部１０８に入力する。
【００８４】
このとき、音声処理部１０６は、図１７に示すような音声加工処理プログラム格納情報を参照して、音声加工処理制御部１０４により入力された音声加工処理制御情報（図７を参照）に登録されている音声加工処理識別情報に対応する音声加工処理プログラムを読み出し、そのプログラムに従って音声加工処理を実行する。図１７は、本実施形態に係る音声加工処理プログラム格納情報の一例を示す図である。ここで、音声加工処理プログラム格納情報とは、音声加工処理識別情報と音声加工処理プログラムの格納場所とが関連付けられて登録された情報であって、予めＲＯＭ３０やＨＤＤ４０に記憶されている。
【００８５】
同様に、映像処理部１０７は、図１８に示すような映像加工処理プログラム格納情報を参照して、映像加工処理制御部１０５により入力された映像加工処理制御情報（図９を参照）に登録されている映像加工処理識別情報に対応する映像加工処理プログラムを読み出し、そのプログラムに従って映像加工処理を実行する。図１８は、本実施形態に係る映像加工処理プログラム格納情報の一例を示す図である。ここで、映像加工処理プログラム格納情報とは、映像加工処理識別情報と映像加工処理プログラムの格納場所とが関連付けられて登録された情報であって、予めＲＯＭ３０やＨＤＤ４０に記憶されている。
【００８６】
そして、符号化部１０８は、音声処理部１０６及び映像処理部１０７により入力された加工済音声情報と加工済映像情報とを時間的なズレが生じないように同期して、ネットワークを介して送信することができる形に符号化し（Ｓ１５０５）、符号化音声情報及び符号化映像情報を入出力制御部１０９に入力する。
【００８７】
入出力制御部１０９は、符号化部１０８により入力された符号化音声情報及び符号化映像情報をネットワークＩ／Ｆ６００及びネットワークを介して他のクライアント端末１に送信する（Ｓ１５０６）。このようにして、本実施形態に係るクライアント端末１が、音声情報及び映像情報を他のクライアント端末１に送信する際の処理を終了する。
【００８８】
一方、図１６に示すように、本実施形態に係るクライアント端末１が他のクライアント端末１から受信した音声情報及び映像情報を再生する際にはまず、入出力制御部１０９は、ネットワークＩ／Ｆ６００及びネットワークを介して送信されてくる符号化音声情報及び符号化映像情報を受信して（Ｓ１６０１）、復号部１１０に入力する。
【００８９】
そして、復号部１１０は、入出力制御部１０９より入力された符号化音声情報及び符号化映像情報を復号して（Ｓ１６０２）、復号した音声情報及び映像情報をそれぞれ音声出力制御部１１１及び操作表示制御部１１２に入力する。
【００９０】
音声出力制御部１１１は、復号部１１０より入力された音声情報及び音声情報に基づく音声をスピーカ４００に再生させると共に、操作表示制御部１１２は、復号部１１０より入力された映像情報に基づく映像をディスプレイパネル５００に再生させる（Ｓ１６０３）。このようにして、本実施形態に係るクライアント端末１が他のクライアント端末１から受信した音声情報及び映像情報を再生する際の処理を終了する。
【００９１】
尚、音声処理部１０６及び映像処理部１０７はそれぞれ、音声加工処理及び映像加工処理を、動作検知部１０３により人物の特定の動作が検知されている間のみ一時的に実行するように構成されていても良いし、動作検知部１０３により人物の特定の動作が検知されて以降、継続して実行するように構成されていても良い。また、音声処理部１０６及び映像処理部１０７はそれぞれ、音声加工処理及び映像加工処理を、動作検知部１０３により人物の特定の動作が検知されて以降、継続して実行するが、動作検知部１０３により終了の合図として人物の所定の動作が検知された場合や、クライアント端末１を直接操作して終了の合図を入力した場合に終了するように構成されていても良い。
【００９２】
以上、説明したように、本実施形態に係るクライアント端末１は、取得した映像情報から人物の特定の動作を検知し、検知された動作の動作種別に基づいて、その動作が検知された人物が発している声を低減するように、若しくは、強調するように音声情報を加工処理することを要旨の一つとしている。
【００９３】
本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、利用者の意図に反して音声情報が出力されることを防ぎつつ、本来ならば出力されるべき音声情報についても取得が遮断されてしまうことを防ぐことが可能となる。これにより、本実施形態に係るクライアント端末１は、利便性の向上を図りつつ、簡易な構成で利用者の意図した通りの音声処理を実行することが可能となる。
【００９４】
また、本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、発話者以外の人物の音声を除去することが可能となり、若しくは、発話者の音声のみを強調することが可能となる。これにより、本実施形態に係るクライアント端末１は、簡易な構成で、出力される音声情報の音質を向上させることが可能となる。
【００９５】
さらに、本実施形態に係るクライアント端末１は、取得した映像情報から人物の特定の動作を検知し、検知された動作の動作種別に基づいて、その人物が映像に写り込まないように、若しくは、その人物が目立つように映像情報を加工処理することを他の要旨の一つとしている。
【００９６】
本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、利用者の意図に反して映像情報が出力されることを防ぎつつ、本来ならば出力されるべき映像情報についても取得が遮断されてしまうことを防ぐことが可能となる。これにより、本実施形態に係るクライアント端末１は、利便性の向上を図りつつ、簡易な構成で利用者の意図した通りの映像処理を実行することが可能となる。
【００９７】
また、本実施形態に係るクライアント端末１は、このように構成されることで、ハードウェア構成に変更を加えることなく簡単な操作で、発話者がいる拠点とは異なる拠点にいる利用者に対して誰が発話しているのかを容易に認識させることが可能となる。これにより、本実施形態に係るクライアント端末１は、簡易な構成で利便性を向上させることが可能となる。
【００９８】
尚、本実施形態においては、クライアント端末１に音声入力制御部１０１、映像入力制御部１０２、動作検知部１０３、音声加工処理制御部１０４、音声処理部１０６により実現される音声処理部と、撮像部６３と、音声入力部６４により実現される音声収音部とが全て含まれる例について構成したが、音声処理部、撮像部６３、音声収音部がそれぞれ異なる装置により実現され、それらがネットワークを介して接続された音声処理システムであっても良い。また、この他、撮像部６３、音声収音部が同一の装置により実現され、音声処理部を実現する音声処理装置と、撮像部６３及び音声収音部を実現する装置とがネットワークを介して接続された音声処理システムであっても良い。
【００９９】
また、本実施形態においては、クライアント端末１に、マイクロフォン２００、カメラ３００、ネットワークＩ／Ｆ６００、音声入力部６４、音声入力制御部１０１、動作検知部１０３、音声加工処理制御部１０４、音声処理部１０６、符号化部１０８、入出力制御部１０９により実現される音声処理機能と、カメラ３００、ネットワークＩ／Ｆ６００、映像入力制御部１０２、動作検知部１０３、映像加工処理制御部１０５、映像処理部１０７、符号化部１０８、入出力制御部１０９により実現される映像処理機能と、スピーカ４００、ネットワークＩ／Ｆ６００、入出力制御部１０９、復号部１１０、音声出力制御部１１１により実現される音声再生機能と、ディスプレイパネル５００、ネットワークＩ／Ｆ６００、入出力制御部１０９、復号部１１１、操作表示制御部１１２により実現される映像再生機能とが全て含まれる例について説明したが、音声処理機能と映像処理機能とが同一の装置により実現され、音声再生機能と映像再生機能とが同一の装置により実現され、それらがネットワークを介して接続されて遠隔システムを構成するようにしても良い。
【０１００】
また、本実施形態においては、音声加工処理済みの音声情報及び映像加工処理済みの映像情報が他のクライアント端末１に送信される例について説明したが、ＨＤＤやＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、ＳＤカード等の記憶媒体に記憶されるように構成されていても良い。このように構成された場合であっても、記憶媒体に記憶されている音声加工処理済みの音声情報及び映像加工処理済みの映像情報が他のクライアント端末１により再生されることにより、本実施形態に係る遠隔システムと同様のシステムを構築することができる。
【符号の説明】
【０１０１】
１ａ  クライアント端末
１ｂ  クライアント端末
１０  ＣＰＵ
２０  ＲＡＭ
３０  ＲＯＭ
４０  ＨＤＤ
５０  Ｉ／Ｆ
６０  入出力部
６１  表示部
６２  操作部
６３  撮像部
６４  音声入力部
６５  音声出力部
７０  バス
１０１  音声入力制御部
１０２  映像入力制御部
１０３  動作検知部
１０４  音声加工処理制御部
１０５  映像加工処理制御部
１０６  音声処理部
１０７  映像処理部
１０８  符号化部
１０９  入出力制御部
１１０  復号部
１１１  音声出力制御部
１１２  操作表示制御部
２００  マイクロフォン
３００  カメラ
４００  スピーカ
５００  ディスプレイパネル
６００  ネットワークＩ／Ｆ
【先行技術文献】
【特許文献】
【０１０２】
【特許文献１】特開２０１１−０８７０７４号公報
【図１】
2015149679.tif 000009
【図２】
2015149679.tif 000010
【図３】
2015149679.tif 000011
【図４】
2015149679.tif 000012
【図５】
2015149679.tif 000013
【図６】
2015149679.tif 000014
【図７】
2015149679.tif 000015
【図８】
2015149679.tif 000016
【図９】
2015149679.tif 000017
【図１０】
2015149679.tif 000018
【図１１】
2015149679.tif 000019
【図１２】
2015149679.tif 000020
【図１３】
2015149679.tif 000021
【図１４】
2015149679.tif 000022
【図１５】
2015149679.tif 000023
【図１６】
2015149679.tif 000024
【図１７】
2015149679.tif 000025
【図１８】
2015149679.tif 000026