(57)【要約】【課題】  音声会議システムにおいて参加者の負担を増加させることなく、会議の活性化および議事進行の改善を可能とする手段を提供する。【解決手段】  サーバ装置１４の音声信号受信部１４１は、端末装置１１の各々からユーザ１９の音声信号を受信する。サーバ装置１４の応答音声信号選択部１４５５は、応答条件ＤＢ１４４４に含まれる条件が充たされるか否かを判定し、当該条件が充たされる場合には、当該条件に対応付けられた応答音声信号を応答音声信号群１４４５から読み出して応答音声信号ミキシング部１４５７に引き渡す。応答音声信号ミキシング部１４５７は、発言音声信号ミキシング部１４５６によりミキシングされた各々のユーザ１９の発言を示す音声信号と、応答音声信号選択部１４５５から引き渡された応答音声信号をミキシングした後、各々の端末装置１１に送信する。【選択図】      図１
2006252458.tif 000002
【特許請求の範囲】
【請求項１】
応答用の音声を示す応答音声信号を記憶する記憶手段と、
複数の端末装置の各々を出力元とする音声信号を受け取る入力手段と、
前記入力手段により受け取られた音声信号の各部分のレベルに基づいて当該音声信号から無言を示す信号を検出する検出手段と、
前記検出手段により検出された無言を示す信号が継続する時間を計測する計時手段と、
前記計時手段により計測された時間に対応する応答音声信号を選択する選択手段と、
前記選択手段により選択された応答音声信号を出力する出力手段と
を備えることを特徴とする音声信号処理装置。
【請求項２】
前記記憶手段は、キーフレーズを示すキーフレーズデータをさらに記憶し、
前記入力手段により受け取られた音声信号に対し音声認識処理を行うことにより当該音声信号により示される発言に含まれるフレーズを特定する音声認識手段と、
前記音声認識手段により特定されたフレーズから前記キーフレーズデータにより示されるキーフレーズを検出する検出手段と
をさらに備え、
前記選択手段は、前記検出手段により検出されたキーフレーズを示すキーフレーズデータに対応する応答音声信号を選択する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項３】
前記選択手段は、過去の所定の期間内に前記入力手段により受け取られた音声信号の出力元の端末装置に対応する応答音声信号を選択する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項４】
特定の時点からの経過時間を計測する計時手段
をさらに備え、
前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号を選択する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項５】
前記入力手段により受け取られた１の端末装置を出力元とする音声信号が継続する時間を計測する計時手段
をさらに備え、
前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号を選択する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項６】
前記選択手段は、前記入力手段により１の端末装置を出力元とする音声信号が継続して受け取られているときに他の端末装置を出力元とする音声信号が受け取られた場合、所定の応答音声信号を選択する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項７】
前記出力手段により応答音声信号が出力されているときに前記入力手段により音声信号が受け取られた場合、前記出力手段は出力中の応答音声信号のうち未出力の部分の少なくとも一部を出力しない
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項８】
前記出力手段は、過去の所定の期間内に前記入力手段により受け取られた音声信号の出力元の端末装置のみを送信先として応答音声信号を出力する
ことを特徴とする請求項１に記載の音声信号処理装置。
【請求項９】
前記記憶手段は、前記応答音声信号に加えて、もしくは前記応答音声信号に代えて、応答用のメッセージ文字を示す応答テキストデータを記憶し、
前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号に加えて、もしくは前記計時手段により計測された時間に対応する応答音声信号に代えて、前記計時手段により計測された時間に対応する応答テキストデータを選択し、
前記出力手段は、前記選択手段により選択された応答テキストデータを出力する
ことを特徴とする請求項１乃至８のいずれかに記載の音声信号処理装置。
【請求項１０】
応答用の音声を示す応答音声信号を記憶する処理と、
複数の端末装置の各々を出力元とする音声信号を受け取る処理と、
受け取った音声信号の各部分のレベルに基づいて当該音声信号から無言を示す信号を検出する処理と、
検出された無言を示す信号が継続する時間を計測する処理と、
計測した時間に対応する応答音声信号を選択する処理と、
選択した応答音声信号を出力する処理と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響機器を用いた音声会議を行うための音声信号処理技術に関する。
【背景技術】
【０００２】
電話による通話を活性化するために、通話を行っている一方のユーザが電話機に設けられた操作部に対し操作を行うことにより、通話を行っている他方のユーザの電話機に対し効果音信号を送信することを可能とする技術がある。そのような従来技術を開示した文献として、例えば特許文献１乃至３がある。
【特許文献１】特開平１１−５５３７９号公報
【特許文献２】特開２００２−５１１１６号公報
【特許文献３】特開２００４−１１２１０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ヘッドセット等の音響機器を用いて音声会議を実現可能とする音声会議システムにおいて、上記の従来技術を利用することにより、会議における会話の活性化を促すことができる。しかしながら、上記の従来技術による場合、会議に参加するいずれかのユーザが適するタイミングで適する効果音信号を他のユーザの端末装置等に送信するための操作を行う必要があった。従って、そのような役回りのユーザが会議に集中できない等の不都合があった。
【０００４】
また、音声会議においては、通常、一度に複数のユーザが発言を行った場合にそれを制したり、会議終了予定時刻が近づいてきた時点で参加者に対し会議内容の整理を促したりするための議事進行役が必要であるが、そのような役回りのユーザもまた、会議に集中できない等の不都合があった。
【０００５】
上記の状況に鑑み、本発明は音声会議システムにおいて参加者の負担を増加させることなく、会議の活性化および議事進行の改善を可能とする手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を達成するために、本発明は、応答用の音声を示す応答音声信号を記憶する記憶手段と、複数の端末装置の各々を出力元とする音声信号を受け取る入力手段と、前記入力手段により受け取られた音声信号の各部分のレベルに基づいて当該音声信号から無言を示す信号を検出する検出手段と、前記検出手段により検出された無言を示す信号が継続する時間を計測する計時手段と、前記計時手段により計測された時間に対応する応答音声信号を選択する選択手段と、前記選択手段により選択された応答音声信号を出力する出力手段とを備えることを特徴とする音声信号処理装置を提供する。
【０００７】
かかる構成の音声信号処理装置によれば、無言期間の長さに応じて、適する応答音声信号が自動的に出力され、音声会議の活性化や議事進行の改善が図られる。
【０００８】
また、前記音声信号処理装置において、前記記憶手段は、キーフレーズを示すキーフレーズデータをさらに記憶し、前記入力手段により受け取られた音声信号に対し音声認識処理を行うことにより当該音声信号により示される発言に含まれるフレーズを特定する音声認識手段と、前記音声認識手段により特定されたフレーズから前記キーフレーズデータにより示されるキーフレーズを検出する検出手段とをさらに備え、前記選択手段は、前記検出手段により検出されたキーフレーズを示すキーフレーズデータに対応する応答音声信号を選択するように構成されてもよい。
【０００９】
かかる構成の音声信号処理装置によれば、特定の発言に応じて、適する応答音声信号が自動的に出力され、音声会議の活性化や議事進行の改善が図られる。
【００１０】
また、前記音声信号処理装置において、前記選択手段は、過去の所定の期間内に前記入力手段により受け取られた音声信号の出力元の端末装置に対応する応答音声信号を選択するように構成されてもよい。
【００１１】
かかる構成の音声信号処理装置によれば、参加者に応じて適する応答音声信号が自動的に出力され、より好ましい。
【００１２】
また、前記音声信号処理装置において、特定の時点からの経過時間を計測する計時手段  をさらに備え、前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号を選択するように構成されてもよい。
【００１３】
かかる構成の音声信号処理装置によれば、例えば会議終了予定時刻から所定時間前にその旨を参加者に通知する応答音声信号を自動的に出力する等の処理が可能となり、利便性が高まる。
【００１４】
また、前記音声信号処理装置において、前記入力手段により受け取られた１の端末装置を出力元とする音声信号が継続する時間を計測する計時手段をさらに備え、前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号を選択するように構成されてもよい。
【００１５】
かかる構成の音声信号処理装置によれば、例えば長く継続して発言を行う参加者に対しその発言を制して他の参加者の発言を促す等の処理が可能となり、利便性が高まる。
【００１６】
また、前記音声信号処理装置において、前記選択手段は、前記入力手段により１の端末装置を出力元とする音声信号が継続して受け取られているときに他の端末装置を出力元とする音声信号が受け取られた場合、所定の応答音声信号を選択するように構成されてもよい。
【００１７】
かかる構成の音声信号処理装置によれば、複数の参加者が同時に発言する場合において、例えばそれらの発言を一旦制した後に会議の進行を整理する等の処理が可能となり、利便性が高まる。
【００１８】
また、前記音声信号処理装置において、前記出力手段により応答音声信号が出力されているときに前記入力手段により音声信号が受け取られた場合、前記出力手段は出力中の応答音声信号のうち未出力の部分の少なくとも一部を出力しないように構成されてもよい。
【００１９】
かかる構成の音声信号処理装置によれば、自動的に出力される応答音声信号により、参加者の発言が妨げられる不都合が回避される。
【００２０】
また、前記音声信号処理装置において、前記出力手段は、過去の所定の期間内に前記入力手段により受け取られた音声信号の出力元の端末装置のみを送信先として応答音声信号を出力するように構成されてもよい。
【００２１】
かかる構成の音声信号処理装置によれば、応答音声信号により、現在の発言者以外の者が邪魔される不都合が回避される。
【００２２】
また、前記音声信号処理装置において、前記入力手段により受け取られた音声信号と、前記選択手段により選択された応答音声信号とをミキシングするミキシング手段とをさらに備え、前記出力手段は、前記ミキシング手段によるミキシングの結果得られた音声信号を出力するように構成されてもよい。
【００２３】
かかる構成の音声信号処理装置によれば、会議の参加者の発言を示す音声信号、と自動的に選択される応答音声信号とが同時に参加者の端末装置に送信され、それらを別々に出力する場合と比較して簡易なシステムの構築が可能となる。
【００２４】
また、前記音声信号処理装置において、前記記憶手段は、前記応答音声信号に加えて、もしくは前記応答音声信号に代えて、応答用のメッセージ文字を示す応答テキストデータを記憶し、前記選択手段は、前記計時手段により計測された時間に対応する応答音声信号に加えて、もしくは前記計時手段により計測された時間に対応する応答音声信号に代えて、前記計時手段により計測された時間に対応する応答テキストデータを選択し、前記出力手段は、前記選択手段により選択された応答テキストデータを出力するように構成されてもよい。
【００２５】
かかる構成の音声信号処理装置によれば、自動的に選択される応答メッセージの文字による参加者への通知が可能となり、音声による応答メッセージの通知と比較して、場合によって好都合である。
【００２６】
また、前記音声信号処理装置において、前記記憶手段は、前記応答音声信号に代えて、１の応答音声信号を他の応答音声信号から識別するための応答識別データを記憶し、前記選択手段は、前記入力手段により受け取られた音声信号が所定の条件を満たす場合に、前記条件に対応する応答音声信号に代えて、前記条件に対応する応答識別データを選択し、前記出力手段は、前記選択手段により選択された応答識別データを出力するように構成されてもよい。
【００２７】
かかる構成の音声信号処理装置によれば、音声信号処理装置は応答音声信号と比較してデータ量の少ない応答識別データを端末装置等に送信することにより、応答音声信号を予め記憶もしくは他から取得可能な端末装置との組合せにより、音声会議の議事進行等の自動化が実現され、好都合である。
【００２８】
また、本発明は、上記の音声信号処理装置により行われる処理をコンピュータに実行させるプログラムを提供する。
【発明を実施するための最良の形態】
【００２９】
［実施形態］
［１．音声会議システムの構成］
本発明の実施形態にかかる音声会議システム１は、互いに異なる場所にいるユーザが、音声により会議を行うことを可能とするシステムである。さらに、音声会議システム１は、会議に参加するユーザの端末装置の各々に対し、適切なタイミングで相槌を示す音声信号や会議の進行を促す音声信号といった応答音声信号を自動送信する機能を有している。
【００３０】
図１は、音声会議システム１の構成を示したブロック図である。音声会議システム１は、複数の通信機器を相互に接続するネットワーク１０と、ネットワーク１０に各々接続された複数の端末装置１１と、端末装置１１の各々に接続されたヘッドセット１３と、ネットワーク１０に接続されたサーバ装置１４を備えている。
【００３１】
複数の端末装置１１およびヘッドセット１３の各々は、音声会議システム１のユーザ１９の各々により使用される。音声会議システム１を利用した会議に参加可能なユーザの数、すなわち端末装置１１およびヘッドセット１３の数は任意に変更可能であり、さらに会議の進行中に参加するユーザの構成が変動してもよい。
【００３２】
図１に示すように、異なるユーザ１９および当該ユーザ１９が使用する端末装置１１およびヘッドセット１３を互いに区別する必要がある場合には、それぞれ、ユーザ１９−ｎ、端末装置１１−ｎおよびヘッドセット１３−ｎのように、末尾に「−ｎ」を付してそれらを区別する。ただし、「ｎ」は任意の自然数である。また、異なるユーザ１９および当該ユーザ１９が使用する端末装置１１およびヘッドセット１３を互いに区別する必要がない場合には、それぞれ、単にユーザ１９、端末装置１１およびヘッドセット１３と呼ぶ。
【００３３】
ネットワーク１０は、有線または無線により相互接続された１以上の中継装置を備え、異なる通信機器間のデータの中継を行う。ネットワーク１０は、インターネット等の利用者を限定しないオープンネットワークであってもよいし、イントラネットやインターネットプロトコル以外の通信プロトコルを用いるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のいずれであってもよい。
【００３４】
端末装置１１は、ユーザ１９の音声を示す音声信号をサーバ装置１４に送信するとともに、サーバ装置１４から他のユーザ１９の音声を示す音声信号および当該音声信号に応じてサーバ装置１４において選択された応答音声信号がミキシングされた合成音声信号を受信する装置である。
【００３５】
端末装置１１は、ヘッドセット１３のマイク部から入力されるユーザの発言を示す音声信号を増幅するマイクアンプ１１１と、マイクアンプ１１１から出力される音声信号をアナログ信号からデジタル信号に変換するＡ／Ｄコンバータ１１２と、Ａ／Ｄコンバータ１１２から出力される音声信号をネットワーク１０を介してサーバ装置１４に送信する音声信号送信部１１３を備えている。
【００３６】
また、端末装置１１は、サーバ装置１４からネットワーク１０を介して合成音声信号を受信する音声信号受信部１１４と、音声信号受信部１１４から出力される音声信号をデジタル信号からアナログ信号に変換するＤ／Ａコンバータ１１５と、Ｄ／Ａコンバータ１１５から出力される音声信号を増幅しヘッドセット１３のヘッドフォン部に出力するヘッドフォンアンプ１１６を備えている。
【００３７】
さらに、端末装置１１は、制御部１１８により生成される各種制御信号をネットワーク１０を介してサーバ装置１４に送信する制御信号送信部１１７と、端末装置１１の各構成部の制御を行う制御部１１８と、ユーザに対し文字や図形の表示によりメッセージ等の通知を行う表示部１１９と、ユーザが端末装置１１に対し各種操作を行うための操作部１２０と、制御部１１８の処理を指定する制御プログラムやアプリケーションプログラムを記憶するとともに他の構成部のワークエリアとしても利用される記憶部１２１を備えている。また、記憶部１２１には、端末装置１１をネットワーク１０の中で識別するための識別子である端末ＩＤが予め記憶されている。
【００３８】
ヘッドセット１３は、ユーザ１９の発言を示すアナログ音声信号を生成して端末装置１１に出力するマイク部と、端末装置１１から入力されるアナログ音声信号を音声に変換して発音するヘッドフォン部を備えている。
【００３９】
サーバ装置１４は、複数の端末装置１１の各々から音声信号を受信し、受信した音声信号の内容が所定の条件を充たす場合にその条件に対応する応答音声信号を選択し、端末装置１１から受信した音声信号と選択した応答音声信号をミキシングして合成音声信号を生成した後、各々の端末装置１１に送信する装置である。
【００４０】
サーバ装置１４は、各々の端末装置１１からネットワーク１０を介してユーザ１９の発言を示す音声信号を受信する音声信号受信部１４１と、各々の端末装置１１からネットワーク１０を介して各種制御信号を受信する制御信号受信部１４２と、生成した合成音声信号をネットワーク１０を介して各々の端末装置１１に送信する音声信号送信部１４３と、制御部１４５の処理を指定する制御プログラムやアプリケーションプログラムと各種データを記憶するとともに他の構成部のワークエリアとしても利用される記憶部１４４と、サーバ装置１４の各構成部の制御を行う制御部１４５を備えている。
【００４１】
サーバ装置１４の記憶部１４４には、サーバ装置１４をネットワーク１０の中で識別するための識別子であるサーバＩＤが予め記憶されている。記憶部１４４は、さらに、会議のスケジュールや参加者等を示す会議データを複数格納したデータベース（以下、「ＤＢ」と呼ぶ）である会議ＤＢ１４４１と、音声会議システム１のユーザの情報を示すユーザデータを複数格納したユーザＤＢ１４４２と、応答音声信号の選択処理（後述）において用いられるキーフレーズを示すキーフレーズデータを複数格納したキーフレーズＤＢ１４４３と、応答音声信号の選択条件を示す応答条件データを複数格納した応答条件ＤＢ１４４４と、複数の応答音声信号を含む応答音声信号群１４４５を予め記憶している。
【００４２】
図２は、会議ＤＢ１４４１の内容を例示した図である。会議ＤＢ１４４１に含まれる会議データは、会議開催の日付、会議開催の時間帯、会議の議題、会議への参加者を示すユーザＩＤ群、応答音声信号のうち相槌を示すものを参加者全員の端末装置に送信するか現在の発言者の端末装置にのみ送信するかを示す相槌モード、そして応答音声信号のスタイルを示す応答スタイルの各フィールドを有している。
【００４３】
会議データに含まれるユーザＩＤ群はユーザＤＢ１４４２に含まれるユーザデータのユーザＩＤを複数含むことにより、対応するユーザデータにより示されるユーザが会議データにより示される会議への参加者であることを示している。会議データに含まれる相槌モードは、相槌を示す応答音声信号を参加者全員の端末装置に送信することを示す「全員へ相槌」か、現在の発言者の端末装置にのみ送信することを示す「発言者へ相槌」のいずれかである。会議データに含まれる応答スタイルは、例えば「フォーマル」、「フランク」等であり、同じ内容の応答メッセージを示すが言い回しの異なる応答音声信号群のいずれを用いるかを示している。
【００４４】
図３は、ユーザＤＢ１４４２の内容を例示した図である。ユーザＤＢ１４４２に含まれるユーザデータは、各々のユーザを識別するユーザＩＤ、ユーザの氏名、ユーザの役職、ユーザのパスワード、そしてユーザが現在使用している端末装置１１の端末ＩＤの各フィールドを有している。ただし、ユーザデータに含まれる端末ＩＤは、当該ユーザデータにより示されるユーザ１９が音声会議システム１を利用していない間は空欄であり、端末装置１１とサーバ装置１４との接続確立処理（後述）において、サーバ装置１４が端末装置１１から取得する端末ＩＤを対応するユーザデータに格納する。
【００４５】
図４は、キーフレーズＤＢ１４４３の内容を例示した図である。キーフレーズＤＢ１４４３に含まれるキーフレーズデータは、キーフレーズの内容と、キーフレーズの種類の各フィールドを有している。キーフレーズの内容とは「〜です。」等の発言の内容を示し、種類とは「断定」、「意見」、「質問」等のいずれかであり、キーフレーズが発言者にとってどのような意図で発言される種類のものであるかを示す。
【００４６】
図５は、応答条件ＤＢ１４４４の内容を示した図である。応答条件ＤＢ１４４４に含まれる応答条件データは、応答音声信号の選択のための条件と、条件が充たされた場合に選択されるべき応答音声信号を特定するための応答識別データと、応答識別データで特定される応答内容が相槌を意味するものであるか否かを示す「相槌」、応答識別データで特定される応答内容がいずれかのユーザ１９による発言中であっても通知されるべきものであるか否かを示す「割り込み」、そして応答識別データにワイルドカードが含まれる場合に当該ワイルドカードの内容を示す「ＸＸＸ」の各フィールドを有している。
【００４７】
例えば、応答条件データに含まれる条件「キーフレーズ：種類＝断定  ａｎｄ  無言継続時間＝２秒」は、キーフレーズＤＢ１４４３においてフィールド「種類」の内容が「断定」であるキーフレーズがいずれかのユーザ１９の発言中に検出され、かつ、その後に無言状態が２秒間継続した、という条件を示している。応答条件データの条件には、例えば、同じユーザ１９による継続した発言の時間を示す「発言継続時間」、会議全体の継続時間を示す「会議継続時間」、会議全体の予定時間を示す「会議予定時間」、最後に発言したユーザ１９の役職を示す「発言ユーザ：役職」、現在発言を行っているユーザ１９の数を示す「同時発言者数」等、様々なパラメータを含めることができる。
【００４８】
また、例えば応答条件データに含まれる応答識別データ「００７」は、条件が充たされた場合に、応答音声信号群１４４５に含まれる応答音声信号のうち、メッセージＩＤ「００７」により特定される応答音声信号を選択することを示している。また、例えば応答条件データに含まれる応答識別データ「ＲＡＮＤＯＭ（００１，００２，００３）」は、条件が充たされた場合に、メッセージＩＤ「００１」、「００２」および「００３」の各々により特定される応答音声信号のうち、いずれかをランダムに選択することを示している。
【００４９】
また、例えば、フィールド「ＸＸＸ」の内容が「ランダムユーザ」である応答条件データに含まれる応答識別データ「ＸＸＸ：氏名＋（ｉｆ  ＸＸＸ：役職＝一般職員  ｔｈｅｎ  ０１７，  ｏｔｈｅｒｗｉｓｅ  ０１８）」は、会議に参加中の複数のユーザ１９のうちランダムに選択されたユーザ１９の氏名を示す応答音声信号と、メッセージＩＤ「０１７」および「０１８」の各々により特定される応答音声信号のうちいずれかを選択して、それらをその順序でつなぎ合わせることを示している。この場合、ランダムに選択されたユーザ１９の役職が一般職員であればメッセージＩＤ「０１７」で特定される応答音声信号が選択され、その他の場合にはメッセージＩＤ「０１８」で特定される応答音声信号が選択されることになる。
【００５０】
応答条件データに含まれるフィールド「ＸＸＸ」としては、現在発言を行っているユーザ１９の数が複数である場合に、それら複数の発言のうち最初に発言を開始したユーザ１９を示す「最先発言ユーザ」、ランダムに選択されたユーザ１９を示す「ランダムユーザ」、過去の累積発言時間が最も短いユーザ１９を示す「最短発言ユーザ」等、様々なものが考えられる。
【００５１】
図６は、応答音声信号群１４４５に含まれる応答音声信号の構成を示した図である。ただし、図６は構成を便宜的に示したものであり、実際には応答音声信号群１４４５には、図６に示される応答メッセージもしくは氏名を示す音声波形データに対しメッセージＩＤもしくはユーザＩＤが各々対応付けられてなる応答音声信号が複数含まれている。
【００５２】
応答音声信号は、大きく応答メッセージを示す応答音声信号と、ユーザ１９の各々の氏名を示す応答音声信号に区分される。応答メッセージを示す応答音声信号は、さらに応答スタイル「フォーマル」、「フランク」等の各々のグループに区分される。これらのグループは、会議ＤＢ１４４１のフィールド「応答スタイル」において指定されるグループである。応答メッセージを示す応答音声信号は、メッセージＩＤにより互いに識別される。図６の例による場合、例えば、メッセージＩＤ「００１」は、応答メッセージ「ええ、ええ」という相槌の音声を示す応答音声信号に対応している。
【００５３】
ユーザ１９の氏名を示す応答音声信号は、ユーザＩＤにより互いに識別される。このユーザＩＤはユーザＤＢ１４４２におけるユーザＩＤを示している。図６の例による場合、例えば、ユーザＩＤ「０４２５」は、氏名「ササキ  コウジ」を呼ぶ音声を示す応答音声信号に対応している。
【００５４】
図１に戻り、サーバ装置１４の記憶部１４４に記憶される他のデータを説明する。記憶部１４４には、音声会議システム１を用いた音声会議が開始されると、当該音声会議の開始から現在までの時間を示す会議継続時間データ１４４６、各々のユーザ１９に関し音声会議の開始から現在までの発言時間の履歴を示す発言継続時間データ１４４７、最後にいずれかのユーザ１９が発言を行った後に無言状態が継続している時間を示す無言継続時間データ１４４８、そして各々のユーザ１９の発言を示す音声信号を個別に過去の所定時間分だけ一時的に記憶するデータバッファ１４４９が記憶される。これらのデータは音声会議の継続中に一時的に記憶部１４４に記憶され、音声会議の終了に伴い記憶部１４４から削除される。
【００５５】
サーバ装置１４の制御部１４５は、各々のユーザ１９の音声信号のレベルが例えば所定の閾値を超えるか否かを判定することにより当該音声信号からユーザ１９の発言を示す部分を検出し検出結果を計時部１４５３に引き渡す発言信号検出部１４５１と、すべてのユーザ１９の音声信号のレベルが例えば所定の閾値を下回るか否かを判定することにより音声会議における無言状態を検出し検出結果を計時部１４５３に引き渡す無言信号検出部１４５２と、音声会議の開始時点からの経過時間、各々のユーザ１９の発言の継続時間およびいずれのユーザ１９も発言を行わない無言状態の継続時間を計測しその結果をそれぞれ会議継続時間データ１４４６、発言継続時間データ１４４７および無言継続時間データ１４４８として記憶部１４４に記憶させる計時部１４５３と、各々のユーザ１９の音声信号からキーフレーズを示す部分を検出するキーフレーズ検出部１４５４を備えている。
【００５６】
キーフレーズ検出部１４５４はキーフレーズを検出するため、例えばユーザ１９の音声信号に対しＦＦＴ(高速フーリエ変換)処理を施し、音声信号の有する周波数の分布において振幅がピークとなる周波数を特徴量として取り出す等し、予め記憶されている音声波形の同種の特徴量と比較することにより、音声信号に含まれる個々の音声内容を認識する。続いて、キーフレーズ検出部１４５４は認識した音声内容とキーフレーズＤＢ１４４３に含まれるフィールド「内容」のデータとを比較し、それらの一致を判定することにより、キーフレーズを検出する。以上はキーフレーズ検出部１４５４が周波数領域における特徴量に基づく音声認識法を用いる場合の例であるが、キーフレーズ検出部１４５４がキーフレーズの検出のために用いる音声認識法はこれに限られず、例えば時間−周波数領域における特徴量に基づく音声認識法や確率モデルによる音声認識法など、他のいずれの方法を用いてもよい。
【００５７】
制御部１４５は、さらに、計時部１４５３により計測された時間やキーフレーズ検出部１４５４により検出されたキーフレーズ等が応答条件ＤＢ１４４４に含まれる条件を充たすか否かを判定し、条件を充たす応答条件データの応答識別データにより特定される応答音声信号を応答音声信号群１４４５から選択して応答音声信号ミキシング部１４５７に引き渡す応答音声信号選択部１４５５と、データバッファ１４４９に記憶された各々のユーザ１９の音声信号をミキシングして応答音声信号ミキシング部１４５７および音声信号送信部１４３に出力する発言音声信号ミキシング部１４５６と、応答音声信号選択部１４５５から引き渡される応答音声信号と発言音声信号ミキシング部１４５６から受け取る合成音声信号をミキシングして音声信号送信部１４３に出力する応答音声信号ミキシング部１４５７を備えている。
【００５８】
［２．音声会議システムの動作］
以下、複数のユーザ１９が音声会議システム１を用いて音声会議を行う場合の音声会議システム１の動作を説明する。まず、音声会議に参加するユーザ１９は各自の端末装置１１を操作して、端末装置１１とサーバ装置１４との間に通信コネクションを確立させる。通信コネクションの確立において、ユーザ１９は自分のユーザＩＤおよびパスワードを端末装置１１に入力し、端末装置１１の制御部１１８はユーザにより入力されたユーザＩＤおよびパスワードを含む制御信号を生成し制御信号送信部１１７を介してサーバ装置１４に送信する。その制御信号には端末装置１１の端末ＩＤが含まれている。
【００５９】
サーバ装置１４の制御部１４５は端末装置１１から制御信号を受信すると、受信した制御信号に含まれるユーザＩＤおよびパスワードを含むユーザデータをユーザＤＢ１４４２（図３参照）から検索し、検索したユーザデータのフィールド「端末ＩＤ」に制御信号に含まれる端末ＩＤを格納する。制御部１４５がユーザデータの検索に失敗した場合、サーバ装置１４は端末装置１１に対しユーザＩＤおよびパスワードの再入力を促すメッセージの表示を指示する制御信号を送信し、正しいユーザＩＤおよびパスワードの組合せを含む制御信号を端末装置１１から受信するまで、以下の動作を行わない。
【００６０】
上記のように端末装置１１とサーバ装置１４との間に通信コネクションが確立され、サーバ装置１４によるユーザＩＤとパスワードに基づくユーザ１９の本人認証が成功すると、ユーザ１９は自分の発言を示す音声信号を端末装置１１からサーバ装置１４に送信すると同時に、他の端末装置１１のユーザ１９の発言を示す音声信号をサーバ装置１４から受信することが可能となる。
【００６１】
例えば、ユーザ１９−１の発言を示す音声はヘッドセット１３−１のマイク部により音声信号に変換され、端末装置１１−１のマイクアンプ１１１、Ａ／Ｄコンバータ１１２および音声信号送信部１１３を介してサーバ装置１４に送信される。サーバ装置１４の音声信号受信部１４１は端末装置１１−１からユーザ１９−１の音声信号を受信するとともに、音声会議に参加する他のユーザ１９の音声信号をそれらのユーザ１９の端末装置１１から受け取り、それらを個別にデータバッファ１４４９に一時的に記憶させる。データバッファ１４４９に一時的に記憶された音声信号は、発言音声信号ミキシング部１４５６によりミキシングされ合成音声信号として音声信号送信部１４３に出力され、音声信号送信部１４３から音声会議に参加する全てのユーザ１９の端末装置１１に送信される。
【００６２】
そのようにサーバ装置１４から送信される合成音声信号は、端末装置１１−１において音声信号受信部１１４により受信され、Ｄ／Ａコンバータ１１５およびヘッドフォンアンプ１１６を介してヘッドセット１３−１のヘッドフォン部に出力される。ヘッドセット１３−１のヘッドフォン部は端末装置１１−１から受け取った合成音声信号を音声に変換し出力する。その結果、ユーザ１９−１は自分の発言を音声会議に参加する他のユーザ１９に伝達するとともに、他のユーザ１９の発言を聞くことができ、音声会議が成立する。
【００６３】
ところで、サーバ装置１４は上記の処理に加えて、発言音声信号ミキシング部１４５６により生成されるユーザ１９の発言を示す合成音声信号に対し、さらに必要に応じて適切な応答音声信号をミキシングして端末装置１１に送信する機能を有している。以下、その機能に関するサーバ装置１４の動作を説明する。
【００６４】
会議ＤＢ１４４１（図２参照）に含まれる会議データのフィールド「日付」および「時間帯」により示される音声会議の開始時間になると、計時部１４５３はその開始時間を基準時刻とする経過時間の計測を開始し、その計測結果を順次、会議継続時間データ１４４６として記憶部１４４に記憶させる。
【００６５】
また、発言信号検出部１４５１はデータバッファ１４４９に新たに記憶される音声信号を常時監視しており、あるユーザ１９の音声信号のレベルが所定の時間以上、所定の閾値を継続して下回った後、所定の閾値を所定の時間だけ継続して上回った場合、発言開始を示す発言開始データを生成し、計時部１４５３に引き渡す。また、発言信号検出部１４５１は発言開始データの生成後に、音声信号のレベルが所定の時間以上、所定の閾値を継続して下回った場合、発言終了を示す発言終了データを生成し、計時部１４５３に引き渡す。計時部１４５３は発言信号検出部１４５１から発言開始データおよび発言終了データを受け取ると、それらのデータに基づきユーザ１９の発言時間帯を示すデータを、その音声信号の送信元の端末装置１１ごとに発言継続時間データ１４４７として記憶部１４４に記憶させる。ところで、発言信号検出部１４５１が音声信号のうち発言を示す部分の開始タイミングおよび終了タイミングを特定する方法は上記のものに限られず、例えば判定に用いる閾値や時間を所定の規則に従い可変とする等、様々な方法が考えられる。
【００６６】
また、無言信号検出部１４５２はデータバッファ１４４９に新たに記憶される音声信号を常時監視しており、音声会議に参加中の全てのユーザ１９の音声信号が所定の時間以上、所定の閾値を継続して下回った場合、無言状態の開始を示す無言開始データを生成し、計時部１４５３に引き渡す。また、無言信号検出部１４５２は無言開始データの生成後に、いずれかのユーザ１９の音声信号が所定の時間以上、所定の閾値を継続して上回った場合、無言状態の終了を示す無言終了データを生成し、計時部１４５３に引き渡す。計時部１４５３は無言信号検出部１４５２から無言開始データおよび無言終了データを受け取ると、それらのデータに基づき最後に無言開始データを受け取った時点から現時点までの経過時間を示すデータを、無言継続時間データ１４４８として記憶部１４４に記憶させる。無言信号検出部１４５２が音声信号のうち無言を示す部分の開始タイミングおよび終了タイミングを特定する方法が上記のものに限られない点は、上述した発言信号検出部１４５１の場合と同様である。
【００６７】
応答音声信号選択部１４５５は、上記のように計時部１４５３により順次更新される会議継続時間データ１４４６、発言継続時間データ１４４７および無言継続時間データ１４４８を常時監視しており、それらのデータが更新されると、更新されたデータに基づき応答条件ＤＢ１４４４（図５参照）に含まれる応答条件データのうち、フィールド「条件」により示される条件が充たされるものを検索する。応答音声信号選択部１４５５は、その検索に成功した場合、検索した応答条件データに含まれる応答識別データにより示されるメッセージＩＤおよびユーザＩＤに基づき、応答音声信号群１４４５から該当する応答音声信号を読み出す。その際、応答音声信号選択部１４５５は応答音声信号群１４４５（図６参照）に含まれる応答音声信号のうち、現在行われている音声会議に対応する会議データ（図２参照）のフィールド「応答スタイル」により示されるスタイルに応じたグループから応答音声信号を読み出す。
【００６８】
一方、キーフレーズ検出部１４５４もまた、データバッファ１４４９に新たに記憶される音声信号を常時監視しており、既に説明したように、各々のユーザ１９の発言を示す音声信号からキーフレーズＤＢ１４４３（図４参照）に含まれるキーフレーズデータにより示されるキーフレーズの検出を行う。キーフレーズ検出部１４５４によりキーフレーズの検出が行われると、検出されたキーフレーズに対応するキーフレーズデータの種類に基づき応答条件ＤＢ１４４４に含まれる応答条件データのうち、フィールド「条件」により示される条件が充たされるものを検索する。応答音声信号選択部１４５５は、その検索に成功した場合、検索した応答条件データに含まれる応答識別データにより示されるメッセージＩＤおよびユーザＩＤに基づき、応答音声信号群１４４５から該当する応答音声信号を読み出す。その際も、応答音声信号選択部１４５５は会議データのフィールド「応答スタイル」により示されるスタイルに応じたグループから応答音声信号を読み出す。
【００６９】
例えば、図２に例示される会議ＤＢ１４４１に含まれる第１行目の会議データにより示される音声会議が行われている際に、図５に例示される応答条件ＤＢ１４４４に含まれる第２行目の応答条件データの条件が充たされた場合、応答音声信号選択部１４５５は応答音声信号群１４４５のうち、応答スタイル「フォーマル」のグループに含まれる応答音声信号群の中からメッセージＩＤ「００７」で識別される応答音声信号、すなわちメッセージ「今のご質問にお答えできる方がいらっしゃいましたら、ご発言願います。」を示す音声信号を読み出すことになる。
【００７０】
応答音声信号選択部１４５５は、応答条件データ（図５参照）のフィールド「割り込み」が「Ｙｅｓ」であるものに従い上記の応答音声信号の読み出しを行った場合には、読み出した応答音声信号の応答音声信号ミキシング部１４５７への引き渡しを即時に開始する。一方、応答音声信号選択部１４５５は、応答条件データのフィールド「割り込み」が「Ｎｏ」であるものに従い上記の応答音声信号の読み出しを行った場合には、無言継続時間データ１４４８により無言状態であると判断される場合には即時に、無言状態ではないと判断される場合には無言状態になるのを待って、読み出した応答音声信号の応答音声信号ミキシング部１４５７への引き渡しを開始する。それにより、例えば相槌等の応答メッセージはいずれのユーザ１９も発言を行っていない間に伝達される一方、例えば複数人による同時発言を制する場合のように割り込みを要する応答メッセージは、たとえいずれかのユーザ１９が発言を行っていても伝達される。
【００７１】
応答音声信号ミキシング部１４５７は、上記のように応答音声信号選択部１４５５から応答音声信号を受け取ると、受け取った応答音声信号を発言音声信号ミキシング部１４５６から受け取った合成音声信号とミキシングし、その結果得られる合成音声信号を音声信号送信部１４３に出力する。そのように応答音声信号ミキシング部１４５７から出力される合成音声信号は、音声会議に参加中のユーザ１９の発言を示す音声信号に対し、会議開始からの経過時間、各々のユーザ１９の累積発言時間、無言状態の継続時間、同時発言者数等に応じて、適する内容のメッセージを示す音声信号がミキシングされたものである。
【００７２】
ところで、現在行われている音声会議に対応する会議データ（図２参照）に含まれるフィールド「相槌モード」が「全員へ相槌」である場合、音声信号送信部１４３は音声会議に参加中の全てのユーザ１９の端末装置１１に対し、常時、応答音声信号ミキシング部１４５７から受け取った合成音声信号、すなわち応答音声信号がミキシングされた会議音声を示す音声信号を送信する。
【００７３】
一方、現在行われている音声会議に対応する会議データに含まれるフィールド「相槌モード」が「発言者へ相槌」である場合、音声信号送信部１４３は、応答条件データ（図５参照）のフィールド「相槌」が「Ｙｅｓ」であるものに従い応答音声信号選択部１４５５から応答音声信号が応答音声信号ミキシング部１４５７に引き渡される間、発言継続時間データ１４４７により最後に発言を行ったユーザ１９の端末装置１１に対しては応答音声信号ミキシング部１４５７から受け取った合成音声信号を送信する一方、その他のユーザ１９の端末装置１１に対しては発言音声信号ミキシング部１４５６から受け取った合成音声信号、すなわち応答音声信号のミキシングされていない音声信号を送信する。ただし、応答条件データのフィールド「相槌」が「Ｎｏ」であるものに従い応答音声信号選択部１４５５から応答音声信号が応答音声信号ミキシング部１４５７に引き渡される間は、音声信号送信部１４３は全てのユーザ１９の端末装置１１に対し、応答音声信号ミキシング部１４５７から受け取った合成音声信号を送信する。その結果、相槌の音声については発言中のユーザ１９（正確には発言の途中で「間」を置いたユーザ１９）のみが耳にすることとなり、他のユーザ１９が相槌の音声により邪魔されることがない。
【００７４】
さらに、応答音声信号選択部１４５５は、相槌等の音声の再生中に新たにいずれかのユーザ１９が発言を開始した場合、その発言が相槌等の音声によって聞き手にとって聞き取りづらくなることのないように、必要に応じて応答音声信号の再生を停止する。より具体的には、応答音声信号選択部１４５５は、応答条件データ（図５参照）のフィールド「割り込み」が「Ｎｏ」であるものに従い応答音声信号ミキシング部１４５７に応答音声信号の引き渡しを行っている時に発言継続時間データ１４４７が更新され、いずれかのユーザ１９により発言が開始されたと判定すると、その時点で引き渡していた応答音声信号をその後、応答音声信号ミキシング部１４５７に引き渡さない。
【００７５】
ただし、応答音声信号選択部１４５５は発言開始の判定を行った時に即時に応答音声信号の引き渡しを停止する代わりに、例えば応答音声信号により示される音声の次の音節の区切り部分までは引き渡しを継続し、その後、引き渡しを停止するようにしてもよい。その場合、例えば応答音声信号選択部１４５５により応答メッセージ「なるほど、そうですね。」の最初の「なる」までの音声信号が応答音声信号ミキシング部１４５７に引き渡された時点でいずれかのユーザ１９の発言があったとすると、応答音声信号選択部１４５５は「〜ほど、」までの音声信号を応答音声信号ミキシング部１４５７に引き渡した後、残りの「そうですね。」の音声信号の引き渡しをキャンセルする。その結果、相槌等の応答音声が不自然に中断される不都合が回避される。
【００７６】
一方、応答条件データ（図５参照）のフィールド「割り込み」が「Ｙｅｓ」であるものに従い応答音声信号ミキシング部１４５７に応答音声信号の引き渡しを行っている時にいずれかのユーザ１９により発言が開始されたと判定される場合には、応答音声信号選択部１４５５はその時点で引き渡していた応答音声信号の引き渡しを停止することなく、最後までその応答音声信号を応答音声信号ミキシング部１４５７に引き渡す。そのため、例えば重要な応答メッセージがユーザ１９に伝達されている途中においていずれかのユーザ１９が発言を開始によりその応答メッセージが最後まで伝達されない、といった不都合が回避される。
【００７７】
以上のように、音声会議システム１によれば、音声会議に参加するいずれのユーザ１９の負担も増加させることなく、自動的にサーバ装置１４から各々の端末装置１１に送信される応答音声信号により、会議の活性化や、議事進行の改善が図られる。
【００７８】
ところで、上記の音声会議システム１においては、サーバ装置１４は各々の端末装置１１から受信した全ての音声信号をミキシングして得られる合成音声信号を各々の端末装置１１に送信するものとして説明したが、端末装置１１−ｎに対しては、端末装置１１−ｎ以外の端末装置１１から受信した音声信号のみをミキシングして送信するようにしてもよい。その場合、ユーザ１９−ｎの発言がヘッドセット１３−ｎのヘッドフォン部からエコーのように発音される不都合がなくなる。
【００７９】
また、上記の音声会議システム１においては、相槌モードは会議データにより特定され、各々の端末装置１１について相槌モードを異ならせることはできないものとして説明したが、相槌モードを各々の端末装置１１に応じて変更可能としてもよい。また、上記の音声会議システム１においては、応答スタイルも会議データにより特定され、各々の端末装置１１について応答スタイルを異ならせることはできないものとして説明したが、応答スタイルを各々の端末装置１１に応じて変更可能としてもよい。
【００８０】
また、上記の音声会議システム１において、キーフレーズＤＢ１４４３および応答条件ＤＢ１４４４の内容を各々のユーザ１９もしくは音声会議システム１の管理者等により変更可能とすることにより、例えば特定のキーフレーズを特定のユーザ１９が発言することにより、その発言に対応する応答メッセージの再生を可能とするようにしてもよい。その場合、例えば議事進行役のユーザ１９は、予め登録しておいたキーフレーズを発言することにより、自分の発言としては言い出しにくい議事進行のための発言を音声会議システム１に行わせる、といったことが可能となり便利である。
【００８１】
また、上記の音声会議システム１においては、端末装置１１およびサーバ装置１４はネットワーク１０を介して相互に接続されるものとして説明したが、例えば端末装置１１およびサーバ装置１４を相互に専用線により接続するようにしてもよい。また、上記の音声会議システム１においては、端末装置１１とサーバ装置１４との間で送受信される信号はデジタル信号であるものとして説明したが、端末装置１１とサーバ装置１４との間で送受信される信号がアナログ信号であってもよい。
【００８２】
また、上記の音声会議システム１においては、サーバ装置１４は応答メッセージを音声信号として端末装置１１に送信するものとして説明したが、例えばサーバ装置１４は応答メッセージをテキストデータとして端末装置１１に送信するようにしてもよい。その場合、応答メッセージのテキストデータを受信した端末装置１１は、そのテキストデータにより示される文字を表示部１１９に表示させることによりユーザ１９に応答メッセージを通知することができる。また、応答メッセージのテキストデータを受信した端末装置１１が、音声合成処理によりテキストデータにより示される応答メッセージの音声信号を生成し、生成した音声信号をヘッドセット１３に出力することにより、ユーザ１９に応答メッセージの通知を行うようにしてもよい。
【００８３】
さらに、例えば応答音声信号群１４４５をサーバ装置１４に記憶させる代わりに各々の端末装置１１に記憶させておき、サーバ装置１４の応答音声信号選択部１４５５は応答音声信号の選択を行う代わりに、応答音声信号を特定するデータ、すなわち条件の充たされた応答条件データ（図５参照）に含まれるフィールド「応答識別データ」の内容を制御信号として端末装置１１に送信するようにしてもよい。その場合、端末装置１１はサーバ装置１４から受信した制御信号に含まれる応答識別データに従い、記憶部１２１に記憶されている応答音声信号群１４４５から応答音声信号を読み出し、ヘッドセット１３に出力することになる。
【００８４】
また、上記の音声会議システム１においては、サーバ装置１４が各々の端末装置１１のために応答音声信号の送信サービスを提供するものとして説明したが、例えばサーバ装置を設けることなく、各々の端末装置１１がピアツーピア接続された状態において、各々の端末装置１１がサーバ装置１４と同様の機能を備え、互いに必要なデータの同期を取ることにより、各々の端末装置１１において応答音声信号の選択および再生を行うようにしてもよい。
【００８５】
また、上記の音声会議システム１においては、サーバ装置１４が各々のユーザ１９の発言を示す音声信号と、応答音声信号とをミキシングした後、端末装置１１に送信するものとして説明したが、サーバ装置１４から端末装置１１に対し、各々区別可能な音声信号群を送信するようにしてもよい。その場合、端末装置１１においてサーバ装置１４から受信した音声信号のミキシングが行われることになるため、各々の端末装置１１においてユーザ１９が音声信号間のミキシングバランスを好みに応じて変更する等、より柔軟な音声信号の利用が可能となる。また、サーバ装置１４は、端末装置１１−ｎから受信した音声信号を端末装置１１−ｎに送信する音声信号群に含めないようにしてもよい。
【００８６】
また、端末装置１１およびサーバ装置１４は、専用のハードウェアにより実現されてもよいし、音声信号の入出力が可能な汎用コンピュータにアプリケーションプログラムに従った処理を実行させることにより実現されてもよい。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態にかかる音声会議システムの構成を示したブロック図である。
【図２】本発明の実施形態にかかる会議ＤＢの内容を例示した図である。
【図３】本発明の実施形態にかかるユーザＤＢの内容を例示した図である。
【図４】本発明の実施形態にかかるキーフレーズＤＢの内容を例示した図である。
【図５】本発明の実施形態にかかる応答条件ＤＢの内容を示した図である。
【図６】本発明の実施形態にかかる応答音声信号群に含まれる応答音声信号の構成を示した図である。
【符号の説明】
【００８８】
１…音声会議システム、１０…ネットワーク、１１…端末装置、１３…ヘッドセット、１４…サーバ装置、１１１…マイクアンプ、１１２…Ａ／Ｄコンバータ、１１３・１４３…音声信号送信部、１１４・１４１…音声信号受信部、１１５…Ｄ／Ａコンバータ、１１６…ヘッドフォンアンプ、１１７…制御信号送信部、１１８・１４５…制御部、１１９…表示部、１２０…操作部、１２１・１４４…記憶部、１４２…制御信号受信部、１４４１…会議ＤＢ、１４４２…ユーザＤＢ、１４４３…キーフレーズＤＢ、１４４４…応答条件ＤＢ、１４４５…応答音声信号群、１４４６…会議継続時間データ、１４４７…発言継続時間データ、１４４８…無言継続時間データ、１４４９…データバッファ、１４５１…発言信号検出部、１４５２…無言信号検出部、１４５３…計時部、１４５４…キーフレーズ検出部、１４５５…応答音声信号選択部、１４５６…発言音声信号ミキシング部、１４５７…応答音声信号ミキシング部。
【図１】
2006252458.tif 000003
【図２】
2006252458.tif 000004
【図３】
2006252458.tif 000005
【図４】
2006252458.tif 000006
【図５】
2006252458.tif 000007
【図６】
2006252458.tif 000008