(57)【要約】【課題】発話者識別に関して聴覚的に行うことができ、かつ、発話内容が受話者に正確に伝達することを可能とする多者間通話システム等を提供する。【解決手段】多者間通話サーバ及び複数の通話機能付き端末装置は多者間通話システムを構成する。そして、通話機能付き端末装置は、話者権管理部２１、話者名出力部２２、バッファ部２３を有する。話者名出力部２２が、話者名等の話者識別情報の音声データを出力し、バッファ部２３が、ユーザの発話音声を音声データで蓄積しておき、話者権管理部２１が、話者名出力部２２による出力の後にバッファ部２３による出力を行う制御をする。また、話者権管理部２１は、発話音声データの出力が完了した後に話者権の解放要求を行う制御をする。【選択図】図２
2007259293.tif 000002
【特許請求の範囲】
【請求項１】
通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムであって、
前記通話機能付き端末装置は、
話者に関する識別情報を音声データとして出力する識別情報出力手段と、
音声から音声データへ変換された発話内容を蓄積する発話内容蓄積手段と、
話者権の取得要求及び取得した話者権の解放要求を行う話者権管理手段とを有し、
前記話者権管理手段は、前記識別情報出力手段による出力、前記発話内容蓄積手段による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする多者間通話システム。
【請求項２】
前記話者権管理手段は、前記多者間通話サーバから話者権取得許可を受けた後に、前記識別情報出力手段により前記識別情報を出力させるとともに前記発話内容蓄積手段により発話内容を蓄積させ、前記識別情報出力手段による出力が完了した後に、出力された前記識別情報に続いて前記蓄積された発話内容を前記発話内容蓄積手段により出力させる制御を行うことを特徴とする請求項１に記載の多者間通話システム。
【請求項３】
前記話者権管理手段は、前記発話内容蓄積手段による出力が完了した後に、前記多者間通話サーバへ取得した話者権の解放要求を行う制御をすることを特徴とする請求項１又は２に記載の多者間通話システム。
【請求項４】
前記通話機能付き端末装置は、前記識別情報出力手段により出力された識別情報の音声データと前記発話内容蓄積手段により蓄積された発話内容の音声データとを合成する音声データ合成手段を有することを特徴とする請求項１から３のいずれか１項に記載の多者間通話システム。
【請求項５】
通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムにおいて使用される通話機能付き端末装置であって、
話者に関する識別情報を音声データとして出力する識別情報出力手段と、
音声から音声データへ変換された発話内容を蓄積する発話内容蓄積手段と、
話者権の取得要求及び取得した話者権の解放要求を行う話者権管理手段とを有し、
前記話者権管理手段は、前記識別情報出力手段による出力、前記発話内容蓄積手段による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする通話機能付き端末装置。
【請求項６】
前記話者権管理手段は、前記多者間通話サーバから話者権取得許可を受けた後に、前記識別情報出力手段により前記識別情報を出力させるとともに前記発話内容蓄積手段により発話内容を蓄積させ、前記識別情報出力手段による出力が完了した後に、出力された前記識別情報に続いて前記蓄積された発話内容を前記発話内容蓄積手段により出力させる制御を行うことを特徴とする請求項５に記載の通話機能付き端末装置。
【請求項７】
前記話者権管理手段は、前記発話内容蓄積手段による出力が完了した後に、前記多者間通話サーバへ取得した話者権の解放要求を行う制御をすることを特徴とする請求項５又は６に記載の通話機能付き端末装置。
【請求項８】
前記通話機能付き端末装置は、前記識別情報出力手段により出力された識別情報の音声データと前記発話内容蓄積手段により蓄積された発話内容の音声データとを合成する音声データ合成手段を有することを特徴とする請求項５から７のいずれか１項に記載の通話機能付き端末装置。
【請求項９】
通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムにおける多者間通話方法であって、
話者に関する識別情報を音声データとして出力する識別情報出力工程と、
音声から音声データへ変換された発話内容を蓄積する発話内容蓄積工程と、
話者権の取得要求及び取得した話者権の解放要求を行う話者権管理工程とを有し、
前記話者権管理工程は、前記識別情報出力工程による出力、前記発話内容蓄積工程による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする多者間通話方法。
【請求項１０】
前記話者権管理工程は、前記多者間通話サーバから話者権取得許可を受けた後に、前記識別情報出力工程により前記識別情報を出力させるとともに前記発話内容蓄積工程により発話内容を蓄積させ、前記識別情報出力工程による出力が完了した後に、出力された前記識別情報に続いて前記蓄積された発話内容を前記発話内容蓄積工程により出力させる制御を行うことを特徴とする請求項９に記載の多者間通話方法。
【請求項１１】
前記話者権管理工程は、前記発話内容蓄積工程による出力が完了した後に、前記多者間通話サーバへ取得した話者権の解放要求を行う制御をすることを特徴とする請求項９又は１０に記載の多者間通話方法。
【請求項１２】
前記識別情報出力工程により出力された識別情報の音声データと前記発話内容蓄積工程により蓄積された発話内容の音声データとを合成する音声データ合成工程を有することを特徴とする請求項９から１１のいずれか１項に記載の多者間通話方法。
【請求項１３】
請求項９から１２のいずれか１項に記載の多者間通話方法を通話機能付き端末装置に実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多者間通話システム、通話機能付き端末装置、多者間通話方法、プログラム及び記録媒体に関し、特に、複数人のユーザが音声コミュニケーションをとるために利用する多者間通話システムにおいて、話者に関して音声を用いた識別を可能とし、かつ、発話内容を受話者へ確実に伝える技術に関するものである。
【背景技術】
【０００２】
従来から、複数人のユーザが音声コミュニケーションを行うグループ会話システムとしては、電話会議やプッシュツートーク等が知られている。いずれも、ネットワークを介して複数の端末を接続し、各端末のユーザが発した音声を他の端末に音声信号として転送し、音声信号を受信した端末はスピーカ等の拡声装置を用いて発話としてユーザに聞かせることで、グループ間の会話を行っている。
【０００３】
そして通常、これらの電話会議やプッシュツートーク等においては、上述のとおり、各端末を介して音声のやりとりが行われるのみで、会話を行うユーザは、声色や声の高さといった声の特徴だけを頼りに話者を特定することになる。もっとも、拡声装置を通した声は対面で話す声と若干異なって聞こえるし、またユーザの声質や周囲の雑音等によっても拡声装置から出力された声がどのユーザによるものか判断しにくいことが多いため、話者の識別はしばしば困難となる。また、多人数間で会話を行う場合には話者識別がさらに困難となり、グループ間での会話に支障をきたす。
【０００４】
このような場合に、ユーザは、発言ごとに本題の話題を話す前に自身の名前を名乗ってから発話する等、ユーザ自身が運用によって話者特定を補助している。あるいは、端末が表示画面を有する場合、現在の話者が誰であるかを画面表示により視覚的に端末ユーザに示す方法も既に実現されている。例えば、プッシュツートーク端末では、任意のユーザが話者権を取得すると、話者権の取得者情報が音声データとは別に各端末に提供され、その情報に基づいて話者名を画面に表示するようにしている。
【０００５】
また、例えば特許文献１では、発言者を容易に特定できる音声会議システムとして、送信側端末から発言音声に名前等の識別情報を付して送信し、受信側端末で発言音声を再生するとともに識別情報に基づく発言者名を報知する技術が開示されている。
【０００６】
また、例えば特許文献２では、複数の同時ユーザの中から話者を判定し判定結果を利用した音声サービスを行う多地点間接続音声制御装置が提案されている。当該装置では、ユーザの識別子を視覚的に画面表示する手段と、音声レベルが所定の時間にわたって所定の閾値を上回るときに話者であると判定する手段とが具備されている。
【０００７】
また、例えば特許文献３では、撮影中の画像情報に基づいて発言者を特定して選択的に画像を撮影することが可能なテレビ会議システムが開示されている。当該システムでは、参加者の顔画像中における口唇部分の動きから前駆動作を検出することで、発話を開始しようとする参加者を発話者として特定している。
【特許文献１】特開平１０−２１５３３１号公報
【特許文献２】特開平１１−１３６３６９号公報
【特許文献３】特開２００４−１１８３１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、周囲雑音が大きい環境では、会話内容を聞き逃さないようにするために端末のスピーカ部分を耳に押し当てるため画面を見ることができないし、また膨大な資料を使って会議を行うような場合では、画面を見ずにもっぱら資料を見ていることが多い。さらに、目の不自由なユーザにとっては視覚的な識別となる画面表示では有効ではなく、聴覚的に話者を識別できるようにすることが望ましい。
【０００９】
特許文献１による発明は、発言音声に付された識別情報に基づいて発言者名を報知する方法として、氏名や肖像を画面表示するほか、音声による名前の通知を挙げているが、どのタイミングで発言者名の音声が出力されるのか、また発言内容の音声がスピーカ出力されるのを妨げずにどのように発言者名の音声が出力されるのかといった点が不明である。また、特許文献２及び３による発明は、話者識別に関して視覚的な識別手法を採用するものである。
【００１０】
そこで、本発明は、発話者識別に関して聴覚的に行うことができ、かつ、発話内容が受話者に正確に伝達することを可能とする多者間通話システム等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するために、本発明は、通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムであって、前記通話機能付き端末装置は、話者に関する識別情報を音声データとして出力する識別情報出力手段と、音声から音声データへ変換された発話内容を蓄積する発話内容蓄積手段と、話者権の取得要求及び取得した話者権の解放要求を行う話者権管理手段とを有し、前記話者権管理手段は、前記識別情報出力手段による出力、前記発話内容蓄積手段による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする。
【００１２】
本発明では、多者間通話サーバと複数の通話機能付き端末装置からなる多者間通話システムで、通話機能付き端末装置が特徴的な構成を有している。すなわち、識別情報出力手段が、話者名等の話者識別情報を受話端末に音声として発生させるための音声データを出力し、発話内容蓄積手段が、ユーザの発話音声を音声データで蓄積しておき、話者権管理手段が、受話端末にて発話音声の前に識別情報音声が発せられるように、識別情報出力手段による出力の後に発話内容蓄積手段による出力を行う制御をする。また、話者権管理手段は、発話音声データの出力が完了してから話者権の解放要求を行う制御をする。
【００１３】
話者名出力部は、あらかじめ話者名音声を音声データとして蓄積しておき、必要なときに話者名音声データを出力してもよい。あるいは、話者名音声を音声合成により文字列から音声データに変換し、変換後の音声データを出力するようにしてもよい。
【００１４】
識別情報出力手段が話者名等の話者識別情報を音声データで出力することから、受話端末において音声で話者識別情報を得ることができる。また、発話内容蓄積手段が発話音声を蓄積しておき、話者権管理手段が、識別情報出力手段による識別情報音声データ出力の後に発話内容蓄積手段による発話内容音声データを出力する制御を行うことから、発話音声が識別情報音声により消失することを防止できる。また、話者権管理手段が発話音声データの出力が完了した後に話者権解放の要求を行うことにより、発話未了の状態における他ユーザの発話による発話内容消失を防止することができる。
【００１５】
また、本発明は、通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムにおいて使用される通話機能付き端末装置であって、話者に関する識別情報を音声データとして出力する識別情報出力手段と、音声から音声データへ変換された発話内容を蓄積する発話内容蓄積手段と、話者権の取得要求及び取得した話者権の解放要求を行う話者権管理手段とを有し、前記話者権管理手段は、前記識別情報出力手段による出力、前記発話内容蓄積手段による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする通話機能付き端末装置であってもよい。
【００１６】
また、本発明は、通話機能付き端末装置からの話者権取得要求を制御する多者間通話サーバと、前記多者間通話サーバからの話者権取得許可を受けて多者間通話を行う通話機能付き端末装置とから構成される多者間通話システムにおける多者間通話方法であって、話者に関する識別情報を音声データとして出力する識別情報出力工程と、音声から音声データへ変換された発話内容を蓄積する発話内容蓄積工程と、話者権の取得要求及び取得した話者権の解放要求を行う話者権管理工程とを有し、前記話者権管理工程は、前記識別情報出力工程による出力、前記発話内容蓄積工程による蓄積、及び前記話者権解放要求のタイミングを制御することを特徴とする多者間通話方法であってもよい。
【００１７】
また、本発明は、上記の多者間通話方法を通話機能付き端末装置に実行させるためのプログラムであってもよい。
【００１８】
また、本発明は、上記のプログラムを記録したことを特徴とする記録媒体であってもよい。
【発明の効果】
【００１９】
本発明によれば、発話者識別に関して聴覚的に行うことができ、かつ、発話内容が受話者に正確に伝達することを可能とする多者間通話システム等が実現される。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しながら、本発明の実施形態について説明する。
【００２１】
図１は、本発明の実施形態における多者間通話システムの構成を示した図である。本実施形態の多者間通話システムは、多者間通話サーバ１及び端末装置２〜５からなり、これらはネットワーク６を介して接続されている。また、本実施形態の多者間通話システムは、端末装置２〜６のユーザによる多者通話を行うことが可能である。
【００２２】
多者間通話サーバ１は、端末装置２〜６の話者権取得及び話者権解放を調整、制御し、また各端末装置からの音声データの通信を制御する。端末装置２〜５は、多者間通話サーバの制御に従い多者通話を行う。詳細は後述するが、本実施形態における多者通話では、多者間通話サーバ１から話者権を取得した端末装置のみが他の端末装置へ音声データを送信することができ、話者権を取得していない他の端末装置は同時に音声データを送信できない。つまり、話者権取得の要求を出し取得許可を得た端末のユーザのみが他のユーザに対して発話することができる。
【００２３】
図２は、本発明の実施形態における通話機能付き端末装置の構成を示す機能ブロック図である。図１における端末装置２〜５のいずれかの機能構成を表している。本実施形態の通話機能付き端末装置は、話者権管理部２１、話者名出力部２２、バッファ部２３、音声データ合成部２４、画面表示部２５、話者権ボタン２６、マイク２７、スピーカ２８、話者権通信部２９、音声送信部３０及び音声受信部３１から構成される。
【００２４】
話者権管理部２１は、グループ会話の今現在の話者権取得者情報を保持し、端末ユーザの発話要求とグループ会話の話者権要求を管理するとともに、現在の話者権取得情報を画面表示部２５に転送する。また、該端末のユーザが話者権を取得したときには、音声送信部３０に音声送信命令を、話者名出力部２２には話者名出力命令を送信する。
【００２５】
話者名出力部２２は、話者権管理部２１からの出力命令を受信し、話者名音声データを出力するとともに、バッファ部２３に対してマイク２７から取得された発話音声の音声データの蓄積を開始するように命令を送信する。また、話者名音声データの出力が終了するとバッファ部２３に対して発話音声データを出力するよう命令を送信する。
【００２６】
バッファ部２３は、マイク２７から取得した発話音声の音声データを蓄積し、話者名出力部２２からの出力命令を受け取ると蓄積した発話音声データを出力する。データの出力は、例えばＦＩＦＯ（First In First Out）動作で行う。
【００２７】
音声データ合成部２４は、話者名出力部２２による話者名音声データとバッファ部２３による発話音声データとを合成して音声送信部３０に転送する。
【００２８】
画面表示部２５は、グループ会話の今現在の話者権取得者情報を表示する。話者権ボタン２６は、ユーザが発話しようとするときに押下し、話者権管理部２１に話者権取得の要求信号を転送する。
【００２９】
マイク２７は、端末ユーザの発話音声を通話機能付き端末装置に入力し、電気信号に変換する。スピーカ２８は、音声受信部３１からの他端末ユーザの発話音声データを音声に変換し、発話音声として受話端末ユーザへ出力する。
【００３０】
話者権通信部２８は、グループ会話の話者権制御に関して多者間通話サーバ１（図１）とやり取りを行う。具体的には、話者権管理部２１から受信した話者権取得の要求信号を多者間通話サーバ１に転送したり、逆に多者間通話サーバ１から受信した他端末ユーザの話者権取得信号を話者権管理部２１に転送したりする。
【００３１】
音声送信部３０は、話者権管理部２１からの音声送信命令を受信し、多者間通話サーバ１に音声データを転送する。音声受信部３１は、多者間通話サーバ１から受信した音声データをスピーカ２８に伝送する。
【００３２】
次に、上記各部の動作に基づいて発話取得要求から発話終了までの流れについて説明する。図３は、本実施形態の通話機能付き端末装置における発話動作の流れを示したシーケンス図である。なお、図２の矢印近傍に記された括弧付きの番号と図３のそれとは同じ内容を表している。
【００３３】
端末ユーザが発話するときは、話者権を取得する必要があるため、端末ユーザは、まず話者権ボタン２６を押下する。押下されると、話者権ボタン２６は、ボタン押下開始信号を話者権管理部２１に通知する（矢印（１））。
【００３４】
次に、話者権管理部２１は、他端末のユーザが話者権を取得していない状態であれば、話者権通信部２９に対して話者権取得要求信号を発行する（矢印（２））。続いて、話者権通信部２９が、多者間通話サーバ１（図１）との間で話者権制御信号をやり取りし（矢印（３））、最終的に該要求信号を発した端末ユーザに対して話者権が与えられた旨が話者権管理部２１に通知される（矢印（４））。
【００３５】
そして、話者権管理部２１が話者名出力部２２に対して話者名音声データの出力開始要求信号を発行する（矢印（５））と同時に、話者名出力部２２はバッファ部２３に対して発話音声データの蓄積開始要求信号を発行する（矢印（６））。話者名出力部２２は、話者名音声データを出力し、出力が完了すると話者名音声データの出力完了信号をバッファ部２３に対して発行する（矢印（７））。
【００３６】
バッファ部２３は、蓄積開始要求信号（矢印（６））を受信すると発話音声の音声データの蓄積を開始し、該出力完了信号（矢印（７））を受信すると蓄積した発話音声の音声データを先頭から出力する。結果として、話者名出力部２２による話者名音声データ出力の長さ分だけ、バッファ部２３は発話音声データの出力を遅延させることとなる。
【００３７】
その後、端末ユーザの発話が終了し話者権ボタン２６の押下状態が解除されると、ボタン押下終了信号が話者権管理部２１に送出される（矢印（８））。話者権管理部２１は、ボタン押下終了信号（矢印（８））を受信すると、バッファ部２３に蓄積終了要求信号を送出する（矢印（９））。
【００３８】
続いて、バッファ部２３は、蓄積終了要求信号（矢印（９））を受信すると発話音声データの蓄積を終了し、残りの蓄積音声データの出力を継続する。そして、バッファ部２３が蓄積した発話音声データの出力を完了すると、発話音声データの出力完了信号（矢印（１０））を話者権管理部２１に送出する。
【００３９】
そして、話者権管理部２１は該出力完了信号（矢印（１０））を受信すると、話者権通信部２９に対して話者権開放要求信号（矢印（１１））を送信し、それを受けて話者権通信部２９は、多者間通話サーバ１との間で話者権開放処理を行うため話者権制御信号（矢印（１２））をやり取りし、最終的に該要求信号を発した端末ユーザに対して話者権が解放された旨が話者権管理部２１に通知される（矢印（１３））。
【００４０】
なお、話者名出力部２２は、図４に示すように、話者名音声蓄積バッファ４２に蓄積されている音声データ（これはあらかじめ蓄積しておく）を、再生制御部４１がコントロールして話者名発声データとして出力させる方法を用いて構成してもよい。また、図５に示すように、話者名保持部５１が文字等の形式で話者名を保持しておき、音声合成出力部５２が、再生制御部４１のコントロールに従って、話者名保持部５１により保持されたデータをその都度音声データに合成して出力する方法を用いて構成してもよい。
【００４１】
先に述べた実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記録媒体、すなわち記憶メディアを通話機能付き端末装置に供給し、該端末装置のコンピュータ（ＣＰＵ）が記憶メディアに格納されたプログラムコードを読み出し実行することによっても、本発明の目的は達成される。
【００４２】
この場合、記憶メディアから読み出されたプログラムコード自体が前述の実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成する。
【００４３】
プログラムコードを供給するための記憶メディアとしては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭ、磁気テープ等を用いることができる。
【００４４】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【００４５】
上記の実施形態によれば、端末ユーザの発話が行われるときに自動的に話者名が送信されるので、グループ会話に参加している他のユーザは、画面表示によらなくてもその発話者が誰か音声のみで把握することが可能となる。
【００４６】
また、上記の実施形態によれば、話者名音声データが出力される時間分、端末ユーザの発話データを蓄積し遅延させて出力するので、端末ユーザの発話内容をそのままグループ会話参加者に送信することが可能となる。
【００４７】
また、上記の実施形態によれば、話者名音声データの出力が終了してから蓄積された発話音声データを出力しているので、任意の話者名音声を利用することができる。
【００４８】
また、上記の実施形態によれば、ボタン押下状態が終了した時点ではなく、蓄積された発話音声データの出力が終了してから話者権を開放しているので、端末ユーザの発話を最後までグループ会話参加者に送信することが可能となる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態に係る多者間通話システムの構成図である。
【図２】本発明の実施形態に係る通話機能付き端末装置の構成を示した機能ブロック図である。
【図３】本発明の実施形態に係る通話機能付き端末装置の動作を説明するための図である。
【図４】本発明の実施形態に係る通話機能付き端末装置の話者名出力部の構成図である。
【図５】本発明の実施形態に係る通話機能付き端末装置の話者名出力部の構成図である。
【符号の説明】
【００５０】
１    多者間通話サーバ
２〜５    端末装置
６    ネットワーク
２１    話者権管理部
２２    話者名出力部
２３    バッファ部
２４    音声データ合成部
２５    画面表示部
２６    話者権ボタン
２７    マイク
２８    スピーカ
２９    話者権通信部
３０    音声送信部
３１    音声受信部
４１    再生制御部
４２    話者名音声蓄積バッファ
５１    話者名保持部
５２    音声合成出力部
【図１】
2007259293.tif 000003
【図２】
2007259293.tif 000004
【図３】
2007259293.tif 000005
【図４】
2007259293.tif 000006
【図５】
2007259293.tif 000007