(57)【特許請求の範囲】
【請求項１】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備え、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システムであって、
前記利用者端末は、
データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するコミュニケーション部と、
音声データを前記多地点接続装置に送信する音声送信部と、
前記多地点接続装置から受信した音像定位処理された音声データに基づきサラウンド音声を再生する音声再生部と、を備え、
前記コミュニケーション用サーバは、
前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、
前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル用又はインスタントメッセージ用の加算値を加える関係グラフ管理部と、を備え、
前記多地点接続装置は、
前記音声送信部から前記音声データを受信する音声受信部と、
前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、
前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末の前記音声再生部に送信する音像定位処理部と、を備えることを特徴とする音像定位制御システム。
【請求項２】
前記コミュニケーション部は、チャットメッセージ、該チャットメッセージの送信元利用者端末の識別子、及び該チャットメッセージの送信先のチャットルームの識別子を前記コミュニケーション用サーバに送信し、
前記関係グラフ管理部は、前記チャットルームの識別子が同一であり、且つ、前記チャットメッセージの受信時刻の差が所定の時間内である前記チャットメッセージの送信元利用者端末の識別子のうち、２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子として前記関係グラフに格納するとともに、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で、所定の時間内に同一のチャットルームに対する前記チャットメッセージの送信が発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた前記重みにチャット用の加算値を加えることを特徴とする、請求項１に記載の音像定位制御システム。
【請求項３】
前記音声受信部は、前記音声送信部から音声データを受信した場合、該音声データの送信元利用者端末の識別子を前記関係グラフ管理部に送信し、
前記関係グラフ管理部は、前記音声データの受信時刻の差が所定の時間内である前記音声データの送信元利用者端末の識別子のうち、２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子として前記関係グラフに格納するとともに、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で、所定の時間内に前記音声データの送信が発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた前記重みに音声通話用の加算値を加えることを特徴とする、請求項１又は２に記載の音像定位制御システム。
【請求項４】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおけるコミュニケーション用サーバであって、
前記利用者端末から受信したデータファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、
前記第１利用者端末識別子を有する利用者端末と前記第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みに所定の加算値を加える関係グラフ管理部と、を備え、
前記関係グラフ管理部は、前記多地点接続装置に前記関係グラフの重みを送信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定させることを特徴とするコミュニケーション用サーバ。
【請求項５】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおける多地点接続装置であって、
前記コミュニケーション用サーバは、前記利用者端末から受信したデータファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の順列に、重みを対応付けたテーブルである関係グラフを記憶しており、
前記利用者端末から音声データを受信する音声受信部と、
前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、
前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信する音像定位処理部と、
を備えることを特徴とする多地点接続装置。
【請求項６】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにて、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御方法であって、
前記利用者端末により、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するステップと、
前記コミュニケーション用サーバにより、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けた関係グラフを記憶するステップと、
前記コミュニケーション用サーバにより、前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル又はインスタントメッセージ用の加算値を加えるステップと、
前記利用者端末により、音声データを前記多地点接続装置に送信するステップと、
前記多地点接続装置により、前記音声データを受信する音声受信ステップと、
前記多地点接続装置により、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理ステップと、
前記多地点接続装置により、前記音声受信ステップにて受信した音声データに対し、前記音像定位管理ステップにより決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信するステップと、
前記利用者端末により、前記多地点接続装置から受信した前記音像定位処理された音声データに基づきサラウンド音声を再生するステップと、
を含むことを特徴とする音像定位制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、本発明は、音声会議やテレビ会議（ビデオ会議）を多地点で利用する場合に、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法に関するものである。
【背景技術】
【０００２】
従来、３拠点以上で多地点接続装置（ＭＣＵ：Multipoint  Control  Unit）を用いて音声会議やテレビ会議を行う場合、各拠点の音声を同じ音像定位で他の拠点で再生する方法、一拠点からの音声のみを他の拠点で再生する方法、無音状態から有音状態を感知した拠点に発言権を与える方法などがあった。また、音像定位を利用した臨場感を生じさせる技術も知られている（例えば、特許文献１参照）。また、インターネット回線を利用し、複数の利用者が参加可能であり、資料共有機能等を備えるｗｅｂ会議システムも知られている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２８０９８２号公報
【非特許文献】
【０００４】
【非特許文献１】“meeting plaza”［online］、ＮＴＴアイティ株式会社、［２０１１年６月２２日検索］、インターネット〈URL:http://www.meetingplaza.com/index-j.html〉
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、一部又は全員が拠点を別にして行う在宅勤務や遠隔学習では、できるだけ職場と同じように、話し合いたい人には近づいてその人とだけ会話できる一方で、職場の他のメンバー間の会話も聞くことができることが望ましい。ところが、既存の多地点接続装置を用いた場合は、職場や他の在宅勤務者の通話が常に同じ音量で聞こえる、職場の音声だけが聞こえ他の在宅勤務者の声が聞こえない、発言があった拠点のみの音声が聞こえる、といった課題があった。また、仮想空間において、音像定位を用いる臨場感再現技術では、利用者は自らの仮想空間上の位置を操作し、学習や業務上コミュニケーションが必要な人物の近くに赴く必要があった。
【０００６】
本発明の目的は、上記問題を解決するため、利用者間のコミュニケーション量に基づいて利用者間の関係性の強さ（コミュニケーションの重要度）を判断し、自動的に音像定位を変化させることにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る音像定位制御システムは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備え、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システムであって、前記利用者端末は、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するコミュニケーション部と、音声データを前記多地点接続装置に送信する音声送信部と、前記多地点接続装置から受信した音像定位処理された音声データに基づきサラウンド音声を再生する音声再生部と、を備え、前記コミュニケーション用サーバは、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル用又はインスタントメッセージ用の加算値を加える関係グラフ管理部と、を備え、前記多地点接続装置は、前記音声送信部から前記音声データを受信する音声受信部と、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末の前記音声再生部に送信する音像定位処理部と、を備えることを特徴とする。
【０００８】
また、上記課題を解決するため、本発明に係るコミュニケーション用サーバは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおけるコミュニケーション用サーバであって、前記利用者端末から受信した、データファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子と、該第１利用者端末識別子及び第２利用者端末識別子の順列に、重みを対応付けたテーブルである関係グラフを記憶する手段と、前記第１利用者端末識別子を有する利用者端末と前記第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みに所定の加算値を加える関係グラフ管理部と、を備え、前記関係グラフ管理部は、前記多地点接続装置に前記関係グラフの重みを送信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定させることを特徴とする。
【０００９】
また、上記課題を解決するため、本発明に係る多地点接続装置は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおける多地点接続装置であって、前記コミュニケーション用サーバは、前記利用者端末から受信したデータファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の順列に、重みを対応付けたテーブルである関係グラフを記憶しており、前記利用者端末から音声データを受信する音声受信部と、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信する音像定位処理部と、を備えることを特徴とする。
【００１０】
また、上記課題を解決するため、本発明に係る音像定位制御方法は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにて、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御方法であって、前記利用者端末により、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するステップと、前記コミュニケーション用サーバにより、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの２つの識別子である第１利用者端末識別子及び第２利用者端末識別子の各順列に、重みを対応付けた関係グラフを記憶するステップと、前記コミュニケーション用サーバにより、前記第１利用者端末識別子及び第２利用者端末識別子を前記関係グラフに格納し、第１利用者端末識別子を有する利用者端末と第２利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第１利用者端末識別子及び第２利用者端末識別子に対応付けられた重みにデータファイル又はインスタントメッセージ用の加算値を加えるステップと、前記利用者端末により、音声データを前記多地点接続装置に送信するステップと、前記多地点接続装置により、前記音声データを受信する音声受信ステップと、前記多地点接続装置により、前記コミュニケーション用サーバから前記関係グラフの重みを受信し、該重みが大きいほど前方、且つ該重みが小さいほど後方となるように適応的に音像定位を決定する音像定位管理ステップと、前記多地点接続装置により、前記音声受信ステップにて受信した音声データに対し、前記音像定位管理ステップにより決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信するステップと、前記利用者端末により、前記多地点接続装置から受信した前記音像定位処理された音声データに基づきサラウンド音声を再生するステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ある利用者に対する他の利用者の音像定位及び音量を、利用者間のコミュニケーション量に応じて自動的に変化させることができ、在宅勤務や遠隔学習において、あたかも同一の場所で一緒に働いたり、学習したりしているかの様な仮想的な空間を構築することができるようになる。具体的には、利用者間のコミュニケーション量に基づき、関係性の強い相手については音像定位を前方（正面）として音量を上げることにより聞き取りやすくすることができ、関係性の弱い相手については音像定位を左右や後方として音量を下げることで、ある程度は会話の内容を把握することができるようになる。これらの音像定位の変化により、利用者にとって重要な会話は聞き取りやすく、そうでない会話はそれなりに聞くことができるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明による第１の実施形態の音像定位システムの構成を示すブロック図である。
【図２】本発明による第１の実施形態の音像定位システムにおける音像定位の第１の例を示す図である。
【図３】本発明による第１の実施形態の音像定位システムにおける音像定位の第１の変化例を示す図である。
【図４】本発明による第１の実施形態の音像定位システムにおける音像定位の決定動作を示すフローチャートである。
【図５】本発明による第１の実施形態の音像定位システムにおける音像定位の第２の例を示す図である。
【図６】本発明による第２の実施形態の音像定位システムにおける音像定位の第２の変化例を示す図である。
【図７】本発明による第１の実施形態の音像定位システムの主要な動作を示すフローチャートである。
【図８】本発明の概略を説明する図である。
【図９】本発明による第２の実施形態の音像定位システムの構成を示すブロック図である。
【図１０】本発明による第３の実施形態の音像定位システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
本発明では、利用者間の情報のやりとりの頻度や種類などから、利用者間の関係性の強さ（コミュニケーションの重要度）を関係グラフの重みとして導出し、導出した利用者間の関係性の強さに応じてリアルタイムでサラウンドの音像定位を変化させ、利用者にとって関係性の強い人（重要な人）の音声は目の前方に設置されたスピーカで大きな音で出力し、利用者にとって比較的関係性の弱い人の音声は後方や左右に設置されたスピーカから小さな音で出力する。これにより、図８に示すように、本人と関係性の強いｃさんは前方の近い位置に存在し、本人と関係性が弱くなるほど、本人の左側、右側、後方などの遠い位置に存在するかのような仮想的な環境を構築する。なお、本発明は、資料共有機能やインスタントメッセージ表示機能等を有する遠隔コラボレーション用アプリケーション（非特許文献２参照）を利用可能である。
【００１４】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１５】
（第１の実施形態）
図１は、第１の実施形態の音像定位システムの構成を示すブロック図である。図１に示すように、音像定位システム１は、コミュニケーション用サーバ１０と、利用者端末２０と、多地点接続装置３０とを備える。コミュニケーション用サーバ１０は、資料共有管理部１１と、インスタントメッセージ管理部１２と、関係グラフ１３と、関係グラフ管理部１４とを備える。利用者端末２０は、コミュニケーション部２１と、音声送信部２２と、音声再生部２３とを備え、利用者端末２０には、周辺機器（ディスプレイ、キーボード、マウスなど）２４とマイク２５と、サラウンドスピーカー２６とが接続される。多地点接続装置３０は、音声受信部３１と、音像定位処理部３３と、音像定位管理部３２とを備える。なお、複数の利用者端末２０をコミュニケーション用サーバ１０及び多地点接続装置３０に接続可能であり、図１では代表して１つの利用者端末２０の構成を示している。
【００１６】
［利用者端末の構成］
コミュニケーション部２１は、利用者の指示に従い、データファイル、該データファイルの送信元利用者端末（当該利用者端末２０）の識別子、及び利用者が指定した該データファイルの送信先利用者端末の識別子をコミュニケーション用サーバ１０の資料共有管理部１１に送信する。データファイルは、送信先利用者端末からアクセスできる任意の資料である。なお、利用者端末の識別子に利用者のユーザ名を含めてもよい。
【００１７】
コミュニケーション部２１は、コミュニケーション用サーバ１０の資料共有管理部１１からデータファイル及び送信元利用者端末の識別子を受信すると、受信したデータファイルについて当該データファイルを取り扱う既存のアプリケーション・ソフトウェアを介して周辺機器（ディスプレイ）２４に表示させる。さらに、送信元利用者端末の識別子に基づく利用者への通知、例えば、「利用者端末a@ntt.co.jpからの資料を表示します。」や「○○さんからの資料です。」といったメッセージを周辺機器（ディスプレイ）２４に表示させることにより、利用者にどの端末（又は利用者）から送信されたデータファイルかを示すことができる。
【００１８】
また、コミュニケーション部２１は、利用者の指示に従い、インスタントメッセージ（ＩＭ：Instant  Messaging）、該インスタントメッセージの送信元利用者端末の識別子、及び利用者が指定した該インスタントメッセージの送信先利用者端末の識別子をインスタントメッセージ管理部１２に送信する。
【００１９】
コミュニケーション部２１は、コミュニケーション用サーバ１０のインスタントメッセージ管理部１２からインスタントメッセージ及び送信元利用者端末の識別子を受信すると、受信したインスタントメッセージを周辺機器（ディスプレイ）２４に表示させる。さらに、送信元利用者端末の識別子を周辺機器（ディスプレイ）２４に表示させることにより、利用者にどの端末（又は利用者）から送信されたインスタントメッセージかを示すことができる。
【００２０】
なお、コミュニケーション部２１は、資料共有機能、インスタントメッセージ機能を持つ、既存の遠隔コラボレーション用アプリケーションのクライアント部分により実現可能である。
【００２１】
音声送信部２２は、マイク２５から入力される音声を符号化し、符号化した音声データを送信元利用者端末の識別子とともに、多地点接続装置３０の音声受信部３１に送信する。音声の符号化には、既存技術である、ＰＣＭ、ＡＤ−ＰＣＭ、ＬＤ−ＣＥＬＰ等を利用する。
【００２２】
音声再生部２３は、多地点接続装置３０の音像定位処理部３３から受信した音像定位処理された音声データに基づき、利用者が音像定位を感じられるように、複数のサラウンドスピーカー２６を介してサラウンド音声を再生する。なお、サラウンドスピーカー２６は、サラウンド機能付きヘッドフォンを含むものとする。
【００２３】
［コミュニケーション用サーバの構成］
資料共有管理部１１は、利用者端末２０のコミュニケーション部２１から、送信元利用者端末の識別子、送信先利用者端末の識別子、及びデータファイルを受信する。資料共有管理部１１は、データファイルを受信すると、受信したデータファイル、及び送信元利用者端末の識別子（受信した際の送信元）を、送信先利用者端末の識別子を有する利用者端末に送信する。そして、資料共有管理部１１は、データファイルを利用者端末２０に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部１４に出力する。
【００２４】
なお、資料共有管理部１１は、既存の遠隔コラボレーション用アプリケーションのサーバ部分（資料共有機能部分）により実現可能である。
【００２５】
インスタントメッセージ管理部１２は、利用者端末２０のコミュニケーション部２１から、インスタントメッセージ、送信元利用者端末の識別子、及び送信先利用者端末の識別子を受信する。インスタントメッセージ管理部１２は、インスタントメッセージを受信すると、インスタントメッセージ、及び送信元利用者端末の識別子（受信した際の送信元）を、送信先利用者端末の識別子を有する利用者端末２０のコミュニケーション部２１に送信する。そして、インスタントメッセージ管理部１２は、インスタントメッセージを利用者端末２０に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部１４に送信する。
【００２６】
なお、インスタントメッセージ管理部１２は、既存の遠隔コラボレーション用アプリケーションのサーバ部分（インスタントメッセージ管理機能部分）により実現可能である。
【００２７】
関係グラフ１３は、第１利用者端末識別子及び第２利用者端末識別子の各順列に、重み及び音像定位を対応付けたテーブルである。ここで、第１利用者端末識別子、第２利用者端末識別子とは、関係グラフ管理部１４が資料共有管理部１１、及びインスタントメッセージ管理部１２から受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの識別子を表すものであり、関係グラフ１３では２つの識別子の各順列について、重み及び音像定位が対応付けられる。なお、本発明では、無向グラフ、すなわち両者の間の重み付けは１つだけであるとしている。例えば、利用者端末Ｘ→利用者端末Ｙの重み付けを５０、利用者端末Ｙ→利用者端末Ｘの重み付けを１００のように２つあるとはせず、利用者端末Ｘ，Ｙの重み付けは７５の１つであるとしている。ゆえに、第１利用者端末識別子、第２利用者端末識別子を用いて２つの重み付けを１つにしている。
【００２８】
重みの初期値は、所定の一定値としてもよいし、公知のＸ．５００等に代表されるディレクトリシステムなどの木構造に基づきその距離を重みに変換した値や、公知のソーシャルグラフを用いて、当該利用者端末の識別子同士のグラフの重さとしてもよい。重みの初期値を所定の一定値としない場合には、関係グラフ１３に重みの初期値も格納する。音像定位は、後述するように現在の重みの値に応じて変化するものである。表１に、重みの初期値も含む場合の関係グラフ１３の例を示す。以下の説明では、重みが初期値を指す場合には「重みの初期値」と記し、現在の重みを指す場合には単に「重み」と記して両者を区別する。重みは、後述する音像定位管理及び音像定位処理に関係し、利用者間の直近のコミュニケーション量を示す指標として用いられる。
【００２９】
【表１】
0005602688.tif 000002
【００３０】
関係グラフ管理部１４は、資料共有管理部１１から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの２つの順列のうち、関係グラフ１３に未登録のものについては、第１利用者端末識別子、第２利用者端末識別子として、関係グラフ１３に格納する。
【００３１】
関係グラフ管理部１４は、データファイルのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ１３の重みに資料共有用（データファイル用）の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０との間でデータファイルのやり取りが発生した場合には、１回のやり取りにつき、重みに３０を加算する。
【００３２】
また、関係グラフ管理部１４は、インスタントメッセージ管理部１２から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した利用者端末の識別子の２つの順列のうち、関係グラフ１３に未登録のものについては、第１利用者端末識別子、第２利用者端末識別子として、関係グラフ１３に格納する。
【００３３】
関係グラフ管理部１４は、インスタントメッセージのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ１３の重みにインスタントメッセージ用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０の間でインスタントメッセージのやり取りが発生した場合には、１回のやり取りにつき、重みに１０を加算する。
【００３４】
また、関係グラフ管理部１４は、所定の時間（例えば、３０分）ごとに、関係グラフ１３における全重みについて、所定の減算値を減ずる。ただし、重みの初期値を下回らないものとする。例えば、１日経過するごとに、重みを２減じ、重みの初期値に達した場合には減算を行わないようにする。なお、データファイル用の加算値、インスタントメッセージ用の加算値、及び減算値は、実験等により適宜最適な値を設定することができる。
【００３５】
関係グラフ管理部１４は、関係グラフ１３の重みに変更が生じた場合、すなわち重みに加算値を加えるか減算値を減じた場合には、その変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を、多地点接続装置３０の音像定位管理部３２に送信する。
【００３６】
［多地点接続装置の構成］
音声受信部３１は、利用者端末２０の音声送信部２２から音声データ及び送信元利用者端末の識別子を受信し、受信した音声データ及び送信元利用者端末の識別子を音像定位処理部３３に出力する。
【００３７】
音像定位管理部３２は、関係グラフ１３の重みの大きさに応じて適応的に音像定位を決定する。具体的には、音像定位管理部３２は、コミュニケーション用サーバ１０の関係グラフ管理部１４から、関係グラフ１３の変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を受信する。そして、関係グラフ１３を参照して受信した第１利用者端末識別子及び第２利用者端末識別子に対応付けられた音像定位を取得し、重みに基づいて適応的に音像定位を決定する。音像定位管理部３２は、決定した音像定位を示す音像定位情報を音像定位処理部３３に出力する。また、音像定位管理部３２は、決定した音像定位が関係グラフ１３から取得した音像定位から変更があった場合には、関係グラフ１３の音像定位を、決定した音像定位に更新する。
【００３８】
音像定位管理部３２は、例えば図２に示すように、利用者の位置に対して後方の位置Ａ、左側の位置Ｂ、前方の位置Ｃ、右側の位置Ｄのいずれかに音像定位させる。図３は、音像定位の変化を示す図である。音像定位管理部３２は、重みｗを第１閾値ｗ1及び第２閾値ｗ2と比較することにより音像定位を決定する。例えば、第１利用者端末識別子及び第２利用者端末識別子における音像定位が位置Ａであった場合、重みｗが第１閾値ｗ1を超えていたときには、音像定位を位置Ｂに変更する。
【００３９】
図４は、音像定位管理部３２の音像定位の決定動作の一例を示すフローチャートである。まず、音像定位管理部３２は、関係グラフ１３から取得した音像定位が位置Ａ〜位置Ｄのいずれかであるかを判定する（ステップＳ１０１〜ステップＳ１０３）。音像定位管理部３２は、ステップＳ１０１にて音像定位が位置Ａであると判定した場合には、重みｗが第１閾値ｗ1を超えるか否かを判定する（ステップＳ１０４）。音像定位管理部３２は、ステップＳ１０４にて重みｗが第１閾値ｗ1を超えると判定した場合には音像定位を位置Ａから位置Ｂに変更し（ステップＳ１０５）、ステップＳ１０４にて重みｗが第１閾値ｗ1以下であると判定した場合には音像定位を位置Ａのまま維持する。
【００４０】
音像定位管理部３２は、ステップＳ１０２にて音像定位が位置Ｂであると判定した場合には、重みｗが第２閾値ｗ2を超えるか否かを判定し（ステップＳ１０６）、ステップＳ１０６にて重みｗが第２閾値ｗ2を超えると判定した場合には音像定位を位置Ｂから位置Ｃに変更し（ステップＳ１０７）、ステップＳ１０６にて重みｗが第２閾値ｗ2以下であると判定した場合には音像定位を位置Ｂのまま維持する。
【００４１】
音像定位管理部３２は、ステップＳ１０３にて音像定位が位置Ｃであると判定した場合には、重みｗが第２閾値ｗ2以下であるか否かを判定し（ステップＳ１０８）、ステップＳ１０８にて重みｗが第２閾値ｗ2以下であると判定した場合には音像定位を位置Ｃから位置Ｄに変更し（ステップＳ１０９）、ステップＳ１０８にて重みｗが第２閾値ｗ2を超えると判定した場合には音像定位を位置Ｃのまま維持する。
【００４２】
音像定位管理部３２は、ステップＳ１０４にて音像定位が位置Ｄであると判定した場合には、重みｗが第１閾値ｗ1以下であるか否かを判定し（ステップＳ１１０）、ステップＳ１１０にて重みｗが第１閾値ｗ1以下であると判定した場合には音像定位を位置Ｄから位置Ａに変更し（ステップＳ１１１）、ステップＳ１１０にて重みｗが第１閾値ｗ1を超えると判定した場合には音像定位を位置Ｄのまま維持する。
【００４３】
なお、図４に示す例では、重みｗの値により音像定位を右回り方向のみに移動させているが、左回り方向のみに移動させてもよいのは勿論であり、また、重みｗが第１閾値ｗ1以下の場合には位置Ａに、重みｗが第１閾値ｗ1を超え、且つ第２閾値ｗ2以下である場合には位置Ｂ又は位置Ｄに、重みｗが第２閾値ｗ2を超える場合には位置Ｃとするようにしてもよい。
【００４４】
また、図２〜図４では、音像定位させる位置が位置Ａ〜位置Ｄの４種類の場合を例に説明したが、音像定位させる位置は２種類以上であればよい。例えば、図５に示すように、音像定位させる位置を６種類（位置Ａ〜位置Ｆ）としてもよく、音像定位の変化を例を図６に示す。この場合、音像定位管理部３２は、重みｗを第１閾値ｗ1、第２閾値ｗ2、及び第３閾値ｗ3と比較することにより、位置Ａ〜位置Ｆのいずれかに音像定位することができる。
【００４５】
音像定位処理部３３は、音声受信部３１から取得した音声データに対し、音像定位管理部３２により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、多地点接続装置３０に接続され会議に参加している利用者端末２０の音声再生部２３に送信する。
【００４６】
ここで、音像定位処理とは、既存のサラウンド技術を用い、１つの単一音源である音声データに対し、あたかも図２に示す様な聴覚効果を起こしていると視聴者が判断されるように、音声データを加工し出力する処理のことをいう。例えば、１つのマイク２５から取得した音声を、５．１チャンネルなどの多チャンネルのサラウンドプロセッサを介して、前後左右の希望する場所に音像定位させる。また、音声データに対して音像定位処理を施すとは、音像定位ごとに所定の減衰値を設定し、音量がＣ＞Ｂ、又はＣ＞Ａなどとなるように音声データに基づき音像定位処理を施すことである。なお、所定の減衰値については、一番コミュニケーション量が多い位置Ｃからの音声が最も聴きやすく、位置Ａからの音声は注意して聞けばその内容がかろうじて分かる程度の音量となるように、実験等により適宜最適な値を設定することができる。この値は主観的に定めてもよい。
【００４７】
［音像定位システムの動作］
次に、音像定位システム１の動作について説明する。図７は、本発明による第１の実施形態の音像定位システム１の主要な動作を示すフローチャートである。ここでは、利用者端末２０−１が利用者端末２０−２に対してデータファイル及びインスタントメッセージを送信するものとする。すなわち、データファイル及びインスタントメッセージのやり取りについては、利用者端末２０−１が送信元の利用者端末となり、利用者端末２０−２が送信先の利用者端末となる。
【００４８】
ステップＳ２０１では、利用者端末２０−１は、コミュニケーション部２１により、データファイル、送信元利用者端末の識別子（利用者端末２０−１の識別子）、及び送信先利用者端末の識別子（利用者端末２０−２の識別子）をコミュニケーション用サーバ１０に送信する。ステップＳ２０２では、コミュニケーション用サーバ１０は、資料共有管理部１１により、利用者端末２０−１から受信したデータファイル、及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、送信先利用者端末の識別子を有する利用者端末２０−２に送信する。ステップＳ２０３では、利用者端末２０−２は、コミュニケーション用サーバ１０から受信したデータファイルを周辺機器（ディスプレイ）２４に表示させる。
【００４９】
ステップＳ２０４では、利用者端末２０−１は、コミュニケーション部２１により、インスタントメッセージ、送信元利用者端末の識別子（利用者端末２０−１の識別子）、及び送信先利用者端末の識別子（利用者端末２０−２の識別子）をコミュニケーション用サーバ１０に送信する。ステップＳ２０５では、コミュニケーション用サーバ１０は、資料共有管理部１１により、利用者端末２０−１から受信したデータファイル、及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、送信先利用者端末の識別子を有する利用者端末２０−２に送信する。ステップＳ２０６では、利用者端末２０−２は、コミュニケーション用サーバ１０から受信したインスタントメッセージを周辺機器（ディスプレイ）２４に表示させる。
【００５０】
ステップＳ２０７では、コミュニケーション用サーバ１０は、関係グラフ管理部１４により、関係グラフ１３を管理する。
【００５１】
ステップＳ２０８では、利用者端末２０−１は、音声送信部２２により、音声データ及び送信元利用者端末の識別子（利用者端末２０−１の識別子）を、多地点接続装置３０に送信する。ステップＳ２０９では、利用者端末２０−２は、音声送信部２２により、音声データ及び送信元利用者端末の識別子（利用者端末２０−２の識別子）を、多地点接続装置３０に送信する。
【００５２】
ステップＳ２１０では、コミュニケーション用サーバ１０は、関係グラフ管理部１４により、関係グラフ１３の重みに変更が生じた場合には、その変更が生じた重みに対応付けられた第１利用者端末識別子及び第２利用者端末識別子を、多地点接続装置３０に送信する。図７に示す例では、利用者端末２０−１と利用者端末２０−２との間のデータファイル及びインスタントメッセージのやり取りにより両者の重みに変更が生じているため、利用者端末２０−１の識別子及び利用者端末２０−２の識別子を多地点接続装置３０に送信する。
【００５３】
ステップＳ２１１では、多地点接続装置３０は、音像定位管理部３２により音像定位を決定し、音像定位処理部３３により音像定位処理を行う。ステップＳ２１２では、多地点接続装置３０は、音像定位処理部３３により、音像定位処理された音声データを利用者端末２０−１の音声再生部２３に送信する。ステップＳ２１３では、多地点接続装置３０は、音像定位処理部３３により、音像定位処理された音声データを利用者端末２０−２の音声再生部２３に送信する。ステップＳ２１４では、利用者端末２０−１は、音声再生部２３により音声を再生する。ステップＳ２１５では、利用者端末２０−２は、音声再生部２３により音声を再生する。
【００５４】
第１の実施形態の音像定位システム１によれば、コミュニケーション用サーバ１０が第１利用者端末識別子及び第２利用者端末識別子の各順列に、重み及び音像定位を対応付けたテーブルである関係グラフ１３を備え、関係グラフ管理部１４により関係グラフ１３を管理し重みを制御し、多地点接続装置３０が音像定位管理部３２により関係グラフ１３の重みの大きさに応じて適応的に音像定位を決定し、音像定位処理部３３により音像定位管理部３２にて決定された音像定位に基づいて音像定位処理を施すことにより、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数又はインスタントメッセージ数に応じて自動的に変化させることができるようになる。
【００５５】
（第２の実施形態）
次に、本発明による第２の実施形態の音像定位システムについて説明する。図９は、第２の実施形態の音像定位システムの構成を示すブロック図である。第２の実施形態の音像定位システム２は、第１の実施形態の音像定位システム１（図１参照）と比較して、コミュニケーション用サーバ１０が更にチャット管理部１５を備える点で相違する。第２の実施形態の音像定位システム２では、資料共有、インスタントメッセージに加えて、チャットでのコミュニケーションを関係グラフ１３の重みの調整に使用する。なお、第１の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００５６】
コミュニケーション部２１は、利用者の指示に従い、チャットメッセージを送信元利用者端末の識別子、及び利用者が指定したチャットメッセージの送信先であるチャットルームの識別子を、コミュニケーション用サーバ１０のチャット管理部１５に送信する。なお、チャットルームの識別子にチャットルームの名称を含めてもよい。
【００５７】
コミュニケーション部２１は、チャット管理部１５からチャットメッセージ、送信元利用者端末の識別子、及びチャットルームの識別子を受信すると、受信したチャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を周辺機器（ディスプレイ）２４に表示させる。
【００５８】
チャット管理部１５は、利用者端末２０のコミュニケーション部２１から、チャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を受信する。チャット管理部１５は、チャットメッセージを受信すると、チャットメッセージ、送信元利用者端末の識別子（受信した際の送信元）、及びチャットルームの識別子を、受信したチャットルームの識別子が示すチャットルームに接続している全ての利用者端末２０のコミュニケーション部２１に送信する。そして、チャット管理部１５は、チャットメッセージを利用者端末２０に送信すると、関係グラフ管理部１４に対し、送信元利用者端末の識別子、送信先利用者端末の識別子、チャットルームの識別子、及び現在時刻を関係グラフ管理部１４に送信する。
【００５９】
なお、チャット管理部１５は、遠隔コラボレーション用アプリケーションのサーバ部分（チャット管理機能部分）により実現可能である。
【００６０】
関係グラフ管理部１４は、チャット管理部１５から受信した送信元利用者端末の識別子、チャットルームの識別子、及び現在時刻（受信時刻）を、チャット受信履歴に格納する。チャット受信履歴は、チャットルームの識別子、チャットメッセージの送信元利用者端末の識別子、及び受信時刻を対応付けたテーブルである。表２に、チャット受信履歴の例を示す。
【００６１】
【表２】
0005602688.tif 000003
【００６２】
関係グラフ管理部１４は、チャット受信履歴から、チャットルームの識別子が同一であり、且つ、チャットメッセージの受信時刻の差が所定の時間（同一話題と想定される時間）内である送信元利用者端末の識別子を参照し、そのうちの２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子とし、関係グラフ１３に未登録のものについて格納する。なお、関係グラフ管理部１４は、チャット受信履歴のデータうち、所定の時間（チャット受信履歴保存期間）が過ぎたものを削除する。
【００６３】
また、チャットは、相手を特定してチャットメッセージの書き込みを行うものではないが、関係グラフ管理部１４は、同一のチャットルームに所定の時間内にチャットメッセージの書き込みを行った利用者は利用者間の関係性が強いと判断し、関係グラフ１３の重みに、チャット用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０との間で、所定の時間内に同一のチャットルームでチャットメッセージの書き込みが発生した場合には、所定の時間内のチャットのやり取りにつき、重みに５を加算する。なお、所定の時間、チャット用の加算値は、実験等により適宜最適な値を設定することができる。
【００６４】
第２の実施形態の音像定位システム２によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数に加え、所定時間内のチャットの書き込み数に応じて自動的に変化させることができるようになる。
【００６５】
（第３の実施形態）
次に、本発明による第３の実施形態の音像定位システムについて説明する。図１０は、第３の実施形態の音像定位システムの構成を示すブロック図である。第３の実施形態の音像定位システム３は、第２の実施形態の音像定位システム２（図９参照）と比較して、関係グラフ管理部１４が、音声を送信している利用者端末の識別子を音声受信部３１から取得して管理する点が相違する。なお、第２の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【００６６】
音声受信部３１は、利用者端末２０の音声送信部２２から、所定の閾値を超える音声レベルで所定の閾値を超える時間の音声データを受信した場合、音声データの送信元利用者端末の識別子、及び現在時刻をコミュニケーション用サーバ１０の関係グラフ管理部１４に送信する。なお、音声レベルが所定の閾値を超えるか否かの判定は、当該音声が発話か雑音かを判別するために行われるものであり、例えば無音検知技術を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声レベルをとする。また、音声時間が所定の閾値を超えるか否かの判定は、当該音声が返事等の短い発話か雑音かを判別するために行われるものであり、例えば発話検知を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声時間をとする。
【００６７】
関係グラフ管理部１４は、多地点接続装置３０の音声受信部３１から受信した、送信元利用者端末の識別子を、受信時刻（現在時刻）とともに音声受信履歴に格納する。表３に、音声受信履歴の例を示す。
【００６８】
【表３】
0005602688.tif 000004
【００６９】
関係グラフ管理部１４は、音声受信履歴から、音声データの受信時刻の差が所定の時間（同一会話と想定される時間）内である送信元利用者端末の識別子を参照し、そのうちの２つの識別子の順列を第１利用者端末識別子及び第２利用者端末識別子とし、関係グラフ１３に未登録のものについて格納する。なお、関係グラフ管理部１４は、音声受信履歴のデータうち、所定の時間（音声受信履歴保存期間）が過ぎたものを削除する。
【００７０】
また、音声通話は相手を特定して行うものではないが、関係グラフ管理部１４は、所定の時間内に会議に参加している利用者は利用者間の関係性が強いと判断し、関係グラフ１３の重みに、音声通話用の加算値を加える。例えば、第１利用者端末識別子を有する利用者端末２０と第２利用者端末識別子を有する利用者端末２０の間で、所定の時間内に音声通話が発生した場合には、所定の時間内の音声通話のやり取りにつき、重みに５を加算する。なお、所定の時間、音声通話の加算値は、実験等により適宜最適な値を設定することができる。
【００７１】
第３の実施形態の音像定位システム３によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数、チャットのメッセージ数に加え、音声通話の発話数に応じて自動的に変化させることができるようになる。
【００７２】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上述の各実施形態では、音像定位システムはデータファイル及びインスタントメッセージの双方を送受信可能なものとして説明したが、コミュニケーション用サーバ１０は資料共有管理部１１及びインスタントメッセージ管理部１２のいずれか一方のみを備え、データファイル及びインスタントメッセージのいずれか一方のみの送受信を可能とするものであってもよい。
【符号の説明】
【００７３】
１，２，３  音像定位システム
１０    コミュニケーション用サーバ
１１    資料共有管理部
１２    インスタントメッセージ管理部
１３    関係グラフ
１４    関係グラフ管理部
１５    チャット管理部
２０    利用者端末
２１    コミュニケーション部
２２    音声送信部
２３    音声再生部
２４    周辺機器
２５    マイク
２６    サラウンドスピーカー
３０    多地点接続装置
３１    音声受信部
３２    音像定位管理部
３３    音像定位処理部
【図１】
0005602688.tif 000005
【図２】
0005602688.tif 000006
【図３】
0005602688.tif 000007
【図４】
0005602688.tif 000008
【図５】
0005602688.tif 000009
【図６】
0005602688.tif 000010
【図７】
0005602688.tif 000011
【図８】
0005602688.tif 000012
【図９】
0005602688.tif 000013
【図１０】
0005602688.tif 000014