(57)【要約】 【課題】  複数のサービスの柔軟な組み合わせ等を図る。【解決手段】  複数の端末２、４、６と複数種のサービスサーバ１２、１４、１６との間に１つ又は２以上の統合サーバ８、１０を介設する。その統合サーバ８等にセッション確立処理部２０及びサービス連携処理部３０（図３）を設ける。このセッション確立処理部２０により、端末２等とサービスサーバ１２等との間にマルチモーダルサービスセッションを確立する。マルチモーダルサービスセッションの確立後、サービス連携処理部３０により、サービスサーバ１２等が提供さるサービスを連携させて統合された新しいサービス、すなわち、マルチモーダルサービスを端末２等に提供する。【選択図】      図１
2006285619.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なるサービスを提供する複数種のサービスサーバと端末装置とを接続し、複数種の前記サービスサーバのうちの２以上の前記サービスサーバのサービスを統合して前記端末装置に提供するためのマルチモーダルサービスセッションを前記サービスサーバと前記端末装置との間に確立するマルチモーダルサービスセッション確立方法であって、
統合された前記サービスの提供に際して、前記端末装置からセッション確立要求を発行し、
発行された前記セッション確立要求に基づいて前記端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立することを特徴とするマルチモーダルサービスセッション確立方法。
【請求項２】
前記セッション確立要求は、提供を受けんとする前記サービスサーバのアドレス又はサービス名を含めて行うことを特徴とする請求項１記載のマルチモーダルサービスセッション確立方法。
【請求項３】
前記マルチモーダルサービスセッションの確立は、
マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を前記セッション確立要求に含めて発行し、
前記セッション確立要求のグループ識別情報に基づいて対応する前記サービスサーバが前記端末装置に対してセッション開始要求を発行して行われることを特徴とする請求項１記載のマルチモーダルサービスセッション確立方法。
【請求項４】
それぞれ異なるサービスを提供する複数種のサービスサーバと端末装置とを接続し、複数種の前記サービスサーバのうちの２以上の前記サービスサーバのサービスを統合して前記端末装置に提供するマルチモーダルサービス提供方法であって、
統合された前記サービスの提供に際して、前記端末装置からセッション確立要求を発行し、
発行される前記セッション確立要求に基づいて、前記端末装置と前記セッション確立要求対応の前記サービスサーバとの間でマルチモーダルサービスセッションを確立し、
前記マルチモーダルサービスセッションを確立した後、前記サービスサーバが提供するサービスの状況を表す有意な情報と統合された前記サービスの提供に際して前記端末装置から送出される送出情報とをモニターし、
モニター結果と予め設定されるサービス連携条件とに基づいてサービスの連携の仕方を決定し、
決定された連携の仕方に基づいて前記サービスを連携させ、
連携されて統合された前記サービスを前記端末装置に提供することを特徴とするマルチモーダルサービス提供方法。
【請求項５】
前記有意な情報は、前記サービスサーバが提供するサービスの制御情報又は状態情報であることを特徴とする請求項４記載のマルチモーダルサービス提供方法。
【請求項６】
前記制御情報は、前記サービスサーバが提供するサービスについてのフロア権を前記端末装置が取得していることを示す情報であることを特徴とする請求項５記載のマルチモーダルサービス提供方法。
【請求項７】
前記送出情報は、前記サービスサーバ毎に当該サービスサーバが提供するサービスの内容を指定する指定情報であることを特徴とする請求項４、５又は６記載のマルチモーダルサービス提供方法。
【請求項８】
前記指定情報は、音声通話情報、ホワイトボードの書き込み命令又はビデオ画像であることを特徴とする請求項７記載のマルチモーダルサービス提供方法。
【請求項９】
それぞれ異なるサービスを提供する複数種のサービスサーバと、
複数種のサービスサーバに接続される端末装置とを有し、複数種の前記サービスサーバのうちの２以上の前記サービスサーバのサービスを統合して前記端末装置に提供するためのマルチモーダルサービスセッションを前記サービスサーバと前記端末装置との間に確立するマルチモーダルサービスセッション確立システムであって、
前記端末装置は、統合された前記サービスの提供に際してセッション確立要求を発行するように構成すると共に、
前記端末装置と複数種の前記サービスサーバとの間に統合サーバを介設し、
前記統合サーバは、発行された前記セッション確立要求に基づいて前記端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立することを特徴とするマルチモーダルサービスセッション確立システム。
【請求項１０】
前記統合サーバは、前記端末装置からの前記セッション確立要求を解析する解析手段と、該解析手段の解析結果に基づいて前記サービスサーバ向けの第1のセッション開始要求を前記サービスサーバ別に発行する第1の発行手段と、前記サービスサーバから返送される第1の前記セッション開始要求に対する応答情報を受信する受信手段と、該受信手段で受信される前記応答情報に基づいて前記端末装置向けの第2のセッション開始要求を発行する第2の発行手段とを有して構成されることを特徴とする請求項９記載のマルチモーダルサービスセッション確立システム。
【請求項１１】
前記セッション確立要求は、提供を受けんとする前記サービスサーバのアドレス又はサービス名を含めて行うことを特徴とする請求項９又は１０記載のマルチモーダルサービスセッション確立システム。
【請求項１２】
前記端末装置は、マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を含む前記セッション確立要求を発行するように構成され、
複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、
前記統合サーバは、前記端末装置から受け取る前記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
問い合わせた結果に基づいて前記サービスサーバに対して第1の前記セッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項９、１０又は１１記載のマルチモーダルサービスセッション確立システム。
【請求項１３】
前記端末装置は、マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を含む前記セッション確立要求を発行するように構成され、
複数種の前記サービスサーバの１つとしてグループ管理サーバが設けられ、
前記統合サーバは、前記端末装置から受け取る前記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を複数種の前記サービスサーバに対して発行し、
複数種の前記サービスサーバは、前記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される前記端末装置の各々について前記グループ管理サーバに問い合わせ、
問い合わせた結果に基づいて前記端末装置に対して第2の前記セッション開始要求を発行して前記マルチモーダルサービスセッションの確立を行うことを特徴とする請求項を特徴とする請求項９、１０又は１１記載のマルチモーダルサービスセッション確立システム。
【請求項１４】
それぞれ異なるサービスを提供する複数種のサービスサーバと、
複数種の前記サービスサーバに接続される端末装置とを有し、複数種の前記サービスサーバのうちの２以上の前記サービスサーバのサービスを統合して前記端末装置に提供するマルチモーダルサービス提供システムであって、
前記端末装置は、統合された前記サービスの提供に際してセッション確立要求を発行するように構成され、
前記端末装置と複数種の前記サービスサーバとの間に統合サーバを介設し、
前記統合サーバは、
前記端末装置によって発行された前記セッション確立要求に基づいて前記端末装置と前記セッション確立要求対応の前記サービスサーバとの間に前記マルチモーダルサービスセッションを確立するセッション確立手段と、
該セッション確立手段によって前記マルチモーダルサービスセッションが確立された後、前記サービスサーバが提供するサービスの状況を表す有意な情報と統合された前記サービスの提供に際して前記端末装置から送出される送出情報とをモニターするモニター手段と、
予め設定されるサービス連携条件を保存する保存手段と、
該モニター手段でのモニター結果と前記保存手段の前記サービス連携条件とに基づいてサービス連携の仕方を決定する決定手段と、
該決定手段で決定されたサービス連携の仕方を前記サービスサーバに対して発行する発行手段とを有し
前記発行手段によって発行された連携の仕方に基づいて複数種の前記サービスサーバの前記サービスが連携され、
連携されて統合された前記サービスが前記端末装置に提供されることを特徴とするマルチモーダルサービス提供システム。
【請求項１５】
前記有意な情報は、前記サービスサーバが提供するサービスの制御情報又は状態情報であることを特徴とする請求項１４記載のマルチモーダルサービス提供システム。
【請求項１６】
前記制御情報は、前記サービスサーバが提供するサービスについてのフロア権を前記端末装置が取得していることを示す情報であることを特徴とする請求項１５記載のマルチモーダルサービス提供システム。
【請求項１７】
前記送出情報は、前記サービスサーバ毎に当該サービスサーバが提供するサービスの内容を指定する指定情報であることを特徴とする請求項１３、１４又は１５記載のマルチモーダルサービス提供システム。
【請求項１８】
前記指定情報は、音声通話情報、ホワイトボードの書き込み命令又はビデオ画像であることを特徴とする請求項１７記載のマルチモーダルサービス提供システム。
【請求項１９】
前記サービス連携情報は、有意な前記情報と前記送出情報と所定の関係で決められることを特徴とする請求項１３乃至１８のいずれか一に記載のマルチモーダルサービス提供システム。
【請求項２０】
前記サービスサーバには、発言権サーバ、音声転送サーバ及びホワイトボードアプリケーションサーバを含むことを特徴とする請求項１３乃至１９のいずれか一に記載のマルチモーダルサービス提供システム。
【請求項２１】
前記サービスサーバには、セッション保存サーバを含むことを特徴とする請求項１３乃至２０のいずれか一に記載のマルチモーダルサービス提供システム。
【請求項２２】
コンピュータに請求項１乃至３のいずれか一に記載のマルチモーダルサービスセッション確立方法を実行させることを特徴とする制御プログラム。
【請求項２３】
コンピュータに請求項４乃至８のいずれか一に記載のマルチモーダルサービス提供方法を実行させることを特徴とする制御プログラム。
【請求項２４】
コンピュータに請求項９乃至１３のいずれか一に記載のマルチモーダルサービスセッション確立システムを制御させることを特徴とする制御プログラム。
【請求項２５】
コンピュータに請求項１４乃至２１のいずれか一に記載のマルチモーダルサービス提供システムを制御させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マルチモーダルサービスセッション確立方法、マルチモーダルサービス提供方法及びその装置並びにその制御プログラムに関し、詳しくは端末とサービスサーバとの間のソフト上の相互依存性のほぼ解除を行えるマルチモーダルサービスセッション確立方法、マルチモーダルサービス提供方法及びその装置並びにその制御プログラムに関する。
【背景技術】
【０００２】
従来においても、マルチモーダルサービス提供システムが知られている。その例としては、電子会議システム（従来の電子会議システムという）がある。
従来の電子会議システムは、電子会議に参加する複数の端末装置（以下、単に端末という）がネットワークを介して電子会議システムサーバに接続されるようにして構成されている。その端末には、電子会議システムアプリケーションのプログラムが実装され、電子会議システムサーバには、電話アプリケーションやホワイトボード共有アプリケーションのプログラムが実装されている。
【０００３】
電子会議システムの端末を使用するユーザが発行するマルチモーダルサービスについての要求が、端末の電子会議システムアプリケーションのプログラム処理を介して電子会議システムサーバに届き、その電子会議システムサーバにおいて届いた要求に基づいて電話アプリケーションやホワイトボード共有アプリケーションのプログラム処理が行われてユーザ希望のマルチモーダルサービスが各端末のユーザに提供される。
【０００４】
また、特許文献１には、複数の基本サービスを統合して仮想サービスを提供するサービス連携装置に係る技術が記載されている。この技術は、サービス連携装置において、提供しようとする仮想サービスを予め定義しておき、その仮想サービスを構成する基本サービスの個々の基本サービスオブジェクトをその定義に基づいて所定の順序で起動して行くことにより前記仮想サービスのための仮想サービスオブジェクトを生成し、生成された仮想サービスオブジェクトを実行すると、その中で個々の基本サービスをユーザが操作しつつそれらの基本サービスが仮想サービスとして統合されてユーザに提供しようとするものである。
【０００５】
特許文献２には、複数のサーバが提供するサービスの各々を各サーバのシステム環境に応じて連携させるサービス連携システムに係る技術が記載されている。
このサービス連携システムは、サービスパターン管理手段（サービスパターン管理部）が管理するマスタ情報と、サーバ状態管理手段（サーバ状態管理部）が所定の時間間隔で管理する複数のサーバとの最新の接続状態に関する情報とに基づいて最新のサービスパターンをサービスパターン管理手段で生成し、サーバ状態管理手段が管理するサーバ状態管理情報から算出されるサーバ稼動率とその閾値とに基づいて、サービスパターン管理手段で生成された最新のサービスパターンから利用者に提供可能なサービスをサービス生成手段（サービス生成部）で選択して生成し、そのサービスを利用者に提供するものである。
【０００６】
特許文献３には、グループ通信に参加する参加者の増減に応じて利用者端末が通信に利用する配送路を制御するようにして、利用者端末が逐次参加したり離脱したりできるグループ通信システムが記載されている。
このグループ通信システムを構成するセッション情報登録端末がセッション情報をセッション情報サーバに登録すると、セッション情報サーバがセッション識別子をセッション情報登録端末に付与する。セッション情報登録端末は、付与されたセッション識別子をセッションに参加する利用者携帯端末の各々へ順次通知し、それらの利用者端末は、受け取ったセッション識別子を元に自身の配送路情報をセッション情報サーバに登録すると共に、各利用者端末は、セッション情報サーバから他の利用者端末の配送路情報を取得する。これにより、利用者端末のセッションへの参加ができる。
セッションからの離脱は、当該利用者端末がその配送路情報の削除要求と同時にそのためのイベントを送信すると、セッション情報サーバは、削除要求対応の新たな配送路情報を生成して配送路情報の更新を行う一方、利用者端末でも、同様の配送路情報の更新を行う。これにより、当該利用者端末は、セッションから離脱することができる。
このようにして、特許文献３に記載のグループ通信システムは構成されている。
【特許文献１】特開平１０−２３２８９９号公報
【特許文献２】特開２００４−２６５０９６号公報
【特許文献３】特開２００４−１６５７４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の電子会議システム例においては、マルチモーダルサービスの提供に供される端末の電子会議システムアプリケーションプログラムと、電子会議システムサーバの電話アプリケーションプログラムやホワイトボード共有アプリケーションプログラムとの関係が緊密であるので、電子会議システムサーバに新たなサービスのためのアプリケーションプログラムを追加することが容易にできない。つまり、そのシステムのままでは、既設のアプリケーション（サービス）とその他のアプリケーション（サービス）とを統合した新たなサービスを自在に提供するのには極めて難しさがある。
【０００８】
特許文献１に記載されるサービス連携装置は、個々の基本サービスオブジェクトを仮想サービスの定義に基づいて順次起動して仮想サービスオブジェクトを生成し、生成された仮想サービスオブジェクトの実行の中で個々の基本サービスをユーザが操作しつつそれらの基本サービスを仮想サービスとして統合させてユーザに提供しようとするものであるから、複数の基本サービスと仮想サービスとはそれらのオブジェクト間に一定の連携が形成されているものであり、予め仕組まれている基本サービス以外のサービスを統合させるのには難点がある。
【０００９】
また、特許文献２に記載されるサービス連携システムは、サービスパターン管理手段が管理するマスタ情報を元に複数のサービスパターンを生成し、その中から利用者に提供可能なサービスを選択して生成し、そのサービスを利用者に提供するものであるから、このシステムにおいて複数のサービスが連携されるとは言っても、生成されるサービスパターンの元になるマスタ情報は、サービスパターン管理手段によって管理されており、利用者がサービスパターンの生成に関与し得る手段はないから、利用者主導のサービスの連携はできない。
【００１０】
また、特許文献３に記載されるグループ通信システムは、そのセッション情報登録端末がセッション情報をセッション情報サーバに登録し、セッション情報サーバがセッション識別子をセッション情報登録端末に付与する。そのセッション情報登録端末が、付与されたセッション識別子をセッションに参加する利用者携帯端末の各々へ順次通知し、それらの利用者端末は、受け取ったセッション識別子を元に自身の配送路情報をセッション情報サーバに登録すると共に、各利用者端末は、セッション情報サーバから他の利用者端末の配送路情報を取得する。こうして、利用者端末のセッションへの参加を行うことができることを示しているが、そのセッションが、例えば、テレビ会議である場合に、そこで利用者端末間で送受される複数のメディアの統合形態については特に言及はないから従来技術を踏襲していると考えられ、複数メディアの統合には上述した技術的課題が残存していると言える。
このことは、セッションからの離脱についても言える。
【００１１】
この発明は、上述の事情に鑑みてなされたもので、端末とサービスサーバとの間のソフト上の相互依存性をほぼ解除してマルチモーダルサービスセッションを確立することのできるマルチモーダルサービスセッション確立方法及びその装置並びにその制御プログラムを提供することを１つの目的としている。
また、この発明は、端末とサービスサーバとの間のソフト上の相互依存性をほぼ解除して端末にマルチモーダルサービスを提供し得るマルチモーダルサービス提供方法及びその装置並びにその制御プログラムを提供することを他の目的としている。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、請求項１記載の発明は、それぞれ異なるサービスを提供する複数種のサービスサーバと端末装置とを接続し、複数種の上記サービスサーバのうちの２以上の上記サービスサーバのサービスを統合して上記端末装置に提供するためのマルチモーダルサービスセッションを上記サービスサーバと上記端末装置との間に確立するマルチモーダルサービスセッション確立方法に係り、統合された上記サービスの提供に際して、上記端末装置からセッション確立要求を発行し、発行された上記セッション確立要求に基づいて上記端末装置と上記セッション確立要求対応の上記サービスサーバとの間に上記マルチモーダルサービスセッションを確立することを特徴としている。
【００１３】
請求項２記載の発明は、請求項１記載のマルチモーダルサービスセッション確立方法に係り、上記セッション確立要求は、提供を受けんとする上記サービスサーバのアドレス又はサービス名を含めて行うことを特徴としている。
【００１４】
請求項３記載の発明は、請求項１記載のマルチモーダルサービスセッション確立方法に係り、上記マルチモーダルサービスセッションの確立は、マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を上記セッション確立要求に含めて発行し、上記セッション確立要求のグループ識別情報に基づいて対応する上記サービスサーバが上記端末装置に対してセッション開始要求を発行して行われることを特徴としている。
【００１５】
請求項４記載の発明は、それぞれ異なるサービスを提供する複数種のサービスサーバと端末装置とを接続し、複数種の上記サービスサーバのうちの２以上の上記サービスサーバのサービスを統合して上記端末装置に提供するマルチモーダルサービス提供方法に係り、統合された上記サービスの提供に際して、上記端末装置からセッション確立要求を発行し、発行される前記セッション確立要求に基づいて、上記端末装置と上記セッション確立要求対応の上記サービスサーバとの間でマルチモーダルサービスセッションを確立し、上記マルチモーダルサービスセッションを確立した後、上記サービスサーバが提供するサービスの状況を表す有意な情報と統合された上記サービスの提供に際して上記端末装置から送出される送出情報とをモニターし、モニター結果と予め設定されるサービス連携条件とに基づいてサービスの連携の仕方を決定し、決定された連携の仕方に基づいて上記サービスを連携させ、連携されて統合された上記サービスを上記端末装置に提供することを特徴としている。
【００１６】
請求項５記載の発明は、請求項４記載のマルチモーダルサービス提供方法に係り、上記有意な情報は、上記サービスサーバが提供するサービスの制御情報又は状態情報であることを特徴としている。
【００１７】
請求項６記載の発明は、請求項５記載のマルチモーダルサービス提供方法に係り、上記制御情報は、上記サービスサーバが提供するサービスについてのフロア権を上記端末装置が取得していることを示す情報であることを特徴としている。
【００１８】
請求項７記載の発明は、請求項４、５又は６記載のマルチモーダルサービス提供方法に係り、上記送出情報は、上記サービスサーバ毎に当該サービスサーバが提供するサービスの内容を指定する指定情報であることを特徴としている。
【００１９】
請求項８記載の発明は、請求項７記載のマルチモーダルサービス提供方法に係り、上記指定情報は、音声通話情報、ホワイトボードの書き込み命令又はビデオ画像であることを特徴としている。
【００２０】
請求項９記載の発明は、それぞれ異なるサービスを提供する複数種のサービスサーバと、複数種のサービスサーバに接続される端末装置とを有し、複数種の上記サービスサーバのうちの２以上の上記サービスサーバのサービスを統合して上記端末装置に提供するためのマルチモーダルサービスセッションを上記サービスサーバと上記端末装置との間に確立するマルチモーダルサービスセッション確立システムに係り、上記端末装置は、統合された上記サービスの提供に際してセッション確立要求を発行するように構成すると共に、上記端末装置と複数種の上記サービスサーバとの間に統合サーバを介設し、
上記統合サーバは、発行された上記セッション確立要求に基づいて上記端末装置と上記セッション確立要求対応の上記サービスサーバとの間に上記マルチモーダルサービスセッションを確立することを特徴としている。
【００２１】
請求項１０記載の発明は、請求項９記載のマルチモーダルサービスセッション確立システムに係り、上記統合サーバは、上記端末装置からの上記セッション確立要求を解析する解析手段と、該解析手段の解析結果に基づいて上記サービスサーバ向けの第1のセッション開始要求を上記サービスサーバ別に発行する第1の発行手段と、上記サービスサーバから返送される第1の上記セッション開始要求に対する応答情報を受信する受信手段と、該受信手段で受信される上記応答情報に基づいて上記端末装置向けの第2のセッション開始要求を発行する第2の発行手段とを有して構成されることを特徴としている。
【００２２】
請求項１１記載の発明は、請求項９又は１０記載のマルチモーダルサービスセッション確立システムに係り、上記セッション確立要求は、提供を受けんとする上記サービスサーバのアドレス又はサービス名を含めて行うことを特徴としている。
【００２３】
請求項１２記載の発明は、請求項９、１０又は１１記載のマルチモーダルサービスセッション確立システムに係り、上記端末装置は、マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を含む上記セッション確立要求を発行するように構成され、複数種の上記サービスサーバの１つとしてグループ管理サーバが設けられ、上記統合サーバは、上記端末装置から受け取る上記セッション確立要求のグループ識別情報に基づいてグループ識別情報で識別される上記端末装置の各々について上記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて上記サービスサーバに対して第1の上記セッション開始要求を発行して上記マルチモーダルサービスセッションの確立を行うことを特徴としている。
【００２４】
請求項１３記載の発明は、請求項９、１０又は１１記載のマルチモーダルサービスセッション確立システムに係り、上記端末装置は、マルチモーダルサービスセッションに参加する端末を指定するグループ識別情報を含む上記セッション確立要求を発行するように構成され、複数種の上記サービスサーバの１つとしてグループ管理サーバが設けられ、  上記統合サーバは、上記端末装置から受け取る上記セッション確立要求に基づいてグループ識別情報を含むセッション開始要求を複数種の上記サービスサーバに対して発行し、複数種の上記サービスサーバは、上記セッション開始要求のグループ識別情報に基づいてグループ識別情報で識別される上記端末装置の各々について上記グループ管理サーバに問い合わせ、問い合わせた結果に基づいて上記端末装置に対して第2の上記セッション開始要求を発行して上記マルチモーダルサービスセッションの確立を行うことを特徴としている。
【００２５】
請求項１４記載の発明は、それぞれ異なるサービスを提供する複数種のサービスサーバと、
複数種の上記サービスサーバに接続される端末装置とを有し、複数種の上記サービスサーバのうちの２以上の上記サービスサーバのサービスを統合して上記端末装置に提供するマルチモーダルサービス提供システムに係り、上記端末装置は、統合された上記サービスの提供に際してセッション確立要求を発行するように構成され、上記端末装置と複数種の上記サービスサーバとの間に統合サーバを介設し、上記統合サーバは、上記端末装置によって発行された上記セッション確立要求に基づいて上記端末装置と上記セッション確立要求対応の上記サービスサーバとの間に上記マルチモーダルサービスセッションを確立するセッション確立手段と、該セッション確立手段によって上記マルチモーダルサービスセッションが確立された後、上記サービスサーバが提供するサービスの状況を表す有意な情報と統合された上記サービスの提供に際して上記端末装置から送出される送出情報とをモニターするモニター手段と、予め設定されるサービス連携条件を保存する保存手段と、該モニター手段でのモニター結果と上記保存手段の上記サービス連携条件とに基づいてサービス連携の仕方を決定する決定手段と、該決定手段で決定されたサービス連携の仕方を上記サービスサーバに対して発行する発行手段とを有し上記発行手段によって発行された連携の仕方に基づいて複数種の上記サービスサーバの上記サービスが連携され、連携されて統合された上記サービスが上記端末装置に提供されることを特徴としている。
【００２６】
請求項１５記載の発明は、請求項１４記載のマルチモーダルサービス提供システムに係り、上記有意な情報は、上記サービスサーバが提供するサービスの制御情報又は状態情報であることを特徴としている。
【００２７】
請求項１６記載の発明は、請求項１５記載のマルチモーダルサービス提供システムに係り、上記制御情報は、上記サービスサーバが提供するサービスについてのフロア権を上記端末装置が取得していることを示す情報であることを特徴している。
【００２８】
請求項１７記載の発明は、請求項１３、１４又は１５記載のマルチモーダルサービス提供システムに係り、上記送出情報は、上記サービスサーバ毎に当該サービスサーバが提供するサービスの内容を指定する指定情報であることを特徴としている。
【００２９】
請求項１８記載の発明は、請求項１７記載のマルチモーダルサービス提供システムに係り、上記指定情報は、音声通話情報、ホワイトボードの書き込み命令又はビデオ画像であることを特徴としている。
【００３０】
請求項１９記載の発明は、請求項１３乃至１８のいずれか一に記載のマルチモーダルサービス提供システムに係り、前記サービス連携情報は、有意な上記情報と上記送出情報と所定の関係で決められることを特徴としている。
【００３１】
請求項２０記載の発明は、請求項１３乃至１９のいずれか一に記載のマルチモーダルサービス提供システムに係り、上記サービスサーバには、発言権サーバ、音声転送サーバ及びホワイトボードアプリケーションサーバを含むことを特徴としている。
【００３２】
請求項２１記載の発明は、請求項１３乃至２０のいずれか一に記載のマルチモーダルサービス提供システムに係り、上記サービスサーバには、セッション保存サーバを含むことを特徴としている。
【００３３】
請求項２３記載の発明は、マルチモーダルサービスセッション確立方法の制御プログラムに係り、コンピュータに請求項１乃至３のいずれか一に記載のマルチモーダルサービスセッション確立方法を実行させることを特徴としている。
【００３４】
請求項２４記載の発明は、マルチモーダルサービス提供方法の制御プログラムに係り、コンピュータに請求項４乃至８のいずれか一に記載のマルチモーダルサービス提供方法を実行させることを特徴としている。
【００３５】
請求項２５記載の発明は、マルチモーダルサービスセッション確立システムの制御プログラムに係り、コンピュータに請求項９乃至１３のいずれか一に記載のマルチモーダルサービスセッション確立システムを制御させることを特徴としている。
【００３６】
請求項２６記載の発明は、マルチモーダルサービス提供システムの制御プログラムに係り、コンピュータに請求項１４乃至２１のいずれか一に記載のマルチモーダルサービス提供システムを制御させることを特徴としている。
【発明の効果】
【００３７】
この発明によれば、複数種のサービスサーバのうちの２以上のサービスサーバのサービスが統合されて端末装置に提供するのに先立って、端末装置からセッション確立要求を発行し、発行されたセッション確立要求に基づいて端末装置とセッション確立要求対応の前記サービスサーバとの間にマルチモーダルサービスセッションを統合サーバを介して確立し、その後に、各サービスサーバが提供するサービスを統合サーバサービスで連携させて統合させるようにしているから、端末とサービスサーバとの間のソフト上の相互依存性がほぼ解除され得るので、複数の既存サービスと新しいサービスとの柔軟な組み合わせを達成し得る。
【発明を実施するための最良の形態】
【００３８】
この発明は、複数種のサービスサーバと端末装置との間に統合サーバを介設し、その統合サーバを介してマルチモーダルサービスセッションを確立し、そのマルチモーダルサービスセッションにおいて各サービスサーバが提供するサービスを統合サーバサービスで連携させて統合させるようにして構成される。
【実施例１】
【００３９】
図１は、この発明の実施例１であるマルチモーダルサービス提供システムの基本的構成を示す図、図２は、同マルチモーダルサービス提供システムの具体的構成を示す図、図３は、同マルチモーダルサービス提供システムの統合サーバの構成を示す図、図４は、同マルチモーダルサービス提供システムの統合サーバを構成するセッション確立処理部の構成を示す図、図５は、同マルチモーダルサービス提供システムの統合サーバを構成するサービス連携処理部の構成を示す図、図６は、同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート、また、図７は、同マルチモーダルサービス提供システムのセッション中のタイミングチャートである。
【００４０】
この実施例のマルチモーダルサービス提供システム１は、端末装置からの要求に応じて複数のサービスサーバが提供するそれぞれのサービスを統合サーバにより１つのマルチモーダルサービスとして端末装置に提供するシステムに係り、その基本的構成は、図１に示すように、端末装置（以下、端末という）２と、統合サーバ８と、各々、異なるサービスを提供する複数のサービスサーバ、例えば、サービスサーバ１２、１４及び１６とから成るが、具体的構成例としては、図２に示すように、端末２、４及び６と、統合サーバ８及び１０と、発言権サーバ１２と、音声転送サーバ１４と、ホワイトボードアプリケーションサーバ１６とから構成されている。
以下、この具体的構成例について説明する。
【００４１】
上述のマルチモーダルサービスとは、複数端末間で行われるコミニケーションサービスをいう。このコミニケーションサービスの例は、半二重の音声通話とホワイトボード共有サービスで構成されている。
半二重の音声通話は、ＰＴＴ（Ｐush Ｔo Ｔalk）サービスとして知られているものと同様のものである。
具体的に言うと、後述するサーバ１２、１４及び１６が提供するサービスが、マルチモーダルサービスに含まれる個々のサービスの例であり、統合サーバ８が、端末２及び４に対して、また、統合サーバ１０が端末６に対して上述のコミニケーションサービスを提供するようにしてマルチモーダルサービス提供システム１は構成されている。
【００４２】
端末２、４及び６は、マルチモーダルサービスを利用する端末である。それぞれの端末には、発言権クライアントと、音声送受信クライアントと、ホワイトボードアプリケーションクライアントとを実装して成る。
統合サーバ８及び１０は、端末２、４及び６に対して発言権サービスと音声転送サービスとホワイトボードアプリケーションサービスとを連携して統合されて成るコミニケーションサービス（マルチモーダルサービスの１つ）を提供する。
【００４３】
統合サーバ８及び統合サーバ１０は、図３に示すように、セッション確立処理部２０とサービス連携処理部３０とから構成されている。
セッション確立処理部２０は、図４に示すように、マルチモーダルサービスセッションの確立を行う処理部で、解析部２１と、第１の発行部１２と、受信部２３と、第２の発行部２４とから構成される。
【００４４】
解析部２１は、端末２、４及び６からのメッセージ形式のセッション確立要求を受信して解析する処理部である。セッション確立要求には、複数のサービスサーバのサービスを利用する旨の記述（詳細は後述）が含まれている。
第１の発行部２２は、解析部２１での解析結果から各サービスサーバ１２、１４及び１６が解釈できる書式で、かつ、サービスサーバ別のセッション開始要求をメッセージ形式で生成し、対応サービスサーバに発行する処理部である。
【００４５】
受信部２３は、各サービスサーバ１２、１４及び１６からのレスポンス（応答情報）、すなわち、端末に向けてのメッセージ形式のセッション開始要求を受信する処理部である。
第２の発行部２４は、受信部２３で受信した各レスポンスを統合してその結果を端末２、４及び６に発行する処理部である。この処理部で行うレスポンスの統合には、各サービスサーバ１２、１４及び１６が各サービスサーバ毎の所要のタイミングでレスポンスを返信して来るので、全レスポンスがあるまでの待ち受けをし、応答がないサービスサーバがある場合には、そのサービスがない状態で端末２、４及び６にレスポンスを発行する等の判断が含まれる。
【００４６】
サービス連携処理部３０は、図５に示すように、モニター部３１と、決定部３２と、発行部３３と、保存部３４とから構成される。
モニター部３１は、サービスサーバ１２、１４及び１６が提供するサービスの制御情報と、端末２、４、６から送出される送出情報、例えば、音声データ、ホワイトボードの書き込み命令等とをモニターする処理部である。制御情報は、サービスの状態情報が含まれる。
決定部３２は、モニター部３１でモニターした制御情報及び送出情報と保存部３４のサービス連携条件（以下、ポリシ情報又はポリシともいう）とに基づいて、すなわち、制御情報及び送出情報とどのような関係にあるかに基づいてサービス連携の仕方を決定する処理部である。
サービス連携条件は、上記制御情報及び上記送出情報と所定の関係で予め決められる。
発行部３３は、決定部３２で決定されたサービス連携の仕方を必要なサービスサーバ及び端末に対して発行する処理部である。
保存部３４は、決定部３２でのサービス連携の仕方の決定に必要なサービス連携のポリシ情報を保存して決定部３２に提供する処理部である。
【００４７】
セッション確立処理部２０も、また、サービス連携処理部２０も、プログラムの処理で構成されるもので、そのプログラムは、統合サーバ８及び１０の不揮発性記憶装置（例えば、不揮発性メモリ）に記憶さされ、統合サーバ８及び１０のＣＰＵ乃至プロセッサによって統合サーバ８及び１０の揮発性メモリに読み出されてＣＰＵ乃至プロセッサで実行されることによって、上述の各処理部の機能が遂行されて行くようにして構成されている。
【００４８】
また、統合サーバ８、１０の接続ポートにサービスサーバを接続するには、統合サーバに予めサービスサーバの情報を登録して置く必要がある。その情報は、サービスサーバのアドレス、サービスサーバで提供するサービスの種類（サービス名）及びセッション確立のための情報（セッション確立時に統合サーバがサービスサーバに送るべき情報）である。
【００４９】
発言権サーバ１２は、複数端末間で行われるセッション中の或る時間にどの端末がメディアを送信するかを制御する、すなわち、同種のサービスの競合を解決し、複数のフロア権取得要求が発行されその競合が解決されて許容される端末に対しフロア権を与える制御を行うサービスを提供するサーバである。
音声転送サーバ１４は、セッション参加中の１つの端末が送信した音声データをセッション参加中の他の端末に転送するサービスを提供するサーバである。
ホワイトボードアプリケーションサーバ１６は、複数端末ユーザがそれぞれの端末画面上で同一の絵や写真を見たり、それらの絵や写真の上に線や文字を書き込んだりするサービスを提供するサーバである。
【００５０】
次に、図２乃至図７を参照して、この実施例の動作について説明する。
先ず、マルチモーダルサービス提供システム１がコミニケーションサービス（マルチモーダルサービスの１つの例）を提供するのに先立って行われるセッション確立時の動作について、図６を参照して説明する。
なお、この実施例において、セッション確立に必要なシグナリング、例えば、セッション確立要求に対する確認応答等は、公知の一般的な手順の下で執り行われるものであり、そのこと自体にこの発明があるのではないので、説明を簡潔にするために、以下の動作説明の中ではその逐一の説明は省略する。
また、セッションの確立及び終了は、例えば、ＳＩＰ（Ｓession Ｉnitiation Ｐrotcol）で行われる。
【００５１】
マルチモーダルサービス提供システム１が構築されるときに、その統合サーバ８、１０に接続されるサービスサーバの情報（上述した情報）が、予め、統合サーバ８、１０に登録されてそれらのサービスサーバが接続される。
したがって、一旦、マルチモーダルサービス提供システム１ が所要のサービスサーバを接続した後であっても、他のサービスサーバを接続してマルチモーダルサービスを提供しようとするときには、そのサービスサーバの情報を統合サーバに登録しさえすれば、そのサービスサーバが提供するサービスを加えて拡張されたマルチモーダルサービスの提供が可能になる。
【００５２】
上述のマルチモーダルサービス提供システム１の端末１からセッション確立要求が統合サーバ８に対して発行される（図６の（１））。
この要求の中には、セッション確立開始情報、例えば、端末２、４及び６が、確立されたセッションの中でサービスサーバ１２、１４及び１６が提供するサービスを利用することになるセッションで、そのセッション確立を開始する旨を合図する情報が含められている。
また、上記要求の中には、統合サーバ８が連携して統合されたマルチモーダルサービスを端末に対して提供するのを可能にするサーバ選択情報も含まれる。サーバ選択情報としては、例えば、サービスサーバ１２、１４及び１６のアドレスであっても、また、それらサーバが提供するサービスのサービス名であってもよい。
【００５３】
統合サーバ８は、端末２からのセッション確立要求を受け取り、サービスサーバ１２、１４及び１６からのサービスを受けたいマルチモーダルサービスセッション（サービスセッション）を開始するに当たって、サービスサーバ１２、１４及び１６の各々に対してセッション開始要求を発行する（図６の（２−１）、（２−２）、（２−３））。
このセッション開始要求には、マルチモーダルサービスセッションに参加する端末は２、４及び６であることを記述してある。
【００５４】
このことは、図６では、参照番号（２−１）、（２−２）及び（２−３）で示され、その枝番号がサービスサーバ１２、１４及び１６に対して送られる要求であることを示しており、これらは、統合サーバ８が各サービスサーバに対して発行する要求としては論理的には互いに同位であることを表したものである。
【００５５】
サービスサーバ１２、１４及び１６は、統合サーバ８からのセッション開始要求を受け取り、統合サーバ８は、端末２、４及び６が参加するセッションを確立するために、それぞれの各端末に向けたセッション開始要求を発行する。
この要求は、図６においては、（３−１）、（３−２）及び（３−３）として示してある。セッション開始要求（３−１）、（３−２）及び（３−３）は、各端末が接続されている統合サーバ８、１０に対して送られる。
【００５６】
統合サーバ８、１０は、自身の配下に接続されている端末に対するセッション開始要求を受け取ると、それぞれの端末に対してマルチモーダルサービスセッション開始要求を発行する（図６の（４））。
以上の処理手順を踏むことにより、マルチモーダルサービスセッションが確立する（図６の（５））。
【００５７】
次に、上述のようにして、マルチモーダルサービスセッションが確立された状態におけるマルチモーダルサービスの提供動作を説明する。
このマルチモーダルサービスの提供動作は、基本的には、上述のＳＩＰによるが、これに限らない。
【００５８】
上述のようにして、セッション参加の端末とサービスサーバとの間に通信回線が形成された状態において、マルチモーダルサービスが開始されているとする。
このマルチモーダルサービスの提供は、一般的には、次のようにして行われる。
マルチモーダルサービスの提供に際して、任意の端末が、フロア権を取得し得る状態にあるとき、その端末からマルチモーダルサービスを構成する或る１つのサービスについてのフロア権取得要求が、時系列上で順次、統合サーバ８、１０を径由して発言権サーバ１２に到達する。
その発行は、１つの端末から行われる場合もあれば、複数の任意の端末から行われる場合もある。
【００５９】
そのフロア権取得要求が、１つの端末から発行されるときに、発言権サーバ１２がいずれの端末にも与えていないならば、発言権サーバ１２において同種のロア権取得要求の競合はないから、発言権サーバ１２は、上記１つの端末に対して上記フロア権取得要求対応のフロア権を与える。
また、そのフロア権取得要求が、複数の端末から時系列上で前後して発行されるとき、発言権サーバ１２においてフロア権取得要求対応のフロア権取得要求の競合が生じるので、その競合は、発言権サーバ１２において公知の手順に従って処理されて決まる端末に対してフロア権が与えられる。
すなわち、先行する端末に対して、既に、フロア権を発行している場合には、後続してフロア権取得要求を送信して来ている端末（以下、後続端末という）に対してはフロア権獲得失敗（フロア権発行拒否）通知を後続端末に対して返送する。
【００６０】
上記のフロア権を与えられる端末に対しては、発言権サーバ１２からフロア権獲得成功通知が送信されると共に、フロア権を要求しなかったその他の端末に対しては、フロア権が取得されたことの通知（フロア権取得済み通知）が送信される。
【００６１】
フロア権獲得成功通知と、フロア権獲得失敗通知と、フロア権取得済み通知とは、統合サーバ８、１６を径由して端末２、４、６に送信される。これらの送信が行われる場合、フロア権取得済み通知を受ける端末には、フロア権獲得失敗通知を受ける端末も含まれる。これら双方を受ける端末には、フロア権取得済み通知と、フロア権獲得失敗通知とは、若干の時間差をもって到達する。
【００６２】
各端末に上記の各通知が到達すると、フロア権を取得した端末は、マルチモーダルサービスセッションに参加する他の端末に提供するためのデータ（当該端末からの送出情報）を対応するサービスサーバに対して送信することができるようになる。
また、その他の端末は、自端末以外のいずれかの端末がフロア権を取得したことを認識することができる。
【００６３】
このようにして、フロア権を与えられてマルチモーダルサービスを構成する複数のサービスが、時系列上で順次、提供されようとするとき、その提供されんとする異種のサービス間に競合が発生することがある。
この競合は、統合サーバ８、１０で連携処理され、マルチモーダルサービスを構成する各サービスが順序立てられて各端末にマルチモーダルサービスとして提供される。
【００６４】
その連携処理について以下説明する。
各サービスサーバによるサービスの提供は、独立に行われようとする。そのサービスサーバが提供しようとするサービスについての制御情報及び端末が送信（送出）する送出情報が、サービス連携処理部３０のモニタ部３１でモニタされている。
モニタ部３１から上記モニタ結果を受け取る決定部３２は、モニタ結果から保存部３４のポリシを参照してサービス連携の仕方を決定する。
こうして決定されたサービス連携の仕方は、発行部３３から対応するサービスサーバ及び端末に対して発行する。
【００６５】
以下に、サービス連携処理部３０での処理例を説明する。
例えば、遠隔会議サービスにおいて、例えば、ポリシとして、「グループ音声通話のフロア権である音声通話転送権とホワイトボードのフロア権である書き込み権は、同じ端末に与えるようにし、ホワイトボードの書き込み権は音声通話のフロア権に従属する」というポリシが、保存部３４に設定・保存してあるとする。この設定は、例えば、事前設定である。
【００６６】
この条件の下で、上述のような同種のサービス、例えば、音声通話についてのフロア権取得要求の競合が発言権サーバ１２で処理されて或る端末に音声通話についてのフロア権が与えられ、かつ、その或る端末からホワイトボードアプリケーションサーバ１６への書き込み命令が送信されたとすると、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、その時には同じ端末に対してホワイトボード書き込み権が与えられた状態になるので、同端末によって音声通話フロア権の取得が維持されている期間に、同端末からホワイトボードの書き込み命令をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致するので、ホワイトボードの書き込み命令を他の端末に提供させるというサービス連携の仕方を決定する。このサービス連携の仕方は、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。
【００６７】
上記遠隔会議サービスの例におけるポリシの例において、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、その時には同じ端末に対してホワイトボード書き込み命令が与えられた状態になるので、同端末によって音声通話フロア権の取得が維持されている期間に、他の端末からホワイトボードの書き込み命令をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致しないので、ホワイトボードの書き込み情報を他の端末に提供させないというサービス連携の仕方（或るいは、「上記ホワイトボードの書き込み命令を発行した端末が音声通話のフロア権を次に取得するまでその書き込み命令を保持させるというサービス連携の仕方」）を決定する。このサービス連携の仕方も、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。
【００６８】
また、遠隔会議サービスにおいて音声通話のフロア権とホワイトボードの書き込み権とが従属しないの例として、「グループ音声通話のフロア権とホワイトボードの書き込み権は同じ端末に与えるようにする」というポリシが設定されていたとすれば、或る端末が音声通話のフロア権を取得したことをモニタしたときは、同じ端末がホワイトボードの書き込み権を要求できる状態であり、もし同じ端末からホワイトボードの書き込み権が要求されれば、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と書き込み権とを同じ端末が持っている」状態に合致するので、「その書き込み権の要求は採用される、すなわち、その端末にホワイトボードアプリケーションサーバのサービスについてのフロア権が与えられるが、他の端末がホワイトボードの書き込み権を要求した場合にはその要求を拒否させる」というサービス連携の仕方を決定する。このサービス連携の仕方も、発行部３３からホワイトボードアプリケーションサーバ１６に転送される。
【００６９】
また、遠隔会議サービスでの音声通話のフロア権とホワイトボードの書き込み権とが従属しない場合に、音声通話のフロア権とホワイトボードの書き込み権の要求が同時に発行されるときの例（以下、上記例という）において、「グループ音声通話のフロア権とホワイトボードの書き込み権は同じ端末に与えるようにする」というポリシが設定されていたとすれば、或る端末が音声通話のフロア権を取得したことをモニタし、かつ、異なる端末がホワイトボードの書き込み権を取得したことをモニタしたときには、決定部３２は、上記ポリシに照らし会わせて、「直ちに両フロア権の取得が無効にする」というサービス連携の仕方を決定する。具体的には、決定部３２は、両フロア権の開放要求を両端末に指示する決定を行う。
【００７０】
上記例において、サービス連携の仕方の他の例として、或る端末が音声通話のフロア権を取得したことをモニタしたときには、「同じ端末がホワイトボードの書き込み権を要求していなくても、同端末に代わって統合サーバ８、１０がホワイトボードの書き込み権を要求、取得する」というサービス連携の仕方を決定する。
【００７１】
また、ＴＶ電話サービスにおいて、例えば、ポリシとして、「グループ音声通話のフロア権である音声通話転送権とビデオカメラで撮像したビデオ画像の画像送信権は、同じ端末に与えるようにする」というポリシが、保存部３４に設定・保存してあるとする。
この条件の下で、上述のような同種のサービス（例えば、音声通話）についてのフロア権取得要求の競合が発言権サーバ１２で処理されて或る端末に音声通話についてのフロア権が与えられ、かつ、その或る端末から画像転送サーバ（このサーバも他のサービスサーバと同様にして統合サーバ８、１０に接続し得るもの）へのビデオ画像が送信されたとすると、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、これと同時に同じ端末からビデオ画像が送信されていることをモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と画像送信権とを同じ端末が持っている」状態に合致するので、ビデオ画像を他の端末に提供させるようにサービス連携の仕方を決定する。このサービス連携の仕方は、発行部３３から図示しない画像送信サーバに転送される。
【００７２】
上記ＴＶ電話サービスの例におけるポリシの例において、或る端末が音声通話のフロア権を取得したことをモニタ部３１がモニタし、これと同時に他の端末からビデオ画像をモニタ部３１がモニタしたとしたら、決定部３２は、上記ポリシに照らし会わせて、「音声通話転送権と画像送信権とを同じ端末が持っている」状態に合致しないので、ビデオ画像を他の端末に提供しないようにサービス連携の仕方を決定する。このサービス連携の仕方も、発行部３３から図示しない画像送信サーバに転送される。
【００７３】
また、ＴＶ会議サービスについても、上述した２つの例におけるポリシ制御によるサービス連携を組み合わせて提供することができる。
なお、いずれの例におけるポリシだけでなく、提供しようとするマルチモーダルサービスに応じた各種各様のポリシでマルチモーダルサービスを提供することができる。
【００７４】
上述したような連携処理により、マルチモーダルサービスを構成する各サービスは、統合サーバ１２、１４で連携されて統合された新しいサービス、すなわち、マルチモーダルサービスとしてセッション参加の各端末に提供される。
【００７５】
そして、上述したマルチモーダルサービスの提供が行われ、その或るサービスについてのフロア権を取得している端末が、そのフロア権を開放するに際しては、その端末からフロア権開放要求が発行され、そのフロア権開放要求は、統合サーバを径由して発言権サーバ１２に到達する。
発言権サーバ１２は、全端末に対して当該フロア権が開放されたことを通知する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。
【００７６】
上述した遠隔会議サービスの具体的な例について、図７を参照して以下に説明する。
端末２がフロア権としての発言権取得要求を発行したとする（図７の（６ａ））。その発言権取得要求は、統合サーバ８を径由して発言権サーバ１２に到達する。
発言権サーバ１２は、その時点でそのセッション中の発言権取得端末がないとすると、端末２に発言権を与えることとし、発言権が端末２に与えられたことを全セッション参加端末（２、４及び６）に通知するために発言権取得済み通知を発行する（図７の（６ｂ））。発言権取得済み通知（図７の（６ｂ））は、各端末が各別に接続されている統合サーバ８及び１０を径由して対応する端末に送られる。
これにより、この時点でのセッション発言権は、端末２が持っている状態に遷移する。
【００７７】
このようにして発言権を与えられた端末２は、サービスサーバ１４及び１６が提供する各サービスにアクセスすることが可能になる。
サービスサーバ１４及び１６が提供するサービスは、それぞれ、この実施例の構成（図２）からして、サービスサーバ１４については音声データの送信（７ａ）であり、サービスサーバ１６についてはホワイトボードアプリケーションで共有する画像の操作命令（８ａ）である。
【００７８】
端末から発せられた音声データや画像操作命令は、統合サーバ８を介して対応するサービスサーバ１４、１６に転送される。
その後に、音声転送サーバ１４は、音声データ（７ａ）を他のセッション参加端末に転送し（７ｂ）、ホワイトボードアプリケーションサーバ１６は、画像操作命令（８ａ）を他のセッション参加端末に転送する（８ｂ）。
【００７９】
上述したような発言権が端末２に付与されている状態において、たとえば端末６がホワイトボードアプリケーションサーバ１６に対する書き込み命令を発行するとしたならば、統合サーバＳＳ２のモニター部３１が上述の書き込み命令及び発言権サーバ１２の制御情報をモニターし、その時点での発言権取得端末が端末２であることを認識しているので、保存部３４のポリシ、例えば、「端末２に発言権を与えており、端末６から書き込み命令が発行されたなら、ホワイトボードアプリケーションサーバ１６に書き込み命令を転送させない」が保存されているとすると、決定部３２は、そのポリシを参照してその書き込み命令は統合サーバ１０の発行部３３からホワイトボードアプリケーションサーバ１６に転送されない。
【００８０】
上述のようにして確立され、マルチモーダルサービスに係る所要のサービス提供が終了すると、いずれかの端末から発言権解放要求（１０ａ）が発行されると、上述した発言権取得要求（６ａ）の場合と同様にその発言権開放要求が処理され、セッション中のいずれの端末へも発言権開放通知が統合サーバ８から転送され（１０ｂ）、これらいずれの端末も発言権を持っていない状態に遷移する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権としての発言権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。
【００８１】
このように、この実施例の構成によれば、マルチモーダルサービスの提供に際して、サービスサーバについての所定の情報を統合サーバに登録した後、セッション開始要求、すなわち、端末からのサービス利用要求をセッション確立処理部で該要求対応のサービスサーバに振り分け、前記要求を振り分けられたサービスサーバが提供するサービスをサービス連携処理部で連携させて統合させるようにしているから、端末とサービスサーバとの間のソフト上の相互依存性がほぼ解除され得るので、複数の既存サービスと新しいサービスとの柔軟な組み合わせを達成し得る、すなわち、複数の既存サービスへの新しいサービスの統合に際して新しいサービスの追加を容易にすることが可能になる。
【００８２】
また、上述したように、統合サーバにおいてマルチモーダルサービスの提供を受けたい端末とその提供に係わるサービスサーバとの間にマルチモーダルサービスセッションを確立し、統合サーバでマルチモーダルサービスのための各サービスを連携し統合させているから、複数のサービスを統合した新しいサービスを提供することができる。
さらに、端末から統合サーバへ送信されるセッション確立要求には、複数のサービスを利用する旨が記述されるから、統合サーバへ複数のサービスを同時に要求することができる。
【００８３】
また、上述したように、統合サーバで個々のサービスの連携を為して統合（協調）されるから、端末で個々のサービスを利用する場合に比して、ユーザに取ってのサービス品質を向上させることができる。
また、ネットワーク内に同じサービスを提供するサーバを複数配置することが容易にできるので、負荷分散が容易となる。
また、サービスサーバの容易な追加により、新しいサービスを容易に導入することが可能である。
【実施例２】
【００８４】
図８は、この発明の実施例２であるマルチモーダルサービス提供システムの構成を示す図である。
この実施例の構成が、実施例１のそれと大きく異なる点は、マルチモーダルサービスのセッション開始要求の中のセッション参加端末の指定をグループＩＤで行い、そのセッション開始要求を受信する統合サーバがグループ管理サーバに対してセッション参加端末をグループＩＤで問い合わせるようにした点である。
すなわち、この実施例のマルチモーダルサービス提供システム１Ａは、図８に示すように、統合サーバ８Ａ及び１０Ａにグループ管理サーバ１８を新たに接続するほか、各端末２Ａ、４Ａ及び６Ａ、各統合サーバ８Ａ及び１０Ａ及びグループ管理サーバ１８は次のように構成する。
【００８５】
各端末２Ａ、４Ａ及び６Ａのいずれかがは、セッション確立要求を発行するとき、そのセッションに参加する端末のグループＩＤ、例えば、３つの端末２Ａ、４Ａ及び６Ａを識別するグループＩＤをそのセッション確立要求に記述して対応する統合サーバ８Ａ、１０Ａに送出する構成とする。
また、各統合サーバ８Ａ及び１０Ａのいずれも、セッション確立時に端末から送られて来るセッション確立要求に記述されているグループＩＤでグループ管理サーバＧＳに問い合わせ、グループＩＤで識別されるグループの端末の各々を認識し、その結果に基づいて各サービスサーバに対してセッション開始要求を発行する構成とする。
【００８６】
そして、グループ管理サーバ１８は、各統合サーバ８Ａ、１０ＡからグループＩＤによる問い合わせに対して、当該グループＩＤで指定されるグループの端末の識別情報を各統合サーバ８Ａ、１０Ａに返送する構成とする。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。
【００８７】
次に、図８を参照して、この実施例の動作について説明する。
上述したところから明らかなように、この実施例と実施例１との差異は、端末、例えば、２Ａから発行されるセッション確立要求の内容が異なる。
すなわち、この実施例では、セッションに参加する端末の各々は、予めグループに纏められており、そのグループＩＤをセッション確立要求の中で記述するようにした点である。
【００８８】
そのセッション確立要求がマルチモーダルサービスを受けたい端末、例えば、２Ａから発行されると、当該セッション確立要求を受け取った統合サーバ８Ａ、１０Ａは、セッション確立要求の中のグループＩＤでグループ管理サーバ１８を問い合わせる。
これに対して、グループ管理サーバ１８は、グループＩＤで判別される端末の識別情報を統合サーバ８Ａ、１０Ａに対して回答する。
【００８９】
マルチモーダルサービスを受けたい端末の識別情報の回答を受けた統合サーバ８Ａ、１０Ａは、実施例１で説明したと同様にして、それぞれのサービスサーバ１２、１４、１６に対してセッション開始要求を発行し、マルチモーダルサービスのセッション確立処理を行う。
このマルチモーダルサービスのセッション確立処理が完了した後に、実施例１で説明したと同様のマルチモーダルサービスセッションの動作が当該セッションに参加している端末と各サービスサーバ１２、１４、１６との間で執り行われる。
【００９０】
このように、この実施例の構成によれば、端末で発行するセッション確立要求の中に記述されるグループＩＤについての端末の識別を統合サーバからグループ管理サーバに対して問い合わせるようにして、実施例１と同効を得ることができる。
【実施例３】
【００９１】
図９は、この発明の実施例３であるマルチモーダルサービス提供システムの構成を示す図である。
この実施例の構成が、実施例１のそれと大きく異なる点は、セッション開始要求のセッション参加端末の指定をグループＩＤで行い、そのセッション開始要求を統合サーバがサービスサーバに発行し、サービスサーバがグループ管理サーバに対してセッション参加端末をグループＩＤで問い合わせるようにした点である。
【００９２】
すなわち、この実施例のマルチモーダルサービス提供システム１Ｂは、図９に示すように、グループ管理サーバ１８Ｂをサービスサーバ１２Ｂ、１４Ｂ及び１６Ｂに接続し、サービスサーバ１２Ｂ、１４Ｂ及び１６ＢからグループＩＤでセッション参加端末の各々についての問い合わせがあったときそれに対する回答を各サービスサーバに返すようにして構成される。
【００９３】
そのために、端末２Ｂ、４Ｂ及び６Ｂは、セッション参加端末を識別するグループＩＤをセッション確立要求の中に記述して発行する。統合サーバ８Ｂ及び１０Ｂは、端末２Ｂ、４Ｂ及び６Ｂからセッション確立要求を受け取り、そのグループＩＤで各サービスサーバ１２Ｂ、１４Ｂ及び１６Ｂに対してセッション開始要求を発行する。セッション開始要求を受け取ったサービスサーバ１２Ｂ、１４Ｂ及び１６Ｂは、そこに記述されているグループＩＤで識別される端末の各々をグループ管理サーバ１８Ｂに問い合わせてセッションに参加する端末の各々を認識する。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。
【００９４】
次に、図９を参照して、この実施例の動作について説明する。
上述したところから明らかなように、この実施例と実施例１との差異は、端末、例えば、２Ａから発行されるセッション確立要求の内容が異なる。
すなわち、この実施例では、セッションに参加する端末の各々は、予めグループに纏められており、そのグループＩＤをセッション確立要求の中で記述するようにしている。
【００９５】
そのセッション確立要求が、マルチモーダルサービスを受けたい端末、例えば、２Ｂから発行されると、そのセッション確立要求の中にグループＩＤが記述されて発行される。
このセッション確立要求を受け取った統合サーバ８Ｂ、１０Ｂは、セッション確立要求の中のグループＩＤでサービスサーバ１２Ｂ、１４Ｂ、１６Ｂに対してセッション開始要求を発行する。
【００９６】
そのサービスサーバ１２Ｂ、１４Ｂ、１６Ｂは、グループＩＤで識別される端末についてグループ管理サーバ１８Ｂへ問い合わせる。
グループ管理サーバ１８Ｂは、問い合わせに対する回答をサービスサーバ１２Ｂ、１４Ｂ、１６Ｂに行う。
サービスサーバ１２Ｂ、１４Ｂ、１６Ｂは、回答対象の端末が接続されている統合サーバ８Ｂ、１０Ｂに対してマルチモーダルサービスセッション開始要求を発行する。
【００９７】
以上の処理手順により、マルチモーダルサービスセッションが確立されてそのセッション、すなわち、セッション参加端末間のコミニケーションセッションが開始される。
このマルチモーダルサービスセッション中の動作は、実施例１と同様なので、その逐一の説明は省略する。
【００９８】
このように、この実施例の構成によれば、端末で発行するセッション確立要求の中に記述されるグループＩＤについての端末の識別をサービスサーバからグループ管理サーバに対して問い合わせるようにしても、実施例１と同効を得ることができる。
【実施例４】
【００９９】
図１０は、この発明の実施例４であるマルチモーダルサービス提供システムの構成を示す図、図１１は、同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート、図１２は、同マルチモーダルサービス提供システムのセッション中のタイムチャートである。
【０１００】
この実施例の構成が、実施例１のそれと大きく異なる点は、マルチモーダルサービスのセッション内容を記録して保存し、セッション内容を参照し得るようにした点である。
すなわち、この実施例のマルチモーダルサービス提供システム１Ｃは、図１０に示すように、セッション保存サーバ１８Ｃを統合サーバ８に接続し、端末２及び４からのセッション内容の問い合わせに対してセッション保存サーバ１８Ｃに保存されているセッション内容を返送するようにして構成される。
この構成以外のこの実施例の構成は、実施例１と同じであるので、同一の構成部分には同一の参照符号を付して、その逐一の説明は省略する。
【０１０１】
次に、図１０乃至図１１を参照して、この実施例の動作について説明する。
先ず、マルチモーダルサービス提供システム１Ｃがコミニケーションサービス（マルチモーダルサービスの１つの例）を提供するのに先立って行われるセッション確立時の動作について、図１１を参照して説明する。
なお、この実施例において、セッション確立に必要なシグナリング、例えば、セッション確立要求に対する確認応答等は、実施例１と同様であり、説明を簡潔にするために、以下の動作説明の中ではその逐一の説明は省略する。
【０１０２】
上述のマルチモーダルサービス提供システム１Ｃが構築されるときに、その統合サーバ８にセッション保存サーバ１８Ｃが接続されるが、その接続の際にサービスサーバ２０の情報（実施例１で説明した情報）が、予め、統合サーバ８に登録される。
【０１０３】
このようにしてマルチモーダルサービス提供システム１Ｃが構築された後、端末１からセッション確立要求が統合サーバ８に対して発行される（図１１の（１））。
この要求の中には、セッション確立開始情報、例えば、端末２、４及び６が、確立されたセッションの中でサービスサーバ１２、１４、１６及び２０が提供するサービスを利用することになるセッションで、そのセッション確立を開始する旨を合図する情報が含められている。
【０１０４】
また、上記要求の中には、統合サーバ８、１０が連携して統合されたマルチモーダルサービスを端末に対して提供するのを可能にするサーバ選択情報も含まれる。サーバ選択情報としては、例えば、サービスサーバ１２、１４、１６及び２０のアドレスであっても、また、それらサーバが提供するサービスのサービス名であってもよい。
例えば、そのサービス名から統合サーバ８が適切なサービスサーバを選択する。
【０１０５】
統合サーバ８は、端末２からのセッション確立要求を受け取り、サービスサーバ１２、１４、１６及び２０を利用した、すなわち、これらサービスサーバについてのサービスを受けたいマルチモーダルサービスセッション（サービスセッション）を開始するに当たって、サービスサーバ１２、１４、１６及び２０の各々に対してサービスセッション開始要求を発行する（図１１の（２−１）、（２−２）、（２−３）、（２−５））。
この図１１に示される参照番号（２−１）、（２−２）、（２−３）及び（２−５）の枝番号がサービスサーバ１２、１４、１６及び２０に対して送られる要求であることを示しており、これらは、統合サーバ８が各サービスサーバに対して発行する要求としては論理的には互いに同位であることを表したものである。
【０１０６】
上述のようにしてセッション保存サーバ１８Ｃに対して発行されるセッション開始要求（２−５）には、セッションへの参加端末が端末２、４及び６であることと、このセッションでセッション保存サーバ１８Ｃが保存すべきサービスの種別は、発言権サーバ１２、音声転送サーバ１４及びホワイトボードアプリケーションサーバ１６が提供するサービスであることが記述されている。
また、サービスサーバ１２、１４及び１６に対して発行されるセッション開始要求には、マルチモーダルサービスセッションに参加する端末は端末２、端末４、端末６及びセッション保存サーバ１８Ｃであることが記述されている。したがって、セッション保存サーバ１８Ｃは、サービスサーバ１２、１４及び１６から見ると１つの端末として見えるようになる。
【０１０７】
サービスサーバ１２、１４及び１６は、統合サーバ８からのセッション開始要求を受け取り、統合サーバ８は、端末２、４及び６が参加するセッションを確立するために、それぞれの各端末に向けたセッション開始要求を発行する。
この要求は、図１１においては、（３−１）、（３−２）及び（３−３）として示してある。セッション開始要求（３−１）、（３−２）及び（３−３）は、各端末が接続されている統合サーバ８、１０に対して送られる。
【０１０８】
統合サーバ８、１０は、自身の配下に接続されている端末に対するセッション開始要求を受け取ると、それぞれの端末とセッション保存サーバ１８Ｃに対してマルチモーダルサービスセッション開始要求を発行する（図１１の（４））。
以上の処理手順を踏むことにより、マルチモーダルサービスセッションが確立する（図１１の（５））。
【０１０９】
上述したようにしてマルチモーダルサービスセッションが確立された後のマルチモーダルサービスセッションを、上述した同様の遠隔会議サービスの具体的な例について、図１２を参照して以下に説明する。
端末２がフロア権としての発言権取得要求を発行したとする（図１２の（６ａ））。その発言権取得要求は、統合サーバ８を介して発言権サーバ１２に到達する。
発言権サーバ１２は、その時点でそのセッション中の発言権取得端末がないとすると、端末２に発言権を与えることとし、発言権が端末２に与えられたことを全セッション参加端末（２、４、６及び２０）に通知するために発言権取得済み通知を発行する（図１２の（６ｂ）、（６ｂ−５））。発言権取得済み通知（図１２の（６ｂ））は、各端末が各別に接続されている統合サーバ８及び１０を介して対応する端末に送られ、また、発言権取得済み通知（図１２の（６ｂ−５））は、統合サーバ８からセッション保存サーバ１８Ｃに送られる。
これにより、この時点でのセッション発言権は、端末２が持っている状態に遷移する。
【０１１０】
このようにして発言権を与えられた端末２は、サービスサーバ１４及び１６が提供する各サービスにアクセスすることが可能になる。
サービスサーバ１４及び１６が提供するサービスは、それぞれ、この実施例の構成（図１０）からして、サービスサーバ１４については音声データの送信（７ａ）であり、サービスサーバ１６についてはホワイトボードアプリケーションで共有する画像の操作命令（８ａ）である。
【０１１１】
端末から発せられた音声データや画像操作命令は、統合サーバ８を介して対応するサービスサーバ１４、１６に転送される。
その後に、音声転送サーバ１４は、音声データ（７ａ）を他のセッション参加端末に転送し（７ｂ）、ホワイトボードアプリケーションサーバ１６は、画像操作命令（８ａ）を他のセッション参加端末に転送する（８ｂ）。
また、統合サーバ８は、セッション保存サーバ１８Ｃに対して記録・保存のために音声データ及び画像操作命令を転送する。その音声データは、図１２中には（７ｂ−５）で示し、画像操作命令は、（８ｂ−５）で示してある。
【０１１２】
上述のようにして確立され、マルチモーダルサービスに係る所要のサービス提供が行われつつ、そのセッション内容がセッション保存サーバ１８Ｃに保存されて行く。
そのマルチモーダルサービスの提供が終了すると、それぞれの端末は、発言権解放要求（１０ａ）を発行すると、上述した発言権取得要求（６ａ）の場合と同様にその発言権開放要求が処理され、セッション中のいずれの端末へも発言権開放通知が統合サーバ８から転送され（１０ｂ）、これらいずれの端末も発言権を持っていない状態に遷移する。
このようにしてマルチモーダルサービスを構成する各サービスについてのフロア権としての発言権の開放が行われると、開設されていたマルチモーダルサービスセッションは終了する。
【０１１３】
このように、この実施例の構成によれば、実施例１と同効が得られるほか、マルチモーダルサービスセッションのセッション内容を記録・保存し、セッション参加者やセッション参加者がセッション内容を開示したいと思う者などセッション内容を参照する権利を有する者によって保存されているセッション内容を参照することができる。
【０１１４】
以上、この発明の実施例を、図面を参照して詳述してきたが、この発明の具体的な構成は、これらの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもそれらはこの発明に含まれる。
例えば、上述の実施例では、発言権サーバと、音声転送サーバと、ホワイトボードアプリケーションサーバとを例示して説明したが、マルチモーダルサービスの提供に用いれるその他のサーバが統合サーバに接続されてマルチモーダルサービス提供システムが構築されてもよい。
【０１１５】
上記実施例ではポリシの設定は、事前設定である場合を説明したが、これに限らず、事後設定でもよい。
また、上述の実施例で説明した各ポリシは、サービス連携の仕方を決定する例示であり、連携されるサービスに応じてそれに適切なポリシが用意されてマルチモーダルサービスの提供を行うようにしてもよい。例えば、発言権サービスに音声転送サービスを従属し、発言権を取得した端末のみが音声データの送信を行うが、ホワイトボードアプリケーションサービスは、発言権サービスに従属せず、独立に画像操作命令をやり取りするようにすることも可能である。
【０１１６】
この実施例で用いれるプロトコルは、主として、ＳＩＰであるとして、この発明の説明をしているが、この発明は、特定のプロトコルを用いてのみ構成し得るものではなく、その他のプロトコル、例えば、ＲＴＣＰ（ＲＴＰ Ｃontrol Ｐrotocol）(ＲＴＰ（Ｒeal-time Ｔransport Ｐrotocol）)を用いてこの発明を構成するようにしてもよい。
【０１１７】
また、上述の実施例では、端末と統合サーバとは、単に通信回線で接続されると説明したが、これら両者間の接続は、端末利用者がマルチモーダルサービス事業者とのサービス契約を結ぶときに設定するようにしてもよいし、端末がモバイル端末であれば、ネットワーク内の最寄の統合サーバに設定されたりすることも可能である。
【０１１８】
また、上述の実施例では、端末と、統合サーバと、サービスサーバとが、いずれの情報の送受においても、同一の通信回線を介する説明であったが、上述のマルチモーダルサービスセッションの確立に係るセッション確立情報及び連携に係る制御情報の送受信以外の情報、例えば、サービス情報の送受には、上記セッション確立情報及び制御情報の送受を行う通信回線以外の通信回線を用いるようにしてもよい。
【産業上の利用可能性】
【０１１９】
ここに開示しているマルチモーダルサービスセッション確立方法及びその装置並びにマルチモーダルサービス提供方法及びその装置は、各種の通信システムで利用し得る。
【図面の簡単な説明】
【０１２０】
【図１】この発明の実施例１であるマルチモーダルサービス提供システムの基本的構成を示す図である。
【図２】同マルチモーダルサービス提供システムの具体的構成を示す図である。
【図３】同マルチモーダルサービス提供システムの統合サーバの構成を示す図である。
【図４】同マルチモーダルサービス提供システムの統合サーバを構成するセッション確立処理部の構成を示す図である。
【図５】同マルチモーダルサービス提供システムの統合サーバを構成するサービス連携処理部の構成を示す図である。
【図６】同マルチモーダルサービス提供システムのセッション確立時のタイミングチャート図である。
【図７】同マルチモーダルサービス提供システムのセッション中のタイミングチャートである。
【図８】この発明の実施例２であるマルチモーダルサービス提供システムの構成を示す図である。
【図９】この発明の実施例３であるマルチモーダルサービス提供システムの構成を示す図である。
【図１０】この発明の実施例４であるマルチモーダルサービス提供システムの構成を示す図である。
【図１１】同マルチモーダルサービス提供システムのセッション確立時のタイミングチャートである。
【図１２】同マルチモーダルサービス提供システムのセッション中のタイムチャートである。
【符号の説明】
【０１２１】
１、１Ａ、１Ｂ、１Ｃ      マルチモーダルサービス提供システム
２、２Ａ、２Ｂ、２Ｃ      端末
８、８Ａ、８Ｂ      統合サーバ
１０、１０Ａ、１０Ｂ      統合サーバ
１２、１２Ｂ      発言権サーバ
１４、１４Ｂ      音声転送サーバ
１６、１６Ｂ      ホワイトボードアプリケーションサーバ
１８、１８Ｂ      グループ管理サーバ
１８Ｃ      セッション保存サーバ
２０      セッション確立処理部（セッション確立手段）
３１      モニター部（モニター手段）
３２      決定部（決定手段）
３３      発行部（発行手段）
３４      保存部（保存手段）
【図１】
2006285619.tif 000003
【図２】
2006285619.tif 000004
【図３】
2006285619.tif 000005
【図４】
2006285619.tif 000006
【図５】
2006285619.tif 000007
【図６】
2006285619.tif 000008
【図７】
2006285619.tif 000009
【図８】
2006285619.tif 000010
【図９】
2006285619.tif 000011
【図１０】
2006285619.tif 000012
【図１１】
2006285619.tif 000013
【図１２】
2006285619.tif 000014