(57)【要約】【課題】  コンテンツの部分とリアルタイムコミュニケーションにおける発言とを関連付け、コンテンツ参照時に表示した部分の関連発言を提示できるようにし、発言再生時に再生した発言の関連コンテンツ部分を提示できるようにする。【解決手段】  リアルタイムコミュニケーション履歴を蓄積し、リアルタイムコミュニケーションにおける有効な発言を抽出して発言データと発言履歴を蓄積し、コンテンツ参照における有効なコンテンツ部分の参照状態を判定してコンテンツ部分参照履歴を蓄積する。これらの履歴をもとに、リアルタイムコミュニケーションで発言すると同時に参照していたコンテンツの部分という関連を導出し、関連発言または関連コンテンツ部分として提示する。【選択図】      図３
2009009172.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイムコミュニケーションを行うリアルタイムコミュニケーション部と、リアルタイムコミュニケーションの履歴を蓄積するコミュニケーション履歴蓄積部と、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出する有効発言抽出部と、前記抽出された発言に関する情報を発言履歴として蓄積する発言履歴蓄積部と、コンテンツを蓄積するコンテンツ蓄積部と、前記蓄積されたコンテンツを表示するコンテンツ参照部と、コンテンツ参照部での表示を監視し、有効な参照部分を判定するコンテンツ有効参照部分判定部と、前記有効と判定された参照部分についてコンテンツ部分参照履歴として蓄積するコンテンツ部分参照履歴蓄積部と、前記発言履歴蓄積部に蓄積された発言履歴と前記コンテンツ部分参照履歴蓄積部に蓄積されたコンテンツ部分参照履歴とを利用して特定のコンテンツ部分に対して関連発言を導出する関連発言導出部とを備えたことを特徴とする参照情報提示システム。
【請求項２】
リアルタイムコミュニケーションを行うリアルタイムコミュニケーション部と、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出する有効発言抽出部と、前記抽出された発言に関する情報を発言履歴として蓄積する発言履歴蓄積部と、コンテンツを蓄積するコンテンツ蓄積部と、前記蓄積されたコンテンツを表示するコンテンツ参照部と、コンテンツ参照部での表示を監視し、有効な参照部分を判定するコンテンツ有効参照部分判定部と、前記有効と判定された参照部分についてコンテンツ部分参照履歴として蓄積するコンテンツ部分参照履歴蓄積部と、前記発言履歴蓄積部に蓄積された発言履歴と前記コンテンツ部分参照履歴蓄積部に蓄積されたコンテンツ部分参照履歴とを利用して特定の発言に対して関連コンテンツ部分を導出する関連コンテンツ部分導出部とを備えたことを特徴とする参照情報提示システム。
【請求項３】
前記有効発言抽出部が抽出した発言を発言データとして蓄積する発言データ蓄積部と、要求により発言データを応答情報として返信し、あるいは複数の発言データを合成した音声データを返信する発言データ取得部と、前記コンテンツ参照部が表示しているコンテンツの部分についての情報を通知し、該通知により、前記関連発言導出部を利用して前記表示しているコンテンツの部分に関連した発言についての情報を取得して表示し、該表示した関連発言が選択されると該関連発言についての情報を通知する関連発言提示部と、前記関連発言提示部からの通知により、該通知された関連発言の発言データあるいは音声データを前記発言データ取得部から取得して再生する発言再生部とを備えたことを特徴とする請求項１に記載の参照情報提示システム。
【請求項４】
前記有効発言抽出部が抽出した発言を発言データとして蓄積する発言データ蓄積部と、要求により発言データを応答情報として返信し、あるいは複数の発言データを合成した音声データを返信する発言データ取得部と、前記発言データ取得部から発言データあるいは音声データを取得して再生する発言再生部と、前記発言再生部が再生している発言データの開始と終了にともなって該発言データの再生開始および終了通知を通知し、該通知により、前記関連コンテンツ部分導出部を利用して前記再生している発言データに関連したコンテンツ部分についての情報を取得して表示し、該表示した関連コンテンツ部分が選択されると該関連コンテンツ部分についての情報を前記コンテンツ参照部に通知する関連コンテンツ部分提示を備え、前記コンテンツ参照部は、前記通知された関連コンテンツ部分についての情報をもとに、コンテンツを前記コンテンツ蓄積部から取得し指定の部分を表示することを特徴とする請求項２に記載の参照情報提示システム。
【請求項５】
発言重要度ポリシーを設定するための発言重要度ポリシー設定部と、前記設定された発言重要度ポリシーにもとづいて前記関連発言提示部での関連発言の表示内容を決定する発言重要度判定部とを備えたことを特徴とする請求項３に記載の参照情報提示システム。
【請求項６】
コンテンツ部分ポリシーを設定するためのコンテンツ部分重要度ポリシー設定部と、前記設定されたコンテンツ部分重要度ポリシーにもとづいて前記関連コンテンツ部分提示部での関連コンテンツ部分の表示内容を決定するコンテンツ部分重要度判定部とを備えたことを特徴とする請求項４に記載の参照情報提示システム。
【請求項７】
リアルタイムコミュニケーションを行いリアルタイムコミュニケーションの履歴を蓄積するリアルタイムコミュニケーション処理と、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出して発言履歴を蓄積する有効発言抽出処理と、蓄積されたコンテンツを表示するコンテンツ参照処理と、コンテンツの表示状態を監視し、有効な参照部分を判定してコンテンツ部分参照履歴を蓄積するコンテンツ有効参照部分判定処理と、前記蓄積された発言履歴とコンテンツ部分参照履歴とを利用して特定のコンテンツ部分に対して関連発言を導出する関連発言導出処理とをコンピュータに実行させることを特長とする参照情報提示用プログラム。
【請求項８】
リアルタイムコミュニケーションを行いリアルタイムコミュニケーションの履歴を蓄積するリアルタイムコミュニケーション処理と、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出して発言履歴を蓄積する有効発言抽出処理と、蓄積されたコンテンツを表示するコンテンツ参照処理と、コンテンツの表示状態を監視し、有効な参照部分を判定してコンテンツ部分参照履歴を蓄積するコンテンツ有効参照部分判定処理と、前記蓄積された発言履歴とコンテンツ部分参照履歴とを利用して特定の発言に対して関連コンテンツ部分を導出する関連コンテンツ部分導出処理とをコンピュータに実行させることを特長とする参照情報提示用プログラム。
【請求項９】
前記リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出するときに該発言の発言データを蓄積する有効発言抽出処理と、要求により発言データを応答情報として返信し、あるいは複数の発言データを合成した音声データを返信する発言データ取得処理と、前記蓄積されたコンテンツを表示するときに表示しているコンテンツの部分についての情報を通知するコンテンツ参照処理と、前記コンテンツ参照処理における通知により、前記関連発言導出処理を利用して表示しているコンテンツの部分に関連した発言についての情報を取得して表示し、該表示した関連発言が選択されると該関連発言についての情報を通知する関連発言提示処理と、前記関連発言提示処理における通知により、該通知された関連発言の発言データあるいは音声データを前記発言データ取得部から取得して再生する発言再生処理とをコンピュータに実行させることを特徴とする請求項７に記載の参照情報提示用プログラム。
【請求項１０】
前記有効発言抽出処理において抽出した発言を発言データとして蓄積する発言データ蓄積処理と、要求により発言データを応答情報として返信し、あるいは複数の発言データを合成した音声データを返信する発言データ取得処理と、前記発言データ取得処理を利用して発言データあるいは音声データを取得して再生する発言再生処理と、前記発言再生処理において再生している発言データの開始と終了にともなって該発言データの再生開始および終了通知を通知する発言再生処理と、前記発言データの再生開始および終了通知により、前記関連コンテンツ部分導出処理を利用して前記再生している発言データに関連したコンテンツ部分についての情報を取得して表示し、該表示した関連コンテンツ部分が選択されると該関連コンテンツ部分についての情報を通知する関連コンテンツ部分提示処理と、前記関連コンテンツ部分提示処理により通知されたコンテンツ部分を表示するコンテンツ参照処理とをコンピュータに実行させることを特徴とする請求項８に記載の参照情報提示用プログラム。
【請求項１１】
発言重要度ポリシーを設定するための発言重要度ポリシー設定処理と、前記設定された発言重要度ポリシーにもとづいて前記関連発言提示処理における関連発言の表示内容を決定する発言重要度判定処理とをコンピュータに実行させることを特長とする請求項９に記載の参照情報提示用プログラム。
【請求項１２】
コンテンツ部分ポリシーを設定するためのコンテンツ部分重要度ポリシー設定処理と、前記設定されたコンテンツ部分重要度ポリシーにもとづいて前記関連コンテンツ部分提示処理における関連コンテンツ部分の表示内容を決定するコンテンツ部分重要度判定処理とをコンピュータに実行させることを特徴とする請求項１０に記載の参照情報提示用プログラム。
【請求項１３】
リアルタイムコミュニケーションを行いリアルタイムコミュニケーションの履歴を蓄積し、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出して発言履歴を蓄積し、予め蓄積されたコンテンツを表示し、コンテンツの表示状態を監視して有効な参照部分を判定してコンテンツ部分参照履歴を蓄積し、前記蓄積された発言履歴とコンテンツ部分参照履歴とを利用して特定のコンテンツ部分に対して関連発言を導出することを特長とする参照情報提示方法。
【請求項１４】
リアルタイムコミュニケーションを行いリアルタイムコミュニケーションの履歴を蓄積し、リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出して発言履歴を蓄積し、予め蓄積されたコンテンツを表示し、コンテンツの表示状態を監視して有効な参照部分を判定してコンテンツ部分参照履歴を蓄積し、前記蓄積された発言履歴とコンテンツ部分参照履歴とを利用して特定の発言に対して関連コンテンツ部分を導出することを特徴とする参照情報提示方法。
【請求項１５】
前記リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出するときに該発言の発言データを蓄積し、前記蓄積されたコンテンツを表示するときに表示しているコンテンツの部分に対して、関連する発言についての情報を表示し、該表示した関連発言が選択されると、該選択された発言の発言データあるいは音声データを取得して再生することを特徴とする請求項１３に記載の参照情報提示方法。
【請求項１６】
前記リアルタイムコミュニケーションにおけるストリームデータから有効な発言を抽出するときに該発言の発言データを蓄積し、該蓄積された発言データあるいは複数の発言データを合成した音声データを再生するときに、再生する発言データの開始と終了にともなって該発言に対して、関連するコンテンツ部分についての情報を表示し、該表示した関連コンテンツ部分が選択されると、該選択されたコンテンツ部分を表示することを特徴とする請求項１４に記載の参照情報提示方法。
【請求項１７】
発言重要度ポリシーを設定し、前記設定された発言重要度ポリシーにもとづいて関連発言の表示内容を決定することを特徴とする請求項１５に記載の参照情報提示方法。
【請求項１８】
コンテンツ部分ポリシーを設定し、前記設定されたコンテンツ部分重要度ポリシーにもとづいて関連コンテンツ部分の表示内容を決定することを特徴とする請求項１６に記載の参照情報提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は参照情報提示システム、参照情報提示用プログラム、および、参照情報提示方法に関し、特に、リアルタイムコミュニケーションにおける発言と、発言中に参照していたコンテンツの内容との関連を導出し、発言を参照したときに関連するコンテンツ内容を提示し、またコンテンツの内容を参照したときに関連する発言を提示する参照情報提示システム、参照情報提示用プログラム、および、参照情報提示方法に関する。
【背景技術】
【０００２】
近年、ＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ）技術の発達にともない、様々な情報や知識を容易に電子データ化してコンテンツとして蓄積できるようになった。しかし、電子データ化できる内容には限度があり、コンテンツの作成者ではない第３者がこのコンテンツを参照した場合に、コンテンツ作成者の考えや知識を１００％伝達できることは少ない。このため、コンテンツの内容に含まれない補足情報や詳細な説明あるいは背景情報などの情報伝達はコミュニケーションを行うことによって補われていることが多く、特定のコンテンツの内容と特定のコミュニケーションの内容とに深い関連性があることがわかる。このような状況では、コンテンツ内容とコミュニケーション内容との関連性を管理して、必要に応じて関連情報として提示できることが望ましい。
【０００３】
コンテンツとコミュニケーションとの関連性を管理して、必要に応じて関連情報として提示する関連技術の一例が、特許文献１に記載されている。図１にこの関連技術におけるブロック図を示す。この関連技術によれば、電子掲示板のコメントのデータやＴｏＤｏデータなどの一連の発言データを会話ストリームとし、電子的会話部１２２において発言内容を記述するためのフォームを利用して発言を登録していくことにより、会話ストリームが蓄積されていく。ここで、電子的会話部１２２を利用してユーザの操作により関連するコンテンツを指定した状態で発言を登録したり、あるいは電子的会話部１２２を利用して他のユーザが登録した発言に対して関連するコンテンツを指定したり、あるいはオブジェクト編集部１２３を利用してコンテンツを登録すると同時に、ユーザの選択によって該コンテンツと関連付けされた状態で電子的会話部１２２に発言内容を記述するためのフォームを開くことにより、発言とオブジェクトとの関連付けを行う。このようにして関連付けを行うことにより、電子的会話管理部１１２あるいはオブジェクト管理部１１１が関連付け部１１３を利用して、オブジェクトに関連付けられた発言に関するリンク情報をライブラリＤＢ１３１に格納する。
【０００４】
また、別の関連技術の一例が、特許文献２に記載されている。図２にこの関連技術におけるブロック図を示す。この関連技術によれば、論文データ格納部２５０に格納されたテキストデータの章や節などの範囲と、講演音声データ格納部２１０に格納された音声データを音声認識によりテキスト化してさらに意味のある説明のまとまりに区切り音声説明データ格納部２４０に格納した音声説明データとの内容の一致性を利用して、テキストデータの範囲と講演音声データ格納部２１０に格納された音声データの特定部分との関連性を音声情報検索部２７０が判断し、ユーザが指定したテキストデータの範囲に関連する音声データの特定部分として聴覚的に該音声データの特定部分を出力することを可能としている。
【０００５】
【特許文献１】特開２００２−２９７８８３
【特許文献２】特開２００３−０６７３８８
【発明の開示】
【発明が解決しようとする課題】
【０００６】
関連技術の第１の問題点は、内容の一致性がないコンテンツとリアルタイムコミュニケーションの音声を記録した音声データでは、コンテンツの範囲と音声データの特定部分との関連付けができないという点である。
【０００７】
内容の一致性がないコンテンツとリアルタイムコミュニケーションの音声を記録した音声データについて、コンテンツの範囲と音声データの特定部分とが密接に関係している場合は多い。
【０００８】
例えば、図を中心とした資料やトピックだけを記載した資料について、その詳細について議論すべくリアルタイムコミュニケーションを行った場合、該資料に含まれる語句とリアルタイムコミュニケーションで発せられた語句とはほとんど共通せず内容の一致性がないが、この資料の特定範囲とリアルタイムコミュニケーションの音声を記録した音声データの特定部分とは密接に関係していると考えられる。
【０００９】
また、何らかのソフトウェアのバグ発生状況に関しての報告を聞きながら一方で該ソフトウェアの仕様書を参考として見ていた場合において、特定のバグの話題になったときに該バグが発生した機能について記載されたページを参照していれば、議論内容と仕様書とに内容の一致性はないが、該話題について該ページが重要な参考情報であったことが推測される。
【００１０】
あるいは、例えば自社製品について何らかの議論を行いながら一方で他社競合製品の資料を参考として見ていた場合において、自社製品のある機能について話題になったときに他社競合製品の資料の類似した機能を説明したページを参照していれば、議論内容と資料とに内容の一致性はないが、該話題について該ページが重要な参考情報であったことが推測される。
【００１１】
以上に例示したように、内容の一致性がないコンテンツとリアルタイムコミュニケーションの音声を記録した音声データにおいても、コンテンツの範囲と音声データの特定部分とが関連している場合は多く、この関連付けができないことは問題となる。
【００１２】
その理由について説明する。特許文献２に示す関連技術では、同じ単語の出現頻度などの内容の一致性をもとにコンテンツの範囲と音声データの特定部分とを関連付けしているため、この関連技術では内容の一致性がないコンテンツと音声データでは、コンテンツの範囲と音声データの特定部分との関連付けができない。また特許文献１に示す関連技術では、オブジェクトをコンテンツの範囲として広義に捉えたとしても、発言するときに関連するオブジェクトを指定するか、あるいはオブジェクトを登録すると同時に関連する発言をすることにより関連付けを行うため、リアルタイムに発言が交わされるリアルタイムコミュニケーションには適用が困難である。これらの理由から、関連技術には第１の問題点が存在することが分かる。
【００１３】
関連技術の第２の問題点は、コンテンツと音声データとを予め対応付ける必要があり、ユーザの負担が大きいという点である。
その理由は、特許文献１に示す関連技術では、ユーザ操作によりコンテンツと発言との関連付けを行う必要があり、また特許文献２に示す技術では、予め対応づけられたテキストデータと音声データについて、その部分的な関連性を導出することが目的であり、つまりテキストデータと音声データとは予めユーザ操作などによって対応付けられていることが必要なためである。
【００１４】
本発明の目的は、内容の一致性がないコンテンツとリアルタイムコミュニケーションの音声を記録した音声データでも、コンテンツの範囲と音声データの特定部分との関連付けを可能とし、必要に応じて参照可能な関連情報として提示できる参照情報提示システムを提供することにある。
【００１５】
本発明の他の目的は、ユーザが予めコンテンツと音声データとを対応付ける操作をしなくても、コンテンツの特定部分と音声データの特定部分とを関連付けることを可能とし、必要に応じて参照可能な関連情報として提示できる参照情報提示システムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明の参照情報提示システムは、リアルタイムコミュニケーションを行うための複数のリアルタイムコミュニケーション部と、複数のリアルタイムコミュニケーション部から接続されてリアルタイムコミュニケーションを実行するための制御を行うリアルタイムコミュニケーション管理部と、リアルタイムコミュニケーションの履歴を蓄積するコミュニケーション履歴蓄積部と、リアルタイムコミュニケーションにおける音声あるいは映像あるいは映像音声ストリームデータから有効な発言を抽出する有効発言抽出部と、前記抽出された発言の発言データを蓄積する発言データ蓄積部と、前記抽出された発言に関する情報を発言履歴として蓄積する発言履歴蓄積部と、コンテンツを蓄積するコンテンツ蓄積部と、コンテンツを表示し、コンテンツのどの部分を表示しているかを関連発言提示部に通知するコンテンツ参照部と、コンテンツ参照部での表示を監視し、有効な参照部分を判定するコンテンツ有効参照部分判定部と、前記有効と判定された参照部分についてコンテンツ部分参照履歴として蓄積するコンテンツ部分参照履歴蓄積部と、コンテンツ参照部から通知された表示部分について関連発言導出部から関連する発言履歴を取得して関連発言として表示し、表示した関連発言のいずれかが選択されるとどの発言が選択されたかを発言再生部に通知する関連発言提示部と、関連発言提示部からの要求によりあるコンテンツの部分に関連した発言履歴を導出して返信する関連発言導出部と、コミュニケーション履歴を表示して、表示したコミュニケーション履歴のいずれかが選択されるとどのコミュニケーション履歴が選択されたかを発言再生部に通知するコミュニケーション履歴表示部と、前記通知された特定の発言あるいは特定のコミュニケーション履歴について発言データあるいは音声データを発言データ取得部から取得して再生し、発言データあるいは音声データに含まれる発言データの再生開始もしくは終了にともなって発言開始通知もしくは発言終了通知を関連コンテンツ部分提示部に送信する発言再生部と、発言再生部からの要求により発言データあるいは複数の発言データを合成した音声データを発言再生部に送信する発言データ取得部と、発言データ再生部での発言データの再生開始もしくは終了にともなって該発言データに関連する関連コンテンツ部分導出部から関連するコンテンツ部分参照履歴を取得して関連コンテンツ部分として表示し、表示した関連コンテンツ部分のいずれかが選択されるとどのコンテンツ部分が選択されたかをコンテンツ参照部に通知して該部分を表示させる関連コンテンツ部分提示部と、関連コンテンツ部分からの要求によりある発言に関連したコンテンツ部分参照履歴を導出して返信する関連コンテンツ部分導出部とを備えることを特徴とする参照情報提示システムである。
【００１７】
このような構成によれば、内容の一致性に係らず、またユーザが予めコンテンツと音声データとを対応付ける操作をすることなく、コンテンツを参照したときに表示しているコンテンツの部分に関連した発言を提示したり、あるいは再生している発言に関連したコンテンツの部分を提示したりすることができる。本発明の参照情報提示システムは、前記リアルタイムコミュニケーション管理部を除いたすべての構成要素を端末に含める構成であってもよい。
【００１８】
このような構成によれば、サーバ管理者の負担を軽減し、またサーバを利用しないＰ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）形態のリアルタイムコミュニケーションにも適用することができる。
【００１９】
本発明の参照情報提示システムは、コンテンツ蓄積部をサーバに含める構成であってもよい。
【００２０】
このような構成によれば、あるリアルタイムコミュニケーションにおける発言があったときに、あるコンテンツの部分を自分が参照していたという事実だけではなく、他のユーザが参照していたという事実にも基づいて、コンテンツの部分と発言との関連付けを行い、発言に関連したコンテンツの部分、あるいはコンテンツの部分に関連した発言を提示することができる。
【００２１】
本発明の参照情報提示システムは、発言重要度ポリシーを設定するための発言重要度ポリシー設定部と、関連発言提示部が関連発言導出部から取得した発言履歴について、前記発言重要度ポリシーに基づき関連発言として表示する発言履歴を決定したりあるいは表示する順番を決定したりする発言重要度判定部と、コンテンツ部分重要度ポリシーを設定するためのコンテンツ部分重要度ポリシー設定部と、関連コンテンツ部分提示部が関連コンテンツ部分導出部から取得したコンテンツ部分参照履歴について、前記コンテンツ部分重要度ポリシーに基づき関連コンテンツ部分として表示するコンテンツ部分参照履歴を決定したりあるいは表示する順番を決定したりするコンテンツ部分重要度判定部とを備える構成であってもよい。
【００２２】
このような構成によれば、ユーザがより重要な発言やコンテンツ部分を容易に認識することが可能となる。
【００２３】
本発明の参照情報提示システムは、前記発言重要度ポリシー設定部と、前記発言重要度判定部と、前記コンテンツ部分重要度ポリシー設定部と、前記コンテンツ部分重要度判定部とを備え、前記リアルタイムコミュニケーション管理部を除いたすべての構成要素を端末に含める構成であってもよい。
【００２４】
このような構成によれば、リアルタイムコミュニケーション管理部を必要としないＰ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）形態のリアルタイムコミュニケーションにおいても、ユーザがより重要な発言やコンテンツ部分を容易に認識することが可能となる。
【発明の効果】
【００２５】
第１の効果は、内容の一致性に係らず、コンテンツを参照したときに表示しているコンテンツの部分に関連した発言を提示したり、あるいは再生している発言に関連したコンテンツの部分を提示したりすることができるということにある。その理由は、リアルタイムコミュニケーションにおいて発言をしたときに参照していたコンテンツのある部分という時間軸に基づいた関係性を利用して、関連した発言や関連したコンテンツ部分を提示するためである。
【００２６】
第２の効果は、ユーザが予めコンテンツと音声データとを対応付ける操作をすることなく、コンテンツを参照したときに表示しているコンテンツの部分に関連した発言を提示したり、あるいは再生している発言に関連したコンテンツの部分を提示したりすることができるということにある。その理由は、リアルタイムコミュニケーションを行うことにより蓄積される履歴と、コンテンツを参照することにより蓄積される履歴とを利用して、関連発言や関連コンテンツ部分を導出するためである。
【発明を実施するための最良の形態】
【００２７】
次に、本発明の実施の形態を図面を参照して説明する。
【００２８】
図３は、本発明の第１の実施の形態の例を示すブロック図である。図３を参照すると、参照情報提示システムは、サーバ３１０とＮＷ（ネットワーク）を介してサーバ３１０に接続される端末３２０とから構成される。ここで、サーバ３１０の構成要素が物理的に複数のサーバに散在して、これら物理的に複数のサーバによってサーバ３１０としての機能を構成しても構わない。
【００２９】
また、図３には１つの端末３２０を代表して図示しているが、２つ以上の複数の端末３２０が存在しサーバ３１０に接続されているものとする。サーバ３１０は、リアルタイムコミュニケーション管理部３１１とコミュニケーション履歴蓄積部３１２と有効発言抽出部３１３と発言データ蓄積部３１４と発言履歴蓄積部３１５と発言データ取得部３１６とコンテンツ部分参照履歴蓄積部３１７と関連発言導出部３１８と関連コンテンツ部分導出部３１９とを備える。リアルタイムコミュニケーション管理部３１１は、複数の端末３２０が備えるリアルタイムコミュニケーション部３２１から接続され、リアルタイムコミュニケーションの開始時にコミュニケーション識別子を採番し、複数のリアルタイムコミュニケーション部３２１から送信されてくる音声ストリームデータを他のリアルタイムコミュニケーション部３２１へ中継し、さらに各音声ストリームデータをコミュニケーション識別子とユーザ識別子と紐付けて有効発言抽出部３１３に転送し、またコミュニケーション識別子と参加したユーザ識別子一覧と該コミュニケーションの開始時刻・終了時刻とを紐付けてコミュニケーション履歴としてコミュニケーション履歴蓄積部３１２に蓄積する。
【００３０】
なお本実施例の説明においては中継するデータを音声ストリームデータとしているが、映像ストリームデータであってもよい、あるいは映像と音声とを含んだ映像・音声ストリームデータであっても良い。リアルタイムコミュニケーション管理部３１１がコミュニケーション履歴蓄積部３１２に蓄積するコミュニケーション履歴の一例を図４に示す。この図４によるとコミュニケーション履歴がコミュニケーション識別子と開始時刻と終了時刻と参加したユーザ識別子一覧とを含むことがわかる。
【００３１】
またコミュニケーション履歴は、リアルタイムコミュニケーション終了時に蓄積するようにすることもできるが、リアルタイムコミュニケーション開始と同時に蓄積することも可能である。リアルタイムコミュニケーション開始と同時に蓄積する場合の手順について説明する。リアルタイムコミュニケーション管理部３１１は、リアルタイムコミュニケーションを開始するとコミュニケーション識別子を採番し、該コミュニケーション識別子と開始時刻と開始時点の参加者のユーザ識別子一覧をコミュニケーション履歴蓄積部３１２に蓄積する。この時点では該コミュニケーション履歴の終了時刻は空である。
【００３２】
次にリアルタイムコミュニケーションの途中で参加者が増えた場合は、このリアルタイムコミュニケーションのコミュニケーション識別子を持つレコードをコミュニケーション履歴蓄積部３１２から検索し、増えた参加者のユーザ識別子を該レコードに追加して蓄積する。参加者が途中で減少した場合は何もしない。リアルタイムコミュニケーションが終了すると、終了したリアルタイムコミュニケーションのコミュニケーション識別子を持つレコードをコミュニケーション履歴蓄積部３１２から検索し、該レコードに終了時刻を追加して蓄積する。
【００３３】
有効発言抽出部３１３は、リアルタイムコミュニケーション管理部３１１から受信したコミュニケーション識別子とユーザ識別子とが紐付いた音声ストリームデータから、有効な発言として発言データを抽出して発言識別子を採番するとともに、該発言識別子と発言データとを紐付けて発言データ蓄積部３１４に蓄積し、また該発言識別子と発言開始時刻と発言終了時刻とコミュニケーション識別子と発言ユーザのユーザ識別子とを紐付けて発言履歴蓄積部３１５に蓄積する。
【００３４】
有効発言抽出部３１３が受信する音声ストリームデータの概念図を図５に示す。これによると、コミュニケーション識別子がcomm001のリアルタイムコミュニケーションにおいて、ユーザ識別子がu1、u2、u3の３人が参加しており、ユーザ毎に音声ストリームデータを受信している。有効な発言として発言データを抽出する方法としては、例えば一定の閾値を超えた音量レベルが一定時間連続した区間を抽出する方法がある。この方法について図５を用いて具体的に説明する。図５を参照すると、一定の閾値を越えた音量レベルである区間として区間ｋ１〜ｋ６がある。これらのうち一定時間連続している区間であるｋ１、ｋ２、ｋ４、ｋ６を有効な発言として抽出する。
【００３５】
また他の方法として、例えばリアルタイムコミュニケーション部３２１に発言ボタンを用意して、この発言ボタンの押下状態をリアルタイムコミュニケーション管理部３１１に送信し、さらに該押下状態を有効発言抽出部３１３に送信し、発言ボタンが押下されている区間の音声ストリームデータを有効な発言データとして抽出する方法などがある。なお、ここに記載した方法に限定せず、コミュニケーション中の音声ストリームデータを複数の区間に区切ることができる方法であれば本実施の形態における有効発言抽出部３１３の有効発言抽出の方法として適用することが可能である。
【００３６】
有効発言抽出部３１３が発言履歴蓄積部３１５に蓄積する発言履歴の一例を図６に示す。図６によると、コミュニケーション識別子と発言識別子と発言開始時刻と発言終了時刻と発言したユーザのユーザ識別子とが紐付いて蓄積されていることがわかる。また、図５に示した例で有効発言として抽出された区間ｋ１、ｋ２、ｋ４、ｋ６が、図６における発言履歴ｈ００１、ｈ００３、ｈ００２、ｈ００３として蓄積されている。
【００３７】
発言データ取得部３１６は、発言再生部３２７からの要求に従い発言データ蓄積部３１４と発言履歴蓄積部３１５とを利用して、発言データと発言識別子を紐付けてあるいは発言データと発言識別子とを紐付けたデータを複数合成した音声データを発言再生部３２７に送信する。
【００３８】
ここで、発言データ取得部３１６の動作についてより詳細に説明する。発言データ取得部３１６に接続する発言再生部３２７は、発言識別子あるいはコミュニケーション識別子と特定の時刻情報とを発言データ取得部３１６に送信する。発言データ取得部３１６は、発言識別子を受信すると、該発言識別子を持った発言データを発言データ蓄積部３１４から取得し、該発言データと発言識別子とを紐付けて発言再生部３２７に送信するか、あるいは発言識別子を受信すると、該発言識別子を持った発言履歴を発言履歴蓄積部３１５から取得し、取得した発言履歴に紐付いたコミュニケーション識別子と発言開始時間とから、次に説明するコミュニケーション識別子と特定の時刻情報とを受信した場合と同様の動作を行う。
【００３９】
発言データ取得部３１６は、コミュニケーション識別子と特定の時刻情報とを受信すると（あるいは前述したように、発言履歴蓄積部３１５からコミュニケーション識別子と発言開始時刻を取得すると）、図７に示すように、コミュニケーション識別子に紐付いたすべての発言を発言履歴蓄積部３１５から検索し、受信した特定の時刻以降に発言された発言データについて、発言データ蓄積部３１４から発言データを取得して、時間軸に沿って複数の発言データについて発言識別子を紐付けながら合成し、発言再生部３２７に送信する。発言の状況によっては発言が重複したり発言のない無音区間も存在したりするが、このように複数の発言データを合成することによって、リアルタイムコミュニケーションにおいて発言を交わして議論をしている様子を再現することができる。
【００４０】
コンテンツ部分参照履歴蓄積部３１７は、コンテンツ有効参照箇所判定部３２４からコンテンツ識別子とコンテンツ内の部分識別子と参照開始時刻と参照終了時刻と参照を行ったユーザのユーザ識別子とを紐付けて蓄積する。コンテンツ部分参照履歴蓄積部３１７に蓄積されるコンテンツ部分参照履歴の一例を図８に示す。
【００４１】
関連発言導出部３１８は、関連発言提示部３２５からコンテンツ識別子と部分識別子とを受信すると、受信したコンテンツ識別子と部分識別子が紐付いたすべてのコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７から取得し、取得したそれぞれのコンテンツ部分参照履歴と時刻が重複し且つ該コンテンツ部分参照履歴に紐付いたユーザ識別子が紐付いているコミュニケーション履歴をコミュニケーション履歴管理部３１２から取得し、さらに前記取得したそれぞれのコンテンツ部分参照履歴について、時刻が重複し且つ該コンテンツ部分参照履歴について前記取得したコミュニケーション履歴に紐付いたコミュニケーション識別子が紐付いている発言履歴を発言履歴蓄積部３１５から取得して関連発言提示部３２５に送信する。
【００４２】
図９〜図１２を参照して具体的に説明する。図１２は、図９〜図１１の各履歴の時刻の対応関係を分かり易くするために各履歴を時間軸に沿って表示している図である。まず図９を参照すると、関連発言導出部３１８はコンテンツ識別子c001、部分識別子p001を受信した場合、すべてのコンテンツ部分参照履歴のうちコンテンツ識別子がc001で部分識別子がp001である「丸で囲んだ１」と「丸で囲んだ２」のコンテンツ部分参照履歴を取得する。次に、図１０および図１２を参照すると、「丸で囲んだ１」のコンテンツ部分参照履歴について時刻が重複し且つ「丸で囲んだ１」に紐付いたユーザ識別子u1が紐付いているcomm001のコミュニケーション履歴を取得し、「丸で囲んだ２」のコンテンツ部分参照履歴について時刻が重複し且つ「丸で囲んだ２」に紐付いたユーザ識別子u1が紐付いているcomm003のコミュニケーション履歴を取得する。
【００４３】
さらに、図１１および図１２を参照すると、「丸で囲んだ１」のコンテンツ部分参照履歴と時刻が重複し且つ「丸で囲んだ１」に対応して前記取得したコミュニケーション履歴に紐付いたコミュニケーション識別子comm001が紐付いた発言履歴h001、h002、h003を取得し、「丸で囲んだ２」のコンテンツ部分参照履歴と時刻が重複し且つ「丸で囲んだ２」に対応して前記取得したコミュニケーション履歴に紐付いたコミュニケーション識別子comm003が紐付いた発言履歴h007、h008を取得する。なおh009のように時刻が重複しない発言履歴は取得しない。
【００４４】
そして、このようにして取得したh001、h002、h003、h007、h008の発言履歴を関連発言提示部３２５に送信する。以上により、あるコンテンツの部分に関して、あるユーザが過去に該部分を参照したときに参加していたリアルタイムコミュニケーションにおける関連した発言履歴の一覧を提示することができる。
【００４５】
ここで、関連発言導出部３１８は、取得した発言履歴のうち、同じコミュニケーション識別子をもち且つ発言終了時刻と発言開始時刻とが近接する一連の発言履歴群の先頭の発言履歴だけを関連発言提示部３２５に送信するようにしてもよい。つまり図９〜図１２の例では、h001、h002、h003が同じコミュニケーション識別子comm001をもち且つ近接しており、またh007、h008が同じコミュニケーション識別子comm003をもち且つ近接しているため、h001とh007だけを関連発言提示部３２５に送信するようにしてもよい。
【００４６】
関連コンテンツ部分導出部３１９は、関連コンテンツ部分提示部３２８から発言識別子とユーザ識別子を受信すると、受信した発言識別子が紐付いた発言履歴を発言履歴蓄積部３１５から取得し、取得した発言履歴と時刻が重複するすべてのコンテンツ部分参照履歴のうち前記ユーザ識別子が紐付いたコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７から取得して、コンテンツ識別子と部分識別子とを紐付けた情報の一覧を関連コンテンツ部分提示部３２８に送信する。
【００４７】
図１３〜図１５を参照して具体的に説明する。図１５は、図１３、図１４の各履歴の時刻の対応関係を分かり易くするために各履歴を時間軸に沿って表示している図である。まず図１３を参照すると、関連コンテンツ部分導出部３１９は発言識別子h003とユーザ識別子u1を受信した場合、該識別子を持った発言履歴h003を取得する。次に、図１４および図１５を参照すると、h003の発言履歴と時刻が重複し、且つユーザ識別子がu1であるようなコンテンツ部分参照履歴「丸で囲んだ１」、「丸で囲んだ２」を取得する。
【００４８】
なお時刻が重複しないコンテンツ部分参照履歴は取得されない。そして、取得した「丸で囲んだ１」、「丸で囲んだ２」をもとにコンテンツ識別子と部分識別子とを紐付けた情報の一覧である{{c001、p001}、{c002、p001}、{003、p002}}のような情報を関連コンテンツ部分提示部３２８に送信する。ここで関連コンテンツ部分導出部３１９は、取得したコンテンツ部分参照履歴のうち、コンテンツ識別子と部分識別子との組み合わせが重複するものがあれば、これらをまとめて１つの情報として送信してもよい。このような場合の一例を図１６（Ａ）に示す。
【００４９】
また関連コンテンツ部分導出部３１９は、取得したコンテンツ部分参照履歴のうち、同じコンテンツ識別子で連続した部分識別子をもつものを、１つにまとめて送信してもよい。このような場合の一例を図１６（Ｂ）に示す。端末３２０は、リアルタイムコミュニケーション部３２１とコンテンツ蓄積部３２２とコンテンツ参照部３２３とコンテンツ有効参照部分判定部３２４と関連発言提示部３２５とコミュニケーション履歴表示部３２６と発言再生部３２７と関連コンテンツ部分提示部３２８とを備える。
【００５０】
リアルタイムコミュニケーション部３２１はリアルタイムコミュニケーション管理部３１１に接続し、音声ストリームデータをリアルタイムコミュニケーション管理部３１１に送信し、また他のユーザが同様にして送信した音声ストリームデータを、リアルタイムコミュニケーション管理部３１１を介して受信することにより、複数のユーザ間でのリアルタイムコミュニケーションを行う。コンテンツ蓄積部３２２は、コンテンツ識別子とコンテンツの名称と複数の部分から構成されるコンテンツの実体とを紐付けて蓄積する。
【００５１】
ここでコンテンツの実体とは例えばバイナリデータである。また部分とは、例えばコンテンツがスライド形式であればスライドとすることができ、コンテンツがテキスト形式であれば行とすることができ、コンテンツが章や節によって構成されていれば章や節とすることができ、コンテンツが複数のページから構成されていればページとすることができるものである。
【００５２】
なお、部分とはここで記載した例だけではなく、コンテンツを複数の区間に区切ることのできる任意の単位として広義に解釈すべきである。コンテンツ参照部３２３は、コンテンツ蓄積部３２２に蓄積されたコンテンツのいずれかを表示することにより、ユーザがコンテンツを参照できるようにする。なおコンテンツ参照部３２３はコンテンツ蓄積部３２２に蓄積されたコンテンツのうちいずれかをユーザが選択できるように構成するのが望ましい。
【００５３】
またコンテンツ参照部３２３は、表示しているコンテンツの部分について、コンテンツ識別子と部分識別子とを関連発言提示部３２５に送信し、現在表示しているコンテンツの部分に関連した発言の情報を関連発言提示部３２５に提示することを指示する。なお、ユーザ操作によりコンテンツ参照部３２３が、表示しているコンテンツの部分についてコンテンツ識別子と部分識別子を関連発言提示部３２５に送信するようにしてもよく、この場合、ユーザが必要に応じてユーザ操作により関連する発言を提示させることが可能になる。より具体的な関連発言提示の動作については後述する。
【００５４】
コンテンツ有効参照部分判定部３２４は、コンテンツ参照部３２３においてユーザがコンテンツのどの部分を参照しているかを判定し、コンテンツ識別子と部分識別子と参照開始時刻と参照終了時刻と参照しているユーザのユーザ識別子とを紐付けてコンテンツ部分参照履歴蓄積部３１７に蓄積する。
【００５５】
ここで、コンテンツ有効参照部分判定部３２４が、ユーザがコンテンツのどの部分を参照しているかを判定する方法とは、例えばコンテンツ参照部３２３の表示領域にある部分が表示されてから表示されなくなるまでを参照している状態として判定する方法や、あるいは物理的にユーザの視線を検知するセンサを利用して、ユーザがコンテンツのある部分を見始めてから他の部分に視線が移るまでを参照している状態として判定する方法などがある。
【００５６】
なお、ユーザがコンテンツのどの部分を参照しているかを判定する方法は、ここで記載した例だけではなく、コンテンツの表示状況やユーザによる操作状況やあるいはセンサを利用した検知情報などにより、ユーザが参照している部分もしくは参照している可能性のある部分を判定するあらゆる方法を適用することができる。また、コンテンツ有効参照部分判定部３２４は、ユーザによる部分の参照時間がある閾値より長い時間参照した場合のみ有効であると判定して、コンテンツ部分参照履歴蓄積部３１７にコンテンツ部分参照履歴を蓄積するようにしてもよい。
【００５７】
関連発言提示部３２５は、コンテンツ参照部３２３からコンテンツ識別子と部分識別子を受信すると、該コンテンツ識別子と部分識別子とを関連発言導出部３１８に送信し、関連発言導出部３１８から応答情報として受信した発言履歴の一覧を、ユーザが選択可能な状態で表示する。ユーザは、関連発言提示部３２５に表示された発言履歴の一覧から任意の発言履歴を選択すると、該発言履歴に紐付いた発言識別子が発言再生部３２７に送信され、発言データの再生が行われる。
【００５８】
より具体的に、関連発言提示の動作について説明する。
【００５９】
[コンテンツがスライド形式の場合の例]コンテンツがスライド形式の場合の関連発言提示の動作の例を説明する。
【００６０】
コンテンツがスライド形式であればスライドを部分とすることが最も単純な方法である。またこの場合、コンテンツ参照部３２３は、ユーザ操作によりスライドを切り替えながら表示し、常時１つのスライドを表示している状態になる。なお、コンテンツ参照部３２３が一度に複数のスライドを表示することができても本実施の形態は適用できるが、説明の簡略化のため、ここでは１度に１つのスライドを表示するものとする。コンテンツ参照部３２３は、上述したようにユーザ操作により表示するスライドを切り替えると、切り替えて表示されたスライドについて、コンテンツ識別子と該スライドに対応した部分識別子とを関連発言提示部３２５に送信する。
【００６１】
関連発言提示部３２５は、コンテンツ識別子と部分識別子とを受信すると、該コンテンツ識別子と部分識別子とを関連発言導出部３１８に送信する。
【００６２】
関連発言導出部３１８は、前述した関連発言を導出する動作に基づいて、関連発言履歴を取得する。これは、ユーザが現在表示しているスライドについて、過去に該スライドを表示したときに該ユーザが参加していたリアルタイムコミュニケーションで誰かが発言した履歴をすべて取得することを意味する。関連発言導出部３１８は、取得したすべての発言履歴を、あるいは前述したように取得した発言履歴のうち時刻が近接した発言履歴に関しては一連の近接した発言履歴の先頭の履歴だけを関連発言提示部３２５に送信する。
【００６３】
関連発言提示部３２５は、受信した発言履歴をユーザが選択可能な状態で表示する。図１７にコンテンツがスライド形式の場合のコンテンツ参照部３２３と関連発言提示部３２５の表示の一例を示す。関連発言導出部３１８が取得したすべての発言履歴を送信した場合、過去にこのスライドを表示しながらリアルタイムコミュニケーションをしていれば、送信される発言履歴の数は多くなることが推測される。このため、図１７（Ａ）では発言履歴を一覧形式で表示せずに、時間軸に沿ったグラフ形式で表示している。
【００６４】
また、図１７（Ａ）では発言履歴に紐付いたコミュニケーション識別子が同じ発言履歴をまとめ、ユーザごとに時間軸に沿って発言履歴をマッピングしている。図１７（Ａ）によると、表示しているスライドを過去に参照したときに２回のリアルタイムコミュニケーションがあり、１回目は山田太郎と佐藤花子によるコミュニケーション、２回目は山田太郎と鈴木次郎と高橋三郎によるコミュニケーションであったことがわかる。
【００６５】
なお、発言履歴に紐付いたユーザ識別子は、ユーザ管理部（図示せず）を利用してユーザの名前に変換できてもよく、このようにしてユーザの名前を表示している。また、ユーザがいずれかの発言履歴をマウス操作などによって選択すると、該発言履歴に紐付いた発言識別子が発言再生部３２７に送信され、該発言識別子に紐付いた発言データあるいは該発言識別子に紐付いた発言データを先頭として合成された音声データが再生される。
【００６６】
また、関連発言導出部３１８が取得した発言履歴のうち時刻が近接した発言履歴に関しては一連の近接した発言履歴の先頭の履歴だけを送信した場合、図１７（Ｂ）のように発言を開始した時刻だけを表示するようにしている。ここでユーザがいずれかの発言履歴をマウス操作などによって選択すると、該発言履歴に紐付いた発言識別子が発言再生部３２７に送信され、該発言識別子に紐付いた発言データを先頭として合成された音声データが再生される。
【００６７】
以上のように、コンテンツ参照部３２３で表示されるスライドを切り替える動作と連動して、関連発言提示部３２５に表示される関連発言履歴の一覧も切り替わるように動作することができ、表示しているスライドに関連した発言履歴の一覧を提示することができる。
【００６８】
[コンテンツがテキスト形式の場合の例]コンテンツがテキスト形式の場合の関連発言提示の動作の例を説明する。コンテンツがテキスト形式であれば行を部分とすることができるが、このとき、関連発言提示の動作はコンテンツがスライド形式のときの動作に比べて複雑なものになる。これは、スライドを部分とした場合は１つの部分に対して関連発言を提示すればよかったが、行を部分とした場合は複数の部分に対して関連発言を提示しなければならないためである。
【００６９】
コンテンツ参照部３２３は、表示領域にある行が現れて表示されると、表示された行についてコンテンツ識別子と部分識別子を関連発言提示部３２５に送信する。なお、同時に表示している行は通常は複数存在し、各行は表示されたタイミングで関連発言提示部３２５に情報を送信するため、関連発言提示部３２５は頻繁に該情報を受信することになる。
【００７０】
関連発言提示部３２５はコンテンツ識別子と部分識別子とを受信すると、該コンテンツ識別子と部分識別子を関連発言導出部３１８に送信する。関連発言導出部３１８は、該コンテンツ識別子と部分識別子とが紐付いたコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７からすべて取得する。関連発言導出部３１８は、コンテンツ部分参照履歴を取得すると、取得したいずれかのコンテンツ部分参照履歴と時刻が重複する発言履歴を発言履歴蓄積部３１５からすべて取得する。
【００７１】
図１８に、コンテンツがテキスト形式で行を部分とした場合に蓄積されるコンテンツ部分参照履歴と発言履歴の一例について時間軸に沿ってマッピングしている。なお、図示はしていないが、図１８における一連の発言履歴は、図１８におけるコンテンツ部分参照を行ったユーザが、該コンテンツ部分参照を行ったときに参加していたリアルタイムコミュニケーションにおける発言履歴である。図１８のような履歴があった場合に、コンテンツ参照部３２３が、最初に同じコンテンツの１行目から２行目までを同時に表示し、次にユーザのスクロール操作などにより２行目から３行目を表示したとする。このとき、まず最初の１行目から２行目の表示により、関連発言提示部３２５が受信する発言履歴は、次のようになる。
・１行目に関連した発言履歴：h001、h002
・２行目に関連した発言履歴：h002、h003、h004
これは、１〜２行目をコンテンツ参照部３２３で表示すると、h002を重複して受信してしまうことを示している。つまり、受信した発言履歴を単純に表示しようとすると同じ発言履歴が複数表示されてしまう。このため、本実施の形態における関連発言提示部３２５は、重複して受信した発言履歴をまとめて１つとして表示してもよい。
【００７２】
つまり、図１８の例においては１〜２行目を表示したときにh001、h002、h003、h004の４つの発言履歴が関連発言提示部３２５に提示される。次にユーザ操作などによって２〜３行目を表示したとすると、新たに３行目が表示されるため、関連発言提示部３２５は次のような発言履歴を受信することになる。
・３行目に関連した発言履歴：h003、h004
また、このとき1行目はコンテンツ参照部３２３に表示されなくなるため、１行目だけに関連した発言履歴を関連発言提示部３２５で非表示にすることが望ましい。このため、本実施の形態におけるコンテンツ参照部３２３は、表示されなくなった部分について、該部分の部分識別子と非表示通知とを紐付けて関連発言提示部３２５に送信するようにしてもよい。関連発言提示部３２５は、以上のようにして、コンテンツ参照部３２３から１行目の部分識別子が紐付いた非表示通知と、３行目の関連発言履歴を表示するために３行目の部分識別子を受信するため、関連発言履歴として表示する発言履歴は次のような情報になる。
・２行目に関連した発言履歴：h002、h003、h004
・３行目に関連した発言履歴：h003、h004
つまり、重複した発言履歴をまとめると、関連発言提示部３２５に表示されるのはh002、h003、h004の３つの発言履歴になる。コンテンツがテキスト形式で行を部分とした場合、関連発言導出部３１８は、同じコミュニケーション識別子をもち且つ発言終了時刻と発言開始時刻とが近接する一連の発言履歴群の先頭の発言履歴だけを関連発言提示部３２５に送信せず、取得したすべての発言履歴を送信することが望ましい。これは、例えば図１８の例において時刻が近接する一連の発言履歴群の先頭の発言履歴だけを送信すると、コンテンツ参照部３２３が１〜２行目を表示したときに、連続した一連の発言履歴であるにもかかわらずh001、h002が送信され、関連発言提示部３２５が別々にh001とh002を表示してしまい、別の議論（一連の発言）であるかのように見えてしまうためである。
【００７３】
以上のようにして、コンテンツがテキスト形式の場合に、コンテンツ参照部３２３に表示しているコンテンツの部分に連動して関連発言提示部３２５に関連発言履歴が表示される。
【００７４】
図１９に、コンテンツがテキスト形式の場合のコンテンツ参照部３２３の表示の一例を示す。図１９は、関連発言履歴を時間軸に沿ってグラフ形式で提示している例であり、ユーザ操作によって図１９左側のコンテンツ参照部３２３で表示する部分が変化するに従い、該変化に連動して図１９右側の関連発言提示部３２５に表示される発言履歴が変化する。なお、コンテンツ参照部３２３に表示されるコンテンツの部分が変化するたびに、関連発言提示部３２５や関連発言導出３１８が連動して動作を行うと、端末３２０やサーバ３１０での処理負荷が高くなってしまう場合がある。このため、前述したように本実施の形態では、ユーザ操作によりコンテンツ参照部３２３が、表示しているコンテンツの部分についてコンテンツ識別子と部分識別子を関連発言提示部３２５に送信するようにしてもよい。つまり、ユーザが必要に応じてユーザ操作により関連する発言を提示させるため、端末３２０やサーバ３１０での処理負荷を低減するように構成することが可能になる。また、本実施の形態では、予め定めた時間間隔で、コンテンツ参照部３２３が表示しているコンテンツの部分についてコンテンツ識別子と部分識別子を関連発言提示部３２５に送信するようにしてもよい。つまり、予め定められた時間間隔で関連する発言を提示するための処理を行うため、端末３２０やサーバ３１０での処理負荷を低減するように構成することが可能になる。
【００７５】
コンテンツがスライド形式でスライドを部分とする例と、コンテンツがテキスト形式で行を部分とする例について説明したが、本実施の形態は、コンテンツや部分の形態を限定するものではなく、任意の部分に区切ることのできるコンテンツと、コンテンツを任意に区切った部分について実施できる。
【００７６】
コミュニケーション履歴表示部３２６は、コミュニケーション履歴蓄積部３１２から、コミュニケーション履歴表示部３２６を利用しているユーザのユーザ識別子が紐付いたコミュニケーション履歴を取得しユーザが選択可能な状態で表示する。また、ユーザが該表示されたコミュニケーション履歴を選択すると、コミュニケーション履歴に紐付いたコミュニケーション識別子とコミュニケーション開始時刻とを発言再生部３２７に送信する。
【００７７】
例えば図４の例においては、ユーザ識別子がu1のユーザがコミュニケーション履歴表示部３２６を利用していた場合、comm001、comm002のコミュニケーション履歴を取得する。なお、コミュニケーション履歴表示部３２６にコミュニケーション履歴を表示する際、各コミュニケーション履歴に紐付いたコミュニケーション開始時刻からコミュニケーション終了時刻の間の任意の時刻を選択できる状態で表示してもよく、この場合、ユーザが任意の時刻を選択すると、コミュニケーション識別子と該選択された時刻が発言再生部３２７に送信される。
【００７８】
また、図２０は、コミュニケーション履歴の表示の一例である。図２０の例では、山田太郎がコミュニケーション履歴表示部３２６を利用してコミュニケーション履歴を表示している。
【００７９】
発言再生部３２７は、関連発言提示部３２５から発言識別子を、あるいはコミュニケーション履歴表示部３２６からコミュニケーション識別子と時刻情報を受信すると、該受信した発言識別子あるいはコミュニケーション識別子と時刻情報を発言データ取得部３１６に送信し、発言データ取得部３１６から応答情報として受信する発言データと発言識別子あるいは複数の発言データを、発言識別子を紐付けて合成した音声データを受信し、これを再生する。
【００８０】
また発言再生部３２７は、前記発言データを再生する場合、該発言データの再生の開始にあわせて該発言データに紐付いた発言識別子と再生開始通知を関連コンテンツ部分提示部３２８に送信し、発言データの再生の終了にあわせて該発言データに紐付いた発言識別子と再生終了通知を関連コンテンツ部分提示部３２８に送信する。
【００８１】
さらに発言再生部３２７は、前記合成された音声データを再生する場合、該音声データに含まれる任意の発言データの再生開始にあわせて発言データに紐付けられた発言識別子と再生開始通知を関連コンテンツ部分提示部３２８に送信し、該任意の発言データの再生終了にあわせて発言データに紐付けられた発言識別子と再生終了通知を関連コンテンツ部分提示部３２８に送信する。
【００８２】
関連コンテンツ部分提示部３２８は、発言再生部３２７から発言識別子と発言開始通知とを受信すると、関連コンテンツ部分提示部３２８を利用しているユーザのユーザ識別子と該受信した発言識別子とを関連コンテンツ部分導出部３１９に送信し、関連コンテンツ部分導出部３１９から応答情報として受信したコンテンツ部分参照履歴を表示し、発言再生部３２７から発言識別子と発言終了通知とを受信すると、前記表示したコンテンツ部分履歴を非表示にする。
【００８３】
ここで、発言再生部３２７が合成された音声データを再生する場合、音声データに含まれる発言データは特定時刻において複数存在する場合があり、このような場合の関連コンテンツ部分提示部３２８の動作について、図１８の例を用いて説明する。
【００８４】
発言再生部３２７が、図１８の例におけるh001、h002、h003、h004を合成した音声データを再生する場合、関連コンテンツ部分提示部３２８は、最初にh001についての再生開始通知を受信し、h001とユーザ識別子とを関連コンテンツ部分導出部３１９に送信すると、応答情報として図１８に示すコンテンツの１行目についてのコンテンツ部分参照履歴を受信し、このコンテンツの１行目を関連したコンテンツ部分として表示を行う。次に、関連コンテンツ部分提示部３２８はh002についての再生開始通知を受信し、同様にして１行目と２行目についてのコンテンツ部分参照履歴を取得する。このとき１行目については、h001に関して取得した関連コンテンツ部分参照履歴と重複するので、まとめて表示し、つまり１行目と２行目を関連コンテンツ部分として表示する状態となる。
【００８５】
さらに、関連コンテンツ部分提示部３２８はh001についての再生終了通知を受信する。このとき、h001に関して取得したコンテンツ部分参照履歴については非表示にしてh002に関して取得したコンテンツ部分参照履歴についてのみ表示するように動作するが、１行目についてはh001、h002の双方にとって関連するコンテンツ部分であるため、結果として１行目と２行目を関連するコンテンツ部分として表示する状態となり、つまりh001についての再生終了通知を受信する前と後で表示する情報は変化しないことになる。以下同様にh003、h004についても、発言再生部３２７の再生状態によって、
関連コンテンツ部分提示部３２８が適切な関連コンテンツ部分を提示するように動作する。図２１に発言再生部３２７と連動して関連コンテンツ部分提示部３２８が関連コンテンツ部分を提示する表示の一例を示す。なお、図２１の例では発言再生部３２７をグラフィカルユーザインターフェースとして表示しているが、本実施の形態ではこれを表示せずに音声の再生だけを行ってもよい。
【００８６】
図２１の例では、コンテンツの名称と部分の名称を表示しているが、このようにコンテンツの名称と部分の名称を表示するために、例えば、コンテンツ部分参照履歴蓄積部３１７にコンテンツの名称と部分の名称を紐付けて、コンテンツ部分参照履歴を蓄積してもよく、あるいはコンテンツ蓄積部３２２にコンテンツ識別子とコンテンツ名称を紐付けて、部分識別子と部分名称とを紐付けて蓄積し、関連コンテンツ部分提示部３２８がコンテンツ識別子と部分識別子をもとにコンテンツ蓄積部３２２からコンテンツの名称と部分の名称を検索してもよく、あるいはコンテンツの名称をコンテンツ識別子として部分の名称を部分識別子としてもよい。
【００８７】
図２１の例では、関連コンテンツ部分提示部３２８に表示された２つめの情報が53行目から72行目までの複数の部分を含んでいるが、このように連続した一連のコンテンツ部分に関してまとめて表示してもよい。本実施の形態では、サーバ３１０もしくは端末３２０に、ユーザ識別子とユーザの名前を紐付けて蓄積するユーザ情報蓄積部（図示せず）を含み、本実施の形態における任意の構成要素からユーザ識別子をもとにユーザ情報を検索してユーザの名前を取得できるように構成してもよい。
【００８８】
本実施の形態では、端末３２０を構成する任意の構成要素を利用するユーザを識別するために、該ユーザのユーザ識別子を蓄積する利用ユーザ識別子蓄積部（図示せず）を端末３２０に含み、任意の構成要素が該利用ユーザ識別子蓄積部からユーザ識別子を取得できるように構成してもよい。本実施の形態では、端末３２０を構成する任意の構成要素を利用するユーザを識別するために、該任意の構成要素を利用するときにユーザ識別子を入力するログイン部（図示せず）を端末３２０に含み、任意の構成要素が該ログイン部から利用しているユーザのユーザ識別子を取得できるように構成してもよい。
【００８９】
次に、図２２〜図２７のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。図２２はリアルタイムコミュニケーションを行う際のフローチャートである。図２２を参照すると、まずユーザは端末３２０のリアルタイムコミュニケーション部３２１を利用して他のユーザとリアルタイムコミュニケーションを開始する（ステップＳ４０１）。
【００９０】
リアルタイムコミュニケーションが開始されると、リアルタイムコミュニケーション管理部３１１はユーザ毎の音声ストリームデータを有効発言抽出部３１３に送信し、有効発言抽出部３１３は、リアルタイムコミュニケーション実行中は該音声ストリームデータの監視を続け（ステップＳ４０２のＮＯ）、有効発言抽出部３１３は有効な発言があれば（ステップＳ４０３）、音声ストリームデータから該発言箇所を抽出して発言データとして発言データ蓄積部３１４に蓄積し（ステップＳ４０４）、さらに発言履歴蓄積部３１５に該発言に関する情報を蓄積し（ステップＳ４０５）、音声ストリームデータの監視を継続する。
【００９１】
また、リアルタイムコミュニケーションが終了すると（ステップＳ４０２のＹＥＳ）、リアルタイムコミュニケーション管理部３１１は、コミュニケーション履歴をコミュニケーション履歴蓄積部３１２に蓄積する（ステップＳ４０６）。図２３は、コンテンツ参照時にコンテンツ部分参照履歴を蓄積する際のフローチャートである。図２３を参照すると、まずユーザはコンテンツ参照部３２３を利用してコンテンツ蓄積部３２２に蓄積されたコンテンツの参照を開始する（ステップＳ５０１）。
【００９２】
コンテンツの参照が開始されると、コンテンツ有効参照部分判定部３２４は、コンテンツ参照中は常時コンテンツの参照状況の監視を続け（ステップＳ５０２のＮＯ）、コンテンツ有効参照部分判定部３２４は有効な参照部分があれば（ステップＳ５０３）、有効な参照部分についてコンテンツ部分参照履歴としてコンテンツ部分参照履歴蓄積部３１７に蓄積する（ステップＳ５０４）。また、コンテンツ参照が終了すると（ステップＳ５０２のＹＥＳ）、監視動作を終了する。
【００９３】
図２４は、コンテンツ参照時に関連発言を提示する際のフローチャートである。図２４を参照すると、まずユーザはコンテンツ参照部３２３を利用してコンテンツ蓄積部３２２に蓄積されたコンテンツの参照を開始する（ステップＳ６０１）。この動作はステップＳ５０１と等価である。コンテンツの参照が開始されると、コンテンツ参照部３２３は、コンテンツの参照中は常時、表示しているコンテンツの部分を監視し（ステップＳ６０２のＮＯ）、コンテンツ参照部３２３は表示しているコンテンツの部分が変化すると（ステップＳ６０３）、新たに表示された部分があれば(ステップＳ６０４)、該部分についてコンテンツ識別子と部分識別子とを関連発言提示部３２５に送信する。次に、関連発言提示部３２５は受信したコンテンツ識別子と部分識別子とを関連発言導出部３１８に送信して関連発言の取得を要求する（ステップＳ６０５）。
【００９４】
関連発言導出部３１８は関連発言の取得の要求を受信するとコンテンツ部分参照履歴蓄積部３１７に蓄積されたコンテンツ部分参照履歴とコミュニケーション履歴蓄積部３１２に蓄積されたコミュニケーション履歴と発言履歴蓄積部３１５に蓄積された発言履歴から、前述したように関連発言を導出し（ステップＳ６０６）、関連発言提示部３２５に送信する。関連発言提示部３２５は関連発言を受信すると（ステップＳ６０７）、前述したように、新たに表示された部分と表示されなくなった部分、それぞれの関連発言の重複などを考慮して関連発言の表示を更新する（ステップＳ６０８）。
【００９５】
ここで、ステップＳ６０６における関連発言導出部３１８が関連発言を導出する動作について、図２５を参照してより詳細に説明する。関連発言導出部３１８は、関連発言提示部３２５からコンテンツ識別子と部分識別子とを受信すると（ステップＳ６０６ａ）、受信したコンテンツ識別子と部分識別子が紐付いたすべてのコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７から取得し（ステップＳ６０６ｂ）、取得したすべてのコンテンツ部分参照履歴について以下の動作をする（ステップＳ６０６ｃ）。特定のコンテンツ部分参照履歴（Ｘｉ）と時刻が重複し且つ該コンテンツ部分参照履歴に紐付いたユーザ識別子が紐付いているコミュニケーション履歴（Ｙ）をコミュニケーション履歴管理部３１２から取得し（ステップＳ６０６ｄ）、さらに前記コンテンツ部分参照履歴（Ｘｉ）と時刻が重複し且つ前記コミュニケーション履歴（Ｙ）のコミュニケーション識別子が紐付いているすべての発言履歴（Ｚｉ、１〜Ｚｉ、ｊ）を発言履歴蓄積部３１５から取得する（ステップＳ６０６ｅ）。
【００９６】
このようにしてステップＳ６０６ｃ、ステップＳ６０６ｆの繰り返しを行うと、最終的に発言履歴（Ｚ１、１〜Ｚｍ、ｎ）を取得することができ、これら発言履歴を関連発言提示部３２５に送信する（Ｓ６０６ｇ）。
【００９７】
図２６は、発言データを再生して関連コンテンツ部分を提示する際のフローチャートである。図２６を参照すると、ユーザは関連発言提示部３２５に表示された発言のいずれかを選択すると（ステップＳ７０１）、発言識別子が発言再生部３２７に送信され、あるいはコミュニケーション履歴表示部３２６に表示されたいずれかのコミュニケーション履歴を選択すると（ステップＳ７０２）、コミュニケーション識別子と時刻情報が発言再生部３２７に送信される。発言再生部３２７は、発言識別子あるいはコミュニケーション識別子と時刻情報を受信すると、該受信した発言識別子あるいはコミュニケーション識別子と時刻情報を発言データ取得部３１６に送信する（ステップ７０３）。
【００９８】
発言データ再生部３１６は、発言データ取得の要求を受信すると、前述した方法によって発言再生部３２７に対して発言データを送信するか、あるいは複数の発言データを合成した（ステップＳ７０４）音声データを送信し、発言データ再生部３１６で再生が開始される（ステップＳ７０５）。
【００９９】
発言再生部３１６は、発言データあるいは複数の発言データを合成した音声データの再生を行っている間（ステップＳ７０６のＮＯ）、新たな発言データの再生が開始されると（ステップＳ７０７）、該発言データに紐付いた発言識別子を再生開始通知に紐付けて関連コンテンツ部分提示部３２８に送信し（ステップＳ７０９）する。
【０１００】
関連コンテンツ部分提示部３２８は、再生開始通知を受信すると発言識別子と、関連コンテンツ部分提示部３２８を利用しているユーザのユーザ識別子とを関連コンテンツ部分導出部３１９に送信する（ステップＳ７１０）。
【０１０１】
関連コンテンツ部分導出部３１９は、関連コンテンツ部分取得要求を受信すると、コンテンツ部分参照履歴蓄積部３１７に蓄積されたコンテンツ部分参照履歴と発言履歴蓄積部３１５に蓄積された発言履歴とから、関連コンテンツ部分を導出し（ステップＳ７１１）、関連コンテンツ部分提示部３２８に送信する。
【０１０２】
関連コンテンツ部分提示部３２８は、関連コンテンツ部分に関する情報を受信すると（ステップＳ７１２）、関連コンテンツ部分の表示を更新する（ステップＳ７１３）。また、ステップＳ７０７における新たな発言データの再生の開始ではなく、再生していた発言データについて再生を終了したときにも、関連コンテンツ部分の表示を更新する（ステップＳ７１３）。
【０１０３】
ここで、ステップＳ７１１における関連コンテンツ部分導出部３１９が関連コンテンツ部分を導出する動作について、図２７を参照してより詳細に説明する。関連コンテンツ部分導出部３１９は、発言識別子とユーザ識別子とを受信すると（ステップＳ７１１ａ）、該発言識別子が紐付いた発言履歴を発言履歴蓄積部３１５から取得する（ステップＳ７１１ｂ）。
【０１０４】
また関連コンテンツ部分導出部３１９は、前記受信したユーザ識別子と前記取得した発言履歴とから、該発言履歴と時刻が重複し且つ該ユーザ識別子が紐付いたコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７からすべて取得する（ステップＳ７１１ｃ）。さらに、関連コンテンツ部分導出部３１９は、取得したすべてのコンテンツ部分参照履歴を、関連コンテンツ部分提示部３２８に送信する（ステップＳ７１１ｄ）。
【０１０５】
なお、ステップ７１３によって表示された、いずれかの関連コンテンツ部分をユーザ操作により選択すると、コンテンツ識別子と部分識別子とがコンテンツ参照部３２３に送信され、コンテンツ参照部３２３は指定されたコンテンツ識別子を持つコンテンツをコンテンツ蓄積部３２２から取得し、指定された部分識別子をもつ部分を表示して参照可能な状態にする。
【０１０６】
次に、本実施の形態の効果について説明する。本実施の形態では、内容の一致性がないコンテンツとリアルタイムコミュニケーションにおける発言データでも、コンテンツの部分と発言データとの関連付けを可能とし、表示しているコンテンツの部分に関連した発言データを再生したり、あるいは再生している発言データに関連したコンテンツの部分を参照したりすることが可能となる。また、コンテンツの部分と発言データとの関連付けのために、ユーザが予めコンテンツとコミュニケーションとを関連付けする操作をしなくてよく、ユーザの負担を低減することができる。
【０１０７】
次に、本発明を実施するための第２の実施の形態について図面を参照して詳細に説明する。図２８は、本発明の第２の実施の形態の構成を示すブロック図である。
【０１０８】
図２８を参照すると、図３に示された第１の実施の形態におけるサーバ３１０はなく、サーバ３１０の構成要素であったリアルタイムコミュニケーション管理部３１１がなく、コミュニケーション履歴蓄積部３１２と有効発言抽出部３１３と発言データ蓄積部３１４と発言履歴蓄積部３１５と発言データ取得部３１６とコンテンツ部分参照履歴蓄積部３１７と関連発言導出部３１８と関連コンテンツ部分導出部３１９が端末３２０に含まれ、またリアルタイムコミュニケーション部３２１がコミュニケーション履歴蓄積部３１２と有効発言抽出部３１３とＮＷ（ネットワーク）３３０に接続するように構成されている。
【０１０９】
ＮＷ３３０には、複数の端末３２０が接続され、ＮＷ３３０を介して複数の端末３２０のリアルタイムコミュニケーション部３２１がリアルタイムコミュニケーションを行う。リアルタイムコミュニケーション部３２１は、ＮＷ３３０に接続された他のリアルタイムコミュニケーション部３２１とサーバ（図示せず）を介してあるいは直接接続し、リアルタイムコミュニケーションを行う。また、リアルタイムコミュニケーション部３２１は、リアルタイムコミュニケーションの実行に伴い、コミュニケーション履歴をコミュニケーション履歴蓄積部３１２に蓄積する。
【０１１０】
さらに、リアルタイムコミュニケーション部３２１は、リアルタイムコミュニケーションの開始から終了までの間、ＮＷ３３０から受信される他の参加者ごとの音声ストリームデータと該リアルタイムコミュニケーション部３２１を利用しているユーザの音声ストリームデータとを有効発言抽出部３１３に送信する。その他の構成要素は、第１の実施の形態と同様である。
【０１１１】
次に、図２２〜図２７のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。本実施の形態では、第１の実施の形態と全く同じフローチャートにしたがって全体の動作を行うが、特定のステップを実行する構成要素が異なる。
【０１１２】
図２２を参照すると、ステップＳ４０１においてリアルタイムコミュニケーションが開始されると、リアルタイムコミュニケーション部３２１はＮＷ３３０から受信した他の参加ユーザ毎の音声ストリームデータと該リアルタイムコミュニケーション部３２１を利用しているユーザの音声ストリームデータとを有効発言抽出部３１３に送信し、有効発言抽出部３１３は、リアルタイムコミュニケーション実行中は該音声ストリームデータの監視を続ける（ステップＳ４０２のＮＯ）。
有効発言抽出部３１３が有効な発言があった場合に発言データと発言履歴を蓄積する動作ステップ４０３〜ステップ４０５は第１の実施の形態と同様であるため、説明を省略する。
【０１１３】
また、リアルタイムコミュニケーションが終了すると（ステップＳ４０２のＹＥＳ）、リアルタイムコミュニケーション部３２１は、コミュニケーション履歴をコミュニケーション履歴蓄積部３１２に蓄積する（ステップＳ４０６）。図２３〜図２７に示したその他の動作については、第１の実施の形態と同様であるため説明を省略する。次に、本実施の形態の効果について説明する。
【０１１４】
本実施の形態では、本発明に係るすべての構成要素を端末３２０の構成要素とし、リアルタイムコミュニケーション部３２１がコミュニケーション履歴を蓄積し、ユーザ毎の音声ストリームデータを有効発言抽出部３１３に送信することによって、リアルタイムコミュニケーション管理部を必要としないＰ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）形態のリアルタイムコミュニケーションにも適用することが可能となる。また、少なくともリアルタイムコミュニケーション管理部以外の構成要素を含んだサーバが不要となり、サーバ管理者の手間を削減できる。
【０１１５】
次に、本発明を実施するための第３の実施の形態について図面を参照して詳細に説明する。図２９は、本発明の第３の実施の形態の構成を示すブロック図である。図２９を参照すると、図３に示された第１の実施の形態において端末３２０に含まれていたコンテンツ蓄積部３２２がサーバ３１０に含まれるように構成されている。
【０１１６】
このようにコンテンツ蓄積部３２２をサーバ３１０の構成要素とすることにより、コンテンツ参照部３２３は端末３２０を利用するユーザが持つローカルコンテンツではなく、共有されたコンテンツを参照することができるようになる。また関連コンテンツ部分導出部３１９が関連コンテンツ部分を導出する際に、コミュニケーション履歴蓄積部３１２に蓄積されたコミュニケーション履歴を利用するようになっている。その他の構成要素は、第１の実施の形態と同様である。
【０１１７】
次に、図２２〜図２６、図３０のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。本実施の形態では、第１の実施の形態と全く同じフローチャートにしたがって全体の動作を行うが、特定のステップを実行して得られる情報が異なる。
【０１１８】
図２２、図２３に示した動作については、第１の実施の形態と全く同様であるため説明を省略する。図２４のステップＳ６０６、つまり図２５に示すステップＳ６０６ａ〜Ｓ６０６ｇにおいて、ステップＳ６０６ａでコンテンツ識別子と部分識別子とを受信すると、ステップＳ６０６ｂで関連発言導出部３１８は、該受信したコンテンツ識別子と部分識別子とを持つコンテンツ部分参照履歴をコンテンツ部分参照履歴蓄積部３１７から取得する。
【０１１９】
ここで取得される情報は、本システムを利用している誰かが、あるコンテンツのある部分について過去に参照した履歴となり、第１の実施の形態のステップＳ６０６ｂで取得した自分が過去に参照した履歴を含む情報となる。このようにして、ステップＳ６０６において取得される関連発言は、本システムを利用しているいずれかのユーザがあるコンテンツのある部分について過去に参照したときに該ユーザが行っていたリアルタイムコミュニケーションにおける誰かの発言となる。
【０１２０】
つまり、関連発言提示部３２５を利用しているユーザだけでなく、本システムを利用しているすべてのユーザがコンテンツ部分参照をしながらリアルタイムコミュニケーションを行っていたという関係に基づき関連した発言として導出することができる。そして、ステップＳ６０６ｇにおいて、取得した発言履歴をすべて関連発言提示部３２５に送信する。図２４におけるステップＳ６０１〜Ｓ６０５、Ｓ６０７〜Ｓ６０８については、第１の実施の形態と同様であるため、説明を省略する。
【０１２１】
図２６のステップＳ７１１における詳細な動作を、図３０を用いて説明する。図３０におけるステップＳ７１１ａ〜Ｓ７１１ｂの動作は、第１の実施の形態における図２７の動作と同様である。次に、関連コンテンツ部分導出部３１９は、発言履歴（Ｈ）を取得すると、該発言履歴（Ｈ）に紐付いたコミュニケーション識別子をもつコミュニケーション履歴をコミュニケーション履歴蓄積部３１２から取得する（ステップＳ７１１ｃ’１）。さらに、関連コンテンツ部分導出部３１９は、取得したコミュニケーション履歴に紐付いたすべてのユーザ識別子（Ｕｉ）について、以下の動作を行う（ステップＳ７１１ｃ’２）。関連コンテンツ部分導出部３１９は、ユーザ識別子（Ｕｉ）が紐付き、且つ前記取得した発言履歴（Ｈ）と時刻が重複するすべてのコンテンツ部分参照履歴（Ｘｉ、１〜Ｘｉ、ｊ）を取得する（ステップＳ７１１ｃ’３）。関連コンテンツ部分導出部３１９は、以上のようにしてステップＳ７１１ｃ’２〜Ｓ７１１Ｃ’４の繰り返しにより取得したすべてのコンテンツ部分参照履歴（Ｘ１、１〜Ｘｍ、ｎ）を関連コンテンツ部分提示部３２８に送信する（ステップＳ７１１ｄ）。
【０１２２】
このようにして、ステップＳ７１１において取得される関連コンテンツ部分は、ある発言に対して、該発言の発言者が参加していたリアルタイムコミュニケーションにおけるいずれかの参加者が、該発言をしたときに参照していたコンテンツの部分となる。つまり、ある発言に対して、該発言を発したユーザだけでなく、該発言を聞いていたユーザも含めて、該発言の行われた瞬間に参照していたコンテンツの部分という関係に基づき関連したコンテンツ部分として導出することができる。
【０１２３】
図２６におけるステップＳ７０１〜Ｓ７１０、Ｓ７１２〜Ｓ７１３については、第１の実施の形態と同様であるため、説明を省略する。次に、本実施の形態の効果について説明する。
【０１２４】
本実施の形態では、コンテンツ蓄積部３２２をサーバ３１０に含めて共有されたコンテンツを参照できるようにしているため、あるリアルタイムコミュニケーションにおける発言があったときに、あるコンテンツの部分を自分が参照していたという事実だけではなく、他のユーザが参照していたという事実にも基づいて、コンテンツの部分と発言との関連付けを行い、発言に関連したコンテンツの部分、あるいはコンテンツの部分に関連した発言として提示することが可能となる。
【０１２５】
次に、本発明を実施するための第４の実施の形態について図面を参照して詳細に説明する。図３１は、本発明の第４の実施の形態の構成を示すブロック図である。
【０１２６】
図３１を参照すると、図３に示された第１の実施の形態における構成と比較して、発言重要度ポリシー設定部３４１と発言重要度判定部３４２とコンテンツ部分重要度ポリシー設定部３４３とコンテンツ部分重要度判定部３４４とが追加されている。発言重要度ポリシー設定部３４１は、関連発言提示部３２５にてコンテンツ部分の関連発言を提示する際に、発言重要度判定部３４２が表示を行う発言を決定したりあるいは表示の順序を決定したりするための発言重要度ポリシーを、ユーザの操作により設定できるようにする。
【０１２７】
ユーザが、発言重要度ポリシー設定部３４１を利用して発言重要度ポリシーを設定すると、発言重要度ポリシー設定部３４１は発言重要度判定部３４２に該発言重要度ポリシーを登録する。発言重要度判定部３４２は、発言重要度ポリシー設定部３４１から発言重要度ポリシーの登録要求を受信すると、該発言重要度ポリシーを記録する。また、発言重要度判定部３４２は、関連発言提示部３２５から複数の発言履歴を受信すると、記録した発言重要度ポリシーにしたがって表示する発言を決定したりあるいは表示する順序を決定したりする。
【０１２８】
なお、関連発言提示部３２５は、コンテンツ参照部３２３で表示しているコンテンツの部分に関連して関連発言導出部３１８から受信した複数の発言履歴について、そのまま表示をせずに、一旦、発言重要度判定部３４２に該複数の発言履歴を送信し、発言重要度判定部３４２が決定した内容に従って関連発言の表示を行う。
【０１２９】
ここで、発言重要度ポリシーの例としては、次のようなものがある。・特定のユーザの発言が重要・短時間に多数交わされ、発言密度の高い一連の発言が重要・発言開始時刻から終了時刻までが長い発言がコンテンツ部分重要度ポリシー設定部３４３は、関連コンテンツ部分提示部３２８にて発言の関連コンテンツ部分を提示する際に、コンテンツ部分重要度判定部３４４が表示を行うコンテンツ部分を決定したりあるいは表示の順序を決定したりするためのコンテンツ部分重要度ポリシーを、ユーザの操作により設定できるようにする。
【０１３０】
ユーザが、コンテンツ部分重要度ポリシー設定部３４３を利用してコンテンツ部分重要度ポリシーを設定すると、コンテンツ部分重要度ポリシー設定部３４３はコンテンツ部分重要度判定部３４４に該コンテンツ部分重要度ポリシーを登録する。コンテンツ部分重要度判定部３４４は、コンテンツ部分重要度ポリシー設定部３４３からコンテンツ部分重要度ポリシーの登録要求を受信すると、該コンテンツ部分重要度ポリシーを記録する。
【０１３１】
また、コンテンツ部分重要度判定部３４４は、関連コンテンツ部分提示部３２８から複数のコンテンツ部分参照履歴を受信すると、記録したコンテンツ部分重要度ポリシーにしたがって表示するコンテンツ部分を決定したりあるいは表示する順序を決定したりする。
【０１３２】
なお、関連コンテンツ部分提示部３２８は、発言再生部３２７で再生している発言に関連して関連コンテンツ部分導出部３１９から受信した複数のコンテンツ部分参照履歴について、そのまま表示をせずに、一旦、コンテンツ部分重要度判定部３４４に該複数のコンテンツ部分参照履歴を送信し、コンテンツ部分重要度判定部３４４が決定した内容に従って関連コンテンツ部分の表示を行う。ここで、コンテンツ部分重要度ポリシーの例としては、次のようなものがある。・いずれかの参照履歴において長時間参照されたコンテンツ部分が重要・すべての参照履歴において、のべ参照時間が長いコンテンツ部分が重要・特定のユーザが参照したコンテンツ部分が重要その他の構成要素は、第１の実施の形態と同様である。
【０１３３】
次に、図２２〜図２３、図２５、図２７、図３２〜図３５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。図２２、図２３、図２５、図２７に示した動作については、第１の実施の形態と同様であるため説明を省略する。
【０１３４】
図３２は、発言重要度ポリシーを設定して記憶する際のフローチャートである。図３２を参照すると、発言重要度ポリシー設定部３４１はユーザ操作により発言重要度ポリシーの設定を行う（ステップＳ８０１）。次に、発言重要度ポリシー設定部３４１は、設定された発言重要度ポリシーについて、発言重要度判定部３４２に該発言重要度ポリシーを記録する（ステップＳ８０２）。
【０１３５】
図３３は、コンテンツ部分重要度ポリシーを設定して記録する際のフローチャートである。図３３を参照すると、コンテンツ部分重要度ポリシー設定部３４３はユーザ操作によりコンテンツ部分重要度ポリシーの設定を行う（ステップＳ９０１）。次に、コンテンツ部分重要度ポリシー設定部３４３は、設定されたコンテンツ部分重要度ポリシーについて、コンテンツ部分重要度判定部３４４に該コンテンツ部分重要度ポリシーを記録する（ステップＳ９０２）。図３４は、コンテンツを参照する際に、表示している部分について関連する発言を提示する際のフローチャートである。
【０１３６】
図３４を参照すると、ステップＳ６０１〜Ｓ６０７の動作は第１の実施の形態と同様であるため、説明を省略する。関連発言提示部３２５は、ステップＳ６０７で複数の発言履歴を受信すると、あるいは、ステップＳ６０３において表示している部分が変化したがステップＳ６０４において新たな部分が表示はされていないならば（つまりこれまで表示されていた部分が非表示になったならば）、コンテンツ参照部３２３で表示しているすべての部分に対応して取得したすべての発言履歴について、発言重要度判定部３４２を利用して発言重要度ポリシーにしたがい表示する発言を決定したりあるいは表示する順番を決定したりし（ステップＳ６Ａ）、決定された内容にしたがって関連発言の表示を更新する（ステップＳ６０８）。
【０１３７】
図３５は、発言を再生する際に、再生している発言について関連するコンテンツ部分を提示する際のフローチャートである。図３５を参照すると、ステップＳ７０１〜Ｓ７１２の動作は第１の実施の形態と同様であるため、説明を省略する。
【０１３８】
関連コンテンツ部分提示部３２８は、ステップＳ７１２で複数のコンテンツ部分参照履歴を受信すると、あるいは、ステップＳ７０８において再生していた発言データの再生を終了すると、発言再生部３２７で再生しているすべての発言に対応して取得したすべてのコンテンツ部分参照履歴について、コンテンツ部分重要度判定部３４４を利用してコンテンツ部分重要度ポリシーにしたがい表示するコンテンツ部分を決定したりあるいは表示する順番を決定したりし（ステップＳ７Ａ）、決定された内容にしたがって関連コンテンツ部分の表示を更新する（ステップＳ７１３）。
次に、本実施の形態の効果について説明する。本実施の形態では、発言重要度ポリシーやコンテンツ部分重要度ポリシーにしたがって表示する発言やコンテンツ部分を決定したり、あるいは表示する順番を決定したりするため、ユーザがより重要な発言やコンテンツ部分を容易に認識することが可能となる。
【０１３９】
次に、本発明を実施するための第５の実施の形態について図面を参照して詳細に説明する。図３６は、本発明の第５の実施の形態の構成を示すブロック図である。
【０１４０】
図３６を参照すると、図３１に示された第４の実施の形態におけるサーバ３１０はなく、サーバ３１０の構成要素であったリアルタイムコミュニケーション管理部３１１がなく、コミュニケーション履歴蓄積部３１２と有効発言抽出部３１３と発言データ蓄積部３１４と発言履歴蓄積部３１５と発言データ取得部３１６とコンテンツ部分参照履歴蓄積部３１７と関連発言導出部３１８と関連コンテンツ部分導出部３１９が端末３２０に含まれ、またリアルタイムコミュニケーション部３２１がコミュニケーション履歴蓄積部３１２と有効発言抽出部３１３とＮＷ（ネットワーク）３３０に接続するように構成されている。
【０１４１】
ＮＷ３３０には、複数の端末３２０が接続され、ＮＷ３３０を介して複数の端末３２０のリアルタイムコミュニケーション部３２１がリアルタイムコミュニケーションを行う。リアルタイムコミュニケーション部３２１は、ＮＷ３３０に接続された他のリアルタイムコミュニケーション部３２１とサーバ（図示せず）を介してあるいは直接接続し、リアルタイムコミュニケーションを行う。
【０１４２】
また、リアルタイムコミュニケーション部３２１は、リアルタイムコミュニケーションの実行に伴い、コミュニケーション履歴をコミュニケーション履歴蓄積部３１２に蓄積する。さらに、リアルタイムコミュニケーション部３２１は、リアルタイムコミュニケーションの開始から終了までの間、ＮＷ３３０から受信される他の参加者ごとの音声ストリームデータと該リアルタイムコミュニケーション部３２１を利用しているユーザの音声ストリームデータとを有効発言抽出部３１３に送信する。その他の構成要素は、第４の実施の形態と同様である。
【０１４３】
次に、図２２〜図２３、図２５、図２７、図３２〜図３５のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。本実施の形態では、第４の実施の形態と全く同じフローチャートにしたがって全体の動作を行うが、特定のステップを実行する構成要素が異なる。
【０１４４】
図２２を参照すると、ステップＳ４０１においてリアルタイムコミュニケーションが開始されると、リアルタイムコミュニケーション部３２１はＮＷ３３０から受信した他の参加ユーザ毎の音声ストリームデータと該リアルタイムコミュニケーション部３２１を利用しているユーザの音声ストリームデータとを有効発言抽出部３１３に送信し、有効発言抽出部３１３は、リアルタイムコミュニケーション実行中は該音声ストリームデータの監視を続ける（ステップＳ４０２のＮＯ）。有効発言抽出部３１３が有効な発言があった場合に発言データと発言履歴を蓄積する動作ステップ４０３〜ステップ４０５は第４の実施の形態と同様であるため、説明を省略する。
【０１４５】
また、リアルタイムコミュニケーションが終了すると（ステップＳ４０２のＹＥＳ）、リアルタイムコミュニケーション部３２１は、コミュニケーション履歴をコミュニケーション履歴蓄積部３１２に蓄積する（ステップＳ４０６）。図２３、図２５、図２７、図３２〜図３５に示したその他の動作については、第４の実施の形態と同様であるため説明を省略する。
【０１４６】
次に、本実施の形態の効果について説明する。本実施の形態では、本発明に係るすべての構成要素を端末３２０の構成要素とし、リアルタイムコミュニケーション部３２１がコミュニケーション履歴を蓄積し、ユーザ毎の音声ストリームデータを有効発言抽出部３１３に送信し、また、発言重要度ポリシーやコンテンツ部分重要度ポリシーにしたがって表示する発言やコンテンツ部分を決定したり、あるいは表示する順番を決定したりすることによって、リアルタイムコミュニケーション管理部を必要としないＰ２Ｐ（Ｐｅｅｒ  Ｔｏ  Ｐｅｅｒ）形態のリアルタイムコミュニケーションにおいても、ユーザがより重要な発言やコンテンツ部分を容易に認識することが可能となる。
【図面の簡単な説明】
【０１４７】
【図１】第１の関連技術のブロック図である。
【図２】第２の関連技術のブロック図である。
【図３】本発明の第１の実施の形態の例を示すブロック図である。
【図４】本発明の第１の実施の形態におけるコミュニケーション履歴の例を示す図である。
【図５】本発明の第１の実施の形態において有効発言抽出部が受信する音声ストリームデータの例を示す図である。
【図６】本発明の第１の実施の形態における発言履歴の例を示す図である。
【図７】本発明の第１の実施の形態における発言データ取得部が複数の発言データを合成する方法を説明する図である。
【図８】本発明の第１の実施の形態におけるコンテンツ部分参照履歴の例を示す図である。
【図９】本発明の第１の実施の形態において関連発言を導出するために利用するコンテンツ部分参照履歴の例を示す図である。
【図１０】本発明の第１の実施の形態において関連発言を導出するために利用するコミュニケーション履歴の例を示す図である。
【図１１】本発明の第１の実施の形態において関連発言を導出するために利用する発言履歴の例を示す図である。
【図１２】本発明の第１の実施の形態において関連発言を導出する方法を説明する図である。
【図１３】本発明の第１の実施の形態において関連コンテンツ部分を導出するために利用する発言履歴の例を示す図である。
【図１４】本発明の第１の実施の形態において関連コンテンツ部分を導出するために利用するコンテンツ部分参照履歴の例を示す図である。
【図１５】本発明の第１の実施の形態において関連コンテンツ部分を導出する方法を説明する図である。
【図１６】本発明の第１の実施の形態における関連コンテンツ部分導出部が関連コンテンツ部分提示部に送信する情報の例を示す図である。
【図１７】本発明の第１の実施の形態においてスライド形式のコンテンツのスライドを部分とした場合のコンテンツ参照部と関連発言提示部の表示例を示す図である。
【図１８】本発明の第１の実施の形態においてテキスト形式のコンテンツの行を部分とした場合に蓄積されるコンテンツ部分参照履歴と発言履歴の例を示す図である。
【図１９】本発明の第１の実施の形態においてテキスト形式のコンテンツの行を部分とした場合のコンテンツ参照部と関連発言提示部の表示例を示す図である。
【図２０】本発明の第１の実施の形態におけるコミュニケーション履歴表示部の表示例を示す図である。
【図２１】本発明の第１の実施の形態における発言再生部と関連コンテンツ部分提示部の表示例を示す図である。
【図２２】本発明の第１の実施の形態におけるリアルタイムコミュニケーションの動作を示すフローチャートである。
【図２３】本発明の第１の実施の形態におけるコンテンツ参照の動作を示すフローチャートである。
【図２４】本発明の第１の実施の形態における関連発言提示の動作を示すフローチャートである。
【図２５】本発明の第１の実施の形態における関連発言導出の動作を示すフローチャートである。
【図２６】本発明の第１の実施の形態における関連コンテンツ部分提示の動作を示すフローチャートである。
【図２７】本発明の第１の実施の形態における関連コンテンツ部分導出の動作を示すフローチャートである。
【図２８】本発明の第２の実施の形態の例を示すブロック図である。
【図２９】本発明の第３の実施の形態の例を示すブロック図である。
【図３０】本発明の第３の実施の形態における関連コンテンツ部分導出の動作を示すフローチャートである。
【図３１】本発明の第４の実施の形態の例を示すブロック図である。
【図３２】本発明の第４の実施の形態における発言重要度ポリシーを設定する動作を示すフローチャートである。
【図３３】本発明の第４の実施の形態におけるコンテンツ部分重要度ポリシーを設定する動作を示すフローチャートである。
【図３４】本発明の第４の実施の形態における関連発言提示の動作を示すフローチャートである。
【図３５】本発明の第４の実施の形態における関連コンテンツ部分提示の動作を示すフローチャートである。
【図３６】本発明の第５の実施の形態の例を示すブロック図である。
【符号の説明】
【０１４８】
３１０    サーバ
３１１    リアルタイムコミュニケーション管理部
３１２    コミュニケーション履歴蓄積部
３１３    有効発言抽出部
３１４    発言データ蓄積部
３１５    発言履歴蓄積部
３１６    発言データ取得部
３１７    コンテンツ部分参照履歴蓄積部
３１８    関連発言導出部
３１９    関連コンテンツ部分導出部
３２０    端末
３２１    リアルタイムコミュニケーション部
３２２    コンテンツ蓄積部
３２３    コンテンツ参照部
３２４    コンテンツ有効参照部分判定部
３２５    関連発言提示部
３２６    コミュニケーション履歴表示部
３２７    発言再生部
３２８    関連コンテンツ部分提示部
３３０    ＮＷ（ネットワーク）
３３０    ＮＷ
３４１    発言重要度ポリシー設定部
３４２    発言重要度判定部
３４３    コンテンツ部分重要度ポリシー設定部
３４４    コンテンツ部分重要度判定部
【図１】
2009009172.tif 000003
【図２】
2009009172.tif 000004
【図３】
2009009172.tif 000005
【図４】
2009009172.tif 000006
【図５】
2009009172.tif 000007
【図６】
2009009172.tif 000008
【図７】
2009009172.tif 000009
【図８】
2009009172.tif 000010
【図９】
2009009172.tif 000011
【図１０】
2009009172.tif 000012
【図１１】
2009009172.tif 000013
【図１２】
2009009172.tif 000014
【図１３】
2009009172.tif 000015
【図１４】
2009009172.tif 000016
【図１５】
2009009172.tif 000017
【図１６】
2009009172.tif 000018
【図１７】
2009009172.tif 000019
【図１８】
2009009172.tif 000020
【図１９】
2009009172.tif 000021
【図２０】
2009009172.tif 000022
【図２１】
2009009172.tif 000023
【図２２】
2009009172.tif 000024
【図２３】
2009009172.tif 000025
【図２４】
2009009172.tif 000026
【図２５】
2009009172.tif 000027
【図２６】
2009009172.tif 000028
【図２７】
2009009172.tif 000029
【図２８】
2009009172.tif 000030
【図２９】
2009009172.tif 000031
【図３０】
2009009172.tif 000032
【図３１】
2009009172.tif 000033
【図３２】
2009009172.tif 000034
【図３３】
2009009172.tif 000035
【図３４】
2009009172.tif 000036
【図３５】
2009009172.tif 000037
【図３６】
2009009172.tif 000038