(57)【要約】【課題】会議や講習会などの資料を主とし、その場に参加できなかった人でも、後日あたかもその場にいたように会議や講習会の資料と音声をそのまま再現するだけでなく、録音音声のデータの聞かせ方と資料の見せ方を工夫し、会議や講習会資料の内容を効率よく再現し理解するシステムを提供する。【解決手段】資料共有における資料音声再現システムでは、会議や講習会において表示中の資料の録音音声データを時間軸でリストに表示する手段とその資料の内容に近い録音箇所があればそれらを音声リストとして表示する手段とを有する。また、表示した録音リストを選択して聞く際に、その音声と結び付けた資料画面を全て表示する手段を有する。【選択図】図１
2013117879.tif 000002
【特許請求の範囲】
【請求項１】
第１端末及び第２端末を含む複数の端末とサーバーとを備え、記録段階において、第１端末に表示された資料及び第１端末の操作を特定する操作イベントと音声データとを、タイムスタンプに対応して前記サーバーに記録し、再現段階において音声の再生と資料の表示を第２端末で再現する資料表示及び音声再現システムであって、
前記サーバーは、
予め登録された資料内のキーワードが記憶された資料分析データ記憶部と、
録音された音声データを記憶する録音音声記憶部と、
録音された音声データをテキスト化した録音キャラクタリストが、タイムスタンプに対応して記憶された録音分析データ記憶部と、
前記第１端末に表示された資料及び該第１端末の操作を特定する操作イベントが、タイムスタンプに対応して記憶された操作データ記憶部と、
前記録音音声記憶部に記憶された音声データの再生と、前記操作データ記憶部に記憶された操作イベントに応じた資料の表示とを、前記第２端末で再現させる処理部と
を有し、
前記処理部は、再現段階において、
前記第２端末に再現表示された資料のキーワードを、前記資料分析データ記憶部を参照して特定し、
特定されたキーワードに基づき前記録音分析データ記憶部を検索し、該キーワードを含む録音キャラクタリストと、対応するタイムスタンプとを抽出し、
抽出されたひとつ又は複数の録音キャラクタリストを含む録音リストを前記第２端末に送信し、
前記第２端末は、
受信した録音リストを表示し、表示された録音リストに含まれる録音キャラクタリストのひとつが選択されると、選択された録音キャラクタリストに対応するタイムスタンプに従い、選択された録音キャラクタリストに対応する音声データを再生する資料表示及び音声再現システム。
【請求項２】
前記複数の端末に表示する資料のデータが予め登録された資料記憶部
をさらに備え、
前記録音分析データ記憶部は、録音キャラクタリストに対応して、該録音キャラクタリストに含まれる前記キーワードが記憶され、
前記処理部は、再現段階において、
前記録音分析データ記憶部を参照して、選択された録音キャラクタリストに対応するキーワードを特定し、
特定されたキーワードに基づき前記資料分析データ記憶部を参照して、該キーワードを含む資料を特定し、
該資料のデータを前記端末に送信して表示させる請求項１に記載の資料表示及び音声再現システム。
【請求項３】
前記処理部は、記録段階において、
音声データを記憶した前記複数の端末のひとつから該音声データを受信して、前記録音音声記憶部に記憶し、
記憶された音声データを音声認識によりテキスト化した録音キャラクタリストを作成し、前記資料分析データ記憶部に記憶されたキーワードに基づき該録音キャラクタリストを検索して、文章毎又は所定時間毎の録音キャラクタリストに含まれるキーワードを求めて、タイムスタンプと、文章毎又は所定時間毎の録音キャラクタリストと、該キーワードとを対応して前記録音分析データ記憶部に記憶する請求項２に記載の資料表示及び音声再現システム。
【請求項４】
前記処理部は、再現段階において、前記録音音声記憶部に記憶された音声データと、タイムスタンプを前記第２端末に予め送信し、
録音キャラクタリストのひとつが選択されることで前記第２端末から送信される録音リスト指定メッセージに対して、対応するタイムスタンプを返信する請求項１に記載の資料表示及び音声再現システム。
【請求項５】
前記第２端末に送信される録音リストは、録音キャラクタリストに対応するタイムスタンプをさらに含み、
前記第２端末は、録音キャラクタリストにひとつが選択されると、対応するタイムスタンプに従い音声データを再生する請求項１に記載の資料表示及び音声再現システム。
【請求項６】
前記処理部は、
資料データを入力して記憶し、該資料データから資料のページごとに所定のキーワードを抽出して前記資料分析データ記憶部に記憶する請求項１に記載の資料表示及び音声再現システム。
【請求項７】
前記処理部は、資料名をさらに入力し、資料名又は資料名に含まれる単語をキーワードとする請求項１に記載の資料表示及び音声再現システム。
【請求項８】
前記処理部は、資料データの中で、出現する回数が多い単語をキーワードとする請求項１に記載の資料表示及び音声再現システム。
【請求項９】
記録段階において、前記第１端末は、
音声データ入力部から音声データを入力して記憶し、該端末の操作イベントを前記サーバーへ送信し、
前記サーバーの前記処理部は、
受信した操作イベントをタイムスタンプに対応して前記操作データ記憶部に記憶し、
受信した音声データを前記録音音声記憶部に記憶する請求項１に記載の資料表示及び音声再現システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、資料表示及び音声再現システムに係り、特に、資料共有における資料表示及び音声再現システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、会議や講習会において資料をサーバーに格納し、複数の端末間を無線ＬＡＮや有線のネットワークで相互接続し、資料を電子的に共有するシステムが利用されペーパーレス化が図られている。このような資料共有システムを利用した会議や講習会において、その内容を記録する為に音声録音装置を用いて音声を録音することが一般的に行われている。たとえば特開２００９−１８７４６２号公報（特許文献１）がある。この公報には、ＰＣに格納した資料を用いて会議や講義を開始し、同時に録音を行う。その音声データを再生する時間とページめくりのタイミングに合わせてＰＣの画面に該当するページの資料を表示することが提案されている。また、特開２００９−０９８８８２号公報（特許文献２）がある。この公報には、「会議に関する文書の検索を行った場合に、その文書に関連しておりその会議において発生した情報を出力するようにした情報処理システムを提供する」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８６４６２号公報
【特許文献２】特開２００９−０９８８８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これまでの技術は音声を主として考慮された資料表示であった。そのため、音声データの時間とページめくりの時間を合わせて表示し、会議をそのまま再現することが多かった。また、会議の議論の質の向上を着眼点にして資料を検索する技術などでは、検索した資料のみを表示するものであって会議や講習会を再現するものではなかった。さらに録音内容が資料の何ページにも関与する内容で、参照すべき資料が複数ページある場合などは録音内容と表示されている資料の内容が必ずしも合致していなかった。また、会議の進行は資料に関係なく進む可能性も大きく、会議や講習会に関係のない余談や間の録音を一気に飛ばしたり一部を聞き逃した場合やピンポイントでそこだけ聞きたい場合など資料に合致した録音内容を探し出すのに労力を要していた。
以上の点に鑑み、本発明は、会議や講習会などの資料を主とし、その場に参加できなかった人でも、後日あたかもその場にいたように会議や講習会の資料と音声をそのまま再現するだけでなく、録音音声のデータの聞かせ方と資料の見せ方を工夫し、会議や講習会資料の内容を効率よく再現し使用者の理解を向上させるシステムを提供する事を目的する。
【課題を解決するための手段】
【０００５】
本資料共有における資料音声再現システムでは、例えば、会議や講習会において表示中の資料の録音音声データを時間軸でリストに表示する手段とその資料の内容に近い録音箇所があればそれらを音声リストとして表示する手段とを有することを特徴のひとつとする。
また、本資料音声再現システムは、例えば、表示した録音リストを選択して聞く際に、その音声と結び付けた資料画面を全て表示する手段を有することを特徴のひとつとする。
【０００６】
本発明の解決手段によると、
第１端末及び第２端末を含む複数の端末とサーバーとを備え、記録段階において、第１端末に表示された資料及び第１端末の操作を特定する操作イベントと音声データとを、タイムスタンプに対応して前記サーバーに記録し、再現段階において音声の再生と資料の表示を第２端末で再現する資料表示及び音声再現システムであって、
前記サーバーは、
予め登録された資料内のキーワードが記憶された資料分析データ記憶部と、
録音された音声データを記憶する録音音声記憶部と、
録音された音声データをテキスト化した録音キャラクタリストが、タイムスタンプに対応して記憶された録音分析データ記憶部と、
前記第１端末に表示された資料及び該第１端末の操作を特定する操作イベントが、タイムスタンプに対応して記憶された操作データ記憶部と、
前記録音音声記憶部に記憶された音声データの再生と、前記操作データ記憶部に記憶された操作イベントに応じた資料の表示とを、前記第２端末で再現させる処理部と
を有し、
前記処理部は、再現段階において、
前記第２端末に再現表示された資料のキーワードを、前記資料分析データ記憶部を参照して特定し、
特定されたキーワードに基づき前記録音分析データ記憶部を検索し、該キーワードを含む録音キャラクタリストと、対応するタイムスタンプとを抽出し、
抽出されたひとつ又は複数の録音キャラクタリストを含む録音リストを前記第２端末に送信し、
前記第２端末は、
受信した録音リストを表示し、表示された録音リストに含まれる録音キャラクタリストのひとつが選択されると、選択された録音キャラクタリストに対応するタイムスタンプに従い、選択された録音キャラクタリストに対応する音声データを再生する資料表示及び音声再現システムが提供される。
【０００７】
上述の資料表示及び音声再現システムでは、音声データを  選択する方法として早送りや巻き戻しだけでなく、録音リストの表示と選択聴取、また表示している資料をもとに内容に近い録音リストが表示するため、資料に合致した録音内容を探し出すことができる。
また、上述の資料表示及び音声再現システムにおいて、
前記複数の端末に表示する資料のデータが予め登録された資料記憶部
をさらに備え、
前記録音分析データ記憶部は、録音キャラクタリストに対応して、該録音キャラクタリストに含まれる前記キーワードが記憶され、
前記処理部は、再現段階において、
前記録音分析データ記憶部を参照して、選択された録音キャラクタリストに対応するキーワードを特定し、
特定されたキーワードに基づき前記資料分析データ記憶部を参照して、該キーワードを含む資料を特定し、
該資料のデータを前記端末に送信して表示させる。
【０００８】
この資料表示及び音声再現システムでは、表示した録音リストを選択して聞く際に、その音声と結び付けた資料画面を表示可能なため、ユーザが自分で探す労力も半減する。このように、資料を用いた会議や講習会の再現時や資料を見ながら録音音声を聴取する際に、従来よりも見たい資料と聞きたい音声をより的確に再現し使用者の理解を向上させることができる。
【発明の効果】
【０００９】
本発明によると、会議や講習会などの資料を主とし、その場に参加できなかった人でも、後日あたかもその場にいたように会議や講習会の資料と音声をそのまま再現するだけでなく、録音音声のデータの聞かせ方と資料の見せ方を工夫し、会議や講習会資料の内容を効率よく再現し使用者の理解を向上させるシステムを提供する事ができる。
【図面の簡単な説明】
【００１０】
【図１】資料共有システムの構成図の例である。
【図２】サーバーの構成図の例である。
【図３】端末の構成図の例である。
【図４】サーバーの資料登録画面の例である。
【図５】サーバーの会議資料記憶部の構成例である。
【図６】資料分析データの例である。
【図７】資料分析データの作成フローチャート図である。
【図８】操作データの作成フローチャート図である。
【図９】録音分析データ作成フローチャート図である。
【図１０】時系列録音リストの表示方法フローチャート図である。
【図１１−１】候補録音リストの表示方法フローチャート図である。
【図１１−２】候補録音リスト選択時別画面表示方法フローチャート図である。
【図１２】会議再現データ記憶部の例である。
【図１３】操作データの例である。
【図１４】録音分析データの例である。
【図１５】端末の画面の例である。
【図１６−１】端末の再現画面１の例である。
【図１６−２】端末の再現画面２の例である。
【図１７】資料共有システムを利用した会議のシーケンスの例である。
【図１８】会議再現のシーケンス図の例である。
【図１９】表示中の資料の内容に近い録音内容候補のデータである。
【発明を実施するための形態】
【００１１】
以下、実施例を図面を用いて説明する。
【実施例１】
【００１２】
本実施例は、資料共有システム（資料表示及び音声再現システム）を利用した会議と会議再現の例をあげて説明する。
図１７は資料共有システムを利用した会議のシーケンスの例である。まず、図１７のシーケンスの順番に、会議や講習会に必要な資料をサーバー１１が登録する例と、会議、講習会の進行の例、その会議や講習会の再現に必要なデータをサーバーが作成する例を説明する。
【００１３】
（システム構成）
まず、図１に、この資料共有システムを構成する機器の例を示す。
資料共有システムは、サーバー１１とアクセスポイント１２と複数台の端末１３で構成される。サーバー１１と端末１３〜１４はアクセスポイントＡＰ１２を介してＬＡＮでつながっており、ＨＴＴＰなどのプロトコルを用いてメッセージの送受信など通信を行うことができる。端末１３〜１４は無線端末でもよく、アクセルポイント１２と端末が無線で通信してもよい。端末１３〜１４は、例えばスマートフォン端末、タブレット端末、ネットブック、無線ＬＡＮ機能を有するＰＣ等の端末、有線でサーバーと通信可能なＰＣ等の端末などでもよい。
図２に、サーバー１１の構成例を示す。サーバー１１は、例えば処理を行うＣＰＵ（処理部）２１、記憶部２２、入力装置２３、出力装置２４、及び、ＬＡＮなどの通信回線インターフェース２５を有し、サーバーとして構築できるパソコンである。記憶部２２は、例えば、Ｗｅｂアプリケーション２２１、サーバアプリケーション２２８を記憶する。また、記憶部２２は、例えば、会議資料記憶部２２２、資料分析データ記憶部２２３、会議再現データ記憶部２２４、録音音声記憶部２２５、操作データ記憶部２２６、及び、録音分析データ記憶部２２７を含む。入力装置２３は、例えば、キーボード２３１、マイク２３２、マウス２３３、及び、ＣＤ、ＵＳＢドライブ２３４を含む。出力装置２４は、例えば、モニタ２４１、スピーカ２４２を含む。
図３に、端末１３、１４の構成例を示す。端末１３、１４は、録音可能なマイク３３１と録音機能を有する。端末１３、１４は、例えば、ＣＰＵ３１、記憶部３２、入力装置３３、出力装置３４、ＬＡＮなどの通信回線インターフェース３５を有する。例えばパソコン、Ａｎｄｒｏｉｄ端末など端末が適している。記憶部３２は、例えば、録音音声記憶部３２１及びＡｎｄｒｏｉｄアプリケーション３２２を含む。入力装置３３は、例えば、キーボード３３１、マイク３３２、及び、マウス３３３を含む。出力装置３４は、例えば、モニタ３４１、スピーカ３４２を含む。
【００１４】
（会議の記録段階の動作）
最初にサーバー１１は、会議や講習会に使用する資料を保存する（図１７の１７１）。そのためにサーバー１１は、図２のＷｅｂアプリケーション２２１を起動し、図４の会議、講習会に使用する資料を登録する画面を表示する。サーバー１１の画面に表示した図４の例は、符号４８の会議名の欄に会議Ｃを入力し、日時の欄に２０１１／９／５を入力した例である。サーバー１１は、図２の２３４で示すＣＤまたはＵＳＢの入力装置によりこれらの記憶媒体から、または、ハードディスクから資料Ｃ１を読み込む。符号４９の資料名の欄に資料Ｃ１の名称などの識別情報を表示する。ユーザがキーボード２３１、マウス２３３等を操作することにより資料Ｃ１が選択され、入力装置２３から選択された情報を入力する。サーバー１１は、図４の登録４１が押されたことを認識して、選択された資料を図２の会議資料記憶部２２２に登録する。なお、サーバー１１への資料データへの登録は、端末１３、１４がサーバー１１にアクセスして行うこともできる。
図５は、図２の会議資料記憶部２２２の構成図である。この図５のようにサーバーは会議毎に複数の資料を登録することができる。例えば、会議資料記憶部２２２は、会議の日付、会議名に対応して、資料を記憶する。資料はひとつの会議に対して、複数でもよいし、ひとつでもよい。
次に、サーバー１１はこの登録した資料Ｃ１の会議Ｃの再現に使用するキーワードを自動または手動、または、それらの両方で登録する。自動の場合はサーバー１１は図４の開始４２が押されたことを認識し、キーワード検索を行う。例えば、資料のタイトル、タイトルに含まれている文字・単語や、資料中の使用頻度が高い単語などを１ページより検索し、一致すると図２の資料分析データ２２３に記憶する。タイトルは、入力装置２３から入力されることもできる。また、使用頻度は、例えば、使用頻度が多い上位いくつかを抽出してもよいし、使用回数の閾値、又は全体に対する使用割合の閾値が予め定められ、それ以上のものを抽出してもよい。なお、キーワードは、単語、熟語、文節など適宜の文字列でもよい。その資料分析データの構成例を図６に示す。例えば、会議Ｃの資料Ｃ１を資料Ｃ１の分析データ６４を格納する。分析データは、会議の資料ごとに、ページ番号と、そのページに含まれるキーワードとの対応を含む。
また、サーバー１１は、図４の符号４７のリストに、登録したキーワードを表示する。サーバー１１は自動でページを更新して全ページの検索を行い、全ページの資料分析データを作成する。さらにキーワードが必要な場合は、サーバー１１は図４の符号４３の入力位置からのキーワード入力とサーチ７４４が押されたことを検知し、前に述べた自動キーワードの検索と同様に全ページ検索を行い、会議Ｃの資料Ｃ１を資料Ｃ１の分析データ６４に追加格納し、図４の符号４７のリストに追加表示する。
また、サーバー１１は、資料追加４６が押されたことを検知すると、図２の２３１のＣＤまたはＵＳＢの入力装置によりこれらの記憶媒体から、または、ハードディスクから別資料を読み込む作業に戻り、以下同じ手順で別資料を登録する。このようにサーバー１１は、図５の５３の資料Ｃ１の部分に資料Ｃ１を格納し、図６の６４１にその資料Ｃ１の作成した分析データを格納し、日時と会議名と登録した複数の資料とそれぞれの分析データを結び付けて管理する。
【００１５】
図７に、資料分析データ作成のフローチャートを示す。各処理については、上述の通りであるので、説明を省略する。
このように資料をサーバー１１が登録した後、端末１３、１４は図３のアプリケーション３２２を起動する。複数の端末のうち、会議や講習会を進行させる例えば１台の端末をプレゼンタ端末（第１端末）１３とする。プレゼンタ端末１３は、図１５の画面を表示する。プレゼンタ端末１３は、資料一覧１５２が押されたことを検知すると、会議資料一覧表示要求（１７−１）を図３の通信回線インターフェース３５へメッセージを出力し、サーバー１１に送信する。サーバー１１は、図２の通信回線インターフェース２５からプレゼンタ端末１３が送信したメッセージを受信し、図５の会議資料記憶部２２２もとに会議資料一覧データを送信（１７−２）する。会議資料一覧データは、例えば、会議名と資料名とを含む。以下、メッセージの送受信は同じくプレゼンタ端末１３側は図３の３５、サーバー側は図２の２５の通信回線インターフェースを介して行われる。プレゼンタ端末１３は、受信した会議資料一覧データをもとに、資料一覧をプレゼンタ端末１３の図３のモニタ３４２に表示する。例えば、図１５の領域１５１に表示する。プレゼンタ端末１３は、図３のマウス３３２等の入力装置により資料Ｃ１が選択されたことを検知し、資料Ｃ１要求（１７−３）をサーバー１１に送信する。
サーバー１１は、会議資料記憶部２２２に記憶された資料Ｃ１の１ページ目のデータをプレゼンタ端末１３に送信する（１７−４）。また、サーバー１１は、会議に参加している端末全てに資料Ｃ１の１ページ目を送信する（１７−５）。端末１３、１４のうち、会議に参加している端末は予め登録されることができる。資料Ｃ１の１ページ目のデータを受信したそれぞれの端末１３、１４は、各自の画面に同じ資料Ｃ１の１ページ目を表示する。プレゼンタ端末１３は、ここで図５の録音会議１５３が押されたことを検知し、録音会議指定１７４を行い録音指定のメッセージ（１７−６）をサーバー１１に送信する。サーバー１１は、この録音指定のメッセージを受信し、操作データ１７５の作成を開始する。例えば、プレゼンタ端末１３が送信するメッセージである操作イベントとタイムスタンプを、例えば図１３の操作データの構成で、図２の操作データ記憶部２２６に記憶開始する。また、プレゼンタ端末１３は、図３の入力装置３３のマイク３３２により音声を入力し、録音音声記憶部３２１に会議、講習会の音声を録音開始する。
【００１６】
図８に、操作データ作成のフローチャートを示す。サーバー１１は、プレゼンタ端末１３からのメッセージが録音指定であれば（８１〜８３）、操作データを初期化し、データ作成を開始する（８７）。また、サーバー１１は、プレゼンタ端末１３からのメッセージが会議終了であれば（８１〜８４）、操作データの作成を終了する。プレゼンタ端末１３からのメッセージが操作イベントであり、会議が開始していれば（８１〜８５）、タイムスタンプと操作イベントを対応して操作データ記憶部２２７に記憶する。
図１７に戻り、処理の説明を続ける。プレゼンタ端末１３は、会議が進行し、ページを変更する場合は、例えばボタン１５６が押されることでページ送りを行い、資料Ｃ１の２ページ指定（１７−７）をサーバー１１に送信する。サーバー１１は、図５の資料Ｃ１の２ページ目のデータをプレゼンタ端末１３に送信する（１７−８）。また、それとともに、サーバー１１は会議に参加している端末全てに資料Ｃ１の２ページ目を送信（１７−９）する。また、図１３の操作データ記憶部２２６に、タイムスタンプ１３１と操作イベント１３２のページ送り１３２２を追加する。資料Ｃ１の２ページ目のデータを受信したそれぞれの端末は、各自の画面に同じ資料Ｃ１の２ページを表示する。
以下、プレゼンタ端末１３はページ送り、ページ戻しなどのイベント毎にサーバー１１にメッセージを送信する。サーバー１１はそのメッセージを解析しそれに合致した図２の会議資料記憶部２２２に保管していた資料データの指定ページを、端末全てに送信する。そして端末１３、１４が資料データの指定ページを受信し、画面に一斉に表示する。
また、図４のサーバー１１の資料登録画面で会議Ｃの資料を複数登録した場合は、他の資料も指定可能である。図１７の例では、プレゼンタ端末１３は適宜の操作により再び資料一覧を表示し、資料Ｃ２が選択されると、資料Ｃ２要求（１７−１３）をサーバー１１に送信する。
【００１７】
サーバー１１は、図５の資料Ｃ２の１ページ目のデータをプレゼンタ端末１３に送信する（１７−１４）。それとともに、サーバー１１は、会議に参加している端末全てに資料Ｃ２の１ページ目を送信（１７−１５）する。資料Ｃ２の１ページ目のデータを受信したそれぞれの端末は、各自の画面に同じ資料Ｃ２の１ページ目を表示する。ページ送りを行う場合は、資料Ｃ２の２ページ指定（１７−１７）をサーバー１１に送信する。サーバー１１は、ページ指定に応答して、図５の資料Ｃ２の２ページ目のデータをプレゼンタ端末１３に送信する（１７−１８）。それとともに、サーバー１１は会議に参加している端末全てに資料Ｃ２の２ページ目を送信（１７−１９）する。また、図１３の操作データ記憶部２２６にタイムスタンプ１３１と、今回の操作イベント１３２である「資料Ｃ２を開く」１３２５とを追加する。資料Ｃ２の２ページ目のデータを受信したそれぞれの端末は、各自の画面に同じ資料Ｃ２の２ページを表示する。以下、先に述べたようにプレゼンタ端末１３で発生したイベント毎にサーバー１１にメッセージを送信し、サーバー１１がそのメッセージを解析しそれに合致した図２の会議資料記憶部２２２に保管していた資料データの指定ページを、会議に参加する端末全てに送信し、図１３の操作データ記憶部２２６を更新し、端末１３、１４がその資料のデータを受信し、画面に各々表示する事を繰り返す。このように、資料共有を行い会議を行う。
【００１８】
プレゼンタ端末１３は、会議を終了する際に図１５の会議終了ボタン１５４が押されたことを検知し、会議終了通知（１７−２０）をサーバー１１に送信する。サーバー１１は、会議終了通知をプレゼンタ端末１３に送信して（１７−２１）、会議参加者の端末全台にも会議終了通知（１７−２２）を送信する。続いてサーバー１１は、図１３の操作データ記憶部２２６に１３２１１で示す停止とタイムスタンプを記憶し、操作データの作成を終了（１７７）し、会議Ｃの操作データを完成する。プレゼンタ端末１３は、サーバー１１から送られた会議終了通知を受信すると、録音作業を停止し、録音音声ファイルを作成する（１７８）。ここで作成した録音ファイルを、プレゼンタ端末１３はサーバー１１にアップロードする（１７−２３）。サーバー１１は、受信した録音音声ファイルを図２の録音音声記憶部２２５に記憶する（１７９）。
次にサーバー１１は、この録音音声データを用いて図１４の録音分析データを作成する。サーバー１１は、録音音声データを音声認識などによってテキスト化し、自然言語検索や構文解析の一般的な技術によって音声キャラクタを文章毎にわけて、タイムスタンプと共にデータとし、図１４に示す録音分析データ記憶部２２７のタイムスタンプと録音キャラクタリストに記憶する。なお、音声キャラクタは文章毎に分ける以外にも、時間で分けてもよいし、適宜の文の長さで分けるなど適宜の分け方を用いてもよい。さらにサーバー１１は、この録音キャラクタリスト毎に、図４で登録したキーワード４７を検索し、キーワード４７が含まれていればその単語を図１４の録音分析データのキーワード１４３に記憶する。この作業を音声キャラクタが終了するまで行い、録音分析データを完成させる（１７１０）。図９に、録音分析データ作成のフローチャートを示す。各処理については、上述の通りであるので、説明を省略する。
【００１９】
サーバー１１は、図１２の例に示す通り、前述した録音音声ファイル、操作データ、及び、録音分析データを結び付け、図２の会議再現データ記憶部２２４に会議再現データとして格納する。例えば、各データの識別情報や格納場所を記憶してもよい。さらに、図５で示すように会議資料と資料分析データを会議毎に管理し、図１の端末１３、１４のどの端末からでも会議Ｃを再現することができる。また、再現は資料共有と同様に他の端末と同期し、一斉に複数の端末で会議や講習会を再現することも可能である。仮にそれを再現Ｃファイル（図１２の１２３）とする。
【００２０】
（会議の再現動作）
図１８は会議再現の流れのシーケンスを表した図である。これまで図１７で説明したとおり文書共有の会議を行い作成した再現ファイル（図１２の１２３）を端末（再現端末、第２端末）１５で再現し、端末１５のユーザが会議の資料を見ながら録音された音声を聞く会議の再現方法を説明する。端末１５は、プレゼンタ端末１３でも、端末１４でもよい。
会議の再現は、資料共有のときと同じ図１の機器構成によって行うことができる。ここでは、端末は少なくともひとつあればよい。図１８において、会議の再現希望の端末１５は、図１５に示す画面を表示し、会議再現１５５が押されたことを検知すると、サーバー１１に対して会議再現ファイル一覧の要求（１８−１）を送信する。サーバー１１は、図１２の会議再現データ記憶部１２２をもとに会議再現ファイル一覧データを作成して、会議再現一覧データを端末１５に送信する（１８−２）。会議再現ファイル一覧データは、例えば、会議再現データ記憶部１２２に記憶された会議名、再現ファイル名を含むことができる。
端末１５は、受信した会議再現ファイル一覧データをもとに図１６−１の画面を表示し、例えば領域１６６に会議再現ファイル一覧を表示する。次に端末１５は、例えば再現Ｃファイルが指定され、図１６−１の開始１６３が押されたことを検知すると、再現Ｃファイルを要求（１８−３）するメッセージをサーバー１１に送信する。サーバー１１は、要求された再現ファイルに対応する音声ファイル、操作データ及び録音分析データを会議再現データ記憶部１２２を参照して特定する。サーバー１１は、再現する会議の録音音声ファイルを録音音声記憶部２２５から読みだして端末１５に送信（１８−４）し、端末１５はその音声ファイルを端末１５の図３の記憶部３２（録音音声記憶部３２１）に保管する。なお、録音音声ファイルはタイムスタンプと音声データを含む。
【００２１】
サーバー１１は、図１３の操作データのタイムスタンプ１３１を監視し、操作イベント１３２応じた処理を行う。例えば、操作イベント１３２１では、サーバー１１は、資料の最初のページである情報資料Ｃ１の１ページを端末１５に送信する（１８−５）。端末１５は、受信された情報をもとに資料の画像を図１６−１の端末画面の領域１６６に表示する。サーバー１１は、要求された再現Ｃファイルに関連付けられた図１４の録音分析データより、表示している資料のページに合致した録音リストに必要なデータ（録音リストデータ）を作成し、端末１５に送信する（１８−６）。ここで、録音リストデータは、現在開いている資料のページのキーワードを資料分析データ記憶部２２３の資料分析データから特定し（図の６３、６６、６９）、そのキーワードに基づき図１４の録音分析データのキーワード１４３を検索し、一致したキーワードに対応する録音キャラクタリスト１４２とタイムスタンプ１４１を抽出することにより得られる。なお、一例では、端末１５へは抽出されたひとつ又は複数の録音キャラクタリスト１４２を送信すればよい。一度に送れない場合は分割して送ってもよい。この際、スクロール表示のデータを含めて端末で制御してもよい。
【００２２】
端末１５は、受信された録音リストデータをもとに、図１６−１の端末画面の録音リスト１６１に各リスト（例えば、録音キャラクタリスト）１６２の文字を表示する。また、端末１５は、図３の記憶部３２に保管された音声ファイルの再生を開始する。このとき、端末１５と同期する複数の端末があってもよい。
図１０は、端末１５が資料を表示し、録音リストに必要なデータを受け取って一番最初に画面に表示するときのフローチャートである。画面に表示しきれないときは、スクロールのマークを表示する（スクロール表示）。動作は上述の通りであるので説明を省略する。
再生中、サーバー１１は、図１３の操作データを監視し、操作イベントが発生した場合に備える。サーバー１１の操作イベント１３２が発生すると、サーバー１１はそのイベントにあったメッセージ、資料等を端末１５に送信し、それにしたがって端末１５は資料の表示を行う。例えば、操作イベントが資料Ｃ２の２ページ表示ならば、サーバー１１は資料Ｃ２の２ページ目（１８−７）を端末１５に送信する。加えて、サーバー１１は資料Ｃ２の２ページ目の録音リストに必要なデータを抽出して送信する（１８−８）。このように、サーバー１１は操作イベント１３２の検出を行い、検出した場合はそれにあった表示資料のデータと録音リストのメッセージを端末１５に送信し、端末１５はこのデータをもとに画面に資料を表示する。この繰り返しにより会議再現を行っていく。
ここで、会議等の再現において、資料に関係ない内容の音声などを飛ばしたい場合などがある。その場合、ユーザが図１６−１の端末１５の画面の録音リスト１６２から聞きたい場所を想定し、例えばリスト１６１の録音キャラクタリスト１６２が選択されることにより、端末１５は選択された録音リスト１６２の指定メッセージ（１８−９）をサーバー１１に送信する。サーバー１１は図１４の録音分析データ１４１を参照して、選択された録音キャラクタリストのタイムスタンプを特定し、特定されたタイムスタンプを含むメッセージ（１８−１０）を端末１５に送信する。端末１５は、受信したタイムスタンプをもとに再生する位置を検出し、該当する音声の位置から再生する（ジャンプする）。なお、サーバー１１が送信する録音リストは、録音キャラクタリストと、対応するタイムスタンプとを含めてもよく、この場合端末１５は録音キャラクタリストが選択されると、自端末で対応するタイムスタンプを特定して音声データを再生してもよい。このように会議や講習会に関係のない余談や間の録音を一気に飛ばしたり、ピンポイントで音声を選択可能となる。
【００２３】
また、さらに、録音リストを全て聞いても再生した録音内容と表示されている資料の内容が必ずしも合致していない場合などがある。その場合は、ユーザは図１６−１の画面の候補１６５のキーを押す。端末１５は、候補１６５が押されたことを検知すると、候補リスト要求（１８−１１）をサーバー１１に送信する。サーバー１１は端末１５からの候補リスト要求により、図６の資料分析データを参照して表示しているページのキーワードを抽出し、そのキーワードに基づき図１４の録音分析データのキーワード１４３を検索し、一致した録音キャラクタリスト１４２をもとに候補リストを作成する。
図１９は候補リストの内容の例である。候補リストは、表示しているページに含まれるキーワードと、そのキーワードを含む録音キャラクタと、録音キャラクタに対応するタイムスタンプと、そのタイムスタンプの際に表示されていた資料名およびページの各情報を含む。なお、各候補を識別する識別情報をつけてもよい。例えば、会議Ｃの資料Ｃ２の２ページ目の候補は、キーワードｗｏｒｄ１はタイムスタンプ０：０５：４０と０：３２：１１と２か所存在し、それぞれのキャラクタリストがデータ（１９４）となる。キーワードｗｏｒｄ２はタイムスタンプ０：２３：３２と０：４８：４０と０：５１：３２の３か所存在し、それぞれのキャラクタリストがデータ（１９４）となる。その際、図１１−１のようにスクロールの情報も加えてもいいが、端末１５で制御してもよい。
このようにサーバー１１にて作成した候補リストを端末１５に送信する（１８−１２）。端末１５は、受信した候補リストの情報に基づき、図１６−２に示す再現画面の他候補リスト１６９を表示する。このように、図１６−１の領域１６６に表示していた資料のページの内容に近い録音箇所があれば、それらを音声リストとして表示するための候補リストが表示可能となる。
【００２４】
図１１−１に、他候補キーが押された場合の、サーバー１１と端末１５の処理の流れの概要を示す。動作は上述の通りであるので、説明を省略する。
この候補リストにより、ユーザは聞きたい音声（又は参照したい関連資料）に検討を付け、例えば、候補リストの中のひとつである図１６−２の候補リスト１６９を選択して押す。端末１５は、候補リストが押されたことを検知すると、選択された候補リスト１６９の指定メッセージ（１８−１３）をサーバー１１に送信する。例えば、選択された候補の識別子を送信してもよい。サーバー１１はまず、指定された候補リストに対応するタイムスタンプを求める。例えば、図１９の候補リストを適宜の記憶部に記憶しておき、指定された候補の識別子に対応するタイムスタンプを求めてもよい。また、録音分析データをサーチして、対応するタイムスタンプを求めてもよい。サーバー１１は、求められたタイムスタンプの値を端末１５が音声のどこから再生するかの情報としてメッセージ（１８−１４）を送信する。端末１５はその情報をもとに再生する音声データの位置を検出し、該当する位置より再生を行う。タイムスタンプの特定は、上述と同様に端末側で行っても良い。
【００２５】
サーバー１１はさらに、上記で押された候補リストの１６９をもとに、図１４の録音分析データの該当する録音キャラクタリストのキーワード１４３を特定し、図６の資料分析データのキーワード６２を検索し、一致していたら、その資料及びページ表示の情報を端末１５に送信する。例えば、該当する資料の該当ページを送信してもよいし、すでに送信している場合には、資料とページの識別情報を送信してもよい。例えば、図１８では、資料Ｃ２の３ページが一致したと仮定して、サーバー１１より端末１５へ資料Ｃ２の３ページ目のデータ情報を送信している（１８−１５）。端末１５はこれらの情報を受信し、資料の３ページ目のデータをサーバー１１より読み込み、図１６−２の領域１６７のように資料ページを先の資料ページ１６６の上に重ねて表示する。なお、表示方法は他の適宜の方法でもよい。このように表示した録音リスト１６９を選択してその音声を聞くことと併せて、その音声にキーワードで結び付いた資料画面も併せて表示することが可能となる。
図１１−２に、候補リストが指定された場合の、サーバー１１と端末１５の処理の流れの概要を示す。動作は上述の通りであるので、説明を省略する。
再現の終了は、操作データ１３２のイベントによって自動に終了するが、端末１５が図１６−２の停止１６４が押されたことを検知し、サーバー１１へ再生終了のメッセージ（１８−１７）を送信することも可能である。サーバー１１はそれを受信して、終了通知を返送し（１８−１８）終了する。
このように会議や講習会などの資料を主とし、その場に参加できなかった人でも、後日あたかもその場にいたように会議や講習会の資料と音声をそのまま再現するだけでなく、録音音声のデータの聞かせ方と資料の見せ方を工夫し、会議や講習会資料の内容を効率よく再現し理解するシステムを提供する事ができる。
【産業上の利用可能性】
【００２６】
本発明は、例えば会議や講習会などの資料と音声を記録し、再現するコンピュータシステムに利用可能である。
【符号の説明】
【００２７】
１１  サーバー
１２  アクセスポイント
１３  端末（プレゼンタ）
１４  端末ｎ
１５  再現端末
２１  サーバーのＣＰＵ
２２  サーバーの記憶部
２３  サーバーの入力装置
２４  サーバーの出力装置
２５  サーバーの通信回線インターフェースＬＡＮ
３１  端末のＣＰＵ
３２  端末の記憶部
３２１  録音音声記録ファイル
３２２  端末のアプリケーション
３３  端末の入力装置
３３１  マイク
３４  端末の出力装置
３５  端末の通信回線インターフェースＬＡＮ
４１  資料登録画面の資料登録キー
４２  資料登録画面の自動キーワード登録開始キー
４３  資料登録画面の手動キーワード入力位置
４４  資料登録画面の手動キーワードサーチキー
４５  資料登録画面のキーワード削除キー
４６  資料登録画面の資料追加キー
４７  資料登録画面の資料のキーワード表示部
１５１  端末の再現画面の録音リスト表示部
１５２  端末の再現画面の録音リストのキー
１５３  端末の再現画面の候補録音リストのキー
１５４  端末の再現画面の資料表示部
１５５  端末の再現画面の再現開始キー
１５６  端末の再現画面の再現停止キー
【図１】
2013117879.tif 000003
【図２】
2013117879.tif 000004
【図３】
2013117879.tif 000005
【図４】
2013117879.tif 000006
【図５】
2013117879.tif 000007
【図６】
2013117879.tif 000008
【図７】
2013117879.tif 000009
【図８】
2013117879.tif 000010
【図９】
2013117879.tif 000011
【図１０】
2013117879.tif 000012
【図１１−１】
2013117879.tif 000013
【図１１−２】
2013117879.tif 000014
【図１２】
2013117879.tif 000015
【図１３】
2013117879.tif 000016
【図１４】
2013117879.tif 000017
【図１５】
2013117879.tif 000018
【図１６−１】
2013117879.tif 000019
【図１６−２】
2013117879.tif 000020
【図１７】
2013117879.tif 000021
【図１８】
2013117879.tif 000022
【図１９】
2013117879.tif 000023