(57)【特許請求の範囲】
【請求項１】
音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成する対応情報生成手段と、
前記対応情報にもとづいて、前記音声データまたは前記映像データに含まれる音声または映像と、前記文書データに含まれる文書とを対応付けて表示する対応表示手段と、
前記表示手段が表示する文書に対応する前記文書データを更新する文書更新手段と、
文書と音声または映像との対応関係を抽出する対応関係抽出手段と、
前記対応情報生成手段は、前記対応関係抽出手段によって抽出した前記対応関係にもとづいて対応情報を生成する手段と、
文書と音声または映像との対応関係の再計算を指示する再計算指示情報を出力し、対応関係抽出手段に前記対応関係を再計算させる対応関係再計算指示手段と、
文書データの各区間の表示画面上での表示の長さの表示方法を選択する表示方法選択手段とを備え、
前記表示方法選択手段は、利用者の選択指示に従って、前記各区間に対応する音声または映像の再生時間に比例した長さ、一定の長さ、または前記各区間に対応する文書の文書量に比例した長さのいずれかの表示方法を選択し、
前記対応表示手段は、文書データに含まれる文書の表示画面上での表示位置を、音声または映像の時間経過を示す時間情報に対応付けて表示し、前記表示方法選択手段が選択した表示方法に従って、前記各区間を表示する
ことを特徴とする文書作成閲覧装置。
【請求項２】
対応情報生成手段は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、前記区間ごとに音声または映像と文書とを対応付けた対応情報を生成し、
文書更新手段は、前記区間ごとに文書を生成、追加、修正または削除する
請求項１記載の文書作成閲覧装置。
【請求項３】
音声または映像を再生する再生手段を備え、
対応情報生成手段は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、前記区間ごとに音声または映像と文書とを対応付けた対応情報を生成し、
文書更新手段は、前記区間ごとに文書を生成、追加、修正または削除し、
前記再生手段は、前記音声データまたは前記映像データに含まれる音声または映像のうち、前記文書データに含まれる少なくとも１以上の区間に対応する部分の音声または映像を再生する
請求項１記載の文書作成閲覧装置。
【請求項４】
文書データは、会議の議事録、講演の講演録または講義の講義録の文書を含み、
音声データまたは映像データは、会議、講演または講義の内容を録音または録画した音声または映像を含む
請求項１から請求項３のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項５】
対応情報生成手段は、音声または映像の区間の開始時間と終了時間とを抽出し、前記開始時間および前記終了時間と文書データとを対応付けた対応情報を生成する請求項１から請求項４のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項６】
対応表示手段は、文書データの各区間に対応する音声または映像の時間経過を示す時間情報を表示する請求項１から請求項５のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項７】
対応表示手段は、文書データの各区間の表示画面上での表示の長さを、前記各区間に対応する音声または映像の再生時間に比例した長さで表示する請求項１から請求項６のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項８】
対応表示手段は、文書データの各区間の表示画面上での表示の長さを一定の長さで表示する請求項１から請求項６のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項９】
対応表示手段は、文書データの各区間の表示画面上での表示の長さを、前記各区間に対応する文書の文書量に比例した長さで表示する請求項１から請求項６のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項１０】
対応表示手段は、
音声または映像の時間長を、表示画面上で時間軸を示す表示バーの長さで表示し、
前記音声または映像の時間長の表示色と、前記音声または映像に対応する区間の文書の文字の表示色とを同じ色で表示する
請求項１から請求項９のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項１１】
音声または映像と文書との対応関係が成立しない場合を、音声または映像と文書との不整合の状態として検出する不整合検出手段と、
前記不整合を検出した場合に、音声または映像と文書との対応関係に不整合がある旨を表示する不整合表示手段とを備え、
前記不整合表示手段は、不整合の状態として、音声または映像の区間に対応する文書の区間が存在しない旨、または文書の区間に対応する音声または映像の区間が存在しない旨を表示する
請求項１から請求項１０のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項１２】
文書データを記憶する文書記憶手段と、
音声データまたは映像データを記憶する音声映像記憶手段とを備えた
請求項１から請求項１１のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項１３】
対応関係抽出手段は、音声認識または映像認識により生成したテキストと文書データに合まれる文書とを整合することによって、文書と音声または映像との対応関係を抽出する請求項１記載の文書作成閲覧装置。
【請求項１４】
対応関係抽出手段は、テキストまたは文書中に出現する単語を用いてダイナミックプログラムマッチング法によりテキストと文書とを整合する請求項１３記載の文書作成閲覧装置。
【請求項１５】
対応表示手段は、文書データに含まれる文書に加えて、対応関係抽出手段が生成したテキストのうち前記文書に対応するテキストを表示する請求項１３または請求項１４記載の文書作成閲覧装置。
【請求項１６】
テキストおよび文書の各区間に含まれる単語のうち、前記テキストと前記文書とを整合するための基本単位となる基本単語を抽出する基本単語抽出手段を備え、
対応関係抽出手段は、前記基本単語抽出手段が抽出した基本単語の集合である基本単語群の間の類似度を算出して比較することによって、文書と音声または映像との対応関係を抽出する
請求項１３記載の文書作成閲覧装置。
【請求項１７】
対応関係抽出手段は、基本単語抽出手段が抽出した基本単語を含む基本単語群にもとづいて、ダイナミックプログラミングマッチング法によりテキストと文書とを整合する請求項１６記載の文書作成閲覧装置。
【請求項１８】
対応表示手段は、文書データに含まれる文書に加えて、基本単語抽出手段が抽出した基本単語のうち前記文書に対応する基本単語を表示する請求項１６または請求項１７記載の文書作成閲覧装置。
【請求項１９】
対応関係抽出手段は、利用者の操作に従って、抽出した対応関係を修正する対応関係修正手段を備えた請求項１から請求項１８のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項２０】
文書更新手段により文書データが更新されたか否かを判断する文書更新判断手段を備え、
対応関係再計算指示手段は、文書データが更新されたと判断した場合に、再計算指示情報を出力して対応関係抽出手段に対応関係を再計算させる
請求項１記載の文書作成閲覧装置。
【請求項２１】
文書データにもとづいて文書を出力する出力手段を備えた請求項１から請求項２０のうちのいずれか１項に記載の文書作成閲覧装置。
【請求項２２】
請求項１から請求項２１のうちのいずれか１項に記載の文書作成閲覧装置を搭載した文書作成閲覧ロボット。
【請求項２３】
コンピュータに、
音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成する処理と、
前記対応情報にもとづいて、前記音声データまたは前記映像データに含まれる音声または映像と、前記文書データに含まれる文書とを対応付けて表示する処理と、
表示した文書に対応する前記文書データを更新する処理と、
文書データに含まれる文書の表示画面上での表示位置を、音声または映像の時間経過を示す時間情報に対応付けて表示する処理と、
文書と音声または映像との対応関係の再計算を指示する再計算指示情報を出力し、前記対応関係を再計算する処理と、
利用者の選択指示に従って、文書データの各区間の表示画面上での表示の長さの表示方法として、前記各区間に対応する音声または映像の再生時間に比例した長さ、一定の長さ、または前記各区間に対応する文書の文書量に比例した長さのいずれかの表示方法を選択する処理と、
選択した表示方法に従って、前記各区間を表示する処理とを実行させることを特徴とする文書作成閲覧プログラム。
【請求項２４】
音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、前記区間ごとに音声または映像と文書とを対応付けた対応情報を生成する処理と、
前記区間ごとに文書を生成、追加、修正または削除する処理を実行させる
請求項２３記載の文書作成閲覧プログラム。
【請求項２５】
コンピュータに、
音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、前記区間ごとに音声または映像と文書とを対応付けた対応情報を生成する処理と、
前記区間ごとに文書を生成、追加、修正または削除する処理と、
前記音声データまたは前記映像データに含まれる音声または映像のうち、前記文書データに含まれる少なくとも１以上の区間に対応する部分の音声または映像を再生する処理とを実行させる
請求項２３記載の文書作成閲覧プログラム。
【請求項２６】
コンピュータに、会議の議事録、講演の講演録または講義の講義録の文書を含む文書データと、会議、講演または講義の内容を録音または録画した音声または映像を含む音声データまたは映像データにもとづいて処理を実行させる請求項２３から請求項２５のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項２７】
コンピュータに、音声または映像の区間の開始時間と終了時間とを抽出し、前記開始時間および前記終了時間と文書データとを対応付けた対応情報を生成する処理を実行させる請求項２３から請求項２６のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項２８】
コンピュータに、文書データの各区間に対応する音声または映像の時間経過を示す時間情報を表示する処理を実行させる請求項２３から請求項２７のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項２９】
コンピュータに、文書データの各区間の表示画面上での表示の長さを、前記各区間に対応する音声または映像の再生時間に比例した長さで表示する処理を実行させる請求項２３記載の文書作成閲覧プログラム。
【請求項３０】
コンピュータに、文書データの各区間の表示画面上での表示の長さを一定の長さで表示する処理を実行させる請求項２３記載の文書作成閲覧プログラム。
【請求項３１】
コンピュータに、文書データの各区間の表示画面上での表示の長さを、前記各区間に対応する文書の文書量に比例した長さで表示する処理を実行させる請求項２３記載の文書作成閲覧プログラム。
【請求項３２】
コンピュータに、音声または映像の時間長を、表示画面上で時間軸を示す表示バーの長さで表示し、前記音声または映像の時間長の表示色と、前記音声または映像に対応する区間の文書の文字の表示色とを同じ色で表示する処理を実行させる請求項２３から請求項３１のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項３３】
コンピュータに、
音声または映像と文書との対応関係が成立しない場合を、音声または映像と文書との不整合の状態として検出する処理と、
前記不整合を検出した場合に、不整合の状態として、音声または映像の区間に対応する文書の区間が存在しない旨、または文書の区間に対応する音声または映像の区間が存在しない旨を表示する処理とを実行させる
請求項２３から請求項３２のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項３４】
コンピュータに、
文書と音声または映像との対応関係を抽出する処理と、
抽出した前記対応関係にもとづいて対応情報を生成する処理とを実行させる
請求項２３から請求項３３のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項３５】
コンピュータに、
文書データを記憶する文書記憶手段に、利用者が入力した文書にもとづいて生成した文書データを記憶させる処理と、
音声データまたは映像データを記憶する音声映像記憶手段に、会話内容を録音または録画して生成した音声データまたは映像データを記憶させる処理とを実行させる
請求項２３から請求項３４のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項３６】
コンピュータに、音声認識または映像認識により生成したテキストと文書データに含まれる文書とを整合することによって、文書と音声または映像との対応関係を抽出する処理を実行させる請求項３４記載の文書作成閲覧プログラム。
【請求項３７】
コンピュータに、テキストまたは文書中に出現する単語を用いてダイナミックプログラムマッチング法によりテキストと文書とを整合する処理を実行させる請求項３６記載の文書作成閲覧プログラム。
【請求項３８】
コンピュータに、文書データに含まれる文書に加えて、生成したテキストのうち前記文書に対応するテキストを表示する処理を実行させる請求項３６または請求項３７記載の文書作成閲覧プログラム。
【請求項３９】
コンピュータに、
テキストおよび文書の各区間に含まれる単語のうち、前記テキストと前記文書とを整合するための基本単位となる基本単語を抽出する処理と、
抽出した基本単語の集合である基本単語群の間の類似度を算出して比較することによって、文書と音声または映像との対応関係を抽出する処理とを実行させる
請求項３６記載の文書作成閲覧プログラム。
【請求項４０】
コンピュータに、抽出した基本単語を含む基本単語群にもとづいて、ダイナミックプログラミングマッチング法によりテキストと文書とを整合する処理を実行させる請求項３９記載の文書作成閲覧プログラム。
【請求項４１】
コンピュータに、文書データに含まれる文書に加えて、抽出した基本単語のうち前記文書に対応する基本単語を表示する処理を実行させる請求項３９または請求項４０記載の文書作成閲覧プログラム。
【請求項４２】
コンピュータに、利用者の操作に従って、抽出した対応関係を修正する処理を実行させる請求項２３から請求項４１のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項４３】
コンピュータに、
文書データが更新されたか否かを判断する処理と、
文書データが更新されたと判断した場合に、再計算指示情報を出力して対応関係を再計算する処理とを実行させる
請求項２３から請求項４２のうちのいずれか１項に記載の文書作成閲覧プログラム。
【請求項４４】
コンピュータに、文書データにもとづいて文書を出力する処理を実行させる請求項２３から請求項４３のうちのいずれか１項に記載の文書作成閲覧プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、マルチメディア利用技術一般に関連し、より具体的には、会議や講演などの文書を作成する際に、会議や講演などを録音した音声データまたは録画した映像データと作成文書とを対応付けることにより、文書を作成し、閲覧することができる文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムに関する。
【背景技術】
【０００２】  ビデオレコーダやテープレコーダなどの機器を用いて、会議や講演の様子を録画したり音声を録音することにより会議や講演を記録し、議事録や講演録の作成支援を行う場合がある。この場合、録画または録音した映像や音声にもとづいて文書化作業が行われるが、議事録／講演録作成者は、会議や講演後に映像を再生して見たり音声を再生して聞いたりしながら議事録作成を行わなければならない。そのため、会議や講演と同じかまたはそれより長い時間を費やして、繰り返し映像を見なおしたり音声を聞きなおしたりながら、議事録／講演録を作成しなければならず、議事録／講演録作成者の作業負担が大きい。【０００３】  議事録などを作成または作成支援する技術として、特許文献１には、会議で発言された音声メモからテキストメモを起こす際に、音声再生範囲を指定して再生できるようにして議事録作成者の負担を軽減する議事録作成支援装置が記載されている。特許文献１に記載されている議事録作成支援装置は、所定の範囲の会議参加者にのみ聞こえるように音声を再生する再生手段を備える。また、議事録作成支援装置の文章化手段は、再生された音声メモをもとにテキストメモを作成し、指定によりそのテキストメモを構造化する。さらに、議事録作成支援装置の表示手段は、構造化されたテキストメモを表示する。【０００４】  また、特許文献２には、出席者に負担をかけずに議事録を自動作成できるインテリジェント会議サポートシステムが記載されている。特許文献２に記載されているインテリジェント会議サポートシステムでは、議事録作成装置は、音声テキストデータを、音声収集装置が出力する音声基礎データにもとづいて意味解析を行い漢字混じり文章に変換する。そして、議事録作成装置は、変換された文章にもとづいて会議の議事録を作成する。【０００５】  また、特許文献３には、会議終了直後にリアルタイムに議事録を自動作成して自動送信できる議事録自動作成方式が記載されている。特許文献３に記載されている議事録自動作成方式では、議事録作成装置は、音声認識の技術を用いて、映像情報や音声情報をもとに自動的に文書を作成する。この文書作成の際に、司会者などのオペレータが音声会議情報を適当な区間に区切り同時に区間に対するキーワードを入力することによって、音声認識の精度向上を図り、オペレータの定義した区間ごとの音声データをテキストデータに変換して議事録を作成する。
【特許文献１】特開平８−１９４４９２号公報（第４−６頁、第１−３図）
【特許文献２】特開２０００−１１２９３１号公報（第３−９頁、第１−３図）
【特許文献３】特開２００２−３４４６３６号公報（第３−５頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】  特許文献１に記載されている議事録作成支援装置によれば、音声メモを所定の会議参加者に聞こえるように再生範囲を指定して再生するので、議論の進行を妨げることを防ぐことができる。また、議事録作成中に音声メモの内容が不明確であれば、参加者全員で再検討ができるので、発言内容を正しく文章化し、各発言の関連性を明確にした高品質の議事録を迅速に作成することができる。しかし、議事録作成者が会議を録音した音声を繰り返し聞きなおしながら議事録を作成しなければならないことに変わりはなく、議事録作成者にとって依然として負担が大きい。【０００７】  また、特許文献２に記載されているインテリジェント会議サポートシステムや特許文献３に記載されている議事録自動作成方式によれば、議事録を自動作成することによって議事録作成者の負担を軽減することができる。しかし、テキスト化が音声認識に依存しているので、音声認識の精度が十分ではない場合、作成されたテキストは誤りを多く含んだものとなる場合がある。そのため、利用者が理解可能な表現に変更するための労力が大きくなり、かえって作成コストが大きくなる場合がある。特に、規模の大きい会議場や講演会場においては、一般に集音状況がよくないので、音声認識の精度が問題となる場合が多い。【０００８】  また、国会や地方議会の討論などでは発言に忠実に議事録が作成される場合が多いのに対して、企業で行われる会議などでは、議事や参加者の発言をそのまま纏めるのではなく、参加者にとって有意義な部分のみを抜粋してコンパクトに纏めて要約した議事録が作成される場合が多い。こうした場合に、音声認識によって音声データをテキストデータに変換するだけでは、議事録を作成するのに十分ではない。すなわち、こうした要約を含めたコンパクトな議事／講演録生成を自動化することは、音声認識技術を用いるのみでは有意義な部分の抜粋ができず困難である。【０００９】  また、参加者にとって有意義な部分のみを纏めるという作業では、纏めた内容のレビューを参加者全員が行うというケースも多い。こうした場合に、各参加者が、音声認識によって生成された文書を見ただけでは、議事や発言中のどの項目がとりあげられていて、どの項目が取り上げられていないかなどを判断するのが困難であり、文書を修正できない場合がある。【００１０】  さらに、音声認識の精度をあげるために、高性能のマイクロフォンを用いて集音状態を向上させることが考えられる。しかし、発話者ごとに別々の入力装置／解析装置などを設置する必要があり、システム全体の規模が大きくなってコストが大きくなる。【００１１】  そこで、本発明は、上記課題を解決するためになされたものであって、会議や講演などを録画した映像データまたは録音した音声データにもとづいて文書を効率的に作成できるとともに、文書作成者や参加者が要約された文書を映像あるいは音声とともに閲覧することができ、複数人による文書作成を効率的に行える文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムを提供することを目的とする。【００１２】  また、本発明は、国会や著名人の講演などにおいて、専門的技能を持つ速記者により議事録／講演録を作成すると���うようなコストをかけずに、参加者が講演や会議参加時などに作成したメモに基づいて作成した文書を編集したり追加することによって安価に文書を作成できる文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムを提供することを目的とする。【００１３】  また、本発明は、会議の発言や講演を忠実し再現した議事録を作成し閲覧できるようにするのみならず、会議内容や講演内容の閲覧または確認用に、会議または講演内容を要約して説明する文書を作成でき閲覧することができる文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムを提供することを目的とする。【００１４】  さらに、本発明は、音声認識の精度が十分でない場合であっても、音声認識を利用して、文書を作成し閲覧することができる文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】  本発明による文書作成閲覧方法は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成するステップと、対応情報にもとづいて、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けて表示するステップと、表示した文書に対応する文書データを更新するステップとを含むことを特徴とする。【００１６】  また、文書作成閲覧方法は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、区間ごとに音声または映像と文書とを対応付けた対応情報を生成するステップと、区間ごとに文書を生成、追加、修正または削除するステップを含むものであってもよい。そのような構成によれば、利用者は、文書全体のうち修正したい箇所の区間の文書のみを選択して編集することができる。従って、利用者が文書を作成する際の作業の効率化を図ることができる。【００１７】  また、文書作成閲覧方法は、音声認識または映像認識により生成したテキストと文書データに含まれる文書とを整合することによって、文書と音声または映像との対応関係を抽出するステップと、対応関係にもとづいて対応情報を生成するステップとを含むものであってもよい。そのような構成によれば、単語や音素などを抽出して比較することにより、文書と音声または映像との対応関係を抽出することができる。【００１８】  また、文書作成閲覧方法は、テキストおよび文書の各区間に含まれる単語のうち、テキストと文書とを整合するための基本単位となる基本単語を抽出するステップと、抽出した基本単語の集合である基本単語群の間の類似度を算出して比較することによって、文書と音声または映像との対応関係を抽出するステップと、対応関係にもとづいて対応情報を生成するステップとを含むものであってもよい。そのような構成によれば、講演会場の集音状態がよくない場合などであっても、音声認識の精度を補完することができ、システム全体の規模や設備コストを低減することができる。【００１９】  本発明による文書作成閲覧装置は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成する対応情報生成手段と、対応情報にもとづいて、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けて表示する対応表示手段と、表示手段が表示する文書に対応する文書データを更新する文書更新手段とを備えたことを特徴とする。【００２０】  また、対応情報生成手段は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、区間ごとに音声または映像と文書とを対応付けた対応情報を生成し、文書更新手段は、区間ごとに文書を生成、追加、修正または削除するものであってもよい。そのような構成によれば、利用者は、文書全体のうち修正したい箇所の区間の文書のみを選択して編集することができる。従って、利用者が文書を作成する際の作業の効率化を図ることができる。【００２１】  また、文書生成閲覧装置は、音声または映像を再生する再生手段を備え、対応情報生成���段は、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、区間ごとに音声または映像と文書とを対応付けた対応情報を生成し、文書更新手段は、区間ごとに文書を生成、追加、修正または削除し、再生手段は、音声データまたは映像データに含まれる音声または映像のうち、文書データに含まれる少なくとも１以上の区間に対応する部分の音声または映像を再生するものであってもよい。そのような構成によれば、利用者は、文書の内容のうち確認したい箇所の区間の音声または映像のみを選択して再生し内容を確認することができる。従って、利用者が文書を作成する際の作業の効率化を図ることができる。【００２２】  また、文書生成閲覧装置において、文書データは、会議の議事録、講演の講演録または講義の講義録の文書を含み、音声データまたは映像データは、会議、講演または講義の内容を録音または録画した音声または映像を含むものであってもよい。そのような構成によれば、議事録、講演録または講義録作成の効率化を図ることができる。【００２３】  また、対応情報生成手段は、音声または映像の区間の開始時間と終了時間とを抽出し、開始時間および終了時間と文書データとを対応付けた対応情報を生成するものであってもよい。そのような構成によれば、対応情報にもとづいて、利用者に音声または映像の開始時間および終了時間と文書とを対応付けて表示し提示することができる。【００２４】  また、対応表示手段は、文書データの各区間に対応する音声または映像の時間経過を示す時間情報を表示するものであってもよい。そのような構成によれば、利用者に音声または映像の時間経過を視覚的に提示することができる。【００２５】  また、対応表示手段は、文書データに含まれる文書の表示画面上での表示位置を、音声または映像の時間経過を示す時間情報に対応付けて表示するものであってもよい。そのような構成によれば、利用者に音声または映像の時間経過と、対応する文書とを対応付けて視覚的に提示することができる。【００２６】  また、対応表示手段は、文書データの各区間の表示画面上での表示の長さを、各区間に対応する音声または映像の再生時間に比例した長さで表示するものであってもよい。そのような構成によれば、利用者は、会議などにおいて各案件ごとにどの程度の時間がついやされたかを直感的に理解し把握することができる。【００２７】  また、対応表示手段は、文書データの各区間の表示画面上での表示の長さを一定の長さで表示するものであってもよい。そのような構成によれば、利用者は、画面上に表示されている音声、映像や文書の区間の数や全体の区間数を直感的に把握することができる。【００２８】  また、対応表示手段は、文書データの各区間の表示画面上での表示の長さを、各区間に対応する文書の文書量に比例した長さで表示するものであってもよい。そのような構成によれば、文書を表示する表示密度を高めることができる。また、利用者は、全体的にコンパクトに文書を閲覧したり作成することができる。【００２９】  また、文書作成閲覧装置は、文書データの各区間の表示画面上での表示の長さの表示方法を選択する表示方法選択手段を備え、表示方法選択手段は、利用者の選択指示に従って、各区間に対応する音声または映像の再生時間に比例した長さ、一定の長さ、または各区間に対応する文書の文書量に比例した長さのいずれかの表示方法を選択し、対応表示手段は、表示方法選択手段が選択した表示方法に従って、各区間を表示するものであってもよい。そのような構成によれば、利用者は、文書の用途に応じて文書の表示方法を自由に選択することができ、文書の作成作業を効率的に行うことができる。【００３０】  また、対応表示手段は、音声または映像の時間長を、表示画面上で時間軸を示す表示バーの長さで表示し、音声または映像の時間長の表示色と、音声または映像に対応する区間の文書の文字の表示色とを同じ色で表示するものであってもよい。そのような構成によれば、利用者は、音声または映像と文書との区間ごとの対応関係を視覚的に認識しやすくなる。【００３１】  また、文書作成閲覧装置は、音声または映像と文書との対応関係が成立しない場合を、音声または映像と文書との不整合の状態として検出する不整合検出手段と、不整合を検出した場合に、音声または映像と文書との対応関係に不整合がある旨を表示する不整合表示手段とを備え、不整合表示手段は、不整合の状態として、音声または映像の区間に対応する文書の区間が存在しない旨、または文書の区間に対応する音声または映像の区間が存在しない旨を表示するものであってもよい。そのような構成によれば、対応する文書が存在しない音声または映像の部分が含まれる場合や、対応する音声または映像が存在しない文書の部分が含まれる場合でも、利用者は、音声または映像と文書との対応関係を正しく認識することができる。【００３２】  また、文書作成閲覧装置は、文書と音声または映像との対応関係を抽出する対応関係抽出手段を備え、対応情報生成手段は、抽出した対応関係にもとづいて対応情報を生成するものであってもよい。【００３３】  また、文書作成閲覧装置は、文書データを記憶する文書記憶手段と、音声データまたは映像データを記憶する音声映像記憶手段とを備えたものであってもよい。そのような構成によれば、会議や講演などの記録データを一旦蓄積し、会議や講演の終了後に議事録や講演録などの文書を作成することができる。【００３４】  また、対応関係抽出手段は、音声認識または映像認識により生成したテキストと文書データに含まれる文書とを整合することによって、文書と音声または映像との対応関係を抽出するものであってもよい。そのような構成によれば、単語や音素などを抽出して比較することにより、文書と音声または映像との対応関係を抽出することができる。【００３５】  また、対応関係抽出手段は、テキストまたは文書中に出現する単語を用いてダイナミックプログラムマッチング法によりテキストと文書とを整合するものであってもよい。そのような構成によれば、対応関係の計算結果を再利用しながら効率的な計算処理を行って、音声または映像と文書との対応付けを行うことができる。【００３６】  また、対応表示手段は、文書データに含まれる文書に加えて、対応関係抽出手段が生成したテキストのうち文書に対応するテキストを表示するものであってもよい。そのような構成によれば、音声や映像に対応する文書の記���がない部分が含まれる場合であっても、記述がない部分の会議内容を利用者が容易に理解することができる。【００３７】  また、文書作成閲覧装置は、テキストおよび文書の各区間に含まれる単語のうち、テキストと文書とを整合するための基本単位となる基本単語を抽出する基本単語抽出手段を備え、対応関係抽出手段は、基本単語抽出手段が抽出した基本単語の集合である基本単語群の間の類似度を算出して比較することによって、文書と音声または映像との対応関係を抽出するものであってもよい。そのような構成によれば、講演会場の集音状態がよくない場合などであっても、音声認識の精度を補完することができ、システム全体の規模や設備コストを低減することができる。【００３８】  また、対応関係抽出手段は、基本単語抽出手段が抽出した基本単語を含む基本単語群にもとづいて、ダイナミックプログラミングマッチング法によりテキストと文書とを整合するものであってもよい。そのような構成によれば、基本単語にもとづいて、対応関係の計算結果を再利用しながら効率的な計算処理を行って、音声または映像と文書との対応付けを行うことができる。【００３９】  また、対応表示手段は、文書データに含まれる文書に加えて、基本単語抽出手段が抽出した基本単語のうち文書に対応する基本単語を表示するものであってもよい。そのような構成によれば、利用者は、各区間に記載されている内容を即座に理解することができる。【００４０】  また、対応関係抽出手段は、利用者の操作に従って、抽出した対応関係を修正する対応関係修正手段を備えたものであってもよい。そのような構成によれば、利用者は、誤った音声または映像と文書との対応関係が提示された場合であっても、対応関係を修正して効率的な文書作成を行うことができる。【００４１】  また、文書作成閲覧装置は、文書と音声または映像との対応関係の再計算を指示する再計算指示情報を出力し、対応関係抽出手段に対応関係を再計算させる対応関係再計算指示手段を備えたものであってもよい。そのような構成によれば、文書が編集され更新された場合に、音声または映像と文書との対応関係を再計算して利用者に提示することができる。【００４２】  また、文書作成閲覧装置は、文書更新手段により文書データが更新されたか否かを判断する文書更新判断手段を備え、対応関係再計算指示手段は、文書データが更新されたと判断した場合に、再計算指示情報を出力して対応関係抽出手段に対応関係を再計算させるものであってもよい。そのような構成によれば、文書が更新されたことを検出して、音声または映像と文書との対応関係を計算して利用者に提示することができる。【００４３】  また、文書作成閲覧装置は、文書データにもとづいて文書を出力する出力手段を備えたものであってもよい。そのような構成によれば、完成した議事録や講演録などの文書を印刷などして出力することができる。【００４４】  本発明による文書作成閲覧ロボットは、文書作成閲覧装置を搭載したことを特徴とする。【００４５】  本発明による文書作成閲覧プログラムは、コンピュータに、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成する処理と、対応情報に���とづいて、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けて表示する処理と、表示した文書に対応する文書データを更新する処理とを実行させることを特徴とする。【００４６】  また、文書作成閲覧プログラムは、コンピュータに、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、区間ごとに音声または映像と文書とを対応付けた対応情報を生成する処理と、区間ごとに文書を生成、追加、修正または削除する処理とを実行させるものであってもよい。そのような構成によれば、利用者は、文書全体のうち修正したい箇所の区間の文書のみを選択して編集することができる。従って、利用者が文書を作成する際の作業の効率化を図ることができる。【００４７】  また、文書作成閲覧プログラムは、コンピュータに、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを所定の区間に分割し、区間ごとに音声または映像と文書とを対応付けた対応情報を生成する処理と、区間ごとに文書を生成、追加、修正または削除する処理と、音声データまたは映像データに含まれる音声または映像のうち、文書データに含まれる少なくとも１以上の区間に対応する部分の音声または映像を再生する処理とを実行させるものであってもよい。そのような構成によれば、利用者は、文書の内容のうち確認したい箇所の区間の音声または映像のみを選択して再生し内容を確認することができる。従って、利用者が文書を作成する際の作業の効率化を図ることができる。【００４８】  また、文書作成閲覧プログラムは、コンピュータに、会議の議事録、講演の講演録または講義の講義録の文書を含む文書データと、会議、講演または講義の内容を録音または録画した音声または映像を含む音声データまたは映像データにもとづいて処理を実行させるものであってもよい。そのような構成によれば、議事録、講演録または講義録作成の効率化を図ることができる。【００４９】  また、文書作成閲覧プログラムは、コンピュータに、音声または映像の区間の開始時間と終了時間とを抽出し、開始時間および終了時間と文書データとを対応付けた対応情報を生成する処理を実行させるものであってもよい。そのような構成によれば、対応情報にもとづいて、利用者に音声または映像の開始時間および終了時間と文書とを対応付けて表示し提示することができる。【００５０】  また、文書作成閲覧プログラムは、コンピュータに、文書データの各区間に対応する音声または映像の時間経過を示す時間情報を表示する処理を実行させるものであってもよい。そのような構成によれば、利用者に音声または映像の時間経過を視覚的に提示することができる。【００５１】  また、文書作成閲覧プログラムは、コンピュータに、文書データに含まれる文書の表示画面上での表示位置を、音声または映像の時間経過を示す時間情報に対応付けて表示する処理を実行させるものであってもよい。そのような構成によれば、利用者に音声または映像の時間経過と、対応する文書とを対応付けて視覚的に提示することができる。【００５２】  また、文書作成閲覧プログラムは、コンピュータに、文書データの各区間��表示画面上での表示の長さを、各区間に対応する音声または映像の再生時間に比例した長さで表示する処理を実行させるものであってもよい。そのような構成によれば、利用者は、会議などにおいて各案件ごとにどの程度の時間がついやされたかを直感的に理解し把握することができる。【００５３】  また、文書作成閲覧プログラムは、コンピュータに、文書データの各区間の表示画面上での表示の長さを一定の長さで表示する処理を実行させるものであってもよい。そのような構成によれば、利用者は、画面上に表示されている音声、映像や文書の区間の数や全体の区間数を直感的に把握することができる。【００５４】  また、文書作成閲覧プログラムは、コンピュータに、文書データの各区間の表示画面上での表示の長さを、各区間に対応する文書の文書量に比例した長さで表示する処理を実行させるものであってもよい。そのような構成によれば、文書を表示する表示密度を高めることができる。また、利用者は、全体的にコンパクトに文書を閲覧したり作成することができる。【００５５】  また、文書作成閲覧プログラムは、コンピュータに、利用者の選択指示に従って、文書データの各区間の表示画面上での表示の長さの表示方法として、各区間に対応する音声または映像の再生時間に比例した長さ、一定の長さ、または各区間に対応する文書の文書量に比例した長さのいずれかの表示方法を選択する処理と、選択した表示方法に従って、各区間を表示する処理とを実行させるものであってもよい。そのような構成によれば、利用者は、文書の用途に応じて文書の表示方法を自由に選択することができ、文書の作成作業を効率的に行うことができる。【００５６】  また、文書作成閲覧プログラムは、コンピュータに、音声または映像の時間長を、表示画面上で時間軸を示す表示バーの長さで表示し、音声または映像の時間長の表示色と、音声または映像に対応する区間の文書の文字の表示色とを同じ色で表示する処理を実行させるものであってもよい。そのような構成によれば、利用者は、音声または映像と文書との区間ごとの対応関係を視覚的に認識しやすくなる。【００５７】  また、文書作成閲覧プログラムは、コンピュータに、音声または映像と文書との対応関係が成立しない場合を、音声または映像と文書との不整合の状態として検出する処理と、不整合を検出した場合に、不整合の状態として、音声または映像の区間に対応する文書の区間が存在しない旨、または文書の区間に対応する音声または映像の区間が存在しない旨を表示する処理とを実行させるものであってもよい。そのような構成によれば、対応する文書が存在しない音声または映像の部分が含まれる場合や、対応する音声または映像が存在しない文書の部分が含まれる場合でも、利用者は、音声または映像と文書との対応関係を正しく認識することができる。【００５８】  また、文書作成閲覧プログラムは、コンピュータに、文書と音声または映像との対応関係を抽出する処理と、抽出した対応関係にもとづいて対応情報を生成する処理とを実行させるものであってもよい。【００５９】  また、文書作成閲覧プログラムは、コンピュータに、文書データを記憶する文書記憶手段に、利用者が入力した文書にもとづいて生成した文書データを記憶させる処理と、音声データまたは映像データを記憶する音声映像記憶手段に、会話内容を録音または録画して生成した音声データまたは映像データを記憶させる処理とを実行させるものであってもよい。そのような構成によれば、会議や講演などの記録データを一旦蓄積し、会議や講演の終了後に議事録や講演録などの文書を作成することができる。【００６０】  また、文書作成閲覧プログラムは、コンピュータに、音声認識または映像認識により生成したテキストと文書データに含まれる文書とを整合することによって、文書と音声または映像との対応関係を抽出する処理を実行させるものであってもよい。そのような構成によれば、単語や音素などを抽出して比較することにより、文書と音声または映像との対応関係を抽出することができる。【００６１】  また、文書作成閲覧プログラムは、コンピュータに、コンピュータに、テキストまたは文書中に出現する単語を用いてダイナミックプログラムマッチング法によりテキストと文書とを整合する処理を実行させるものであってもよい。そのような構成によれば、対応関係の計算結果を再利用しながら効率的な計算処理を行って、音声または映像と文書との対応付けを行うことができる。【００６２】  また、文書作成閲覧プログラムは、コンピュータに、文書データに含まれる文書に加えて、生成したテキストのうち文書に対応するテキストを表示する処理を実行させるものであってもよい。そのような構成によれば、音声や映像に対応する文書の記述がない部分が含まれる場合であっても、記述がない部分の会議内容を利用者が容易に理解することができる。【００６３】  また、文書作成閲覧プログラムは、コンピュータに、テキストおよび文書の各区間に含まれる単語のうち、テキストと文書とを整合するための基本単位となる基本単語を抽出する処理と、抽出した基本単語の集合である基本単語群の間の類似度を算出して比較することによって、文書と音声または映像との対応関係を抽出する処理とを実行させるものであってもよい。そのような構成によれば、講演会場の集音状態がよくない場合などであっても、音声認識の精度を補完することができ、システム全体の規模や設備コストを低減することができる。【００６４】  また、文書作成閲覧プログラムは、コンピュータに、抽出した基本単語を含む基本単語群にもとづいて、ダイナミックプログラミングマッチング法によりテキストと文書とを整合する処理を実行させるものであってもよい。そのような構成によれば、基本単語にもとづいて、対応関係の計算結果を再利用しながら効率的な計算処理を行って、音声または映像と文書との対応付けを行うことができる。【００６５】  また、文書作成閲覧プログラムは、コンピュータに、文書データに含まれる文書に加えて、抽出した基本単語のうち前記文書に対応する基本単語を表示する処理を実行させるものであってもよい。そのような構成によれば、利用者は、各区間に記載されている内容を即座に理解することができる。【００６６】  また、文書作成閲覧プログラムは、コンピュータに、利用者の操作に従って、抽出した対応関係を修正する処理を実行させるものであってもよい。そのような構成によれば、利用者は、誤った音声または映像���文書との対応関係が提示された場合であっても、対応関係を修正して効率的な文書作成を行うことができる。【００６７】  また、文書作成閲覧プログラムは、コンピュータに、文書と音声または映像との対応関係の再計算を指示する再計算指示情報を出力し、対応関係を再計算する処理を実行させるものであってもよい。そのような構成によれば、文書が編集され更新された場合に、音声または映像と文書との対応関係を再計算して利用者に提示することができる。【００６８】  また、文書作成閲覧プログラムは、コンピュータに、文書データが更新されたか否かを判断する処理と、文書データが更新されたと判断した場合に、再計算指示情報を出力して対応関係を再計算する処理とを実行させるものであってもよい。そのような構成によれば、文書が更新されたことを検出して、音声または映像と文書との対応関係を計算して利用者に提示することができる。【００６９】  また、文書作成閲覧プログラムは、コンピュータに、文書データにもとづいて文書を出力する処理を実行させるものであってもよい。そのような構成によれば、完成した議事録や講演録などの文書を印刷などして出力することができる。
【発明の効果】
【００７０】  本発明によれば、文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラムを、生成した対応情報にもとづいて音声または映像と文書とを対応付けて表示し、表示した文書に対応する文書データを更新するように構成したので、音声または映像をすべて再生しなくても、利用者が表示画面を確認して文書作成に必要な特定の箇所の音声または映像のみを再生しながら文書を編集することができ、利用者が文書を作成する際の効率化を図ることができる。また、複数の利用者が文書を作成する場合に、文書が作成された根拠や文書の特定の箇所に対応する音声や映像を各利用者が容易に再生し閲覧することができる。そのため、利用者全員が文書の内容を即座に理解することができ、複数の利用者が文書を作成する際の効率化を図ることができる。従って、会議や講演などを録画した映像情報または録音した音声情報にもとづいて文書を効率的に作成できるとともに、文書作成者や参加者が要約された文書を映像あるいは音声とともに閲覧することができ、複数人による文書作成を効率的に行えるようにすることができる。
【発明を実施するための最良の形態】
【００７１】実施の形態１．
以下、本発明の実施の形態を図面を参照して説明する。図１は、本発明による文書作成閲覧装置の構成の一例を示すブロック図である。図１に示すように、文書作成閲覧装置は、音声や映像を入力するための音声／映像入力手段１０と、文書を入力するための文書入力手段２０と、音声データや映像データを記憶する音声／映像記憶手段３０と、文書データを記憶する文書記憶手段４０と、音声または映像と文書との対応関係を導出する対応関係導出手段５０と、音声や映像と文書との対応関係を表示して提示する対応関係提示手段６０と、音声や映像を再生する対応音声／映像再生手段８０と、文書データを編集するための文書編集手段７０と、文書を出力する出力手段９０と、対応関係の再計算を指示する対応関係更新指示手段１００と、文書編集の状態をモニタする文書編集状態観察手段１１０とを含む。【００７２】  本実施の形態では、以下、文書作成閲覧装置を用いて、会議に参加した議事録作成者が、文書として会議録（議事録）の作成を行う場合を例に説明する。なお、文書作成閲覧装置は、議事録の作成に限らず、講演や講義その他一般的な事象において文書を作成する場合にも適用可能である。【００７３】  音声／映像入力手段１０は、ビデオカメラなどの映像入力装置、マイクロフォンなどの音声入力装置およびコンピュータなどの情報処理装置によって実現される。音声／映像入力手段１０は、文書作成（本例では、議事録作成）の対象となる会議などの事象の映像を録画して映像データを生成し、会議内容の音声を録音して音声データを生成する。なお、本実施の形態における議事録作成においては、会議の様子を撮影する一台または複数のビデオカメラが設置され、会議室の机上にテープレコーダやマイクロフォンと連動した音声レコーダなどが設置されている場合を例に説明する。【００７４】  文書入力手段２０は、キーボード、ペン入力デバイスまたはスキャナなどのテキスト入力機器およびコンピュータなどの情報処理装置によって実現される。文書入力手段２０は、文書作成の対象の会議などの事象について説明した文書の入力を受け付ける。例えば、文書入力手段２０は、議事録作成者の操作に従って、議事録作成者が他の会議参加者が作成したメモなどをもとに作成した第一稿の議事録（議事録案）の入力を受け付ける。また、文書入力手段２０は、入力された文書にもとづいて文書データを生成する。【００７５】  本実施の形態における議事録作成においては、文書入力手段２０として、議事録を作成するためのキーボード、紙面に作成した議事録を読み込んで記録するためのスキャナやＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）が会議室内に設置されている場合を説明する。なお、文書入力手段２０として、他のワープロソフトで作成した文書を読み込む入力機器などが設置されていてもよい。【００７６】  音声／映像記憶手段３０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリやハードディスクなどの記録媒体である。音声／映像記憶手段３０は、音声／映像入力手段１０が生成する音声データや映像データを記憶する。文書記憶手段４０は、ＲＡＭ、フラッシュメモリやハードディスクなどの記録媒体である。文書記憶手段４０は、文書入力手段２０が生成する文書データを記憶する。また、文書記憶手段４０は、文書編集手段７０によって編集され更新された文書データを記憶する。【００７７】  対応関係導出手段５０は、音声／映像記憶手段３０が記憶する音声データや映像データと、文書記憶手段４０が記憶する文書データとを比較し、音声または映像中の区間と文書中の区間との対応関係を導出する。例えば、対応関係導出手段５０は、音声または映像中のある区間が文書に含まれるいずれの区間に対応するかを示す対応関係を導出する。【００７８】  対応関係提示手段６０は、対応関係導出手段５０が導出した音声／映像と文書との対応関係を、表示部（図示せず）などに表示して、文書作成者や会議参加者などに提示する。対応音声／映像再生手段８０は、対応関係提示手段６０が提示した対応関係を確認した会議参加者などの再生指示に従って、文書の特定箇所に対応する音声または映像を再生する。なお、対応関係導出手段５０、対応関係提示手段６０および対応音声／映像再生手段８０は、例えば、コンピュータなどの情報処理装置によって実現される。【００７９】  文書編集手段７０は、文書の作成、削除または修正を行って文書記憶手段４０が記憶する文書データを更新する。例えば、議事録作成者は、対応関係提示手段６０が提示した対応関係を確認し、自らが作成した議事録に対して文書編集手段７０を操作して追加／修正を加えて議事録を更新する、あるいは、対応関係を確認した各会議参加者からの意見を収集した後に、文書編集手段７０を操作して、収集した意見にもとづいて文書記憶手段４０が記憶する文書データを更新し議事録を完成させる。【００８０】  なお、文書編集手段７０は、パーソナルコンピュータなどの情報処理端末であり、会議参加者ごとに複数台が存在してもよい。この場合に、各会議参加者は、対応関係提示手段６０が提示した対応関係を確認した後、自ら端末を操作して文書記憶手段４０が記憶する文書データを更新し議事録を修正してもよい。【００８１】  出力手段９０は、文書記憶手段４０が記憶する文書データにもとづいて文書を出力する。例えば、出力手段９０は、プリンタなどの出力装置およびコンピュータなどの情報処理装置によって実現され、文書記憶手段４０が記憶する文書データにもとづいて議事録を出力する。【００８２】  対応関係更新指示手段１００は、文書データが更新された場合などに、音声や映像と文書との対応関係を再計算する。なお、対応関係更新指示手段１００には、利用者が直接指示をあたえるようにしてもかまわない。文書編集状態観察手段１１０は、文書編集状況などをモニタし、文書データが更新されたか否かを検出する。対応関係更新指示手段１００および文書編集状態観察手段１１０は、コンピュータなどの情報処理装置によって実現される。【００８３】  音声映像生成手段は、音声／映像入力手段１０によって実現される。文書生成手段は、文書入力手段２０によって実現される。対応情報生成手段および対応関係抽出手段は、対応関係導出手段５０によって実現される。対応表示手段は、対応関係提示手段６０によって実現される。文書更新手段は、文書編集手段７０によって実現される。再生手段は、対応音声／映像再生手段���０によって実現される。対応関係再計算指示手段は、対応関係更新指示手段１００によって実現される。文書更新判断手段は、文書編集状態観察手段１１０によって実現される。【００８４】  また、本実施の形態における構成はソフトウェアによって実現可能である。例えば、文書作成閲覧装置を実現する情報処理装置の記憶装置（図示せず）は、コンピュータに、会話内容を録音または録画して音声データまたは映像データを生成する処理と、利用者が入力した文書にもとづいて文書データを生成する処理と、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けた対応情報を生成する処理と、対応情報にもとづいて、音声データまたは映像データに含まれる音声または映像と、文書データに含まれる文書とを対応付けて表示する処理と、表示した文書に対応する文書データを更新する処理とを実行させるための文書作成閲覧プログラムを記憶する。【００８５】  次に、動作について説明する。図２は、議事録作成者の操作に従って議事録を作成する議事録作成処理、および作成した議事録を会議参加者などが閲覧する議事録閲覧処理の一例を示す流れ図である。本実施の形態では、あらかじめ会議参加者のうちの一人が議事録作成者として会議に参加している。あるいは、参加者の一人が議事録作成を行うという形態でもよい。【００８６】  音声／映像入力手段１０は、会議中の様子を撮影し会議内容の音声を録音して、映像データおよび音声データを生成する（ステップＳ１０１）。また、音声／映像入力手段１０は、生成した映像データおよび音声データを音声／映像記憶手段３０に記憶させる。【００８７】  議事録作成者は、会議が終わると、会議中に自分で作成したメモや他の会議参加者が作成したメモなどをもとに議事録案を作成する。そして、議事録作成者は、文書入力手段２０を操作して、作成した議事録案を入力する。文書入力手段２０は、議事録作成者の操作に従って、議事録案の入力を受け付けて文書データを生成する（ステップＳ１０２）。また、文書入力手段２０は、生成した文書データを文書記憶手段４０に記憶させる。【００８８】  対応関係導出手段５０は、音声／映像記憶手段３０から音声データや映像データを抽出し、文書記憶手段４０から文書データを抽出する。また、対応関係導出手段５０は、抽出した音声データまたは映像データと文書データとにもとづいて、音声または映像中の区間と文書中の区間との対応関係を導出する。【００８９】  図３は、対応関係導出手段５０の構成の一例を示すブロック図である。図３に示すように、対応関係導出手段５０は、音声または映像を区間に分割する音声／映像区間抽出手段２１と、音声認識を行ってテキスト列を生成する音声認識手段２２と、音声認識手段２２が生成するテキスト列と文書データとの対応付けを行う候補テキスト／文書対応手段２３とを含む。本実施の形態では、音声データにもとづいて音声を区間に分割して文書との対応関係導出を行う場合を例に説明する。【００９０】  なお、対応関係導出手段５０は、会議内容を直接録音した音声データにもとづいて音声を区間に分割するのでなく、映像データの音声トラックに含まれる音声データにもとづいて音声を区間に��割し音声認識を行って対応付を行うようにしてもよい。以下、会議内容を直接録音した音声データを単に入力音声データと記す。また、映像データの音声トラックに含まれる音声データをトラック音声データと記す。【００９１】  音声／映像区間抽出手段２１は、音声／映像記憶手段３０が記憶する音声データまたは映像データにもとづいて音声または映像を区間に分割する（ステップＳ１０３）。本実施の形態では、分割後の各区間を音声区間または映像区間と呼ぶ。本例では、音声／映像区間抽出手段２１は、入力音声データまたはトラック音声データにもとづいて音声区間を抽出する。【００９２】  なお、音声データにもとづいて対応関係の導出を行う場合には、音声／映像区間抽出手段２１は、音声／映像記憶手段３０が記憶する音声データにもとづいて音声区間を抽出する。例えば、音声／映像区間抽出手段２１は、音声の無音区間を利用して、音声データに含まれる音声を無音部分ごとに分割して音声区間を抽出する。【００９３】  また、映像データにもとづいて対応関係導出を行う場合には、音声／映像区間抽出手段２１は、音声／映像記憶手段３０が記憶する映像データにもとづいて映像区間を抽出する。例えば、音声／映像区間抽出手段２１は、映像のシーンの切り替え情報などを利用して映像区間を抽出する。【００９４】  また、音声／映像区間抽出手段２１は、単に５分間隔または１０分間隔ごとに区間を抽出するなど、音声または映像の内容に関係なく区間抽出を行ってもよい。【００９５】  音声認識手段２２は、音声／映像区間抽出手段２１からの音声または映像の区間情報（本例では、音声区間情報）と、音声／映像記憶手段３０が記憶する音声データ（入力音声データ）または映像データに含まれるトラック音声データとにもとづいて音声認識を行い、会議内容の音声をテキストに変換してテキスト列を生成する。以下、音声認識手段２２が生成するテキスト列を候補テキストと記す。【００９６】  音声認識方式については、一般に多くの手法が提案されている。図４は、音声認識手段２２の構成の一例を示すブロック図である。図４に示すように、音声認識手段２２は、音声データの周波数分析を行う周波数分析部３１と、音声データを音素データに変換する音素認識部３２と、音素データを単語データまたは文書データに変換する単語／文書認識部３３と、音素の代表データを蓄積する音素テンプレート３４と、単語や言語モデルの情報を蓄積する辞書／言語モデル蓄積部３５とを含む。【００９７】  周波数分析部３１は、音声データを周波数解析して多次元ベクトルの数量データに変換した音響特徴量を生成する。周波数分析部３１は、例えば、音響特徴量として、音声データをケプストラム（ｃｅｐｓｔｒｕｍ）や正規化対数パワーに変換した数量データを生成する。また、周波数分析部３１は、例えば、音響特徴量として、音声データにもとづくケプストラムや正規化対数パワーを一次微分または二次微分した数量データを生成する。【００９８】  音素テンプレート辞書３４は、あらかじめ各音素のケプストラムなどの代表データをテンプレートとして記憶している。以下、音素テンプレート辞書３４がテンプレートとして記憶するデータを音素テンプレートと記す。音素認識���３２は、周波数分析部３１が生成する音響特徴量と、音素テンプレート辞書３４が記憶する各音素テンプレートとを比較し、入力音声を音素データに変換する。この場合に、音素認識部３２は、入力音声を入力された順番に時間列に従って音素データに変換して出力する。【００９９】  辞書／言語モデル蓄積部３５は、あらかじめ各言語における単語と音素との対応関係の情報や、文書中の各状態における出現確率の情報を記憶している。「各状態における出現確率」とは、例えば、ある議題内容に対してその単語が会議中の会話に出現する可能性の程度を示す予測値や、文法上ある単語に対して後にくると予想される音素の予測値である。例えば、ある単語に対して助詞や助動詞などが文法上次に使われると予想される蓋然性が高い場合には、辞書／言語モデル蓄積部３５は、助詞や助動詞に対応する音素について高い出現確率の情報を記憶している。【０１００】  単語／文書認識部３３は、辞書／言語モデル蓄積部３５が記憶する単語データのなかに、音素認識部３２が生成する音素データに含まれる音素列と一致するものがあるか否か判断する。単語／文書認識部３３は、辞書／言語モデル蓄積部３５が記憶する単語データとの一致度および現在の状態における出現確率などにもとづいて、音素認識部３２が生成する音素データに含まれる音素列を単語や文書に変換する。例えば、単語／文書認識部３３は、音声がやや不鮮明であっても、出現確率などにもとづいて、助詞や助動詞が使用される蓋然性の高い場面であると判断される場合には、優先して助詞や助動詞などの単語に変換する。また、例えば、単語／文書認識部３３は、出現確率などにもとづいて、参加者の名前である蓋然性が高いと判断した場合には、優先して参加者の名前の文字列に変換する。【０１０１】  また、単語／文書認識部３３は、変換した単語や文書を含むテキストデータを候補テキストとして生成する（ステップＳ１０４）。【０１０２】  なお、音素単位で音声認識を行う場合を例に説明したが、音素データを用いずに、単語単位のテンプレートを利用して音声認識をしてもよい。また、話者に合わせてテンプレートを変換するようにしてもよく、いずれの音声認識手段を用いてもかまわない。例えば、音素テンプレート辞書３４は、あらかじめ男性の声についての音素テンプレートと、女性の声についての音素テンプレートを記憶していてもよい。この場合、音声認識手段２２は、男性の声であるか女性の声であるかを識別し、男性用または女性用のいずれかの音素テンプレートを用いて音声認識をするようにしてもよい。また、子供の声または大人の声についての音素テンプレートを用いてもよく、特定の人物についての音素テンプレートをあらかじめ用意するようにしてもよい。【０１０３】  候補テキスト／文書対応手段２３は、音声／映像区間抽出手段２１が生成した音声／映像区間ごとの候補テキストと、文書記憶手段４０から抽出した文書データとの対応付けを行い対応関係を導出する。【０１０４】  図５は、候補テキスト／文書対応手段２３の構成の一例を示すブロック図である。図５に示すように、候補テキスト／文書対応手段２３は、候補テキストから所定の単語を抽出する候補テキスト区間内単語抽出手段４１と、���書データにもとづき文書を任意の長さの区間に分割する文書区間抽出手段４２と、文書データから所定の単語を抽出する文書区間内単語抽出手段４３と、音声／映像と文書との対応付けを行う候補テキスト区間／文書区間対応手段４４と、各単語の類似度を算出する候補テキスト区間／文書区間単語類似度計算手段４５とを含む。なお、基本単語抽出手段は、候補テキスト区間内単語抽出手段４１および文書区間内単語抽出手段４３によって実現される。【０１０５】  候補テキスト区間内単語抽出手段４１は、各音声／映像区間ごとに含まれる一つまたは複数の単語をその区間に対応する候補テキストの中から抽出する。【０１０６】  文書区間抽出手段４２は、文書記憶手段４０から抽出した文書データに含まれる文書を任意の長さに分割する（ステップＳ１０５）。本実施の形態では、分割後の各区間を文書区間と呼ぶ。例えば、文書区間抽出手段４２は、文書中の改行情報や空行情報を利用して文書区間を抽出する。また、例えば、文書区間抽出手段４２は、章立てなど文書中の構造的な情報を用いて文書区間を抽出してもよい。【０１０７】  さらに、文書区間抽出手段４２は、文書内で利用されている単語の解析結果を利用して文書区間を抽出してもよい。例えば、ニュースについての文書を作成する場合であって、文書中の単語が「野球、ホームラン、完投」などスポーツ関連の単語から「景気、総理、減税」など政治経済関連の単語に変化した場合には、文書区間抽出手段４２は、話題の転換があったと判断する。この場合に、文書区間抽出手段４２は、単語の頻度解析により抽出した単語について、例えば、文書中の各行における出現頻度をベクトル化して、そのベクトル値が大きく変化した箇所を話題変換点として検出し、話題変換点ごとに区切った区間を文書区間として抽出する。【０１０８】  文書区間内単語抽出手段４３は、各文書区間ごとに、文書中に含まれる一つまたは複数の単語を抽出する。候補テキスト区間／文書区間対応手段４４は、候補テキスト区間内単語抽出手段４１が抽出した単語の組と、文書区間内単語抽出手段４３が抽出した単語の組とを比較し、各音声／映像区間と文書区間との対応付けを行って結果を出力する。すなわち、候補テキスト区間内単語抽出手段４１が抽出した単語と、文書区間内単語抽出手段４３が抽出した単語とは、候補テキストと文書とを整合するための基本単位となる基本単語としての役割を果たす。候補テキスト区間／文書区間対応手段４４は、各単語の組を比較することによって候補テキストと文書とを整合し、各音声／映像区間と文書区間との対応付けを行う。【０１０９】  候補テキスト区間／文書区間単語類似度計算手段４５は、各音声／映像区間と文書区間との区間内距離を計算し、各区間に含まれる単語の類似度を算出する。【０１１０】  候補テキスト区間／文書区間対応手段４４は、候補テキスト区間／文書区間単語類似度計算手段４５が算出する類似度にもとづいて、各音声／映像区間と文書区間との対応付けを行い、音声／映像と文書との対応関係を導出する（ステップＳ１０６）。【０１１１】  図６は、候補テキスト／文書対応手段２３が行う区間の対応付け処理の動作を模式的に示した説明図である。図６に示す例では、改行／空��情報を利用して、文書区間抽出手段４２によって４つの文書区間６０１，６０２，６０３，６０４が抽出されている。また、文書区間内単語抽出手段４３によって、重要となる単語として、各文書区間６０１，６０２，６０３，６０４において（情報通信，音声認識，意味情報，・・・），（セキュリティ，ビデオカメラ，動物体，・・・），（実験，・・・），（研究，・・・）が抽出される。【０１１２】  一方、音声／映像解析により、音声／映像区間抽出手段２１によって音声／映像区間が設定される。図６に示す例では、音声の無音区間を利用して、音声区間６０５，６０６，６０７，６０８として（１３：４１，１５：４１），（１５：４１，１６：５０），（１６：５０，２０：１５），（２０：１５，２１：１３）・・・が音声／映像区間抽出手段２１によって抽出されている。また、それぞれの音声区間６０５，６０６，６０７，６０８において（音声認識，意味情報，・・・），（情報通信，意味情報，・・・），（セキュリティ，・・・），（研究，・・・）などの単語が候補テキスト区間内単語抽出手段４１によって抽出されている。【０１１３】  なお、候補テキスト区間内単語抽出手段４１および文書区間内単語抽出手段４３が抽出する基本単語は、候補テキストや文書中から単に名詞だけを抽出したものでもよい。また、あらかじめ重要単語を登録した辞書データベースを備え、候補テキスト区間内単語抽出手段４１および文書区間内単語抽出手段４３は、辞書中の単語と整合をとることによって抽出してもよい。また、候補テキスト区間内単語抽出手段４１および文書区間内単語抽出手段４３は、単語の使用頻度解析によって単語の重要度を決定し抽出するようにしてもよい。【０１１４】  また、単語列の類似度（重複度）にもとづいて、候補テキスト区間／文書区間対応手段４４が各区間の対応関係を導出するようにしてもよい。例えば、候補テキスト区間／文書区間単語類似度計算手段４５が算出した類似度が所定の閾値を超えている場合に、候補テキスト区間／文書区間対応手段４４は、音声／映像と文書とが対応すると判断し対応関係を導出してもよい。さらに、図６に示すように、対応付けができない区間については、文書区間内単語抽出手段４３は「対応がとれない」と判断するようにしてもよい。【０１１５】  図６に示す例では、各区間に含まれる単語の重複度に注目して区間の対応付けを行う場合を説明したが、単語全体の出現頻度を利用する方法によって対応付けを行ってもよい。例えば、対応関係導出手段５０は、重要単語を抽出するのでなく、各区間に含まれるすべての単語についてヒストグラムを生成し、ヒストグラムの類似度にもとづいて単語全体の出現頻度を判断して対応区間を決定するようにしてもよい。【０１１６】  また、候補テキスト区間／文書区間対応手段４４は、ダイナミックプログラミングマッチング法（ＤＰマッチング法）にもとづいて、計算結果を再利用しながら効率的な計算処理をして対応付けを行ってもよい。この場合に、候補テキスト区間／文書区間対応手段４４は、時系列に順次対応関係を抽出し、全体の一致度が最も大きくなるように対応関係を積み重ねて計算をすることにより対応付けを行う。また、音声／映像区間の導出や文書区���の導出を、本実施の形態で示した方法とは別の方法を用いて行っても本質的に同じである。【０１１７】  また、抽出すべき文書区間や音声／映像区間の幅（抽出単位）は、まとまった単位であれば、一単語単位、数単語単位、一文章単位、数文章単位または一章単位などのいずれであってもよい。なお、音声認識の精度や作成文書の要約の度合いによって区間単位の最適値が変化するので、利用者やシステム管理者が用途に応じて区間の単位を設定するようにしてもよい。【０１１８】  図７は、単語レベルで整合することにより、音声認識による候補テキストと文書との対応付けを行う場合の一例を示す説明図である。図７に示す例では、音声または映像による候補テキストに出現する単語と、文書に出現する単語とにもとづいて対応関係を導出している。音声認識による候補テキストが誤りを含んでいる場合であっても、正しく認識した単語をベースに、対応関係導出手段５０が正しく対応関係を導出することができる。このような単語レベルによる対応関係導出方法は、国会答弁などの議事録のように、会議でなされた発言を正確に記載した文書を生成しなければならない場合に適している。【０１１９】  図８は、各区間から抽出した単語列（単語群）のレベルで整合することにより、候補テキストと文書との対応付けを行う場合の一例を示す説明図である。図８に示す例では、対応関係導出手段５０は、各音声／映像区間および文書区間から抽出した単語列間の類似度（単語重複度など）を測定し、区間ごとに対応関係を生成する。図８に示す例では、対応関係導出手段５０は、単語列（セキュリティ，動物体抽出，事件）と（セキュリティ，動物体抽出）とが対応し、単語列（ビデオカメラ，補正）と（ビデオカメラ，修正）とが対応すると判断する。また、音声区間（トラッキング）に対応する文書区間が存在しないので、対応関係導出手段５０は、音声区間（トラッキング）については「対応なし」と対応関係を導出する。【０１２０】  このような単語列のレベルによる対応関係導出方法は、実際の事象でおきた発言を正確に反映させるのではなく、要約した文章と音声との対応関係を導出して利用者に提示したい場合に適している。対象となる事象に関する文書を事象が発生した順に記述する（時系列情報が保存される）と仮定して、文書と音声との対応付けにＤＰマッチングの手法を用いることにより、互いに直接対応関係が存在しないような表現が含まれている場合でも、適切な対応関係を導出することができる。【０１２１】  以上に示した例では、音声データに対する音声認識を用いて、トラック音声データまたは入力音声データから候補テキストを抽出する場合を説明したが、映像を視覚的に処理し画像認識を行うことによってテキスト化するようにしてもよい。例えば、映像データが自動車の映像を含む場合に、「自動車」を視覚的に認識してテキスト化し、文書中の基本単語との整合を行うようにしてもよい。【０１２２】  対応関係導出手段５０は、音声／映像記憶手段３０が記憶する音声データまたは映像データと文書記憶手段４０が記憶する文書データとにもとづいて対応関係を導出すると、音声または映像と文書とを対応付けた対応関係表データ（対応情報）を生成する。対応関係表デー���は、対応関係導出手段５０から自動的に生成されるが、例えば、タイムキーパの作成した議事次第に従って生成される。また、対応関係表データは、例えば、映像編集装置を用いて手動もしくはインタラクティブに生成されるものであってもよい。【０１２３】  図９は、対応関係導出手段５０が導出する対応関係と、対応関係を提示するための対応関係表データの一例を示す説明図である。図９に示すように、導出した音声／映像と文書との対応関係にもとづいて、対応関係導出手段５０は、対応関係表データ９０１を生成する。【０１２４】  また、図９に示すように、音声／映像と文書との対応関係を導出する際に、文書側に存在する文書区間に対応する音声／映像区間が存在しない箇所があってもよい。例えば、図９に示すように、文書区間９０４に対応する音声／映像区間が存在しない箇所があてもよい。また、音声／映像区間に対応する文書区間が存在しない箇所があってもよい。例えば、図９に示すように、対応する文書区間が存在しない音声／映像区間９０６（２：４８−３：１３）があってもよい。対応関係導出手段５０は、図９に示すように、例えば「映像または音声の対応時間（区間の開始時間および終了時間）：対応文書」の形式で対応関係表データ９０１を生成する。【０１２５】  また、対応関係導出手段５０は、議事録作成者や会議参加者などの利用者（以下、単に利用者と記す）の操作に従って対応関係表データを修正できるように構成してもよい。図１０は、利用者の操作に従って対応関係表データを修正する場合の対応関係導出手段５０の構成の例を示すブロック図である。図１０に示すように、対応関係導出手段５０は、音声／映像と文書との対応関係を導出する対応関係解析導出手段６１と、対応関係表データを記憶する対応関係保持手段６２と、対応関係表データを修正する対応関係修正手段６３とを含む。【０１２６】  対応関係解析導出手段６１は、音声データまたは映像データと文書データとを解析して、音声／映像と文書との対応関係を導出し、対応関係表データを生成する。対応関係解析導出手段６１は、例えば、音声／映像区間抽出手段２１、音声認識手段２２および候補テキスト／文書対応手段２３を含む。対応関係保持手段６２は、例えば、ＲＡＭ、フラッシュメモリやハードディスクなどの記録媒体であり、対応関係解析導出手段６１が生成する対応関係表データを記憶する。【０１２７】  対応関係修正手段６３は、利用者の操作に従って対応関係保持手段６２が記憶する対応関係表データを修正する。例えば、利用者は、対応関係表データを修正したい場合には、文書作成閲覧装置を操作して、対応関係表データの修正指示を入力する。すると、文書作成閲覧装置は、対応関係表データの編集画面を表示する。そして、対応関係修正手段６３は、利用者の操作に従い対応関係表データを修正する。【０１２８】  対応関係提示手段６０は、対応関係導出手段５０が生成した対応関係表データにもとづいて、音声／映像と文書との対応付けの結果情報を表示する（ステップＳ１０７）。すなわち、利用者に音声／映像と文書との対応関係が提示される。【０１２９】  例えば、音声／映像と文書との対応関係の導出がなされると、議事録作成者は、対応関係にもとづい��、議事内容の確認／修正を行う。また、議事録作成者は、各会議参加者に議事録案を作成した旨を電子メールなどを用いて通知してもよい。各会議参加者は、議事録案の内容を確認したい場合には、文書作成閲覧装置を操作して議事録案の表示要求を入力する。すると、対応関係提示手段６０は、会議の音声／映像と議事録案の文書とを対応付けた結果情報を表示する。【０１３０】  なお、文書作成閲覧装置がＬＡＮなどの通信ネットワークを介して各会議参加者の端末と接続され、各会議参加者の端末が対応関係提示手段６０を備えていてもよい。この場合、各会議参加者が自分の端末を操作してＬＡＮなどを介して結果情報を確認したり、対応関係表データを修正したりできるようにしてもよい。【０１３１】  図１１は、対応関係提示手段６０が表示する音声／映像と文書との対応関係を示す対応関係表示画面の一例を示す説明図である。本例では、図９に示す対応関係表データにもとづいて対応関係表示画面が表示される場合について説明する。図１１に示すように、対応関係表示画面には、映像及び音声の時間経過を示す時間情報を縦軸に示す時間軸バー１１０１が含まれる。また、対応関係表示画面において、図１１に示すように、各音声／映像区間１１０２，１１０３，１１０４ごとに時間軸バー１１０１の対応する部分をそれぞれ異なる色で表示することによって、区間の開始時間／終了時間／継続時間などを表現している。例えば、図１１において、「１３：１６−１４：１８」の区間１１０３は、時間軸バー１１０１上において同一区間内では同一色で表示され、それぞれ前後の区間１１０２，１１０４とは異なった色で表示されている。【０１３２】  また、各区間１１０２，１１０３，１１０４に対応する文書の文字も、時間軸バー１１０１上で表示された色とそれぞれ同じ色で色分けされて、各音声／映像区間１１０２，１１０３，１１０４に対応させて文書表示区間１１０５，１１０６，１１０７に表示される。【０１３３】  各文書表示区間１１０５，１１０６，１１０７は、音声や映像を再生するための再生ボタン１１０８を含む。また、対応関係表示画面には、映像を再生表示するための映像画面１１０９が含まれる。利用者が再生ボタン１１０８をマウスクリックなどすると、対応する区間の音声が再生され、映像が映像画面１１０９に再生表示される。【０１３４】  また、各文書表示区間１１０５，１１０６，１１０７は、表示された文書を編集するための編集ボタン１１１０を含む。利用者が編集ボタン１１１０をマウスクリックなどすると、対応する区間の文書内容を表示した編集画面が表示され、利用者は文書の作成、追加、修正または削除などを行うことができる。【０１３５】  また、対応関係表示画面は、図１１に示すように、映像画面１１０９の下側部分に映像をスクロールするための映像スライドバー１１１１を含む。また、対応関係表示画面は、文書表示区間１１０５，１１０６，１１０７に表示される文字情報をスクロールするための文字スライドバー１１１２を含む。例えば、映像スライドバー１１１１と文字スライドバー１１１２とを連動させ、利用者の操作に従って自由に特定の区間の映像を再生したり文書を表示させたりすることができる。【０１３６】  図１２は、対応関係表示画面における文書および対応する映像を表示するための時間軸の表示方法の他の例を示す説明図である。本例では、図１２（ａ）に示す対応関係表データにもとづいて時間軸を表示する場合を説明する。図１２（ｂ）は、各映像（音声）／文書区間ごとの時間軸バー１１０１上の区間表示の長さを、映像（音声）時間に比例させて表示させる場合の例である。すなわち、図１２（ｂ）においては、映像（音声）時間の長さに比例して、区間表示の長さが決定される。時間情報に比例して表示させることによって、利用者は、会議において各案件ごとにどの程度の時間が費やされたかを直感的に理解し把握することができる。【０１３７】  図１２（ｃ）は、各区間の時間軸バー１１０１上の区間表示の長さを、所定の同じ長さで一定表示させる場合の例である。一定表示させることによって、利用者は、画面上に表示されている映像（音声）／文書区間の数や全体の区間数を直感的に把握することができる。図１２（ｄ）は、各区間の時間軸バー１１０１上の区間表示の長さを、作成された文書量に比例させて表示させる場合の例である。文書量に比例させることによって、文書を表示する表示密度を高めることができる。また、利用者は、全体的にコンパクトに文書を閲覧したり作成することができる。【０１３８】  なお、各区間で文書が入りきらない場合に、各区間表示を単にボックス表示として取扱い各区間がスクロールバーを含むようにしてもよい。そして、区間ごとのスクロールバーをマウスでスクロールすることによって、利用者が文書全体を閲覧できるようにしてもよい。また、時間軸の表示方法は、本例で示した場合に限られない。また、いずれの方法を用いて時間軸を表示するかを、利用者が必要に応じて選択できるようにしてもよい。【０１３９】  図１３は、時間軸の表示方法を利用者が選択できるようにする場合の対応関係提示手段６０の構成の一例を示すブロック図である。図１３に示すように、対応関係提示手段６０は、時間軸の表示（提示）方法を選択するための提示方法選択手段５１と、音声／映像と文書との対応関係を表示して提示する個別対応関係提示手段５２とを含む。提示方法選択手段５１は、利用者の選択指示に従い、映像／文書区間の表示（提示）サイズを決定する。そして、個別対応関係提示手段５２は、提示方法選択手段５１が決定した表示サイズに従って対応関係を表示する。なお、表示方法選択手段は、提示方法選択手段５１によって実現される。【０１４０】  また、対応関係提示手段６０は、対応関係表データに、対応する文書区間が存在しない音声／映像区間が含まれている場合や、対応する音声／映像区間が存在しない文書区間が含まれている場合には、対応区間がない旨を不整合として検出するようにしてもよい。【０１４１】  図１４は、不整合を検出する場合の対応関係提示手段６０の構成の一例を示すブロック図である。図１４に示すように、不整合検出を行う場合、対応関係提示手段６０は、区間の不整合を検出する不整合検出手段８１と、不整合を表示して提示する不整合提示手段８２と、音声／映像と文書との対応関係を表示して提示する対応提示手段５３とを含む。【０１４２】  不整合検出手段８１は、対応関係表データに、対応する文書が存在しない音声／映像区間が含まれる場合や、対応する音声／映像区間が存在しない文書区間が含まれている場合に不整合を検出する。不整合提示手段８２は、不整合検出手段８１が不整合を検出すると、不整合が検出された旨を表示する。対応提示手段５３は、対応関係表データにもとづいて音声／映像と文書との対応関係を表示する。対応提示手段５３は、例えば、提示方法選択手段５１および個別対応関係提示手段５２を含む。なお、不整合表示手段は、不整合提示手段８２によって実現される。【０１４３】  また、対応関係提示手段６０は、対応関係導出の際に行った音声認識結果の情報を含む対応関係表示画面を表示するようにしてもよい。図１５は、対応関係提示手段６０が表示する対応関係表示画面の他の例を示す説明図である。図１５に示すように、対応関係表示画面には、対応する文書の内容に加えて、対応関係導出の際に行った音声認識結果の情報が各文書内容に対応して表示される。【０１４４】  音声認識結果を表示させることによって、音声／映像に対応する文書の記述がない部分の会議内容についても、利用者が容易に内容を理解することができる。例えば、図１５において、音声認識結果の情報のうち「したがって・・・」の部分１５０１については対応する文書の記述がないが、音声認識結果の情報「したがって・・・」の内容を確認することによって、利用者は容易に会議内容を把握することができる。また、音声認識結果を表示させることによって、実際の会話内容に対してどのように文書をまとめたかを利用者が容易に把握することができる。【０１４５】  また、対応関係提示手段６０は、音声認識結果の代わりに、音声認識結果から抽出した基本単語を含む対応関係表示画面を表示するようにしてもよい。図１６は、対応関係提示手段６０が表示する対応関係表示画面の更に他の例を示す説明図である。図１６に示すように、対応関係表示画面には、対応する文書の内容に加えて、抽出した基本単語（本例では、「議事録生成装置」や「対応関係」など）が各文書内容に対応して表示される。基本単語を表示して提示することによって、利用者は、各区間に記載されている内容を即座に理解することができる。すなわち、基本単語が記載内容を理解するためのキーワードとしての役割を果たす。【０１４６】  利用者は、対応関係表示画面を確認し、表示された対応関係が誤っていると判断した場合には、文書作成閲覧装置を操作して対応関係の修正指示を入力する。対応関係提示手段６０は、利用者によって対応関係の修正指示が入力されたか否かを判断する（ステップＳ１０８）。修正指示が入力されたと判断した場合には、対応関係提示手段６０は、利用者の操作に従って、対応関係表データの内容を修正して更新する（ステップＳ１０９）。すると、対応関係提示手段６０は、更新後の対応関係表データにもとづいて対応関係表示面を表示する（ステップＳ１０７）。【０１４７】  利用者は、対応関係表示画面を確認し、いずれかの文書に対応する音声や映像を再生したい場合には、文書作成閲覧装置を操作して音声／映像の再生指示を入力する。例えば、利用者は、対応関係表示画面の再生ボタン１１０８をマウスクリックすることによって再生指示を入力する。��０１４８】  ステップＳ１０８で修正指示が入力されていないと判断した場合には、対応音声／映像再生手段８０は、利用者によって音声／映像の再生指示が入力されたか否かを判断する（ステップＳ１１０）。再生指示が入力されたと判断した場合には、対応音声／映像再生手段８０は、再生指示された区間に対応する音声／映像を再生して表示する（ステップＳ１１１）。【０１４９】  利用者は、表示された文書の内容を編集したい場合には、文書作成閲覧装置を操作して文書の編集指示を入力する。例えば、利用者は、対応関係表示画面の編集ボタン１１１０をマウスクリックすることによって編集指示を入力する。【０１５０】  ステップＳ１１０で再生指示が入力されていないと判断した場合には、文書編集手段７０は、利用者によって編集指示が入力されたか否かを判断する（ステップＳ１１２）。編集指示が入力されたと判断した場合には、文書編集手段７０は、利用者の操作に従って、文書の作成、追加、編集または削除などを行う（ステップＳ１１３）。【０１５１】  文書の編集を行う場合、文書編集手段７０は、編集対象の文書データのうち、対応関係提示手段６０が利用者の操作に従って指定した区間に対応する部分のデータのみを文書記憶手段４０から抽出する。例えば、対応関係表示画面において編集したい箇所の文書の編集ボタン１１１０を利用者がマウスクリックすると、文書編集手段７０は、マウスクリックした編集ボタン１１１０を含む文書区間に対応する部分のデータのみを文書記憶手段４０から抽出する。【０１５２】  文書編集手段７０は、抽出したデータに含まれる文書の編集処理を行い文書データを更新する。例えば、利用者は、文書作成閲覧装置を操作して、文書記憶手段４０が記憶する議事録案の文書データを編集して議事録を完成させる。【０１５３】  なお、文書編集手段７０は、文書データのうち編集対象の部分の文書のみを含むデータを抽出して編集処理を行うのでなく、文書データ全体を抽出して文書全体の修正処理を行うように構成してもよい。また、ステップＳ１０９，Ｓ１１１，Ｓ１１３において、各会議参加者は、自分の端末を操作して、ＬＡＮなどを介して対応関係表データまたは文書データを編集し、音声／映像を再生できるようにしてもよい。【０１５４】  また、本実施の形態においては、対応関係の修正（ステップＳ１０９）、音声または映像の再生（ステップＳ１１１）および文書の編集（ステップＳ１１３）を順番に行う場合を例に説明したが、これらの処理は並行して行えるものであってもよい。【０１５５】  利用者は、文書の編集などを行った後、音声／映像と文書との対応関係を再計算させたい場合には、文書作成閲覧装置を操作して、対応関係の再計算指示を入力する。ステップＳ１１２で編集指示が入力されていないと判断した場合には、対応関係更新指示手段１００は、利用者によって再計算指示が入力されたか否かを判断する（ステップＳ１１４）。【０１５６】  再計算指示が入力されたと判断した場合には、対応関係更新指示手段１００は、対応関係導出手段５０に音声／映像と文書との対応関係の導出の再計算を実行させる。そして、文書作成閲覧装置は、ステップＳ１０６からステップＳ１１４までの処理が繰り返し実��する。【０１５７】  なお、文書編集後に対応関係を再計算させるために、利用者の入力指示に従って対応関係導出手段５０が新たに対応関係を作成し、対応関係提示手段６０が対応関係表示画面の更新を行うようにしてもよい。また、文書作成閲覧装置が文書編集終了を自動的に検出して、対応関係導出手段５０が対応関係を作成し、対応関係提示手段６０が対応関係表示画面の更新を行うようにしてもよい。利用者の入力指示がなされたり文書編集終了の自動検出がなされると、対応関係更新指示手段１００は、対応関係導出手段５０に対して対応関係の再計算を実行させる。すなわち、利用者は、文書編集を行った後に、対応関係更新指示手段１００を通して対応関係の導出の指示を行うことができる。【０１５８】  文書編集状態観察手段１１０は、文書の編集状態を観察し、文書内容が変更された場合に、対応関係更新指示手段１００に対応関係更新指示の処理を実行させるようにしてもよい。そのようにすれば、文書編集がなされた後に、利用者が自ら導出を指示しなくても対応関係の導出を行うことができる。【０１５９】  ステップＳ１１４で再計算指示が入力されていないと判断した場合には、出力手段９０は、文書などの編集処理が終了したか否かを判断する（ステップＳ１１５）。編集処理が終了したと判断した場合には、出力手段９０は、文書記憶手段４０が蓄積している文書データにもとづいて文書を出力する（ステップＳ１１６）。例えば、出力手段９０は、文書記憶手段４０が蓄積している完成版の議事録の文書データにもとづいて議事録を印刷する。ステップＳ１１５で編集処理が終了していないと判断した場合には、文書作成閲覧装置は、ステップＳ１０７以降の処理を繰り返し実行する。なお、出力手段９０は、利用者の操作に従って文書を出力するようにしてもよい。【０１６０】  以上のように、本実施の形態によれば、音声または映像と、音声または映像にもとづく文書との対応関係を導出し、利用者に音声または映像と文書とを対応付けた対応関係表示画面を表示して提示する。音声または映像をすべて再生しなくても、利用者が対応関係表示画面を確認して文書作成に必要な特定の箇所の音声または映像のみを再生しながら文書を編集することができるので、利用者が文書を作成する際の効率化を図ることができる。【０１６１】  また、複数の利用者が文書を作成する場合に、文書が作成された根拠や文書の特定の箇所に対応する音声や映像を各利用者が容易に再生し閲覧することができる。そのため、利用者全員が文書の内容を即座に理解することができ、複数の利用者が文書を作成する際の効率化を図ることができる。従って、会議や講演などを録画した映像データまたは録音した音声データにもとづいて文書を効率的に作成できるとともに、文書作成者や参加者が要約された文書を映像あるいは音声とともに閲覧することができ、複数人による文書作成を効率的に行えるようにすることができる。【０１６２】  また、本実施の形態によれば、会議の議事録を作成する場合に、議事録に含まれる文書区間のうち特定の文書区間を利用者が選択指示することによって、対応する箇所の音声または映像の頭出しを行うことができる。また、会議を録音または録画した音声または映像��うち議事録作成に用いられなかった箇所を表示し議事録作成者に提示することができるので、議事録作成者は、議事録から漏れた部分の音声や映像を効率的に閲覧し、効率的に議事録を修正または変更して編集することができる。【０１６３】  また、対応する音声や映像がなかった文書の箇所を表示して議事録作成者に提示することができるので、議事録作成者は、容易に議事録を修正または変更して編集することができる。従って、議事録作成の際の作成コストを低減することができ、会議参加者が容易に議事録の内容を確認することができる。【０１６４】  さらに、講演などにおいて講演会場の集音状態がよくない場合であっても、音声認識によるテキストおよび文書から抽出した単語の整合処理を行うことによって音声認識の精度の補完を行うことができる。そのため、高精度の音声認識手段を備える必要がなく、高性能のマイクロフォンや、会議参加者ごとに個別に音声の入力装置および解析装置を設置しなくても音声認識を行うことができる。従って、文書作成および閲覧のためのシステム全体の規模を低減することができ、設備コストを低減することができる。【０１６５】実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。本実施の形態では、特に、文書作成閲覧装置をソフトウェアによって実現する場合について説明する。図１７は、文書作成閲覧装置の構成の他の例を示すブロック図である。図１７に示すように、文書作成閲覧装置は、音声／映像入力手段１０と、文書入力手段２０と、文書作成や文書閲覧の処理を実行するための各種プログラムを記憶するプログラムメモリ７１と、プログラムメモリ７１が記憶するプログラムに従って処理を実行するマイクロプロセッサ７２と、各種データを記憶する情報メモリ７３と、文書などを表示する表示手段７４と、利用者が各指示を入力するための指示入力手段７６と、音声や映像を再生する音声／映像再生手段７５とを含む。【０１６６】  なお、第１の実施の形態における音声／映像記憶手段３０および文書記憶手段４０は、情報メモリ７３によって実現される。また、対応関係導出手段５０、対応関係提示手段６０、文書編集手段７０および対応音声／映像再生手段８０は、プログラムメモリ７１が記憶するプログラムに従って処理を実行するマイクロプロセッサ７２、表示手段７４、音声／映像再生手段７５および指示入力手段７６などによって実現される。また、音声／映像入力手段１０および文書入力手段２０の構成および機能は、第１の実施の形態と同様である。【０１６７】  マイクロプロセッサ７２は、プログラムメモリ７１が記憶する対応関係導出プログラム７１１に従って、情報メモリ７３から音声／映像データと文書データとを抽出し、音声／映像と文書との対応関係を導出する。また、マイクロプロセッサ７２は、生成した対応関係表データを情報メモリ７３に記憶させる。また、マイクロプロセッサ７２は、プログラムメモリ７１が記憶する対応関係提示プログラム７１２に従って、情報メモリ７３から対応関係表データを抽出し、音声／映像と文書との対応関係表示画面を表示手段７４に表示させる。【０１６８】  また、マイクロプロセッサ７２は、利用者によって指示入力手段７６から特定の区間の音声／映像の再生指示が入力されると、プログラムメモリ７１が記憶する音声映像再生プログラム７１３に従って、音声／映像を音声／映像再生手段７５に再生させる。さらに、マイクロプロセッサ７２は、プログラムメモリ７１が記憶する文書編集プログラム７１４に従って、情報メモリ７３が記憶する文書データの作成、削除、更新または修正する。なお、基本的な対応関係の導出方法、提示方法、音声／映像の再生方法および文書データの編集方法などは、第１の実施の形態と同様である。【０１６９】実施の形態３．
次に、本発明の第３の実施の形態を図面を参照して説明する。本実施の形態では、文書作成閲覧装置を搭載したロボットを用いて文書作成を行う場合について説明する。図１８は、文書作成閲覧装置を搭載した文書作成閲覧ロボットの一例を示す説明図である。【０１７０】  図１８に示すように、ロボット９１は、音声／映像入力手段１０としてカメラ１０ａおよびマイクロフォン１０ｂと、スキャナなどの文書入力手段２０とを搭載する。カメラ１０ａは、ビデオカメラなどの映像入力手段である。マイクロフォン１０ｂは、マイクロフォンなどの音声入力手段である。また、ロボット９１は、図１８に示すように、ディスプレイ装置などの対応関係提示手段６０を搭載する。【０１７１】  ロボット９１は、会議室において他の会議参加者とともに会議に出席し、会議の様子をカメラ１０ａによって撮影し、会議内容をマイクロフォン１０ｂによって録音する。例えば、ロボット９１は、発言者のほうに自動的に首などを回転させて撮影方向を変化させながら会議風景を撮影する。【０１７２】  また、議事録作成者は、文書入力手段２０を操作して、議事録案などの文書データをロボット９１に入力する。ロボット９１は、音声／映像記憶手段３０、文書記憶手段４０、対応関係導出手段５０などを内蔵している。ロボット９１は、対応関係導出手段５０の機能を用いて、音声／映像と文書との対応関係を導出し、生成した対応関係表データにもとづいて対応関係提示手段６０に対応関係表示画面を表示する。【０１７３】  利用者が提示画面を閲覧しロボット９１の操作部（図示せず）を操作して音声や映像を再生したい部分について再生指示を入力すると、ロボット９１は、対応する区間についての音声や映像を再生する。上記機能をロボット９１が備えることによって、各会議室にロボット９１を同席させて、議事録を生成したり閲覧することができる。【０１７４】  なお、本実施の形態では、会議の議事録生成を行う場合を例に説明したが、文書作成閲覧ロボットは、議事録作成以外の用途にも適用可能である。例えば、講演や講義の講演録や講義録を作成する場合や、日記や観察記などを作成する場合など音声または映像をそのまま用いて文書作成や閲覧をしたり、要約して文書作成や閲覧を行うなどすべての用途に対して、文書作成閲覧ロボットは適用可能である。
【産業上の利用可能性】
【０１７５】  本発明による文書作成閲覧方法では、文書作成閲覧装置は、会議風景を撮影した映像データまたは会議内容を録音した音声データ、および議事録作成者が作成した議事録案を含む文書データとにもとづいて、音声／映像と文書との対応関係を導出する。また、文書作成閲覧装置は、各会議参加者や議事録作成者に音声／映像と文書とを対応付けて表示し提示する。よって、会議の音声または映像をすべて再生しなくても、会議参加者や議事録作成者は、必要な箇所の音声または映像のみを再生して確認しながら議事録を編集し完成させることができる。また、複数の会議参加者全員に容易に会議の音声／映像と議事録案とを対応付けて提示できるので、複数人で議事録作成を行う場合の作業の効率化を図ることができる。
【図面の簡単な説明】
【０１７６】
【図１】本発明による文書作成閲覧装置の構成の一例を示すブロック図である。
【図２】議事録作成処理および議事録閲覧処理の一例を示す流れ図である。
【図３】対応関係導出手段５０の構成の一例を示したブロック図である。
【図４】音声認識手段２２の構成の一例を示したブロック図である。
【図５】候補テキスト／文書対応手段２３の構成の一例を示したブロック図である。
【図６】候補テキスト／文書対応手段２３が行う区間の対応付け処理の動作を模式的に示した説明図である。
【図７】映像または音声と文書の対応付けについて、単語レベルで整合することにより対応付けを行う場合の一例を示す説明図である。
【図８】映像または音声と文書の対応付けについて、区間中で使用されている単語群のレベルで整合することにより対応付けを行う場合の一例を示す説明図である。
【図９】映像または音声と文書との対応付けの様子と、対応関係表データの一例を模式的に示した説明図である。
【図１０】対応関係導出手段５０の構成の他の例を示したブロック図である。
【図１１】音声／映像と文書との対応関係表示画面の一例を示す説明図である。
【図１２】文書および対応する映像を表示するための時間軸の表示方法の他の例を示す説明図である。
【図１３】対応関係提示手段６０の構成の一例を示すブロック図である。
【図１４】対応関係提示手段６０の構成の他の例を示すブロック図である。
【図１５】音声／映像と文書との対応関係表示画面の他の例を示す説明図である。
【図１６】音声／映像と文書との対応関係表示画面の更に他の例を示す説明図である。
【図１７】文書作成閲覧装置の構成の他の例を示すブロック図である。
【図１８】文書作成閲覧装置を搭載した文書作成閲覧ロボットの一例を示す説明図である。
【符号の説明】
【０１７７】  １０  音声／映像入力手段
２０  文書入力手段
２１  音声／映像区間抽出手段
２２  音声認識手段
２３  候補テキスト／文書対応手段
３０  音声／映像記憶手段
３１  周波数分析部
３２  音素認識部
３３  単語／文書認識部
３    音素テンプレート辞書
３５  辞書／言語モデル蓄積部
４０  文書記憶手段
４１  候補テキスト区間内単語抽出手段
４２  文書区間抽出手段
４３  文書区間内単語抽出手段
４４  候補テキスト区間／文書区間対応手段
４５  候補テキスト区間／文書区間単語類似度計算手段
５０  対応関係導出手段
５１  提示方法選択手段
５２  個別対応関係提示手段
５３  対応提示手段
６０  対応関係提示手段
６１  対応関係解析導出手段
６２  対応関係保持手段
６３  対応関係修正手段
７０  文書編集手段
８０  対応音声／映像再生手段
８１  不整合検出手段
８２  不整合提示手段
９０  出力手段
１００  対応関係更新指示手段
１１０  文書編集状態観察手段
【図１】
0004466564.tif 000002
【図２】
0004466564.tif 000003
【図３】
0004466564.tif 000004
【図４】
0004466564.tif 000005
【図５】
0004466564.tif 000006
【図６】
0004466564.tif 000007
【図７】
0004466564.tif 000008
【図８】
0004466564.tif 000009
【図９】
0004466564.tif 000010
【図１０】
0004466564.tif 000011
【図１１】
0004466564.tif 000012
【図１２】
0004466564.tif 000013
【図１３】
0004466564.tif 000014
【図１４】
0004466564.tif 000015
【図１５】
0004466564.tif 000016
【図１６】
0004466564.tif 000017
【図１７】
0004466564.tif 000018
【図１８】
0004466564.tif 000019