(57)【要約】【課題】発表者の発言内容中に指示代名詞を使用した「曖昧性」や「不確定要素」を含む部分が存在しても、この部分を具体的表現に変換することによって、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識することができる情報処理装置、該情報処理装置を含む会議システム、情報処理方法及びコンピュータプログラムを提供する。【解決手段】会議資料情報ＤＢ３１０は画像情報に基づく画像に含まれる要素に係る要素情報を予め記憶しておき、変換部３０５は発言者の発言内容に含める指示代名詞を、該指示代名詞が指示する要素を示す記述部分に変換する。【選択図】図４
2011086123.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の端末装置とを含み、該端末装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させることで、端末装置で共通の画像を表示させ、会議を実現させる会議システムにおいて、
前記端末装置は、
音声を入力する音声入力手段と、
前記画像情報に基づいて前記表示部に表示されている画像上の位置を受け付ける手段と
を備え、
前記サーバ装置は、
前記画像情報に含まれる要素に係る要素情報を記憶する手段と、
前記端末装置から前記音声及び位置の情報を受信する受信手段と、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、
前記指示代名詞を抽出した場合、抽出した指示代名詞の音声と対応する前記位置の情報に基づいて前記要素を特定する手段と、
前記特定した要素に係る要素情報に基づく音声を生成する生成手段と、
前記生成した音声を前記受信した音声と合成する合成手段と、
前記合成した音声を記録する記録手段と
を備えることを特徴とする会議システム。
【請求項２】
画像情報に含まれる要素に係る要素情報を記憶する手段と、
音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信する受信手段と、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、
前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定する手段と、
前記特定した要素に係る要素情報に基づく音声を生成する生成手段と、
前記生成した音声を前記受信した音声と合成する合成手段と、
前記合成した音声を記録する記録手段と
を備えることを特徴とする情報処理装置。
【請求項３】
画像情報に含まれる要素に係る要素情報を記憶する手段と、
音声を受信する受信手段と、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、
前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出する検出手段と、
前記記述部分が示す要素に係る要素情報に基づく音声を生成する生成手段と、
前記生成した音声を前記受信した音声と合成する合成手段と、
前記合成した音声を記録する記録手段と
を備えることを特徴とする情報処理装置。
【請求項４】
前記受信手段は、前記画像情報に基づいて表示されている画像上の位置の情報を受信し、
前記検出手段は、前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出すること
を特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記検出手段は、前記文字列における前記指示代名詞との距離に基づいて前記記述部分を検出することを特徴とする請求項３または４に記載の情報処理装置。
【請求項６】
前記記述部分が示す要素に係る要素情報に基づいて前記文字列を修正する修正手段と、
修正した文字列を記憶する文字列記憶手段と
をさらに有することを特徴とする請求項３から５のいずれか１つに記載の情報処理装置。
【請求項７】
前記検出手段は、前記修正した文字列から前記指示代名詞と対応し前記要素を示す記述部分を検出すること
を特徴とする請求項６に記載の情報処理装置。
【請求項８】
画像情報に含まれる要素に係る要素情報を記憶する手段を備える情報処理装置で、音声を受信して記録する情報処理方法において、
音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信し、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、
前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定し、
前記特定した要素に係る要素情報に基づく音声を生成し、
前記生成した音声を前記受信した音声と合成して記録する
ことを特徴とする情報処理方法。
【請求項９】
画像情報に含まれる要素に係る要素情報を記憶する手段を備える情報処理装置で、音声を受信して記録する情報処理方法において、
音声を受信し、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、
前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出し、
前記記述部分が示す要素に係る要素情報に基づく音声を生成し、
前記生成した音声を前記受信した音声と合成して記録する
ことを特徴とする情報処理方法。
【請求項１０】
前記画像情報に基づいて表示されている画像上の位置の情報を受信し、
前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出すること
を特徴とする請求項９に記載の情報処理方法。
【請求項１１】
画像情報に含まれる要素に係る要素情報を記憶する手段を備えるコンピュータに、音声を受信して記録するコンピュータプログラムにおいて、
コンピュータに、
音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信するステップと、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出するステップと、
前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定するステップと、
前記特定した要素に係る要素情報に基づく音声を生成するステップと、
前記生成した音声を前記受信した音声と合成して記録するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１２】
画像情報に含まれる要素に係る要素情報を記憶する手段を備えるコンピュータに、音声を受信して記録するコンピュータプログラムにおいて、
コンピュータに、
音声を受信するステップと、
受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出するステップと、
前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出するステップと、
前記記述部分が示す要素に係る要素情報に基づく音声を生成するステップと、
前記生成した音声を前記受信した音声と合成して記録するステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１３】
前記受信ステップに、前記画像情報に基づいて表示されている画像の情報をさらに受信し、
前記検出ステップに、前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出すること
を特徴とする請求項１２に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置、音声入力装置及びその他の視聴覚機器を用いて発表を行なうとき、発表者による発言内容の記録を効果的に補助することができる情報処理装置、該情報処理装置を含む会議システム、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、パソコンと接続したプロジェクタ等の投影装置、大型液晶ディスプレイ等の表示装置や、各種の視聴覚機器から構成されるプレゼンテーションシステムを利用したプレゼンテーションは、視覚的効果が高く、資料作成の手間もかからないため多用されている。なお、通信技術、画像処理技術等の進歩により、コンピュータを用い、遠隔地にいてもネットワークを介して会議ができる電子会議システムも実現されている。
【０００３】
電子会議システムでは、複数の端末装置で夫々、会議参加者全員は発表者の映像、音声を視聴可能とし、全ての発表者の発言内容に基づく議事録を作成することも可能である。このとき、発言は複数の人間から発せられ、且つ共通に閲覧している資料などを参照しながら会議が行なわれているから、聞き逃しが起きたり、資料との参照を追えなくなるなど、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識することが困難となる場合がある。
【０００４】
特許文献１では、プレゼンテーション実施時に発表者の音声を入力する手段と、入力した音声の大きさおよび抑揚を分析する手段と、分析して音声の大きいあるいは抑揚の大きい強調部である場合にプレゼンテーション中の画面を強調表示、あるいは注意を引く音声を発声する手段とを備え、発表者、視聴者の感情を音声、画像処理によって認識してプレゼンテーションに反映することで、より効果的なプレゼンテーションを行なえるプレゼンテーションシステムが開示されている。
【０００５】
特許文献１に開示されている発明により、発表者、視聴者の感情を音声、画像処理によって認識してプレゼンテーションに反映することで、プレゼンテーションの内容を把握しやすくなるので、発表者が意図する箇所を認識するための補助はある程度可能である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、実際のプレゼンテーションでは、発表者が一般名詞または固有名詞を反復使用して画面の内容説明を行うことは稀であり、代名詞や指示代名詞を使用した言い換えの表現が少なからず発生する。そのため、発表者の発言内容には「曖昧性」や「不確定要素」を含む部分が含まれ、場合によっては「曖昧性」や「不確定要素」を含む部分と結び付く部分が発表者の意図する重要部分であったり、資料画面の強調表示が要求される部分であったりする場合も発生する。
【０００８】
また、実際のプレゼンテーションでは、周囲の状況の影響を受け、発表者の発言を充分に聞き取れない場合や、不注意から聞き逃す場合も発生する。仮にプレゼンテーション終了後に、記録音声を聴いたとしても、実際のプレゼンテーションではないために、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識することが困難となる。
【０００９】
特許文献１では、発表者の発言内容から一般名詞または固有名詞によって表現された発言部分のみからキーワードを抽出してプレゼンテーション画面中の強調表示が行なわれている。プレゼンテーション中に、発表者が指示代名詞を用いて口頭表現する「曖昧性」や「不確定要素」を含む部分が含まれても、認識結果にその部分が反映されることはなく、指示代名詞による口頭表現部分の処理は記載がない。
【００１０】
本発明は斯かる事情に鑑みてなされたものであり、画像情報に基づく画像に含まれる要素に係る要素情報を予め記憶しておき、発表者の発言内容に含める指示代名詞を、該指示代名詞が指示する要素を示す記述部分に変換することで、発表者の発言内容中に指示代名詞を使用した「曖昧性」や「不確定要素」を含む部分が存在しても、この部分を具体的表現に変換することによって、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識することができる情報処理装置、該情報処理装置を含む会議システム、情報処理方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る会議システムは、画像情報を記憶するサーバ装置と、該サーバ装置と通信可能であり表示部を備える複数の端末装置とを含み、該端末装置は前記サーバ装置から画像情報を受信し、受信した画像情報に基づく画像を表示部に表示させることで、端末装置で共通の画像を表示させ、会議を実現させる会議システムにおいて、前記端末装置は、音声を入力する音声入力手段と、前記画像情報に基づいて前記表示部に表示されている画像上の位置を受け付ける手段とを備え、前記サーバ装置は、前記画像情報に含まれる要素に係る要素情報を記憶する手段と、前記端末装置から前記音声及び位置の情報を受信する受信手段と、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、前記指示代名詞を抽出した場合、抽出した指示代名詞の音声と対応する前記位置の情報に基づいて前記要素を特定する手段と、前記特定した要素に係る要素情報に基づく音声を生成する生成手段と、前記生成した音声を前記受信した音声と合成する合成手段と、前記合成した音声を記録する記録手段とを備えることを特徴とする。
【００１２】
本発明に係る情報処理装置は、画像情報に含まれる要素に係る要素情報を記憶する手段と、音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信する受信手段と、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定する手段と、前記特定した要素に係る要素情報に基づく音声を生成する生成手段と、前記生成した音声を前記受信した音声と合成する合成手段と、前記合成した音声を記録する記録手段とを備えることを特徴とする。
【００１３】
本発明に係る情報処理装置は、画像情報に含まれる要素に係る要素情報を記憶する手段と、音声を受信する受信手段と、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出する手段と、前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出する検出手段と、前記記述部分が示す要素に係る要素情報に基づく音声を生成する生成手段と、前記生成した音声を前記受信した音声と合成する合成手段と、前記合成した音声を記録する記録手段とを備えることを特徴とする。
【００１４】
本発明に係る情報処理装置は、前記受信手段は、前記画像情報に基づいて表示されている画像上の位置の情報を受信し、前記検出手段は、前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出することを特徴とする。
【００１５】
本発明に係る情報処理装置は、前記検出手段は、前記文字列における前記指示代名詞との距離に基づいて前記記述部分を検出することを特徴とする。
【００１６】
本発明に係る情報処理装置は、前記記述部分が示す要素に係る要素情報に基づいて前記文字列を修正する修正手段と、修正した文字列を記憶する文字列記憶手段とをさらに有することを特徴とする。
【００１７】
本発明に係る情報処理装置は、前記検出手段は、前記修正した文字列から前記指示代名詞と対応し前記要素を示す記述部分を検出することを特徴とする。
【００１８】
本発明に係る情報処理方法は、画像情報に含まれる要素に係る要素情報を記憶する手段を備える情報処理装置で、音声を受信して記録する情報処理方法において、音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信し、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定し、前記特定した要素に係る要素情報に基づく音声を生成し、前記生成した音声を前記受信した音声と合成して記録することを特徴とする。
【００１９】
本発明に係る情報処理方法は、画像情報に含まれる要素に係る要素情報を記憶する手段を備える情報処理装置で、音声を受信して記録する情報処理方法において、音声を受信し、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出し、前記記述部分が示す要素に係る要素情報に基づく音声を生成し、前記生成した音声を前記受信した音声と合成して記録することを特徴とする。
【００２０】
本発明に係る情報処理方法は、前記画像情報に基づいて表示されている画像上の位置の情報を受信し、前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出することを特徴とする。
【００２１】
本発明に係るコンピュータプログラムは、画像情報に含まれる要素に係る要素情報を記憶する手段を備えるコンピュータに、音声を受信して記録するコンピュータプログラムにおいて、コンピュータに、音声、及び前記画像情報に基づいて表示されている画像上の位置の情報を受信するステップと、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出するステップと、前記指示代名詞を抽出した場合、該指示代名詞の音声と対応する位置の情報に基づいて前記要素を特定するステップと、前記特定した要素に係る要素情報に基づく音声を生成するステップと、前記生成した音声を前記受信した音声と合成して記録するステップとを実行させることを特徴とする。
【００２２】
本発明に係るコンピュータプログラムは、画像情報に含まれる要素に係る要素情報を記憶する手段を備えるコンピュータに、音声を受信して記録するコンピュータプログラムにおいて、コンピュータに、音声を受信するステップと、受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出するステップと、前記指示代名詞を抽出した場合、該指示代名詞と対応し前記要素を示す記述部分を前記文字列から検出するステップと、前記記述部分が示す要素に係る要素情報に基づく音声を生成するステップと、前記生成した音声を前記受信した音声と合成して記録するステップとを実行させることを特徴とする。
【００２３】
本発明に係るコンピュータプログラムは、前記受信ステップに、前記画像情報に基づいて表示されている画像の情報をさらに受信し、前記検出ステップに、前記記述部分及び前記指示代名詞の音声と対応する位置の情報に基づいて前記要素を検出することを特徴とする。
【００２４】
本発明では、画像情報に基づく画像に含まれる要素に係る要素情報を予め記憶しておき、端末装置から発表者の発言の音声を受信し、前記受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、該文字列の内容から該指示代名詞が指示する要素を検出し、検出した要素に係る要素情報に基づいて発表者の音声を修正して記録する。これにより、発表者の発言内容中の指示代名詞が使用された部分が、この部分が指し示す具体的表現に変換される。
【００２５】
本発明では、画像情報に基づく画像に含まれる要素に係る要素情報を予め記憶しておき、端末装置から発表者の発言の音声、及び前記画像情報に基づく画像上の位置を指示する発表者の指示操作による位置データを受信し、前記受信した音声を文字列に変換して、変換した文字列から指示代名詞を抽出し、該指示代名詞が指示する要素を、指示代名詞による音声と対応する位置データに基づいて特定し、特定した要素に係る要素情報に基づいて発表者の音声を修正して記録する。これにより、発表者の発言内容中の指示代名詞が使用された部分が、この部分が指し示す具体的表現に変換される。
【００２６】
本発明では、文字列の内容から指示代名詞が指示する要素を検出すると共に、指示代名詞による音声と対応する位置データに基づいて特定する。特定した要素に係る要素情報に基づいて発表者の音声を修正して記録する。これにより、発表者の発言内容中の指示代名詞が使用された部分が、この部分が指し示す具体的表現に正確に変換される。
【００２７】
本発明では、検出手段は、発表者の発言内容に、前記指示代名詞との距離に基づいて、該指示代名詞が指し示す記述部分を検出する。
【００２８】
本発明では、発表者の発言内容の文字列中に指示代名詞を使用した部分を、この部分が指し示す具体的表現に正確に変換し、変換した文字列を記憶する。
【００２９】
本発明では、修正した文字列から指示代名詞を抽出し、該文字列の内容から該指示代名詞が指示する要素を検出し、検出した要素に係る要素情報に基づいて発表者の音声を修正して記録する。これにより、発表者の発言内容中の指示代名詞が使用された部分が、この部分が指し示す具体的表現に正確に変換される。
【発明の効果】
【００３０】
本発明による場合、発表者の発言内容中に指示代名詞を使用した「曖昧性」や「不確定要素」を含む部分が存在しても、この部分を具体的表現に変換することによって、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識することができる。
【図面の簡単な説明】
【００３１】
【図１】実施の形態１における会議システムの構成を模式的に示す構成図である。
【図２】実施の形態１における会議システムを構成する端末装置の内部構成を示すブロック図である。
【図３】実施の形態１の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。
【図４】実施の形態１の会議システムを構成する会議サーバ装置の制御部の機能を示す機能ブロック図である。
【図５】実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理の手順の一例を示すフローチャートである。
【図６】実施の形態１の会議システムを構成する会議サーバ装置の制御部によって実行される不確定要素の位置を特定する処理を示すフローチャートである。
【図７】実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。
【図８】実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。
【図９】実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。
【図１０】実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。
【図１１】実施の形態２における会議システムの構成を模式的に示す構成図である。
【図１２】実施の形態２における会議システムを構成する端末装置の内部構成を示すブロック図である。
【図１３】実施の形態２の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。
【図１４】実施の形態２の会議システムを構成する会議サーバ装置の制御部の機能を示す機能ブロック図である。
【図１５】実施の形態２の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理の手順の一例を示すフローチャートである。
【図１６】実施の形態２の会議システムを構成する会議サーバ装置の制御部によって実行される不確定要素の位置を特定する処理を示すフローチャートである。
【図１７】実施の形態２の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。
【発明を実施するための形態】
【００３２】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
【００３３】
なお、以下の実施の形態では、本発明の情報処理装置を端末装置に用い、複数の端末装置を用いて音声、映像及び画像の共有を実現する会議システムの例を挙げて説明する。
【００３４】
（実施の形態１）
図１は、実施の形態１における会議システムの構成を模式的に示す構成図である。実施の形態１における会議システムは、会議参加者が用いる端末装置１，１，…と、端末装置１，１，…が接続されるネットワーク２と、端末装置１，１，…での音声、映像及び画像の共有を実現する会議サーバ装置３とを含んで構成される。
【００３５】
端末装置１，１，…及び会議サーバ装置３が接続されるネットワーク２は、会議が行なわれる会社組織の社内ＬＡＮでもよいし、インターネットなどの公衆通信網でもよい。端末装置１，１，…が会議サーバ装置３との接続の認証を受け、認証された端末装置１，１，…が会議サーバ装置３から共有の音声、映像及び画像の情報を送受信し、受信した音声、映像及び画像を出力することにより、他の端末装置１，…と音声、映像及び画像を共有してネットワークを介した会議を実現する。
【００３６】
図２は、実施の形態１における会議システムを構成する端末装置１の内部構成を示すブロック図である。
【００３７】
会議システムを構成する端末装置１はパーソナルコンピュータを用い、制御部１００、
通信処理部１０１と、認証部１０２、読取部１０３、信号処理部１０４、入力処理部１０５、記憶部１０６、一時記憶部１０７、入力音声処理部１０８、出力音声処理部１０９、映像処理部１１０、表示処理部１１１とを備える。端末装置１は、さらにキーボード１１２と、タッチパネルまたはマウス１１３と、マイクロホン１１４と、スピーカ１１５と、カメラ１１６と、ディスプレイ１１７と、ネットワークＩ／Ｆ部１１８とを内蔵又は外部接続により備える。
【００３８】
制御部１００は、ＣＰＵ（Central Processing Unit）を用い、記憶部１０６に記憶されている会議端末用プログラム１Ｐを一時記憶部１０７に読み出して実行することにより、パーソナルコンピュータを、本発明に係る情報処理装置として動作させる。
【００３９】
通信処理部１０１は、ネットワークカードなどを用い、端末装置１のネットワーク２を介した通信を実現させる。詳細には、ネットワーク２に接続されてネットワークＩ／Ｆ部１１８と接続されており、ネットワーク２を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。なお、本実施の形態１の会議システムを実現するために、通信処理部１０１による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ（Session Initiation Protocol）、又はＨＴＴＰ（Hypertext Transfer Protocol ）などのプロトコルを用いればよい。通信プロトコルはこれらに限られない。
【００４０】
認証部１０２は、電子会議の参加者の個人情報（氏名、ＩＤ番号）、及び、予め会議サーバ装置３に保存されている認証データへの登録の有無により、電子会議へ参加しようとする者の参加資格を認証する。
【００４１】
読取部１０３は、ＣＤ−ＲＯＭ、ＤＶＤ、ブルーレイディスク又はフレキシブルディスクなどである記録媒体９から情報を読み取ることが可能である。制御部１００は、読取部１０３により記録媒体９に記録されているデータを一時記憶部１０７に記憶するか、又は記憶部１０６に記録する。記録媒体９には、コンピュータを本発明に係る情報処理装置として動作させる会議端末用プログラム９Ｐが記録されている。記憶部１０６に記録されている会議端末用プログラム１Ｐは、記録媒体９から制御部１００が読み出した会議端末用プログラム９Ｐの複製であってもよい。
【００４２】
信号処理部１０４は、音声、映像データの圧縮・伸張を行えるコーデックである。制御部１００から圧縮された音声、映像データが与えられた場合に、該圧縮された音声、映像データを伸張して出力音声処理部１０９と表示処理部１１１へそれぞれ出力する。また、信号処理部１０４は入力音声処理部１０８からマイクロホン１１４にて入力された音声、及び／又は、映像処理部１１０からカメラ１１６にて撮像された映像が与えられた場合に、該音声及び／又は映像をＨ．２６４、ＭＰＥＧなどの規格のデータへ変換する。
【００４３】
入力処理部１０５には、キーボード１１２、マウスまたはタッチパネル１１３などの入力用ユーザインタフェースが接続されている。入力処理部１０５は、端末装置１のユーザ（会議参加者）の操作により入力されるボタンの押下情報、画面中の位置を示す座標情報などの情報を受け付け、制御部１００へ通知する。
【００４４】
記憶部１０６はハードディスク、若しくはＳＳＤ（Solid State Drive）などの外部記憶装置を用いる。記憶部１０６には、会議端末用プログラム１Ｐが記憶されている。他に、端末装置１における他のアプリケーションソフトウェアプログラムが記憶されていてもよいのは勿論である。
【００４５】
一時記憶部１０７にはＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭを用いる。一時記憶部１０７には、上述のように読み出される会議端末用プログラム１Ｐが記憶されると共に、制御部１００の処理によって発生する情報が記憶される。
【００４６】
入力音声処理部１０８は、端末装置１が備えるマイク１１７に接続され、マイク１１７によって集音された音声をサンプリングしてデジタルの音声データへ変換して信号処理部１０４へ出力するＡ／Ｄ変換機能を有する。なお、マイク１１７はエコーキャンセラを内蔵していてもよい。
【００４７】
出力音声処理部１０９は、端末装置１が備えるスピーカ１１５に接続される。出力音声処理部１０９は、信号処理部１０４から音声データが与えられた場合に、音声としてスピーカ１１５から出力させるようにＤ／Ａ変換機能を有する。
【００４８】
映像処理部１１０は、端末装置１が備えるカメラ１１６に接続され、カメラ１１６の動作の制御を行なうと共に、カメラ１１６にて撮像された映像（画像）のデータを取得して、信号処理部１０４に出力する。
【００４９】
表示処理部１１１は、液晶ディスプレイであるディスプレイ１１７に接続されている。表示処理部１１１は、制御部１００から信号処理部１０４を介して入力された会議端末用のアプリケーション画面、映像などの表示信号を、ディスプレイ１１７が識別可能な描画信号に変更し、ディスプレイ１１７に出力して表示させる。
【００５０】
図３は、実施の形態１の会議システムを構成する会議サーバ装置３の内部構成を示すブロック図である。
【００５１】
会議サーバ装置３は、サーバコンピュータを用い、制御部３０と、一時記憶部３１と、記憶部３２と、通信処理部３３とを備え、更に、ネットワークＩ／Ｆ部３４を内蔵する。
【００５２】
制御部３０は、ＣＰＵを用い、記憶部３２に記憶されている会議サーバ用プログラム３Ｐを一時記憶部３１に読み出して実行することにより、サーバコンピュータを、本実施の形態１における会議サーバ装置３として動作させる。
【００５３】
一時記憶部３１にはＳＲＡＭ、ＤＲＡＭなどのＲＡＭを用いて、上述のように読み出される会議サーバ用プログラム３Ｐが記憶されると共に、制御部３０の処理によって、後述するような画像情報などが一時的に記憶される。
【００５４】
記憶部３２にはハードディスク、若しくはＳＳＤなどの外部記憶装置を用いる。記憶部３２には、上述の会議サーバ用プログラム３Ｐが記憶されている。また、記憶部３２には、会議参加者が用いる端末装置１，１，…の認証を行なうための認証データ、音声認識データベース３０９、会議資料情報データベース３１０、及び音声合成データベース３１１を記憶している。
【００５５】
通信処理部３３は、ネットワークカードなどを用い、会議サーバ装置３のネットワーク２を介した通信を実現させる。詳細には、ネットワーク２に接続されてネットワークＩ／Ｆ部３４と接続されており、ネットワーク２を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。なお、本実施の形態１の会議システムを実現するために、通信処理部３３による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ、又はＨＴＴＰなどのプロトコルを用いる。通信プロトコルはこれらに限られない。
【００５６】
上述のように構成される会議サーバ装置３にて実現される機能の詳細について機能ブロック図を参照して説明する。図４は、実施の形態１の会議サーバ装置３にて実現される機能を示す機能ブロック図である。
【００５７】
会議サーバ装置３の制御部３０は、記憶部３２に記憶されている会議サーバ用プログラム３Ｐの実行により、録音部３０１、音声認識部３０２、ページ構成解析部３０３、位置特定部３０４、変換部３０５、テキスト合成部３０６、音声合成部３０７、情報合成部３０８として機能する。勿論、制御部３０はその他のアプリケーション機能をも実現する。
【００５８】
録音部３０１は、音声データが与えられた場合に、該音声データを記録する録音処理を行なう。会議システムの端末装置１は、そのマイクロホン１１４で集音された音声データをネットワーク２を介して会議サーバ装置３へ送信する。録音処理及び音声認識処理を行なうために、送信された音声データは会議サーバ装置３の録音部３０１及び音声認識部３０２へ与えられ、処理される。
【００５９】
音声認識部３０２は、音声データが与えられた場合に、該音声データを文字列に変換する音声認識処理を行なう。音声認識部３０２は、端末装置１のマイクロホン１１４で集音された音声データを与えられた場合、音声と文字列との間の対応のための辞書として記憶部３２に記憶されている音声認識データベース３０９を参照して、該音声を文字列に変換し、会議記録として記録部３２に保存するとともに、後段の位置特定部３０４に出力する。
【００６０】
ページ構成解析部３０３は、会議開催者のユーザが提供する会議で用いる資料を解析し、会議資料に含まれるテキストの配置や文字数や行数、図の配置、表の配置や行数や列数、会議資料の構成要素の相対位置情報などの要素情報を抽出し、これらの情報を会議資料情報データベース３１０に格納する。
【００６１】
位置特定部３０４は、音声認識部３０２で得られた文字列を与えられた場合に、形態素解析を行ない、与えられた文字列から指示代名詞などの不確定要素を抽出する。例えば、音声認識部３０２により「ココガポイントデス。」という文字列を取得した場合、位置特定部３０４は、指示代名詞である「ココ」を抽出する。そして、位置特定部３０４は、音声認識部３０２で得られた文字列、及び／又はネットワーク２を介して端末装置１から受信した座標データを利用して、会議資料情報データ３１０を参照して、該不確定要素が代表する会議資料上での位置を特定する。
【００６２】
変換部３０５は、位置特定部３０４の位置特定の結果に基づいて、不確定要素による記述部分を数詞表現や名詞表現による確定表現へ変換し、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する。
【００６３】
テキスト合成部３０６は、変換部３０５で変換した確定表現の文字列を用いて、記憶部３２に保存されている会議記録における不確定要素を、該当する確定表現に置き換えて、修正した会議記録として記憶部３２に保存する。
【００６４】
音声合成部３０７は、変換部３０５で変換した確定表現の文字列を用いて、文字列と音声との間の対応のための辞書として記憶部３２に記憶されている音声合成データベース３１１を参照し、該確定要素の文字列と対応する音声素片のデータを取得する。取得した音声素片合成して、情報合成部３０８に出力する。
【００６５】
情報合成部３０８は、録音部３０１で得られた録音データと、音声合成部３０７で得られた合成音声データを合成して、修正されたデータとして記憶部３２に保存する。
【００６６】
このように構成される本実施の形態１における会議システムを用いた電子会議を行なう処理の詳細を説明する。なお、以下、複数の端末装置１を区別するために、Ａ端末装置１、Ｂ端末装置１、Ｃ端末装置１…と呼ぶ。
【００６７】
まず、会議開催者のユーザＡが、Ａ端末装置１を用い、ユーザＩＤ及びパスワードなどの認証情報を入力する。Ａ端末装置１では、認証情報の入力を入力処理部１０５にて受け付け、認証部１０２に通知する。認証部１０２は、受け付けた認証情報と、予め会議サーバ装置３に保存されている認証データとを照合し、承認されているユーザであれば、会議システムの端末装置１が使用できる状態になる。このとき、認証情報と共に、Ａ端末装置１に割り振られているＩＰアドレスなどの端末装置識別情報を会議サーバ装置３へ送信しても良い。これにより、以後、会議サーバ装置３は各端末装置１，１，…を識別することが可能である。
【００６８】
次に、会議開催者のユーザＡが、会議を予約し、会議の参加者を設定する。たとえば、招待されたユーザＢが、Ｂ端末装置１を使用するために、認証用データを入力処理部１０５を介して認証部１０２に与え、認証部１０２にて認証手続きをした場合、上記同様に会議サーバ装置３に保存されている認証データと照合し、承認されているユーザであれば、ユーザＢは会議端末１を使用することができる。一方、会議に招待されていないユーザＣが、Ｃ端末装置１を使用するために、認証用データを入力処理部１０５を介して認証部１０２に与え、認証部１０２にて認証手続きをした場合、上記同様に会議サーバ装置３に保存されている認証データと照合し、承認されているユーザではないので、ユーザＣは会議端末１を使用することができない。
【００６９】
次に、会議開催者のユーザＡが、会議で用いる資料を会議サーバ装置３へ送信して保存する。会議サーバ装置３はページ構成解析部３０３で会議資料のページ構成を解析する。具体的には、ページ構成解析部３０３は、会議資料をページ単位で読み取って、読み取ったページ中のテキスト、図、表などの構成及び配置を解析する。具体的には、テキストであればページにおける座標範囲、文字数、行数、図であれば座標範囲、及び名称、タイトルなどのメタデータ、表であれば名称、タイトルなどのメタデータ、行数、列数、行と列ごとの座標範囲などを解析する。解析した結果は会議資料情報データベース３１０に保存される。
【００７０】
以下、本実施の形態１の会議システムでの議事録作成処理の詳細を、フローチャートを参照して説明する。実施の形態１は、会議の発表者がＡ端末装置１にて行なった発表を記録する場合の処理の例を説明する。図５は、実施の形態１の会議システムを構成する端末装置１，１，…及び会議サーバ装置３によって行なわれる議事録作成処理の手順の一例を示すフローチャートである。
【００７１】
発表者はＡ端末装置１で発表するとき、発表者の音声を入力するＡ端末装置１は、入力音声を、マイクロホン１１４を介して受け付け、受け付けた入力音声は入力音声処理部１０８により音声データとして取得され、信号処理部１０４により符号化され、通信処理部１０１によりパケット化されてネットワークＩ／Ｆ部１１８からネットワーク２を介して会議サーバ装置３へ送信する（ステップＳ５０１）。
【００７２】
会議サーバ装置３では、Ａ端末装置１から受信した発表者の音声データを会議録音として、録音部３０１によって記憶部３２に記憶する（ステップＳ５０２）。録音と同時に、会議サーバ装置３では、制御部３０は音声認識部３０２による処理を実行して文字列を取得し、会議記録として記憶部３２に保存する（ステップＳ５０３）。制御部３０は、得られた文字列を位置特定部３０４へ与え、位置特定部３０４は形態素解析を行ない、与えられた文字列から指示代名詞などの不確定要素を検出するか否かを判断する（ステップＳ５０４）。
【００７３】
位置特定部３０４は、不確定要素を検出していないと判断した場合（Ｓ５０４：ＮＯ）、処理をステップＳ５１１へ進める。位置特定部３０４は、不確定要素を検出したと判断した場合（Ｓ５０４：ＹＥＳ）、該不確定要素が会議資料中のどこの部分に相当するのかを特定する（ステップＳ５０５）。
【００７４】
位置特定部３０４は、該不確定要素の位置を特定できたか否かを判断し（ステップＳ５０６）、特定できていないと判断した場合（Ｓ５０６：ＮＯ）、処理をステップＳ５１１へ進め、特定できたと判断した場合（Ｓ５０６：ＹＥＳ）、該特定した不確定要素の位置を変換部３０５へ与える。変換部３０５は、ステップＳ５０４で検出された不確定要素を、ステップＳ５０５で特定した会議資料中の位置より、数詞表現または名詞表現を用いて表し、変換後の指示代名詞と変換後の表現を対にして記憶部３２に保存する（ステップＳ５０７）。ステップＳ５０５に係る位置特定処理については後述にて詳細を説明する。
【００７５】
次に、テキスト合成部３０６は、ステップＳ５０７で得られた確定表現の文字列を用いて、記憶部３２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部３２に保存する（ステップＳ５０８）。音声合成部３０７は、ステップＳ５０７で得られた確定表現の文字列を用いて、文字列と音声との間の対応のための辞書として記憶部３２に記憶されている音声合成データベース３１１を参照し、該確定要素の文字列と対応する音声素片のデータを取得し、取得した音声素片を合成して情報合成部３０８に出力する（ステップＳ５０９）。
【００７６】
情報合成部３０８は、ステップ５０２で得られた会議録音のデータと、ステップＳ５０９で得られた合成音声データを合成し、修正された会議録音として記憶部３２に記憶し（ステップＳ５１０）、ステップＳ５１１へ進める。制御部３０は、会議の終了を指示するメニューなどが選択されるなどして会議の録音が終了したか否かを判断し（ステップＳ５１１）、終了してないと判断した場合（Ｓ５１１：ＮＯ）、処理をステップＳ５０１へ戻して他の音声入力などを受け付けたか否かなど判断する。制御部３０は、ステップＳ５１１で終了したと判断した場合（Ｓ５１１：ＹＥＳ）、会議録音の処理を終了する。
【００７７】
ここで、本実施の形態１に係る位置特定処理の詳細について説明する。図６は、実施の形態１の会議システムを構成する会議サーバ装置３の音声認識部３０２による音声認識で得られた文字列における不確定要素が会議資料中のどこの部分に相当するのかを特定する処理を示すフローチャートである。図６のフローチャートに示す処理手順は、図５の処理手順の内のステップＳ５０５の詳細に対応する。
【００７８】
位置特定部３０４は、不確定要素を検出したと判断した場合（Ｓ５０４：ＹＥＳ）、座標データの送信をＡ端末装置１へ要求し（ステップＳ６０１）、ステップＳ６０２へ進める。会議サーバ装置３では、制御部３０が通信処理部３３により所定の時間内に座標データを受信したか否かを判断し（ステップＳ６０２）、受信していないと判断した場合は（ステップＳ６０２：ＮＯ）、位置特定部３０４は、発表者の発言内容から該不確定要素に係る内容情報を検出できるか否かを判断する（ステップＳ６０３）。検出した場合（ステップＳ６０３：ＹＥＳ）、検出した内容情報に基づいて、位置特定部３０４は、前記不確定要素の位置を特定する（ステップＳ６０５）。検出できない場合（ステップＳ６０３：ＮＯ）、位置特定処理を終了し、図５のフローチャートに示す処理手順の内のステップＳ５０６へ処理を戻す。
【００７９】
一方、座標データを受信したと判断した場合は（ステップＳ６０２：ＹＥＳ）、位置特定部３０４は、受信した座標データを保持し、発表者の発言内容から該不確定要素に係る内容情報を検出できるか否かを判断する（ステップＳ６０４）。検出できない場合（ステップＳ６０４：ＮＯ）、保持している座標データに基づいて、検出した場合（ステップＳ６０４：ＹＥＳ）保持している座標データ及び検出した内容情報に基づいて、位置特定部３０４は、前記不確定要素の位置を特定する（ステップＳ６０５）。これにより、位置特定処理を終了し、図５のフローチャートに示す処理手順の内のステップＳ５０６へ処理を戻す。
【００８０】
図７〜１０は実施の形態１の会議システムを構成する端末装置及び会議サーバ装置によって行なわれる議事録作成処理手順の具体例を模式的に示す説明図である。以下、具体例に基づいて、本実施の形態１に係る位置特定・変換処理を詳しく説明する。
【００８１】
例えば、発表者がＡ端末装置１のディスプレイ１１７に「表３」という図表を表示させ、その３行目を指しながら、「ココガポイントデス」と発表した場合（図７を参照）、音声認識部３０２により得られた文字列が「ここがポイントです」であり、会議サーバ装置３は位置特定部３０４により、指示代名詞の「ここ」を不確定要素として検出し、座標データの送信をＡ端末装置１へ要求する。
【００８２】
座標データの送信要求を受けたＡ端末装置１は、発表者のマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る所定の時間内の一連の座標データを検出して会議サーバ装置３へ送信する。会議サーバ装置３は、Ａ端末装置１から送信された座標データを受信した場合、該一連の座標データを保持する。一方、Ａ端末装置１は、マウス、タッチパネルなどの入力装置を備えない場合、又は発表者によるマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る座標を検出できない場合、座標データを会議サーバ装置３に送信しない。
【００８３】
会議サーバ装置３の位置特定部３０４は、さらに発表者の発言内容から該不確定要素に係る内容情報を検出する。例えば、発表者の音声発表の音声認識部３０２による音声認識で得られて記憶部３２に保存されている会議記録において、該不確定要素の「ここ」の文字列までの記録の中の、表、図などのページ構成要素の名称を記述した文字列の内の、直近の文字列として「表３」がある場合、「表３」を該不確定要素に係る内容情報として検出する。そして、位置特定部３０４は、会議資料情報データベースから、「表３」に係るページ構成要素の座標範囲を検出し、前記受信した一連の座標データが「表３」の座標範囲内に属しているか否かを判断する。属していないと判断した場合、位置特定部３０４は、前記内容情報を廃棄し、保持している座標データを変換部３０５へ送信する。属していると判断した場合、位置特定部３０４は、保持している座標データ及び検出した内容情報を変換部３０５へ送信する。
【００８４】
位置特定部３０４から座標データ及び内容情報を受信した変換部３０５は、該一連の座標データは「表３」のどの部分と対応しているのかを調べることで、前記不確定要素に係る確定表現を特定する。例えば、発表者がポインタを「表３」の３行目２列目の上に重ねながら横方向に移動した場合、変換部３０５は、該一連の座標データが「表３」の３行目と対応していると検出し、不確定要素の「ここ」を「表３の３行目」へ変換する。発表者がポインタを「表３」の３行目２列目の上に重ねながら縦方向に移動した場合、変換部３０５は、該一連の座標データが「表３」の２列目と対応していると検出し、不確定要素の「ここ」を「表３の２列目」へ変換する。発表者がポインタを「表３」の３行目２列目の上に重ねながらクリック又はセル内に移動した場合、変換部３０５は、該一連の座標データが「表３」の３行目２列目のセルと対応していると検出し、不確定要素の「ここ」を「表３の３行目２列目」へ変換する。変換部３０５は、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する（図８を参照）。
【００８５】
そして、テキスト合成部３０６は、保存している確定表現の文字列を用いて、記憶部３２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部３２に保存する。音声合成部３０７は、保存している確定表現の文字列を用いて、対応する音声素片のデータを取得して合成し、情報合成部３０８に出力する。情報合成部３０８は、会議録音のデータと合成音声データを合成し、修正された会議録音として記憶部３２に記憶する。
【００８６】
さらに、例えば、発表者がＡ端末装置１のディスプレイ１１７に「図４」という図表を表示させ、その右上を指しながら、「コノズノココガポイントデス」と発表した場合、音声認識部３０２により得られた文字列が「この図のここがポイントです」であり、会議サーバ装置３は位置特定部３０４により、指示代名詞の「この図」を不確定要素として検出し、前述のように位置を特定して変換することで、不確定要素の「この」を「図４」へ変換し、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する。保存している確定表現の文字列に基づいて、テキスト合成部３０６によって会議記録を修正し、音声合成部３０７及び情報合成部３０８によって会議録音を修正する。
【００８７】
次に、位置特定部３０４は、指示代名詞「ここ」を不確定要素として検出し、座標データの送信をＡ端末装置１へ要求する。
【００８８】
座標データの送信要求を受けたＡ端末装置１は、発表者のマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る所定の時間内の一連の座標データを検出して会議サーバ装置３へ送信する。会議サーバ装置３は、Ａ端末装置１から送信された座標データを受信した場合、該一連の座標データを保持する。一方、Ａ端末装置１は、マウス、タッチパネルなどの入力装置を備えない場合、又は発表者によるマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る座標を検出できない場合、座標データを会議サーバ装置３に送信しない。
【００８９】
会議サーバ装置３の位置特定部３０４は、さらに発表者の発言内容から該不確定要素に係る内容情報を検出する。例えば、記憶部３２に保存されている修正された会議記録において、該不確定要素の「ここ」の文字列までの記録の中の、表、図などのページ構成要素の名称を記述した文字列の内の、直近の文字列として「図４」がある場合、「図４」を該不確定要素に係る内容情報として検出する。そして、位置特定部３０４は、会議資料情報データベースから、「図４」に係るページ構成要素の座標範囲を検出し、前記受信した一連の座標データが「図４」の座標範囲内に属しているか否かを判断する。属していないと判断した場合、位置特定部３０４は、前記内容情報を廃棄し、保持している座標データを変換部３０５へ送信する。属していると判断した場合、位置特定部３０４は、保持している座標データ及び検出した内容情報を変換部３０５へ送信する。
【００９０】
位置特定部３０４から座標データ及び内容情報を受信した変換部３０５は、該一連の座標データは「図４」のどの部分と対応しているのかを調べることで、前記不確定要素に係る確定表現を特定する。例えば、発表者がポインタを「図４」の右上部に重ねながら横方向に大きく移動した場合、変換部３０５は、該一連の座標データが「図４」の上部と対応していると検出し、不確定要素の「ここ」を「図４の上部」へ変換する。発表者がポインタを「図４」の右上部に重ねながら縦方向に大きく移動した場合、変換部３０５は、該一連の座標データが「図４」の右部と対応していると検出し、不確定要素の「ここ」を「図４の右部」へ変換する。発表者がポインタを「図４」の右上部に重ねながらクリック又は小さく移動した場合、変換部３０５は、該一連の座標データが「図４」の右上部と対応していると検出し、不確定要素の「ここ」を「図４の右上部」へ変換する。変換部３０５は、さらに変換後の確定表現の文字列に対して重複除去処理を行なって「図４の」を消去し、変換前の不確定要素と対応して保存する（図８を参照）。
【００９１】
そして、テキスト合成部３０６は、保存している確定表現の文字列を用いて、記憶部３２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部３２に保存する。音声合成部３０７は、保存している確定表現の文字列を用いて、対応する音声素片のデータを取得して合成し、情報合成部３０８に出力する。情報合成部３０８は、合成音声データで会議録音のデータを修正し、修正された会議録音として記憶部３２に記憶する。
【００９２】
この外、マウスによるポインタ操作や、タッチパネルによるタッチ操作を行わずに発表を行った場合には、制御部３０が通信処理部３３により所定の時間内に座標データを受信していない。そして、位置特定部３０４は、発表者の発言内容から該不確定要素に係る内容情報を検出する。例えば、発表者の音声発表の音声認識部３０２による音声認識で得られて記憶部３２に保存されている会議記録において、該不確定要素の「この図」と最も距離が近く、ページ構成要素の図Ｂのタイトルを記述している文字列「ＡＢＣ」がある場合、「図Ｂ」を該不確定要素に係る内容情報として検出する（図９を参照）。
【００９３】
なお、修正の表現方法として、図１０に示すように、
１．補足情報として、“ここがポイントです”という録音音声を再生した後に、合成音声を用いて“こことは表３の３行目です”という正確な情報を伝える；
２．置き換えとして、「ここがポイントです」の“ここ”の部分を“表３の３行目”という合成音声へと置き換え、残りの“がポイントです”の部分は録音音声をそのまま使用する；
３．全て合成音声で“表３の３行目がポイントです”と発声させる
が挙げられる。
【００９４】
このようにして、本実施の形態１の構成によれば、発表者の発言内容中に指示代名詞を使用した曖昧性や不確定要素を含む部分が存在しても、この部分をページ構成要素を示す具体的表現に変換することによって、発表者の発言内容とプレゼンテーションの内容とを正確に結びつけて発表者が意図する箇所を認識する議事録を作成することができる。
【００９５】
（実施の形態２）
図１１は、実施の形態２における会議システムの構成を模式的に示す構成図である。実施の形態２における会議システムは、会議参加者が用いる端末装置４，４，…と、端末装置４，４，…が接続されるネットワーク５と、端末装置４，４，…での音声、映像及び画像の共有を実現する会議サーバ装置６とを含んで構成される。実施の形態１では、複数の端末装置を用いて音声、映像及び画像を共有する会議システムにおいて、１つの発言者の発表音声を修正して記録する。それに対して、本実施の形態２では、複数の端末装置を用いて音声、映像及び画像を共有する会議システムにおいて、複数の発表者が発言し、発言の音声を該複数の発言者ごとに修正して記録する。以下、実施の形態１と異なる構成を中心として説明する。
【００９６】
端末装置４，４，…及び会議サーバ装置６が接続されるネットワーク５は、会議が行なわれる会社組織の社内ＬＡＮでもよいし、インターネットなどの公衆通信網でもよい。端末装置４，４，…が会議サーバ装置６との接続の認証を受け、認証された端末装置４，４，…が会議サーバ装置６から共有の音声、映像及び画像の情報を送受信し、受信した音声、映像及び画像を出力することにより、他の端末装置４，…と音声、映像及び画像を共有してネットワークを介した会議を実現する。
【００９７】
図１２は、実施の形態２における会議システムを構成する端末装置４の内部構成を示すブロック図である。
【００９８】
会議システムを構成する端末装置４はパーソナルコンピュータを用い、制御部４００、
通信処理部４０１と、認証部４０２、読取部４０３、信号処理部４０４、入力処理部４０５、記憶部４０６、一時記憶部４０７、入力音声処理部４０８、出力音声処理部４０９、映像処理部４１０、表示処理部４１１とを備える。端末装置４は、さらにキーボード４１２と、タッチパネルまたはマウス４１３と、マイクロホン４１４と、スピーカ４１５と、カメラ４１６と、ディスプレイ４１７と、ネットワークＩ／Ｆ部４１８とを内蔵又は外部接続により備える。端末装置４の前記各構成部分の機能は夫々、実施の形態１における端末装置１の各構成部分と基本的に同様であるので、詳細な説明を省略する。
【００９９】
図１３は、実施の形態２の会議システムを構成する会議サーバ装置６の内部構成を示すブロック図である。
【０１００】
会議サーバ装置６は、サーバコンピュータを用い、制御部６０と、一時記憶部６１と、記憶部６２と、通信処理部６３、画像処理部６４とを備え、更に、ネットワークＩ／Ｆ部６５を内蔵する。会議サーバ装置６の前記各構成部分の構造は夫々、実施の形態１における会議サーバ装置３の各構成部分と基本的に同様であるので、詳細な説明を省略する。
【０１０１】
記憶部６２にはハードディスク、若しくはＳＳＤなどの外部記憶装置を用いる。記憶部６２には、上述の会議サーバ用プログラム６Ｐが記憶されている。また、記憶部６２には、会議参加者が用いる端末装置４，４，…の認証を行なうための認証データ、音声認識データベース６０９、会議資料情報データベース６１０、及び音声合成データベース６１１を記憶している。更に、会議システムで各端末装置４，４，…で共有の資料を表示できるようにするため、会議サーバ装置６の記憶部６２には、複数のドキュメントデータが共有ドキュメントデータ６６として記憶されている。ドキュメントデータは、テキストデータ、写真データ、図データなどであり、フォーマットなどは問わない。
【０１０２】
通信処理部６３は、ネットワークカードなどを用い、会議サーバ装置６のネットワーク５を介した通信を実現させる。詳細には、ネットワーク５に接続されてネットワークＩ／Ｆ部６５と接続されており、ネットワーク５を介して送受信される情報のパケット化、パケットからの情報の読み取りなどを行なう。なお、本実施の形態２の会議システムを実現するために、通信処理部６３による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ、又はＨＴＴＰなどのプロトコルを用いる。通信プロトコルはこれらに限られない。
【０１０３】
画像処理部６４は、制御部６０からの指示に従って画像を作成する。具体的には、画像処理部６４は、記憶部６２に記憶してある共有ドキュメントデータ６６の内、各端末装置４，４，…にて表示対象となるドキュメントデータを受け付け、該ドキュメントデータを画像に変換して出力する。
【０１０４】
上述のように構成される会議サーバ装置６にて実現される機能の詳細について機能ブロック図を参照して説明する。図１４は実施の形態２の会議システムを構成する会議サーバ装置の制御部の機能を示す機能ブロック図である。
【０１０５】
会議サーバ装置６の制御部６０は、記憶部６２に記憶されている会議サーバ用プログラム６Ｐの実行により、録音部６０１、音声認識部６０２、ページ構成解析部６０３、位置特定部６０４、変換部６０５、テキスト合成部６０６、音声合成部６０７、情報合成部６０８として機能する。勿論、制御部６０はその他のアプリケーション機能をも実現する。
【０１０６】
録音部６０１は、音声データが与えられた場合に、該音声データを記録する録音処理を行なう。会議システムの端末装置４は、そのマイクロホン４１４で集音された音声データがネットワーク５を介して会議サーバ装置６へ送信される。録音処理及び音声認識処理を行なうために、送信された音声データは会議サーバ装置６の録音部６０１及び音声認識部６０２へ与えられ、処理される。
【０１０７】
音声認識部６０２は、音声データが与えられた場合に、該音声データを文字列に変換する音声認識処理を行なう。音声認識部６０２は、端末装置４のマイクロホン４１４で集音された音声データを与えられた場合、音声と文字列との間の対応のための辞書として記憶部６２に記憶されている音声認識データベース６０９を参照して、該音声を文字列に変換し、変換した文字列に発言者の氏名を追加して会議記録として記録部６２に保存するとともに、後段の位置特定部６０４に出力する。
【０１０８】
ページ構成解析部６０３は、会議開催者のユーザから提供され会議サーバ装置６の共有ドキュメントデータ６６に保存されている会議資料を解析し、会議資料に含まれるテキストの配置や文字数や行数、図の配置、表の配置や行数や列数、会議資料の構成要素の相対位置情報などを抽出し、これらの情報を会議資料情報データベース６１０に格納する。
【０１０９】
位置特定部６０４は、音声認識部６０２で得られた文字列を与えられた場合に、形態素解析を行ない、与えられた文字列から代名詞や指示代名詞などの不確定要素を抽出する。例えば、音声認識部６０２により「ココガポイントデス。」という文字列を取得した場合、位置特定部６０４は、指示代名詞である「ココ」を抽出する。そして、位置特定部６０４は、音声認識部６０２で得られた文字列、及び／又はネットワーク５を介して端末装置４から受信した座標データを利用して、会議資料情報データ６１０を参照して、該不確定要素が代表する会議資料上での位置を特定する。
【０１１０】
変換部６０５は、位置特定部６０４の位置特定の結果に基づいて、不確定要素による記述部分を数詞表現や名詞表現による確定表現へ変換し、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する。
【０１１１】
テキスト合成部６０６は、変換部６０５で変換した確定表現の文字列を用いて、記憶部６２に保存されている会議記録における不確定要素を、該当する確定表現に置き換えて、修正した会議記録として記憶部６２に保存する。
【０１１２】
音声合成部６０７は、変換部６０５で変換した確定表現の文字列を用いて、文字列と音声との間の対応のための辞書として記憶部６２に記憶されている音声合成データベース６１１を参照し、該確定要素の文字列と対応する音声素片のデータを取得する。取得した音声素片合成して、情報合成部６０８に出力する。
【０１１３】
情報合成部６０８は、録音部６０１で得られた録音データと、音声合成部６０７で得られた合成音声データを合成して、修正されたデータとして記憶部６２に保存する。
【０１１４】
このように構成される本実施の形態２における会議システムを用いた電子会議を行なう処理の詳細を説明する。なお、以下、複数の端末装置４を区別するために、Ａ端末装置４、Ｂ端末装置４、Ｃ端末装置４…と呼ぶ。
【０１１５】
まず、会議開催者のユーザＡが、Ａ端末装置４を用い、ユーザＩＤ及びパスワードなどの認証情報を入力する。Ａ端末装置４では、認証情報の入力を入力処理部４０５にて受け付け、認証部４０２に通知する。認証部４０２は、受け付けた認証情報と、予め会議サーバ装置６に保存されている認証データとを照合し、承認されているユーザであれば、会議システムの端末装置４が使用できる状態になる。このとき、認証情報と共に、Ａ端末装置４に割り振られているＩＰアドレスなどの端末装置識別情報が会議サーバ装置６へ送信され、ユーザ情報と対応付られて認証データに保存される。これにより、以後、会議サーバ装置６は各端末装置４，４，…を識別することが可能である。
【０１１６】
次に、会議開催者のユーザＡが、会議を予約し、会議の参加者を設定する。たとえば、招待されたユーザＢが、Ｂ端末装置４を使用するために、認証用データを入力処理部４０５を介して認証部４０２に与え、認証部４０２にて認証手続きをした場合、上記同様に会議サーバ装置６に保存されている認証データと照合し、承認されているユーザであれば、ユーザＢは会議端末４を使用することができる。一方、会議に招待されていないユーザＣが、Ｃ端末装置４を使用するために、認証用データを入力処理部４０５を介して認証部４０２に与え、認証部４０２にて認証手続きをした場合、上記同様に会議サーバ装置６に保存されている認証データと照合し、承認されているユーザではないので、ユーザＣは会議端末４を使用することができない。
【０１１７】
次に、会議開催者のユーザＡが、会議で用いる資料を会議サーバ装置６へ送信して共有ドキュメントデータ６６に保存する。会議サーバ装置６はページ構成解析部６０３で会議資料のページ構成を解析する。具体的には、ページ構成解析部６０３は、会議資料をページ単位で読み取って、読み取ったページ中のテキスト、図、表などの構成及び配置を解析する。具体的には、テキストであればページにおける座標範囲、文字数、行数、図であれば座標範囲、及び名称、タイトルなどのメタデータ、表であれば名称、タイトルなどのメタデータ、行数、列数、行と列ごとの座標範囲などを解析する。解析した結果は会議資料情報データベース６１０に保存される。
【０１１８】
まだ、共有ドキュメントデータ６６の内、会議で使用される共有ドキュメントデータ６６が画像処理部６４によって頁毎に画像（イメージ）に変換され、会議の進行に従って各端末装置４，４，…に送信される。画像処理部６４によって頁毎に画像へ変換されたドキュメントデータは、ネットワーク５を介して端末装置４，４で受信され表示される。これにより、各端末装置４での表示が同一となるように同期させる。なお、ある端末装置４を用いる会議参加者の前頁、後頁などの操作を受け付け、他の端末装置４…で表示されるドキュメントデータの頁が会議サーバ装置６の制御部６０によって制御される。
【０１１９】
以下、本実施の形態２の会議システムでの議事録作成処理の詳細を、フローチャートを参照して説明する。実施の形態２は、会議の参加者が端末装置４，４，…にて行なったディスカッションを音声記録する場合の処理の例を説明する。図１５は、実施の形態２の会議システムを構成する端末装置４，４，…及び会議サーバ装置６によって行なわれる議事録作成処理の手順の一例を示すフローチャートである。
【０１２０】
参加者は端末装置４，４，…で発言するとき、発言者の音声を入力する端末装置４，４，…は、入力音声をマイクロホン４１４を介して受け付け、受け付けた入力音声は入力音声処理部４０８により音声データとして取得され、信号処理部４０４により符号化され通信処理部４０１によりパケット化されて、ネットワークＩ／Ｆ部４１８によりネットワーク５を介して会議サーバ装置６へ送信する（ステップＳ１５０１）。
【０１２１】
会議サーバ装置６では、端末装置４，４，…から送信した音声データを受信した場合、送信元の端末装置４のＩＰアドレスなどの端末装置識別情報に基づいて、対応する発言者の氏名を認証データから読み出して保持する。会議サーバ装置６は、受信した発言者の音声データを会議録音として、録音部６０１によって記憶部６２に記憶する（ステップＳ１５０２）。録音と同時に、制御部６０は音声認識部６０２による処理を実行して文字列を取得し、発言者の氏名を追加して会議記録として記憶部６２に保存する（ステップＳ１５０３）。制御部６０は、得られた文字列を位置特定部６０４へ与え、位置特定部６０４は形態素解析を行ない、与えられた文字列から代名詞や指示代名詞などの不確定要素を検出するか否かを判断する（ステップＳ１５０４）。
【０１２２】
位置特定部６０４は、不確定要素を検出していないと判断した場合（Ｓ１５０４：ＮＯ）、処理をステップＳ１５１１へ進める。位置特定部６０４は、不確定要素を検出したと判断した場合（Ｓ１５０４：ＹＥＳ）、音声データの送信元に応じて、該不確定要素が会議資料中のどこの部分に相当するのかを特定する（ステップＳ１５０５）。
【０１２３】
位置特定部６０４は、該不確定要素の位置を特定できたか否かを判断し（ステップＳ１５０６）、特定できていないと判断した場合（Ｓ１５０６：ＮＯ）、処理をステップＳ１５１１へ進め、特定できたと判断した場合（Ｓ１５０６：ＹＥＳ）、該特定した不確定要素の位置を変換部６０５へ与える。変換部６０５は、ステップＳ１５０４で検出された不確定要素を、ステップＳ１５０５で特定した会議資料中の位置より、数詞表現または名詞表現を用いて表し、変換後の指示代名詞と変換後の表現を対にして記憶部６２に保存する（ステップＳ１５０７）。ステップＳ１５０５に係る位置特定処理については後述にて詳細を説明する。
【０１２４】
次に、テキスト合成部６０６は、ステップＳ１５０７で得られた確定表現の文字列を用いて、記憶部６２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部６２に保存する（ステップＳ１５０８）。音声合成部６０７は、ステップＳ１５０７で得られた確定表現の文字列を用いて、文字列と音声との間の対応のための辞書として記憶部６２に記憶されている音声合成データベース６１１を参照し、該確定要素の文字列と対応する音声素片のデータを取得し、取得した音声素片を合成して情報合成部６０８に出力する（ステップＳ１５０９）。
【０１２５】
情報合成部６０８は、ステップＳ１５０２で得られた会議録音のデータと、ステップＳ１５０９で得られた合成音声データを合成し、修正された会議録音として記憶部６２に記憶し（ステップＳ１５１０）、ステップＳ１５１１へ進める。制御部６０は、会議の終了を指示するメニューなどが選択されるなどして会議の録音が終了したか否かを判断し（ステップＳ１５１１）、終了してないと判断した場合（Ｓ１５１１：ＮＯ）、処理をステップＳ１５０１へ戻して他の音声入力などを受け付けたか否かなど判断する。制御部６０は、ステップＳ１５１１で終了したと判断した場合（Ｓ１５１１：ＹＥＳ）、会議録音の処理を終了する。
【０１２６】
ここで、本実施の形態２に係る位置特定処理の詳細について説明する。図１６は、実施の形態２の会議システムを構成する会議サーバ装置６の音声認識部６０２による音声認識で得られた文字列における不確定要素が会議資料中のどこの部分に相当するのかを特定する処理を示すフローチャートである。図１６のフローチャートに示す処理手順は、図１５の処理手順の内のステップＳ１５０５の詳細に対応する。
【０１２７】
位置特定部６０４は、不確定要素を検出したと判断した場合（Ｓ１５０４：ＹＥＳ）、座標データの送信を、発言者の氏名と対応する端末装置である送信元の端末装置４へ要求し（ステップＳ１６０１）、ステップＳ１６０２へ進める。会議サーバ装置６では、制御部６０が通信処理部６３により所定の時間内に座標データを受信したか否かを判断し（ステップＳ１６０２）、受信していないと判断した場合は（ステップＳ１６０２：ＮＯ）、位置特定部６０４は、発言者の発言内容から該不確定要素に係る内容情報を検出できるか否かを判断する（ステップＳ１６０３）。検出した場合（ステップＳ１６０３：ＹＥＳ）、検出した内容情報に基づいて、位置特定部６０４は、前記不確定要素の位置を特定する（ステップＳ１６０５）。検出できない場合（ステップＳ１６０３：ＮＯ）、位置特定処理を終了し、図１５のフローチャートに示す処理手順の内のステップＳ１５０６へ処理を戻す。
【０１２８】
一方、座標データを受信したと判断した場合は（ステップＳ１６０２：ＹＥＳ）、位置特定部６０４は、受信した座標データを保持し、発言者の発言内容から該不確定要素に係る内容情報を検出できるか否かを判断する（ステップＳ１６０４）。検出できない場合（ステップＳ１６０４：ＮＯ）、保持している座標データに基づいて、検出した場合（ステップＳ１６０４：ＹＥＳ）保持している座標データ及び検出した内容情報に基づいて、位置特定部６０４は、前記不確定要素の位置を特定する（ステップＳ１６０５）。これにより、位置特定処理を終了し、図１５のフローチャートに示す処理手順の内のステップＳ１５０６へ処理を戻す。
【０１２９】
以下、具体的な例に基づいて、本実施の形態２に係る位置特定・変換処理を詳しく説明する。
【０１３０】
例えば、発言者ＡがＡ端末装置４のディスプレイ４１７に「表３」という図表を表示させ、その３行目を指しながら、「ココガポイントデス」と発表した場合（図１７を参照）、音声認識部６０２により得られた文字列が「ここがポイントです」であり、会議サーバ装置６は位置特定部６０４により、指示代名詞の「ここ」を不確定要素として検出し、座標データの送信を送信元の端末装置であるＡ端末装置４へ要求する。
【０１３１】
座標データの送信要求を受けたＡ端末装置４は、発言者のマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る所定の時間内の一連の座標データを検出して会議サーバ装置６へ送信する。会議サーバ装置６は、Ａ端末装置４から送信された座標データを受信した場合、該一連の座標データを保持する。一方、Ａ端末装置４は、マウス、タッチパネルなどの入力装置を備えない場合、又は発言者によるマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る座標を検出できない場合、座標データを会議サーバ装置６に送信しない。
【０１３２】
会議サーバ装置６の位置特定部６０４は、さらに発言者の発言内容から該不確定要素に係る内容情報を検出する。例えば、発言者の音声発表の音声認識部６０２による音声認識で得られて記憶部６２に保存されている会議記録の、発言者Ａの氏名と対応付けて保存されている部分において、該不確定要素の「ここ」の文字列までの記録の中の、表、図などのページ構成要素の名称を記述した文字列の内の、直近の文字列として「表３」がある場合、「表３」を該不確定要素に係る内容情報として検出する。そして、位置特定部６０４は、会議資料情報データベースから、「表３」に係るページ構成要素の座標範囲を検出し、前記受信した一連の座標データが「表３」の座標範囲内に属しているか否かを判断する。属していないと判断した場合、位置特定部６０４は、前記内容情報を廃棄し、保持している座標データを変換部６０５へ送信する。属していると判断した場合、位置特定部６０４は、保持している座標データ及び検出した内容情報を変換部６０５へ送信する。
【０１３３】
位置特定部６０４から座標データ及び内容情報を受信した変換部６０５は、該一連の座標データは「表３」のどの部分と対応しているのかを調べることで、前記不確定要素に係る確定表現を特定する。例えば、発言者がポインタを「表３」の３行目２列目の上に重ねながら横方向に移動した場合、変換部６０５は、該一連の座標データが「表３」の３行目と対応していると検出し、不確定要素の「ここ」を「表３の３行目」へ変換する。発言者がポインタを「表３」の３行目２列目の上に重ねながら縦方向に移動した場合、変換部６０５は、該一連の座標データが「表３」の２列目と対応していると検出し、不確定要素の「ここ」を「表３の２列目」へ変換する。発言者がポインタを「表３」の３行目２列目の上に重ねながらクリック又はセル内に移動した場合、変換部６０５は、該一連の座標データが「表３」の３行目２列目のセルと対応していると検出し、不確定要素の「ここ」を「表３の３行目２列目」へ変換する。変換部６０５は、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する。
【０１３４】
そして、テキスト合成部６０６は、保存している確定表現の文字列を用いて、記憶部６２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部６２に保存する。音声合成部６０７は、保存している確定表現の文字列を用いて、対応する音声素片のデータを取得して合成し、情報合成部６０８に出力する。情報合成部６０８は、会議録音のデータと合成音声データを合成し、修正された会議録音として記憶部６２に記憶する。
【０１３５】
さらに、例えば、発言者ＢがＢ端末装置４のディスプレイ１１７に「図４」という図表を表示させ、その右上を指しながら、「コノズノココガジュウヨウデス」と発表した場合、音声認識部６０２により得られた文字列が「この図のここが重要です」であり、会議サーバ装置６は位置特定部６０４により、指示代名詞の「この」を不確定要素として検出し、前述のように位置を特定して変換することで、不確定要素の「この」を「図４」へ変換し、変換後の確定表現の文字列と変換前の不確定要素を対応して保存する。保存している確定表現の文字列に基づいて、テキスト合成部６０６によって会議記録を修正し、音声合成部６０７及び情報合成部６０８によって会議録音を修正する。
【０１３６】
次に、位置特定部６０４は、指示代名詞「ここ」を不確定要素として検出し、座標データの送信を送信元の端末装置であるＢ端末装置４へ要求する。
【０１３７】
座標データの送信要求を受けたＢ端末装置４は、発言者のマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る所定の時間内の一連の座標データを検出して会議サーバ装置６へ送信する。会議サーバ装置６は、Ｂ端末装置４から送信された座標データを受信した場合、該一連の座標データを保持する。一方、Ｂ端末装置４は、マウス、タッチパネルなどの入力装置を備えない場合、又は発言者によるマウスによるポインタ動作、又はタッチパネルによる画面への指差し行為に係る座標を検出できない場合、座標データを会議サーバ装置６に送信しない。
【０１３８】
会議サーバ装置６の位置特定部６０４は、さらに発言者の発言内容から該不確定要素に係る内容情報を検出する。例えば、記憶部６２に保存されている修正された会議記録における発言者Ｂの氏名と対応付けて保存されている部分において、該不確定要素の「ここ」の文字列までの記録の中の、表、図などのページ構成要素の名称を記述した文字列の内の、直近の文字列として「図４」がある場合、「図４」を該不確定要素に係る内容情報として検出する。そして、位置特定部６０４は、会議資料情報データベースから、「図４」に係るページ構成要素の座標範囲を検出し、前記受信した一連の座標データが「図４」の座標範囲内に属しているか否かを判断する。属していないと判断した場合、位置特定部６０４は、前記内容情報を廃棄し、保持している座標データを変換部６０５へ送信する。属していると判断した場合、位置特定部６０４は、保持している座標データ及び検出した内容情報を変換部６０５へ送信する。
【０１３９】
位置特定部６０４から座標データ及び内容情報を受信した変換部６０５は、該一連の座標データは「図４」のどの部分と対応しているのかを調べることで、前記不確定要素に係る確定表現を特定する。例えば、発言者がポインタを「図４」の右上部に重ねながら横方向に大きく移動した場合、変換部６０５は、該一連の座標データが「図４」の上部と対応していると検出し、不確定要素の「ここ」を「図４の上部」へ変換する。発言者がポインタを「図４」の右上部に重ねながら縦方向に大きく移動した場合、変換部６０５は、該一連の座標データが「図４」の右部と対応していると検出し、不確定要素の「ここ」を「図４の右部」へ変換する。発言者がポインタを「図４」の右上部に重ねながらクリック又は小さく移動した場合、変換部６０５は、該一連の座標データが「図４」の右上部と対応していると検出し、不確定要素の「ここ」を「図４の右上部」へ変換する。変換部６０５は、さらに変換後の確定表現の文字列に対して重複除去処理を行なって「図４の」を消去し、変換前の不確定要素と対応して保存する。
【０１４０】
そして、テキスト合成部６０６は、保存している確定表現の文字列を用いて、記憶部６２に保存されている会議記録における不確定要素を、該当する確定表現に置き換え、修正した会議記録として記憶部６２に保存する。音声合成部６０７は、保存している確定表現の文字列を用いて、対応する音声素片のデータを取得して合成し、情報合成部６０８に出力する。情報合成部６０８は、会議録音のデータと合成音声データを合成し、修正された会議録音として記憶部６２に記憶する。
【０１４１】
このようにして、本実施の形態２は、実施の形態１と同様、発言者の発言内容中に指示代名詞を使用した曖昧性や不確定要素を含む部分が存在しても、この部分をページ構成要素を示す具体的表現に変換することによって、発言者の発言内容とプレゼンテーションの内容とを正確に結びつけて発言者が意図する箇所を認識する議事録を作成することができる。
【０１４２】
また、実施の形態２の構成によれば、会議で使用される共有ドキュメントデータ６６による画像を各端末装置へ配布し、各端末装置４での表示が同一となるように同期させる電子会議システムにおいて、発言者ごとに発言内容とプレゼンテーションの内容とを正確に結びつけることで、複数の発言者が意図する箇所を認識する議事録を作成することができる。
【０１４３】
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【０１４４】
１，４  端末装置
２，５  ネットワーク
３，６  会議サーバ装置（情報処理装置）
１１３，４１３  タッチパネル
１１４，４１４  マイクロホン（音声入力部）
１１５，４１５  スピーカ（音声出力部）
１１７，４１７  ディスプレイ（表示部）
３０，６０  制御部
３２，６２  記憶部
３３，６３  通信処理部
３０１，６０１  録音部
３０２，６０２  音声認識部
３０３，６０３  ページ構成解析部
３０４，６０４  位置特定部
３０５，６０５  変換部
３０６，６０６  テキスト合成部
３０７，６０７  音声合成部
３０９，６０９  情報合成部
３１０，６１０  音声認識ＤＢ
３１０，６１０  会議資料情報ＤＢ
３１１，６１１  音声合成ＤＢ
１Ｐ，４Ｐ  会議端末用プログラム（コンピュータプログラム）
９Ｐ  会議端末用プログラム（コンピュータプログラム）
３Ｐ，６Ｐ  会議サーバ用プログラム（コンピュータプログラム）
【図１】
2011086123.tif 000003
【図２】
2011086123.tif 000004
【図３】
2011086123.tif 000005
【図４】
2011086123.tif 000006
【図５】
2011086123.tif 000007
【図６】
2011086123.tif 000008
【図７】
2011086123.tif 000009
【図８】
2011086123.tif 000010
【図９】
2011086123.tif 000011
【図１０】
2011086123.tif 000012
【図１１】
2011086123.tif 000013
【図１２】
2011086123.tif 000014
【図１３】
2011086123.tif 000015
【図１４】
2011086123.tif 000016
【図１５】
2011086123.tif 000017
【図１６】
2011086123.tif 000018
【図１７】
2011086123.tif 000019