(57)【特許請求の範囲】
【請求項１】
会議の議論の対象となる複数の会議資料のそれぞれを識別する資料識別情報と、前記複数の会議資料のそれぞれの提示時間区間情報とを記憶する第１の記憶手段と、
会議の音声情報から検出された複数の会議参加者のそれぞれの発言区間の時間情報と、各発言がなされたときに提示されていた会議資料の前記資料識別情報とを記憶する第２の記憶手段と、
前記複数の会議資料のうち、ユーザにより選択指示された会議資料を判別する資料判別手段と、
前記資料判別手段で判別された会議資料について、前記第１の記憶手段と前記第２の記憶手段の情報に基づいて、前記会議において、前記会議資料が提示された時間区間と、当該会議資料が提示された時間区間における会議参加者の発言区間の出現状況を示す発言構造とを、視覚化情報として生成する発言構造図生成手段と、
を備えることを特徴とする発言構造情報提示装置。
【請求項２】
請求項１に記載の発言構造情報提示装置において、
前記第１の記憶手段に記憶されている前記会議資料の提示状況に関する情報と、前記第２の記憶手段に記憶されている前記複数の会議参加者の前記発言区間の相互の関係から、発言構造の部分構造を抽出する部分発言構造検出手段を備えることを特徴とする発言構造情報提示装置。
【請求項３】
請求項２に記載の発言構造情報提示装置において、
前記会議資料のそれぞれに関わる全発言区間を抽出する第１の発言構造レベルと、前記会議資料の特定の提示時間帯における全発言区間を抽出する第２の発言構造レベルと、前記部分発言構造検出手段で検出された特定の話題に関わる区間を抽出する第３の発言構造レベルとからなる階層構造で、前記発言構造を管理する発言構造管理手段を備えることを特徴とする発言構造情報提示装置。
【請求項４】
請求項３に記載の発言構造情報提示装置において、
各会議参加者が前記会議において入力した、メモ書きやマーキング等のユーザ入力情報を、前記会議参加者毎に記憶する第３の記憶手段と、
前記発言構造管理手段で管理する第１〜第３の発言構造レベルと、前記ユーザ入力情報との関係を保持し、前記ユーザ入力情報を、階層構造として管理する個人情報管理手段と、
を備えることを特徴とする発言構造情報提示装置。
【請求項５】
請求項４に記載の発言構造情報提示装置において、
前記ユーザ入力情報を指定するとともに、前記階層構造のレベルを指定することにより、前記指定されたユーザ入力情報に関連した発言構造区間を、前記指定された階層レベルに応じて特定し抽出する発言構造区間抽出手段を備えることを特徴とする発言構造情報提示装置。
【請求項６】
請求項４に記載の発言構造情報提示装置において、
前記会議において提示された会議資料内容と、前記ユーザ入力情報とをオーバーレイさせて表示する表示手段を備えるとともに、
前記表示手段上でのユーザによる検索指示入力の、前記会議資料への参照状況や、前記ユーザ入力情報の選択状況に応じて、前記第１〜第３の発言構造レベルのうちのいずれかの発言区間を自動的に判定し、前記会議資料の提示時間区間のうちの前記発言構造レベルに応じた任意の部分に間連した発言構造区間のみを検出する発言構造区間検出手段を備える
ことを特徴とする発言構造情報提示装置。
【請求項７】
請求項１に記載の発言構造情報提示装置において、
前記第２の記憶手段に記憶されている前記発言区間の長さが所定時間以上のものを説明発言として検出する説明発言検出手段と、
発言構造から説明発言を削除することにより議論の発言構造を抽出する議論状態判定手段と、
前記議論の発言構造の情報から話者数や議論時間等の議論属性情報を抽出する議論情報抽出手段と、
前記議論情報抽出手段で抽出された議論属性情報に基づいて、議論の盛り上がり状況を示す議論活性度を算出し、議論活性化レベルを判定する議論活性化レベル判定手段と、
前記議論活性化レベル判定手段の判定結果に応じて、前記議論の盛り上がり状況を視覚的に前記表示画面に表示する手段と、
を備えることを特徴とする発言構造情報提示装置。
【請求項８】
記憶手段と、資料判別手段と、発言構造図生成手段とにより実現される発言構造情報提示方法であって、
前記記憶手段が、会議の議論の対象となる複数の会議資料のそれぞれの提示時間区間を検出し、検出した提示時間区間情報と、前記複数の会議資料のそれぞれを識別するための資料識別情報とを関連付けて記憶すると共に、
会議の音声情報から複数の会議参加者のそれぞれの発言区間の時間を検出し、検出した発言区間の時間情報と、各発言がなされたときに提示されていた会議資料の前記資料識別情報とを関連付けて記憶する記憶工程と、
前記資料判別手段が、前記複数の会議資料のうち、ユーザにより選択指示された会議資料を判別する資料判別工程と、
前記発言構造図生成手段が、前記資料判別工程で判別された会議資料について、前記記憶工程で記憶された情報に基づいて、前記会議において、前記会議資料が提示された時間区間と、当該会議資料が提示された時間区間における会議参加者の発言区間の出現状況を示す発言構造とを、視覚化情報として生成する発言構造図生成工程と、
を備えることを特徴とする発言構造情報提示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、記録した音声情報や映像情報からなる会議情報のうちから、ユーザが特に再生を必要とする特定区間を検索する際に使用して好適な発言構造情報提示装置および発言構造情報提示方法に関する。
【０００２】
【従来の技術】
会議では、多くの情報が会話による音声情報として生成される。これらのうち、ホワイトボードや議事録にテキスト情報として記録される情報は、わずかであり、多くの重要な情報が記録されない、あるいは正確に思い出せないなどの問題がある。
【０００３】
この問題に対して、会議で発生するあらゆる情報を記録しておく会議記録装置があり、この会議記録装置の一例が、特開平６−３４３１４６号公報に記載されている。ここでは、マイクロフォンから入力された音声情報、ビデオカメラから入力された映像情報、ペン入力によるテキスト情報や図形情報など、あらゆるマルチメディア情報がもれなく記録される。
【０００４】
このような会議記録装置においては、会議の内容を思い出そうとしたとき、どのようにして、適切に必要な場所へアクセスできるのかが重要な問題となる。しかし、リアルタイムに参加者が、各会議場面にインデックスを貼付するのは極めて困難である。この点、会議終了後、人間により、手動によって、適切なインデックス付けがなされれば、効果的なインデックスが可能である。
【０００５】
しかしながら、このようなインデックス付けの手間は莫大である。さらに、後で必要な情報は、検索を行う人それぞれによって、あるいは時間の経過に伴って変化することが多く、あらかじめ決められたインデックスで十分な検索を行うことは困難である。したがって、会議中に発生する多様な手がかり情報から、人手をわずらわせず、自動的に効果的なインデックスを提供する方法が検討されている。
【０００６】
特開平６−３４３１４６号公報では、ペンによる入力手段によって、テキストやジェスチャーが入力された時刻をインデックスとして、音声や映像情報を検索できる手段を提供している。会議参加者は、重要な発言が発生すると、しばしば手書きメモをとる。このことから、手書きメモを行った時刻をインデックスとすることで、会議の重要情報に効果的にアクセスすることが可能となる。
【０００７】
また、特開平７−１８２３６５号公報では、会議資料から該当するデータにアクセスすることができる。ここでは、指定された会議資料が参照された時間帯をユーザに提示する。さらに絞り込みを行う際には、これ以外の時間帯を検索対象から排除することにより、参照資料による会議情報へのアクセスを効率的に行うことができる。
【０００８】
また、特開平８−３１７３６５号公報では、会議の発言者の音声データを、データの記憶量の大きさに応じた長さで時系列的にグラフ化することが記載されている。これにより、どのような順序で、誰が、どのくらいの長さ発言を行ったのかを示す発言構造を、グラフとして視覚化することができる。
【０００９】
したがって、会議参加者は、会議終了後でも、前記の発言構造の情報から、自身が参加した会議の会議内容を、ある程度想起することができ、重要な、あるいは、必要とする情報の記録場所にアクセスすることが可能となる。この技術の利点は、高度な音声認識技術や辞書を必要としないこと、会議参加者の明示的な指示が必要なく、記録された情報だけから自動的に作成可能な点である。
【００１０】
「Ｓｐｅａｋｅｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ」（Donald G. Kimber, lynn D. Wilcox, Francine R. Chen, and Thomas Moran : "Speaker Segmentation for Browsing Recorded Audio", CHI'95 Proceedings( short paper), pp.212-213 ）も、同様に発言構造を視覚化する手段を提供するが、ここでは、表示されている発言構造情報が、会議全体においてどの部分であるのかを提示することにより、アクセス者が所望するアクセス個所を容易に絞り込むことが可能となる。
【００１１】
さらに、発言構造を視覚化する技術として、「ｇＩＢＩＳ」（Jeff Conklin, KC Burgess Yakemovic "A Process-Oriented Approach to Design Rationale", HUMAN-COMPUTER INTERACTION, 1991, Vol.6, pp.357-391 ）がある。ここでは、あらかじめ、発言者はどの発言に対してどのような性質の発言を行うのかを明示的に宣言することで発言を行う。このような発言に関する属性情報から、発言構造が抽出され、発言構造グラフとして視覚化される。また、議論の参照者はこの発言構造グラフを介して、個々の発言にアクセスすることができる。
【００１２】
構造のない情報から構造単位を抽出する技術として、「Ｆｏｒｇｅｔ−ｍｅ−ｎｏｔ」（Mik Lamming and Mike Flynn "Forget-me-not:  人間の記憶を支援する密着型コンピューティング",  認知科学 Vol.2 No.1, pp.16-25 ）がある。ここでは、「会議に参加した」「人と出会った」「電話をした」などの人間の行動記録が、人間の記憶であるエピソード記憶に沿ったスキーマで抽出され記録される。すなわち、エピソードという記憶単位で人間の行動を構造化している。
【００１３】
【発明が解決しようとする課題】
しかしながら、特開平６−３４３１４６号公報の技術では、会議参加者は議論に熱中すると、メモがとれないという問題点が存在する。したがって、このような会議参加者の能動的な指示および行為を必要とするインデックスは、効果的なものが多い反面、もれも多い。また、十分なインデックスを作成しようと思ったら、会議参加者は、多くのメモを取らなければならず、負担が増す。また、メモが取れたとしても、必ずしもメモの時刻が該当する発言と同期しているとは限らず、メモだけから正確に所望する発言へとアクセスすることは困難である。
【００１４】
また、特開平７−１８２３６５号公報の参照資料によるアクセスでは、その参照資料に関連する情報が存在している時間帯は抽出されるが、時系列データであるために、その参照資料にかかわる議論の全体構造を見渡すことができない。
【００１５】
さらに、特開平８−３１７３６５号公報の発言構造を用いたインデックスは、できるだけ会議参加者に負担をかけず、十分なインデックスを自動的に抽出するための方法であり、メモによるアクセス手段の問題点を解決している。しかしながら、会議の開始時刻から終了時刻まで発言単位で時系列に表示されるだけで、表示されている発言構造が会議全体の中のどの辺りの情報であるのかがわからないという問題がある。
【００１６】
「Ｓｐｅａｋｅｒ  Ｓｅｇｍｅｎｔａｔｉｏｎ」における会議全体時間表示はこの問題を解決する。しかしながら、ここでも、会議中のどの部分に所望する発言が存在するのかという目安は、記憶に頼らなければならない。
【００１７】
以上のことから、手書メモや会議資料は、所望する情報がどの当たりにあるのかに関する大まかな情報を提供するが、発言構造と同期していないために正確な発言にアクセスする情報とはならない。一方、発言構造の場合は、場所が特定できれば発言構造から特定の発言にアクセスすることが容易となるが、大まかな場所を特定できない。すなわち、これらのアクセス手段は互いに補完しあうことによって、効率のよいアクセス手段が提供できる可能性が存在する。
【００１８】
また、発言構造情報に関して、発言単位での構造を提供するものは存在するが、複数の発言群を一つの固まりとして区分けする部分構造を提供するものは存在しない。これに対して、ｇＩＢＩＳは、発言に部分構造を与える手段を提供するが、あらかじめ発言の関係やタイプなど属性を決めて発言することは、きわめて困難である。
【００１９】
Ｆｏｒｇｅｔ−ｍｅ−ｎｏｔは、自動的に構造を抽出することで、上記の問題を解決するが、発言群から１構造単位として抽出するには、抽出する情報単位の粒度が大きすぎて、発言構造の部分構造化には適応できない。
【００２０】
この発明は、以上の問題点にかんがみ、関連のある複数の発言群ごとに適切な発言構造区間を特定し、提示することにより、会議情報の再生に際し、所望する個所に効率よくアクセスするための発言構造情報提示装置を提供することを目的とするものである。
【００２１】
【課題を解決するための手段】
上記課題を解決するため、請求項１の発明による発言構造情報提示装置は、
会議の議論の対象となる複数の会議資料のそれぞれを識別する資料識別情報と、前記複数の会議資料のそれぞれの提示時間区間情報とを記憶する第１の記憶手段と、
会議の音声情報から検出された複数の会議参加者のそれぞれの発言区間の時間情報と、各発言がなされたときに提示されていた会議資料の前記資料識別情報とを記憶する第２の記憶手段と、
前記複数の会議資料のうち、ユーザにより選択指示された会議資料を判別する資料判別手段と、
前記資料判別手段で判別された会議資料について、前記第１の記憶手段と前記第２の記憶手段の情報に基づいて、前記会議において、前記会議資料が提示された時間区間と、当該会議資料が提示された時間区間における会議参加者の発言区間の出現状況を示す発言構造とを、視覚化情報として生成する発言構造図生成手段と、
を備えることを特徴とする。
【００２２】
また、請求項２の発明は、請求項１に記載の発言構造情報提示装置において、前記第１の記憶手段に記憶されている前記会議資料の提示状況に関する情報と、前記第２の記憶手段に記憶されている前記複数の会議参加者の前記発言区間の相互の関係から、発言構造の部分構造を抽出する部分発言構造検出手段を備えることを特徴とする。
【００２３】
また、請求項３の発明は、請求項２に記載の発言構造情報提示装置において、前記会議資料のそれぞれに関わる全発言区間を抽出する第１の発言構造レベルと、前記会議資料の特定の提示時間帯における全発言区間を抽出する第２の発言構造レベルと、前記部分発言構造検出手段で検出された特定の話題に関わる区間を抽出する第３の発言構造レベルとからなる階層構造で、前記発言構造を管理する発言構造管理手段を備えることを特徴とする。
【００２４】
また、請求項４の発明は、請求項３に記載の発言構造情報提示装置において、各会議参加者が前記会議において入力した、メモ書きやマーキング等のユーザ入力情報を、前記会議参加者毎に記憶する第３の記憶手段と、
前記発言構造管理手段で管理する第１〜第３の発言構造レベルと、前記ユーザ入力情報との関係を保持し、前記ユーザ入力情報を、階層構造として管理する個人情報管理手段と、
を備えることを特徴とする。
【００２５】
また、請求項５の発明は、請求項４に記載の発言構造情報提示装置において、前記ユーザ入力情報を指定するとともに、前記階層構造のレベルを指定することにより、前記指定されたユーザ入力情報に関連した発言構造区間を、前記指定された階層レベルに応じて特定し抽出する発言構造区間抽出手段を備えることを特徴とする。
【００２６】
また、請求項６の発明は、請求項４に記載の発言構造情報提示装置において、前記会議において提示された会議資料内容と、前記ユーザ入力情報とをオーバーレイさせて表示する表示手段を備えるとともに、
前記表示手段上でのユーザによる検索指示入力の、前記会議資料への参照状況や、前記ユーザ入力情報の選択状況に応じて、前記第１〜第３の発言構造レベルのうちのいずれかの発言区間を自動的に判定し、前記会議資料の提示時間区間のうちの前記発言構造レベルに応じた任意の部分に間連した発言構造区間のみを検出する発言構造区間検出手段を備える
ことを特徴とする。
【００２７】
また、請求項７の発明は、請求項１に記載の発言構造情報提示装置において、前記第２の記憶手段に記憶されている前記発言区間の長さが所定時間以上のものを説明発言として検出する説明発言検出手段と、
発言構造から説明発言を削除することにより議論の発言構造を抽出する議論状態判定手段と、
前記議論の発言構造の情報から話者数や議論時間等の議論属性情報を抽出する議論情報抽出手段と、
前記議論情報抽出手段で抽出された議論属性情報に基づいて、議論の盛り上がり状況を示す議論活性度を算出し、議論活性化レベルを判定する議論活性化レベル判定手段と、
前記議論活性化レベル判定手段の判定結果に応じて、前記議論の盛り上がり状況を視覚的に前記表示画面に表示する手段と、
を備えることを特徴とする。
【００２８】
【作用】
上述の構成の請求項１の発明の発言構造情報提示装置では、会議の際に、例えば表示画面に表示された会議資料の資料識別情報と、その提示時間区間の情報とが第１の記憶手段に記憶されている。
【００２９】
また、会議の際に入力音声情報から、あるいは記録された会議音声情報から、例えば、ある一定以上の音量で、一定以上の長さ継続した音声信号を発言として認識することにより、複数の会議参加者のそれぞれの発言区間が検出され、その発言区間の時間情報と、その発言がなされたときに提示されていた会議資料の前記資料識別情報とが第２の記憶手段に記憶されている。
【００３０】
そして、ユーザが、会議終了後の会議情報の再生に当たって、複数の会議資料のうちの一つを選択指示すると、資料判別手段により、選択された会議資料が特定され、その特定結果が発言構造図生成手段に与えられる。
【００３１】
発言構造図生成手段は、特定された会議資料が提示された時間区間と、当該会議資料が提示された時間区間における会議参加者の全発言区間の出現状況を示す発言構造とを、第２の記憶手段から抽出して、表示画面において視覚化情報として表示する。
【００３２】
そして、この発言構造図の画面において、ユーザが、所望の再生個所を指示すると、該当する会議情報部分を再生するように構成することができる。
【００３３】
これにより、請求項１の発明によれば、特定の会議資料に関連したすべての議論の構造が、発言構造図として視覚化されるため、単に、時系列順に表示したデータと比較して、資料内容に対する議論全体の把握が容易になる。したがって、会議内容へアクセスする際も、どの発言にアクセスすべきかが、全体の文脈を捉えて絞り込めるため、必要な発言へと容易にアクセスし易くなる。
【００３４】
また、請求項２の発明の発言構造情報提示装置では、会議資料の提示状況と、会議中の複数の会議参加者の発言相互の関係から、会議の発言構造の部分構造を抽出する。例えば、会議の態様が、特定の参加者がプレゼンテーションを行い、その後、そのプレゼンテーション内容に応じて議論をするものであれば、表示ページの変更など提示会議資料の変更時点や、プレゼンターによる一定以上の長い発言である説明発言の出現時点など、発言構造の属性を利用して議論の区切れを検出し、議論の固まりを認識して、発言構造の部分構造を抽出する。
【００３５】
これにより、構造の存在しない会議情報に、部分構造を抽出することができ、部分構造単位でのデータの扱いが可能となり、部分構造が存在しない場合に比較し、検索の処理効率が向上する。
【００３６】
また、請求項３の発明の発言構造情報提示装置では、３つの階層レベルで発言構造を管理する。第１の発言構造レベルは、提示された会議資料単位であり、任意の会議資料に関わる発言構造に関する情報がすべて、このレベルで管理される。前の議論に戻る場合など、同一の会議資料が、時間を異にして、複数回使用される場合には、それら異なる時間区間の発言も含めてこの第１の発言構造レベルとして管理されることになる。
【００３７】
第２の発言構造レベルは、表示単位レベルで、ある特定の会議資料が表示されていた特定の一つの時間帯における発言構造データをすべて管理する。
【００３８】
第３の発言構造レベルは、請求項２の部分発言構造検出手段で検出された、例えば議論単位のレベルであり、例えばプレゼンテーションの説明発言を区切りとして、説明と議論を１つの議論データのまとまりとして抽出して管理することができる。
【００３９】
この請求項３の発明により、会議情報の検索のために、ユーザにより、特定の時間帯が指定された時に、各レベルでの発言構造区間を容易に抽出することができ、発言構造図の生成処理効率が向上する。
【００４０】
また、請求項４の発明の発言構造情報提示装置では、各会議参加者が、会議において、入力したメモ書きやマーキング等のユーザ入力情報を、第３の記憶手段に、会議参加者毎に記憶して保持する。そして、個人情報管理手段では、その第３の記憶手段に記憶したユーザ入力情報を、請求項３における発言構造管理手段での第１〜第３の管理レベルに対応付けて、階層構造で管理する。
【００４１】
この請求項４の発明の場合には、ユーザ入力情報と、会議資料や発言構造の部分構造とを、容易に対応づけすることが可能となり、所望する会議情報位置についての手書メモ等による検索と、発言構造による検索を効果的に結合させることができ、発言構造へのアクセス処理効率が向上する。
【００４２】
また、請求項５の発明の発言構造情報提示装置では、ユーザが、特定のユーザ入力情報を指定するとともに、第１〜第３の発言構造レベルのいずれかを指定すると、発言構造区間抽出手段は、指定されたユーザ入力情報が入力された時間帯を特定し、その時間帯を含む、指定された発言構造レベルでの発言構造区間を特定し、抽出する。発言構造図生成手段では、この特定された発言構造区間の発言構造図を生成し、表示する。
【００４３】
この請求項５の発明によれば、ユーザは、検索対象があいまいである場合には会議資料毎のレベルである第１の発言構造レベル、時間帯がある程度絞り込めている場合には会議資料の表示区間毎のレベルである第２の発言構造レベル、発言の場所がほとんど絞り込めている場合には、議論部分などの部分構造レベルである第３の発言構造レベルを指定することで、意図の通りの検索アクセスができる。すなわち、検索したい対象の明確さのレベルに応じて、検索のレベルを選択することができ、効率のよい絞り込みが可能となる。
【００４４】
また、請求項６の発明の発言構造情報提示装置では、会議資料内容と、ユーザ入力情報とがオーバーレイ表示されている表示画面上において、ユーザが会議情報の検索指示の入力をすると、その指示は、表示中の会議資料のみを指示するものか、オブジェクトが選択されているかを判定する。そして、オブジェクトが選択されていれば、選択されたオブジェクトの入力時刻などの表示・選択状況を示す値から表示・選択状況を判定する。
【００４５】
オブジェクトが選択されていない場合は、会議資料単位である第１の発言構造レベル、オブジェクトが選択されている場合には、議論などの部分構造の第３の発言構造レベルなど、適切なレベルを自動的に判定し、そのレベルで表示されている会議資料、選択されたユーザ入力情報に該当する発言構造区間を抽出し、対応する発言構造図を表示するようにする。
【００４６】
この請求項６の発明によれば、検索指示入力として、特にユーザの明示的な指示がなくても、ユーザの意図を汲み取り、適切な発言構造レベルでの発言構造区間のみを提示できる。これにより、ユーザの検索指示操作が簡略化されるとともに、不要な情報を提示しなくてよく、必要な情報へアクセスするためのユーザの負荷が小さくなる。
【００４７】
また、請求項７の発明の発言構造情報提示装置では、議論状態判定手段は、会議音声から検出された発言区間のうちから、説明発言検出手段で検出された説明発言を削除して、議論の発言構造を抽出する。そして、議論情報抽出手段において、この議論の発言構造において、会議資料の提示時間、発言数、発言者数など、議論の状況を示す属性を抽出し、これらの値の合成関数として議論の活性度を、議論活性化レベル判定手段で算出し、活性化レベルを判定する。活性化レベルは、会議資料単位で算出される資料全体が一覧できるように表示され、ここからユーザは特定の参照したい会議資料を特定することができる。
【００４８】
これにより、請求項７の発明によれば、参照会議資料を特定する際、資料内容からだけではなく、その資料に対する議論状況から、議論の活発な部分だけアクセスするなど、すべての会議情報を参照しなくても、重要な議論部分に容易にアクセスすることができる。また、この情報は、会議に参加しなかった人にとっては、会議の内容を把握するための時間を短縮できる。
【００４９】
【発明の実施の形態】
以下、この発明による発言構造情報提示装置の実施の形態を図を参照しながら説明する。以下に説明する実施の形態の発言構造情報提示装置は、プレゼンテーション型の会議について会議情報の記録を行い、その会議情報の中から検索したい箇所を特定することができる会議記録再生装置に、適用した場合である。
【００５０】
ここで、プレゼンテーション型の会議とは、特定の会議参加者（プレゼンター）がプレゼンテーションを行い、そのプレゼンテーションに基づいて、複数の会議参加者が議論を行うタイプの会議である。プレゼンターによる説明の発言は、その後の他の会議参加者を含めた質疑の発言に比べて、発言区間が比較的長いという特徴がある。
【００５１】
［会議記録再生装置の記録装置部分の説明］
図２は、このプレゼンテーション型の会議を説明するための図であり、電子会議室における会議の様子をあらわす概念図である。
【００５２】
１０はプレゼンテーション用のパーソナルコンピュータ（以下、パーソナルコンピュータをＰＣと略称する）で、会議資料を提示するためのプレゼンテーション用のツールおよび会議資料のデータファイルが保持されている。会議時においては、このプレゼンテーション用ＰＣ１０の表示内容が、大型スクリーン１に表示される。
【００５３】
プレゼンター２は、文字入力用のキーボード３と、指示入力用のペン入力装置４を使用し、プレゼンテーション用ＰＣ１０において、メモ書きやマーキングなどのユーザ入力操作をすることができる。そして、プレゼンター２の音声は、マイクロフォン等の音声入力装置５により収音され、会議記録用ＰＣ２０に記録される。
【００５４】
会議のプレゼンター以外の会議参加者６の各々は、手元ＰＣ４０を持つ。手元ＰＣ４０には大画面１と同じ内容が表示される。さらに、会議参加者６は、個人用のメモの入力を、手元ＰＣ４０に対して、キーボード７、ペン入力装置８から行うことができる。入力された情報は、各自の手元ＰＣ４０に、個人情報ファイルとして記録され保持される。会議参加者６の発言は、マイクロフォンなど音声入力装置９によって、音声データとして取り込まれ、会議記録用ＰＣ２０に記録される。
【００５５】
会議記録用ＰＣ２０は、音声入力装置５や音声入力装置９から入力された音声データを統合し、音声データファイルを会議データファイルとして記録し、保持する。その他、会議後に会議情報へアクセスするためのインデックスのための情報などを生成するための処理を行う。なお、プレゼンテーション用ＰＣ１０と、会議記録用ＰＣ２０は、同一のＰＣでもよい。
【００５６】
図３は、会議記録用ＰＣ２０での会議情報の記録を行う部分の構成を示すブロック図である。会議記録用ＰＣ２０は、会議の際に、会議情報を記録し、後で会議情報へとアクセスするためのインデックスを作成するための処理を行う装置である。
【００５７】
音声入力装置５や音声入力装置９からの、プレンゼンター２や他の会議参加者６の各々の発言の音声データは、Ａ／Ｄ変換装置２１によってデジタル化される。そして、デジタル化された音声データは、会議記録用ＰＣ２０内部に取り込まれる。
【００５８】
内部に取り込まれた音声データは、合成装置２２によって、プレゼンター２を含む複数の会議参加者の音声データが合成され、会議音声データファイル格納部２３に記録され、保持される。
【００５９】
また、各々の音声データは、発話データ抽出部２４に供給され、この発話データ抽出部２４によって、ある一定以上の音量が、ある一定時間以上続いた音声データの区間が発言区間として抽出される。発話データ抽出部２４では、各会議参加者ごとに、発言区間を抽出する。前述したように、この例では、各会議参加者ごとにマイクロフォンが設置されているので、どのマイクロフォンからの音声であるかによって、いずれの会議参加者からの音声であるかを検出するようにしている。
【００６０】
抽出された発言区間データは、タイマー２５の時刻データとともに、発言構造テーブル生成部２６に供給され、この発言構造テーブル生成部２６で、会議の音声データへとアクセスするためのインデックスである発言構造テーブルの情報が生成される。この発言構造テーブルの情報は、後述するように、発言した会議参加者と、その発言区間の時間情報と、その発言が検出されたときの会議資料のページの情報との対応関係を示すものである。生成された発言構造テーブルの情報は、発言構造ファイルとして、発言構造ファイル格納部２７に記録され、保持される。
【００６１】
図４に示すように、プレゼンテーション用ＰＣ１０では、会議中には、プレゼンテーションツール１１が起動され、プレゼンテーションファイル１２の内容が表示装置１３に映し出される。プレゼンテーションファイル１２には、複数ページの会議資料が各ページ毎に用意されている。
【００６２】
ここで、プレゼンテーションツール１１は、ページ単位で表示が変更される構造を持つ。この実施の形態では、会議資料を、ページ単位で管理し、ページ番号を各会議資料の識別情報として用いる。このため、会議の最中にページが変更されると、プレゼンテーションツール１１は、表示ページ変更通知を、会議記録用ＰＣ２０に送信する。
【００６３】
会議記録用ＰＣ２０では、通知検知部２８で、この表示ページ変更通知の信号を受け取ると、表示情報抽出部２９において、その表示ページ変更通知の信号中に含まれる会議資料のページに関する情報が抽出され、そのページの情報が、タイマー２５の時刻情報とともに、表示情報ファイルとして、表示情報ファイル格納部３０に記録され、保持される。また、会議資料のページの情報は、表示情報抽出部２９から発言構造テーブル生成部２６に送られ、検出された発言が、会議資料のどのページにおいて行われたかの情報として使用される。
【００６４】
図５は、表示情報ファイル１００のデータ構造を説明するための図である。表示情報ファイル１００は、会議中のプレゼンテーションで使用した会議資料の各ページの表示状態の遷移を、時系列データとして保持するファイルであり、テーブル形式とされている。そこで、この表示情報ファイルは表示情報テーブルと呼ぶこともある。以下、同様にして、この明細書では、テーブル形式のファイルは、テーブルと呼ぶ場合もある。
【００６５】
図５の表示情報テーブル１００において、フィールド１０１は、「表示番号」であり、これは、ページ単位の表示データに対して割り当てられるシーケンシャル番号である。フィールド１０２は、「ページ番号」の欄であり、プレゼンテーションにおいて、表示されていた会議資料のページの番号を記録する。フィールド１０３は、「表示開始時刻」の欄であり、プレゼンテーションにおいて、他のページから現在ページに表示が変化して、現在のページの表示が開始された時刻を記録する。同様に、フィールド１０４は、「表示終了時刻」の欄であり、次ページへと表示変更が発生した時刻を記録する。
【００６６】
図６は、発言構造テーブル１１０のデータ構造を説明するための図である。発言構造テーブル１１０は、会議における会議参加者の発言の構造を保持し、会議を記録した音声データファイルへのアクセスのためのインデックスとして使用されるデータファイルである。
【００６７】
図６に示すように、この発言構造テーブル１１０のフィールド１１１の「発言番号」の欄には、検出された発言の時間順の識別子が記録される。フィールド１１２の「参加者名」は、発言を抽出した音声入力装置の識別子に基づいて検出された会議参加者名が記録される。
【００６８】
発言構造ファイル格納部２６には、音声入力装置の識別子と会議参加者名との対応テーブルである会議参加者テーブルも格納されている。この会議参加者テーブル１２０のデータ構造は、図７に示す通りである。
【００６９】
すなわち、会議参加者テーブル１２０のフィールド１２１は、入力装置番号であり、音声入力装置５，９が保持する識別子である音声入力装置番号を意味する。フィールド１２２は会議参加者名であり、各音声入力装置に割り当てられた会議参加者の名前がテキストデータとして保持される。
【００７０】
発言が検出されると、まず、その発言が検出された音声入力装置が特定される。そして、会議参加者テーブル１２０を参照して、対応する会議参加者名が特定される。発言構造テーブル１１０のフィールド１１２には、参加者名として、会議参加者テーブル１２０から特定された参加者名が記録される。
【００７１】
発言構造テーブル１１０のフィールド１１３の「発言開始時刻」としては、抽出した発言の開始時刻を記録開始時からの経過時間として記録する。フィールド１１４の「発言終了時刻」としては、発言の終了時刻を同様に記録する。フィールド１１５の「ページ番号」としては、該当する発言が発話された会議資料ページのページ番号を記録する。
【００７２】
また、図６には、発言構造テーブル１１０の発言開始時刻フィールド１１２および発言終了時刻フィールド１１３と、会議音声データファイル格納部２３の音声データファイルとの関係を図示している。すなわち、１１７は、会議音声データファイル格納部２３に記録された発言６の記録個所を示している。リンク１１８は、発言番号６の記録位置の発言開始点を指している。同様に、リンク１１９は、発言番号６の記録位置の発言終了点を指している。
【００７３】
図３の会議記録用ＰＣ２０において、部分構造検出部３１は、発言構造の特徴や表示情報から、発言構造をなんらかの意味のある情報単位に分割する処理部である。この例の場合、意味のある情報単位とは、プレゼンテーションのページ単位や、あるページが表示されていた特定の表示時間に対応する表示ブロック、プレゼンテーションの説明とそれに対応する質疑応答を１つの単位とする議論ブロックなどである。
【００７４】
また、管理ファイル生成部３２は、部分構造検出部３１で検出された発言構造の部分構造を、プレゼンテーションのページ単位で管理するための会議情報管理ファイル（会議情報管理テーブル）を作成するための装置である。ここでは、発言の部分構造情報は、ページ単位、表示ブロック、議論ブロックという階層構造で管理され、会議情報管理テーブルは、会議情報管理ファイル格納部３３に記録され、保持される。
【００７５】
図８は、会議情報管理テーブル１３０のデータ構造を説明するための図である。会議情報管理ファイルとしては、発言構造データを、前述したように、３段階の階層構造で管理している。
【００７６】
会議情報管理テーブル１３０の最上位層は、ページ単位であり、フィールド１３１に「ページ番号」が記録される。この階層では、該当するページに関わるすべての発言構造データが保持されている。
【００７７】
ページは、それぞれの表示区間の発言構造である表示ブロックの複数個から構成される。すなわち、表示ブロックはページの下層の発言構造である。プレゼンテーション型の会議では、会議資料は、１ページ目から最終ページまで順序良く表示されるわけではない。例えば、説明をしながら、間に議論が挿入されたり、間を抜いて他のページへ移ったり、あるいは元のページに戻ったり、ということが発生する。
【００７８】
そこで、ページ単位だけの管理では、それらの離散的に表示される時間区間の管理をすることができない。表示ブロックは、同一ページの離散的な表示時間区間を管理するためのもので、ある特定のページが特定の時間帯に連続して表示されていた区間をさす。会議情報管理テーブル１３０のフィールド１３２の「表示ブロック番号」は、表示ブロックに、シーケンシャルに付与された番号である。
【００７９】
また、表示ブロックは、通常、複数の議論から構成されている。前述したように、プレゼンテーションでは、プレゼンターによる説明と、他の会議参加者も含めた議論とが交互に発生する。したがって、説明とそれに関わる議論とを１つの議論ブロックと定義し、一つの表示ブロックを、議論ブロック毎に分割して、保持する。
【００８０】
フィールド１３３の「議論ブロック番号」は、表示ブロック内における議論ブロックのシーケンシャル番号である。
【００８１】
１つの議論ブロックを定める発言構造区間、すなわち、説明とそれに関わる議論の区間は、フィールド１３４の開始発言と、フィールド１３５の終了発言によって特定される。フィールド１３４および１３５の開始発言および終了発言の発言番号は、図６に示した発言番号が用いられる。すなわち、フィールド１３４および１３５の発言番号は、発言構造ファイルへのポインターとなっている。
【００８２】
次に、手元ＰＣ４０の構成について説明する。図９は、手元ＰＣ４０の構成例を示すものである。
【００８３】
手元ＰＣ４０の表示装置４１には、大画面１と同じ内容が表示される。会議参加者は、その画面を参照しながら、キーボード７やペン入力装置８を使用して、画面内容に対してメモを添付することができる。このようなユーザの入力操作は、ユーザ入力情報抽出部４２で検知され、ユーザ入力情報の入力時刻や位置、入力された情報などが、後述するようなテーブルの形式で、入力ログファイルとして入力ログファイル格納部４３に記録される。この例では、ペン入力は、ストローク単位でユーザ入力情報が記録される。
【００８４】
入力オブジェクト抽出装置４４では、入力ログファイル格納部４３に格納されたユーザ入力情報から、一連の入力単位である入力オブジェクトを抽出し、後述するようなテーブルの形式で、入力オブジェクトファイルとして入力オブジェクトファイル格納部４５に記録する。
【００８５】
そして、個人情報管理ファイル生成部４６において、入力オブジェクトファイル格納部４５の情報を、前述した会議情報管理ファイルに対応する形で、ページ単位、表示ブロック単位、議論ブロック単位の、部分構造の階層構造に分割し、個人情報管理ファイル格納部４７に記録して管理する。
【００８６】
図１０は、手元ＰＣ４０でのユーザの個人メモの入力例である。これは同時に、後述する会議情報再生時における、プレゼンテーション情報参照処理において、個人情報がオーバレイ表示されているときの表示例とも一致する。
【００８７】
前述したように、手元ＰＣ４０の表示画面には、大画面１と同様の、図１０に示すようなプレゼンテーション画面が映し出されており、この画面上に、ユーザが個人メモの入力が可能である。
【００８８】
図１０中において、２１１，２１２，２１４は、ペン入力によるユーザのマーキングが行われたことを示している。一方、２１３はキーボードからユーザの個人メモがテキスト情報として入力されたことを示している。なお、ペン入力によって手書きメモ（文字列）を入力することも可能である。ただし、文字認識機能などは持たないため、その際は、文字列の手書きメモは、ストロークの集合として処理される。
【００８９】
図１１は、入力ログファイルとしての入力ログテーブル１４０のデータ構造を説明するための図である。この入力ログファイルとしては、ユーザからのキーボード７やペン入力装置８による入力を監視し、キーボード７の入力であれば、キャリッジリターンが入力されるまでの文字列単位で、ペン入力装置８であれば、ストローク単位で、入力を抽出し、記録する。
【００９０】
入力ログテーブル１４０のフィールド１４１は、入力番号であって、ユーザ入力情報に対するシーケンシャル番号である。次のフィールド１４２には、キーボード７からの入力か、ペン入力装置８からの入力かの「タイプ」を記録する欄であって、それぞれ、「テキスト」、「ストローク」というタイプが付けられる。
【００９１】
次のフィールド１４３の「入力アイテム」は、入力情報の実体を記録する部分である。すなわち、ここには、テキストの場合は、入力された文字列が記録される。ストロークの場合は、ストロークをあらわす一連の座標リストが記録される。
【００９２】
次のフィールド１４４の「位置座標」は、入力オブジェクトが入力された位置を表す。テキストでは、入力する前にポインターなどで指示された挿入位置が抽出される。ストローク情報では、この位置座標の情報は入力アイテムに含まれるために抽出しない。
【００９３】
次のフィールド１４５の「開始時刻」には、該当するユーザ入力情報の入力開始時刻が記録され、また、フィールド１４６の「終了時刻」には、ユーザ入力情報の入力が終了した時刻が記録される。
【００９４】
図１２は、入力オブジェクトファイル格納部４５の入力オブジェクトテーブル１５０のデータ構造を説明するための図である。この例では、入力ログファイル格納部４３に格納されている入力ログファイルのデータから、入力オブジェクトを抽出し、単位オブジェクト毎に各個人毎のメモ書き情報を保持する。
【００９５】
ここで、入力オブジェクトとは、ある一定の時間内に入力されたストローク群やテキストを一つのまとまりとみなしたものである。
【００９６】
入力オブジェクトテーブル１５０のフィールド１５１の「Ｎｏ」は、入力オブジェクト番号であり、入力オブジェクトを識別するシーケンシャル番号である。次のフィールド１５２の「入力オブジェクト」には、入力オブジェクトのタイプが記録される。この例では、テキストかストロークかという２つのタイプに判別される。タイプがテキストの場合には、各フィールドの値は、前述した入力ログテーブル１４０の対応するフィールド値と同様である。
【００９７】
フィールド１５３の「構成アイテム」には、入力オブジェクトを構成する要素である入力ログテーブル１４０のフィールド１４１の入力番号のリストが記録される。
【００９８】
次のフィールド１５４の「入力開始時刻」には、入力オブジェクトがストロークの場合には、入力オブジェクトを構成するストロークのうち、最小入力番号の入力データの開始時刻を記録する。テキストの場合には、その入力開始時刻を記録する。また、フィールド１５５の「入力終了時刻」には、同様に、ストロークの場合には、入力オブジェクトを構成するストロークのうち、最大入力番号の入力データの終了時刻を記録する。テキストの場合には、その入力終了時刻を記録する。
【００９９】
次のフィールド１５５の「領域」には、一連のストローク群をひとまとまりにしたときの表示矩形領域の座標を記録する。この表示矩形領域の座標値としては、この例では、（起点座標、対角座標）の組を記録する。
【０１００】
図１３は、個人情報管理ファイル格納部４７の個人情報管理ファイル（個人情報管理テーブル）１６０のデータ構造を説明するための図である。この実施の形態では、個人情報管理ファイルは、各ユーザからの入力オブジェクト情報が、会議情報管理ファイルとしての会議情報管理テーブル１３０と同様に、表示情報や議論の構造によって細分化され、階層構造として保持され、ページ単位に管理される。
【０１０１】
個人情報管理テーブル１６０のフィールド１６１〜１６３の「ページ番号」、「表示ブロック番号」、「議論ブロック番号」は、会議情報管理ファイルとしての会議情報管理テーブル１３０と同様である。そして、フィールド１６４の「入力オブジェクトリスト」には、議論ブロックに対応する時間帯に関連するすべての入力オブジェクトへのポインターが保持される。
【０１０２】
次に、会議情報の記録処理動作を、さらに、説明する。
【０１０３】
図１４は、会議情報記録再生装置の記録装置部の処理の概要を説明するためのフローチャートである。この例の記録装置部の処理においては、図１４に示す５つの処理によってファイルが生成される。
【０１０４】
図１４（Ａ）は、会議音声データファイル記録処理の流れの概略を示し、マイクロフォンなどの音声入力装置５や９から入力された音声データを、会議音声データファイル記録処理により、そのまま音声ファイルとして、会議音声データファイル格納部２３に格納して記録する。この例では、これが、会議データそのものである。
【０１０５】
図１４（Ｂ）は、発言構造抽出処理の流れの概略を示す。すなわち、発言構造抽出処理では、音声入力装置５や９からの音声データと、プレゼンテーションツール１１から送られた表示ページ変更通知の情報から、発言構造ファイル格納部２７に格納する発言構造テーブルの情報を生成する。
【０１０６】
図１４（Ｃ）は、表示情報抽出処理の流れの概略を示す。表示情報抽出処理においては、表示ページ変更通知の情報からプレゼンテーションの表示の時系列的変化に関する情報を抽出し、表示情報ファイル格納部に格納する表示情報テーブルを生成する。
【０１０７】
図１４（Ｄ）は、個人情報抽出・管理処理の流れの概略を示す。すなわち、個人情報抽出・管理処理においては、キーボード７やペン入力装置８などにより、プレゼンテーション情報に対して行われた個人用のメモ書などのユーザ入力から適切な入力オブジェクトを認識し、ページ単位での個人情報を管理するための個人情報管理テーブルを生成し、個人情報管理ファイルとしてその格納部４７に格納する。
【０１０８】
図１４（Ｅ）は、会議情報抽出・管理処理の流れの概略を示す。この会議情報抽出・管理処理では、他の処理によって生成された情報を利用するもので、発言構造ファイル格納部２７の発言構造ファイルと、表示情報ファイル格納部３０の表示情報ファイルの情報を、ページ単位の管理形態に構造化し直し、会議情報をページ単位で、かつ、階層構造として管理するための会議情報管理ファイルを生成するための処理を行う。会議情報管理ファイルとして、前述した会議情報管理テーブルを、会議情報管理ファイル格納部３３に格納する。
【０１０９】
図１５は、発言構造抽出処理の概要を説明するためのフローチャートである。まず、ステップ３００で初期設定として、会議資料のページ番号として、現在表示されているページ番号がセットされる。
【０１１０】
前述したように、この例では、一定レベル以上の音量を有する音声データで、かつ、一定時間以上の長さ、その音量が続いた音声データを発言として抽出する。ステップ３０１では、発言としての前記条件を満足しているかが判定される。次のステップ３０２では、発言構造テーブル１１０（図６）の各フィールドに該当する項目のデータである発言番号、参加者名、発言開始時刻が抽出される。
【０１１１】
この場合、発言番号は、新しいシーケンシャル番号が割り当てられる。参加者名は、発言が検出された音声入力装置の入力装置番号により会議参加者テーブル１２０（図７）を検索して、特定する。この例では、発言開始時刻は、音声データが一定レベルを超えたと検出された時点よりも、予め定められた一定時間前の時刻とされる。発言の先頭部分が欠落してしまうのを防止するためのである。
【０１１２】
この例の場合、発言の終了を判定する条件には２つ存在し、ステップ３０３と、ステップ３０６とでそれぞれの条件の判定を行う。
【０１１３】
まず、ステップ３０３では、一定レベル以下の音声データが、ある一定時間以上続いた場合には、それを発言終了とみなし、ステップ３０４で発言終了時刻を算出する。そして、ステップ３０５では、これらの抽出した情報を発言構造テーブル１１０に記録する。このステップ３０５の後は、ステップ３０１に戻り、上述したような、発言区間の検出処理を繰り返す。
【０１１４】
また、この例では、発言が連続している場合でも、プレゼンテーションのページが変化したタイミングで、発言内容が変化したとみなし、発言が終了したと判定する。ステップ３０６では、表示ページ変更通知があったかどうかを判定し、表示ページ変更通知があった場合には、ステップ３０７に進み、発言終了時刻を算出する。
【０１１５】
この例では、ステップ３０７では、発言終了時刻は、ページ変更時点に、予め定めた、ある一定時間を加算した時刻とする。このように、一定時間を加算するのは、ページの切れ目で発言がきれいに区切れない可能性が存在するため、その調整分を含むようにするためである。
【０１１６】
そして、次のステップ３０８で、発言構造テーブル１１０に、抽出した情報を記録する。そして、ステップ３０９に進み、次の発言データのための処理を行う。すなわち、次の発言に新しい発言番号を割り当て、その発言開始時刻として、表示ページ変更通知の到来時刻から一定時間を減算した時刻を割り当てる。また、ページ番号として、変更通知後のページ番号を割り当てる。
【０１１７】
発言開始時刻として、表示ページ変更通知の到来時刻から一定時間を減算するように調整したのは、発言終了時刻の調整のときと同様の理由による。すなわち、ページを遷移する前には、遷移する理由に関わる議論が含まれている可能性が存在するためである。なお、この場合には、発言終了時刻の調整よりは、長めの調整時間を設定する必要がある。
【０１１８】
図１６は、表示情報抽出処理の概要を説明するためのフローチャートである。まず、ステップ３５１では、プレゼンテーションの開始を意味する表示情報変更通知を受け取る。次のステップ３５２で、表示情報変更通知から、ページ番号の情報を得、その時のタイマーの時刻を表示開始時刻とする。また、表示番号の初期値として、１をセットする。
【０１１９】
次のステップ３５３では、プレゼンテーションツール１１からプレゼンテーション終了の信号を受け取ったが判定される。終了の通知がない場合には、ステップ３５４に進み、表示ページ変更通知を受け取ったか否かが判定され、表示ページ変更通知を受け取るまでは、その状態のまま通知を待つ。
【０１２０】
表示ページ変更通知を受け取ると、ステップ３５５に進み、表示ページ変更前の表示に関する情報の処理として、現在のタイマー時刻を表示終了時刻とする。そして、次のステップ３５６で、抽出した表示終了時刻の情報を表示情報テーブル１００に記録する。
【０１２１】
そして、次のステップ３５７では、次の表示データのための処理を行う。すなわち、ページ番号には、表示ページ変更通知に含まれる新しいページ番号をセットし、表示開始時刻には、前のデータの表示終了時刻を、代入する。また、新しい表示番号もシーケンシャルに割り当てる。
【０１２２】
ステップ３５３で、プレゼンテーション終了通知を受けた場合には、ステップ３５８に進み、ステップ３５５，３５６と同様に、表示終了時刻をセットし、表示情報テーブルの該当するフィールドに情報を記録し、処理を終了する。
【０１２３】
図１７は、会議情報抽出・管理処理の概要を説明するためのフローチャートである。
【０１２４】
まず、ステップ４０１で表示情報ファイル格納部３０の表示情報テーブル１００の情報から、１表示ブロックに相当する表示データを読み込む。次のステップ４０２で、表示情報ファイル格納部３０から読み込むべき表示データがあるか否か判断される。読み込むべき表示データがある場合には、ステップ４０３に進み、読み込んだ表示データに、新しい表示ブロック番号を割り当てる。
【０１２５】
ステップ４０３の次にはステップ４０４に進み、表示データに対応する発言構造データを抽出する。発言構造データをファイルから読み込み、そのページ番号が、表示データのページ番号と等しい間、発言構造データの読み込みを繰り返し、同一ページ番号を持つ、連続した一連の発言構造データを抽出する。
【０１２６】
次のステップ４０５では、抽出した一連の発言構造データに対して、発言構造分割処理を行い、一連の発言構造データを、複数の議論ブロックへと分割する。さらに、次のステップ４０６で、抽出された議論ブロック群を、会議情報管理テーブルの、該当するページ番号、表示ブロック番号のフィールド（レコード）に記録する。以上のステップ４０１からステップ４０６までの一連の処理を、表示情報ファイル中のすべてのデータに対して繰り返す。
【０１２７】
図１８は、図１７のステップ４０５の発言構造分割処理の概要を説明するためのフローチャートである。この発言構造分割処理では、抽出した一連の発言構造データを、いくつかの議論ブロックに分割するための処理を行う。この例において、議論ブロックとは、プレゼンテーションの説明と、その説明に対する質疑等の議論とからなる一連の発言構造区間のことである。
【０１２８】
ステップ４１１では、初期値設定処理として、新しい議論ブロック番号を設定する。次のステップ４１２では、一連の発言構造データの発言群の中から発言データを１つ取り出す。そして、ステップ４１３で、発言構造のデータ群に対して処理が終了したかが判断され、処理が終了していなければ、ステップ４１４に進む。
【０１２９】
ステップ４１４では、発言はプレゼンテーションの説明部分か、議論部分かが判定される。この例では、発言者がプレゼンターで、かつ、ある一定の長さ以上の発言区間時間を持つ発言の場合には、この発言は説明発言と判定される。この条件に該当しない場合には、議論部分であると判定される。
【０１３０】
発言が説明発言でないと判定された場合には、ステップ４１２に戻り、発言リスト中の次の発言の処理に移行する。
【０１３１】
ステップ４１４で、発言が説明発言と判断された場合には、ステップ４１５に進む。このステップ４１５では、説明発言であると判定された発言の、前の説明発言から、処理中の説明発言の前の発言までの一連の発言群を１議論ブロックとして抽出する。
【０１３２】
そして、次のステップ４１６では、次の議論ブロックの処理のために、新しい議論ブロック番号を設定し、その議論ブロックの発言リストの中に、現在処理中の説明発言のデータを追加する。そして、ステップ４１２に戻り、次の議論ブロックを抽出する処理へと進む。
【０１３３】
図１９は、ユーザ入力情報抽出処理の概要を説明するためのフローチャートである。これは、ユーザが手元ＰＣ４０を用いて、プレゼンテーション資料にメモやチェックを行った入力データの履歴を記録するための処理である。
【０１３４】
まず、ステップ４５１では、ユーザの入力を待ち、入力があるかどうかのチェックを行う。ユーザからの入力が発生すると、ステップ４５２において、入力が発生した時刻をタイマー２５から獲得し、これを入力開始時刻とする。次のステップ４５３では、ユーザ入力の指示タイプが判定され、それぞれの指示タイプに応じて処理を分岐させる。
【０１３５】
指示タイプが「入力」の場合、ステップ４５４に進み、ユーザの入力がキーボードからの入力か、ペン入力装置からの入力かのタイプの判定を行う。入力がペン入力の場合には、ステップ４５５に進み、ストロークの軌跡を単位時間Δｔ毎に受け取り、一連の座標群をストロークデータとして、入力ログテーブル１４０の入力アイテムのフィールド１４３に代入する。
【０１３６】
キーボード入力の場合には、ステップ４５４からステップ４５６に進み、入力位置の指示が行われたポイントの座標を抽出する。そして、次のステップ４５７で、キーボードからの一連の入力文字列を入力データとして、入力ログテーブルの入力アイテムのフィールド１４３に代入する。この例では、入力開始からキャリッジリターンが入力されるまでを一連のキーボード入力として判断する。
【０１３７】
そして、ステップ４５８に進み、入力の終了した時刻をタイマー２５より得る。さらに、ステップ４５９に進み、入力番号に新しいシーケンシャル番号を割り当て、入力ログファイル格納部４３に記録する。
【０１３８】
ステップ４５３で、指示タイプが「削除」と判定された場合、ステップ４６０に進み、指示された入力データを、入力ログファイルから削除する。また、ステップ４５３で、指示タイプが「移動」と判定された場合、ステップ４６１に進み、指示された入力データの位置座標を変更する。さらに、ステップ４５３で、指示タイプが「複写」と判定された場合、指定された入力データと同一の情報を保持する新しい入力データを生成し、入力ログファイル１４０に記録する。
【０１３９】
図２０は、入力オブジェクト抽出処理の概要を説明するためのフローチャートである。前述したように、この例では、入力ログデータから入力オブジェクトを抽出する。
【０１４０】
まず、ステップ４７１では、入力ログファイルから入力ログデータを読み込む。次のステップ４７２においては、入力ログデータのすべての処理が終了したかが判断される。すべての処理が終了していれば、入力オブジェクトの抽出処理は、終了となる。
【０１４１】
入力ログデータの処理が未了である場合には、ステップ４７３に進み、読み込んだ入力データのタイプが、ペン入力装置によるストローク入力であるか、キーボードによるテキスト入力であるかを判定し、それぞれのタイプに応じて異なる処理が行われる。
【０１４２】
ステップ４７４からステップ４７９までは、一連のストロークオブジェクトを抽出するための処理である。一連のストロークとは、連続したストロークタイプの入力データで、かつ、ある一定時間内の間隔で入力されたデータ群を指す。
【０１４３】
ステップ４７４では、入力オブジェクトタイプの値と、入力開始時刻とが設定される。ここで、入力開始時刻とは、一連のストロークの第１ストロークの入力時刻である。次いで、ステップ４７５で次の入力データを読み込む。
【０１４４】
次のステップ４７６では、次の入力データが存在するかを判断し、存在しない場合には、データが終了した時の、終了処理手続きのための図２１のステップ４９１へと進む。
【０１４５】
このステップ４９１では、処理中の入力データの終了時刻を入力オブジェクトの入力終了時刻として値を設定する。次のステップ４９２では、抽出した入力オブジェクトに含まれる一連のストロークをすべて含む矩形領域を、表示矩形領域として、その座標を算出する。次のステップ４９３では、抽出したストロークオブジェクトに対して、新しい入力オブジェクト番号を割り当て、入力オブジェクトファイル（入力オブジェクトテーブル）１５０をその格納部４５に記録して、処理を終了する。
【０１４６】
また、ステップ４７６で、次の入力データが存在すると判定されたときには、ステップ４７７に進む。このステップ４７７では、読み込んだ入力データのデータタイプがストロークかどうかが判定される。これは、一連のストロークを抽出するため、ストロークデータが継続しているかを判断するものである。
【０１４７】
ステップ４７７で、判定されたデータタイプがストロークデータ以外であった場合には、一連のストロークオブジェクトが抽出できたと判断し、図２２のステップ４９４へ進み、次のようにして、オブジェクト抽出の後処理を行う。
【０１４８】
すなわち、ステップ４９４からステップ４９６までの処理は、通常の一連のストロークオブジェクトが抽出された際の後処理の手続きである。処理は、前記ステップ４９１からステップ４９３までと同様であり、処理終了後、処理中の入力データの処理を継続するために、ステップ４７３へと移行する。
【０１４９】
ステップ４７７で、判定されたデータタイプがストロークであった場合には、ステップ４７８に進み、入力データの入力時間間隔が、ある一定時間以内であるか否かにより連続した入力データであるか否かが判断される。すなわち、前の入力データの終了時刻と、処理中の入力データの開始時刻との時間差が、ある単位時間Δｔ以内に収まるかが判定される。
【０１５０】
前記時間差に、一定時間以上の間隔が存在した場合には、ストロークオブジェクトが抽出されたと判断し、ステップ４９４へと進む。前記時間差に、一定時間以上の間隔が存在せず、ストロークオブジェクトが継続している場合には、次のステップ４７９で、構成アイテムに、処理中の入力データを追加し、次の入力データの処理を行うために、ステップ４７５に戻る。
【０１５１】
次に、入力データのタイプがテキストの場合の処理について説明する。入力タイプがテキストの場合には、入力データと入力オブジェクトは一致する。したがって、ステップ４８０では、入力データの、それぞれ対応する項目の値が、入力オブジェクトの各項目に代入される。
【０１５２】
そして、次のステップ４８１では、テキストの表示矩形領域を算出する。ステップ４８２では、抽出したテキストオブジェクトに対して新しいオブジェクト番号を割り当て、入力オブジェクトファイルに記録する。このステップ４８２の次には、ステップ４７１に戻る。
【０１５３】
以上のようにして、入力オブジェクト抽出処理が終了すると、この情報から、個人情報管理ファイルが生成される。この個人情報管理ファイルは、会議情報管理ファイルと同様のフォーマットを持つ。入力開始時刻が、議論ブロックの時間区間内であるような入力オブジェクト群が、該当する議論ブロックの入力オブジェクトリスト欄に保持される。
【０１５４】
［会議記録再生装置の再生装置部分の説明］
図１は、この発明の実施の形態の会議情報記録再生装置において、会議終了後に、ユーザが所望する会議情報へとアクセスするための再生装置部分の構成を示すブロック図である。
【０１５５】
この実施の形態では、会議情報の再生を、プレゼンテーションツールの特定のページから、該当する発言構造を視覚化したチャートへとアクセスすることにより、ここから、該当する会議の発言を特定し再生する、という方法を特長とする。この特定の発言構造へとアクセスする手段として、複数の方法が存在する。
【０１５６】
まず、そのうちの一つは、会議資料が提示された画面を参照し、会議資料の任意のページに該当する発言構造図を表示する場合である。この例の場合には、会議資料は、プレゼンテーションの提示資料であり、現在参照中のプレゼンテーションの提示資料のページに関わるすべての発言を参照し、再生することができるようにしている。
【０１５７】
さらに、会議参加者がユーザ入力情報として記録したメモ書きなどの個人情報を合わせて使用することにより、メモ書き近辺の発言構造区間のみに的を絞って、その部分の発言構造図のみを表示したり、それに対応した会議情報のみを再生することができる。プレゼンテーションの提示資料や、メモ書きから参照したいページを特定するのではなく、各ページ毎の議論状態を把握し、その議論状態から、任意の参照したページを特定して該当する会議情報へとアクセスすることもできる。
【０１５８】
図１において、表示装置５１には、この実施の形態では、会議において、プレゼンテーションの際に使用した提示資料内容が表示される。また、会議参加者が、会議において、前述したように、入力したメモ書き内容も合わせて表示されている場合もある。このときの表示装置５１の画面には、図１０に示したプレゼンテーション時と同様の表示画面が表示される。
【０１５９】
プレゼンテーション制御表示部５３は、表示装置５１において、このプレゼンテーション内容の表示を制御するための装置である。基本的には、プレゼンテーションファイル格納部５８に格納されている、会議資料としてのプレゼンテーションの提示資料の各ページ内容を表示する。
【０１６０】
会議参加者個人のユーザ入力情報が存在する場合には、プレゼンテーション制御表示部５３は、個人情報表示部５６において、プレゼンテーションファイル格納部５８の提示資料のページ内容と、それに貼付されたメモ情報を重ねあわせたものを、表示装置５１に表示するように制御する。
【０１６１】
指示入力装置５２は、この表示装置５１の表示画面上において、検索のための指示入力を行う。すなわち、この再生装置部においては、後述するように、検索者が、再生したい発言に該当する領域を、マウス等のポインティングデバイスを用いて指示を行うと、該当する音声データが再生される。
【０１６２】
プレゼンテーション内容の参照中に、発言構造図へのアクセス要求が、指示入力装置５２を通じて、ユーザから指示された場合、要求検知部５９が、その要求を検知する。表示状況判定部６０では、現在のプレゼンテーション提示資料ページなどの表示状況および手書きメモの選択状況の判定が行われる。
【０１６３】
この例では、プレゼンテーション表示制御部５３を介して、表示情報検出部６１が、表示ページ、選択オブジェクトなどに関する情報を検出する。そして、表示情報検出部６１は、検出したこれらの情報を表示状況判定部６０に送る。表示状況判定部６０では、どのような発言区間を表示すべきかを判定する。表示状況判定部６０では、例えば、ページに関わるすべての会議情報区間を収集するのか、任意の部分構造を抽出するのか、などが判定される。
【０１６４】
発言構造区間検出部６２は、表示状況判定部６０の判定結果を受けて、該当する表示状況、またはオブジェクトの選択状況に応じた発言構造区間を自動判定する。発言構造区間抽出部６３は、発言構造区間検出部６２で自動検出された発言構造区間の情報を受けて、発言構造ファイル格納部２７から該当する発言構造区間を抽出する処理を行う。
【０１６５】
発言構造図生成部６４では、発言構造区間抽出部６３で抽出された発言構造区間に応じた発言構造のチャート図である発言構造図を生成する。生成された発言構造図は、発言構造図表示制御部５４によって、表示装置５１に表示される。
【０１６６】
プレゼンテーション内容から参照したい会議情報を特定するのではなく、例えば、議論の盛り上がった場所の議論内容を再生させたい、というように、議論状態から参照したいページを特定するための手段を提供するのが、議論状況表示制御部５５および議論状態判定部６５、議論情報抽出部６６、議論活性化レベル判定部６７の議論状況の表示に関わる処理部群である。
【０１６７】
議論状態判定部６５では、発言構造ファイル格納部２７の情報から、あるページに関する発言中で、説明区間と議論区間を判別し、議論区間を抽出する。議論区間の検出の方法は、前述と同様であり、予め定められた長さ以上の発言区間を、説明発言として検出し、ある説明発言から、次の説明発言の前の発言までを議論区間として判定して抽出する。
【０１６８】
抽出した議論区間に関して、議論情報抽出部６６では、議論にかかわる属性、例えば発言数、発言者数、議論時間などを抽出する。議論活性化レベル判定部６７では、これらの抽出された属性値から、議論の活性度を算出し、活性化レベルを判定する。議論状況表示制御部５５では、議論の属性情報や、活性化レベルを各ページ単位で視覚化して表示する。
【０１６９】
図２３は、発言構造図の一例として、発言構造を視覚化した発言者チャートの一実施例を示す図である。
【０１７０】
２０１は発言者チャート表示領域である。発言者チャートは会議全体のオーバービューを示す全会議時間表示領域２０２と、詳細表示個所２０４に該当する部分の発言構造の詳細を表示する発言構造表示領域２０３の２つの領域から構成される。
【０１７１】
発言構造表示領域２０３は、発言者を識別するための発言者名を表示する領域２０６と、発言者の遷移の状態を視覚的に表示するための発言構造図表示領域２０７とから構成される。チャートの各列には、各会議参加者が会議時間中において、何時、どのくらいの時間の発言を行ったのかが示される。また、全会議参加者分の発言構造を見ることで、誰の発言から誰の発言へと遷移したのかという、発言遷移構造を読みとることが可能となる。
【０１７２】
また、発言者チャートから任意の位置を指示することによって、該当する音声データを再生することができる。全会議時間表示領域２０２における三角点２０５ａ、または、発言構造表示領域２０３における破線２０５ｂは、その時の再生中の音声データに該当する発言者チャート上の位置を示している。
【０１７３】
図２４は、会議情報を参照する際の再生処理の概要を説明するためのフローチャートである。
【０１７４】
まず、ステップ５０１では、会議情報の参照タイプが判定される。参照タイプはプレゼンテーション型か、議論状況型かに分けられる。プレゼンテーション型の場合には、ステップ５０２に進み、ユーザは、プレゼンテーション内容を参照しながら、その内容に応じて適宜アクセスしたいページを特定することになる。
【０１７５】
次のステップ５０３では、ユーザから発言構造図を表示するアクセス要求があったかが判定される。発言構造図を表示する要求を受けた場合には、ステップ５０４で、その時のプレゼンテーションの表示状況に沿った発言構造区間が特定され、発言構造図のチャートが生成される。そして、次のステップ５０５では、生成された発言構造のチャートが表示され、そのチャートから、ユーザが指示した任意の発言の再生を実行するようにする。
【０１７６】
ステップ５０１で判定された参照タイプが議論状況タイプの場合には、ステップ５０６に進み、議論状況を要約した情報が視覚化され、表示される。ユーザは、その議論状況を表示した画面から、参照したいページを特定することになる。ユーザにより、参照したいページが特定されると、ステップ５０７でユーザの指示が参照され、ユーザ指示がプレゼンテーション内容を参照してから発言構造へアクセスすることを要求している場合は、ステップ５０２へと進む。また、ユーザ指示が直接発言構造図へのアクセスを要求している場合には、ステップ５０４へと進む。
【０１７７】
図２５は、図２４のステップ５０２のプレゼンテーション情報参照処理の概要を説明するためのフローチャートである。ここでは、プレゼンテーションされた資料を参照しながら、そこから発言構造のチャート図へとアクセスするのが、会議情報を再生するための一連の手続きである。
【０１７８】
まず、ステップ５１１では、プレゼンテーションの表示要求待ちを行い、要求があると、ステップ５１２に進んで、プレゼンテーションツール１１によって、プレゼンテーションデータの内容が表示される。次のステップ５１３では、表示されたページ番号をプレゼンテーションツール１１から取得する。次のステップ５１４では、取得したページ番号に関連する入力オブジェクト群を、個人情報管理ファイル格納部４７から読み出す。
【０１７９】
そして、次のステップ５１５で、すでに表示されているプレゼンテーション画面上に、個人情報の入力オブジェクト群を、重ねあわせて表示する。これによって、会議においてプレゼンテーションされた資料と、個人メモを同時に参照することができる状況を提供する。
【０１８０】
次のステップ５１６では、資料を参照しているユーザからの指示入力を待ち、指示入力のタイプによって、それぞれ該当する処理を行う。
【０１８１】
まず、ユーザからの指示入力がプレゼンテーション参照の終了指示の場合は、そのまま処理を終了する。ユーザからの指示入力が、他ページ参照指示の場合には、ステップ５１２に戻り、前記説明と同様にプレゼンテーションデータ情報と個人情報を重ねあわせて表示する。さらに、ユーザからの指示入力が、発言構造表示要求の場合には、ステップ５１７に進み、発言構造アクセス処理を実行する。
【０１８２】
図２６は、ステップ５１７の発言構造アクセス処理の概要を説明するためのフローチャートである。この発言構造アクセス処理は、プレゼンテーションの表示状態、選択状態に応じて、適切な発言構造区間を抽出するものである。
【０１８３】
ステップ５２１では、まず、表示・選択状況を自動的に判定するのか、あるいは、ユーザによって明示的に表示要求する階層レベルの指示が行われるのかを選択する。
【０１８４】
自動選択の場合には、ステップ５２２に進み、入力オブジェクトが選択されているか否かの選択状態が判定され、その判定結果に応じて、ステップ５２３、５２４で、発言区間を選択するためのタイプを表す変数の値が設定される。
【０１８５】
すなわち、オブジェクトが選択されていない場合は、ステップ５２３に進み、発言区間は、表示されているページ全体に関連する発言区間集合がすべて抽出される。したがって、タイプはページが設定される。
【０１８６】
一方、入力オブジェクトが選択されている場合には、ステップ５２４に進み、この場合は議論ブロックに関する発言区間が抽出される。したがって、タイプは、議論ブロックが設定される。この場合、その入力オブジェクトが入力された時刻に対応する、適切な議論ブロックの発言構造区間が選択される。
【０１８７】
次のステップ５２５では、適切な発言構造区間を抽出するために必要な、ページ番号とオブジェクト番号が設定される。ページ番号に関しては、前記の図２５のプレゼンテーション情報参照情報処理において、取得済みである。オブジェクト番号は、オブジェクトが選択されている場合は、そのオブジェクト番号が設定される。オブジェクトが選択されていない場合には、ｎｉｌが設定される。
【０１８８】
次のステップ５２６では、設定された状況の変数に応じて、適切な発言構造区間を抽出し、チャート図を生成して、視覚化情報を生成する。そして、次のステップ５２７で、そのチャート図が表示装置５１の表示画面上に表示される。ユーザは、このチャート図において、任意の発言についての再生指示を行うことができる。
【０１８９】
ステップ５２１において、ユーザによって明示的に表示要求する階層レベルの指示であると判別された場合、ステップ５３１で、ユーザからの階層レベルの指示入力が判断される。そして、ユーザからの指示入力の値に応じて、ステップ５３３２、５３３、５３４において、表示および選択状況のタイプに、それぞれ、ページ、表示ブロック、議論ブロックの値が設定され、ステップ５２５へ進む。このステップ５２５以下の処理は、前述した自動選択時と同様である。
【０１９０】
図２７は、発言構造視覚化処理の概要を説明するためのフローチャートである。
【０１９１】
まず、ステップ６０１では、表示および選択状況のタイプが判断される。そして、判断されたタイプによって、それぞれ該当する視覚化処理を行う。すなわち、表示・選択状況のタイプがページの場合には、ステップ６０２以降に進み、プレゼンテーションの表示に関連したすべての発言構造区間を抽出し、それらを同時に発言構造図として表示する。
【０１９２】
まず、ステップ６０２では、該当するページに関する会議情報管理ファイルを読み込む。この会議情報管理ファイルには、このページに関連した発言構造に関するすべての情報が保持されている。次のステップ６０３では、表示領域の大きさを発言時間の長さに応じて区分けするために、発言時間が算出される。まず、抽出されたすべての発言構造区間の総発言時間を算出する。同時に、各表示ブロック毎の発言時間も算出する。
【０１９３】
次のステップ６０４では、図２３に示した発言構造表示領域２０３の面積に対して、各表示ブロック毎の総時間と、ページ表示総時間との比率に応じて表示領域面積を設定し、発言構造をチャート化した図を、各表示区域に割り当る。ステップ６０５では、会議全体の中で、各表示ブロックが、どの辺の時間帯に存在しているのかを示すために、図２３に示した全会議時間表示領域２０２に、各表示ブロックに該当する時間帯の表示を行う。
【０１９４】
図３０は、この例の場合のページ単位の発言構造図の表示例を説明するための図である。選択されたページに関連するすべての発言構造図が、表示ブロック単位で表示されている。これによって、当該ページに関わる議論の様子が一覧できる。
【０１９５】
図３０において、７０１は全会議時間表示領域で、７０１ａ，７０１ｂ，７０１ｃが、選択されたページが表示された時間帯を示している。７０３が発言構造図表示領域である。７０２は、発言構造図表示領域における、各時間帯７０１ａ，７０１ｂ，７０１ｃに対応する、表示ブロック領域７０２ａ，７０２ｂ，７０２ｃを示すためのものである。
【０１９６】
７０３ａが前記時間帯７０１ａに表示されていた表示ブロックに関連する発言構造図である。そして、７０３ｂが前記時間帯７０１ｂに表示されていた表示ブロックに関連する発言構造図である。また、７０３ｃが前記時間帯７０１ｃに表示されていた表示ブロックに関連する発言構造図である。
【０１９７】
次に、図２７のステップ６０１で、タイプが議論ブロックであると判別されたときには、図２８のステップ６１１からステップ６１４までの、表示・選択状態のタイプが議論ブロックの場合の処理を実行する。
【０１９８】
まず、ステップ６１１で、個人情報管理ファイルから、入力オブジェクト番号を含む議論ブロックを抽出する。次のステップ６１２では、抽出した議論ブロックに該当する発言区間を抽出する。抽出した発言区間は、発言構造図表示領域に収まるように視覚化され、表示される。ついで、ステップ６１３では、ステップ６０５と同様に、全会議時間表示領域に、議論区間に対応する時間帯を示す。次のステップ６１４では、表示された発言構造のチャート図上に、選択された入力オブジェクトの位置を示すマーキングを行う。
【０１９９】
図３１は、ブロック単位の発言構造図の表示例を説明するための図である。７１１は、全会議時間表示領域であり、網かけして示す７１１ａは、議論区間に対応する時間帯を示している。
【０２００】
発言構造図表示領域７１２で、前述のページ単位の表示と最も異なるのは、選択された入力オブジェクトに関する情報である。すなわち、図中、網かけして示す７１２ａは、入力オブジェクトが入力されていた時間帯を示している。三角印７１２ｂは、入力オブジェクトの入力開始時刻を示している。
【０２０１】
ステップ６０１で、表示・選択状態のタイプが表示ブロックである場合は、図２９に示すステップ６２１からステップ６２４までの処理を実行する。この処理は、図２８のステップ６１１からステップ６１４までの処理で、議論ブロックを表示ブロックに置き換えたものとなっている。
【０２０２】
図３２は、議論状況表示制御部５５により表示装置５１の画面に表示される議論状況の提示例および、議論状況からの発言構造図へのアクセスを説明するための図である。
【０２０３】
図３２において、８０１は、活性状況の表示画面の例である。また、８０２は、ページが指定された場合の、指定されたページのプレゼンテーション内容および個人情報の表示画面の例である。８０３は、前述した発言構造図の表示画面である。
【０２０４】
図３２の議論状況の活性状況の表示画面８０１では、議論の活性化レベルに応じて、各ページがどのランクに分類されたのかが、各ページの領域８０１ｂのシェードの濃度の度合いによって表示されている。例えば、非常に活発に議論が行われたのはページ１，７，９であることが分かる。したがって、この表示画面８０１から、参照したいページを選択できる。
【０２０５】
議論の活性度は、この例では、議論時間、発言者数、発言数の合成関数として定義され算出される。そして、この例では、図３２の説明欄８０４に示されるように、この議論の活性度の値を５段階に分割し、活性化レベルが判定される。表示画面８０１上の８０１ａは、この５段階の活性化レベルの参照インデックスである。
【０２０６】
会議資料のページを特定すると、矢印で示すパス８０５のように、そのページの内容が表示画面８０２として表示され、これ以降は、ここまで述べてきたアクセス方法と同様の処理となる。
【０２０７】
一方、前述もしたように、会議資料の内容を参照せず、直接発言構造図の表示を行うこともでき、これがパス８０６で示されている。これは、会議資料を作成した者が、会議終了後に会議情報を検索する場合には、会議資料の内容は熟知している場合もあり、特に会議資料の内容を表示する必要がない場合を考慮したものである。
【０２０８】
この例では、議論の活性化状況については、活性化レベルを例示したが、議論時間や発言者数などの属性値を直接グラフ化することでも、同様の効果を得ることが可能である。
【０２０９】
なお、以上の実施の形態では、会議資料はページ単位で管理するようにしたので、資料識別情報は、ページ番号を用いたが、複数のテーマについて会議をする場合のように、会議資料が複数種類に分類することができる場合には、複数ページにわたるテーマ毎の会議資料ごとに資料識別情報を付与するようにしてもよい。この場合に、テーマ毎の複数ページの会議資料には、ページごとの識別情報を付与して、そのページ毎の管理レベルを設けるようにしてももちろんよい。
【０２１０】
したがって、資料識別情報としては、ページ番号に限らず、種々の識別情報を用いることができる。
【０２１１】
また、以上の実施の形態は、プレゼンテーション型の会議に、この発明を適用した場合の例であるが、この発明は、このタイプの会議に限られるものでないことは言うまでもない。
【０２１２】
また、会議資料は、表示画面に表示されるものに限られるものではなく、会議において、ＯＨＰシートして提示されたものや、配付されたものであっても、ページ番号や、会議資料番号など、識別情報が付与されて管理されていれば、この発明は適用可能である。
【０２１３】
また、上述の説明では、部分発言構造として、説明発言を区切りとして議論ブロックを検出するようにしたが、複数の会議参加者が頻繁に話者交替している発言区間を活発な議論を行われている議論発言区間として検出するようにするなど、部分発言構造の検出方法は、その他種々の方法を用いることができる。
【０２１４】
また、上述の実施の形態では、発言構造ファイル、会議情報管理ファイル、個人情報管理ファイルは、記録時に生成して、各格納部に格納するようにしたが、会議記録終了後に、記録された会議情報全体の再生を行い、その際に生成するようにすることもできる。
【０２１５】
また、上述の実施の形態では、会議情報としては、音声情報のみを記録する場合について説明したが、会議風景などの映像情報も同時に記録し、それを再生する際のアクセス用としても、この発明は適用できる。
【０２１６】
【発明の効果】
以上説明したように、請求項１の発明による発言構造情報提示装置装置によれば、特定の会議資料に関連したすべての議論の構造が、発言構造図として視覚化されるため、単に、時系列順に表示したデータと比較して、資料内容に対する議論全体の把握が容易になる。したがって、会議内容へアクセスする際も、どの発言にアクセスすべきかが、全体の文脈を捉えて絞り込めるため、必要な発言へと容易にアクセスしやすくなる。
【０２１７】
また、請求項２の発明による発言構造情報提示装置装置によれば、構造の存在しない会議情報に部分構造を抽出することができ、部分構造単位でのデータの扱いが可能となり、部分構造が存在しない場合に比較し、検索の処理効率が向上する。
【０２１８】
また、請求項３の発明の発言構造情報提示装置装置によれば、会議情報の検索者により、特定の時間帯が指定された時に、各レベルでの発言構造区間を容易に抽出することができ、発言構造図の生成処理効率が向上する。
【０２１９】
また、請求項４の発明の発言構造情報提示装置装置によれば、会議資料と発言構造の部分構造とを容易に対応付けすることが可能となり、手書メモ等による検索と、発言構造による検索を効果的に結合させることができるので、発言構造へのアクセス処理効率が向上する。
【０２２０】
また、請求項５の発明の発言構造情報提示装置装置によれば、検索対象があいまいである場合には、会議資料の識別情報単位のレベル、時間帯がある程度絞り込めている場合には会議資料の表示区間毎のレベル、発言の場所がほとんど絞り込めている場合には議論発言区間などの部分構造レベルを指定することができるので、ユーザの意図の通りの検索アクセスができる。このように、検索したい対象の明確さのレベルに応じて検索のレベルを選択することができ、効率のよい絞り込みが可能となる。
【０２２１】
また、請求項６の発明の発言構造情報提示装置装置によれば、検索指示入力として、特にユーザの明示的な指示がなくても、ユーザの意図を汲み取り、適切な発言構造レベルでの発言区間のみを提示できる。これにより、ユーザの検索指示操作が簡略化されるとともに、不要な情報を提示しなくてよく、必要な情報へアクセスするためのユーザの負荷が小さくなる。
【０２２２】
さらに、請求項７の発明の発言構造情報提示装置装置によれば、参照会議資料を特定する際、資料内容からだけではなく、その資料に対する議論状況から、議論の活発な部分だけアクセスするなど、すべての会議情報を参照しなくても、重要な議論部分に容易にアクセスすることができる。また、この情報は、会議に参加しなかった人にとっては、会議の内容を把握するための時間を短縮できる。
【図面の簡単な説明】
【図１】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置の再生装置部の構成を示すブロック図である。
【図２】この発明が適用される会議の様子を現わす概念図である。
【図３】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置の記録装置部の会議記録用ＰＣの構成例を示すブロック図である。
【図４】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置の記録装置部のプレゼンテーション用ＰＣの構成例を示すブロック図である。
【図５】この発明による発言構造情報提示装置の実施の形態で用いる表示情報ファイルのデータ構造を説明するための図である。
【図６】この発明による発言構造情報提示装置の実施の形態で用いる発言構造テーブルのデータ構造を説明するための図である。
【図７】この発明による発言構造情報提示装置の実施の形態で用いる会議参加者テーブルのデータ構造を説明するための図である。
【図８】この発明による発言構造情報提示装置の実施の形態で用いる会議情報管理ファイルのデータ構造を説明するための図である。
【図９】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置の記録装置部の手元ＰＣの構成例を示すブロック図である。
【図１０】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置の表示画面における表示例を示す図である。
【図１１】この発明による発言構造情報提示装置の実施の形態で用いる入力ログファイルのデータ構造を説明するための図である。
【図１２】この発明による発言構造情報提示装置の実施の形態で用いる入力オブジェクトファイルのデータ構造を説明するための図である。
【図１３】この発明による発言構造情報提示装置の実施の形態で用いる個人情報管理ファイルのデータ構造を説明するための図である。
【図１４】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置において、会議時の会議情報の記録部の処理の概要を説明するためのフローチャートである。
【図１５】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造抽出処理の概要を説明するためのフローチャートである。
【図１６】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における表示情報抽出処理の概要を説明するためのフローチャートである。
【図１７】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における会議情報抽出・管理処理の概要を説明するためのフローチャートである。
【図１８】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造分割処理の概要を説明するためのフローチャートである。
【図１９】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置におけるユーザ入力情報抽出処理の概要を説明するためのフローチャートである。
【図２０】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における入力オブジェクト抽出処理の概要を説明するためのフローチャートの一部である。
【図２１】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における入力オブジェクト抽出処理の概要を説明するためのフローチャートの一部である。
【図２２】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における入力オブジェクト抽出処理の概要を説明するためのフローチャートの一部である。
【図２３】発言構造を視覚化したチャートの一例を示す図である。
【図２４】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置において、会議情報を参照する際の再生処理の概要を説明するためのフローチャートである。
【図２５】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置におけるプレゼンテーション情報参照処理の概要を説明するためのフローチャートである。
【図２６】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造アクセス処理の概要を説明するためのフローチャートである。
【図２７】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造視覚化処理の概要を説明するためのフローチャートの一部である。
【図２８】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造視覚化処理の概要を説明するためのフローチャートの一部である。
【図２９】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における発言構造視覚化処理の概要を説明するためのフローチャートの一部である。
【図３０】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置におけるページ単位の発言構造図の表示例を説明するための図である。
【図３１】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における部分構造単位の発言構造図の表示例を説明するための図である。
【図３２】この発明による発言構造情報提示装置の実施の形態が適用された会議情報記録再生装置における議論状況の提示例および、議論状況からの発言構造図へのアクセスを説明するための図である。
【符号の説明】
３、７  キーボード
４、８  ペン入力装置
５、９  音声入力装置としてのマイクロフォン
１０    プレゼンテーション用ＰＣ
２０    会議記録用ＰＣ
２３    会議音声データファイル格納部
２４    発話データ抽出部
２５    タイマー
２６    発言構造テーブル生成部
２７    発言構造ファイル格納部
２８    通知検出部
２９    表示情報抽出部
３０    表示情報ファイル格納部
３１    部分構造検出部
３２    管理ファイル生成部
３３    会議情報管理ファイル格納部
４０    手元ＰＣ
４２    ユーザ入力情報抽出部
４３    入力ログファイル格納部
４４    入力オブジェクト抽出部
４５    入力オブジェクトファイル格納部
４６    個人情報管理ファイル生成部
４７    個人情報管理ファイル格納部
５１    表示装置
５２    指示入力装置
５３    プレゼンテーション表示制御部
５４    発言構造図表示制御部
５５    議論状況表示制御部
５６    個人情報表示部
５８    プレゼンテーションファイル格納部
５９    要求検知部
６０    表示状況判定部
６１    表示情報検出部
６２    発言構造区間検出部
６３    発言構造区間抽出部
６４    発言構造図生成部
６５    議論状態判定部
６６    議論情報抽出部
６７    議論活性化レベル判定部
【図１】
0003736597.tif 000002
【図２】
0003736597.tif 000003
【図３】
0003736597.tif 000004
【図４】
0003736597.tif 000005
【図５】
0003736597.tif 000006
【図６】
0003736597.tif 000007
【図７】
0003736597.tif 000008
【図８】
0003736597.tif 000009
【図９】
0003736597.tif 000010
【図１０】
0003736597.tif 000011
【図１１】
0003736597.tif 000012
【図１２】
0003736597.tif 000013
【図１３】
0003736597.tif 000014
【図１４】
0003736597.tif 000015
【図１５】
0003736597.tif 000016
【図１６】
0003736597.tif 000017
【図１７】
0003736597.tif 000018
【図１８】
0003736597.tif 000019
【図１９】
0003736597.tif 000020
【図２０】
0003736597.tif 000021
【図２１】
0003736597.tif 000022
【図２２】
0003736597.tif 000023
【図２３】
0003736597.tif 000024
【図２４】
0003736597.tif 000025
【図２５】
0003736597.tif 000026
【図２６】
0003736597.tif 000027
【図２７】
0003736597.tif 000028
【図２８】
0003736597.tif 000029
【図２９】
0003736597.tif 000030
【図３０】
0003736597.tif 000031
【図３１】
0003736597.tif 000032
【図３２】
0003736597.tif 000033