(57)【要約】      （修正有）【課題】議論の対象に関する表示対象を表示しながら、議論を終えた対象に戻って追加で議論をした場合に、最初の議論と追加の議論の内容を統合して要約可能な会議システムを提供する。【解決手段】音声データに基づいてテキスト情報を生成し、テキスト情報を含む会議テキスト情報の要約情報を表示し、表示内容に基づいて追加の議論を判定し、元の議論の間に発生した会議テキストと、追加議論の間に発生した会議テキストとを統合して要約する。【選択図】図１５
2019152758.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話から音声データを取得する音声取得手段と、
前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、
生成された要約情報を表示する表示手段と、
前記表示手段の表示内容に基づいて、要約情報を生成済みの区間に対する追加議論か否かを判定する判定手段と、を有し、
前記要約手段は、要約情報を生成済みの区間に対する追加議論であると判定した場合には、当該区間に含まれる会議テキスト情報と追加議論の間に発生した会議テキスト情報とを統合し、統合した会議テキスト情報の要約情報を生成することが可能であることを特徴とする会議システム。
【請求項２】
前記表示手段は、生成された要約情報を前記所定の要約区間ごとに表示し、
前記判定手段は前記表示手段の表示内容が、現在よりも過去の区間の要約情報が表示されている場合に要約情報を生成済みの区間に対する追加議論であると判定することを特徴とする請求項１に記載の会議システム。
【請求項３】
前記判定手段により、要約情報を生成済みの区間に対する追加議論であると判定した場合には、当該区間に含まれる会議テキスト情報と追加議論の間に発生した会議テキスト情報とを統合するかをユーザに確認する確認手段を有することが可能であることを特徴とする請求項１又は２記載の会議システム。
【請求項４】
前記第１の生成手段は、前記音声データを音声認識することによって前記第１のテキスト情報を生成することを特徴とする請求項１から３のいずれか１項に記載の会議システム。
【請求項５】
ユーザが記入した文字を撮影することで画像データを取得する画像取得手段と、
前記画像取得手段により取得した画像データに基づいて第２のテキスト情報を生成する第２の生成手段を有し、
前記会議テキスト情報は、前記第１のテキスト情報と前記第２のテキスト情報を含むことを特徴とする請求項１から４のいずれか１項に記載の会議システム。
【請求項６】
前記第２の生成手段は、前記画像データを文字認識することによって前記第２のテキスト情報を生成することを特徴とする請求項５記載の会議システム。
【請求項７】
前記会議テキスト情報の要点を抽出する抽出手段を有し、
前記所定の要約区間は、前記抽出手段により抽出された一つの要点から次の要点までの区間を含むことを特徴とする請求項１から６のいずれか１項に記載の会議システム。
【請求項８】
前記所定の要点区間は、一つのアジェンダの開始から、当該アジェンダにおいて前記抽出手段により抽出された最初の要点までの区間を含むことを特徴とする請求項７記載の会議システム。
【請求項９】
前記所定の要約区間は、一つのアジェンダの開始から当該アジェンダの終了までの区間であることを特徴とする請求項１から６のいずれか１項に記載の会議システム。
【請求項１０】
ユーザの発話から音声データを取得する音声取得工程と、
音声データに基づいて第１のテキスト情報を生成する生成工程と、
前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する第１の要約工程と、
生成された要約情報を表示する表示工程と、
表示内容に基づいて、要約情報を生成済みの区間に対する追加議論か否かを判定する判定工程と、
要約情報を生成済みの区間に対する追加議論であると判定した場合には、当該区間に含まれる会議テキスト情報と追加議論の間に発生した会議テキスト情報とを統合し、統合した会議テキスト情報の要約情報を生成する第２の要約工程と、
を有することを特徴とする会議システムの制御方法。
【請求項１１】
請求項１０記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システム、会議システムの制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
会議中に議事録担当者がＰＣ上で該会議の議事録を作成し、作成した議事録をプロジェクタで表示することで、会議参加者全員が議事録を確認しながら会議を進行する場合がある。
【０００３】
特許文献１では、会議参加者の発話を音声認識して得たテキスト（以降「発話テキスト」と呼称する）を表示する発言一覧画面と、会議参加者が入力した議事録用のテキストを表示する議事録画面を提供するシステムが開示されている。特許文献１のシステムによれば、議事録担当者は発話テキストを参照して議事録を生成できるので、会議参加者は議事録を見ながら会議を進行することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−６２１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、一つの会議においては、複数の議題について議論することがあり、その議論対象に関連する表示対象を表示しながら議論することが想定される。表示対象とは例えば、議事録に含まれる個々の要点に対する議事や、レビュー対象の電子資料の個々のページである。そして、一度は議論を終えた対象に対して、戻って追加で議論を行う場合がある。
【０００６】
しかしながら、従来技術によれば、議論を終えた対象に戻って追加で議論をしても、最初の議論と追加の議論とはそれぞれ別の区間として処理され、個別に要約されてしまう。議事録としては統合され、ひとつに要約されることが好ましい。
【０００７】
本発明は、議論の対象に関する表示対象を表示しながら、議論を終えた対象に戻って追加で議論をした場合に、最初の議論と追加の議論の内容を統合して要約することが可能な会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、ユーザの発話から音声データを取得する音声取得手段と、前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、前記第１のテキスト情報を少なくとも含む会議テキスト情報の要約情報を、所定の要約区間ごとに生成する要約手段と、生成された要約情報を表示する表示手段と、前記表示手段の表示内容に基づいて、要約情報を生成済みの区間に対する追加議論か否かを判定する判定手段と、を有し、前記要約手段は、要約情報を生成済みの区間に対する追加議論であると判定した場合には、当該区間に含まれる会議テキスト情報と追加議論の間に発生した会議テキスト情報とを統合し、統合した会議テキスト情報の要約情報を生成することが可能であることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、議論の対象に関する表示対象を表示しながら、議論を終えた対象に戻って追加で議論をした場合に、最初の議論と追加の議論の内容を統合して要約することが可能な会議システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施例の議事録生成システムの構成例を示した図である。
【図２】会議装置と会議サーバ、ＰＣの構成例を示したブロック図である。
【図３】表示デバイスに表示される画面例を示した図である。
【図４】会議情報のデータ構成例を示した図である。
【図５】議事録元情報のデータ構成例を示した図である。
【図６】議事録元情報のデータ構成例を示した図である。
【図７】会議情報を記録する手順を示したフローチャートである。
【図８】会議情報を記録する手順を示したフローチャートである。
【図９】会議情報を記録する手順を示したフローチャートである。
【図１０】会議情報を記録する手順を示したフローチャートである。
【図１１】会議情報を記録する手順を示したフローチャートである。
【図１２】表示デバイスに表示される議事録例を説明した図である。
【図１３】議事録を表示する手順を示したフローチャートである。
【図１４】議事録元情報を生成する手順を示したフローチャートである。
【図１５】議事録元情報を生成する手順を示したフローチャートである。
【図１６】議事録元情報を生成する手順を示したフローチャートである。
【図１７】生成される議事録の概要を示した図である。
【図１８】表示デバイスに表示される議事録例を説明した図である。
【図１９】実施例２の会議情報のデータ構成例を示した図である。
【図２０】実施例２の電子資料を表示する手順を示したフローチャートである。
【図２１】実施例２の議事録元情報を生成する手順を示したフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。
【実施例１】
【００１２】
図１は、本実施例にかかる議事録生成システム（会議システム）の構成を示した図である。
【００１３】
議事録生成システム１００は、会議装置１０１と、要約装置としての会議サーバ１０２、ＰＣ１０３より構成される。これらはネットワーク１０４を介して接続されている。会議装置１０１とＰＣ１０３は、会議サーバ１０２と通信可能な端末装置である。
【００１４】
会議装置１０１は、会議室などの会議開催場所に配置され、例えば会議テーブルの上に置かれる。会議装置１０１は、音声や画像など複数の種類のデータ（以降「会議情報」と呼称する）を記録する。そして、会議装置１０１は、会議情報（図４で後述）を会議サーバ１０２に送信する。また、会議装置１０１は会議サーバ１０２にて生成された議事録を受信して議事録を生成して表示する。なお、図１において、議事録生成システム１００は、会議装置１０１と会議サーバ１０２をそれぞれ一台ずつ備えているが、会議装置１０１乃至会議サーバ１０２を複数備えるよう構成してもよい。また、なお、会議装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録する。しかし、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。
【００１５】
会議サーバ１０２は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やクラウドサーバであり、会議装置１０１から会議情報を受信し、これを解析・加工して議事録を作成する。会議サーバ１０２は、会議情報に含まれる音声データを音声認識してテキストを生成する。また、会議サーバ１０２は、会議情報に含まれる画像データを文字認識してテキストを生成する。会議サーバ１０２は、これらテキストを含む情報より議事録を生成し、生成した議事録を配信する。
【００１６】
ＰＣ１０３は、一般的な据置のＰＣ（パーソナルコンピュータ）やノートＰＣであり、アプリケーションプログラムを実行し、会議で参照する電子資料をディスプレイに表示することができる。また、会議アプリケーションを実行し、会議サーバ１０２が生成した議事録を受信して、ディスプレイに表示することができる。なお、ＰＣ１０３にプロジェクタを接続して表示内容をプロジェクタに投影してもよい。
【００１７】
図２は、図１の会議装置１０１および会議サーバ１０２、ＰＣ１０３のハードウェア構成例を示すブロック図である。
【００１８】
図２（ａ）は会議装置１０１のハードウェア構成例である。会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インターフェース２０８、カメラデバイス２０９、マイクデバイス２１０を備える。これら各部は、データバス２０３を介して相互にデータを送受信することができる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
【００１９】
ＣＰＵ２０１は、この会議装置全体を制御するためのコントローラである。ＣＰＵ２０１は、不揮発メモリであるＲＯＭ２０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を起動する。ＣＰＵ２０１は、このＯＳの上で、ストレージ２０５に記録されているコントローラプログラムを実行する。コントローラプログラムは、会議装置全体を制御するプログラムである。ＣＰＵ２０１は、データバス２０３などのバスを介して各部を制御する。ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議装置１０１は、会議情報を会議サーバ１０２へ送信するまでの間、ストレージ２０５に会議情報を記録する。
【００２０】
入力デバイス２０６は、タッチパネルやハードキー、マウスなどから構成される入力装置である。また、表示デバイス２０７は、ＬＣＤなどの表示装置である。入力デバイス２０６は、ユーザの操作指示を受け付けると、ＣＰＵ２０１に伝達する。表示デバイス２０７は、ＣＰＵ２０１が生成した表示画像データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示させている表示画像データとに基づいて、ユーザの操作を判定する。ＣＰＵ２０１は、操作の判定結果に応じて、会議装置１０１を制御するとともに、操作内容に応じて新たな表示画像データを生成し、表示デバイス２０７に表示させる。ＣＰＵ２０１は会議サーバ１０２から議事録を受信して表示デバイス２０７に表示させる表示制御を行う。なお、表示デバイス２０７は例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルやＶＧＡケーブルで接続されたプロジェクタやＬＣＤなどの表示装置で構成してもよい。
【００２１】
外部インターフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。
【００２２】
カメラデバイス２０９は、いわゆるデジタルカメラであり、動画や画像を撮影することができる。マイクデバイス２１０は、入力された音声をデジタル信号化し、例えばＷＡＶＥなどの音声データとして取得する。
【００２３】
図２（ｂ）は会議サーバ１０２のハードウェア構成例である。
【００２４】
会議サーバ１０２は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５４、ストレージ２５５、入力デバイス２５６、表示デバイス２５７、外部インターフェース２５８を備える。各部は、データバス２５３を介して相互にデータを送受信することができる。
【００２５】
ＣＰＵ２５１は、この会議サーバ全体を制御するためのコントローラである。ＣＰＵ２５１は、不揮発メモリであるＲＯＭ２５２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２５５に記憶されている会議サーバプログラムを実行する。ＣＰＵ２５１がこの会議サーバプログラムを実行することより、会議サーバ１０２の各処理を実現する。ＣＰＵ２５１は、データバス２５３などのバスを介して各部を制御する。
【００２６】
ＲＡＭ２５４は、ＣＰＵ２５１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２５５は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。
【００２７】
入力デバイス２５６および表示デバイス２５７は、図２（ａ）を用いて説明した入力デバイス２０６および表示デバイス２０７と同様である。
【００２８】
外部インターフェース２５８は、図２（ａ）を用いて説明した外部インターフェース２０８と同様である。
【００２９】
図２（ｃ）はＰＣ１０３のハードウェア構成例である。ＰＣ１０３は、ＣＰＵ２７１、ＲＯＭ２７２、ＲＡＭ２７４、ストレージ２７５、入力デバイス２７６、表示デバイス２７７、外部インターフェース２７８を備える。各部は、データバス２７３を介して相互にデータを送受信することができる。
【００３０】
ＣＰＵ２７１は、ＰＣ全体を制御するためのコントローラである。ＣＰＵ２７１は、不揮発メモリであるＲＯＭ２７２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２７５に記憶されているアプリケーションプログラムや会議アプリケーションプログラムを実行する。ＣＰＵ２７１がこのアプリケーションプログラムを実行することより、電子資料を解釈し、これを表示するための表示画像データを生成する。また、ＣＰＵ２７１がこの会議アプリケーションプログラムを実行することにより、会議サーバ１０２から受信する議事録の情報を解釈し、これを表示するための表示画像データを生成する。そしてＣＰＵ２７１は、表示画像データを表示デバイス２７７に表示させる。
【００３１】
ＲＡＭ２７４は、ＣＰＵ２７１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２７５は、読み出しと書き込みが可能な不揮発メモリであり、前述のアプリケーションプログラムや会議アプリケーションプログラム、電子資料を記憶している。
【００３２】
入力デバイス２７６および表示デバイス２７７は、図２（ａ）を用いて説明した入力デバイス２０６および表示デバイス２０７と同様である。
【００３３】
外部インターフェース２７８は、図２（ａ）を用いて説明した外部インターフェース２０８と同様である。
【００３４】
次に、議事録生成システム１００が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。図３は、会議装置１０１の表示デバイス２０７の表示例を示す画面図である。
【００３５】
図３（ａ）の画面３００は、会議開始前に表示される画面である。「会議開始」ボタン３０１は、ユーザが会議装置１０１に会議の開始を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議開始」ボタン３０１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示す画面３１０を表示させる。そして、ＣＰＵ２０１は、会議情報の記録を開始する。「シャットダウン」ボタン３０２は電源オフを指示するためのものである。
【００３６】
図３（ｂ）の画面３１０は、会議中に表示される画面である。「撮影」ボタン３１１は、ユーザが会議装置１０１に撮影要求を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「撮影」ボタン３１１への指示を受け付けると、表示デバイス２０７に、図３（ｃ）に示す画面３２０を表示させる。
【００３７】
「アジェンダ」ボタン３１２は、ユーザが会議装置１０１にアジェンダ（議題）の変更（開始や終了）を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「アジェンダ」ボタン３１２への指示を受け付けると、表示デバイス２０７に、図３（ｄ）に示す画面３３０を表示させる。
【００３８】
「会議終了」ボタン３１３は、ユーザが会議装置１０１に会議の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議終了」ボタン３１３への指示を受け付けると、表示デバイス２０７に、図３（ｅ）に示す画面３４０を表示させる。
【００３９】
図３（ｃ）の画面３２０は、撮影をする際に表示される画面である。画面３２０には、カメラデバイス２０９により得られる被写体の映像が表示される。ユーザは、当該映像を見ながら、文字を記入したホワイトボードや紙が、会議装置１０１の撮影画角に収まるよう調整することができる。
【００４０】
ＣＰＵ２０１は、入力デバイス２０６を介して画面３１０の任意箇所への指示を受け付けると、カメラデバイス２０９により被写体を撮影して画像データを取得する。「ＯＫ」ボタン３２１は、ユーザが会議装置１０１に、撮影終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３２１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。
【００４１】
図３（ｄ）の画面３３０は、アジェンダの変更を指示する際に表示される画面である。テキストフィールド３３１は、ユーザが会議装置１０１にアジェンダ名を登録するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３３１に、所望のアジェンダ名を入力することができる。「アジェンダ開始」ボタン３３２は、ユーザが会議装置１０１に、新しいアジェンダの開始を指示するためのものである。「アジェンダ終了」ボタン３３３は、ユーザが会議装置１０１に、現在のアジェンダの終了を指示するためのものである。なお、終了されたアジェンダは、そのアジェンダ名がテキストエリア３３４にリスト表示される。「ＯＫ」ボタン３３５は、ユーザが会議装置１０１に、アジェンダ変更の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３３５への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。
【００４２】
図３（ｅ）の画面３４０は、会議を終了する際に表示される画面である。
【００４３】
テキストフィールド３４１は、ユーザが会議装置１０１に、議事録生成システム１００が作成する議事録の配信先を指定するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３４１に、所望の配信先を入力することができる。配信先として、例えば、メールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスを入力することができる。「ＯＫ」ボタン３４２は、ユーザが会議装置１０１に、会議終了の確定を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３４２への指示を受け付けると、表示デバイス２０７に、図３（ａ）に示した画面３００を表示させる。そして、会議装置１０１は、会議情報の記録を終了し、議事録領域３１４で表示した議事録を会議サーバ１０２へ送信する。その後、会議サーバ１０２は、受信した議事録を配信先に配信する。
【００４４】
次に、会議装置１０１によって記録される会議情報について説明する。図４は、会議装置１０１がストレージ２０５に記録する会議情報の構成例を示したものである。図４（ａ）、（ｂ）、（ｃ）、（ｄ）はそれぞれ、音声情報テーブル４００、画像情報テーブル４１０、アジェンダ情報テーブル４２０、配信先情報テーブル４３０の構成例を示す図である。これらのテーブルで会議情報が構成される。
【００４５】
音声情報テーブル４００は、会議装置１０１が録音して得られた音声に関する情報（以降「音声情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、会議中の会話を録音し音声データを記録する。録音開始時刻列４０１には、録音開始時刻（会議開始時刻）が記録される。録音終了時刻列４０２には、録音終了時刻（会議終了時刻）が記録される。音声データ列４０３には、ストレージ２０５に記録された音声データのファイル名が記録される。
【００４６】
画像情報テーブル４１０は、会議装置１０１が撮影して得られた画像に関する情報（以降「画像情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、被写体を撮影して画像データを取得し、ファイルとしてストレージ２０５に記録する。撮影時刻列４１１には、撮影時刻が記録される。画像データ列４１２には、ストレージ２０５に記録した画像データのファイル名が記録される。
【００４７】
アジェンダ情報テーブル４２０は、会議装置１０１が記録するアジェンダに関する情報（以降「アジェンダ情報」と呼称する）を記録するためのデータテーブルである。アジェンダ開始時刻列４２１には、アジェンダの開始時刻が記録される。アジェンダ終了時刻列４２２には、アジェンダの終了時刻が記録される。アジェンダ名列４２３には、アジェンダ名が記録される。
【００４８】
配信先情報テーブル４３０は、議事録を配信する配信先に関する情報（以降「配信先情報」と呼称する）を記録するためのデータテーブルである。本実施例では配信先情報は一人のメールアドレスとしているがそれに限定するものではない。例えば、複数のメールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスでもかまわない。
【００４９】
次に、会議サーバ１０２が、会議装置１０１から受信した会議情報を解析・加工して生成する議事録元情報について説明する。図５と図６は、会議サーバ１０２がストレージ２５５に記録する議事録元情報の構成例を示したものである。議事録元情報には、発話情報テーブル５００（図５（ａ））、記入情報テーブル５１０（図５（ｂ））、会議テキスト情報テーブル５２０（図５（ｃ））、及び、要約情報テーブル６００（図６）がある。
【００５０】
発話情報テーブル５００は、会議情報に含まれる音声データに対する音声認識結果に関する情報（以降「発話情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話時刻列５０１は、発話が発生した時刻（以降「発話時刻」と呼称する）を記録するためのものである。発話テキスト列５０２は、発話を音声認識して得た発話テキストを記録するためのものである。発話や発話時刻の特定方法については後述する。
【００５１】
記入情報テーブル５１０は、会議情報に含まれる画像データに対する文字認識結果に関する情報（以降「記入情報」と呼称する）を記録するデータテーブルである。会議サーバ１０２は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入時刻列５１１は、記入が発生した時刻（以降「記入時刻」と呼称する）を記録するためのものである。記入テキスト列５１２は、画像データを文字認識して得た記入テキストを記録するためのものである。記入や記入時刻の特定方法については後述する。
【００５２】
会議テキスト情報テーブル５２０は、会議において発生したテキスト（以降「会議テキスト」と呼称する）に関する情報（以降「会議テキスト情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、発話情報と記入情報とを統合して会議テキスト情報を生成する。発生時刻列５２１には、会議テキスト情報が発生した時刻として、発話時刻列５０１乃至記入時刻列５１１の時刻が記録される。会議テキスト列５２２には、会議テキストとして、発話テキスト列５０２乃至記入テキスト列５１２のテキストが記録される。区分列５２３には、そのレコードが、会議テキストの元となったテキスト（統合前のテキスト）が発話情報であったのか記入情報であったのかを示す情報が記録される。統合前のテキストが発話情報であった場合には０が記録され、記入情報であった場合には１が記録される。要点列５２４には、そのレコードの会議テキスト列５２２の会議テキストが要点であるか否かを示す情報が記録される。ここで要点とは、決定した事項や、発生したアクションアイテムなど、その会議の主要な内容を示すものである。要点である場合には１が記録され、そうでない場合には０が記録される。要約区間ＩＤ列５２５には、要約区間ＩＤが記録される。後述するように、会議テキストは要約区間に分割されて要約される。要約区間ＩＤはこの要約区間の識別情報である。つまり、会議テキストを要約する際に当該レコードの会議テキストを含んだ要約区間の要約区間ＩＤが、要約区間ＩＤ列５２５に記録される。なお、会議テキスト情報テーブル５２０のレコードは、発生時刻列５２１の値で昇順に（発生した順に）ソートされる。
【００５３】
要約情報テーブル６００は、会議テキストを要約した情報（以降「要約情報」と呼称する）を記録するためのデータテーブルである。会議サーバ１０２は、会議テキストテーブル５２０の会議テキスト列５２２の会議テキストを要約して要約テキストを生成し、それを要約テーブル７００に記録する。タイトル列６０１は、例えばアジェンダ名などの情報を記録するためのものである。タイトル列６０１には、アジェンダ情報テーブル４２０のアジェンダ名列４２３に記録されているアジェンダが記録される。要約テキスト列６０２には、生成した要約テキストが記録される。要約区間ＩＤ列６０３には、要約区間ＩＤが記録される。タイトル列６０１に記録された１つのアジェンダ名に対して１つ以上の要約テキストが対応づけられる。要約テキストは会議テキスト情報テーブル５２０の会議テキスト列５２２の会議テキストを要約区間で要約して得たテキストである。
【００５４】
本実施例において、要約区間は以下の２つの種類の区間が該当する。１つ目は、１つのアジェンダが開始されてから終了するまでの時間内で該アジェンダの開始時刻から走査して最初の要点を抽出した時刻までの区間である。２つ目は、１つのアジェンダが開始されてから終了するまでの時間内で１つの要点を抽出した時刻から走査して次の要点を抽出した時刻までの区間である。図５（ｃ）の会議テキスト情報テーブル５２０の例では、要約区間５２６、５２７、５２８が存在する。図６の要約情報テーブル６００では、第１のアジェンダである「来年度予算について」に対応して、要約区間５２６の会議テキストを要約して得た要約テキスト６０４と要約区間５２７の会議テキストを要約して得た要約テキスト６０５が記録されている。また、第２のアジェンダである「役割分担の相談」に対応して、要約区間５２８の会議テキストを要約して得た要約テキスト６０６が記録されている。
【００５５】
さらに、要約区間には次の種類の区間も該当する。すでに議論を終えた対象について追加で議論を行うために、ＰＣ１０３において、当該対象に該当する要約区間の内容を表示すると、その間の区間が要約区間として記録される。要約区間５２９がこれにあたるもので、追加議論のために、要約区間５２７の内容を表示していた期間である。よって、後述するように、要約区間５２７と要約区間５２９は統合され、要約され、要約テキストが生成される。この種の要約区間を特に「追加議論区間」と呼称する。また、追加議論の対象であった要約区間を「追加議論対象区間」と呼称する（この例の場合は要約区間５２７）。
【００５６】
次に、会議装置１０１の基本処理について説明する。図７は、基本処理を示したフローチャートである。
【００５７】
ユーザが会議装置１０１の電源キー（不図示）を操作して電源をＯＮにすると、ＣＰＵ２０１は、ストレージ２０５に記録されているコントローラプログラムを読み込む。そして、ＲＡＭ２０４に展開して当該コントローラプログラムを実行する。これにより会議装置１０１は会議情報記録処理を実行することが可能となる。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して表示デバイス２０７に表示させる。
【００５８】
まず、ＣＰＵ２０１は、Ｓ７０１において、会議開始指示がされたか否かを判定する。「会議開始」ボタン３０１への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０３に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「会議開始」ボタン３０１への指示を受け付けなければ、ＮＯと判定し、Ｓ７０２に遷移する。
【００５９】
ＣＰＵ２０１は、Ｓ７０２において、電源オフ指示がされたか否かを判定する。「シャットダウン」ボタン３０２への指示を受け付けたら、ＹＥＳと判定し、処理を終了して電源オフする。「シャットダウン」ボタン３０２への指示を受け付けなければ、ＮＯと判定し、Ｓ７０１に遷移する。
【００６０】
ＣＰＵ２０１は、Ｓ７０３において、会議開始処理を行う。詳細は後述する。
【００６１】
ＣＰＵ２０１は、Ｓ７０４において、会議終了指示がされたか否かを判定する。「会議終了」ボタン３１３への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０５に遷移する。このとき、ＣＰＵ２０１は、画面３４０の表示画像データを生成して表示デバイス２０７に表示させる。「会議終了」ボタン３１３への指示を受け付けなければ、ＮＯと判定し、Ｓ７０６に遷移する。
【００６２】
ＣＰＵ２０１は、Ｓ７０５において、会議終了処理を行う。詳細は後述する。その後、Ｓ７０２に遷移する。
【００６３】
ＣＰＵ２０１は、Ｓ７０６において、撮影要求指示がされたか否かを判定する。「撮影」ボタン３１１への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０７に遷移する。このとき、ＣＰＵ２０１は、画面３２０の表示画像データを生成して表示デバイス２０７に表示させる。「撮影」ボタン３１１への指示を受け付けなければ、ＮＯと判定し、Ｓ７０８に遷移する。
【００６４】
ＣＰＵ２０１は、Ｓ７０７において、撮影処理を行う。詳細は後述する。撮影処理終了後、Ｓ７０４に遷移する。
【００６５】
ＣＰＵ２０１は、Ｓ７０８において、アジェンダ変更指示がされたか否かを判定する。「アジェンダ」ボタン３１２への指示を受け付けたら、ＹＥＳと判定し、Ｓ７０９に遷移する。このとき、ＣＰＵ２０１は、画面３３０の表示画像データを生成して表示デバイス２０７に表示させる。「アジェンダ」ボタン３１２への指示を受け付けなければ、ＮＯと判定し、Ｓ７０４に遷移する。
【００６６】
ＣＰＵ２０１は、Ｓ７０９において、アジェンダ変更処理を行う。詳細は後述する。アジェンダ変更処理終了後、Ｓ７０４に遷移する。
【００６７】
図８は、ＣＰＵ２０１がＳ７０３で行う会議開始処理を説明するためのフローチャートである。
【００６８】
ＣＰＵ２０１は、Ｓ８０１において、会議サーバ１０２に会議の開始を示す会議開始通知を送信する。
【００６９】
ＣＰＵ２０１は、Ｓ８０２において、マイクデバイス２１０により、会話の録音を開始する。これにより、ＣＰＵ２０１は、音声データを取得する。そして、ＣＰＵ２０１は、音声情報テーブル４００の録音開始時刻列４０１に、録音開始時刻として現在時刻を記録する。また、ＣＰＵ２０１は、音声データを、ファイルとしてストレージ２０５に記録し始める。ＣＰＵ２０１は、当該音声データのファイル名を、音声情報テーブル４００の音声データ列４０３に記録する。なお、録音開始時刻は会議開始時刻に相当する。ＣＰＵ２０１は音声情報テーブルをストレージ２０５に記録する。この時、ＣＰＵ２０１は録音終了時刻（会議終了時刻に相当する）を空白で初期化して記録する。
【００７０】
次に、ＣＰＵ２０１は、Ｓ８０３において、会議サーバ１０２に音声データのストリーミング配信を開始する。次に、ＣＰＵ２０１は、Ｓ８０４において、会議サーバ１０２に音声情報テーブル４００を含む会議情報を送信する。
【００７１】
図９は、ＣＰＵ２０１がＳ７０７で行う撮影処理を説明するためのフローチャートである。
【００７２】
ＣＰＵ２０１は、Ｓ９０１において、撮影指示がされたか否かを判定する。画面３２０の任意箇所への指示を受け付けたら、ＹＥＳと判定し、Ｓ９０２に遷移する。画面３２０の任意箇所への指示を受け付けなければ、ＮＯと判定し、Ｓ９０３に遷移する。
【００７３】
ＣＰＵ２０１は、Ｓ９０２において、カメラデバイス２０９により被写体を撮影して画像データを取得する。また、ＣＰＵ２０１は、画像情報テーブル４１０にレコードを追加する。そして、ＣＰＵ２０１は、撮影時刻列４１１に撮影時刻として現在時刻を記録する。また、ＣＰＵ２０１は、画像データを、ファイルとしてストレージ２０５に記録する。ＣＰＵ２０１は、当該画像データのファイル名を、画像情報テーブル４１０の画像データ列４１２に記録する。ＣＰＵ２０１は画像情報テーブル４１０をストレージ２０５に記録する。
【００７４】
ＣＰＵ２０１は、Ｓ９０３において、撮影終了指示がされたか否かを判定する。「ＯＫ」ボタン３２１への指示を受け付けたら、ＹＥＳと判定し、Ｓ９０４に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「ＯＫ」ボタン３２１への指示を受け付けなければ、ＮＯと判定し、Ｓ９０１に遷移する。
【００７５】
ＣＰＵ２０１は、Ｓ９０４において、Ｓ９０２で更新した画像情報テーブル４１０を含む会議情報を会議サーバ１０２に送信する。
【００７６】
ＣＰＵ２０１は、Ｓ９０５において、Ｓ９０２で撮像した画像データを会議サーバ１０２に送信する。
【００７７】
図１０は、ＣＰＵ２０１がＳ７０９に行うアジェンダ変更処理を説明するためのフローチャートである。
【００７８】
ＣＰＵ２０１は、Ｓ１００１において、アジェンダ開始指示がされたか否かを判定する。「アジェンダ開始」ボタン３３２への指示を受け付けたら、ＹＥＳと判定し、Ｓ１００２に遷移する。「アジェンダ開始」ボタン３３２への指示を受け付けなければ、ＮＯと判定し、Ｓ１００３に遷移する。なお、Ｓ１００２で開始し、且つ、Ｓ１００４で終了していないアジェンダがある場合は、Ｓ１００１ではＮＯと判定する。
【００７９】
ＣＰＵ２０１は、Ｓ１００２において、新しいアジェンダを開始する。ＣＰＵ２０１は、アジェンダ情報テーブル４２０にレコードを追加する。そして、ＣＰＵ２０１は、アジェンダ開始時刻列４２１に、アジェンダ開始時刻として現在時刻を記録する。ＣＰＵ２０１はアジェンダ情報テーブル４２０をストレージ２０５に記録する。アジェンダ終了時刻は空白で初期化して記録する。
【００８０】
ＣＰＵ２０１は、Ｓ１００３において、アジェンダ終了指示がされたか否かを判定する。「アジェンダ終了」ボタン３３３への指示を受け付けたら、ＹＥＳと判定し、Ｓ１００４に遷移する。「アジェンダ終了」ボタン３３３への指示を受け付けなければ、ＮＯと判定し、Ｓ１００６に遷移する。なお、Ｓ１００２で開始されてかつ、Ｓ１００４で終了していないアジェンダがない場合には、Ｓ１００３ではＮＯと判定する。
【００８１】
ＣＰＵ２０１は、Ｓ１００４において、現在のアジェンダを終了する。ＣＰＵ２０１は、アジェンダ情報テーブル４２０のアジェンダ終了時刻列４２２に、アジェンダ終了時刻として現在時刻を記録する。また、テキストフィールド３３１に入力されたアジェンダ名を、アジェンダ名列４２３に記録する。ＣＰＵ２０１はアジェンダ情報テーブル４２０をストレージ２０５に記録し、Ｓ１００５に遷移する。
【００８２】
ＣＰＵ２０１は、Ｓ１００５において、Ｓ１００２乃至Ｓ１００４で更新したアジェンダ情報テーブル４２０を含む会議情報を会議サーバ１０２に送信してＳ１００６に遷移する。
【００８３】
ＣＰＵ２０１は、Ｓ１００６において、アジェンダ変更終了指示がされたか否を半判定する。「ＯＫ」ボタン３３５への指示を受け付けたら、ＹＥＳと判定し、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。「ＯＫ」ボタン３３５への指示を受け付けなければ、ＮＯと判定し、Ｓ１００１に遷移する。
【００８４】
図１１は、ＣＰＵ２０１がＳ７０５において行う会議終了処理を説明するフローチャートである。
【００８５】
ＣＰＵ２０１は、Ｓ１１０１において、マイクデバイス２１０による会議の録音を終了する。ＣＰＵ２０１は、音声情報テーブル４００の録音終了時刻列４０２に、録音終了時刻として現在時刻を記録する。なおこのとき、アジェンダ情報テーブル４２０に、アジェンダ終了時刻列４２２に終了時刻が記録されていないレコードがあれば、アジェンダ終了時刻として現在時刻をアジェンダ終了時刻列４２２に記録する。ＣＰＵ２０１は更新後の音声情報テーブル４００及びアジェンダ情報テーブル４２０をストレージ２０５に記録する。
【００８６】
ＣＰＵ２０１は、Ｓ１１０２において、会議サーバ１０２への音声データのストリーミング配信を終了する。
【００８７】
ＣＰＵ２０１は、Ｓ１１０３において、会議終了確定指示がなされたか否かを判定する。テキストフィールド３４１に配信先が入力され、かつ「ＯＫ」ボタン３４２への指示を受け付けたら、ＹＥＳと判定し、Ｓ１３０５に遷移する。テキストフィールド３４１に配信先が入力されていない、あるいは、「ＯＫ」ボタン３４２への指示を受け付けなければ、ＮＯと判定し、再度Ｓ１１０３の処理を行う。ＣＰＵ２０１は、テキストフィールド３４１に入力された配信先を配信先情報テーブル４３０に記録する。
【００８８】
ＣＰＵ２０１は、Ｓ１１０４において、更新後の会議情報を会議サーバ１０２に送信する。送信後に、会議情報をストレージ２０５から削除してよい。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して表示デバイス２０７に表示させる。
【００８９】
次に、ＰＣ１０３が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。図１２は、ＰＣ１０３の表示デバイス２７７の表示例を示す画面図である。
【００９０】
図１２（ａ）の画面１２００は、ＰＣ１０３の画面である。議事録領域１２０１は、会議サーバ１０２から受信した議事録を表示する領域である。電子資料領域１２０２は、電子資料を表示する領域である。本実施例では図示のように、議事録領域１２０１は、電子資料領域１２０２の下端部にオーバーラップして表示するが、この限りではなく、議事録領域１２０１と電子資料領域１２０２とを左右に並べて表示するなど、他の表示構成としてもよい。
【００９１】
図１２（ｂ）は、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２１１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２１１は、会議サーバ１０２が、会議端末１０１から開始されたアジェンダのアジェンダ名を受信することによって得られたものである。議事録領域１２０１には、要約情報テーブル１２１１に記録された最初のアジェンダ名１２１２がアジェンダ１２１３として表示される。
【００９２】
図１２（ｃ）は、図１２（ｂ）の表示後に続いて、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２２１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２２１は、会議サーバ１０２が要約区間５２６で会議テキストを要約した結果得られたものである。アジェンダ名１２１２に対応する要約テキスト１２２２が議事テキスト１２２３として表示されている。アジェンダ名１２１３は、スクロールして一部または全部が議事録領域１２０１の表示の対象外となる場合がある。
【００９３】
図１２（ｄ）は、図１２（ｃ）の表示後に続いて、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２３１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２３１は、会議サーバ１０２が要約区間５２７で会議テキストを要約した結果を追加したものである。アジェンダ名１２１２に対応する要約テキスト１２３２が議事テキスト１２３３として表示されている。アジェンダ名１２１３および議事テキスト１２２３は、スクロールして一部または全部が議議事録領域１２０１の表示の対象外となる場合がある。
【００９４】
図１２（ｅ）は、図１２（ｄ）の表示に続いて、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２４１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２４１は、会議サーバ１０２が会議端末１０１から、ふたつめに開始されたアジェンダのアジェンダ名を受信することによって得られたものである。議事録領域１２０１には、要約情報テーブル１２４１に記録されたふたつめのアジェンダ名１２４２がアジェンダ１２４３として表示される。アジェンダ名１２１３および議事テキスト１２２３、議事テキスト１２３３は、スクロールして一部または全部が議事録領域１２０１の表示の対象外となる場合がある。
【００９５】
図１２（ｆ）は、図１２（ｅ）の表示後に続いて、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２５１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２５１は、会議サーバ１０２が要約区間５２８で会議テキストを要約した結果を追加したものである。アジェンダ名１２４２に対応する要約テキスト１２５２が議事テキスト１２５３として表示されている。アジェンダ名１２１３および議事テキスト１２２３、議事テキスト１２３３およびアジェンダ名１２４３は、スクロールして一部または全部が議事録領域１２０１の表示の対象外となる場合がある。
【００９６】
図１２（ｇ）は、図１２（ｆ）の表示後に続いて、ＣＰＵ２７１が会議サーバ１０２から要約情報テーブル１２６１を受信した場合の議事録領域１２０１の表示例である。要約情報テーブル１２６１は、会議サーバ１０２が会議端末１０１から、三つ目に開始されたアジェンダのアジェンダ名を受信することによって得られたものである。議事録領域１２０１には、要約情報テーブル１２６１に記録された三つ目のアジェンダ名１２６２がアジェンダ１２６３として表示される。アジェンダ名１２１３および議事テキスト１２２３、議事テキスト１２３３およびアジェンダ名１２４３、議事テキスト１２５３は、スクロールして一部または全部が議事録領域１２０１の表示の対象外となる場合がある。
【００９７】
このように、ＣＰＵ２７１は、会議サーバ１０２からの要約情報テーブルの受信に応じて、議事録領域１２２１の表示内容を更新していく。
【００９８】
一方、図１２（ｈ）は、図１２（ｇ）の表示後に、ＣＰＵ２７１が入力デバイス２７６を介してスクロール指示を受け付けた場合の議事録領域１２０１の表示例である。三つ目のアジェンダについて議論を行っていたユーザが、一つ目のアジェンダにおいて導出した要点に関して何か思い出したことがあり、故に、当該要点に該当する要約テキストを表示し、追加で議論を始める場合である。
【００９９】
図１２（ｉ）は、図１２（ｈ）の表示後に続いて、ＣＰＵ２７１が表示内容を調整した場合の議事録領域１２０１の表示例である。ＣＰＵ２７１は、ユーザのスクロール指示の結果、議事録領域１２０１に複数の議事テキストが表示されていたら、表示面積が一番大きな議事テキストを選択し、当該議事テキストが議事録領域１２０１のスクロール方向中央に表示されるよう表示内容を更新する。図１２（ｇ）の表示内容を例にすると、議事テキスト１２２３と議事テキスト１２３３が議事録領域１２０１に表示されていたが、ＣＰＵ２７１は、より表示面積の大きい議事録１２３３を選択する。そしてこれを議事録領域１２０１のスクロール方向中央になるよう表示内容を更新する。また、ＣＰＵ２７１は、「戻る」ボタン１２８１を表示する。ＣＰＵ２０１は、入力デバイス２０６を介して「戻る」ボタン１２８１への指示を受け付けると、議事録領域１２０１の表示内容をスクロールして最新のアジェンダ名ないし議事テキストを表示する。
【０１００】
次に、ＰＣ１０３の議事録表示処理について説明する。図１３はＰＣ１０３の議事録表示処理を示したフローチャートである。ユーザの指示等に基づき、ＣＰＵ２７１は、ストレージ２７５に記録されている会議アプリケーションプログラムを読み込む。そして、ＲＡＭ２７４に展開して当該会議アプリケーションプログラムを実行する。これによりＰＣ１０３は議事録表示処理を実行することが可能となる。
【０１０１】
ＣＰＵ２７１は、ステップＳ１３０１において、ＲＡＭ２７４に記憶された本フローチャートの処理に使用する変数を初期化する。ＲＡＭ２７４にはスクロール中フラグおよび追加議論区間の追加議論開始時刻と追加議論対象区間の要約区間ＩＤが記憶される。スクロール中フラグは、連続的にスクロール指示を受信している状態であるか否かを示すものであり、「ＯＮ」と「ＯＦＦ」の値を取り得る。ＯＮは連続的にスクロール指示を受信している状態を示す。ＯＦＦは連続的にスクロール指示を受信していない状態を示す。ＣＰＵ２７１は、スクロール中フラグをＯＦＦに設定してＲＡＭ２７４に記憶する。追加議論開始時刻は、要約情報テーブルの古いレコードの内容を参照しながら、すでに完了している議論対象に戻って追加の議論を開始した時刻を示す。ＣＰＵ２７１は、ここでは、追加議論開始時刻をブランクに設定してＲＡＭ２７４に記憶する。追加議論対象区間の要約区間ＩＤは、追加議論時に表示していた要約テキストに該当する要約情報テーブル６００のレコードの要約区間ＩＤである。ＣＰＵ２７１は、ここでは、追加議論対象の要約区間ＩＤをブランクに設定してＲＡＭ２７４に記憶する。
【０１０２】
ＣＰＵ２７１は、ステップＳ１３０２において、会議サーバ１０２から要約情報テーブルを受信したか否かを判定する。受信していればＹＥＳと判定して、ステップＳ１３０３に遷移する。受信していなければＮＯと判定して、ステップＳ１３０６に遷移する。
【０１０３】
ＣＰＵ２７１は、ステップＳ１３０３において、受信済みの要約情報テーブルの最新レコード（最後尾のレコード）を議事録領域１２０１に表示しているか否かを判定する。ＣＰＵ２７１は、後述するように、ストレージ２７５に記憶した要約情報テーブルの最新レコードの内容と議事録領域１２０１の表示内容を比較する。最新レコードがアジェンダ名のみを含む場合、ＣＰＵ２７１は、当該アジェンダ名が議事録領域１２０１に表示されているならばＹＥＳと判定する。最新レコードが要約テキストを含む場合には、ＣＰＵ２７１は、当該要約テキストが議事録領域１２０１に表示されているならばＹＥＳと判定する。また、要約情報テーブルがストレージ２７５に記憶されていない場合もＹＥＳと判定する。ＹＥＳと判定した場合はステップＳ１３０４に遷移する。それ以外の場合はＮＯと判定し、ステップＳ１３０５に遷移する。
【０１０４】
ＣＰＵ２７１は、ステップＳ１３０４において、会議サーバ１０２から受信した要約情報テーブルの新規レコードを表示すべく、議事録領域１２０１の表示内容を更新する。受信した要約情報テーブルの最新レコードが新規レコードである。新規レコードがアジェンダ名のみを含む場合、すなわち、会議端末１０１において新しいアジェンダの開始が指示された場合は、図１２（ｂ）や（ｅ）、（ｇ）に示したように、当該アジェンダのアジェンダ名が表示される。新規レコードが要約テキストを含む場合、図１２（ｃ）や（ｄ）、（ｆ）に示したように、当該要約テキストが表示される。
【０１０５】
ＣＰＵ２７１は、ステップＳ１３０５において、会議サーバ１０２から受信した要約情報テーブルをストレージ２７５に記憶する。
【０１０６】
ＣＰＵ２７１は、ステップＳ１３０６において、ユーザがスクロール指示を行ったか否かを判定する。入力デバイス２７６を介して、スクロール指示を受信していたならばＹＥＳと判定して、ステップＳ１３０７に遷移する。スクロール指示を受信していなければＮＯと判定して、ステップＳ１３１３に遷移する。
【０１０７】
ＣＰＵ２７１は、ステップＳ１３０７において、連続的にスクロール指示を受信している状態か否かを判定する。ＲＡＭ２７４に記憶したスクロール中フラグの値がＯＮであればＹＥＳと判定し、ステップＳ１３１２に遷移する。ＲＡＭ２７４に記憶したスクロール中フラグの値がＯＦＦであればＮＯと判定し、ステップＳ１３０８に遷移する。
【０１０８】
ＣＰＵ２７１は、ステップＳ１３０８において、スクロール中フラグをＯＮに設定してＲＡＭ２７４に記憶する。
【０１０９】
ＣＰＵ２７１は、ステップＳ１３０９において、ストレージ２７５に記憶した要約情報テーブルの最新レコードを議事録領域１２０１に表示しているか否かを判定する。この処理ステップはステップＳ１３０３と同様である。ＹＥＳと判定した場合には、ステップＳ１３１２に遷移する。ＮＯと判定した場合には、ステップＳ１３１０に遷移する。本処理ステップへ遷移してくるまでの過程において、ＣＰＵ２７１は、ステップＳ１３０６でＹＥＳと判定し、また、ステップＳ１３０７でＮＯと判定している。これはすなわち、スクロース指示が成されていない状態からスクロール指示がなされてスクロールを開始した状態である。そして、本処理ステップでＹＥＳと判定することは、要約情報テーブルの最新のレコードから古いレコードに該当する内容を表示し始めることである。従って、以前に議論を行い、要約テキストを生成済みの区間に関する追加議論を開始しようとしていると考えられる。一方、本処理ステップでＮＯと判定することは、要約情報テーブルの古いレコードから他の古いレコードあるいは最新のレコードに該当する内容を表示し始めることである。従って、追加議論を終えたと考えられる。
【０１１０】
ＣＰＵ２７１は、ステップＳ１３１０において、追加議論の時間は所定時間以上であったかを判定する。ＣＰＵ２７１は、ＲＡＭ２７４に記憶している追加議論開始時刻から現在時刻までの経過時間を算出する。経過時間が所定時間以上であればＹＥＳと判定し、ステップＳ１３１１に遷移する。経過時間が所定時間未満であればＮＯと判定し、ステップＳ１３１２に遷移する。こうすることで、追加議論に満たない、ちょっとした確認のために要約情報テーブルの過去のレコードを参照するケースでは、ステップＳ１３１１の処理が実行されないようにする。
【０１１１】
ＣＰＵ２７１は、ステップＳ１３１１において、追加議論情報を会議サーバ１０２に送信する。追加議論情報には、ＲＡＭ２７４に記憶している追加議論対象区間の要約区間ＩＤを含める。また、追加議論区間として、ＲＡＭ２７４に記憶している追加議論開始時刻、追加議論終了時刻として、現在時刻が含まれる。
【０１１２】
ＣＰＵ２７１は、ステップＳ１３１２において、議事録領域１２０１の表示内容を、ユーザのスクロース指示を反映して更新する。
【０１１３】
ＣＰＵ２７１は、ステップＳ１３１３において、「戻る」ボタン１２８１がユーザにより指示されたか否かを判定する。入力デバイス２７６を介して、「戻る」ボタン１２８１への指示を受信していたならばＹＥＳと判定して、ステップＳ１３１４に遷移する。「戻る」ボタン１２８１への指示を受信していなければＮＯと判定して、ステップＳ１３１８に遷移する。
【０１１４】
ＣＰＵ２７１は、ステップ１３１４において、「戻る」ボタン１２８１を非表示にする。
【０１１５】
ＣＰＵ２７１は、ステップＳ１３１５おいて、追加議論の時間は所定時間以上であったかを判定する。これはステップＳ１３１０と同様の処理である。ＹＥＳと判定する場合は、ステップＳ１３１６に遷移する。ＮＯと判定する場合は、ステップＳ１３１７に遷移する。
【０１１６】
ＣＰＵ２７１は、ステップＳ１３１６において、追加議論情報を会議サーバ１０２に送信する。追加議論情報には次を含める。これはステップＳ１３１１と同様の処理である。
【０１１７】
ＣＰＵ２７１は、ステップＳ１３１７において、要約情報テーブルの最新レコードを表示する。最新レコードがアジェンダ名のみを含む場合、すなわち、会議端末１０１において新しいアジェンダの開始が指示された場合は、図１２（ｂ）や（ｅ）、（ｇ）に示したように、当該アジェンダのアジェンダ名が表示される。最新レコードが要約テキストを含む場合、図１２（ｃ）や（ｄ）、（ｆ）に示したように、当該要約テキストが表示される。
【０１１８】
ＣＰＵ２７１は、ステップＳ１３１８において、スクロール指示されていたか否かを判定する。ＲＡＭ２７４に記憶したスクロール中フラグの値がＯＮであればＹＥＳと判定する。すなわち、スクロールがなされていた状態からスクロールを終了した状態へと変化した場合である。ＹＥＳと判定する場合には、ステップＳ１３１９に遷移する。ＲＡＭ２７４に記憶したスクロール中フラグの値がＯＦＦであればＮＯと判定し、ステップＳ１３２４に遷移する。
【０１１９】
ＣＰＵ２７１は、ステップＳ１３１９において、スクロール中フラグをＯＦＦに設定してＲＡＭ２７４に記憶する。
【０１２０】
ＣＰＵ２７１は、ステップＳ１３２０において、表示位置を調整する。スクロールが終了した状態においては、図１２（ｈ）に示したように、複数の議事テキストが表示されている場合がある。ＣＰＵ２７１は、これを図１２（ｇ）に示したように、表示領域が最も大きい議事テキストを議事録領域１２０１のスクロール方向中央となるよう表示内容を更新する。
【０１２１】
ＣＰＵ２７１は、ステップＳ１３２１において、受信済みの要約情報テーブルの最新レコードを議事録領域１２０１に表示しているか否かを判定する。この処理ステップはステップＳ１３０３と同様である。ＹＥＳと判定する場合には、ステップＳ１３２２に遷移する。ＮＯと判定する場合には、ステップＳ１３０２に遷移する。ここで、本処理ステップでＮＯと判定する場合は、スクロールを終了して、かつ、最新レコードを表示していない場合である。これはすなわち、要約情報テーブルの古いレコード、すなわち、すでに議論を終えた議論対象の内容を、議事録領域１２０１に表示し、追加議論を開始した状態と考えられる。
【０１２２】
ＣＰＵ２７１は、ステップ１３２２において、議事録領域１２０１に表示している要約情報テーブル６００のレコードの要約区間ＩＤの値を、追加議論対象区間の要約区間ＩＤとして、ＲＡＭ２７４に記憶する。さらに、追加議論開始時刻として現在時刻をＲＡＭ２７４に記憶する。
【０１２３】
ＣＰＵ２７１は、ステップＳ１３２３において、「戻る」ボタン１２８１を表示する。ＣＰＵ２７１は、ステップＳ１３２４において、会議アプリケーションの終了指示が成されたか否かを判定する。入力デバイス２７６を介して、終了指示を受け付けていた場合はＹＥＳと判定し、本フローチャートの処理を終了する。終了指示を受け付けていない場合はＮＯと判定し、ステップＳ１３０２に遷移する。
【０１２４】
次に、会議サーバ１０２の基本処理について説明する。図１４は会議サーバ１０２の基本処理を示したフローチャートである。会議サーバ１０２が起動すると、ＣＰＵ２５１は、ストレージ２５５に記録されている会議サーバプログラムを読み込む。そして、ＲＡＭ２５４に展開して当該会議サーバプログラムを実行する。これにより会議サーバ１０２は議事録生成処理を実行することが可能となる。
【０１２５】
ＣＰＵ２５１は、Ｓ１４０１において、会議装置１０１から会議開始通知を受信したか否かを判定する。受信していればＹＥＳと判定してＳ１４０２に遷移する。受信していなければＮＯと判定してＳ１４０１に戻る。
【０１２６】
ＣＰＵ２５１は、Ｓ１４０２において、レコードを持たないよう初期化した会議情報を生成し、更新前の会議情報としてストレージ２５５に記憶する。
【０１２７】
ＣＰＵ２５１は、Ｓ１４０３において、音声データのストリーミング受信を開始する。
【０１２８】
ＣＰＵ２５１は、Ｓ１４０４において、要約情報テーブル６００の更新処理を行う。詳細は図１５を用いて後述する。
【０１２９】
ＣＰＵ２５１は、Ｓ１４０５において、会議装置１０１から受信した会議情報を更新前の会議情報としてストレージ２５５に上書きして記憶する。
【０１３０】
ＣＰＵ２５１は、Ｓ１４０６において、ストレージ２５５から会議情報に含まれる音声情報テーブル４００を読みだし、録音終了時刻の情報が格納されているか否かを判定する。格納されていればＹＥＳと判定してＳ１４０７に遷移し、格納されていなければＮＯと判定してＳ１４０４に遷移する。
【０１３１】
ＣＰＵ２５１は、Ｓ１４０７において、音声データのストリーミング受信を終了する。
【０１３２】
ＣＰＵ２５１は、Ｓ１４０８において、議事録元情報より図１７に示す議事録を生成する。
【０１３３】
図１７は議事録１７００の一例を示す図である。議事録１７００は、議事を示す議事テキストデータ１７１０と、画像データ群１７２０とから成る。議事テキストデータ１７１０は、会議開催時間１７１１、要点一覧１７１２、アジェンダ名１７１３、１７１５、要約テキスト１７１４、１７１６を含む。
【０１３４】
ＣＰＵ２５１は、音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻（会議開始時刻）と、録音終了時刻列４０２の録音終了時刻（会議終了時刻）とから会議開催時間１７１１を生成する。要点一覧１７１２は、会議テキストテーブル６２０のレコードであって、要点列６２４が１（要点）であるレコードの会議テキスト列６２２の会議テキストの一覧である。各アジェンダ名１７１３、１７１５は、要約情報テーブル６００のタイトル列６０１から取得される。要約テキスト１７１４、１７１６は、各アジェンダ名１７１３、１７１５に対応する会議テキストの要約テキストであり、要約テーブル６００の要約テキスト列６０２から取得される。画像データ群１７２０は、会議情報に含まれる画像データを含む。
【０１３５】
図１４のフローチャートの説明に戻る。ＣＰＵ２５１は、Ｓ１４０９において、ストレージ２５５に記憶された会議情報に含まれる配信先情報テーブル４３０を読みだして配信先を取得し、Ｓ１４０８で生成した議事録を該配信先に配信する。
【０１３６】
ＣＰＵ２５１は、Ｓ１４１０において、終了指示がされたか否かを判定する。ユーザは、例えば、外部インターフェース２５８を介して、別体のＰＣから会議サーバ１０２の終了指示を行うことができる。終了指示がされていたら、ＹＥＳと判定し、処理を終了して電源オフする。終了指示がなされていなければ、ＮＯと判定し、Ｓ１４０１に遷移する。
【０１３７】
図１５は、ＣＰＵ２５１がＳ１４０４で行う要約情報テーブル６００の更新処理を説明するためのフローチャートである。
【０１３８】
ＣＰＵ２５１は、ステップＳ１５０１において、受信した音声データに対して音声認識を行い、発話テキストを得る。ＣＰＵ２５１は、音声データを先頭から走査して次の処理を行う。ＣＰＵ２５１は、音声データ中の無音区間を検出する。無音区間の検出は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて検出する。ある無音区間と次の無音区間の間の区間を発話区間とする。ＣＰＵ２５１は、個々の発話区間について、音声認識を行って発話テキストを得る。また、ＣＰＵ２５１は、会議情報の音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻と、各発話区間の音声データの先頭からの経過位置とから、各発話区間の発話時刻を計算する。このようにして得た発話区間毎に、発話情報テーブル５００にレコードを生成する。そして、ＣＰＵ２５１は、該当する発話時刻と発話テキストとを、それぞれ発話時刻列５０１と発話テキスト列５０２に記録する。ここで、ＣＰＵ２５１は、ステップＳ１５０１において１つの発話区間に対して発話テキストを得るものとする。１つの発話区間の発話終了時刻をストレージ２５５に記憶しておき、再度ステップＳ１５０１の処理を実行する際にはストレージ２５５から読みだした発話終了時刻から音声データに対する処理を行うものとする。
【０１３９】
ＣＰＵ２５１は、ステップＳ１５０２において、会議装置１０１から会議情報を受信したか否かを判定する。会議情報を受信したら、ＹＥＳと判定し、ステップＳ１５０３に遷移する。会議情報を受信していなければ、ＮＯと判定し、ステップＳ１５０６に遷移する。
【０１４０】
ＣＰＵ２５１は、ステップＳ１５０３において、画像情報テーブルの更新があるか否かを判定する。ストレージ２５５から更新前の会議情報の画像情報テーブル４１０を読み出して、ステップＳ１５０２で受信した会議情報の画像情報テーブル４１０と比較する。これにより画像情報テーブル４１０が更新されているか否かを判定する。画像情報テーブル４１０が更新されているならば、ＹＥＳと判定し、ステップＳ１５０４に遷移する。画像情報テーブル４１０が更新されていなければ、ＮＯと判定し、ステップＳ１５０６に遷移する。
【０１４１】
ＣＰＵ２５１は、ステップＳ１５０４において、会議装置１０１から受信した画像情報に含まれる画像情報テーブル４１０の画像データ列４１２に記述された画像データのうち未受信の画像データを受信する。
【０１４２】
ＣＰＵ２５１は、ステップＳ１５０５において、受信した画像データに対して文字認識を行い、記入テキストを得る。ここでＣＰＵ２５１は、会議情報に含まれる画像情報テーブル４１０のレコードを順に走査して、次の処理を行う。画像情報テーブル４１０のレコードは、撮影時刻列４１１の値で昇順に（撮影した順に）ソートしておく。ＣＰＵ２５１は、現在参照しているレコードの画像データ列４１２が示す画像データと、ひとつ前のレコードの画像データ列４１２が示す画像データとの画像差分を求める。当該画像差分には、ひとつ前のレコードに該当する撮影から、現在参照しているレコードに該当する撮影までの間に、ユーザが記入した文字が含まれる部分画像と見なすことができる。当該部分画像に対して文字認識を行い、記入テキストを得る。また、現在参照しているレコードの撮影時刻列４１１の撮影時刻を、当該画像差分が発生した時刻、すなわちユーザによる記入の記入時刻とする。このようにして得た画像差分（記入）毎に記入情報テーブル５１０にレコードを生成する。そして、該当する記入時刻と記入テキストを、それぞれ記入時刻列５１１と記入テキスト列５１２に記録する。
【０１４３】
ＣＰＵ２５１は、ステップＳ１５０６において、発話テキストと記入テキストを統合して、会議テキストを得る。すなわち、ＣＰＵ２５１は、ステップＳ１５０１で生成した発話情報テーブル５００とステップＳ１５０５で生成した記入情報テーブル５１０とを統合して、会議テキスト情報テーブル５２０を生成する。具体的には、ＣＰＵ２５１は次の処理を行う。ＣＰＵ２５１は、発話情報テーブル５００に含まれるレコードの数だけ会議テキスト情報テーブル５２０にレコードを追加する。このときＣＰＵ２５１は、発話時刻列５０１の発話時刻を、会議テキストが発生した時刻として発生時刻列５２１に記憶し、発話テキスト列５０２の発話テキストを、会議テキストとして会議テキスト列５２２に記録する。区分列５２３には、元のデータが発話情報であったことを示す０が記録される。また、ＣＰＵ２５１は、記入情報テーブル５１０に含まれるレコードの数だけ会議テキスト情報テーブル５２０にレコードを追加する。このとき、ＣＰＵ２５１は、記入時刻列５１１の記入時刻を、会議テキストが発生した時刻として発生時刻列５２１に記憶し、記入テキスト列５１２の記入テキストを、会議テキストとして会議テキスト列５２２に記録する。区分列５２３には、元のデータが記入情報であったことを示す１が記録される。ＣＰＵ２５１は、以上追加したレコードを発生時刻列５２１の値で昇順に（発生した順に）ソートする。いずれのレコードも、要点列５２４および区間ＩＤ列５２５はブランクにしておく。
【０１４４】
ＣＰＵ２５１は、ステップＳ１５０７において、ステップＳ１５０６で生成した会議テキストから要点を抽出する。ＣＰＵ２５１は、ステップＳ１５０７において会議テキスト情報テーブル５２０に追加したレコードそれぞれについて、会議テキスト列５２２の会議テキストが要点であるか否かを判定する。これは、例えば、会議テキストが予め決定した特定のキーワードを含むならば要点であると判定する。特定のキーワードとして、例えば「決定事項」、「アクションアイテム」、「宿題」などを使用するようにすればよい。ＣＰＵ２５１は、要点である場合には、要点列５２４に１を記録し、そうでない場合は０を記録する。
【０１４５】
ＣＰＵ２５１は、ステップＳ１５０８において、会議テキストを要約する。この処理の詳細は図１５（ｂ）を用いて説明する。なお、アジェンダ情報テーブル４２０のレコードは、アジェンダ開始時刻列４２１の値で昇順に（アジェンダの開始順に）ソートしておく。
【０１４６】
まず、ＣＰＵ２５１は、ステップＳ１５５１において、ストレージ２５５に記憶したアジェンダ情報テーブル４２０を読み出す。そして、そのレコードを順に走査して、ステップＳ１５５３〜ステップＳ１５５６の処理を行う。
【０１４７】
ＣＰＵ２５１は、ステップＳ１５５２において、アジェンダ情報テーブル４２０の全てのレコードを走査したか判定する。全てのレコードを走査していればＹＥＳと判定して、このフローチャートの処理を終了する。全てのレコードを走査していなければＮＯと判定して、ステップＳ１５５３に遷移する。
【０１４８】
ＣＰＵ２５１は、ステップＳ１５５３において、現在参照しているアジェンダ情報テーブル４２０のレコードのアジェンダ開始時刻列４２１のアジェンダ開始時刻から、アジェンダ終了時刻列４２２のアジェンダ終了時刻までの区間を得る。ここではこれをアジェンダ区間と呼称する。アジェンダ終了時刻列４２２がブランクである場合（当該アジェンダは未終了である）は、アジェンダ開始時刻列４２１のアジェンダ開始時刻から現在時刻までをアジェンダ区間とする。
【０１４９】
ＣＰＵ２５１は、ステップＳ１５５４において、会議テキスト情報テーブル５２０から、発生時刻列５２１の値が、ステップＳ１５５３で得たアジェンダ区間に該当するレコード群であって、要約区間ＩＤ列５２５の値がブランクであるものを抽出する。
【０１５０】
ＣＰＵ２５１は、ステップ１５５５において、これらレコード群を、図５を用いて説明したように、要点列５２４の値が１のレコードで分割して要約区間とする。アジェンダ情報テーブル４２０のレコードであって現在参照しているレコードのアジェンダ終了列４２２がブランクでない場合は、抽出したレコード群の一番最後の要点列５２４の値が１のレコードから、最後尾のレコードまでも要約区間とする。このとき抽出したレコード群の中に要点列５２４の値が１のレコードがひとつもない場合は、アジェンダ区間全体がひとつの要約区間となる。一方、アジェンダ情報テーブル４２０のレコードであって現在参照しているレコードのアジェンダ終了列４２２がブランクである場合は、抽出したレコード群の一番最後の要点列５２４の値が１のレコードの次以降のレコードは、要約区間には含めない。このとき抽出したレコード群の中に要点列５２４の値が１のレコードがひとつもない場合は、要約区間はひとつも生じない。
【０１５１】
ＣＰＵ２５１は、ステップＳ１５５６において、ステップＳ１５５５で決定した要約区間ごとに会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そしてＣＰＵ２５１は、要約情報テーブル６００にレコードを追加して、生成した要約テキストを要約テキスト列６０２に記録する。また、ＣＰＵ２５１は、アジェンダ情報テーブル４２０のレコードのアジェンダ名列４２３のアジェンダ名を、要約情報テーブル６００に追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値とする。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０１５２】
図１５（ａ）のフローチャートに戻って、ＣＰＵ２５１は、ステップＳ１５０９において、ＰＣ１０３から追加議論区間情報を受信しているか否かを判定する。ＣＰＵ２５１は、外部インターフェース２５８を介して、ＰＣ１０３から追加議論区間情報を受信していたらＹＥＳと判定し、ステップＳ１５１０に遷移する。ＰＣ１０３から追加議論区間情報を受信していなければＮＯと判定し、ステップＳ１５１１に遷移する。
【０１５３】
ＣＰＵ２５１は、ステップＳ１５１０において、受信した追加議論情報に基づいて、会議テキストを再要約する。この処理の詳細は図１５（ｃ）を用いて説明する。
【０１５４】
ＣＰＵ２５１は、ステップＳ１５７１において、会議テキスト情報テーブル５２０から、発生時刻列５２１の値が、受信した追加議論情報に含まれる追加議論開始時刻と追加議論終了時刻とから成る追加議論区間に該当するレコード群を抽出する。なお、この抽出したレコード群に含まれる会議テキストは、すでに要約され、要約テキストが生成されている可能性がある。この場合、これらレコード群の要約区間ＩＤ列６０３には、すでに要約区間ＩＤが記録されている。ここでは、この記録されている要約区間ＩＤをＲＡＭ２５４に一時的に記憶しておく。
【０１５５】
ＣＰＵ２５１は、ステップＳ１５７２において、追加議論対象区間に該当する要約区間の会議情報テーブル５２０のレコードを抽出する。受信した追加議論情報に含まれる追加議論対象区間の要約区間ＩＤを参照する。会議テキスト情報テーブル５２０のレコードであって、要約区間ＩＤ列５２５の値が、当該追加議論対象区間の要約区間ＩＤに合致するレコードを抽出する。
【０１５６】
ＣＰＵ２５１は、ステップＳ１５７３において、ステップＳ１５７１とステップＳ１５７２で抽出した、会議テキスト情報テーブル５２０のレコード群を統合する。そしてこれを発生時刻列５２１の値で昇順にソートしておく。
【０１５７】
ＣＰＵ２５１は、ステップＳ１５７４において、ステップＳ１５７３において統合したレコード群を、要点列５２４の値が１のレコードで分割して要約区間とする。この処理はステップＳ１５５５と同様の処理である。
【０１５８】
ＣＰＵ２５１は、ステップＳ１５７５において、ステップＳ１５７４で決定した要約区間ごとに会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そして、要約情報テーブル６００のレコードであって、要約区間ＩＤ列６０３の値が、受信した追加議論情報に含まれる追加議論対象要約区間ＩＤと合致するレコードを得る。要約情報テーブル６００から当該レコードを削除する。そして、削除した位置に、生成した要約テキストに応じてレコードを追加する。追加したレコードの要約テキスト列６０２に生成した要約テキストを記録する。また、削除したレコードのタイトル列６０１のアジェンダ名を、追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値である。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０１５９】
以上で、追加議論の対象となった要約区間の要約テキストを更新した。
【０１６０】
ＣＰＵ２５１は、ステップＳ１５７６において、ステップＳ１５７１で抽出した会議テキストテーブル５２０のレコードの会議テキストが、他の要約テキストの生成に利用されているか否かを判定する。ステップＳ１５７１でＲＡＭ２５４に要約区間ＩＤを一時的に記憶していればＹＥＳと判定し、ステップＳ１５７７に遷移する。ステップＳ１５７１でＲＡＭ２５４に要約区間ＩＤを一時的に記憶していなければ、本フローチャートの処理を終了する。
【０１６１】
ＣＰＵ２５１は、ステップＳ１５７７において、会議テキスト情報テーブル５２０のレコードであって、要約区間ＩＤ列５２５の値が、ＲＡＭ２５４に記憶していた要約区間ＩＤに該当するレコード群を抽出する。
【０１６２】
ＣＰＵ２５１は、ステップＳ１５７８において、ステップＳ１５７７で抽出した会議テキスト情報テーブル５２０のレコード群の会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そして、要約情報テーブル６００のレコードであって、要約区間ＩＤ列６０３の値が、ＲＡＭ２５４に記憶した要約区間ＩＤと合致するレコードを得る。要約情報テーブル６００から当該レコードを削除する。そして、削除した位置に、生成した要約テキストに応じてレコードを追加する。追加したレコードの要約テキスト列６０２に生成した要約テキストを記録する。また、削除したレコードのタイトル列６０１のアジェンダ名を、追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値である。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０１６３】
以上、追加議論の対象となった要約区間の要約テキストを更新したことで、影響を受けた他の要約区間の要約テキストも更新した。
【０１６４】
図１５（ａ）のフローチャートに戻って、ＣＰＵ２５１は、ステップＳ１５１１において、以上の処理によって更新した要約情報テーブル６００をＰＣ１０３に送信する。
【０１６５】
図１６は、ＣＰＵ２５１がステップＳ１５５６やステップＳ１５７５、ステップＳ１５７９で行う要約処理を説明するためのフローチャートである。
【０１６６】
図１６（ａ）は、要約テキスト生成処理の一例を示したフローチャートである。この処理にあたって、会議テキスト情報テーブル５２０の複数のレコードが入力されてくる。
【０１６７】
ＣＰＵ２５１は、Ｓ１６０１において、入力されたレコード全てを参照し、会議テキスト列６２２の会議テキストに出現する単語それぞれについて、その重要度を算出する。これは、例えば、各単語の出現頻度に基づいて算出することができる。出現頻度が高い単語ほど重要度を高いとし、重要度は例えば値で表現される。
【０１６８】
ＣＰＵ２５１は、Ｓ１６０２において、入力された各レコードの会議テキスト列６２２の会議テキストについて、それぞれその重要度を算出する。Ｓ１６０１で算出した各単語の重要度を参照し、それぞれの会議テキストに含まれる各単語の重要度の合計値を算出することで当該会議テキストの重要度の値を決定する。
【０１６９】
ＣＰＵ２５１は、Ｓ１６０３において、重要度が閾値以上の会議テキストを抽出する。そしてこれらを結合して要約テキストを得る。そして、本処理の結果として、処理呼び出し元にこれを返す。
【０１７０】
なお、会議テキストの要約の手法は図１６（ａ）で説明したものに限定されない。例えば、会議において、ホワイトボードなどの記入媒体に、論点や重要な意見を記載する場合がある。これらの内容は通常、議事として重要なので、記入媒体から得た記入テキストを要約テキストに優先的に反映するようにしてもよい。例えば、Ｓ１６０３において、ＣＰＵ２５１は、入力されたレコードの区分列５２３の値を確認する。そしてその値が１（元は記入情報）ならば、重要度が閾値以上か否かに関わらず、当該レコードの会議テキスト列６２２の会議テキストを要約テキストの一部として抽出するようにしてもよい。
【０１７１】
また、記入テキストを要約テキストに優先的に反映する処理の例として、次のように要約テキスト生成処理を実行してもよい。図１６（ｂ）は、要約テキスト生成処理の別の例を示したフローチャートである。図１６（ａ）の処理と同様に、図１６（ｂ）の処理にあたって、会議テキスト情報テーブル５２０における複数のレコードが入力されてくる。
【０１７２】
ＣＰＵ２５１は、Ｓ１６１１において、入力されたレコードのうち、区分レコードが１（元は記入情報）のレコードを参照して、会議テキスト列５２２の会議テキストに含まれる単語のリスト（以降「記入単語リスト」と呼称する）を作成する。ＣＰＵ２５１は、Ｓ１６１２、Ｓ１６１３において、Ｓ１６０１、Ｓ１６０２と同様の処理を行う。
【０１７３】
ＣＰＵ２５１は、Ｓ１６１４において、Ｓ１６１１で作成した記入単語リストを参照して、Ｓ１６１３で算出した会議テキストの重要度を更新する。すなわち、ＣＰＵ２５１は、入力された各レコードの会議テキスト列６２２の会議テキストについて、記入単語リストの単語を含む場合には、当該会議テキストの重要度にバイアス（重み付け）を加え、例えば重要度の値を大きくする。その際ＣＰＵ２５１は、記入単語リストの単語を含む数に応じて重み付けを大きくしてもよい。ＣＰＵ２５１は、Ｓ１６１５において、Ｓ１６０３と同様の処理を行う。
【０１７４】
なお、ＣＰＵ２５１は、Ｓ１６１４において、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにし、Ｓ１６０３では当該会議テキストが要約テキストの一部として必ず抽出されるようにしてもよい。この場合、会議テキストのうち、記入テキストから生成されたテキストについては全て抽出されることになる。
【０１７５】
また、ＣＰＵ２５１は、ステップＳ１５５６やステップＳ１５７５、ステップＳ１５７９で会議テキストを要約して要約テーブル７００を生成する。この際、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストから、予め定めた所定の単語を含む会議テキストを全て抽出してもよい。
【０１７６】
本実施の形態によれば、会議サーバ１０２は、会議端末１０１から、音声データおよび会議情報を受信して議事録を生成する。そして生成した議事録をＰＣ１０３に送信する。会議端末１０１におけるアジェンダの開始・終了や、会議サーバ１０２における要点の抽出に基づいて、随時議事録は更新されてＰＣ１０３ではこれを表示することができる。会議参加者は議事録をリアルタイムに参照しながら会議を進行できる。更に、議事録を議論が終わった対象部分に戻して表示して、当該議論対象について追加で議論を行うことができる。表示内容に基づいて追加議論かどうかを判定することにより、この追加の議論と元の議論との発話や記入を適切に統合して要約テキストを生成するため、より好ましい議事録を提供することができる。
【０１７７】
なお、上記実施形態では、要約区間を、一つのアジェンダの開始から最初の要点を検出するまでの区間、１つの要点を検出してから次の要点を検出するまでの区間としていたが、他の区間を設定してもよい。たとえば、一つのアジェンダの開始から終了までを要点区間としてもよい。
【０１７８】
また、議事録をより見やすくすることと、どの議論対象（要約区間）を参照しているのかを明らかにするために、ステップＳ１３２０では表示位置の調整を行った。そして、図１２（ｈ）から図１２（ｉ）で示した表示例のように表示する例を示したが、他の表示形態を適用してもよい。例えば、図１８（ａ）の議事テキスト１２２３のように、議事テキストをひとつずつ表示するようにしてもよい。表示する議事テキストに対応するアジェンダ名をアジェンダ１２１３のように表示する。ユーザからのスクロール指示に基づいて図１８（ｂ）のように議事テキストの表示を更新する。あるいは図１８（ｃ）のように、単一の議事テキストないしアジェンダ名のみ、表示フォントサイズを大きくしたり、ハイライトして強調して表示するようにしてもよい。その際、表示面積に応じて強調表示する対象を決定してもよい。
【０１７９】
また、議論が終わった対象部分に戻して要約テキストを表示し、当該議論対象について追加で議論を行った場合でも、両議論の会議テキストを統合せず、別々のままで要約テキストを生成したい場合があり得る。これを鑑みて、ステップＳ１３１２において追加議論情報を会議サーバ１０２に送信する前に、ユーザに確認を促してもよい。例えば、図１８（ｄ）のような画面を表示して、統合するか否かを選択できるようにする。ユーザが「ＹＥＳ」ボタン１８４１を指示した場合に、ステップＳ１３１１の処理を実行するようにする。なお、ユーザによる「ＹＥＳ」ボタン１８４１への指示がない場合は、所定時間経過後に「ＹＥＳ」ボタン１８４１やメッセージ１８４２を非表示にする。
【０１８０】
また、本実施例においては、議事録領域１２０１に「戻る」ボタン１２８１を表示して、戻って議論した後、元の最新レコードの表示に戻りやすいよう配慮した。この他にも、所定時間経過後に最新レコードを表示する状態に自動的に戻すようにしてもよい。あるいは、少しずつ最新レコードに向かって自動的にスクロールするようにしてもよい。この場合、表示対象としている議事テキストをドラッグするなどの指示をしていたら、スクロールを停止する。
【０１８１】
また、本実施例では、ＰＣ１０３が会議サーバ１０２より議事録を受信してこれを表示したが、これに限らず、会議端末１０１が議事録を受信してこれを表示するようにしてもよい。この場合、会議端末１０１が図１３のフローチャートの処理を実行すればよい。
【実施例２】
【０１８２】
第２の実施の形態では、電子資料の表示内容に基づいて追加議論であるか否かを判定して、要約テキストを生成する例について説明する。本実施例では、電子資料の表示ページを単位に要約区間を決定して会議テキストを要約して議事録を生成する。電子文書の表示開始後、あるページを初めて表示した時刻を要約区間の開始時刻とし、当該ページから次のページへ遷移した時刻を、要約区間の終了時刻とする。これは、作成した資料のレビュー会議などの議事を想定するものである。実施例１との差分のみ説明する。
【０１８３】
ＰＣ１０３が表示デバイス２７７によって表示する図１２（ａ）の画面１２００において、電子資料領域１２０２は、電子資料を表示する領域であった。ＣＰＵ２７１は、入力デバイス２７６を介して、ユーザによる電子資料の表示指示を受信すると、不図示の画面を介してユーザが選択した電子資料を、電子資料領域１２０２に表示する。また、ＣＰＵ２７１は、入力デバイス２７６を介して、ユーザによる電子資料のページ変更指示を受信すると、電子資料の表示ページを変更する。
【０１８４】
ＰＣ１０３によって記録される会議情報について説明する。図１９は、ＰＣ１０３がストレージ２７５に記録する会議情報の構成例を示したものである。
【０１８５】
ページ表示情報テーブル１９００は、ＰＣ１０３が表示した電子資料のページ表示に関する情報（以降「ページ表示情報」と呼称する）を記録するためのデータテーブルである。ページ表示開始時刻１９０１には、電子資料の所定のページを表示し始めた時刻を記録する。ページ表示終了時刻列１９０２には、電子資料の所定のページを表示し終わった時刻を記録する。ページ番号列１９０３には、表示したページのページ番号を記録する。
【０１８６】
次に、ＰＣ１０３の電子資料表示処理について説明する。図２０はＰＣ１０３の電子資料表示処理を示したフローチャートである。ユーザの指示等に基づき、ＣＰＵ２７１は、ストレージ２７５に記録されているアプリケーションプログラムを読み込む。そして、ＲＡＭ２７４に展開して当該アプリケーションプログラムを実行する。これによりＰＣ１０３は電子資料表示処理を実行することが可能となる。
【０１８７】
ＣＰＵ２７１は、ステップＳ２００１において、最初の電子資料を表示する、あるいはすでに開いている電子資料とは別の電子資料を表示するために、ユーザから電子資料の表示指示が成されたか否かを判定する。入力デバイス２７６を介して、電子資料の表示指示を受信していたならばＹＥＳと判定し、ステップＳ２００２に遷移する。入力デバイス２７６を介して、電子資料の表示指示を受信していなければＮＯと判定し、ステップＳ２００８に遷移する。
【０１８８】
ＣＰＵ２７１は、ステップＳ２００２において、ＲＡＭ２７４に記憶された本フローチャートの処理に使用する変数を初期化する。ＲＡＭ２７４にはページ変更中フラグおよび追加議論開始時刻、追加議論対象の要約区間ＩＤが記憶される。ページ変更中フラグは、連続的にページ変更指示を受信している状態であるか否かを示すものであり、「ＯＮ」と「ＯＦＦ」の値を取り得る。ＯＮは連続的にページ変更指示を受信している状態を示す。ＯＦＦは連続的にページ変更指示を受信していない状態を示す。ＣＰＵ２７１は、ページ変更中フラグをＯＦＦに設定してＲＡＭ２７４に記憶する。追加議論開始時刻は、既に表示済みのページを参照しながら、当該ページの内容に戻って追加の議論を開始した時刻を示す。ＣＰＵ２７１は、ここでは、追加議論開始時刻をブランクにしてＲＡＭ２７４に記憶する。追加議論対象の要約区間ＩＤは、追加議論時に表示していた要約テキストに該当する要約情報テーブル６００のレコードの要約区間ＩＤである。ＣＰＵ２７１は、ここでは、追加議論対象の要約区間ＩＤをブランクに設定してＲＡＭ２７４に記憶する。
【０１８９】
ＣＰＵ２７１は、ステップＳ２００３において、別の電子資料を表示していたか否かを判定する。別の電子資料を表示していたならばＹＥＳと判定し、ステップＳ２００４に遷移する。別の電子資料を表示していなければＮＯと判定し、ステップＳ２００６に遷移する。
【０１９０】
ＣＰＵ２７１は、ステップＳ２００４において、ページ表示終了を記録する。別の電子資料の最後に表示していたページのページ表示終了時刻を記録するものである。ＣＰＵ２７１は、ページ表示情報テーブル１９００のレコードであって、ページ表示終了時刻列１９０２がブランクのものがあるので、当該レコードのページ表示終了時刻列１９０２に、ページ表示終了時刻として、現在時刻を記録する。
【０１９１】
ＣＰＵ２７１は、ステップＳ２００５において、会議サーバ１０２に会議情報を送信する。前述のとおり、会議情報にはページ表示情報テーブル１９００を含む。
【０１９２】
ＣＰＵ２７１は、ステップＳ２００６において、ユーザにより指示された電子文書を、ストレージ２７５から読み出して表示する。
【０１９３】
ＣＰＵ２７１は、ステップＳ２００７において、ページ表示開始を記録する。ＣＰＵ２７１は、ページ表示情報テーブル１９００にレコードを追加する。そして、ページ表示開始時刻列１９０１に、ページ表示開始時刻として現在時刻を記録する。また、ページ番号列１９０３に表示しているページのページ番号（この場合は１）を記録する。
【０１９４】
ＣＰＵ２７１は、ステップＳ２００８において、ユーザがページ変更指示を行ったか否かを判定する。入力デバイス２７６を介して、ページ変更指示を受信していたならばＹＥＳと判定して、ステップＳ２００９に遷移する。ページ変更指示を受信していなければＮＯと判定して、ステップＳ２０１９に遷移する。
【０１９５】
ＣＰＵ２７１は、ステップＳ２００９において、連続的にページ変更指示を受信している状態か否かを判定する。ＲＡＭ２７４に記憶したページ変更中フラグの値がＯＮであればＹＥＳと判定し、ステップＳ２０１０に遷移する。ＲＡＭ２７４に記憶したページ変更中フラグの値がＯＦＦであればＮＯと判定し、ステップＳ２０１４に遷移する。
【０１９６】
ＣＰＵ２７１は、ステップＳ２０１０において、ページ変更中フラグをＯＮに設定してＲＡＭ２７４に記憶する。
【０１９７】
ＣＰＵ２７１は、ステップＳ２０１１において、最新ページを表示しているか否かを判定する。ここで最新ページとは、表示している電子文書のページの中でこれまでに表示したページであってページ番号が最大のページである。ＣＰＵ２７１は、ページ表示情報テーブル１９００のレコードを順に走査し、ページ番号列１９０３の値の最大であるレコードを取得する（以降このレコードを「最新レコード」と呼称する）。最新レコードのページ番号列１９０３の値が最新ページのページ番号である。そして、現在表示しているページのページ番号とこれを比較する。一致していればＹＥＳと判定し、ステップＳ２０１２に遷移する。一致しなければＮＯと判定し、ステップＳ２０１４に遷移する。
【０１９８】
ＣＰＵ２７１は、ステップＳ２０１２において、追加議論は所定時間以上であったか否かを判定する。ＣＰＵ２７１は、ＲＡＭ２７４に記憶している追加議論開始時刻から現在時刻までの経過時間を算出する。経過時間が所定時間以上であればＹＥＳと判定し、ステップＳ２０１３に遷移する。経過時間が所定時間未満であればＮＯと判定し、ステップＳ２０１４に遷移する。
【０１９９】
ＣＰＵ２７１は、ステップＳ２０１３において、追加議論情報を会議サーバ１０２に送信する。追加議論情報には、ＲＡＭ２７４に記憶している追加議論時に参照していたページのページ番号、追加議論開始時刻、追加議論終了時刻として、現在時刻を含める。
【０２００】
ＣＰＵ２７１は、ステップＳ２０１４において、ステップＳ２００８で受信したスクロール指示によって、新規ページを表示しようとしているのかを判定する。新規ページとは、まだ表示したことがない最新ページの次のページである。ＣＰＵ２７１は、最新ページのページ番号を取得する。そして、最新ページのページ番号と次に表示しようとしているページのページ番号とを比較する。次に表示しようとしているページのページ番号の方が大きければＹＥＳと判定し、ステップＳ２０１５に遷移する。次に表示しようとしているページのページ番号の方が大きくなければ、ステップＳ２０１８に遷移する。
【０２０１】
ＣＰＵ２７１は、ステップＳ２０１５において、ページ表示終了を記録する。ＣＰＵ２７１は、ページ表示情報テーブル１９００の最新レコードを取得する。そして、ページ表示終了時刻列１９０２に、ページ表示終了時刻として現在時刻を記録する。
【０２０２】
ＣＰＵ２７１は、ステップＳ２０１６において、ページ表示情報テーブル１９００を含む会議情報を会議サーバ１０２に送信する。
【０２０３】
ＣＰＵ２７１は、ステップＳ２０１７において、ページ表示開始を記録する。ＣＰＵ２７１は、ページ表示情報テーブル１９００にレコードを追加する。そして、ページ表示開始時刻列１９０１に、ページ表示開始時刻として現在時刻を記録する。また、ページ番号列１９０３に新規ページのページ番号を記録する。
【０２０４】
ＣＰＵ２７１は、ステップＳ２０１８において、電子資料領域１２０２の表示内容を、ユーザのページ変更指示を反映して更新する。
【０２０５】
ＣＰＵ２７１は、ステップＳ２０１９において、ページ変更指示されていたか否かを判定する。ＲＡＭ２７４に記憶したページ変更中フラグの値がＯＮであればＹＥＳと判定し、ステップＳ２０２０に遷移する。ＲＡＭ２７４に記憶したページ変更中フラグの値がＯＦＦであればＮＯと判定し、ステップＳ２０２３に遷移する。
【０２０６】
ＣＰＵ２７１は、ステップＳ２０２０において、ページ変更中フラグをＯＦＦに設定してＲＡＭ２７４に記憶する。
【０２０７】
ＣＰＵ２７１は、ステップＳ２０２１において、最新ページを表示しているか否かを判定する。これはステップＳ２０１１と同様の処理である。ＹＥＳと判定する場合はステップＳ２００１に遷移する。ＮＯと判定する場合はステップＳ２０２２に遷移する。
【０２０８】
ＣＰＵ２７１がステップＳ２０２１でＮＯと判定することは、ページ変更が終わったときに、既に表示したページを再度表示していたという状態である。すなわち、当該ページに対して追加で議論を始めたものと考えられる。よって、ＣＰＵ２７１は、ステップＳ２０２２において、現在表示しているページのページ番号をＲＡＭ２７４に記憶する。さらに、追加議論開始時刻として現在時刻をＲＡＭ２７４に記憶する。
【０２０９】
ＣＰＵ２７１は、ステップＳ２０２３において、アプリケーションの終了指示が成されたか否かを判定する。入力デバイス２７６を介して、終了指示を受け付けていた場合はＹＥＳと判定し、本フローチャートの処理を終了する。終了指示を受け付けていない場合はＮＯと判定し、ステップＳ２００１に遷移する。
【０２１０】
次に、本実施例における会議サーバ１０２の基本処理について説明する。実施例１との差分のみ説明する。図２１は、本実施例における会議サーバ１０２による要約情報テーブル６００の更新処理を説明するフローチャートである。本フローチャートは、ＣＰＵ２５１が、ステップＳ１４０４を実行する際に呼び出されるフローチャートである。
【０２１１】
ＣＰＵ２５１は、ステップＳ２１０１において、ＰＣ１０３から会議情報を受信したか否かを判定する。この会議情報にはページ表示情報テーブルが含まれている。外部インターフェース２５８を介して、ＰＣ１０３から会議情報を受信していればＹＥＳと判定し、ステップＳ２１０２に遷移する。ＰＣ１０３から会議情報を受信していなければＮＯと判定し、ステップＳ１５０９に遷移する。
【０２１２】
ＣＰＵ２５１は、ステップＳ２１０２において、ＰＣ１０３から受信した会議情報をストレージ２５５に記録する。
【０２１３】
ＣＰＵ２５１は、ステップＳ２１０３において、会議テキストを要約する。この処理の詳細は図２１（ｂ）を用いて説明する。なお、ページ表示情報テーブル１９００のレコードは、ページ表示開始時刻列１９０１の値で昇順に（ページ参照順に）ソートしておく。
【０２１４】
まず、ＣＰＵ２５１は、ステップＳ２１５１において、ストレージ２５５に記憶したページ表示情報テーブル１９００を読み出す。そして、そのレコードを順に走査して、ステップＳ２１５３〜ステップＳ２１５５の処理を行う。
【０２１５】
ＣＰＵ２５１は、ステップＳ２１５２において、ページ表示情報テーブル１９００の全てのレコードを走査したか判定する。全てのレコードを走査していればＹＥＳと判定して、このフローチャートの処理を終了する。全てのレコードを走査していなければＮＯと判定して、ステップＳ２１５３に遷移する。
【０２１６】
ＣＰＵ２５１は、ステップＳ２１５３において、現在参照しているページ表示情報テーブル１９００のレコードのページ表示開始時刻列１９０１のページ表示開始時刻から、ページ表示終了時刻列１９０２のページ表示終了時刻までの区間を得る。当該区間が要約区間である。
【０２１７】
ＣＰＵ２５１は、ステップＳ２１５４において、会議テキスト情報テーブル５２０から、発生時刻列５２１の値が、ステップＳ２１５３で得た要約区間に該当するレコード群であって、要約区間ＩＤ列５２５の値がブランクであるものを抽出する。
【０２１８】
ＣＰＵ２５１は、ステップ２１５５において、ステップＳ２１５４で抽出したレコード群の会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そしてＣＰＵ２５１は、要約情報テーブル６００にレコードを追加して、生成した要約テキストを要約テキスト列６０２に記録する。また、ＣＰＵ２５１は、ページ情報テーブル１９００のレコードのページ番号列１９０３のページ番号を、要約情報テーブル６００に追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値とする。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０２１９】
図２１（ａ）の説明に戻って、ＣＰＵ２５１は、ステップＳ２１０４において、受信した追加議論情報に基づいて、会議テキストを再要約する。この処理の詳細は図２１（ｃ）を用いて説明する。
【０２２０】
ＣＰＵ２５１は、ステップＳ２１７１において、図１５（ｃ）のステップＳ１５７１と同様の処理を行う。ＣＰＵ２５１は、ステップＳ２１７２において、図１５（ｃ）のステップＳ１５７２と同様の処理を行う。
【０２２１】
ＣＰＵ２５１は、ステップＳ２１７３において、ステップＳ２１７１とステップＳ２１７２で抽出した、会議テキスト情報テーブル５２０のレコード群を統合する。そしてこれを発生時刻列５２１の値で昇順にソートしておく。
【０２２２】
ＣＰＵ２５１は、ステップＳ２１７４において、ステップＳ１５７４で抽出したレコード群の会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そして、要約情報テーブル６００のレコードであって、要約区間ＩＤ列６０３の値が、受信した追加議論情報に含まれる追加議論対象要約区間ＩＤと合致するレコードを得る。要約情報テーブル６００から当該レコードを削除する。そして、削除した位置に、生成した要約テキストに応じてレコードを追加する。追加したレコードの要約テキスト列６０２に生成した要約テキストを記録する。また、削除したレコードのページ番号列１９０３のページ番号を、追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値である。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０２２３】
以上で、追加議論の対象となった要約区間の要約テキストを更新した。
【０２２４】
さらにＣＰＵ２５１は、ステップＳ２１７５において、図１５（ｃ）のステップＳ１５７６と同様の判定を行う。ＹＥＳと判定する場合には、ステップＳ２１７６に遷移する。ＮＯと判定する場合には、本フローチャートの処理を終了する。
【０２２５】
ＣＰＵ２５１は、ステップＳ２１７６において、図１５（ｃ）のステップＳ１５７７と同様の処理を行う。
【０２２６】
ＣＰＵ２５１は、ステップＳ２１７７において、ステップＳ２１６６で抽出したレコード群の会議テキスト列５２２のテキストを要約して要約テキストを生成する。要約テキストを生成する処理については図１６を用いて後述する。そして、要約情報テーブル６００のレコードであって、要約区間ＩＤ列６０３の値が、ＲＡＭ２５４に記憶した要約区間ＩＤと合致するレコードを得る。要約情報テーブル６００から当該レコードを削除する。そして、削除した位置に、生成した要約テキストに応じてレコードを追加する。追加したレコードの要約テキスト列６０２に生成した要約テキストを記録する。また、削除したレコードのページ番号列１９０３のページ番号を、追加したレコードのタイトル列６０１に記録する。さらに、追加した要約情報テーブルのレコードの要約区間ＩＤ列６０３の値に、新規の要約区間ＩＤ値を入力する。すなわち、既存のレコードの要約区間ＩＤ列６０３の値の最大値に１を加算した値である。また、当該新規の要約区間ＩＤ値を、当該レコードの要約テキスト６０２の要約テキストのもととなった会議テキスト情報テーブル５２０のレコードの要約区間ＩＤ列５２５にも入力する。
【０２２７】
以上、追加議論の対象となった要約区間の要約テキストを更新したことで、影響を受けた他の要約区間の要約テキストも更新した。
【０２２８】
本実施の形態によれば、会議サーバ１０２は、会議端末１０１から音声データを受信すると共に、ＰＣ１０３から会議情報を受信し、これらをもとに議事録を生成する。ＰＣ１０３における電子資料の新規ページの表示に基づいて、随時議事録は更新される。実施例１と同様に、ＰＣ１０３が会議アプリケーションを実行することにより、会議サーバ１０２と通信して、生成した議事録を受信して表示することができる。会議参加者は議事録をリアルタイムに参照しながら会議を進行できる。そして、電子資料の表示ページを、議論が終わった対象部分に戻して表示して、当該議論対象について追加で議論を行うことができる。表示内容に基づいて追加議論かどうかを判定することにより、この追加の議論と元の議論との発話や記入を適切に統合して要約テキストを生成するため、より好ましい議事録を提供することができる。
【０２２９】
なお、本実施例では、ＰＣ１０３における電子資料の表示ページの変更に基づいて要約区間の決定や追加議論かどうかの判定を行ったが、これに限らず、例えば、複数の電子資料を表示する会議において、この電子資料の変更に基づいて行ってもよい。
【０２３０】
また、本実施例ではＰＣ１０３がアプリケーションプログラムを実行することで、会議サーバ１０２と通信して処理を行った。これに限らず、会議アプリケーションを実行し、会議アプリケーションによってアプリケーションプログラムの表示内容の変更を受信し、そして会議アプリケーションによって会議サーバ１０２と通信するようにしてもよい。
【０２３１】
（その他の実施例）
上記各実施の形態では、会議装置１０１と会議サーバ１０２とを独立した装置として会議システムを構成する例について説明したが、両装置の機能を備えた単一の装置を本発明における会議装置として構成してもよい。あるいは、会議サーバ１０２を、音声データを取得する音声取得機能と画像データを取得する画像取得機能のいずれかまたは双方をさらに有した装置とし、これを本発明の会議装置としてもよい。
【０２３２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０２３３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【０２３４】
１０１  会議装置
１０２  会議サーバ
１０３  ＰＣ
【図１】
2019152758.tif 000003
【図２】
2019152758.tif 000004
【図３】
2019152758.tif 000005
【図４】
2019152758.tif 000006
【図５】
2019152758.tif 000007
【図６】
2019152758.tif 000008
【図７】
2019152758.tif 000009
【図８】
2019152758.tif 000010
【図９】
2019152758.tif 000011
【図１０】
2019152758.tif 000012
【図１１】
2019152758.tif 000013
【図１２】
2019152758.tif 000014
【図１３】
2019152758.tif 000015
【図１４】
2019152758.tif 000016
【図１５】
2019152758.tif 000017
【図１６】
2019152758.tif 000018
【図１７】
2019152758.tif 000019
【図１８】
2019152758.tif 000020
【図１９】
2019152758.tif 000021
【図２０】
2019152758.tif 000022
【図２１】
2019152758.tif 000023