(57)【要約】【課題】表示担当端末が表示している議事録の表示範囲以外の議事録部分を、会議参加者が所有する情報端末で編集すると、会議参加者全員がその編集に気づくことができず、会議参加者間の合意が得られないまま議事録が作成されてしまう。【解決手段】会議システムにおいて会議の開始を指示する情報処理装置であって、会議中に取得した音声データ及び撮影した画像データから取得した議事録を表示し、情報処理装置が、当該会議の参加者が見ることができる態様で前記議事録を表示する表示担当端末として設定されている状態で、表示されている議事録を編集する。そして、表示担当端末を指定する指定手段により、前記情報処理装置以外の第１情報処理装置が表示担当端末に指定されると編集手段を無効化する。【選択図】  図８
2019161409.tif 000002
【特許請求の範囲】
【請求項１】
会議システムにおいて会議の開始を指示する情報処理装置であって、
会議中に取得した音声データ及び撮影した画像データから取得した議事録を表示する表示手段と、
前記情報処理装置が、当該会議の参加者が見ることができる態様で前記議事録を表示する表示担当端末として設定されている状態で、前記表示手段に表示されている議事録を編集する編集手段と、
前記表示担当端末を指定する指定手段と、
前記指定手段により指定された前記表示担当端末が、前記情報処理装置以外の第１情報処理装置である場合に前記編集手段を無効化する無効化手段と、
を有することを特徴とする情報処理装置。
【請求項２】
音声を取得する取得手段と、
撮像手段と、を更に有し、
前記表示手段は、前記取得手段により取得された前記音声データ及び前記撮像手段により得られた前記画像データを第２情報処理装置に送信し、前記第２情報処理装置で前記音声データの音声認識及び前記画像データから文字認識された情報に基づく前記議事録を、当該第２情報処理装置から受信して表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記編集手段は、ユーザの操作を受付ける入力手段を有し、
前記表示手段により表示されている前記議事録に対する前記入力手段を介したユーザの操作に応じて前記議事録を編集することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記無効化手段は、前記編集手段を起動する前記入力手段を介したユーザの操作を受け付けるボタンを無効化することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記指定手段は、前記表示担当端末の端末情報を入力するための画面を表示し、当該画面を介して入力された前記端末情報に対応する情報処理装置を、前記表示担当端末に指定することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
少なくとも会議室に設けられた会議装置と、会議の参加者が有する情報端末とを有する会議システムであって、
前記会議装置は、
会議中に取得した音声データ及び撮影した画像データから取得した議事録を表示する第１表示手段と、
前記会議装置が、当該会議の参加者が見ることができる態様で前記議事録を表示する表示担当端末として設定されている状態で、前記第１表示手段に表示されている議事録を編集する第１編集手段と、
前記表示担当端末に設定する情報端末を指定する第１指定手段と、
前記第１指定手段により前記情報端末が前記表示担当端末に指定されると、前記第１編集手段を無効化する第１無効化手段と、を有し、
前記情報端末は、
前記議事録を表示する第２表示手段と、
前記表示担当端末に設定する情報処理装置を指定する第２指定手段と、
前記情報端末が前記表示担当端末として設定されている状態で、前記第２表示手段に表示されている議事録を編集する第２編集手段と、
前記第２指定手段により前記情報端末以外の情報処理装置が前記表示担当端末に指定されると、前記第２編集手段を無効化する第２無効化手段と、
を有することを特徴とする会議システム。
【請求項７】
前記会議装置は、
音声を取得する取得手段と、
撮像手段と、を更に有し、
前記第１表示手段は、前記取得手段により取得された前記音声データ及び前記撮像手段により得られた前記画像データを第１情報処理装置に送信し、前記第１情報処理装置で前記音声データの音声認識及び前記画像データから文字認識された情報に基づく前記議事録を、当該第１情報処理装置から受信して表示することを特徴とする請求項６に記載の会議システム。
【請求項８】
前記第１情報処理装置は、
前記音声データの音声認識及び前記画像データから文字認識された情報に基づく会議テキストを作成する作成手段と、
前記作成手段により作成された前記会議テキストを要約した要約情報を生成する生成手段と、を有し、
前記第１編集手段は、前記第１情報処理装置から取得した前記要約情報に基づいて前記議事録を編集することを特徴とする請求項７に記載の会議システム。
【請求項９】
会議システムにおいて会議の開始を指示する情報処理装置を制御する制御方法であって、
会議中に取得した音声データ及び撮影した画像データから取得した議事録を表示する表示工程と、
前記情報処理装置が、当該会議の参加者が見ることができる態様で前記議事録を表示する表示担当端末として設定されている状態で、前記表示工程で表示されている議事録を編集する編集工程と、
前記表示担当端末を指定する指定工程と、
前記指定工程で指定された前記表示担当端末が前記情報処理装置以外の第１情報処理装置である場合に前記編集工程を無効化する無効化工程と、
を有することを特徴とする制御方法。
【請求項１０】
コンピュータに、請求項９に記載の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システム、情報処理装置とその制御方法、及びプログラムに関する。
【背景技術】
【０００２】
会議中に議事録の担当者が情報端末で、その会議の議事録を作成し、作成した議事録をプロジェクタで表示することで、その会議の参加者全員が議事録を確認しながら会議を進行する場合がある。このように議事録を、参加者全員が見ることができる態様で議事録を表示する情報端末を、以下、表示担当端末と呼ぶ。これにより会議参加者は、その表示担当端末により表示された議事録を見ながら会議を進行できるので、議論の不足、アクションアイテム、重要事項の記載漏れ等に気づくことができる。そして、議論の不足があれば追加の議論を行え、記載漏れがあれば直ちに修正して、その結果を会議参加者間で直ぐに確認することができる。
【０００３】
特許文献１には、会議参加者の発話を音声認識して得たテキスト（以下、発話テキスト）を表示する発言一覧画面と、会議参加者が入力した議事録用のテキストを表示する議事録画面とを提供するシステムが記載されている。このシステムによれば、会議参加者は、会議中に各自の情報端末で議事録を表示し、更に、自分の発言内容を編集することができるため、会議参加者の発言等を含む議事録を動的に作成して、その質を向上できるとしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５０５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術では、表示担当端末以外の会議参加者が所有する情報端末でも議事録を編集できる。表示担当端末が表示している議事録の表示範囲以外の議事録部分を、会議参加者が所有する情報端末で編集すると、会議参加者全員がその編集に気づくことができず、会議参加者間の合意が得られないまま議事録が作成されてしまうという課題がある。
【０００６】
本発明の目的は、上記従来技術の課題を解決することにある。
【０００７】
本発明の目的は、会議中の会議参加者による議事録の編集時において、会議参加者全員が編集内容を確認可能な会議システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の一態様に係る情報処理装置は以下のような構成を備える。即ち、
会議システムにおいて会議の開始を指示する情報処理装置であって、
会議中に取得した音声データ及び撮影した画像データから取得した議事録を表示する表示手段と、
前記情報処理装置が、当該会議の参加者が見ることができる態様で前記議事録を表示する表示担当端末として設定されている状態で、前記表示手段に表示されている議事録を編集する編集手段と、
前記表示担当端末を指定する指定手段と、
前記指定手段により指定された前記表示担当端末が、前記情報処理装置以外の第１情報処理装置である場合に前記編集手段を無効化する無効化手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、会議中の会議参加者による議事録の編集時において、会議参加者全員が編集内容を確認できるという効果がある。
【００１０】
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。尚、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
【図面の簡単な説明】
【００１１】
添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
【図１】本発明の実施形態に係る会議システムの構成を説明する図。
【図２】実施形態に係る会議装置、会議サーバ及び情報端末のハードウェア構成を説明するブロック図。
【図３】実施形態に係る会議装置の表示デバイスに表示される画面例を示す図。
【図４】実施形態に係る情報端末の表示デバイスに表示される画面例を説明する図。
【図５】実施形態に係る会議装置によって記録される会議情報の一例を示す図。
【図６】実施形態に係る会議サーバがストレージに記録する議事録元情報の構成例を示す図。
【図７】実施形態に係る会議サーバがストレージに記録する議事録元情報の構成例を示す図。
【図８】実施形態に係る会議装置の基本処理を説明するフローチャート。
【図９】図８のＳ８０３の会議開始処理を説明するフローチャート。
【図１０】図８のＳ８０７の撮影処理を説明するフローチャート。
【図１１】図８のＳ８０９のアジェンダ変更処理を説明するフローチャート。
【図１２】図８のＳ８１１の表示担当端末の変更処理を説明するフローチャート。
【図１３】実施形態に係る議事録の概要を示す図。
【図１４】図８のＳ８１４の議事録の表示更新処理を説明するフローチャート。
【図１５】図８のＳ８０５の会議終了処理を説明するフローチャート。
【図１６】図８のＳ８１３の議事録編集処理を説明するフローチャート。
【図１７】実施形態に係る情報端末の基本処理を説明するフローチャート。
【図１８】実施形態に係る会議サーバの基本処理を説明するフローチャート。
【図１９】実施形態に係る会議サーバによる、図１８のＳ１８０６の要約情報テーブルの更新処理を説明するフローチャート。
【図２０】実施形態に係る会議サーバによる、図１９のＳ１９０９の会議テキストの要約処理を説明するフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１３】
図１は、本発明の実施形態に係る会議システムの構成を説明する図である。
【００１４】
この会議システム１００は、音声などを記録して会議サーバ１０２に配信する会議装置１０１と、音声錦機能、文字認識機能を有し議事録を作成する会議サーバ１０２と、情報端末１０４を含んでいる。会議装置１０１と会議サーバ１０２と情報端末１０４とはネットワーク１０３を介して接続されている。また会議装置１０１と情報端末１０４は、会議サーバ１０２と通信可能な情報処理装置である。ここで会議装置１０１と会議サーバ１０２とは一体で構成されてもよい。情報端末１０４は、会議に参加している参加者の少なくとも誰かにより操作されるものとするが、会議に参加している参加者がそれぞれ情報端末１０４を有していてもよい。
【００１５】
会議装置１０１は、会議室などの会議開催場所に配置され、例えば会議テーブルの上に置かれる。会議装置１０１は、音声や画像など複数の種類のデータ（以降、会議情報）を記録する。そして会議装置１０１は、会議情報（図５を参照して後述）を会議サーバ１０２に送信する。また会議装置１０１は、会議サーバ１０２で生成された議事録を受信して、その議事録を表示する。尚、会議装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録する。しかし、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の対象となる。
【００１６】
会議サーバ１０２は一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やクラウドサーバであり、会議装置１０１から会議情報を受信し、これを解析・加工して議事録を作成する。更に会議サーバ１０２は、その会議情報に含まれる音声データを音声認識してテキストを生成する。また会議サーバ１０２は、その会議情報に含まれる画像データを文字認識してテキストを生成する。そして会議サーバ１０２は、これらテキストを含む情報より議事録を生成し、作成した議事録を情報端末１０４等に配信する。
【００１７】
情報端末１０４は一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である。情報端末１０４は会議サーバ１０２から議事録を受信すると、その議事録を情報端末１０４の表示部に表示する。
【００１８】
尚、図１において、会議システム１００は、会議装置１０１と会議サーバ１０２と情報端末１０４をそれぞれ一台ずつ備えているが、これらの数を更に増やしても良い。
【００１９】
図２は、実施形態に係る会議装置１０１、会議サーバ１０２及び情報端末１０４のハードウェア構成を説明するブロック図である。
【００２０】
図２（Ａ）は、会議装置１０１のハードウェア構成例を説明するブロック図である。
【００２１】
会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インターフェース２０８、カメラデバイス２０９、マイクデバイス２１０を備える。これら各部は、バス２０３を介して相互にデータを送受信することができる。尚、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
【００２２】
ＣＰＵ２０１は、この会議装置１０１全体を制御するためのコントローラである。ＣＰＵ２０１は、ＲＯＭ２０２に格納されているブートプログラムを実行して、ストレージ２０５に記録されているＯＳやコントローラプログラムをＲＡＭ２０４に展開し、その展開したプログラムを実行して会議装置１０１を制御する。ＣＰＵ２０１は、バス２０３を介して各部を制御する。ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリア等の一時記憶領域として動作する。ストレージ２０５は、例えばＨＤＤ等の大容量記憶部で、読み出しと書き込みが可能な不揮発メモリを含み、前述のコントローラプログラム等を保存する。また会議装置１０１は、会議情報を会議サーバ１０２へ送信するまでの間、ストレージ２０５に会議情報を記録する。
【００２３】
入力デバイス２０６は、タッチパネルやハードキー、ポインティングデバイス等を含む入力部である。また表示デバイス２０７は、液晶などの表示部である。入力デバイス２０６は、ユーザの操作指示を受け付けると、それをＣＰＵ２０１に伝達する。表示デバイス２０７は、ＣＰＵ２０１が生成した表示用の画像データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示させている表示画像データとに基づいてユーザの操作を判定する。そしてＣＰＵ２０１は、操作の判定結果に応じて、会議装置１０１を制御するとともに、操作内容に応じて新たな表示画像データを生成して表示デバイス２０７に表示させる。ＣＰＵ２０１は会議サーバ１０２から議事録を受信して表示デバイス２０７で表示することができる。尚、表示デバイス２０７は、例えばＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルやＶＧＡケーブルで接続されたプロジェクタなどの表示部であってもよい。また表示デバイス２０７はタッチパネル機能を有し、入力デバイス２０６と一体に構成されても良い。外部インターフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信或いは受信を行う。カメラデバイス２０９は、いわゆるデジタルカメラであり、動画や画像を撮影することができる。マイクデバイス２１０は、入力された音声をデジタル信号化し、例えばＷＡＶＥなどの音声データとして取得する。
【００２４】
図２（Ｂ）は、実施形態に係る会議サーバ１０２のハードウェア構成例を説明するブロック図である。
【００２５】
会議サーバ１０２は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５４、ストレージ２５５、入力デバイス２５６、表示デバイス２５７、外部インターフェース２５８を備える。各部は、データバス２５３を介して相互にデータを送受信することができる。ＣＰＵ２５１は、この会議サーバ全体を制御するためのコントローラである。ＣＰＵ２５１は、不揮発メモリであるＲＯＭ２５２に格納されているブートプログラムを実行して、ストレージ２５５に記録されているＯＳやコントローラプログラムをＲＡＭ２５４に展開し、その展開したプログラムを実行して会議サーバ１０２を制御する。ＣＰＵ２５１がこのプログラムを実行することより、会議サーバ１０２の各処理を実現する。ＣＰＵ２５１は、バス２５３などのバスを介して各部を制御する。ＲＡＭ２５４は、ＣＰＵ２５１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２５５は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。入力デバイス２５６および表示デバイス２５７は、図２（Ａ）で説明した入力デバイス２０６及び表示デバイス２０７と同様である。外部インターフェース２５８は、図２（Ａ）を参照して説明した外部インターフェース２０８と同様である。
【００２６】
図２（Ｃ）は、実施形態に係る情報端末１０４のハードウェア構成例を説明するブロック図である。
【００２７】
情報端末１０４は、ＣＰＵ２７１、ＲＯＭ２７２、ＲＡＭ２７４、ストレージ２７５、入力デバイス２７６、表示デバイス２７７、外部インターフェース２７８を備える。これらは、図２（Ｂ）の会議サーバ１０２のハードウェア構成と同様であるため、その説明を省略する。
【００２８】
次に、会議システム１００が提示し、ユーザが参照・操作するユーザインタフェースについて説明する。
【００２９】
図３は、実施形態に係る会議装置１０１の表示デバイス２０７に表示される画面例を示す図である。
【００３０】
図３（Ａ）の画面３００は、会議の開始前に表示される画面例を示す。「会議開始」ボタン３０１は、ユーザが会議装置１０１に会議の開始を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議開始」ボタン３０１の押下（指示）を受け付けると、表示デバイス２０７に、図３（Ｂ）に示す画面３５０を表示させる。画面３００の「シャットダウン」ボタン３０２は、電源オフを指示するボタンである。
【００３１】
図３（Ｂ）の画面３５０は、会議開始の直後に表示される画面例を示す。画面３５０で会議装置１０１を表示担当端末として設定することをユーザに通知する文言と、表示担当端末の端末情報として、会議装置１０１の端末情報であるＩＰアドレスとホスト名が表示される。ここで「次へ」ボタン３５１の押下を受け付けると、この端末情報は会議サーバ１０２に送信され、図３（Ｃ）の画面３１０が表示される。そして、ＣＰＵ２０１は、会議情報の記録を開始する。
【００３２】
図３（Ｃ）の画面３１０は、会議中に、会議装置１０１の表示デバイス２０７に表示される画面例を示す図である。「撮影」ボタン３１１は、ユーザが会議装置１０１に撮影要求を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「撮影」ボタン３１１の押下を受け付けると、表示デバイス２０７に図３（Ｄ）に示す画面３２０を表示させる。
【００３３】
「アジェンダ」ボタン３１２は、ユーザが会議装置１０１にアジェンダ（議題）の変更（開始や終了）を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「アジェンダ」ボタン３１２の押下を受け付けると、表示デバイス２０７に、図３（Ｅ）に示す画面３３０を表示させる。
【００３４】
「会議終了」ボタン３１３は、ユーザが、会議装置１０１に会議の終了を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「会議終了」ボタン３１３の押下を受付けると、図３（Ｆ）に示す画面３４０を表示デバイス２０７に表示させる。画面３１０の議事録の表示領域３１４は、ＣＰＵ２０１が会議サーバ１０２から受信した議事録を表示する領域である。
【００３５】
「議事録編集」ボタン３１５は、議事録表示領域３１４に表示されている議事録の内容に対して編集要求を指示するボタンである。ＣＰＵ２０１は、図３（Ｂ）の画面３１０を表示している端末が表示担当端末として設定されている場合に「議事録編集」ボタン３１５への指示を受け付ける。この画面３１０を表示している端末が表示担当端末として設定されていない場合は、「議事録編集」ボタン３１５への指示を受け付けず、「議事録編集」ボタン３１５をグレーアウトで表示する。スクロールバー３１６は、入力デバイス２０６で上下に移動されると、議事録表示領域３１４に表示される議事録をスクロールして表示させることができる。
【００３６】
「表示担当端末情報」ボタン３１７は、ユーザが表示担当端末であることを確認し、必要に応じて変更を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「表示担当端末情報」ボタン３１７への指示を受け付けると、表示デバイス２０７に、図３（Ｇ）に示す画面３６０を表示させる。
【００３７】
図３（Ｄ）の画面３２０は、「撮影」ボタン３１１の押下により表示される画面である。画面３２０には、カメラデバイス２０９により得られる被写体の映像が表示される。ユーザは、この映像を見ながら、文字を記入したホワイトボードや紙が、会議装置１０１の撮影画角に収まるよう調整することができる。ＣＰＵ２０１は、入力デバイス２０６を介して図３（Ｃ）の画面３１０の任意箇所への指示を受け付けると、カメラデバイス２０９により被写体を撮影して画像データを取得する。「ＯＫ」ボタン３２１は、ユーザが会議装置１０１に、撮影の終了を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３２１への指示を受け付けると、表示デバイス２０７に、図３（Ｃ）に示す画面３１０を表示させる。
【００３８】
「アジェンダ」ボタン３１２の押下により表示される図３（Ｅ）の画面３３０は、アジェンダ（議題）の変更を指示する際に表示される画面である。テキストフィールド３３１は、ユーザが会議装置１０１にアジェンダ名を登録するエリアである。ユーザは入力デバイス２０６を介して、テキストフィールド３３１に所望のアジェンダ名を入力することができる。「開始」ボタン３３２は、ユーザが会議装置１０１に、新しいアジェンダの開始を指示するボタンである。「終了」ボタン３３３は、ユーザが会議装置１０１に、現在のアジェンダの終了を指示するボタンである。尚、終了されたアジェンダは、そのアジェンダ名がテキストエリア３３４にリスト表示される。「ＯＫ」ボタン３３５は、ユーザが会議装置１０１に、アジェンダ変更の終了を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３３５への指示を受け付けると、表示デバイス２０７に、図３（Ｃ）に示す画面３１０を表示させる。
【００３９】
「会議終了」ボタン３１３の押下により表示される図３（Ｆ）の画面３４０は、会議を終了する際に表示される画面である。テキストフィールド３４１は、ユーザが会議装置１０１に、会議システム１００が作成する議事録の配信先を指定するエリアである。ユーザは入力デバイス２０６を介して、テキストフィールド３４１に、所望の配信先を入力することができる。配信先として、例えば、メールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスを入力することができる。「ＯＫ」ボタン３４２は、ユーザが会議装置１０１に、会議終了の確定を指示するボタンである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３４２への指示を受け付けると、表示デバイス２０７に、図３（Ａ）に示す画面３００を表示させる。そして、会議装置１０１は、会議情報の記録を終了し、図３（Ｂ）の議事録表示領域３１４で表示した議事録を会議サーバ１０２へ送信する。その後、会議サーバ１０２は、受信した議事録を、画面３４０のテキストフィールド３４１で指示された配信先に配信する。
【００４０】
「表示担当端末情報」ボタン３１７の押下により表示される図３（Ｇ）の画面３６０は、表示担当端末の確認、或いは表示担当端末を変更する際に表示される画面である。この画面３６０は、設定された表示担当端末の情報であるＩＰアドレスとホスト名を表示する。参加者は、参加者が意図しない端末が表示担当端末に設定されている場合や、会議中に表示担当端末を別の情報端末に変更したい場合に、この画面を介して表示担当端末を変更できる。テキストフィールド３６１は、変更先の表示担当端末のＩＰアドレスを指定するエリアである。参加者は、入力デバイス２０６を介して、テキストフィールド３６１に、所望の変更先の表示担当端末のＩＰアドレスを入力する。テキストフィールド３６２は、変更先の表示担当端末のホスト名を指定するエリアである。参加者は、入力デバイス２０６を介して、テキストフィールド３６２に、所望の変更先の表示担当端末のホスト名を入力する。ＣＰＵ２０１は、入力デバイス２０６を介して「変更」ボタン３６３への指示を受け付けると、テキストフィールド３６１に入力されたＩＰアドレスとテキストフィールド３６２に入力されたホスト名を表示担当端末情報として会議サーバ１０２に送信する。その後、図３（Ｃ）の画面３１０を表示する。ＣＰＵ２０１は、入力デバイス２０６を介して「戻る」ボタン３６４への指示を受け付けると、会議サーバ１０２へＩＰアドレスやホストコンピュータ名を送信せずに、表示デバイス２０７に、図３（Ｃ）に示す画面３１０を表示させる。
【００４１】
尚、実施形態において、表示担当端末の端末情報は、ＩＰアドレスとホスト名としているが、本発明はこれに限定するものではない。端末装置を特定できるものであれば、少なくとも１つ以上から成るキーワードのようなものでも構わない。
【００４２】
次に、情報端末１０４で動作する情報端末プログラムが提示し、ユーザが参照・操作するユーザインタフェースについて説明する。ここでは情報端末１０４を例に説明する。
【００４３】
図４は、実施形態に係る情報端末１０４の表示デバイス２７７に表示される画面例を説明する図である。この情報端末１０４も会議装置１０１と同様に、表示担当端末の設定、変更、及び議事録の表示や編集を行うことができる。
【００４４】
図４（Ａ）の画面４００は、情報端末１０４の情報端末プログラムの起動時に表示される画面である。「議事録表示開始」ボタン４０１は、ユーザが情報端末１０４に議事録の表示の開始を指示するボタンである。ＣＰＵ２７１は、入力デバイス２７６を介して「議事録表示開始」ボタン４０１への指示を受け付けると、表示デバイス２７７に図４（Ｂ）に示す画面４１０を表示させる。
【００４５】
図４（Ｂ）の画面４１０は、情報端末１０４を表示担当端末として設定するか否かを指示させる画面である。この画面４１０には、情報端末１０４の端末情報として、ＩＰアドレスとホスト名を表示している。実施形態では、表示担当端末の端末情報はＩＰアドレスとホスト名を含むものとする。ＣＰＵ２７１は、入力デバイス２７６を介して「はい」ボタン４１１への指示を受け付けると、情報端末１０４のＩＰアドレスとホスト名を表示担当端末情報として会議サーバ１０２に送信した後、図４（Ｃ）の画面４２０を表示する。一方、「いいえ」ボタン４１２の指示を受け付けると図４（Ａ）の画面４０１を表示する。
【００４６】
図４（Ｃ）の画面４２０は、会議中に表示デバイス２７７に表示される画面であり、図３（Ｃ）の画面と共通するボタンは同じ参照番号を付して、その説明を省略する。「議事録表示終了」ボタン４２１は、議事録の表示を終了させるボタンである。
【００４７】
図４（Ｄ）の画面４３０は、表示担当端末の確認や変更の際に表示される画面であり、図３（Ｇ）の画面３６０と同様であるため、その説明を省略する。
【００４８】
図４（Ｅ）の画面４４０は、会議装置１０１から会議終了が通知された際に表示される画面である。「終了」ボタン４４１は、ユーザが情報端末１０４に、情報端末プログラムを終了させるためのものである。ＣＰＵ２７１は、入力デバイス２７６を介して「終了」ボタン４４１への指示を受け付けると、情報端末プログラムを終了させる。
【００４９】
次に、会議装置１０１や情報端末１０４によって、それぞれのストレージに記録される会議情報について説明する。
【００５０】
図５は、実施形態に係る会議装置１０１によって記録される会議情報の一例を示す図である。
【００５１】
図５（Ａ）は音声情報テーブル５００、図５（Ｂ）は画像情報テーブル５１０、図５（Ｃ）は、アジェンダ情報テーブル５２０、図５（Ｄ）は、配信先情報テーブル５３０、図５（Ｅ）は、表示担当端末情報テーブル５４０の構成例を示す。これらのテーブルで会議情報が構成される。
【００５２】
音声情報テーブル５００は、会議装置１０１が録音して得られた音声に関する情報（以降「音声情報」）を記録するためのデータテーブルであり、会議装置１０１によってストレージ２０５に記録される。会議装置１０１は、会議中の会話を録音して音声情報を記録する。録音開始日時列５０１には、録音開始日時（会議開始日時）が記録される。録音終了日時列５０２には、録音終了日時（会議終了日時）が記録される。録音データ列５０３には、ストレージ２０５に記録された音声データのファイル名が記録される。
【００５３】
図５（Ｂ）の画像情報テーブル５１０は、会議装置１０１が撮影して得る画像に関する情報（以降「画像情報」）を記録するためのデータテーブルであり、会議装置１０１によってストレージ２０５に記録される。会議装置１０１は、被写体を撮影して画像データを取得し、ファイルとしてストレージ２０５に記録する。撮影日時列５１１には、撮影日時が記録され、画像データ列５１２には、ストレージ２０５に記録した画像データのファイル名が記録される。
【００５４】
図５（Ｃ）のアジェンダ情報テーブル５２０は、会議装置１０１が記録するアジェンダに関する情報（以降「アジェンダ情報」）を記録するためのデータテーブルであり、会議装置１０１によってストレージ２０５に記録される。アジェンダ開始日時列５２１には、アジェンダの開始日時が記録される。アジェンダ終了日時列５２２には、アジェンダの終了日時が記録される。アジェンダ名列５２３には、アジェンダ名が記録される。
【００５５】
図５（Ｄ）の配信先情報テーブル５３０は、議事録を配信する配信先に関する情報（以降「配信先情報」）を記録するデータテーブルであり、会議装置１０１によってストレージ２０５に記録される。実施形態では、配信先情報は一人のメールアドレスとしているがそれに限定するものではない。例えば、複数のメールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスでもかまわない。
【００５６】
図５（Ｅ）の表示担当端末情報テーブル５４０は、現在、どの端末が表示担当端末であるかを記録するためのデータテーブルであり、会議装置１０１や情報端末１０４によって作成され、ネットワーク１０３を経由して会議サーバ１０２のストレージ２５５に記録される。このテーブルは会議サーバ１０２を介して、会議装置１０１と情報端末１０４の間で互いに授受される。表示担当端末ＩＰアドレス５４１には、表示担当端末のＩＰアドレスが記録される。表示担当端末ホスト名５４２には、表示担当端末のホスト名が記録される。
【００５７】
次に、会議サーバ１０２が、会議装置１０１から受信した会議情報を解析・加工して生成する議事録元情報について説明する。
【００５８】
図６と図７は、実施形態に係る会議サーバ１０２がストレージ２５５に記録する議事録元情報の構成例を示す図である。この議事録元情報には、図６（Ａ）の発話情報テーブル６００、図６（Ｂ）の記入情報テーブル６１０、図６（Ｃ）の会議テキスト情報テーブル６２０、及び、図７の要約情報テーブル７００が含まれる。
【００５９】
図６（Ａ）の発話情報テーブル６００は、会議情報に含まれる音声データに対する音声認識結果に関する情報（以降「発話情報」）を記録するためのデータテーブルである。会議サーバ１０２は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話日時列６０１は、発話が発生した日時（以降「発話日時」）を記録するためのものである。発話テキスト列６０２は、発話を音声認識して得た発話テキストを記録するためのものである。発話や発話日時の特定方法については後述する。
【００６０】
図６（Ｂ）の記入情報テーブル６１０は、会議情報に含まれる画像データに対する文字認識結果に関する情報（以降「記入情報」）を記録するデータテーブルである。会議サーバ１０２は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入日時列６１１は、記入が発生した日時（以降「記入日時」）を記録するためのものである。記入テキスト列６１２は、画像データを文字認識して得た記入テキストを記録するためのものである。記入や記入日時の特定方法については後述する。
【００６１】
図６（Ｃ）の会議テキスト情報テーブル６２０は、会議において発生したテキスト（以降「会議テキスト」）に関する情報（以降「会議テキスト情報」）を記録するためのデータテーブルである。会議サーバ１０２は、発話情報と記入情報を統合して会議テキスト情報を生成する。発生日時列６２１には、会議テキスト情報が発生した日時として、発話日時列６０１及び記入日時列６１１の日時が記録される。会議テキスト列６２２には、会議テキストとして、発話テキスト列６０２及び記入テキスト列６１２のテキストが記録される。区分列６２３には、そのレコードが、会議テキストの元となったテキスト（統合前のテキスト）が発話情報であったか、記入情報であったかを示す情報が記録される。統合前のテキストが発話情報であった場合には「０」が記録され、記入情報であった場合には「１」が記録される。要点列６２４には、そのレコードの会議テキスト列６２２の会議テキストが要点であるか否かを示す情報が記憶される。ここで要点とは、決定した事項や、発生したアクションアイテムなど、その会議の主要な内容を示すものである。要点である場合には「１」が記録され、そうでない場合には「０」が記憶される。尚、会議テキスト情報テーブル６２０のレコードは、発生日時列６２１の値で昇順に（発生した順に）ソートされる。
【００６２】
図７の要約情報テーブル７００は、会議テキストを要約した情報（以降「要約情報」）を記録するためのデータテーブルである。会議サーバ１０２は、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストをアジェンダ毎に要約して要約テキストを生成し、それを要約テーブル７００に記録する。アジェンダ名列７０１は、アジェンダ名を記録するためのものである。アジェンダ名列７０１には、アジェンダ情報テーブル５２０のアジェンダ名列５２３に記録されているアジェンダ名が記録される。要約テキスト列７０２には、生成した要約テキストが記録される。アジェンダ名列７０１に記録された１つのアジェンダに対して１つ以上の要約テキストが対応づけられる。この要約テキストは、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストを各要約区間６２５〜６２８で要約して得たテキストである。
【００６３】
この要約区間は、以下の２つの区間が該当する。１つ目は、１つのアジェンダが開始されてから終了するまでの時間内で、そのアジェンダの開始日時から走査して最初の要点を抽出した日時までの区間である。２つ目は、１つのアジェンダが開始されてから終了するまでの時間内で、１つの要点を抽出した日時から走査して次の要点を抽出した日時までの区間である。図６（Ｃ）の会議テキスト情報テーブル６２０の例では、要約区間６２５，６２６，６２７，６２８が存在する。図７の要約情報テーブル７００では、第１のアジェンダである「来年度予算について」に対応して、要約区間６２５の会議テキストを要約して得た要約テキスト７０３と、要約区間６２６の会議テキストを要約して得た要約テキスト７０４が記録されている。また第２のアジェンダである「役割分担の相談」に対応して、要約区間６２６の会議テキストを要約して得た要約テキスト７０５と、要約区間６２８の会議テキストを要約して得た要約テキスト７０６が記録されている。
【００６４】
次に、会議装置１０１の基本処理について説明する。
【００６５】
図８は、実施形態に係る会議装置１０１の基本処理を説明するフローチャートである。尚、このフローチャートで示す処理は、ＣＰＵ２０１が前述のプログラムをＲＡＭ２０４に展開し、その展開したプログラムを実行することにより達成される。
【００６６】
ユーザが会議装置１０１の電源キー（不図示）を操作して会議装置１０１の電源をオンにするとＣＰＵ２０１は、ストレージ２０５に記録されているコントローラプログラムを読み込む。そして、ＲＡＭ２０４に展開して当該コントローラプログラムを実行する。これにより会議装置１０１は、このフローチャートで示す処理を実行することが可能となる。また、ＣＰＵ２０１は、図３（Ａ）の画面３００の表示画像データを生成して表示デバイス２０７に表示させる。
【００６７】
まずＳ８０１でＣＰＵ２０１は、画面３００の「会議開始」ボタン３０１が押下されたか否かを判定する。ここで「会議開始」ボタン３０１が押下されたときはＳ８０３に遷移し、そうでないときはＳ８０２に進む。またＳ８０１でＣＰＵ２０１は、「シャットダウン」ボタン３０２への指示を受け付けたときは、この処理を終了して電源オフする。一方、「シャットダウン」ボタン３０２の指示を受け付けていないときはＳ８０１に遷移する。
【００６８】
Ｓ８０３でＣＰＵ２０１は、図３（Ｂ）の画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。そしてＳ８０４以降の処理でＣＰＵ２０１は、図３（Ｂ）の画面３１０で押下されたボタンに応じた処理を実行する。
【００６９】
Ｓ８０４でＣＰＵ２０１は、「会議終了」ボタン３１３が押下されたかどうか判定し、「会議終了」ボタン３１３が押下されたときはＳ８０５に処理を進める。Ｓ８０５でＣＰＵ２０１は、図３（Ｆ）の画面３４０の表示画像データを生成して表示デバイス２０７に表示させて会議終了処理を行う。その詳細は図１５のフローチャートを参照して後述する。その後、Ｓ８０２に遷移する。
【００７０】
Ｓ８０４で「会議終了」ボタン３１３が押下されないときはＳ８０６に進みＣＰＵ２０１は、「撮影」ボタン３１１が押下されたかどうか判定し、「撮影」ボタン３１１が押下されたときはＳ８０７に処理を進め、そうでないときはＳ８０８に処理を進める。Ｓ８０７でＣＰＵ２０１は、図３（Ｄ）の画面３２０の表示画像データを生成して表示デバイス２０７に表示させて撮影処理を行う。その詳細は図１０のフローチャートを参照して後述する。撮影処理終了後、Ｓ８０４に処理を進める。
【００７１】
Ｓ８０８でＣＰＵ２０１は、「アジェンダ」ボタン３１２が押下されたかどうか判定し、「アジェンダ」ボタン３１２が押下されたときはＳ８０９に進み、そうでないときはＳ８１０に処理を進める。Ｓ８０９でＣＰＵ２０１は、図３（Ｅ）の画面３３０の表示画像データを生成して表示デバイス２０７に表示させてアジェンダの変更処理を行う。その詳細は図１１のフローチャートを参照して後述する。アジェンダ変更処理が終了するとＳ８０４に遷移する。
【００７２】
Ｓ８１０でＣＰＵ２０１は、「表示担当端末情報」ボタン３１７が押下されたかどうか判定し、「表示担当端末情報」ボタン３１７が押下されたときはＳ８１１に処理を進め、そうでないときはＳ８１２に処理を進める。Ｓ８１１でＣＰＵ２０１は、図３（Ｇ）の画面３６０の表示画像データを生成して表示デバイス２０７に表示させて、表示担当端末の変更処理を行う。その詳細は図１２のフローチャートを参照して後述する。表示担当端末の変更処理終了するとＳ８０４に遷移する。
【００７３】
Ｓ８１２でＣＰＵ２０１は、「議事録編集」ボタン３１５が押下されたかどうか判定し、「議事録編集」ボタン３１５が押下されたときはＳ８１３に処理を進め、そうでないときはＳ８１４に処理を進める。Ｓ８１３でＣＰＵ２０１は、議事録表示領域３１４に対して入力デバイス２０６で入力を受け付けて、議事録の編集処理を行ってＳ８０４に進む。その詳細は図１６のフローチャートを参照して後述する。一方、Ｓ８１４でＣＰＵ２０１は、議事録の表示更新処理を行う。詳細は図４のフローチャートを参照して後述する。その後、Ｓ８０４に遷移する。
【００７４】
図９は、図８のＳ８０３の会議開始処理を説明するフローチャートである。
【００７５】
先ずＳ９０１でＣＰＵ２０１は、会議サーバ１０２に会議の開始を示す会議開始通知を送信する。次にＳ９０２に進みＣＰＵ２０１は、マイクデバイス２１０により、会話の録音を開始する。これによりＣＰＵ２０１は音声データの取得を開始する。そしてＣＰＵ２０１は、音声情報テーブル５００の録音開始日時列５０１に、録音開始日時として、現在の日時を記録する。またＣＰＵ２０１は、音声データをファイルとしてストレージ２０５に記録し始める。このときＣＰＵ２０１は、その音声データのファイル名を、音声情報テーブル５００の録音データ列５０３に記録する。尚、録音開始日時は、会議開始日時に相当する。ＣＰＵ２０１は音声情報テーブル５００をストレージ２０５に記録する。この時、ＣＰＵ２０１は、録音終了日時（会議終了日時に相当する）を空白で初期化して記録する。
【００７６】
次にＳ９０３に進みＣＰＵ２０１は、会議サーバ１０２に音声データのストリーミング配信を開始する。次にＳ９０４に進みＣＰＵ２０１は、会議サーバ１０２に音声情報テーブル５００を含む会議情報を送信する。次にＳ９０５に進みＣＰＵ２０１は、図３（Ｃ）に示す画面３１０の議事録表示領域３１４を表示する。またＣＰＵ２０１は、後述する議事録表示領域３１４の議事テキストの会議開催日時に、録音開始日時を会議開始日時として、会議終了日時を「ｘｘ：ｘｘ」のように代替した文字列もしくは空白で表示する。
【００７７】
次にＳ９０６に進みＣＰＵ２０１は、表示担当端末情報を生成して、会議サーバ１０２に送信する。ＣＰＵ２０１は、その表示担当端末のＩＰアドレス５４１に会議装置１０１のＩＰアドレスを、表示担当端末のホスト名５４２に会議装置１０１のホスト名をそれぞれ入力した表示担当端末情報テーブル５４０を生成する。その後、ＣＰＵ２０１は、こうして生成した表示担当端末テーブル５４０を会議サーバ１０２に送信する。
【００７８】
これにより、会議サーバ１０２は表示担当端末を認識でき、且つ、会議中の音声データや画像データを含む会議情報を受信し、音声認識や文字認識を行って議事録を作成することができる。
【００７９】
図１０は、図８のＳ８０７の撮影処理を説明するフローチャートである。
【００８０】
Ｓ１００１でＣＰＵ２０１は、撮影指示がされたか否かを判定する。ここで図３（Ｄ）の画面３２０の任意箇所への指示を受け付けると撮影指示がなされたと判定してＳ１００２に遷移する。ここで撮影指示を受け付けないときはＳ１００３に遷移する。Ｓ１００２でＣＰＵ２０１は、カメラデバイス２０９により被写体を撮影して画像データを取得し、画像情報テーブル５１０にレコードを追加する。またＣＰＵ２０１は、撮影日時列５１１に撮影日時として現在の日時を記録する。またＣＰＵ２０１は、画像データをファイルとしてストレージ２０５に記録し、その画像データのファイル名を画像情報テーブル５１０の画像データ列５１２に記録する。そしてＣＰＵ２０１は画像情報テーブル５１０をストレージ２０５に記録する。Ｓ１００３でＣＰＵ２０１は、「ＯＫ」ボタン３２１による撮影終了指示がされたか否かを判定し、「ＯＫ」ボタン３２１が押下されて撮影終了が指示されるとＳ１００４に遷移する。「ＯＫ」ボタン３２１が押下されないときは撮影処理を継続するためにＳ１００１に進む。Ｓ１００４でＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。そしてＳ１００２で更新した画像情報テーブル５１０を含む会議情報を会議サーバ１０２に送信する。次にＳ１００５に進みＣＰＵ２０１は、Ｓ１００２で撮像した画像データを会議サーバ１０２に送信する。
【００８１】
これにより会議装置１０１は、撮影して得られた画像データとその撮影日時を画像情報テーブル５１０に記録するとともに、撮像した画像データを会議サーバ１０２に送信することができる。
【００８２】
図１１は、図８のＳ８０９のアジェンダ変更処理を説明するフローチャートである。
【００８３】
Ｓ１１０１でＣＰＵ２０１は、図３（Ｅ）の画面３３０で「開始」ボタン３３２が押下されてアジェンダの開始指示がされたか否かを判定し、そうであればＳ１１０２に遷移し、そうでないときはＳ１１０３に遷移する。尚、Ｓ１１０２で開始し、且つ、Ｓ１１０４で終了していないアジェンダがある場合はＳ１１０１ではＮＯと判定する。
【００８４】
Ｓ１１０２でＣＰＵ２０１は、新しいアジェンダの処理を開始し、アジェンダ情報テーブル５２０にレコードを追加する。ここでＣＰＵ２０１は、アジェンダ開始日時列５２１に、アジェンダ開始日時として現在の日時を記録し、アジェンダ情報テーブル５２０をストレージ２０５に記録する。このときアジェンダ終了日時は、空白で初期化して記録する。
【００８５】
一方、Ｓ１１０３でＣＰＵ２０１は、「終了」ボタン３３３が押下されて、アジェンダ処理の終了指示がなされたか否か判定し、そうであればＳ１１０４に遷移し、そうでないときはＳ１１０６に処理を進める。尚、Ｓ１１０２で開始されて、且つ、Ｓ１１０４で終了していないアジェンダがない場合には、Ｓ１１０３ではＮＯと判定する。Ｓ１１０４でＣＰＵ２０１は、現在のアジェンダに対する処理を終了する。このときＣＰＵ２０１は、アジェンダ情報テーブル５２０のアジェンダ終了日時列５２２に、アジェンダ終了日時として現在の日時を記録する。また、図３（Ｅ）の画面３３０のテキストフィールド３３１に入力されたアジェンダ名を、アジェンダ名列５２３に記録する。そしてＣＰＵ２０１はアジェンダ情報テーブル５２０をストレージ２０５に記録してＳ１１０５に遷移する。Ｓ１１０５でＣＰＵ２０１は、Ｓ１１０２，Ｓ１１０４で更新したアジェンダ情報テーブル５２０を含む会議情報を会議サーバ１０２に送信してＳ１１０６に処理を進める。Ｓ１１０６でＣＰＵ２０１は、画面３３０で「ＯＫ」ボタン３３５が押下されて、アジェンダ変更の終了指示がされたか否を判定する。アジェンダ変更の終了指示があれば、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に表示させて、この処理を終了し、アジェンダ変更の終了指示がなければＳ１１０１に遷移する。
【００８６】
これにより会議装置１０１は、画面３３０で入力されたアジェンダ名を新たなアジェンダ名として、そのアジェンダの開始日時とともに記録し、それを会議サーバ１０２に送信することができる。
【００８７】
図１２は、図８のＳ８１１の表示担当端末の変更処理を説明するフローチャートである。
【００８８】
Ｓ１２０１でＣＰＵ２０１は、図３（Ｇ）の画面３６０で「変更」ボタン３６３が押下されて、表示担当端末の変更指示がなされたか否か判定し、そうであればＳ１２０２に処理を進め、そうでないときはＳ１２０３に処理を進める。Ｓ１２０２でＣＰＵ２０１は、画面３６０でで入力された表示担当端末の端末情報を会議サーバ１０２に送信する。このときＣＰＵ２０１は、表示担当端末ＩＰアドレス５４１にテキストフィールド３６１に入力されたＩＰアドレスを、表示担当端末ホスト名５４２にテキストフィールド３６２に入力されたホスト名をそれぞれ入力した表示担当端末情報テーブル５４０を生成する。その後、ＣＰＵ２０１は、その生成した表示担当端末テーブル５４０を会議サーバ１０２に送信し、画面３１０の表示画像データを生成して表示デバイス２０７に表示させる。
【００８９】
一方、Ｓ１２０３でＣＰＵ２０１は、「戻る」ボタン３６４への指示を受け付けて、表示担当端末の変更指示の終了が指示されたか否かを判定し、「戻る」ボタン３６４への指示を受け付けると、画面３１０の表示画像データを生成して表示デバイス２０７に表示させて、この処理を終了する。また「戻る」ボタン３６４への指示を受け付けなければＳ１２０１に遷移する。
【００９０】
これにより会議装置１０１は、画面３１０の「表示担当端末情報」ボタン３１７の押下に応じて、変更された表示担当端末のＩＰアドレスとホスト名を表示担当端末情報テーブル５４０に記録し、それを会議サーバ１０２に送信して確認させることができる。
【００９１】
図１３と図１４を参照して、会議装置１０１が行う議事録の表示更新処理について説明する。
【００９２】
図１３は、実施形態に係る議事録の概要を示す図である。
【００９３】
議事録１３００は、議事を示す議事テキスト１３１０と貼付画像データ群１３２０とを含んでいる。議事テキスト１３１０には、１つの会議開催日時１３１１と、１つ以上のアジェンダ１３１２と、そのアジェンダに対応するアジェンダ毎の議事テキスト１３１３が含まれる。会議開催日時１３１１は、音声情報テーブル５００の録音開始日時列５０１の録音開始日時（会議開始日時）と、録音終了日時列５０２の録音終了日時（会議終了日時）から生成される。録音が終了していない場合は、録音終了日時を「ｘｘ：ｘｘ」のように代替した文字列もしくは空白としてよい。尚、日時を表記するフォーマットは、図１３の表記に限定されるものではない。アジェンダ１３１２は、要約情報テーブル７００のアジェンダ名列７０１に記録されているアジェンダ名である。アジェンダ毎議事テキスト１３１３は、要約情報テーブル７００のアジェンダ名列７０１に記録されているアジェンダ名に対応する要約テキスト列７０２に記録されている１つ以上の要約テキストである。
【００９４】
貼付画像データ群１３２０は、画像情報テーブル５１０に含まれる画像データを含む。図１３は、議事録１３００の表示が更新される様子の一例を示している。
【００９５】
図１３（Ａ）は、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１３３１を受信した場合の表示例である。要約情報テーブル１３３１は、要約区間６２５で会議テキストを要約した結果、得られたものである。議事テキスト１３１０には、会議開催日時１３１１と、要約情報テーブル１３３１に記録されたアジェンダ名がアジェンダ１３１２として表示される。また、そのアジェンダに対応する要約テキスト１３４１が、アジェンダ１３１２のアジェンダ毎議事テキスト１３１３として表示されている。また、貼付画像データ群１３２０には、要約区間６２５で撮像された画像データが表示されている。
【００９６】
図１３（Ｂ）は、図１３（Ａ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１３３２を受信した場合の表示例である。要約情報テーブル１３３２は、要約区間６２６で会議テキストを要約した結果を追加したものである。図１３（Ａ）に対する差分として、要約情報テーブル１３３２に追加された要約テキスト１３４２が、アジェンダ毎の議事テキスト１３１３に追記して表示されている。
【００９７】
図１３（Ｃ）は、図１３（Ｂ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１３３３を受信した場合の表示例を示す。要約情報テーブル１３３３は、要約区間６２７で会議テキストを要約した結果を追加したものである。図１３（Ｂ）に対する差分として、要約情報テーブル１３３３に追加記録されたアジェンダ名が、アジェンダ１３１４として表示され、そのアジェンダ１３１４に対応するアジェンダ毎議事テキスト１３４３が、要約テキスト１３１５として表示されている。また、貼付画像データ群１３２０には、要約区間６２７で撮像された画像データが追加で表示されている。
【００９８】
図１３（Ｄ）は、図１３（Ｃ）の表示後に続いて、ＣＰＵ２０１が会議サーバ１０２から要約情報テーブル１３３４を受信した場合の表示例を示す。要約情報テーブル１３３４は、要約区間６２８で会議テキストを要約した結果を追加したものである。図１３（Ｃ）に対する差分として、アジェンダ１３１４に対応する要約テキスト１３４４が、アジェンダ毎の議事テキスト１３１５に追加して表示されている。また貼付画像データ群１３２０には、要約区間６２８で撮像された画像データが追加して表示されている。
【００９９】
図１３（Ｅ）は、図１３（Ｄ）の画面１３００が表示された後、アジェンダ毎議事テキスト１３１５の記載を修正して、アジェンダ毎議事テキスト１３１６に更新した画面の例を示す。アジェンダ毎議事テキスト１３１５の「○○担当はＣさんにお願いする」という記録が、アジェンダ毎議事テキスト１３１６では「○○担当はＥさんにお願いする」に変更されている。
【０１００】
図１４は、図８のＳ８１４の議事録の表示更新処理を説明するフローチャートである。
【０１０１】
先ずＳ１４０１でＣＰＵ２０１は、アジェンダの更新があるか否かを判定する。ここではＣＰＵ２０１は、ストレージ２０５からアジェンダ情報テーブル５２０を読み出して、未表示の開始済アジェンダがある場合は、アジェンダの更新があると判定してＳ１４０２に進む。一方、未表示の開始済みアジェンダが存在しなければ、アジェンダの更新がないと判定してＳ１４０５に遷移する。ここで開始済アジェンダとは、アジェンダ開始日時が現在の日時より前のアジェンダである。Ｓ１４０２でＣＰＵ２０１は、次のＳ１４０３で未表示の開始済アジェンダのアジェンダ名を表示するためのアジェンダの表示領域を追加する。そしてＳ１４０３に進みＣＰＵ２０１は、Ｓ１４０２で追加したアジェンダの表示領域（例えば図１３（Ｃ）の１３１４）に、未表示の開始済アジェンダのアジェンダ名を表示する。そしてＳ１４０４に進みＣＰＵ２０１は、アジェンダ毎の議事テキストを表示するためのアジェンダ毎議事テキストの表示領域を追加する。そして、その追加したアジェンダ毎議事テキストの表示領域（例えば図１３（Ｃ）の１３１５）に、アジェンダ毎議事テキストを表示するよう設定する。
【０１０２】
次にＳ１４０５に進みＣＰＵ２０１は、会議サーバ１０２から要約情報テーブル７００を受信したか否かを判定する。ここで受信していればＳ１４０６に遷移し、そうでないときはＳ１４０８に遷移する。Ｓ１４０６でＣＰＵ２０１は、アジェンダ毎議事テキストを更新すべきが否か判定する。ここでは、会議サーバ１０２から受信した要約情報テーブル７００の要約テキスト列７０２に記録された要約テキストの中で、アジェンダ毎議事テキストに未追加の要約テキストがあれば更新すべきと判定してＳ１４０７に進む。一方、そうでないときはＳ１４０８に進む。Ｓ１４０７でＣＰＵ２０１は、アジェンダ毎議事テキストの表示領域に、会議サーバ１０２から受信した要約情報テーブル７００の要約テキスト列７０２に記録された要約テキストの内、アジェンダ毎議事テキストに未追加の要約テキストを追加して表示する。そしてＣＰＵ２０１は、受信した要約情報テーブル７００をストレージ２０５に記録する。
【０１０３】
次にＳ１４０８に進みＣＰＵ２０１は、画像データの表示を更新するか否かを判定する。ここでＣＰＵ２０１は、ストレージ２０５に記録された画像情報テーブル５１０を読み出し、現在の日時以前に撮影された未表示の画像データがあるかどうか判定する。未表示の画像データがあればＳ１４０９に進み、そうでないときはＳ１４１０に進む。Ｓ１４０９でＣＰＵ２０１は、未表示の画像データをストレージ２０５から読み出して貼付画像データ群１３２０として表示してＳ１４１０に進む。Ｓ１４１０でＣＰＵ２０１は、ネットワーク１０３を経由して会議サーバ１０２に保存してある表示担当端末情報テーブル５４０を取得する。次にＳ１４１１に進みＣＰＵ２０１は、Ｓ１４１０で取得した表示担当端末情報テーブル５４０に記憶されている表示情報端末のＩＰアドレス及びホスト名が、自身のＩＰアドレス及びホスト名と一致するか否かを判定する。ここで一致すると判定したときはＳ１４１２に進み、そうでないときはＳ１４１３に遷移する。尚、このＳ１４１１において、ＣＰＵ２０１がＮｏと判定するケースとして、情報端末１０４とは異なる情報端末の画面から、その情報端末１０４とは異なる情報端末を表示担当端末に設定した場合などが考えられる。Ｓ１４１２でＣＰＵ２０１は、図３（Ｂ）の画面３１０の「議事録編集」ボタン３１５を有効化し、ユーザによる入力を受け付けられる状態にして、この処理を終了する。一方、Ｓ１４１３でＣＰＵ２０１は、画面３１０の「議事録編集」ボタン３１５を無効化し、ユーザによる入力を受け付けない状態にして、この処理を終了する。
【０１０４】
これにより会議装置１０１は、新たなアジェンダを受け取ると、それに対応する議事テキストを取得し、その新たなアジェンダに対応付けて表示することができる。また会議装置１０１は、会議サーバ１０２から受信した表示情報端末情報に基づいて、自身が表示担当端末かどうか判断し、その判断結果に応じて、「議事録編集」ボタン３１５を有効化するか、無効化することができる。
【０１０５】
図１５は、図８のＳ８０５の会議終了処理を説明するフローチャートである。
【０１０６】
Ｓ１５０１でＣＰＵ２０１は、マイクデバイス２１０による会議の録音を終了する。このときＣＰＵ２０１は、音声情報テーブル５００の録音終了日時列５０２に、録音終了日時として現在の日時を記録する。尚、このとき、アジェンダ情報テーブル５２０に、アジェンダ終了日時列５２２に終了日時が記録されていないレコードがあれば、現在の日時をアジェンダ終了日時列５２２に記録する。そしてＣＰＵ２０１は、更新後の音声情報テーブル５００及びアジェンダ情報テーブル５２０をストレージ２０５に記録する。次にＳ１５０２に進みＣＰＵ２０１は、会議サーバ１０２への音声データのストリーミング配信を終了する。次にＳ１５０３に進みＣＰＵ２０１は、Ｓ１５０１で記録した録音終了日時列を、会議開催日時１３１１の終了日時に反映する。次にＳ１５０４に進みＣＰＵ２０１は、会議終了確定指示がなされたか否かを判定する。ここでは図３（Ｆ）の画面３４０のテキストフィールド３４１に配信先が入力され、かつ「ＯＫ」ボタン３４２への指示を受け付けるとＹＥＳと判定してＳ１５０５に進む。ここでテキストフィールド３４１に配信先が入力されていないか、或いは「ＯＫ」ボタン３４２への指示を受け付けなければＮＯと判定し、再度Ｓ１５０４の処理を行う。Ｓ１５０４でＣＰＵ２０１は、テキストフィールド３４１に入力された配信先を配信先情報テーブル５３０に記録する。そしてＳ１５０５に進みＣＰＵ２０１は、更新後の会議情報を会議サーバ１０２に送信する。このとき会議情報や議事録ファイルをストレージ２０５から削除してよい。そしてＣＰＵ２０１は、図３（Ａ）の画面３００の表示画像データを生成して表示デバイス２０７に表示させる。
【０１０７】
これにより会議装置１０１は、会議の終了操作に応じて、会議の録音を終了して録音終了日時、会議の終了日時を更新した後、会議情報を会議サーバ１０２に送信して、会議処理を終了することができる。
【０１０８】
図１６は、図８のＳ８１３の議事録編集処理を説明するフローチャートである。
【０１０９】
Ｓ１６０１でＣＰＵ２０１は、音声データのストリーム配信を停止する。次にＳ１６０２に進みＣＰＵ２０１は、入力デバイス２０６で入力を受け付けた否かを判定する。ここでは例えば、ポインティングデバイスやタッチパネルからの座標指定やキーボードからのキー入力を受け付けたか否か判定する。ここで入力を受け付けたと判定するとＳ１６０３に進み、そうでないときはＳ１６０４に遷移する。Ｓ１６０３でＣＰＵ２０１は、受け付けた入力に応じて議事録を編集する。ここで編集とは、指定された座標への文字入力や文字の削除などである。そしてＳ１６０４でＣＰＵ２０１は、議事録編集の終了の指示がなされたか否かを判定する。ここで「議事録編集」ボタン３１５が押下されたときは終了指示と判定してＳ１６０５に遷移する。このときＣＰＵ２０１は、画面３１０の議事録表示領域３１４に対して入力デバイス２０６で入力を受け付けないようにする。一方、「議事録編集」ボタン３１５の押下が無いときはＳ１６０２に進む。
【０１１０】
Ｓ１６０５でＣＰＵ２０１は、ストレージ２０５から要約情報テーブル７００を読み出し、Ｓ１６０３で編集した内容を、要約情報テーブル７００の要約テキスト列７０２に反映する。そしてＳ１６０６に進みＣＰＵ２０１は、Ｓ１６０５で編集内容を反映した要約情報テーブル７００を会議サーバ１０２に送信する。そしてＳ１６０７に進みＣＰＵ２０１は、音声ストリーム配信を再開して、この処理を終了する。
【０１１１】
これにより会議装置１０１は、議事録表示領域３１４に表示されている議事録の内容に対する入力デバイス２０６を介した入力を受け付けて、その表示されている議事録の内容を編集することができる。そして議事録が編集されると、その編集内容を要約情報テーブル７００の要約テキスト列７０２に反映し、編集内容を反映した要約情報テーブル７００を会議サーバ１０２に送信することができる。
【０１１２】
次に、実施形態に係る情報端末１０４の基本処理について説明する。
【０１１３】
図１７は、実施形態に係る情報端末１０４の基本処理を説明するフローチャートである。ユーザが情報端末１０４の入力デバイス２７６を操作して情報端末プログラムを起動すると、ＣＰＵ２７１は、ストレージ２７５に記録されている情報端末プログラムを読み込む。そして、そのプログラムをＲＡＭ２７４に展開して実行することにより、情報端末１０４は議事録情報の閲覧や編集処理を行うことが可能となる。またＣＰＵ２７１は、図４（Ａ）の画面４００の表示画像データを生成して表示デバイス２７７に表示させる。
【０１１４】
この情報端末１０４は、前述の会議装置１０１と同様に、議事録の編集処理、及び、自身を表示担当端末に設定する機能を有している。
【０１１５】
まずＳ１７０１でＣＰＵ２７１は、画面４００の「議事録表示開始」ボタン４０１が押下されて、議事録の表示開始指示がされたか否かを判定する。開始指示を受付けるとＳ１７０２に進みＣＰＵ２７１は、図４（Ｂ）の画面４１０の表示画像データを生成して表示デバイス２７７に表示させる。「議事録表示開始」ボタン４０１が押下されないときは再度、Ｓ１７０１の処理を行う。Ｓ１７０２でＣＰＵ２７１は、議事録の表示開始処理を行う。
【０１１６】
次にＳ１７０３に進みＣＰＵ２７１は、図４（Ｃ）の画面４２０で「議事録表示終了」ボタン４２１が押下されたかどうか判定し、「議事録表示終了」ボタン４２１が押下されたときは、情報端末プログラムを終了させる。一方、「議事録表示終了」ボタン４２１が押下されないときはＳ１７０４に処理を進める。Ｓ１７０４でＣＰＵ２７１は、会議終了通知を受信したか否かを判定する。ここでＣＰＵ２７１は、会議サーバ１０２から会議終了通知を受信したかどうか判定し、会議終了通知を受信したときはＳ１７０５に処理を進める。一方、会議サーバ１０２から会議終了通知を受信していなければＳ１７０６に処理を進める。このとき会議終了通知を受信するとＣＰＵ２７１は、図４（Ｅ）の画面４４０の表示画像データを生成して表示デバイス２７７に表示させる。Ｓ１７０５でＣＰＵ２７１は、図４（Ｅ）の画面４４０で「終了」ボタン４４１が押下されると、ユーザが会議終了を承認したと判定して、この情報端末プログラムを終了させる。一方、「終了」ボタン４４１が押下されないときは、再度、Ｓ１７０５の処理を行う。
【０１１７】
Ｓ１７０６でＣＰＵ２７１は、表示担当端末の変更指示がされたか否かを判定する。図４（Ｃ）の画面４２０で、「表示担当端末情報」ボタン３１７が押下されると、表示担当端末の変更指示がされた判定してＳ１７０７に遷移する。このときＣＰＵ２７１は、図４（Ｄ）の画面４３０の表示画像データを生成して表示デバイス２７７に表示させる。Ｓ１７０６で「表示担当端末情報」ボタン３１７への指示を受け付けなければＳ１７０８に処理を進める。Ｓ１７０７でＣＰＵ２７１は、表示担当端末の変更処理を行う。この処理は図１２で説明した会議装置１０１の処理と同様であるため、その説明を省略する。この表示担当端末の変更処理が終了するとＳ１７０３に遷移する。
【０１１８】
Ｓ１７０８でＣＰＵ２７１は、「議事録編集」ボタン３１５が押下されて、議事録の編集指示がなされたか否かを判定する。そうであればＳ１７０９に進む。このときＣＰＵ２７１は、画面４２０の議事録領域３１４に対して入力デバイス２７６を介した入力を受け付けるようにする。Ｓ１７０８で「議事録編集」ボタン３１５への指示がなければＳ１７１０に遷移する。Ｓ１７０９でＣＰＵ２７１は、議事録の編集処理を行う。この処理は図１６を参照して説明した会議装置１０１の処理と同様であるため、その説明を省略する。その後、Ｓ１７０３に遷移する。
【０１１９】
Ｓ１７１０でＣＰＵ２７１は、議事録の表示更新処理を行う。この処理は図１４に示した処理と次の点を除いて同様である。図１４のＳ１４０９において、会議装置１０１のＣＰＵ２０１は、Ｓ１４０８において、ストレージ２０５に記録された画像情報テーブル５１０を読み出して未表示の画像データの有無を判定し、未表示の画像データをストレージ２０５から読み出して貼付画像データ群１３２０として表示している。
【０１２０】
一方、Ｓ１７１０でＣＰＵ２７１は、図１４のＳ１４０９に対応する処理として、ストレージ２７５に記録された画像情報テーブル５１０を読み出して未表示の画像データの有無を判定し、未表示の画像データを会議サーバ１０２のストレージ２５５から取得して貼付画像データ群１３２０として表示する。こうしてＣＰＵ２７１は、議事録の表示更新処理を行った後、Ｓ１７０３に処理を進める。
【０１２１】
これにより情報端末１０４は、前述の会議装置１０１と同様に、議事録の編集処理を行うことができ、またその編集した議事録を会議サーバ１０２に送信して表示させることもできる。また、自身を表示担当端末として設定することもできる。
【０１２２】
次に、会議サーバ１０２の基本処理について説明する。
【０１２３】
図１８は、実施形態に係る会議サーバ１０２の基本処理を説明するフローチャートである。会議サーバ１０２が起動すると、ＣＰＵ２５１は、ストレージ２５５に記録されている会議サーバプログラムを読み込む。そして、そのプログラムをＲＡＭ２５４に展開して実行することにより、会議サーバ１０２は議事録生成処理を実行することが可能となる。
【０１２４】
Ｓ１８０１でＣＰＵ２５１は、会議装置１０１から会議開始通知を受信したか否かを判定する。受信するとＳ１８０２に処理を進め、そうでないときはＳ１８０１に戻る。Ｓ１８０２でＣＰＵ２５１は、レコードを持たないよう初期化した会議情報を生成し、更新前の会議情報としてストレージ２５５に記憶する。また、要約処理を実行した日時を意味する要約実行日時の値に現在の日時を設定した後、要約処理実行日時をストレージ２５５に記憶する。次にＳ１８０３に進みＣＰＵ２５１は、音声データのストリーミング受信を開始する。そしてＳ１８０４に進みＣＰＵ２５１は、会議装置１０１から要約情報テーブル７００を受信したか否かを判定する。ここで受信していればＳ１８０５に処理を進め、そうでないときはＳ１８０６に遷移する。Ｓ１８０５でＣＰＵ２５１は、会議装置１０１から受信した要約情報テーブル７００の内容を、ストレージ２５５に記憶した要約情報テーブル７００に上書きする。会議装置１０１から受信した要約情報テーブル７００とは、会議装置１０１のＣＰＵ２０１が、図１６のＳ１６０５で議事録の編集結果を反映させた要約情報テーブルである。次にＳ１８０６に進みＣＰＵ２５１は、要約情報テーブル７００の更新処理を行う。この詳細は図１９のフローチャートを参照して後述する。このときＣＰＵ２５１は、要約処理実行日時の値に要約情報テーブル７００の更新処理を実行した日時を設定してストレージ２５５に記憶する。
【０１２５】
次にＳ１８０７に進みＣＰＵ２５１は、会議装置１０１から受信した会議情報を、更新前の会議情報としてストレージ２５５に上書きして記憶する。そしてＳ１８０８に進みＣＰＵ２５１は、表示担当端末情報を受信したか否かを判定する。ここで会議装置１０１又は情報端末１０４から送信された表示担当端末情報テーブル５４０を受信していれば、受信したと判定してＳ１８０９に進むが、そうでないときはＳ１８１０に遷移する。Ｓ１８０９でＣＰＵ２５１は、表示担当端末情報を更新する。ここでＣＰＵ２５１は、会議装置１０１又は情報端末１０４から受信した表示担当端末情報テーブル５４０の内容をストレージ２５５に保存する。このとき、既に保存されていた情報がある場合は、その情報に上書きする。
【０１２６】
次にＳ１８１０に進みＣＰＵ２５１は、ストレージ２５５から会議情報に含まれる音声情報テーブル５００を読み出し、録音終了日時の情報が格納されているか否かを判定する。ここで格納されていると判定するとＳ１８１１に遷移し、格納されていないと判定するとＳ１８０４に遷移する。Ｓ１８１１でＣＰＵ２５１は、音声データのストリーミング受信を終了する。次にＳ１８１２に進みＣＰＵ２５１は、ネットワーク１０３を経由して接続されている全ての情報端末１０４に会議終了通知を送信する。次にＳ１８１３に進みＣＰＵ２５１は、図１９を参照して後述するＳ１８０６の要約情報テーブル７００の更新処理で得た画像データと要約情報テーブル７００を用いて図１３の議事録１３００の表示態様で、ＰＤＦに代表されるファイルファーマットで議事録ファイルを生成する。そしてＳ１８１４に進みＣＰＵ２５１は、ストレージ２５５に記憶された会議情報に含まれる送信先情報テーブル５３０を読み出して、その配信先を取得する。そしてＣＰＵ２５１は、Ｓ１８１３で作成した議事録ファイルを、その取得した配信先に配信する。次にＳ１８１５に進みＣＰＵ２５１は、終了指示がされたか否かを判定する。ユーザは、例えば、外部インターフェース２５８を介して、別体のＰＣから会議サーバ１０２の終了指示を行うことができる。ここで終了指示がされていれば、この処理を終了して電源オフする。一方、終了指示がなされていなければＳ１８０１に遷移する。
【０１２７】
これにより会議サーバ１０２は、鍵中、会議装置１０１から受信した音声データから議事録を作成し、その議事録を指定された配信先に送信することができる。
【０１２８】
図１９は、図１８のＳ１８０６の要約情報テーブル７００の更新処理を説明するフローチャートである。
【０１２９】
先ずＳ１９０１でＣＰＵ２５１は、会議装置１０１から会議情報を受信したか否かを判定する。会議情報を受信したと判定するとＳ１９０２に処理を進め、そうでないときはＳ１９０５に遷移する。Ｓ１９０２でＣＰＵ２５１は、ストレージ２５５から更新前の会議情報の画像情報テーブル５１０を読み出し、Ｓ１９０１で会議装置１０１から受信した会議情報の画像情報テーブル５１０と比較する。そしてＣＰＵ２５１は、Ｓ１９０１で会議装置１０１から受信した会議情報に含まれる画像情報テーブル５１０が更新されているか否かを判定する。ここで画像情報テーブル５１０が更新されていると判定するとＳ１９０３に進み、そうでないときは、この要約情報テーブルの更新処理を終了する。
【０１３０】
Ｓ１９０３でＣＰＵ２５１は、会議装置１０１から受信した画像情報に含まれる画像情報テーブル５１０の画像データ列５１２に記述された画像データの内、未受信の画像データを受信する。次にＳ１９０４に進みＣＰＵ２５１は、受信した画像データに対して文字認識を行い、記入テキストを得る。
【０１３１】
ここでＣＰＵ２５１は、会議情報に含まれる画像情報テーブル５１０のレコードを順に走査して、次の処理を行う。画像情報テーブル５１０のレコードは、撮影日時列５１１の値で昇順に（撮影した順に）ソートしておく。またＣＰＵ２５１は、現在参照しているレコードの画像データ列５１２が示す画像データと、一つ前のレコードの画像データ列５１２が示す画像データとの画像差分を求める。この画像差分には、一つ前のレコードに該当する撮影から、現在参照しているレコードに該当する撮影までの間に、ユーザが記入した文字が含まれる部分画像と見なすことができる。この部分画像に対して文字認識を行い、記入テキストを得る。また、現在参照しているレコードの撮影日時列５１１の撮影日時を、その画像差分が発生した日時、即ち、ユーザによる記入の記入日時とする。このようにして得た画像差分（記入）毎に、記入情報テーブル６１０（図６（Ｂ））にレコードを生成する。そして、該当する記入日時と記入テキストを、それぞれ記入日時列６１１と記入テキスト列６１２に記録してＳ１９０６に進む。
【０１３２】
Ｓ１９０１でＣＰＵ２５１は、会議情報を受信していないと判定するとＳ１９０５に進みＣＰＵ２５１は、受信した音声データに対して音声認識を行って発話テキストを得る。このときＣＰＵ２５１は、音声データを先頭から走査して次の処理を行う。ＣＰＵ２５１は、音声データ中の無音区間を検出する。無音区間の検出は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて無音区間を検出する。ある無音区間と次の無音区間の間の区間を発話区間とする。ＣＰＵ２５１は、個々の発話区間について、音声認識を行って発話テキストを得る。またＣＰＵ２５１は、会議情報の音声情報テーブル５００の録音開始日時列５０１の録音開始日時と、各発話区間の音声データの先頭からの経過位置とから、各発話区間の発話日時を計算する。このようにして得た発話区間毎に発話情報テーブル６００にレコードを生成する。そしてＣＰＵ２５１は、該当する発話日時と発話テキストとを、それぞれ発話日時列６０１と発話テキスト列６０２に記録する。Ｓ１９０５でＣＰＵ２５１は、１つの発話区間に対して発話テキストを得るものとする。１つの発話区間の発話終了日時をストレージ２５５に記憶しておき、再度、Ｓ１９０５の処理を実行する際には、ストレージ２５５から読み出した発話終了日時から音声データに対する処理を行うものとする。
【０１３３】
次にＳ１９０６に進みＣＰＵ２５１は、発話テキストと記入テキストとを統合して会議テキストを得る。即ち、ＣＰＵ２５１は、Ｓ１９０５で生成した発話情報テーブル６００とＳ１９０４で生成した記入情報テーブル６１０とを統合して、会議テキスト情報テーブル６２０を生成する。
【０１３４】
具体的には、ＣＰＵ２５１は次の処理を行う。ＣＰＵ２５１は、発話情報テーブル６００に含まれるレコードの数だけ会議テキスト情報テーブル６２０にレコードを追加する。このとき、ＣＰＵ２５１は、発話日時列６０１の発話日時を、会議テキストが発生した日時として発生日時列６２１に記憶し、発話テキスト列６０２の発話テキストを、会議テキストとして会議テキスト列６２２に記録する。区分列６２３には、元のデータが発話情報であったことを示す「０」が記憶される。またＣＰＵ２５１は、記入情報テーブル６１０に含まれるレコードの数だけ会議テキスト情報テーブル６２０にレコードを追加する。このときＣＰＵ２５１は、記入日時列６１１の記入日時を、会議テキストが発生した日時として発生日時列６２１に記憶し、記入テキスト列６１２の記入テキストを、会議テキストとして会議テキスト列６２２に記録する。このとき区分列６２３には、元のデータが記入情報であったことを示す「１」が記憶される。ＣＰＵ２５１は、このようにして追加したレコードを発生日時列６２１の値で昇順（発生した順）にソートする。
【０１３５】
次にＳ１９０７に進みＣＰＵ２５１は、Ｓ１９０６で生成した会議テキストから要点を抽出する。ここでＣＰＵ２５１は、会議テキスト情報テーブル６２０に追加したレコードそれぞれについて、会議テキスト列６２２の会議テキストが要点であるか否かを判定する。これは例えば、会議テキストが予め決定した特定のキーワードを含むならば要点であると判定する。特定のキーワードとして、例えば「決定事項」、「アクションアイテム」、「宿題」などを使用するようにすればよい。ＣＰＵ２５１は、要点である場合には、要点列６２４に「１」を記録し、そうでない場合は「０」を記録する。
【０１３６】
次にＳ１９０８に進みＣＰＵ２５１は、要点を新規に抽出したか否かを判定する。ここで新規に抽出したと判定した場合はＳ１９０９に処理を進め、新規に抽出しなかったと判定した場合は、この要約情報テーブル７００の更新処理を終了する。Ｓ１９０９でＣＰＵ２５１は、Ｓ１９０６で生成した会議テキストを要約する。このときまずＣＰＵ２５１は、ストレージ２５５から要約処理の実行日時を読み出す。またＣＰＵ２５１は、ストレージ２５５に記憶したアジェンダ情報テーブル５２０を読み出し、アジェンダ情報テーブル５２０のレコードを順に走査して、次の処理を行う。アジェンダ情報テーブル５２０のレコードは、アジェンダ開始日時列５２１の値で昇順（アジェンダの開始順）にソートしておく。ＣＰＵ２５１は、現在参照しているレコードのアジェンダ開始日時列５２１のアジェンダ開始日時から、アジェンダ終了日時列５２２のアジェンダ終了日時までの区間で要約処理実行日時以降に存在する要約区間（図６（Ｃ）参照）を得る。そして、会議テキスト情報テーブル６２０から発生日時列６２１の値が、当該要約区間に該当するレコード群を抽出する。ＣＰＵ２５１は、それらレコード群の会議テキスト列６２２のテキストを要約して要約テキストを生成する。この要約テキストを生成する処理は図２０のフローチャートを参照して後述する。そしてＣＰＵ２５１は、要約情報テーブル７００にレコードを追加して、生成した要約テキストを要約テキスト列７０２に記録する。また、ＣＰＵ２５１は、アジェンダ情報テーブル５２０のレコードのアジェンダ名列５２３のアジェンダ名を、要約情報テーブル７００に追加したレコードのアジェンダ名７０１に記録する。そしてＳ１９１０に進みＣＰＵ２５１は、Ｓ１９０９で更新した要約情報テーブル７００を会議装置１０１に送信する。
【０１３７】
これにより会議サーバ１０２は、会議装置１０１から受信した会議情報に基づいて、記入テキスト或いは発話テキスト取得し、それらテキストから、会議中に発生したテキストを取得できる。そして、その会議テキストから要点を抽出した要約テキストを作成して要約情報テーブル７００に登録し、それを会議装置１０１に送信することができる。
【０１３８】
図２０は、実施形態に係る会議サーバ１０２による、図１９のＳ１９０９の会議テキストの要約処理を説明するフローチャートである。
【０１３９】
図２０（Ａ）は、要約テキスト生成処理の一例を説明するフローチャートである。この処理にあたって、会議テキスト情報テーブル６２０の複数のレコードが入力されてくる。
【０１４０】
先ずＳ２００１でＣＰＵ２５１は、入力されたレコード全てを参照し、会議テキスト列６２２の会議テキストに出現する単語それぞれについて、その重要度を算出する。これは、例えば、各単語の出現頻度に基づいて算出できる。ここでは、出現頻度が高い単語ほど重要度を高いとし、重要度は、例えば値で表現される。次にＳ２００２に進みＣＰＵ２５１は、入力された各レコードの会議テキスト列６２２の会議テキストについて、それぞれその重要度を算出する。ここでは、Ｓ２００１で算出した各単語の重要度を参照し、それぞれの会議テキストに含まれる各単語の重要度の合計値を算出することで、その会議テキストの重要度の値を決定する。次にＳ２００３に進みＣＰＵ２５１は、重要度が閾値以上の会議テキストを抽出する。そしてこれらを結合して要約テキストを得る。そして、本処理の結果として、処理呼び出し元にこれを返す。
【０１４１】
尚、会議テキストの要約の手法は、図２０（Ａ）で説明したものに限定されない。例えば、会議において、ホワイトボードなどの記入媒体に、論点や重要な意見を記載する場合がある。これらの内容は通常、議事として重要なので、記入媒体から得た記入テキストを要約テキストに優先的に反映するようにしてもよい。例えば、Ｓ２００３でＣＰＵ２５１は、入力されたレコードの区分列６２３の値を確認する。そして、その値が「１」（元が記入情報）ならば、その重要度が閾値以上か否かに関わらず、そのレコードの会議テキスト列６２２の会議テキストを、要約テキストの一部として抽出するようにしてもよい。
【０１４２】
また、記入テキストを要約テキストに優先的に反映する処理の例として、次のように要約テキスト生成処理を実行してもよい。図２０（Ｂ）は、会議テキストの要約生成処理の別の例を示したフローチャートである。図２０（Ａ）の処理と同様に、図２０（Ｂ）の処理にあたって、会議テキスト情報テーブル６２０における複数のレコードが入力されてくる。
【０１４３】
先ずＳ２０１１でＣＰＵ２５１は、入力されたレコードのうち、区分レコードが「１」（元は記入情報）のレコードを参照して、会議テキスト列６２２の会議テキストに含まれる単語のリスト（以降「記入単語リスト」）を作成する。次にＳ２０１２に進みＣＰＵ２５１は、前述のＳ２００１と同様の処理を行って、会議テキストに出現する各単語の重要度を算出する。次にＳ２０１３に進みＣＰＵ２５１は、図２０（Ａ）のＳ２００２と同様の処理を行って、会議テキスト列６２２の会議テキストのそれぞれ重要度を算出する。次にＳ２０１４に進みＣＰＵ２５１は、Ｓ２０１１で作成した記入単語リストを参照して、Ｓ２０１３で算出した会議テキストの重要度を更新する。即ち、ＣＰＵ２５１は、入力された各レコードの会議テキスト列６２２の会議テキストについて、記入単語リストの単語を含む場合は、その会議テキストの重要度にバイアス（重み付け）を加え、例えば重要度の値を大きくする。その際ＣＰＵ２５１は、記入単語リストの単語を含む数に応じて重み付けを大きくしてもよい。そしてＳ２０１５に進みＣＰＵ２５１は、Ｓ２００３と同様の処理を行って、重要度が閾値以上の会議テキストを抽出する。
【０１４４】
尚、Ｓ２０１４でＣＰＵ２５１は、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにし、Ｓ２０１５で、その会議テキストが要約テキストの一部として必ず抽出されるようにしてもよい。この場合、会議テキストの内、記入テキストから生成されたテキストは、全て抽出されることになる。
【０１４５】
またＣＰＵ２５１は、Ｓ１９０９で会議テキストを要約して要約テーブル７００を生成する際、会議テキストテーブル６２０の会議テキスト列６２２の会議テキストから、予め定めた所定の単語を含む会議テキストを全て抽出してもよい。
【０１４６】
以上説明したように実施形態によれば、会議サーバ１０２は、音声データの音声認識を行うことにより発話テキストを生成し、画像データの文字認識を行うことにより記入テキストを生成する。そして会議サーバ１０２は、発話テキストと記入テキストを統合して会議テキストを生成する。更に、会議サーバ１０２は、会議テキストから要点区間ごとに要約テキストを生成し、生成した要約テキストをリアルタイムで表示することができる。
【０１４７】
尚、上記実施形態では、要約区間を、一つのアジェンダの開始から最初の要点を検出するまでの区間、或いは１つの要点を検出してから次の要点を検出するまでの区間としていたが、他の区間を設定してもよい。例えば、一つのアジェンダの開始から終了までを要点区間としてもよい。
【０１４８】
また実施形態によれば、会議の参加者は、会議での発話量が多くても議事録を視認しやすいため、議事録をリアルタイムに参照しながら会議を進行できる。
【０１４９】
尚、上記実施形態では、ネットワークに接続された複数の情報端末のいずれからも情報端末の画面から表示担当端末を設定できるが、本発明は、これに限定されない。例えば、表示担当端末に設定された情報端末からのみ、他の情報端末に表示担当端末を変更できるようにしてもよい。例えば、予め会議サーバに表示担当端末に設定可能な情報端末のリストを記録しておき、情報端末から受信した表示担当端末情報と、その情報端末リストを照合して、情報端末を表示担当端末に設定するか否かを判定してもよい。
【０１５０】
また会議予約システムに表示担当端末を予め登録しておき、会議開始時に、その会議システムから、情報端末が表示担当端末情報を取得するようにしてもよい。
【０１５１】
実施形態によれば、表示担当端末として設定されている情報端末からのみ議事録の編集を行えるので、議事録の編集時において、会議参加者全員が編集内容を確認できる会議システムを提供することができる。
【０１５２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５３】
本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
【符号の説明】
【０１５４】
１０１…会議装置、１０２…会議サーバ、１０４…情報端末、６０２…発話テキスト列、６１２…記入テキスト列、６２２…会議テキスト列、７０２…要約テキスト列
【図１】
2019161409.tif 000003
【図２】
2019161409.tif 000004
【図３】
2019161409.tif 000005
【図４】
2019161409.tif 000006
【図５】
2019161409.tif 000007
【図６】
2019161409.tif 000008
【図７】
2019161409.tif 000009
【図８】
2019161409.tif 000010
【図９】
2019161409.tif 000011
【図１０】
2019161409.tif 000012
【図１１】
2019161409.tif 000013
【図１２】
2019161409.tif 000014
【図１３】
2019161409.tif 000015
【図１４】
2019161409.tif 000016
【図１５】
2019161409.tif 000017
【図１６】
2019161409.tif 000018
【図１７】
2019161409.tif 000019
【図１８】
2019161409.tif 000020
【図１９】
2019161409.tif 000021
【図２０】
2019161409.tif 000022