(57)【要約】      （修正有）【課題】会議中に発生した音声や画像などのデータを関連づけてレイアウトする装置を提供する。【解決手段】テキストデータ及び画像データを含む複数の議事ページ群からなる議事録１１００では、会議中に発生した音声データを音声認識したテキストと、画像データを記憶し、一つの会議を時刻情報に基づいて複数の区間に分割して、同じ区間内に発生した音声データと画像データとを対応づけをしてレイアウト１１２０（１１２１）を作成する。【選択図】図１１
2019149083.tif 000002
【特許請求の範囲】
【請求項１】
会議において発生した会議情報の中の音声データから生成されたテキストと、前記音声データが発生した第１の時刻と、を取得する第１の取得手段と、
前記会議情報の中の画像データと、前記画像データが発生した第２の時刻と、を取得する第２の取得手段と、
前記テキストと、前記第１の時刻と、を記録する第１の記録手段と、
前記画像データと、前記第２の時刻と、を記録する第２の記録手段と、
前記会議を複数の区間に分割する分割手段と、
前記区間の開始時刻から終了時刻までに発生したテキストを、前記第１の記録手段に記録された前記テキストの中から、選択する第１の選択手段と、
前記区間の開始時刻から終了時刻までに発生した画像データを、前記第２の記録手段に記録された前記画像データの中から、選択する第２の選択手段と、
前記第１の選択手段が選択した前記テキストと、前記第２の選択手段が選択した前記画像データとを、対応づけてレイアウトを作成する作成手段と、を有することを特徴とする議事録生成装置。
【請求項２】
前記テキストは、前記音声データから生成された発話テキストを要約した要約テキストであることを特徴とする請求項１に記載の議事録生成装置。
【請求項３】
前記会議情報の中の画像データから生成された記入テキストと、前記画像データが発生した第３の時刻と、を取得する第３の取得手段を有し、
第１の記録手段は、前記第１の取得手段が取得した前記テキストと、前記記入テキストとを統合し、また、前記第１の時刻と前記第３の時刻とを統合して、記録することを特徴とする請求項１または２に記載の議事録生成装置。
【請求項４】
前記第１の選択手段は、さらに、前記区間の開始時刻から終了時刻までに発生した記入テキストを、前記第１の記録手段に記録された前記記入テキストの中から、選択することを特徴とする請求項３に記載の議事録生成装置。
【請求項５】
前記分割手段は、前記会議を会議状態に基づいて複数の区間に分割することを特徴とする請求項１から４のいずれか１項に記載の議事録生成装置。
【請求項６】
前記会議状態には複数の種別が定義されていることを特徴とする請求項５に記載の議事録生成装置。
【請求項７】
前記複数の種別の中からユーザによる１の種別の選択を受け付ける入力手段を有することを特徴とする請求項６に記載の議事録生成装置。
【請求項８】
会議状態の変化点を検出する検出手段を有し、前記分割手段は、前記会議状態の変化点に基づいて、前記会議を複数の区間に分割することを特徴とする請求項１から７のいずれか１項に記載の議事録生成装置。
【請求項９】
撮影手段が、前記画像データを取得することを特徴とする請求項１から８のいずれか１項に記載の議事録生成装置。
【請求項１０】
前記撮影手段が、前記画像データを自動的に取得することを特徴とする請求項９に記載の議事録生成装置。
【請求項１１】
前記第３の取得手段が取得する前記記入テキストは、前記会議情報の中から取得した第１の画像データと、前記第１の画像データを取得する前に前記会議情報の中から取得した第２の画像データとの差分から生成されることを特徴とする請求項３から１０のいずれか１項に記載の議事録生成装置。
【請求項１２】
前記第２の記録手段は、記録された前記画像データに対応づけられる区間を識別するための情報を記録し、
前記第２の選択手段は、前記区間に対応づけられた画像データを、前記第２の記録手段に記録された前記画像データの中から、選択することを特徴とする請求項１から１１のいずれか１項に記載の議事録生成装置。
【請求項１３】
前記検出手段が前記会議状態の変化点を検出すると、ユーザに対してメッセージを表示する表示手段をさらに有することを特徴とする請求項８から１２のいずれか１項に記載の議事録生成装置。
【請求項１４】
会議において発生した会議情報の中の音声データから生成されたテキストと、前記音声データが発生した第１の時刻と、を取得する第１の取得工程と、
前記会議情報の中の画像データと、前記画像データが発生した第２の時刻と、を取得する第２の取得工程と、
前記テキストと、前記第１の時刻と、を記録する第１の記録工程と、
前記画像データと、前記第２の時刻と、を記録する第２の記録工程と、
前記会議を複数の区間に分割する分割工程と、
前記区間の開始時刻から終了時刻までに発生したテキストを、前記第１の記録工程において記録された前記テキストの中から、選択する第１の選択工程と、
前記区間の開始時刻から終了時刻までに発生した画像データを、前記第２の記録工程において記録された前記画像データの中から、選択する第２の選択工程と、
前記第１の選択工程において選択された前記テキストと、前記第２の選択工程において選択された前記画像データとを、対応づけてレイアウトを作成する作成工程と、を有することを特徴とする議事録生成方法。
【請求項１５】
請求項１４の議事録生成方法をコンピュータにより実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議情報を表示する装置に関する。特に、会議中に発生した音声や画像などのデータを関連づけてレイアウトする装置に関する。
【背景技術】
【０００２】
従来、人の発話を音声認識してテキスト化するディクテーション技術がある。特許文献１には、人の発話を音声認識してテキスト化し、要約することで、議事録を生成するシステムが開示されている。また、特許文献１には、映像に含まれる文字を画像認識してテキスト化し、要約することで、議事録を生成するシステムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１０４７６２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
会議には一般的に複数のアジェンダがあり、アジェンダ毎に議論が行われる。また、議論中にはホワイトボードなどに議論の内容を書き込みながら会議が進行する場合がある。そして、会議が終了すると、会議についての議事録を作成する場合が多い。
このとき、ユーザが議論を振り返りやすいように、例えば、あるアジェンダを議論していたときに書き込まれた画像を、そのアジェンダの議論の内容を要約したテキストと対応づけてレイアウトされた議事録を生成できれば望ましい。
【０００５】
特許文献１で生成される議事録は、要約されたテキストがレイアウトされている。
しかし、特許文献１には、例えば、アジェンダ毎に要約してレイアウトした議事録を生成することは開示されていない。また、発話を要約したテキストと、その際に書き込まれた画像とを対応づけて、議事録を生成することも開示されていない。
【課題を解決するための手段】
【０００６】
本発明は、会議において発生した会議情報の中の音声データから生成されたテキストと、前記音声データが発生した第１の時刻と、を取得する第１の取得手段と、前記会議情報の中の画像データと、前記画像データが発生した第２の時刻と、を取得する第２の取得手段と、前記テキストと、前記第１の時刻と、を記録する第１の記録手段と、前記画像データと、前記第２の時刻と、を記録する第２の記録手段と、前記会議を複数の区間に分割する分割手段と、前記区間の開始時刻から終了時刻までに発生したテキストを、前記第１の記録手段に記録された前記テキストの中から、選択する第１の選択手段と、前記区間の開始時刻から終了時刻までに発生した画像データを、前記第２の記録手段に記録された前記画像データの中から、選択する第２の選択手段と、前記第１の選択手段が選択した前記テキストと、前記第２の選択手段が選択した前記画像データとを、対応づけてレイアウトを作成する作成手段と、を有することを特徴とする議事録生成装置である。
【発明の効果】
【０００７】
会議中発生した音声や画像を、区間毎に対応づけてレイアウトすることができる。
【図面の簡単な説明】
【０００８】
【図１】会議システムの構成例である。
【図２】会議装置、会議サーバ、ＰＣの構成例である。
【図３】表示デバイスに表示される画面の例である。
【図４】会議情報のデータ構成の例である。
【図５】会議情報を記録する手順を示すフローチャートである。
【図６】表示ページの変化を記録する手順を示すフローチャートである。
【図７】議事録元情報のデータ構成の例である。
【図８】議事録元情報のデータ構成の例である。
【図９】議事録を生成する手順を示すフローチャートである。
【図１０】議事録のレイアウト処理の手順を示すフローチャートである。
【図１１】生成される議事録の概要である。
【図１２】要約テキストを生成する手順を示すフローチャートである。
【図１３】会議情報記録処理の手順を示すフローチャートである。
【図１４】議事録レイアウト処理の手順を示すフローチャートである。
【図１５】差分画像を生成する例である。
【図１６】会議情報記録処理の手順を示すフローチャートである。
【図１７】撮影を促す通知の表示の例である。
【図１８】画像情報テーブルの構成の例である。
【図１９】議事録のレイアウト処理の手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施例について図面を用いて説明する。
【実施例１】
【００１０】
図１は、本実施例の会議システムの構成を示す図である。
【００１１】
会議システム１００は、会議装置１０１、会議サーバ１０２、ＰＣ１０３を備える。会議装置１０１と会議サーバ１０２は、ネットワーク１０４を介して接続される。
【００１２】
会議装置１０１は、例えば会議テーブル上のように、会議室などの会議開催場所に配置される。会議装置１０１は、会議中に発生した音声や画像など複数の種類のデータ（以下、「会議情報」と言う）を記録する。
会議装置１０１は、複数の種別の会議状態の変化点を検出し、会議情報の一部として記録する。そして、会議装置１０１は、会議情報を会議サーバ１０２に送信する。
【００１３】
なお、会議装置１０１は、例えばオフィスや所定の会場などにおいて開催される会議を記録することを想定している。しかし、本発明の「会議」は、オフィスや所定の会場などにおいて開催される狭義の会議には限定されず、複数の人物の視認／発声行動を伴うような集まりであればよい。例えば、面接や、取り調べなども、本発明の会議に含まれる。
また、本発明の「議事録」は、本発明の会議において発生した音声や画像などの会議情報を表示可能にまとめたものであればよく、会議がそうであるように、名称の如何は問わない。
【００１４】
会議サーバ１０２は、一般的なＰＣ（Personal Computer）やクラウドサーバである。
会議サーバ１０２は、会議装置１０１から会議情報を受信し、これを解析・加工して議事録を作成する。会議サーバ１０２は、会議情報に含まれる音声データを音声認識して、テキストを生成する。また、会議情報に含まれる画像データを文字認識して、テキストを生成する。
【００１５】
会議サーバ１０２は、一つの会議全体を複数の区間に分割する。このために、会議サーバは、会議情報を解析して、会議状態の変化点を検出する。そして、検出された会議状態の変化点に基づいて、一つの会議全体を複数の区間に分割する。
ここで、「会議状態」とは、例えば、会議のアジェンダ、要点（後述）、話者、表示される資料、表示される資料のページ、などの会議中に発生する各種のイベントを示すものである。そして、このように複数のイベントの種別により定義することができる。
また、「会議状態の変化点」とは、これらの会議状態の変化、すなわち、会議におけるアジェンダの変更、要点の発生、話者の変更、表示される資料の変更、表示される資料のページの更新など、が生じる時点を言う。
このように、変化点の種別には複数がある。また、それらに応じて会議の区間にも、アジェンダごと、要点ごと、話者ごと、資料ごと、資料ページごと、などの複数の種別（以下、この区間の種別を「区間種別」と言う）ごとに分割することができる。区間種別は、ユーザが選択することできる。
会議サーバ１０２は、上述した区間やテキストを含む情報から議事録を生成する。そして、作成した議事録を配信する。
【００１６】
なお、図１においては、会議システム１００は、会議装置１０１と会議サーバ１０２を一台ずつ備えているが、会議装置１０１や会議サーバ１０２を複数台備えるよう構成してもよい。
また、図１においては、会議装置１０１と会議サーバ１０２とを別離した装置として記載しているが、両装置の機能を備えた単一の装置として構成されてもよい。
【００１７】
ＰＣ１０３は、一般的なＰＣやノートＰＣである。
ＰＣ１０３は、アプリケーションプログラムを実行し、会議で参照する資料をディスプレイに表示することができる。また、プロジェクタを接続して、表示内容を投影してもよい。
ＰＣ１０３は、ユーザの指示などに応じてアプリケーションプログラムが表示している資料を変更すると、表示された資料の識別情報を会議装置１０１に送信する。識別情報としては、資料のファイル名を用いることができる。また、ＰＣ１０３は、ユーザの指示などに応じてアプリケーションプログラムが表示している資料のページを変更すると、表示画像データを会議装置１０１に送信する。
【００１８】
図２は、図１の会議装置１０１、会議サーバ１０２、ＰＣ１０３のハードウェア構成例を示すブロック図である。
図２（ａ）は、会議装置１０１のハードウェア構成例である。図２（ｂ）は、会議サーバ１０２の構成例であり、また、ＰＣ１０３のハードウェア構成例でもある。
【００１９】
図２（ａ）において、会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インターフェース２０８、カメラデバイス２０９、マイクデバイス２１０を備える。これら各部は、データバス２０３を介して、相互にデータを送受信することができる。なお、ＣＰＵは、Central Processing Unit の略称である。ＲＡＭは、Random Access Memory の略称である。ＲＯＭは、Read Only Memory の略称である。
【００２０】
ＣＰＵ２０１は、会議装置全体を制御するためのコントローラである。ＣＰＵ２０１は、不揮発メモリであるＲＯＭ２０２に格納されているブートプログラムによりＯＳ（Operating System）を起動する。ＣＰＵ２０１は、ＯＳの上で、ストレージ２０５に記録されているコントローラプログラムを実行する。コントローラプログラムは、会議装置全体を制御するプログラムである。ＣＰＵ２０１は、データバス２０３などのバスを介して各部を制御する。
ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリアなどの一時記憶領域として動作する。
ストレージ２０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議装置１０１は、会議情報を会議サーバ１０２へ送信するまでの間、ストレージ２０５に会議情報を記録する。
【００２１】
入力デバイス２０６は、タッチパネルやハードキー、マウスなどから構成される入力装置である。また、表示デバイス２０７は、ＬＣＤなどの表示装置である。入力デバイス２０６は、ユーザから操作の指示を受け付けると、指示をＣＰＵ２０１に伝達する。
表示デバイス２０７は、ＣＰＵ２０１が生成した表示画像データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示されている表示画像データとに基づいて、操作を判定する。ＣＰＵ２０１は、判定結果に応じて、会議装置１０１を制御するとともに、操作内容に応じて新たな表示画像データを生成し、表示デバイス２０７に表示させる。
【００２２】
外部インターフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。
カメラデバイス２０９は、動画や画像を撮影することができる手段である。具体的には、いわゆるデジタルカメラなどがその一例である。
マイクデバイス２１０は、入力された音声をデジタル信号化する手段である。例えば、ユーザが発話した音声を、ＷＡＶＥ形式などの音声データとして取得する。
本実施例では、マイクデバイス２１０は周囲３６０°に指向性のあるマイクアレイである。マイクアレイを用いると、周囲でなされた発話の方向を特定することができる。特定される発話方向には、それぞれを識別するために、ＩＤが付与される。発話方向を特定した結果は、ＩＤとして取得される。
【００２３】
図２（ｂ）において、会議サーバ１０２は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５４、ストレージ２５５、入力デバイス２５６、表示デバイス２５７、外部インターフェース２５８を備える。各部は、データバス２５３を介して相互にデータを送受信することができる。
【００２４】
ＣＰＵ２５１は、会議サーバ１０２全体を制御するためのコントローラである。ＣＰＵ２５１は、不揮発メモリであるＲＯＭ２５２に格納されているブートプログラムによりＯＳを起動する。ＣＰＵ２５１は、ＯＳの上で、ストレージ２５５に記憶されている会議サーバプログラムを実行することより、会議サーバ１０２の各処理を実現する。ＣＰＵ２５１は、データバス２５３などのバスを介して各部を制御する。
【００２５】
ＲＡＭ２５４は、ＣＰＵ２５１のメインメモリやワークエリアなどの一時記憶領域として動作する。
ストレージ２５５は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。
【００２６】
入力デバイス２５６および表示デバイス２５７は、図２（ａ）で説明した入力デバイス２０６および表示デバイス２５７と同様である。
外部インターフェース２５８は、図２（ａ）で説明した外部インターフェース２０８と同様である。
【００２７】
ＰＣ１０３のハードウェア構成は、上述した会議サーバ１０２と同様である。
ＰＣ１０３において、ストレージ２５５には、資料およびそれを表示するためのアプリケーションプログラムが記録されている。
ＣＰＵ２５１は、ＯＳの上で、アプリケーションプログラムを実行することで、資料を解釈し、それを表示するための表示画像データを生成する。そして、表示画像データを表示デバイス２５７に表示させる。
【００２８】
次に、会議システム１００が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。
【００２９】
図３は、会議装置１０１の表示デバイス２０７の表示例を示す。
図３（ａ）に示す画面３００は、会議開始前に表示される画面である。
【００３０】
「開始」ボタン３０１は、ユーザが会議装置１０１に会議の開始を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「開始」ボタン３０１への指示を受け付けると、図３（ｂ）に示す画面３１０を表示デバイス２０７に表示させる。そして、ＣＰＵ２０１は、会議情報の記録を開始する。
【００３１】
図３（ｂ）に示す画面３１０は、会議中に表示される画面である。
【００３２】
「撮影」ボタン３１１は、ユーザが会議装置１０１に撮影要求を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「撮影」ボタン３１１への指示を受け付けると、図３（ｃ）に示す画面３２０を表示デバイス２０７に表示させる。
【００３３】
「アジェンダ」ボタン３１２は、ユーザが会議装置１０１にアジェンダを変更（開始や終了）する指示をするためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「アジェンダ」ボタン３１２への指示を受け付けると、図３（ｄ）に示す画面３３０を表示デバイス２０７に表示させる。
【００３４】
「終了」ボタン３１３は、ユーザが会議装置１０１に会議の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「終了」ボタン３１３への指示を受け付けると、図３（ｅ）に示す画面３４０を表示デバイス２０７に表示させる。
【００３５】
図３（ｃ）に示す画面３２０は、撮影をする際に表示される画面である。図示のように、カメラデバイス２０９により得られる被写体の映像を表示する。ユーザは、映像を見ながら、文字を記入したホワイトボードや紙が、会議装置１０１の撮影画角に収まるよう調整することができる。
【００３６】
ＣＰＵ２０１は、入力デバイス２０６を介して画面３１０の任意箇所への指示を受け付けると、ユーザがカメラデバイス２０９により撮影した被写体の画像データを取得する。
【００３７】
「ＯＫ」ボタン３２１は、ユーザが会議装置１０１に、撮影終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３２１への指示を受け付けると、図３（ｂ）に示す画面３１０を表示デバイス２０７に表示させる。
【００３８】
図３（ｄ）に示す画面３３０は、アジェンダの変更を指示する際に表示される画面である。
テキストフィールド３３１は、ユーザが会議装置１０１にアジェンダ名を登録するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３３１に所望のアジェンダ名を入力することができる。
【００３９】
「開始」ボタン３３２は、ユーザが会議装置１０１に新しいアジェンダの開始を指示するためのものである。
「終了」ボタン３３３は、ユーザが会議装置１０１に現在のアジェンダの終了を指示するためのものである。なお、終了したアジェンダの名称はテキストエリア３３４にリスト表示される。
「ＯＫ」ボタン３３５は、ユーザが会議装置１０１にアジェンダ変更の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３３５への指示を受け付けると、図３（ｂ）に示す画面３１０を表示デバイス２０７に表示させる。
【００４０】
図３（ｅ）に示す画面３４０は、会議を終了する際に表示される画面である。
【００４１】
テキストフィールド３４１は、ユーザが会議装置１０１に、会議システム１００が作成する議事録の送信先を指定するためのものである。ユーザは、入力デバイス２０６を介して、テキストフィールド３４１に所望の送信先を入力することができる。送信先としては、例えば、メールアドレスを入力することができる。
【００４２】
ラジオボタン３４２は、議事録を生成する際に、発話テキストと記入テキストを統合して得られる会議テキストを、どの区間種別で分割して要約するかを選択するためのものである。本実施例では、ユーザはいずれか一つの区間種別を選択することができる。
【００４３】
「ＯＫ」ボタン３４３は、ユーザが会議装置１０１に、会議終了の確定を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３４３への指示を受け付けると、図３（ａ）に示す画面３００を表示デバイス２０７に表示させる。
そして、会議装置１０１は、会議情報の記録を終了し、会議情報を会議サーバ１０２へ送信する。その後、会議サーバ１０２は、受信した会議情報を解析・加工して議事録を生成し、送信先に送信する。
【００４４】
次に、会議装置１０１によって記録される会議情報について説明する。
図４は、会議装置１０１がストレージ２０５に記録する会議情報の構成例を示すものである。
【００４５】
図４（ａ）に示す音声情報テーブル４００は、会議装置１０１が録音して取得する音声に関する情報（以下、「音声情報」と言う）を記録するデータテーブルである。会議装置１０１は、会議中の会話を録音し音声データを記録する。
録音開始時刻列４０１には、録音開始時刻（会議開始時刻）を記録する。録音終了時刻列４０２には、録音終了時刻（会議終了時刻）を記録する。音声データ列４０３には、ストレージ２０５に記録された音声データのファイル名を記録する。
【００４６】
図４（ｂ）に示す画像情報テーブル４１０は、会議装置１０１が撮影して取得する画像に関する情報（以下、「画像情報」と言う）を記録するデータテーブルである。会議装置１０１は、被写体を撮影して画像データを取得し、ファイルとしてストレージ２０５に記録する。
撮影時刻列４１１には、撮影時刻を記録する。画像データ列４１２には、ストレージ２０５に記録した画像データのファイル名を記録する。
【００４７】
図４（ｃ）に示すアジェンダ情報テーブル４２０は、会議装置１０１が記録するアジェンダに関する情報（以下、「アジェンダ情報」と言う）を記録するデータテーブルである。
アジェンダ開始時刻列４２１には、アジェンダの開始時刻を記録する。アジェンダ終了時刻列４２２には、アジェンダの終了時刻を記録する。アジェンダ名列４２３には、アジェンダ名を記録する。
【００４８】
図４（ｄ）に示す話者情報テーブル４３０は、会議装置１０１が記録する話者の変更に関する情報（以下、「話者情報」と言う）を記録するデータテーブルである。
発言開始時刻列４３１には、話者が発言を開始した時刻を記録する。発言終了時刻列４３２には、話者が発言を終了した時刻を記録する。話者ＩＤ列４３３には、発言した話者を識別するための情報を記録する。本実施例では、話者ＩＤ列４３３に、会議装置１０１のマイクデバイス２１０により取得される、発話方向を示すＩＤを記録する。
【００４９】
図４（ｅ）に示す資料情報テーブル４４０は、ＰＣ１０３が表示した資料（以下、「表示資料」と言う）に関する情報（以下、「資料情報」と言う）を記録するデータテーブルである。
資料開始時刻列４４１には、ＰＣ１０３が、資料を表示し始めた時刻を記録する。資料終了時刻列４４２には、ＰＣ１０３が、資料を表示し終えた時刻を記録する。資料名列４５３には、表示した資料名を記録する。
図４（ｆ）に示す資料ページ情報テーブル４５０は、ＰＣ１０３が表示した資料のページに関する情報（以下、「資料ページ情報」と言う）を記録するデータテーブルである。
資料ページ開始時刻列４５１には、ＰＣ１０３が、資料のページを表示し始めた時刻を記録する。資料ページ終了時刻列４５２には、ＰＣ１０３が、資料のページを表示し終えた時刻を記録する。資料ページ番号列４５３には、表示している資料の資料名とページ番号とからなる情報を記録する。
【００５０】
次に、会議装置１０１の会議情報を記録するための処理について説明する。
図５および図６は、会議情報記録処理を示すフローチャートである。
会議装置１０１の電源キー（不図示）を操作して電源をＯＮにすると、ＣＰＵ２０１は、ストレージ２０５に記録されているコントローラプログラムを読み込む。そして、コントローラプログラムをＲＡＭ２０４に展開して実行する。これにより、会議装置１０１は会議情報記録処理を実行することが可能となる。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して、表示デバイス２０７に表示させる。
【００５１】
まず、Ｓ５０１において、ＣＰＵ２０１は、会議を開始する指示がなされたか否かを判定する。
「開始」ボタン３０１への指示がなされていたら、ＹＥＳと判定する。そして、ＣＰＵ２０１は、Ｓ５０２からＳ５１５まで（図中ＡからＢまで）の処理と、Ｓ５１６からＳ５２２まで（図中ＣからＤまで）の処理とを、並列に実行する。また、このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して、表示デバイス２０７に表示させる。
Ｓ５０１で「開始」ボタン３０１への指示がなされていなければ、ＮＯと判定し、Ｓ５２４に遷移する。
【００５２】
図中Ａの処理について、Ｓ５０２において、ＣＰＵ２０１は、マイクデバイス２１０により、会話の録音を開始する。これにより、ＣＰＵ２０１は、音声データを取得する。
そして、ＣＰＵ２０１は、音声情報テーブル４００の録音開始時刻列４０１に現在時刻を記録する。
また、ＣＰＵ２０１は、音声データを、ファイルとしてストレージ２０５に記録し始める。ＣＰＵ２０１は、その音声データのファイル名を、音声情報テーブル４００の音声データ列４０３に記録する。なお、録音開始時刻４０１は会議を開始した時刻となる。
【００５３】
Ｓ５０３において、ＣＰＵ２０１は、撮影を要求する指示がなされたか否かを判定する。「撮影」ボタン３１１への指示がなされていたら、ＹＥＳと判定し、Ｓ５０４に遷移する。
このとき、ＣＰＵ２０１は、画面３２０の表示画像データを生成して、表示デバイス２０７に表示させる。「撮影」ボタン３１１への指示がなされていなければ、ＮＯと判定し、Ｓ５０７に遷移する。
【００５４】
Ｓ５０４において、ＣＰＵ２０１は、撮影の指示がなされたか否かを判定する。画面３２０内の任意の箇所への指示がなされていたら、ＹＥＳと判定し、Ｓ５０５に遷移する。画面３２０内への指示がなされていなければ、ＮＯと判定し、Ｓ５０６に遷移する。
【００５５】
Ｓ５０５において、ＣＰＵ２０１は、ユーザがカメラデバイス２０９により撮影した被写体の画像データを取得する。また、ＣＰＵ２０１は、画像情報テーブル４１０に新たなレコードを追加する。そして、新たなレコードの撮影時刻列４１１に現在時刻を記録する。
また、ＣＰＵ２０１は、画像データをファイルとしてストレージ２０５に記録する。そして、画像データのファイル名を画像情報テーブル４１０の画像データ列４１２に記録する。
【００５６】
Ｓ５０６において、ＣＰＵ２０１は、撮影を終了する指示がなされたか否かを判定する。「ＯＫ」ボタン３２１への指示がなされていたら、ＹＥＳと判定し、Ｓ５０３に遷移する。
このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して、表示デバイス２０７に表示させる。
「ＯＫ」ボタン３２１への指示がなされていなければ、ＮＯと判定し、Ｓ５０４に遷移する。
【００５７】
Ｓ５０７において、ＣＰＵ２０１は、アジェンダを変更する指示がなされたか否かを判定する。「アジェンダ」ボタン３１２への指示がなされていたら、ＹＥＳと判定し、Ｓ５０８に遷移する。
このとき、ＣＰＵ２０１は、画面３３０の表示画像データを生成して、表示デバイス２０７に表示させる。
「アジェンダ」ボタン３１２への指示がなされていなければ、ＮＯと判定し、Ｓ５１３に遷移する。
【００５８】
Ｓ５０８において、ＣＰＵ２０１は、アジェンダを開始する指示がなされたか否かを判定する。「開始」ボタン３３２への指示がなされていたら、ＹＥＳと判定し、Ｓ５０９に遷移する。「開始」ボタン３３２への指示がなされていなければ、ＮＯと判定し、Ｓ５１０に遷移する。
なお、Ｓ５０９で開始されて、Ｓ５１１で終了がなされていないアジェンダが残っている場合は、Ｓ５０８での判定はＮＯとする。
【００５９】
Ｓ５０９において、ＣＰＵ２０１は、新しいアジェンダを開始する。
このとき、ＣＰＵ２０１は、アジェンダ情報テーブル４２０に新たなレコードを追加する。そして、追加したレコードのアジェンダ開始時刻列４２１に現在時刻を記録する。
【００６０】
Ｓ５１０において、ＣＰＵ２０１は、アジェンダを終了する指示がなされたか否かを判定する。「終了」ボタン３３３への指示がなされていれば、ＹＥＳと判定し、Ｓ５１１に遷移する。「終了」ボタン３３３への指示がなされていなければ、ＮＯと判定し、Ｓ５１２に遷移する。
なお、Ｓ５０９で開始されてＳ５１１で終了がなされていないアジェンダがない場合には、Ｓ５１０での判定はＮＯとする。
【００６１】
Ｓ５１１において、ＣＰＵ２０１は、現在のアジェンダを終了する。
このとき、ＣＰＵ２０１は、アジェンダ情報テーブル４２０にある、Ｓ５０９で追加したレコードのアジェンダ終了時刻列４２２に現在時刻を記録する。また、テキストフィールド３３１に入力されたアジェンダ名をアジェンダ名列４２３に記録する。
【００６２】
Ｓ５１２において、ＣＰＵ２０１は、アジェンダの変更を終了する指示がなされたか否を判定する。「ＯＫ」ボタン３３５への指示がなされていれば、ＹＥＳと判定し、Ｓ５０３に遷移する。
このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して、表示デバイス２０７に表示させる。
「ＯＫ」ボタン３３５への指示がなされていなければ、ＮＯと判定し、Ｓ５０８に遷移する。
【００６３】
Ｓ５１３において、ＣＰＵ２０１は、会議を終了する指示がなされたか否かを判定する。「終了」ボタン３１３への指示がなされていれば、ＹＥＳと判定し、Ｓ５１４に遷移する。
このとき、ＣＰＵ２０１は、画面３４０の表示画像データを生成して、表示デバイス２０７に表示させる。
「終了」ボタン３１３への指示がなされていなければ、ＮＯと判定し、Ｓ５０３に遷移する。
【００６４】
Ｓ５１４において、ＣＰＵ２０１は、マイクデバイス２１０による会議の録音を終了する。
このとき、ＣＰＵ２０１は、音声情報テーブル４００の録音終了時刻列４０２に現在時刻を記録する。なお、アジェンダ情報テーブル４２０内に、アジェンダ終了時刻列４２２に終了時刻が記録されていないレコードがあれば、現在時刻をアジェンダ終了時刻列４２２に記録する。
【００６５】
Ｓ５１５において、ＣＰＵ２０１は、会議の終了を確定する指示がなされたか否かを判定する。テキストフィールド３４１に送信先が入力され、かつ、「ＯＫ」ボタン３４３への指示がなされていれば、ＹＥＳと判定し、Ｓ５２３に遷移する。テキストフィールド３４１に送信先が入力されていない、あるいは、「ＯＫ」ボタン３４３への指示がなされていなければ、ＮＯと判定し、再度Ｓ５１５の処理を行う。
なお、テキストフィールド３４１に入力された送信先と、ラジオボタン３４２で選択された区間種別は、会議情報の一部として記録される。
【００６６】
一方、図中Ｃの処理について、Ｓ５１６において、ＣＰＵ２０１は、話者が変化したか否かを判定する。
このため、ＣＰＵ２０１は、話者情報テーブル４３０の最新レコード、すなわち、発言開始時刻列４３１の値がもっとも新しいレコードの話者ＩＤ列４３３の値を読み出す。また、マイクデバイス２１０により発話方向を取得し、その発話方向に該当するＩＤを取得する。これらＩＤ同士を比較して、一致しなければ、ＹＥＳと判定して、Ｓ５１７に遷移する。また、話者情報テーブル４３０にレコードがひとつもない場合、すなわち、最初の発話の場合も、ＹＥＳと判定する。
一致すれば、ＮＯと判定し、Ｓ５１８に遷移する。
【００６７】
Ｓ５１７において、ＣＰＵ２０１は、話者の変更を記録する。
このとき、ＣＰＵ２０１は、話者情報テーブル４３０の最新レコードの発言終了時刻列４３２に、前の話者の発言終了時刻として、現在時刻を記録する。
また、ＣＰＵ２０１は、話者情報テーブル４３０に新たなレコードを追加する。そして、追加したレコードの発言開始時刻列４３１に現在時刻を記録する。
【００６８】
Ｓ５１８において、ＣＰＵ２０１は、ＰＣ１０３が表示した資料である表示資料の変更があったか否かを判定する。
外部インターフェース２０８を介して、ＰＣ１０３から、表示した資料のファイル名を受信していれば、ＹＥＳと判定し、Ｓ５１９に遷移する。受信していなければ、ＮＯと判定し、Ｓ５２０に遷移する。
【００６９】
Ｓ５１９において、ＣＰＵ２０１は、表示資料の変更を記録する。
このとき、ＣＰＵ２０１は、資料情報テーブル４４０の最新レコード、すなわち、資料開始時刻列４４１の値がもっとも新しいレコードの資料終了時刻列４４２に、前の資料の表示の終了時刻として、現在時刻を記録する。
また、ＣＰＵ２０１は、資料情報テーブル４４０に新たなレコードを追加する。そして、追加したレコードの資料開始時刻列４４１に現在時刻を記録し、資料名列４５３に受信した資料のファイル名を記録する。
【００７０】
Ｓ５２０において、ＣＰＵ２０１は、表示画像データを受信しているか否かを判定する。
外部インターフェース２０８を介して、ＰＣ１０３から、表示画像データを受信していれば、ＹＥＳと判定し、Ｓ５２１に遷移する。受信していなければ、ＮＯと判定し、Ｓ５２２に遷移する。
【００７１】
Ｓ５２１において、ＣＰＵ２０１は、受信した表示画像データに基づいて、表示資料のページの変更を記録する。Ｓ５２１における処理の詳細は、図６を用いて説明する。
【００７２】
図６は、会議装置１０１が表示資料のページの変更を記録する処理を示すフローチャートである。
【００７３】
Ｓ６０１において、ＣＰＵ２０１は、表示資料の変更があったか否かを判定する。
Ｓ５１８でＹＥＳと判定していれば、ここでもＹＥＳと判定してＳ６０２に遷移する。Ｓ５１８でＮＯと判定していれば、ここでもＮＯと判定してＳ６０５に遷移する。
【００７４】
Ｓ６０２において、ＣＰＵ２０１は、表示資料がこの会議で初めて表示する資料であるか否かを判定する。
このとき、ＣＰＵ２０１は、資料ページ情報テーブル４５０を参照し、資料ページ番号列４５３の値に、現在表示している資料の名称を含む情報が記録されたレコードがあるかを調べる。
該当するレコードがない場合には、ＹＥＳと判定し、Ｓ６０３に遷移する。これは、すなわち、その表示資料がこの会議において初めて表示されたものであることを意味する。
該当するレコードがある場合には、ＮＯと判定し、Ｓ６０４に遷移する。これは、すなわち、ＰＣ１０３のアプリケーションプログラムが、ある資料を表示した後、別の資料を表示し、その後に、以前に表示した資料を改めて表示したこと、などを意味する。
【００７５】
Ｓ６０３において、ＣＰＵ２０１は、現在のページ番号を１として、ＲＡＭ２０４に一時的に記憶する。
【００７６】
Ｓ６０４において、ＣＰＵ２０１は、現在のページ番号を、その表示資料を最後に表示していた際のページ番号として、ＲＡＭ２０４に一時的に記憶する。
このとき、ＣＰＵ２０１は、資料ページ情報テーブル４５０内で、資料ページ番号列４５３の値に現在表示している資料の名称を含むレコードを探していく。それらのレコードの中で、資料ページ開始時刻列４５１が最新の時刻であるレコードの資料ページ番号列４５３に含まれるページ番号を取得する。
【００７７】
一方、Ｓ６０５において、ＣＰＵ２０１は、表示しているページに変更があったか否かを判定する。
後述するように、表示画像データは、ストレージ２０５に記憶されている。ＣＰＵ２０１は、資料ページ情報テーブル４５０のレコードであって、資料ページ開始時刻列４５１が最新のレコードに該当する表示画像データを、ストレージ２０５から読み出す。
そして、ＣＰＵ２０１は、外部インターフェース２０８を介して受信した表示画像データとの間で画像差分を計算する。差分のある画素が予め定めた閾値以上存在する場合には、ＹＥＳ、つまり、表示しているページに変更があったと判定して、Ｓ６０６に遷移する。差分のある画素が予め定めた閾値を未満である場合には、ＮＯと判定し、図６のフローチャートの処理を終了する。
【００７８】
Ｓ６０６において、ＣＰＵ２０１は、現在表示されているページが新しいページであるか否かを判定する。
ＣＰＵ２０１は、資料ページ情報テーブル４５０内の、資料ページ番号列４５３の値に現在表示している資料の名称を含み、かつ、資料ページ開始時刻列４５１が二つ目に新しい時刻であるレコードを選択する。そして、そのレコードに該当する表示画像データを、ストレージ２０５から読み出す。
そして、ＣＰＵ２０１は、外部インターフェース２０８を介して受信した表示画像データとの間で画像差分を計算する。差分のある画素が予め定めた閾値未満である場合には、ＮＯ、つまり、ひとつ前のページを表示したと判定し、Ｓ６０７に遷移する。差分のある画素が予め定めた閾値以上である場合には、ＹＥＳ、すなわち、次の新しいページを表示したと判定し、Ｓ６０８に遷移する。
【００７９】
Ｓ６０７において、ＣＰＵ２０１は、現在のページ番号をそのままとして、ＲＡＭ２０４に一時的に記憶する。すなわち、Ｓ６０６で選択したレコードの資料ページ番号列４５３に含まれるページ番号を記憶する。
【００８０】
Ｓ６０８において、ＣＰＵ２０１は、現在のページ番号を次のページ番号として、ＲＡＭ２０４に一時的に記憶する。すなわち、Ｓ６０５で参照したレコードの資料ページ番号列４５３に含まれるページ番号に１を加算して、その値を記憶する。
【００８１】
Ｓ６０９において、ＣＰＵ２０１は、ページの変更を記録する。
このとき、ＣＰＵ２０１は、資料ページ情報テーブル４５０から最新、すなわち、資料ページ開始時刻列４５１の時刻が最新のレコードを取得する。そして、そのレコードの資料ページ終了時刻列４５２に、ページの表示終了時刻として、現在時刻を記録する。
また、ＣＰＵ２０１は、資料ページ情報テーブル４５０に新たなレコードを追加する。そして、追加したレコードの資料ページ開始時刻列４５１に現在時刻を記憶する。また、追加したレコードの資料ページ番号列４５３に、外部インターフェース２０８を介して受信した現在表示している資料のファイル名と、ＲＡＭ２０４に一時的に記憶したページ番号とからなる情報を記憶する。
【００８２】
Ｓ６１０において、ＣＰＵ２０１は、外部インターフェース２０８を介して受信した表示画像データを、ストレージ２０５に記憶する。
このとき、Ｓ６０９で追加したレコードの資料ページ番号列４５３の値を、ストレージ２０５における表示画像データのファイル名とすることにより、Ｓ６０５やＳ６０６において、表示画像データを参照することができる。
【００８３】
図５に戻り、Ｓ５２２において、ＣＰＵ２０１は、会議を終了する指示がなされたか否かを判定する。これは、Ｓ５１３と同様の処理である。
【００８４】
Ｓ５２３において、ＣＰＵ２０１は、以上の処理においてストレージ２０５に記録した会議情報を、外部インターフェース２０８を介して、会議サーバ１０２に送信する。送信した後には、会議情報をストレージ２０５から削除してもよい。また、ＣＰＵ２０１は、画面３００の表示画像データを生成して、表示デバイス２０７に表示させる。
【００８５】
Ｓ５２４において、ＣＰＵ２０１は、電源をオフする指示がなされたか否かを判定する。
例えば、会議装置１０１の電源キーが押下されたり、ユーザの発話における特定の文言（コマンド）が検出されたりすることなどにより、電源オフの指示がなされたと判定される。
電源オフの指示がなされていれば、ＹＥＳと判定し、処理を終了する。指示がなされていなければ、ＮＯと判定し、ステップ５０１に遷移する。
【００８６】
次に、会議サーバ１０２が会議装置１０１から受信した会議情報を解析・加工して生成する議事録元情報について説明する。
図７と図８は、会議サーバ１０２がストレージ２５５に記録する議事録元情報の構成例を示すものである。
【００８７】
図７（ａ）に示す発話テキスト情報テーブル７００は、会議情報に含まれる音声データに対する音声認識結果に関する情報（以下、「発話テキスト情報」と言う）を記録するデータテーブルである。発話テキスト情報テーブルは、音声データが解析されてユーザの発話が特定されると、発話毎にレコードとして生成される。
発話時刻列７０１は、発話が発生した時刻（以下、「発話時刻」と言う）を記録するものである。発話テキスト列７０２は、発話を音声認識することにより得られた発話テキストを記録するものである。発話や発話時刻の特定については後述する。
【００８８】
図７（ｂ）に示す記入テキスト情報テーブル７１０は、会議情報に含まれる画像データに対する文字認識結果に関する情報（以下、「記入テキスト情報」と言う）を記録するデータテーブルである。記入テキスト情報テーブル７１０は、画像データが解析されてユーザによる記入が特定されると、記入毎にレコードとして生成される。
記入時刻列７１１は、記入が発生した時刻（以下、「記入時刻」と言う）を記録するものである。記入テキスト列７１２は、画像データを文字認識することにより得られた記入テキストを記録するものである。記入や記入時刻の特定については後述する。
【００８９】
図７（ｃ）に示す会議テキスト情報テーブル７２０は、会議において発生したテキスト（以下、「会議テキスト」と言う）に関する情報（以下、「会議テキスト情報」と言う）を記録するデータテーブルである。会議テキスト情報は、図７（ａ）に示した発話テキスト情報と、図７（ｂ）に示した記入テキスト情報を、統合して生成される。
発生時刻列７２１は、会議テキスト情報が発生した時刻を記録するものであり、発話時刻７０１または記入時刻７１１の時刻を記録する。
会議テキスト列７２２は、会議テキストを記録するものであり、発話テキスト列７０２または記入テキスト列７１２のテキストを記録する。
区分列７２３は、そのレコードが、統合前には発話テキスト情報であったのか記入テキスト情報であったのかを記録するものである。発話テキスト情報であった場合には０を記録し、記入テキスト情報であった場合には１を記録する。
要点列７２４は、そのレコードの会議テキスト列７２２の会議テキストが要点であるか否かを記録するものである。ここで、要点とは、会議において決定した事項や、発生したアクションアイテム（会議の場で参加者に対して行う作業の依頼）など、会議における主要な内容を示すものである。要点である場合には１を記録し、そうでない場合には０を記録する。
なお、会議テキスト情報テーブル７２０のレコードは、発生時刻列７２１の値で昇順に（発生した順に）ソートする。
【００９０】
図７（ｄ）に示す要点情報テーブル７３０は、要点に関する情報（以下、「要点情報」と言う）を記録するデータテーブルである。
要点開始時刻列７３１には、区間の開始時刻を記録する。また、要点終了時刻列７３２には、区間の終了時刻を記録する。
ここで、本実施例において、「区間」とは、「ある要点」が発生してから、「次の別の要点」が発生するまでの間と定義される。したがって、要点開始時刻列７３１とは、「ある要点」の発生時刻である。また、要点終了時刻列７３２とは、「次の別の要点」の発生時刻である。
なお、最初に発生した要点の要点開始時刻列７３１には、録音開始時刻（会議開始時刻）を記録する。要点列７３３には、要点の内容を記録する。
【００９１】
図８に示す要約情報テーブル８００は、図７（ｃ）に示した会議テキストを要約した情報（以下、「要約情報」と言う）を記録したデータテーブルである。会議テキスト情報テーブル７２０の会議テキスト列７２２の会議テキストを、ユーザがラジオボタン３４２を操作して指定した種別の区間ごとに要約することにより、要約テキストが生成される。
区間名列８０１には、区間の名称を記録する。区間名については、後述する。
要約テキスト列８０２には、生成した要約テキストを記録する。
【００９２】
次に、図９のフローチャートを用いて、会議サーバ１０２が議事録を生成する処理について説明する。
まず、会議サーバ１０２が起動すると、ＣＰＵ２５１は、ストレージ２５５に記録されている会議サーバプログラムを読み込む。そして、会議サーバプログラムを、ＲＡＭ２５４に展開して、実行する。これにより、会議サーバ１０２は議事録生成処理を実行することが可能となる。
【００９３】
そして、図９（ａ）のＳ９０１において、ＣＰＵ２５１は、会議情報を受信したか否かを判定する。
外部インターフェース２５８を介して、会議装置１０１から会議情報を受信しているならば、ＹＥＳと判定し、Ｓ９０２に遷移する。外部インターフェース２５８を介して、会議装置１０１から会議情報を受信していなければ、ＮＯと判定し、Ｓ９０９に遷移する。
【００９４】
Ｓ９０２において、ＣＰＵ２５１は、受信した会議情報に含まれる音声データに対して音声認識を行い、発話テキストを取得する。
ここで、ＣＰＵ２５１は、音声データを先頭から走査して、個々の発話区間について、音声認識を行って発話テキストを取得する。
なお、発話区間とは、音声データ中のある無音区間と次の無音区間の間の区間を指す。また、無音区間は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて検出される。
【００９５】
また、ＣＰＵ２５１は、会議情報の音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻と、各発話区間の音声データの先頭からの経過時間とから、各発話区間の発話時刻を計算する。そして、発話テキスト情報テーブル７００内に各発話区間のレコードを生成する。さらに、各発話区間の発話時刻と発話テキストとを、それぞれ、発話時刻列７０１と発話テキスト列７０２に記録する。
Ｓ９０２の処理により、図７（ａ）に示した記入テキスト情報テーブル７１０が作成される。
【００９６】
Ｓ９０３において、ＣＰＵ２５１は、受信した会議情報に含まれる画像データに対して文字認識を行い、記入テキストを取得する。
ここで、ＣＰＵ２５１は、会議情報に含まれる画像情報テーブル４１０内のレコードを順に走査して、次の処理を行う。
まず、画像情報テーブル４１０のレコードは、撮影時刻列４１１の値で昇順に（撮影した順に）ソートしておく。ＣＰＵ２５１は、現在参照しているレコードの画像データ列４１２が示す画像データと、ひとつ前のレコードの画像データ列４１２が示す画像データとの画像差分を求める。画像差分は、ひとつ前のレコードに該当する撮影から、現在参照しているレコードに該当する撮影までの間に、ユーザが記入した文字が含まれる部分画像とみなすことができる。そこで、部分画像に対して文字認識を行い、記入テキストを取得する。
【００９７】
また、現在参照しているレコードの撮影時刻列４１１の撮影時刻を、画像差分が発生した時刻、すなわち、ユーザによる記入がなされた記入時刻とする。
このようにして得られた記入時刻と記入テキスト毎に、記入テキスト情報テーブル７１０内にレコードを生成する。また、記入時刻と記入テキストを、それぞれ、記入時刻列７１１と記入テキスト列７１２に記録する。
Ｓ９０３の処理により、図７（ｂ）に示した発話テキスト情報テーブル７００が作成される。
【００９８】
Ｓ９０４において、ＣＰＵ２５１は、発話テキストと記入テキストを統合して、会議テキストを生成する。
すなわち、ＣＰＵ２５１は、Ｓ９０２で生成した発話テキスト情報テーブル７００と、Ｓ９０３で生成した記入テキスト情報テーブル７１０とを統合して、会議テキスト情報テーブル７２０を生成する。
【００９９】
ここで、ＣＰＵ２５１は、以下の処理を行うことにより、会議テキスト情報テーブル７２０を生成する。
まず、ＣＰＵ２５１は、発話テキスト情報テーブル７００に含まれる各レコードに対応するレコードを会議テキスト情報テーブル７２０内に追加する。
このとき、ＣＰＵ２５１は、発話時刻列７０１の発話時刻を、会議テキストが発生した時刻として、発生時刻列７２１に記録する。また、発話テキスト列７０２の発話テキストを、会議テキストとして、会議テキスト列７２２に記録する。区分列７２３には、元のデータが発話テキスト情報であったことを示す０を記録する。
【０１００】
また、ＣＰＵ２５１は、記入テキスト情報テーブル７１０に含まれる各レコードに対応するレコードを会議テキスト情報テーブル７２０内に追加する。
このとき、ＣＰＵ２５１は、記入時刻列７１１の記入時刻を、会議テキストが発生した時刻として、発生時刻列７２１に記録する。また、記入テキスト列７１２の記入テキストを、会議テキストとして、会議テキスト列７２２に記録する。区分列７２３には、元のデータが記入テキスト情報であったことを示す１を記録する。
そして、ＣＰＵ２５１は、以上のとおり追加したレコードを発生時刻列７２１の値で昇順に（発生した順に）ソートする。
【０１０１】
Ｓ９０５において、ＣＰＵ２５１は、Ｓ９０４で生成した会議テキストから要点を抽出する。
ここで、要点抽出処理の詳細を、図９（ｂ）を用いて説明する。
図９（ｂ）のＳ９２１において、ＣＰＵ２５１は、処理の対象とする会議テキスト情報テーブル７２０のレコードを選択する。なお、Ｓ９２１を最初に実行する場合には、会議テキスト情報テーブル７２０の先頭のレコードを選択する。２回目以降は、現在選択しているレコードの次のレコードを選択する。
【０１０２】
Ｓ９２２において、ＣＰＵ２５１は、会議テキスト情報テーブル７２０のすべてのレコードについて要点抽出処理したか否かを判定する。
Ｓ９２１において次のレコードがなく、選択できなかった場合には、ＹＥＳと判定し、要点抽出処理を終了する。
Ｓ９２１において次のレコードを選択できた場合には、ＮＯと判定し、Ｓ９２３に遷移する。
【０１０３】
Ｓ９２３において、ＣＰＵ２５１は、現在選択しているレコードの会議テキストが、要点であるか否かを判定する。
例えば、会議テキストが、予め決定した特定のキーワードを含むならば、要点であると判定する。要点である場合には、現在選択しているレコードの要点列７２４に１を記録する。そうでない場合は、０を記録する。
以上の処理により、図７（ｃ）に示した会議テキスト情報テーブル７２０が作成される。
【０１０４】
Ｓ９２４において、ＣＰＵ２５１は、現在選択しているレコードの会議テキストが要点であるか否かを判定する。
Ｓ９２３において要点であると判定した場合には、ＹＥＳと判定し、Ｓ９２５に遷移する。Ｓ９２３において要点でないと判定した場合には、ＮＯと判定し、Ｓ９２１に遷移する。
【０１０５】
Ｓ９２５において、ＣＰＵ２５１は、要点が発生したことを記憶する。
要点情報テーブル７３０にレコードが存在する場合、ＣＰＵ２５１は、最新のレコード、すなわち、要点開始時刻列７３１の値が最新の時刻のレコードを取得する。そして、そのレコードの要点終了時刻列７３２のレコードの値を、要点開始時刻として取得する。
要点情報テーブル７３０にレコードが存在しない場合には、ＣＰＵ２５１は、音声情報テーブル４００の録音開始時刻列４０１の値（すなわち、会議開始時刻）を、要点開始時刻として取得する。
そして、ＣＰＵ２５１は、要点情報テーブル７３０に新たなレコードを追加し、追加したレコードの要点開始時刻列７３１に、取得した要点開始時刻を記録する。また、要点終了時刻列７３２に、現在選択している会議テキスト情報テーブル７２０のレコードの、発生時刻列７２１の値を記録する。要点列７３３には、要点の内容として、現在選択している会議テキスト情報テーブル７２０のレコードの会議テキスト列７２２の値を記録する。
以上の処理により、図７（ｄ）に示した要点情報テーブル７３０が作成される。
【０１０６】
図９（ａ）に戻り、Ｓ９０６において、ＣＰＵ２５１は、Ｓ９０４で生成した会議テキストを要約する、要約処理を行う。
ここで、要約処理の詳細を、図９（ｃ）を用いて説明する。
【０１０７】
Ｓ９４１において、ＣＰＵ２５１は、会議テキストの要約に利用する区間種別を選択する。
ここで、ＣＰＵ２５１は、会議情報に含まれる、ユーザが選択した区間種別の情報を参照して選択する。また、これに基づいて、アジェンダ情報テーブル４２０、話者情報テーブル４３０、資料情報テーブル４４０、資料ページ情報テーブル４５０、要点情報テーブル７３０の中から、参照すべきテーブルを選択する。
【０１０８】
すなわち、ユーザが選択した区間種別が「アジェンダごと」であれば、アジェンダ情報テーブル４２０を選択する。ユーザが選択した区間種別が「話者ごと」であれば、話者情報テーブル４３０を選択する。ユーザが選択した区間種別が「資料ごと」であれば、資料情報テーブル４４０を選択する。ユーザが選択した区間種別が「資料ページごと」であれば、資料ページ情報テーブル４５０を選択する。ユーザが選択した区間種別が「要点ごと」であれば、要点情報テーブル７３０を選択する。
【０１０９】
なお、ここで、アジェンダ情報テーブル４２０、話者情報テーブル４３０、資料情報テーブル４４０、資料ページ情報テーブル４５０、要点情報テーブル７３０、を総称して「区間情報テーブル」と言う。
また、アジェンダ開始時刻列４２１、発言開始時刻列４３１、資料開始時刻列４４１、資料ページ開始時刻列４５１、要点開始時刻列７３１、を総称して「区間開始時刻列」と言う。
また、アジェンダ終了時刻列４２２、発言終了時刻列４３２、資料終了時刻列４４２、資料ページ終了時刻列４５２、要点終了時刻列７３２、を総称して「区間終了時刻列」と言う。
また、アジェンダ名列４２３、話者列４３３、資料名列４５３、資料ページ番号列４５３、要点列７３３、を総称して「区間名列」と言う。
【０１１０】
Ｓ９４２において、ＣＰＵ２５１は、処理の対象とする区間情報テーブルのレコードを選択する。
Ｓ９４２を最初に実行する場合には、区間情報テーブルの先頭のレコードを選択する。２回目以降は、現在選択しているレコードの次のレコードを選択する。
【０１１１】
Ｓ９４３において、ＣＰＵ２５１は、区間情報テーブルのすべてのレコードを処理したか否かを判定する。
Ｓ９４２において、次のレコードがなく、選択できなかった場合には、ＹＥＳと判定し、要約処理を終了する。Ｓ９４２において、次のレコードを選択できた場合には、ＮＯと判定し、Ｓ９４４に遷移する。
【０１１２】
Ｓ９４４において、ＣＰＵ２５１は、現在選択しているレコードの区間内にある会議テキストを取得する。
ここで、ＣＰＵ２５１は、会議テキスト情報テーブル７２０の中から、発生時刻列７２１の時刻が、現在選択しているレコードの区間開始時刻列の時刻から区間終了時刻列の時刻までの間に該当するレコードをすべて抽出する。そして、抽出したひとつ以上のレコードの会議テキスト列７２２の会議テキストを要約の対象とする。
【０１１３】
Ｓ９４５において、ＣＰＵ２５１は、Ｓ９４４で取得した会議テキストを要約する。
要約テキスト生成処理の詳細については、図１２を用いて説明する。
【０１１４】
図１２（ａ）は、要約テキスト生成処理の一例を示すフローチャートである。本フローチャートの処理は、会議テキスト情報テーブル７２０内の、複数のレコードに対して実行される。
【０１１５】
Ｓ１２０１において、ＣＰＵ２５１は、会議テキスト情報テーブル７２０内の、入力されたすべてのレコードを参照し、会議テキスト列７２２の会議テキストに出現する各単語について、その重要度を算出する。
各単語の重要度は、例えば、各単語の出現頻度に基づいて算出することができる。
【０１１６】
Ｓ１２０２において、ＣＰＵ２５１は、入力された各レコードの会議テキスト列７２２の各会議テキストについて、その重要度を算出する。
会議テキストの重要度は、Ｓ１２０１で算出した各単語の重要度を参照し、各会議テキストに含まれる単語の重要度の合計値を算出することにより、決定する。
【０１１７】
Ｓ１２０３において、ＣＰＵ２５１は、重要度が閾値以上の会議テキストを抽出する。そして、これらの会議テキストを結合して要約テキストを生成する。
そして、要約テキストを生成したら、処理呼び出し元に戻る。
【０１１８】
なお、会議において、ホワイトボードなどの記入媒体には、論点や重要な意見を記載する場合がある。こうして記載された内容は、議事として重要であることが多いので、記入テキストとして、要約テキストに優先的に反映するようにしてもよい。
この場合、例えば、Ｓ１２０３において、ＣＰＵ２５１は、入力されたレコードの区分列７２３の値を確認する。そして、区分列７２３の値が１（元は記入情報）ならば、重要度が閾値以上か否かに関わらず、そのレコードの会議テキスト７２２を要約テキストの一部として抽出する。
【０１１９】
あるいは、記入テキストを要約テキストに優先的に反映するために、別の処理を実行してもよい。図１２（ｂ）は、要約テキスト生成処理の別の例を示すフローチャートである。
図１２（ａ）のフローチャート同様、図１２（ｂ）のフローチャートの処理は会議テキスト情報テーブル７２０内の、複数のレコードに対して実行される。
【０１２０】
Ｓ１２１１において、ＣＰＵ２５１は、入力されたレコードのうち、区分列７２３が１（元は記入情報）のレコードについて、会議テキスト列７２２に含まれる単語のリスト（以下、「記入単語リスト」と言う）を作成する。
【０１２１】
Ｓ１２１２において、ＣＰＵ２５１は、Ｓ１２０１と同様の処理を行う。
Ｓ１２１３において、ＣＰＵ２５１は、Ｓ１２０２と同様の処理を行う。
「０１３０」
Ｓ１２１４において、ＣＰＵ２５１は、Ｓ１２１１で作成した記入単語リストを参照して、Ｓ１２１３で算出した会議テキストの重要度を更新する。
すなわち、入力された各レコードの会議テキスト７２２について、記入単語リストの単語を含む場合には、重要度にバイアスを加える。
【０１２２】
Ｓ１２１５において、ＣＰＵ２５１は、Ｓ１２０３と同様の処理を行う。
【０１２３】
あるいは、Ｓ１２１４において、ＣＰＵ２５１は、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにしてもよい。この場合、Ｓ１２０３では、その会議テキストが要約テキストの一部として抽出される。
【０１２４】
そして、ＣＰＵ２５１は、要約情報テーブル８００に新たなレコードを追加する。そして、追加したレコードの要約テキスト列８０２に、生成した要約テキストを記録する。また、追加したレコードの区間名列８０１に、現在参照している区間情報テーブルの区間名列の値を記録する。
以上の処理により、図８に示した要約情報テーブル８００が作成される。
【０１２５】
図９（ａ）に戻り、Ｓ９０７において、ＣＰＵ２５１は、以上のようにして得た議事録元情報および会議情報をもとに議事録のレイアウト処理を実行する。
【０１２６】
ここで、図１０と図１１を用いて、議事録のレイアウト処理について説明する。
図１０は、議事録のレイアウト処理を示すフローチャートである。
【０１２７】
Ｓ１００１において、ＣＰＵ２５１は、処理の対象とする要約情報テーブル８００のレコードを選択する。Ｓ１００１を最初に実行する場合には、要約情報テーブル８００の先頭のレコードを選択する。２回目以降は、現在選択しているレコードの次のレコードを選択する。
【０１２８】
Ｓ１００２において、ＣＰＵ２５１は、要約情報テーブル８００のすべてのレコードを処理したか否かを判定する。
Ｓ１００２において、次のレコードがなく、選択できなかった場合には、ＹＥＳと判定し、レイアウト処理を終了する。Ｓ１００２において、次のレコードを選択できた場合には、ＮＯと判定し、Ｓ１００３に遷移する。
【０１２９】
Ｓ１００３において、ＣＰＵ２５１は、図７（ｄ）の要点情報テーブル７３０から、選択したレコードの要約の生成が実行された区間における区間開始時刻７３１と区間終了時刻７３２を取得する。具体的には、Ｓ９４４で要約の対象となった区間の区間開始時刻と区間終了時刻を取得する。
【０１３０】
Ｓ１００４において、ＣＰＵ２５１は、図４（ｂ）の画像情報テーブル４１０から、撮影時間が選択したレコードの要約の生成が実行された区間内にある画像データ４１２を取得する。すなわち、ＣＰＵ２５１は、画像情報テーブル４１０内で、撮影時刻列４１１が、Ｓ１００３で取得した区間開始時刻から区間終了時刻までの間に該当するレコードを特定する。そして、特定したレコードの画像データ列４１２に含まれるファイル名を参照して画像データを取得する。
【０１３１】
Ｓ１００５において、ＣＰＵ２５１は、Ｓ１００１で選択したレコードの要約テキストと、Ｓ１００４で取得した画像データを対応づけて、画面上にレイアウトを作成する。
【０１３２】
図１１は、議事録のレイアウトの一例を示す図である。
議事録１１００は、テキストデータや画像データを含む複数の議事ページ１１１０群からなる。各議事ページ１１１０は、要約が実行された区間毎に取得された、要約テキストと画像データを含むレイアウト１１２０（１１２１）からなる。
各レイアウト１１２０（１１２１）には、Ｓ１００１で選択したレコードの区間名列８０１のテキスト１１３０（１１３４）と、これに対応する要約テキスト１１３１（１１３５）と、画像データ１１３２（１１３６）が表示される。さらに、画像データのファイル名１１３３（１１３７）を表示してもよい。
図１１では、要約テキスト１１３１（１１３５）の末尾に画像データ１１３２（１１３６）が表示されているが、このレイアウトはあくまで一例である。テキスト１１３０（１１３４）と、要約テキスト１１３１（１１３５）と、画像データ１１３２（１１３６）の各レイアウトは、この例に限られない。例えば要約テキストと画像データを横に並べてレイアウトしてもよい。
【０１３３】
図１１について、図１０のフローチャートに沿って詳細に説明する。
ここでは、アジェンダ毎にレイアウトする例について説明する。以下では、要約情報テーブル８００（図８）と、画像情報テーブル４１０（図４（ｂ））と、アジェンダ情報テーブル４２０（図４（ｃ））を用いて説明する。
【０１３４】
まず、Ｓ１００１において、ＣＰＵ２５１は、要約情報テーブルからひとつのレコードを選択する。
ここでは、要約情報テーブル８００内の、区間名８０１が「来年度予算について」のレコードを選択する。
【０１３５】
Ｓ１００２において、ＣＰＵ２５１は、すべての区間を処理したか否かを判定する。
ここでは、要約情報テーブル８００のすべての区間をまだ処理していないため、判定はＮＯとなる。
【０１３６】
Ｓ１００３において、ＣＰＵ２５１は、区間の開始時刻と終了時刻を取得する。
ここでは、アジェンダ情報テーブル４２０内の、アジェンダ名４２３が「来年度予算について」のレコードのアジェンダ開始時刻４２１（２０１７／０８／０９ １３：０２：２７）とアジェンダ終了時刻４２２（２０１７／０８／０９ １３：３１：５５）を取得する。
【０１３７】
Ｓ１００４において、ＣＰＵ２５１は、撮影時刻がアジェンダ開始時刻から終了時刻に該当する画像データを選択して、それを取得する。
ここでは、ＣＰＵ２５１は、画像情報テーブル４１０内の、アジェンダ開始時刻４２１からアジェンダ終了時刻４２２の範囲内に該当する、画像データ（「ｉｍａｇｅ１．ｊｐｇ」）を取得する。
【０１３８】
Ｓ１００５において、ＣＰＵ２５１は、選択中のレコードの要約テキストと、取得した画像データとのレイアウトを作成する。
ここでは、ＣＰＵ２５１は、まず、選択中のレコードにおける区間名８０１（「来年度予算について」）を、テキスト１１３０として表示する。
続いて、選択中のレコードにおける要約テキスト８０２（「来年度予算は、・・・）を、要約テキスト１１３１として表示する。
続いて、取得した画像データ４１２の画像とファイル名（「ｉｍａｇｅ１．ｊｐｇ」）を、それぞれ、画像１１３２とファイル名１１３３として表示する。
出力する。
【０１３９】
なお、Ｓ１００４において、該当する画像が複数ある場合は、ＣＰＵ２５１は、続けて画像データ１１３２とファイル名１１３３を表示させる。
以上の処理により、「来年度予算について」のアジェンダについて、要約テキスト１１３１と画像データ１１３２を合わせたレイアウト１１２０を表示することができる。
【０１４０】
Ｓ１００１に戻り、ＣＰＵ２５１は、要約情報テーブルから次のレコードを選択する。
ここでは、要約情報テーブル８００内の、区間名８０１が「役割分担の相談」のレコードが選択される。
以降、同様の処理を繰り返して実行することにより、「役割分担の相談」のアジェンダについて、要約テキスト１１３５と画像データ１１３６を合わせたレイアウト１１２１を作成することができる。
【０１４１】
Ｓ１００１で、要約情報テーブルから選択するレコードがなくなった場合、Ｓ１００２の判定はＹＥＳとなる。そして、議事録レイアウト処理は終了し、議事録１１００が生成される。
【０１４２】
再び図９（ａ）に戻り、Ｓ９０８において、ＣＰＵ２５１は、会議情報に含まれる送信先に議事録を送信する。送信方法として、例えば、電子メールで送信することができる。
ここでは、ＣＰＵ２５１は、電子メールに添付ファイルとして議事録１１００を添付して、電子メールを送信する。
【０１４３】
Ｓ９０９において、ＣＰＵ２５１は、終了が指示されたか否かを判定する。
ユーザは、例えば、外部インターフェース２５８を介して、別体のＰＣから会議サーバ１０２の終了を指示することができる。
終了が指示されていたら、ＹＥＳと判定し、処理を終了する。終了が指示されていなければ、ＮＯと判定し、Ｓ９０１に遷移する。
【０１４４】
以上に説明したとおり、実施例１によれば、会議情報を複数の区間に分割し、区間毎に要約テキストと画像データが対応づけられて、レイアウトされた議事録を生成することができる。
【実施例２】
【０１４５】
実施例１では、会議中に書き込みをしたホワイトボードや紙を、ユーザがカメラデバイス２０９を用いて手動で撮影した。
これに対して、実施例２では、カメラデバイス２０９をホワイトボードや紙に向けて設置しておくことにより、ＣＰＵ２０１が被写体を自動的に撮影する。以下では、主に、実施例１との差分について説明する。
【０１４６】
図１３（ａ）は、実施例２における、会議情報を記録する処理を示すフローチャートである。
実施例１との差分である、図中のＥからＦの処理については、図１３（ｂ）で後述する。図中のＥからＦの処理は、図中ＡからＢまでの処理、図中ＣからＤまでの処理と、並行して実行される。図中ＡからＢまでの処理と、図中ＣからＤまでの処理は、図５に記載した処理と同様である。
【０１４７】
図１３（ｂ）は、実施例２における、自動撮影処理を示すフローチャートである。
自動撮影を開始するタイミングは、ユーザがホワイトボードや紙に記入し終えた時点（映像から人や手などが消えた時点）や、アジェンダの変化など会議状態の変化点を検出した時点などである。
【０１４８】
Ｓ１３０１において、ＣＰＵ２０１は、カメラデバイス２０９を介して取得した映像に人や手などの動体が含まれているか否かを判定する。
含まれている場合は、ＹＥＳと判定し、Ｓ１３０２に遷移する。含まれていない場合は、ＮＯと判定し、Ｓ１３０３に遷移する。
【０１４９】
Ｓ１３０２において、ＣＰＵ２０１は動体検知フラグをＯＮにする。
【０１５０】
Ｓ１３０３において、ＣＰＵ２０１は、動体検知フラグがＯＮであるか否かを判定する。
動体検知フラグがＯＮである場合は、ＹＥＳと判定し、Ｓ１３０４に遷移する。動体検知フラグがＯＮでない場合は、ＮＯと判定し、Ｓ１３０６に遷移する。
【０１５１】
Ｓ１３０４において、ＣＰＵ２０１は、カメラデバイス２０９を介して被写体を撮影して画像データを取得する。
【０１５２】
Ｓ１３０５において、ＣＰＵ２０１は動体検知フラグをＯＦＦにする。
そして、ＣＰＵ２０１は、カメラデバイス２０９を介して撮影した被写体の画像データを取得する。
【０１５３】
Ｓ１３０６において、ＣＰＵ２０１は、会議状態の変化点を検出したか否かを判定する。
ここでは、Ｓ５１０でアジェンダの終了を検出した場合、Ｓ５１６で話者の変更を検出した場合、Ｓ５１８で表示資料の変更を検出した場合、会議状態の変化点が発生したと判定する。
会議状態の変化点が検出された場合は、ＹＥＳと判定し、Ｓ１３０７に遷移する。変化点が検出されていない場合は、ＮＯと判定し、Ｓ１３０８に遷移する。
【０１５４】
Ｓ１３０７において、ＣＰＵ２５１は、カメラデバイス２０９を介して被写体を撮影して、被写体の画像データを取得する。
【０１５５】
Ｓ１３０８において、ＣＰＵ２０１は、電源をオフする指示がなされたか否かを判定する。
会議装置１０１の電源キーへの指示がなされていれば、ＹＥＳと判定し、処理を終了する。会議装置１０１の電源キーへの指示がなされていなければ、ＮＯと判定し、Ｓ１３０１に遷移する。
【０１５６】
以上に説明したとおり、実施例２によれば、会議中にユーザが書き込みをしたホワイトボードや紙を自動撮影することができるため、ユーザによる撮影し忘れがなくなり、より正確に画像データを記録して議事録に残すことができる。
【実施例３】
【０１５７】
会議中に行われるホワイトボードへの書き込みは、会議の議論の進行に合わせて適宜追記される。そのため、カメラデバイス２０９で撮影された画像には、前回撮影された画像に含まれる書き込みと、今回新たに追記された書き込みが含まれる場合が多い。
そこで、実施例３では、新たに追記された書き込みのみを差分画像として生成し、議事録にレイアウトする。以下では、主に、実施例１との差分について説明する。
【０１５８】
図１４は、実施例３における、議事録レイアウト処理を示すフローチャートである。
Ｓ１４０１において、ＣＰＵ２５１は、Ｓ１００４で取得した画像データの一つ前に撮影された画像データとの差分画像を生成する。差分画像の生成方法については、図１５を用いて説明する。
【０１５９】
図１５の例において、（ａ）はＳ１００４で取得した画像データであり、（ｂ）は取得した画像データの一つ前に撮影された画像データである。
まず、それぞれの画像をピクセル単位で走査していき、画素値の差が閾値以上となるピクセルを特定する。そして、図１５（ａ）の画像データのうち、特定されたピクセルをすべて含むような外接矩形を求めることにより、図１５（ｃ）のような差分画像が得られる。
Ｓ１４０２において、ＣＰＵ２５１は、要約テキストと、画像データとしてＳ１４０１で生成した差分画像とを、対応づけてレイアウトさせる。
【０１６０】
以上に説明したとおり、実施例３によれば、新たに追記された書き込みのみを差分画像として生成し、議事録を生成するため、議事録の内容が重複することを低減できる。
【実施例４】
【０１６１】
実施例１では、要約を作成する対象となる区間の開始時刻から終了時刻までの間に該当する画像データを、要約テキストと共にレイアウトして、議事録を生成した。そのため、ユーザが撮影をし忘れる等、要約対象となった区間内で撮影が実行されないと、画像データが要約テキストと共に表示されない。
そこで、実施例４では、要約対象となった区間の終了時に、ユーザに対して撮影を促すメッセージが通知される。以下では、主に、実施例１との差分について説明する。
【０１６２】
図１６（ａ）は、実施例４における、会議情報を記録するための処理を示すフローチャートである。
実施例１との差分である、図中のＧからＨの処理については、図１６（ｂ）で後述する。図中のＧからＨの処理は、図中ＡからＢまでの処理、図中ＣからＤまでの処理と、並行して実行される。図中ＡからＢまでの処理と、図中ＣからＤまでの処理は、図５に記載の処理と同様である。
【０１６３】
図１６（ｂ）のフローチャートでは、ユーザに対して撮影を要求する通知がなされる。
まず、Ｓ１６０１において、ＣＰＵ２０１は、会議状態の変化点を検出したか否かを判定する。
ここでは、Ｓ５１０でアジェンダの終了を検出した場合、Ｓ５１６で話者の変更を検出した場合、Ｓ５１８で表示資料の変更を検出した場合、会議状態の変化点が発生したと判定する。
会議状態の変化点が検出された場合は、ＹＥＳと判定し、Ｓ１６０２に遷移する。変化点が検出されていない場合は、ＮＯと判定し、Ｓ１６０３に遷移する。
【０１６４】
Ｓ１６０２において、ＣＰＵ２０１は、ユーザに対して撮影を促すためのメッセージを通知する
図１７は、会議装置１０１の表示デバイス２０７にユーザに対して撮影を促すメッセージの表示例である。
ここでは、会議中に表示している画面３１０（図３（ｂ））の上部に、「終了したアジェンダの撮影を実行してください」といったメッセージ通知１７００が表示される。
【０１６５】
Ｓ１６０３において、ＣＰＵ２０１は、会議装置１０１の表示デバイス２０７に撮影を促す通知を表示しているか否かを判定する。
通知中の場合、ＹＥＳと判定し、Ｓ１６０４に遷移する。通知中でない場合は、ＮＯと判定し、Ｓ１６０９に遷移する。
【０１６６】
Ｓ１６０４において、ＣＰＵ２０１は、表示デバイス２０７に表示されたメッセージ通知１７００をユーザが選択したか否かを判定する。すなわち、既に終了した区間に対する撮影をユーザが実行したいか否かを確認する。
ユーザがメッセージ通知１７００を選択した場合、ＹＥＳと判定し、Ｓ１６０５に遷移する。このとき、ＣＰＵ２０１は、画面３２０の表示画像データを生成して、表示デバイス２０７に表示させる。ユーザがメッセージ通知１７００を選択しない場合は、ＮＯと判定し、Ｓ１６０９に遷移する。
【０１６７】
Ｓ１６０５において、ＣＰＵ２０１は、撮影を指示されたか否かを判定する。
画面３２０上の任意箇所への指示がなされていたら、ＹＥＳと判定し、Ｓ１６０６に遷移する。画面３２０上で指示がなされていなければ、ＮＯと判定し、Ｓ１６０９に遷移する。
【０１６８】
Ｓ１６０６において、ＣＰＵ２０１は、カメラデバイス２０９を介して被写体を撮影して、画像データを取得し、ストレージ２０５に記録する。
図１８は、本実施例における、会議装置１０１がストレージ２０５に記録する画像情報テーブル１８００の構成例を示すものである。実施例１の画像情報テーブル（図４（ｂ））との差分として、画像データを区間に対応づけるために、関連する区間名列１８０１に、Ｓ１６０１で検出した区間名称を記録する。
【０１６９】
Ｓ１６０７において、ＣＰＵ２０１は、撮影を終了する指示がなされたか否かを判定する。
「ＯＫ」ボタン３２１への指示がなされていたら、ＹＥＳと判定し、Ｓ１６０８に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して、表示デバイス２０７に表示させる。「ＯＫ」ボタン３２１への指示がなされていなければ、ＮＯと判定し、Ｓ１６０５に遷移する。
【０１７０】
Ｓ１６０８において、ＣＰＵ２０１は、画面３１０に表示した通知メッセージ１７００を非表示とする。
【０１７１】
Ｓ１６０９において、ＣＰＵ２０１は、電源をオフする指示がなされたか否かを判定する。
会議装置１０１の電源キーへの指示がなされていれば、ＹＥＳと判定し、処理を終了する。会議装置１０１の電源キーへの指示がなされていなければ、ＮＯと判定し、Ｓ１６０１に遷移する。
【０１７２】
次に、会議サーバ１０２が議事録を生成する処理について説明する。
図１９は、実施例４における、議事録のレイアウト処理を示すフローチャートである。
【０１７３】
実施例１では、アジェンダなどの要約対象となった区間の開始時刻から終了時刻までの間に、撮影時刻が該当する画像データを抽出した。しかし、例えば、アジェンダが終了して次のアジェンダに移行した後、ユーザが前のアジェンダに対する撮影をした場合、時刻情報だけでは撮影した画像データをアジェンダに対応して抽出することができない。
そのため、図１９に示すフローチャートでは、時刻情報だけでなく、画像情報テーブル１８００の関連する区間名列１８０１を参照して、画像データを取得する。
【０１７４】
Ｓ１９０１において、ＣＰＵ２５１は、画像情報テーブル１８００内の、関連する区間名列１８０１を参照して、Ｓ１００１で選択されたレコードの区間名と一致するレコードを特定し、その画像データを取得する。
【０１７５】
ここで、実施例４において、図１１に示した議事録を生成するための処理を、図１９のフローチャートに沿って説明する。
ここでは、実施例１と同様、アジェンダ毎にレイアウトする例について説明する。以下では、要約情報テーブル８００、画像情報テーブル１８００、アジェンダ情報テーブル４２０を用いて、説明する。
【０１７６】
まず、Ｓ１００１において、ＣＰＵ２５１は、要約情報テーブルからレコードを選択する。
ここでは、ＣＰＵ２５１は、要約情報テーブル８００内の区間名８０１が「来年度予算について」のレコードを選択する。
【０１７７】
Ｓ１００２において、ＣＰＵ２５１は、すべての区間を処理したか否かを判定する。
ここでは、要約情報テーブル８００のすべてのレコードをまだ処理していないため、判定はＮＯとなる。
【０１７８】
Ｓ１００３において、ＣＰＵ２５１は、区間の開始時刻と終了時刻を取得する。
ここでは、アジェンダ情報テーブル４２０内の、アジェンダ名４２３が「来年度予算について」のレコードのアジェンダ開始時刻４２１（２０１７／０８／０９ １３：０２：２７）とアジェンダ終了時刻（２０１７／０８／０９ １３：３１：５５）を取得する。
【０１７９】
Ｓ１００４において、ＣＰＵ２５１は、撮影時刻がアジェンダ開始時刻から終了時刻に該当する画像データを取得する。
ここでは、画像情報テーブル１８００の撮像時刻列４１１を参照すると、撮影時刻がアジェンダ開始時刻から終了時刻の間に該当するレコードはないため、ＣＰＵ２５１は、画像データを取得しない。
【０１８０】
Ｓ１９０１において、ＣＰＵ２５１は、参照中のレコードの区間名と一致する画像データを取得する。
ここでは、ＣＰＵ２５１は、画像情報テーブル１８００の関連する区間名列１８０１のうち、選択中のレコードの区間名「来年度予算について」と一致するレコードの画像データ「ｉｍａｇｅ１．ｊｐｇ」を取得する。
以降、実施例１と同様の処理を実行することで、議事録１１００が生成される。
【０１８１】
以上に説明したとおり、実施例４によれば、ユーザは既に終了した区間に対する撮影も行うことができる。このため、適時に撮影をし忘れた場合においても、対応する画像がレイアウトされないことを低減することができる。
【０１８２】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は上述の実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。すなわち、上述の各実施例及びその変形例を組み合わせた構成もすべて本発明に含まれる。
【図１】
2019149083.tif 000003
【図２】
2019149083.tif 000004
【図３】
2019149083.tif 000005
【図４】
2019149083.tif 000006
【図５】
2019149083.tif 000007
【図６】
2019149083.tif 000008
【図７】
2019149083.tif 000009
【図８】
2019149083.tif 000010
【図９】
2019149083.tif 000011
【図１０】
2019149083.tif 000012
【図１１】
2019149083.tif 000013
【図１２】
2019149083.tif 000014
【図１３】
2019149083.tif 000015
【図１４】
2019149083.tif 000016
【図１５】
2019149083.tif 000017
【図１６】
2019149083.tif 000018
【図１７】
2019149083.tif 000019
【図１８】
2019149083.tif 000020
【図１９】
2019149083.tif 000021