(57)【要約】【課題】  会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を複数の区間に分割して要約することが可能な会議システムを提供することを目的とする。【解決手段】  会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を、複数の区間の種別の中から選択された種別に対応する区間ごとに分割し、分割された会議テキスト情報ごとに要約情報を生成する。【選択図】  図８
2019139572.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの発話から音声データを取得する音声取得手段と、
前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
複数の区間の種別の中から一つの種別を選択する選択手段と、
前記第１のテキスト情報を少なくとも含む会議テキスト情報を、前記選択手段により選択された種別に対応する区間ごとに分割する分割手段と、
前記分割手段により分割された前記会議テキスト情報ごとに要約情報を生成する要約手段と、
を有することを特徴とする会議システム。
【請求項２】
会議状態の変化点を検出する検出手段を有し、
前記複数の区間の種別は、前記検出手段により検出された変化点に基づいて決定されることを特徴とする請求項１記載の会議システム。
【請求項３】
前記検出手段は、議題の変更、話者の変更、表示資料の変更、表示資料のページの変更、会議シーンの変更の少なくともいずれかを検出することを特徴とする請求項２記載の会議システム。
【請求項４】
前記第１の生成手段は、前記音声データを音声認識することによって前記第１のテキスト情報を生成することを特徴とする請求項１から３のいずれか１項に記載の会議システム。
【請求項５】
ユーザが記入した文字を撮影することで画像データを取得する画像取得手段と、
前記画像取得手段により取得した画像データに基づいて第２のテキスト情報を生成する第２の生成手段を有し、
前記会議テキスト情報は、前記第１のテキスト情報と前記第２のテキスト情報を含むことを特徴とする請求項１から４のいずれか１項に記載の会議システム。
【請求項６】
前記第２の生成手段は、前記画像データを文字認識することによって前記第２のテキスト情報を生成することを特徴とする請求項５記載の会議システム。
【請求項７】
音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
画像データに基づいて第２のテキスト情報を生成する第２の生成手段と、
前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
複数の区間の種別の中から一つの種別を選択する選択手段と、
前記統合手段により生成された前記会議テキスト情報を、前記選択手段により選択された種別に対応する区間ごとに分割する分割手段と、
前記分割手段により分割された前記会議テキスト情報ごとに要約情報を生成する要約手段と、
を有することを特徴とする要約装置。
【請求項８】
端末装置と要約装置とを含む会議システムであって、
前記端末装置は、
ユーザの発話から音声データを取得する音声取得手段と、
ユーザが記入した文字を撮影して画像データを取得する画像取得手段と、
複数の区間の種別の中から一つの種別を選択する選択手段と、
前記音声取得手段により取得された音声データと、前記画像取得手段により取得された画像データと、前記選択手段により選択された種別を示す情報と、を前記要約装置へ送信する第１の送信手段と、を有し、
前記要約装置は、
前記送信手段により送信された音声データ及び画像データを受信する受信手段と、
前記受信手段により受信した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、
前記受信手段により受信した画像データに基づいて第２のテキスト情報を生成する第２の生成手段と、
前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合手段と、
前記統合手段により生成された前記会議テキスト情報を、前記受信手段により受信した情報により示される種別に対応する区間ごとに分割する分割手段と、
前記分割手段により分割された前記会議テキスト情報ごとに要約情報を生成する要約手段と、
を有することを特徴とする会議システム。
【請求項９】
音声データに基づいて第１のテキスト情報を生成する第１の生成工程と、
複数の区間の種別の中から一つの種別を選択する選択工程と、
前記第１のテキスト情報を少なくとも含む会議テキスト情報を、前記選択工程において選択された種別に対応する区間ごとに分割する分割工程と、
前記分割工程において分割された前記会議テキスト情報ごとに要約情報を生成する要約工程と、
を有することを特徴とする会議システムの制御方法。
【請求項１０】
音声データに基づいて第１のテキスト情報を生成する第１の生成工程と、
画像データに基づいて第２のテキスト情報を生成する第２の生成工程と、
前記第１のテキスト情報と前記第２のテキスト情報を統合して会議テキスト情報を生成する統合工程と、
複数の区間の種別の中から一つの種別を選択する選択工程と、
前記統合工程において生成された前記会議テキスト情報を、前記選択工程において選択された種別に対応する区間ごとに分割する分割工程と、
前記分割工程において分割された前記会議テキスト情報ごとに要約情報を生成する要約工程と、
を有することを特徴とする要約装置の制御方法。
【請求項１１】
請求項９又は１０の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システム、要約装置、会議システムの制御方法、要約装置の制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、会議の議事録を自動生成するシステムが知られている。特許文献１には、人の発話を音声認識してテキスト化し、所定の要約率となるよう要約することで議事録を生成するシステムが開示されている。ここで、要約率とは、要約元のテキストと要約結果のテキストとのサイズ（バイト数や文字数）の比率である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１０４７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、発話テキスト全文中で重要と判断した文を並べて要約結果とするため、発話テキスト中に複数の話題がある場合、要約結果としてふさわしくない結果を出力する可能性がある。例えば、ある会議において２つの議題について議論された場合、各議題における会議参加者の発話の比率が９：１であると、後者の議題については要約結果が出力されない、といった事態が生じうる。また、会議では複数の資料を次々に表示しながら議論される場合があり、それぞれの資料が表示されているときにどのような議論がされたかを議事録として確認したい、といったユースケースが想定される。また、会議参加者毎にどんな発言があったかを議事録として確認したい、といったユースケースも想定される。
【０００５】
このように、会議の議事録を自動作成するにあたり、議題ごと、資料ごと、発言者ごと、など、会議期間を複数の区間に分割し、それぞれの区間内で発生したテキストを要約可能なシステムが望まれる。
【０００６】
本発明は、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を複数の区間に分割して要約することが可能な会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の会議システムは、ユーザの発話から音声データを取得する音声取得手段と、前記音声取得手段により取得した音声データに基づいて第１のテキスト情報を生成する第１の生成手段と、複数の区間の種別の中から一つの種別を選択する選択手段と、前記第１のテキスト情報を少なくとも含む会議テキスト情報を、前記選択手段により選択された種別に対応する区間ごとに分割する分割手段と、前記分割手段により分割された前記会議テキスト情報ごとに要約情報を生成する要約手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、会議参加者の発話内容から得られたテキスト情報を含む会議テキスト情報を複数の区間に分割して要約することが可能な会議システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施例の会議システムの構成例を示した図である。
【図２】会議装置と会議サーバの構成例を示したブロック図である。
【図３】表示デバイスに表示される画面例を示した図である。
【図４】会議情報のデータ構成例を示した図である。
【図５】会議情報を記録する手順を示したフローチャートである。
【図６】会議情報として会議状態の変化を記録する手順を示したフローチャートである。
【図７】議事録元情報のデータ構成例を示した図である。
【図８】議事録元情報のデータ構成例を示した図である。
【図９】議事録を生成する手順を示したフローチャートである。
【図１０】生成される議事録の概要を示した図である。
【図１１】会議テキストを要約する手順を示したフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１１】
図１は、本実施例にかかる会議システム（議事録生成システム、要約システム）の構成を示した図である。
【００１２】
会議システム１００は、会議装置１０１と会議サーバ１０２、ＰＣ１０３より構成される。会議装置１０１と会議サーバ１０２はネットワーク１０４を介して接続されている。会議装置１０１は、会議サーバ１０２と通信可能な端末装置である。なお、図１において、会議システム１００は、会議装置１０１と会議サーバ１０２をそれぞれ一台ずつ備えているが、会議装置１０１乃至会議サーバ１０２を複数備えるよう構成してもよい。
【００１３】
会議装置１０１は、会議室などの会議開催場所に配置され、例えば会議テーブルの上に置かれる。会議装置１０１は、音声や画像など複数の種類のデータ（以降「会議情報」と呼称する）を記録する。また、会議装置１０１は、複数の種別の会議状態の変化点を検出し、会議情報の一部として記録する。そして、会議装置１０１は、記録した会議情報を会議サーバ１０２に送信する。なお、会議装置１０１は、例えばオフィスや所定の会場等において開催される会議を記録する。しかし、本発明が適用対象とする会議は、複数の人物の視認／発声行動を伴う集まりであればよく、オフィスや所定の会場等において開催される会議に限定されない。例えば、面接や、取り調べ等も本発明の適用対象となる。
【００１４】
会議サーバ１０２は、一般的なＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やクラウドサーバである。会議サーバ１０２は、会議装置１０１から会議情報を受信し、これを解析・加工して議事録を作成する。会議サーバ１０２は、会議情報に含まれる音声データを音声認識してテキストを生成する。また、会議情報に含まれる画像データを文字認識してテキストを生成する。
【００１５】
また、会議サーバ１０２は、会議情報を解析して会議状態の変化点を検出する。そして、この検出した変化点と会議情報に含まれる会議装置１０１が検出した会議状態の変化点とから、会議期間を複数の区間に分割する。変化点としては、例えば、アジェンダの変更、会議シーンの変更、要点の発生、話者の変更、表示資料の変更、表示資料のページの変更、が挙げられる。すなわち、変化点の種別は複数あり、それに応じて区間の種別も複数となる（以降、この区間の種別を「区間種別」と呼称する）。会議サーバ１０２は、前記区間や前記テキストを含む情報から議事録を生成し、作成した議事録を配信する。
【００１６】
ＰＣ１０３は、一般的なＰＣやノートＰＣである。ＰＣ１０３は、アプリケーションプログラムを実行し、会議で参照する資料をディスプレイに表示することや、プロジェクタを接続して表示内容を投影することができる。ＰＣ１０３は、ユーザの指示等に応じてアプリケーションプログラムが表示している資料を変更すると、表示された資料の識別情報を会議装置１０１に送信する。当該識別情報として、資料のファイル名やファイルＩＤを用いることができる。また、ＰＣ１０３は、ユーザの指示等に応じてアプリケーションプログラムが表示している資料のページを変更すると、表示画像データを会議装置１０１に送信する。
【００１７】
図２は、図１の会議装置１０１および会議サーバ１０２のハードウェア構成例を示すブロック図である。
【００１８】
会議装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０４、ストレージ２０５、入力デバイス２０６、表示デバイス２０７、外部インターフェース２０８、カメラデバイス２０９、マイクデバイス２１０を備える。これら各部は、データバス２０３を介して相互にデータを送受信することができる。なお、ＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略称である。
【００１９】
ＣＰＵ２０１は、この会議装置全体を制御するためのコントローラである。ＣＰＵ２０１は、不揮発メモリであるＲＯＭ２０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）を起動する。ＣＰＵ２０１は、このＯＳの上で、ストレージ２０５に記録されているコントローラプログラムを実行する。コントローラプログラムは、会議装置全体を制御するプログラムである。ＣＰＵ２０１は、データバス２０３などのバスを介して各部を制御する。ＲＡＭ２０４は、ＣＰＵ２０１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２０５は、読み出しと書き込みが可能な不揮発メモリであり、前述のコントローラプログラムを保存する。また、会議装置１０１は、会議情報を会議サーバ１０２へ送信するまでの間、ストレージ２０５に会議情報を記録する。
【００２０】
入力デバイス２０６は、タッチパネルやハードキー、マウスなどから構成さる入力装置である。また、表示デバイス２０７は、ＬＣＤなどの表示装置である。入力デバイス２０６は、ユーザの操作指示を受け付けると、ＣＰＵ２０１に伝達する。表示デバイス２０７は、ＣＰＵ２０１が生成した表示画像データを画面上に表示する。ＣＰＵ２０１は、入力デバイス２０６から受信した指示情報と、表示デバイス２０７に表示させている表示画像データとに基づいて、操作を判定する。ＣＰＵ２０１は、判定結果に応じて、会議装置１０１を制御するとともに、操作内容に応じて新たな表示画像データを生成し、表示デバイス２０７に表示させる。
【００２１】
外部インターフェース２０８は、ＬＡＮや電話回線、赤外線といった近接無線などのネットワークを介して、別体の外部機器と各種データの送信あるいは受信を行う。
【００２２】
カメラデバイス２０９は、いわゆるデジタルカメラであり、動画や画像を撮影することができる。
【００２３】
マイクデバイス２１０は、入力された音声をデジタル信号化し、例えばＷＡＶＥなどの音声データとして取得する。本実施例では、マイクデバイス２１０は周囲３６０°に指向性のあるマイクアレイであり、これを用いて、周囲でなされた発話の方向を特定することができる。特定可能な発話方向にはそれぞれＩＤが付与されており、発話方向の特定結果は当該ＩＤとして取得できる。
【００２４】
会議サーバ１０２は、ＣＰＵ２５１、ＲＯＭ２５２、ＲＡＭ２５４、ストレージ２５５、入力デバイス２５６、表示デバイス２５７、外部インターフェース２５８を備える。各部は、データバス２５３を介して相互にデータを送受信することができる。
【００２５】
ＣＰＵ２５１は、この会議サーバ全体を制御するためのコントローラである。ＣＰＵ２５１は、不揮発メモリであるＲＯＭ２５２に格納されているブートプログラムによりＯＳを起動する。このＯＳの上で、ストレージ２５５に記憶されている会議サーバプログラムを実行する。ＣＰＵ２５１がこの会議サーバプログラムを実行することより、会議サーバ１０２の各処理を実現する。ＣＰＵ２５１は、データバス２５３などのバスを介して各部を制御する。
【００２６】
ＲＡＭ２５４は、ＣＰＵ２５１のメインメモリやワークエリア等の一時記憶領域として動作するものである。ストレージ２５５は、読み出しと書き込みが可能な不揮発メモリであり、前述の会議サーバプログラムを保存する。
【００２７】
入力デバイス２５６および表示デバイス２５７は、図２を用いて説明した入力デバイス２０６および表示デバイス２５７と同様である。
【００２８】
外部インターフェース２５８は、図２を用いて説明した外部インターフェース２０８と同様である。
【００２９】
ＰＣ１０３のハードウェア構成は、図２（ｂ）に示した会議サーバ１０２と同様である。ＰＣ１０３において、ストレージ２５５には、会議用の資料およびそれを表示するためのアプリケーションプログラムが記録されている。ＣＰＵ２５１は、ＯＳの上で、アプリケーションプログラムを実行することで、資料を解釈し、これを表示するための表示画像データを生成する。そして、表示画像データを表示デバイス２５７に表示させる。
【００３０】
次に、会議システム１００が提示し、ユーザが参照・操作するユーザインターフェースについて説明する。
【００３１】
図３は、会議装置１０１の表示デバイス２０７の表示例を示す画面図である。
【００３２】
図３（ａ）の画面３００は、会議開始前に表示される画面である。
【００３３】
「開始」ボタン３０１は、ユーザが会議装置１０１に会議の開始を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「開始」ボタン３０１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示す画面３１０を表示させる。そして、ＣＰＵ２０１は、会議情報の記録を開始する。
【００３４】
図３（ｂ）の画面３１０は、会議中に表示される画面である。
【００３５】
「撮影」ボタン３１１は、ユーザが会議装置１０１に撮影要求を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「撮影」ボタン３１１への指示を受け付けると、表示デバイス２０７に、図３（ｃ）に示す画面３２０を表示させる。
【００３６】
「アジェンダ」ボタン３１２は、ユーザが会議装置１０１に、アジェンダ（議題）の変更（開始や終了）を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「アジェンダ」ボタン３１２への指示を受け付けると、表示デバイス２０７に、図３（ｄ）に示す画面３３０を表示させる。
【００３７】
「終了」ボタン３１３は、ユーザが会議装置１０１に会議の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「終了」ボタン３１３への指示を受け付けると、表示デバイス２０７に、図３（ｅ）に示す画面３４０を表示させる。
【００３８】
図３（ｃ）の画面３２０は、撮影をする際に表示される画面である。画面３２０には、カメラデバイス２０９により得られる被写体の映像が表示される。ユーザは、当該映像を見ながら、文字を記入したホワイトボードや紙が、会議装置１０１の撮影画角に収まるよう調整することができる。
【００３９】
ＣＰＵ２０１は、入力デバイス２０６を介して画面３１０の任意箇所への指示を受け付けると、カメラデバイス２０９により被写体を撮影して画像データを取得する。
【００４０】
「ＯＫ」ボタン３２１は、ユーザが会議装置１０１に、撮影終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３２１への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。
【００４１】
図３（ｄ）の画面３３０は、アジェンダの変更を指示する際に表示する画面である。
【００４２】
テキストフィールド３３１は、ユーザが会議装置１０１にアジェンダ名を登録するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３３１に、所望のアジェンダ名を入力することができる。
【００４３】
「開始」ボタン３３２は、ユーザが会議装置１０１に、新しいアジェンダの開始を指示するためのものである。
【００４４】
「終了」ボタン３３３は、ユーザが会議装置１０１に、現在のアジェンダの終了を指示するためのものである。なお、終了されたアジェンダは、そのアジェンダ名がテキストエリア３３４にリスト表示される。
【００４５】
「ＯＫ」ボタン３３５は、ユーザが会議装置１０１に、アジェンダ変更の終了を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３３５への指示を受け付けると、表示デバイス２０７に、図３（ｂ）に示した画面３１０を表示させる。
【００４６】
図３（ｅ）の画面３４０は、会議を終了する際に表示する画面である。
【００４７】
テキストフィールド３４１は、ユーザが会議装置１０１に、会議システム１００が作成する議事録の送信先を指定するためのものである。ユーザは入力デバイス２０６を介して、テキストフィールド３４１に、所望の送信先を入力することができる。送信先として、例えば、メールアドレスやファイルサーバのファイル名、Ｗｅｂサービスのアドレスを入力することができる。
【００４８】
ラジオボタン３４２は、議事録を生成する際に、発話テキストと記入テキストを統合して得られる会議テキストを、どの区間種別で分割して要約するかを選択するためのものである。本実施例では、いずれか一つの区間種別が選択される。
【００４９】
「ＯＫ」ボタン３４３は、ユーザが会議装置１０１に、会議終了の確定を指示するためのものである。ＣＰＵ２０１は、入力デバイス２０６を介して「ＯＫ」ボタン３４３への指示を受け付けると、表示デバイス２０７に、図３（ａ）に示した画面３００を表示させる。そして、会議装置１０１は、会議情報の記録を終了し、会議情報を会議サーバ１０２へ送信する。ラジオボタン３４２で選択された区間種別を示す情報も会議情報の一部として会議サーバ１０２へ送信される。その後、会議サーバ１０２は、受信した会議情報を解析・加工して議事録を生成し、送信先に送信する。
【００５０】
次に、会議装置１０１によって記録される会議情報について説明する。図４は、会議装置１０１がストレージ２０５に記録する会議情報の構成例を示したものである。
【００５１】
音声情報テーブル４００は、会議装置１０１が録音して得られた音声に関する情報（以降「音声情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、会議中の会話を録音し音声データを記録する。録音開始時刻列４０１には、録音開始時刻（会議開始時刻）が記録される。録音終了時刻列４０２には、録音終了時刻（会議終了時刻）が記録される。音声データ列４０３には、ストレージ２０５に記録された音声データのファイル名が記録される。
【００５２】
画像情報テーブル４１０は、会議装置１０１が撮影して得られた画像に関する情報（以降「画像情報」と呼称する）を記録するためのデータテーブルである。会議装置１０１は、被写体を撮影して画像データを取得し、ファイルとしてストレージ２０５に記録する。撮影時刻列４１１には、撮影時刻が記録される。画像データ列４１２には、ストレージ２０５に記録した画像データのファイル名が記録される。
【００５３】
アジェンダ情報テーブル４２０は、会議装置１０１が記録するアジェンダに関する情報（以降「アジェンダ情報」と呼称する）を記録するためのデータテーブルである。アジェンダ開始時刻列４２１には、アジェンダの開始時刻を記録する。アジェンダ終了時刻列４２２には、アジェンダの終了時刻が記録される。アジェンダ名列４２３には、アジェンダ名が記録される。
【００５４】
会議シーン情報テーブル４３０は、会議装置１０１が記録する会議シーンに関する情報（以降「会議シーン情報」と呼称する）を記録するデータテーブルである。会議シーンには、説明シーン、議論シーン、結論シーンがある。会議シーン開始時刻列４３１には、各会議シーンの開始時刻が記録される。会議シーン終了時刻列４３２には、各会議シーンの終了時刻が記録される。会議シーン名列４３３には、各会議シーン名が記録される。
【００５５】
話者情報テーブル４４０は、会議装置１０１が記録する話者の変更に関する情報（以降「話者情報」と呼称する）を記録するデータテーブルである。発言開始時刻列４４１には、話者が発言を開始した時刻が記録される。発言終了時刻列４４２には、話者が発言を終了した時刻が記録される。話者列４４３には、発言した話者を区別するための情報が記録される。本実施例では、話者列４４３に、会議装置１０１のマイクデバイス２１０により取得される、発話方向を示すＩＤが記録されるものとする。
【００５６】
資料情報テーブル４５０は、ＰＣ１０３が表示した資料に関する情報（以降「資料情報」と呼称する）を記録するためのデータテーブルである。資料開始時刻列４５１には、ＰＣ１０３が、資料を表示し始めた時刻が記録される。資料終了時刻列４５２には、ＰＣ１０３が、資料を表示し終えた時刻が記録される。資料名列４５３には、表示した資料名が記録される。
【００５７】
資料ページ情報テーブル４６０は、ＰＣ１０３が表示した資料のページに関する情報（以降「資料ページ情報」と呼称する）を記録するためのデータテーブルである。資料ページ開始時刻列４６１には、ＰＣ１０３が、資料のページを表示し始めた時刻が記録される。資料ページ終了時刻列４６２には、ＰＣ１０３が、資料のページを表示し終えた時刻が記録される。資料ページ番号列４６３には、表示している資料の資料名とページ番号とからなる情報が記録される。
【００５８】
次に、会議装置１０１の会議情報の記録処理について説明する。図５および図６は、会議情報記録処理を示したフローチャートである。この処理は、ＣＰＵ２０１が、ストレージ２０５に記録されているコントローラプログラムを読み出して、ＲＡＭ２０４に展開して実行することで実現される。この処理は、ユーザが、会議装置１０１の電源キー（不図示）を操作して電源をＯＮ（オン）にすると開始される。この処理が開始されると、ＣＰＵ２０１は、画面３００用の表示画像データを生成して表示デバイス２０７に画面３００（図３（ａ））を表示させる。
【００５９】
まず、ＣＰＵ２０１は、ステップＳ５０１において、会議開始指示が成されたか否かを判定する。「開始」ボタン３０１への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０２からステップＳ５１５まで（図中ＡからＢまで）の処理と、ステップＳ５１６からステップＳ５２３まで（図中ＣからＤまで）の処理とを、並列に実行する。「開始」ボタン３０１への指示がなされていなければ、ＮＯと判定し、ステップＳ５２５に遷移する。ＣＰＵ２０１は、ステップＳ５２５において、会議装置１０１の電源キー（不図示）への指示による電源オフ指示が成されたか否かを判別する。そしてＣＰＵ２０１は、電源オフ指示が成されない場合は処理をステップＳ５０１に戻す一方、電源オフ指示が成されると、図５の処理を終了させる。
【００６０】
ＣＰＵ２０１は、ステップＳ５０２において、画面３１０用の表示画像データを生成して表示デバイス２０７に画面３１０（図３（ｂ））を表示させると共に、マイクデバイス２１０により、会話の録音を開始する。これにより、ＣＰＵ２０１は、音声データの取得を開始する。そして、ＣＰＵ２０１は、音声情報テーブル４００（図４（ａ））の録音開始時刻列４０１に、録音開始時刻として現在時刻を記録する。また、ＣＰＵ２０１は、音声データを、ファイルとしてストレージ２０５に記録し始める。ＣＰＵ２０１は、当該音声データのファイル名を、音声情報テーブル４００の音声データ列４０３に記録する。なお、録音開始時刻は会議開始時刻に相当する。
【００６１】
ＣＰＵ２０１は、ステップＳ５０３において、撮影要求指示が成されたか否かを判定する。「撮影」ボタン３１１への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０４に遷移する。このとき、ＣＰＵ２０１は、画面３２０用の表示画像データを生成して表示デバイス２０７に画面３２０（図３（ｃ））を表示させる。「撮影」ボタン３１１への指示が成されていなければ、ＮＯと判定し、ステップＳ５０７に遷移する。
【００６２】
ＣＰＵ２０１は、ステップＳ５０４において、撮影指示が成されたか否かを判定する。画面３２０の任意箇所への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０５に遷移する。画面３２０の任意箇所への指示が成されていなければ、ＮＯと判定し、ステップＳ５０６に遷移する。
【００６３】
ＣＰＵ２０１は、ステップＳ５０５において、カメラデバイス２０９により被写体を撮影して画像データを取得する。また、ＣＰＵ２０１は、画像情報テーブル４１０にレコードを追加する。そして、撮影時刻列４１１に撮影時刻として現在時刻を記録する。また、ＣＰＵ２０１は、画像データを、ファイルとしてストレージ２０５に記録する。ＣＰＵ２０１は、当該画像データのファイル名を、画像情報テーブル４１０の画像データ列４１２に記録する。
【００６４】
ＣＰＵ２０１は、ステップＳ５０６において、撮影終了指示が成されたか否かを判定する。「ＯＫ」ボタン３２１への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０３に遷移する。このとき、ＣＰＵ２０１は、画面３１０用の表示画像データを生成して表示デバイス２０７に画面３１０（図３（ｂ））を表示させる。「ＯＫ」ボタン３２１への指示が成されていなければ、ＮＯと判定し、ステップＳ５０４に遷移する。また、ＣＰＵ２０１は、画面３２０を表示させた後、いずれかの箇所への指示が所定時間継続して無かった場合も、撮影終了と判定し、表示デバイス２０７に画面３１０を表示させる。
【００６５】
ＣＰＵ２０１は、ステップＳ５０７において、アジェンダ変更指示が成されたか否かを判定する。「アジェンダ」ボタン３１２への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０８に遷移する。このとき、ＣＰＵ２０１は、画面３３０用の表示画像データを生成して表示デバイス２０７に画面３３０（図３（ｄ））を表示させる。「アジェンダ」ボタン３１２への指示が成されていなければ、ＮＯと判定し、ステップＳ５１３に遷移する。
【００６６】
ＣＰＵ２０１は、ステップＳ５０８において、アジェンダ開始指示が成されたか否かを判定する。「開始」ボタン３３２への指示が成されていたら、ＹＥＳと判定し、ステップＳ５０９に遷移する。「開始」ボタン３３２への指示がなされていなければ、ＮＯと判定し、ステップＳ５１０に遷移する。なお、ステップＳ５０９で開始されていて且つ、ステップＳ５１１で終了していないアジェンダがある場合は、ステップＳ５０８ではＮＯと判定される。
【００６７】
ＣＰＵ２０１は、ステップＳ５０９において、新しいアジェンダを開始する。ＣＰＵ２０１は、アジェンダ情報テーブル４２０にレコードを追加する。そして、アジェンダ開始時刻列４２１に、アジェンダ開始時刻として現在時刻を記録する。
【００６８】
ＣＰＵ２０１は、ステップＳ５１０において、アジェンダ終了指示が成されたか否かを判定する。「終了」ボタン３３３への指示が成されていれば、ＹＥＳと判定し、ステップＳ５１１に遷移する。「終了」ボタン３３３への指示が成されていなければ、ＮＯと判定し、ステップＳ５１２に遷移する。なお、ステップＳ５０９で開始されていて且つ、ステップＳ５１１で終了していないアジェンダがない場合には、ステップＳ５１０ではＮＯと判定される。
【００６９】
ＣＰＵ２０１は、ステップＳ５１１において、現在のアジェンダを終了する。ＣＰＵ２０１は、アジェンダ情報テーブル５１１にステップＳ５０９で追加したレコードのアジェンダ終了時刻列４２２に、アジェンダ終了時刻として現在時刻を記録する。また、ＣＰＵ２０１は、テキストフィールド３３１に入力されたアジェンダ名を、アジェンダ名列４２３に記録する。
【００７０】
ＣＰＵ２０１は、ステップＳ５１２において、アジェンダ変更終了指示が成されたか否を判定する。「ＯＫ」ボタン３３５への指示が成されていれば、ＹＥＳと判定し、ステップＳ５０３に遷移する。このとき、ＣＰＵ２０１は、画面３１０の表示画像データを生成して表示デバイス２０７に画面３１０（図３（ｂ））を表示させる。「ＯＫ」ボタン３３５への指示がなされていなければ、ＮＯと判定し、ステップＳ５０８に遷移する。
【００７１】
ＣＰＵ２０１は、ステップＳ５１３において、会議終了指示が成されたか否かを判定する。「終了」ボタン３１３への指示が成されていれば、ＹＥＳと判定し、ステップＳ５１４に遷移する。このとき、ＣＰＵ２０１は、画面３４０用の表示画像データを生成して表示デバイス２０７に画面３４０（図３（ｅ））を表示させる。「終了」ボタン３１３への指示が成されていなければ、ＮＯと判定し、ステップＳ５０３に遷移する。
【００７２】
ＣＰＵ２０１は、ステップＳ５１４において、マイクデバイス２１０による会議の録音を終了する。ＣＰＵ２０１は、音声情報テーブル４００の録音終了時刻列４０２に、録音終了時刻として現在時刻を記録する。なおこのとき、アジェンダ情報テーブル４２０に、アジェンダ終了時刻列４２２に終了時刻が記録されていないレコードがあれば、アジェンダ終了時刻として現在時刻をアジェンダ終了時刻列４２２に記録する。
【００７３】
ＣＰＵ２０１は、ステップＳ５１５において、会議終了確定指示が成されたか否かを判定する。テキストフィールド３４１に送信先が入力され、ラジオボタン３４２でいずれかの区間種別が選択され、かつ「ＯＫ」ボタン３４３への指示が成されていれば、ＹＥＳと判定し、ステップＳ５２４に遷移する。テキストフィールド３４１への送信先の入力又はラジオボタン３４２の選択がされていない、あるいは、「ＯＫ」ボタン３４３への指示が成されていなければ、ＮＯと判定し、会議終了確定指示が成されるまで待機する。なお、テキストフィールド３４１に入力された送信先と、ラジオボタン３４２で選択された区間種別は、会議情報の一部として記録される。
【００７４】
一方、ＣＰＵ２０１は、ステップＳ５１６において、話者が変化したか否かを判定する。ＣＰＵ２０１は、話者情報テーブル４４０の最新レコード、すなわち、発言開始時刻列４４１の値が最も新しいレコードの話者列４４３の値（ＩＤ）を読み出す。また、ＣＰＵ２０１はマイクデバイス２１０により発話方向を取得し、当該発話方向に該当するＩＤを取得する。ＣＰＵ２０１は、これらＩＤ同士を比較して、一致しなければ、ＹＥＳと判定して、ステップＳ５１７に遷移する。話者情報テーブル４４０にレコードがひとつもない場合、すなわち、最初の発話の場合も、ＹＥＳと判定される。ＩＤが一致すれば、ＮＯと判定され、ステップＳ５１８に遷移する。
【００７５】
ＣＰＵ２０１は、ステップＳ５１７において、話者の変更を記録する。ＣＰＵ２０１は、話者情報テーブル４４０の最新レコードの発言終了時刻列４４２に、前の話者の発話終了時刻として、現在時刻を記録する。また、ＣＰＵ２０１は、話者情報テーブル４４０にレコードを追加し、発言開始時刻列４４１に、発話開始時刻として現在時刻を記録する。
【００７６】
ＣＰＵ２０１は、ステップＳ５１８において、表示資料の変更があったか否かを判定する。ＰＣ１０３から外部インターフェース２０８を介して、表示した資料のファイル名を受信したならば、ＣＰＵ２０１はＹＥＳと判定し、ステップＳ５１９に遷移する。資料のファイル名を受信していなければ、ＣＰＵ２０１はＮＯと判定し、ステップＳ５２０に遷移する。
【００７７】
ＣＰＵ２０１は、ステップＳ５１９において、表示資料の変更を記録する。ＣＰＵ２０１は、資料情報テーブル４５０の最新レコード、すなわち、資料開始時刻列４５１の値が最も新しいレコードの資料終了時刻列４５２に、前の資料の表示の終了時刻として、現在時刻を記録する。また、ＣＰＵ２０１は、資料情報テーブル４５０にレコードを追加する。そして、資料開始時刻列４５１に、資料表示の開始時刻として、現在時刻を記録し、資料名列４５３に、受信した資料のファイル名を記録する。
【００７８】
ＣＰＵ２０１は、ステップＳ５２０において、表示画像データを受信しているか否かを判定する。ＰＣ１０３から外部インターフェース２０８を介して、表示画像データを受信したならば、ＣＰＵ２０１はＹＥＳと判定し、ステップＳ５２１に遷移する。ＰＣ１０３から表示画像データを受信していなければ、ＣＰＵ２０１はＮＯと判定し、ステップＳ５２２に遷移する。
【００７９】
ＣＰＵ２０１は、ステップＳ５２１において、受信した表示画像データに基づいて、表示資料のページの変更を記録する。この処理の詳細を、図６（ａ）を用いて説明する。
【００８０】
図６（ａ）は、会議装置１０１が、表示資料のページの変更を記録する処理を示したフローチャートである。
【００８１】
ＣＰＵ２０１は、ステップＳ６０１において、表示資料の変更があったか否かを判定する。ステップＳ５１８でＹＥＳと判定していれば、ここでもＹＥＳと判定してステップＳ６０２に遷移する。ステップＳ５１８でＮＯと判定していれば、ここでもＮＯと判定してステップＳ６０５に遷移する。
【００８２】
ＣＰＵ２０１は、ステップＳ６０２において、表示資料が初めて表示する資料か否かを判定する。ＣＰＵ２０１は、資料ページ情報テーブル４６０を参照し、資料ページ番号列４６３の値に、現在表示している資料の名称を含む情報が記録されたレコードがあるか調べる。該当するレコードがない場合には、ＣＰＵ２０１はＹＥＳと判定し、ステップＳ６０３に遷移する。これはすなわち、当該電子ファイルはこの会議において初めて表示されたものである。該当するレコードがある場合には、ＣＰＵ２０１はＮＯと判定し、ステップＳ６０４に遷移する。これはすなわち、ＰＣ１０３のアプリケーションプログラムが、ある資料を表示した後、別の資料を表示し、さらに元の資料を再度表示した場合などである。
【００８３】
ＣＰＵ２０１は、ステップＳ６０３において、現在のページ番号を１として、ＲＡＭ２０４に一時的に記憶する。
【００８４】
ＣＰＵ２０１は、ステップＳ６０４において、現在のページ番号を、当該資料を最後に表示していた際のページ番号として、ＲＡＭ２０４に一時的に記憶する。このページ番号は次のようにして得る。ＣＰＵ２０１は、資料ページ情報テーブル４６０を参照し、資料ページ番号列４６３の値に現在表示している資料の名称を含んでいて、かつ、資料ページ開始時刻列４６１が最新の時刻であるレコードを選択する。そしてＣＰＵ２０１は、当該レコードの資料ページ番号列４６３に含まれるページ番号を取得する。
【００８５】
一方、ＣＰＵ２０１は、ステップＳ６０５において、表示しているページに変更があったか否かを判定する。後述するように、表示画像データは、ストレージ２０５に記憶される。ＣＰＵ２０１は、資料ページ情報テーブル４６０のレコードであって、資料ページ開始時刻列４６１が最新のレコードに該当する表示画像データを、ストレージ２０５から読み出す。そして、ＣＰＵ２０１は、外部インターフェース２０８を介して受信した表示画像データとの間で画像差分を計算する。差分のある画素が予め定めた閾値以上存在する場合には、ＣＰＵ２０１はＹＥＳと判定する。つまり、表示しているページに変更があったと判定され、ステップＳ６０６に遷移する。差分のある画素が予め定めた閾値を未満である場合には、ＣＰＵ２０１はＮＯと判定し、本フローチャートの処理を終了する。
【００８６】
ＣＰＵ２０１は、ステップＳ６０６において、現在の表示ページはひとつ前のページであるか否かを判定する。ＣＰＵ２０１は、資料ページ情報テーブル４６０のレコードであって、資料ページ番号列４６３の値に現在表示している資料の名称を含んでいて、かつ、資料ページ開始時刻列４６１が二つ目に新しい時刻であるレコードを選択する。ＣＰＵ２０１は、当該レコードに該当する表示画像データを、ストレージ２０５から読み出し、外部インターフェース２０８を介して受信した表示画像データとの間で画像差分を計算する。差分のある画素が予め定めた閾値未満である場合には、ＣＰＵ２０１はＹＥＳと判定する。つまり、ひとつ前のページを表示したと判定され、ステップＳ６０７に遷移する。差分のある画素が予め定めた閾値以上である場合には、ＣＰＵ２０１はＮＯと判定する。すなわち、次の新しいページを表示したと判定され、ステップＳ６０８に遷移する。
【００８７】
ＣＰＵ２０１は、ステップＳ６０７において、現在のページ番号をひとつ前のページ番号として、ＲＡＭ２０４に一時的に記憶する。これは、ステップＳ６０６で参照したレコードの資料ページ番号列４６３に含まれるページ番号である。
【００８８】
ＣＰＵ２０１は、ステップＳ６０８において、現在のページ番号を次のページ番号として、ＲＡＭ２０４に一時的に記憶する。これは、ステップＳ６０５で参照したレコードの資料ページ番号列４６３に含まれるページ番号に１を加算した値である。
【００８９】
ＣＰＵ２０１は、ステップＳ６０９において、ページの変更を記録する。ＣＰＵ２０１は、資料ページ情報テーブル４６０から、資料ページ開始時刻列４６１の時刻が最新のレコードを取得する。そして、当ＣＰＵ２０１は、該レコードの資料ページ終了時刻列４６２に、ページの表示終了時刻として、現在時刻を記録する。また、ＣＰＵ２０１は、資料ページ情報テーブル４６０にレコードを追加し、資料ページ開始時刻列４６１に現在のページの表示開始時刻として、現在時刻を記憶する。また、ＣＰＵ２０１は、追加したレコードの資料ページ番号列４６３には、外部インターフェース２０８を介して受信した現在表示している資料のファイル名と、ＲＡＭ２０４に一時的に記憶したページ番号とからなる情報を記憶する。
【００９０】
ＣＰＵ２０１は、ステップＳ６１０において、外部インターフェース２０８を介して受信した表示画像データを、ストレージ２０５に記憶する。ステップＳ６０９で追加したレコードの資料ページ番号列４６３の値を、ストレージ２０５における当該表示画像データのファイル名とすることで、ステップＳ６０５やステップＳ６０６において、これを参照可能とする。
【００９１】
図５の説明に戻る。ＣＰＵ２０１は、ステップＳ５２２において、会議シーンの変更を記録する。図６（ｂ）は、会議装置１０１が、会議シーンの変更を記録する処理を示したフローチャートである。
【００９２】
なお、会議シーンは、１人の発言者が発表や説明を述べている「説明シーン」、２人以上の発言者が意見を交わしている「議論シーン」、説明および議論シーンを踏まえて１人の発言者がまとめを述べている「結論シーン」の３種類に分類される。これらの特徴を踏まえ、会議シーンは発話数および発話方向（発話者の位置）に基づいて検出する。各シーンの開始および終了条件は、具体的には以下の通りである。
■説明シーン
・開始：説明シーンが開始していない状態で、発話が一方向から一定時間以上ある
・終了：説明シーンが開始している状態で、発話が２つ以上の方向からある
■議論シーン
・開始：議論シーンが開始していない状態で、発話が２つ以上の方向からある
・終了：議論シーンが開始している状態で、発話が一方向から一定時間以上ある
■結論シーン
・開始：結論シーンが開始していない状態で、発話が一方向から一定時間以上あり、
直前に終了している会議シーンが「説明シーン」または「議論シーン」
・終了：結論シーンが開始している状態で、発話が２つ以上の方向からある
【００９３】
図６（ｂ）に示す処理では、まず、ステップＳ６１１において、ＣＰＵ２０１は発話があるか否かを判定する。発話がある場合、ステップＳ６１２に遷移する。発話がない場合、会議シーン変化検出処理を終了する。
【００９４】
ステップＳ６１２において、ＣＰＵ２０１は発話が一方向から一定時間以上あるか否か、すなわち１人の発話者が発言しているか否かを判定する。発話が一方向から一定時間以上あると判定した場合、ステップＳ６１３に遷移する。発話が一方向から一定時間以上ない、もしくは発話が２つ以上の方向からある、すなわち２人以上の発話者が発言している場合、ステップＳ６１１０に遷移する。
【００９５】
ステップＳ６１３において、ＣＰＵ２０１は現在会議状態の変化として議論シーンの記録を開始済みであるか否かを判定する。開始済みである場合、ステップＳ６１４に遷移する。そうでない場合、ステップＳ６１５に遷移する。
【００９６】
ステップＳ６１４において、ここまでの処理で「議論シーンはすでに開始していたが、現在発話者が１人のみ」、すなわち現在は議論していないと判断できるため、ＣＰＵ２０１は現在の議論シーンを終了する。ＣＰＵ２０１は、会議シーン情報テーブル４３０の会議シーン終了時刻列４３２に、会議シーン終了時刻として現在時刻から一定時間前の時刻を記録する。
【００９７】
ステップＳ６１５において、ＣＰＵ２０１は直前に終了している会議シーンが「説明シーン」または「議論シーン」であったか否かを判定する。どちらかであった場合、ステップＳ６１６に遷移する。そうでない場合、ステップＳ６１８に遷移する。
【００９８】
ステップＳ６１６において、ＣＰＵ２０１は現在会議状態の変化として結論シーンの記録を開始済みでないか否かを判定する。開始済みでない場合、ステップＳ６１７に遷移する。そうでない場合、会議シーン変化検出処理を終了する。
【００９９】
ステップＳ６１７において、ここまでの処理で「現在説明および議論シーンを踏まえて１人の発言者が発言しており、結論シーンはまだ開始していない」、すなわち現在結論シーンが開始したと判断できる。そこで、ＣＰＵ２０１は、会議シーン情報テーブル４３０にレコードを追加する。そして、ステップＳ６１７において、会議シーン開始時刻列４３１に、会議シーン開始時刻として現在時刻から一定時間前の時刻を記録すると共に、会議シーン名列４３３に「結論シーン」と記録する。その後、会議シーン変化検出処理を終了する。
【０１００】
ステップＳ６１８において、ステップＳ６１７において、現在会議状態の変化として説明シーンの記録を開始済みでないか否かを判定する。開始済みでない場合、ステップＳ６１９に遷移する。そうでない場合、会議シーン変化検出処理を終了する。
【０１０１】
ステップＳ６１９において、ここまでの処理で「現在１人の発言者が発言しており、説明シーンはまだ開始していない」、すなわち現在説明シーンが開始したと判断できるため、ＣＰＵ２０１は、会議シーン情報テーブル４３０にレコードを追加する。そして、会議シーン開始時刻列４３１に、会議シーン開始時刻として現在時刻から一定時間前の時刻を記録する。また、会議シーン名列４３３に「説明シーン」と記録する。その後、会議シーン変化検出処理を終了する。
【０１０２】
ステップＳ６１１０において、ステップＳ６１７において、現在会議状態の変化として説明シーンまたは結論シーンの記録を開始済みであるか否かを判定する。開始済みである場合、ステップＳ６１１１に遷移する。そうでない場合、ステップＳ６１１２に遷移する。
【０１０３】
ステップＳ６１１１において、ここまでで「現在説明シーンまたは結論シーンはすでに開始していたが、発話者が２人以上いる」、すなわち現在議論を開始しようとしていると判断できるため、ＣＰＵ２０１は現在の説明シーンまたは結論シーンを終了する。ＣＰＵ２０１は、会議シーン情報テーブル４３０の会議シーン終了時刻列４３２に、会議シーン終了時刻として現在時刻から一定時間前の時刻を記録する。その後、ステップＳ６１１２に遷移する。
【０１０４】
ステップＳ６１１２において、ＣＰＵ２０１は現在会議状態の変化として議論シーンの記録を開始済みでないか否かを判定する。開始済みでない場合、ステップＳ６１１３に遷移する。そうでない場合、会議シーン変化検出処理を終了する。
【０１０５】
ステップＳ６１１３において、ここまでの処理で「現在２人以上の発言者が発言しており、議論シーンはまだ開始していない」、すなわち現在議論シーンが開始したと判断できるため、ＣＰＵ２０１は、会議シーン情報テーブル４３０にレコードを追加する。そして、ＣＰＵ２０１は会議シーン開始時刻列４３１に、会議シーン開始時刻として現在時刻から一定時間前の時刻を記録すると共に、会議シーン名列４３３に「議論シーン」と記録する。その後、会議シーン変化検出処理を終了する。
【０１０６】
図５の説明に戻る。ＣＰＵ２０１は、ステップＳ５２３において、会議終了指示が成されたか否かを判定する。これは、ステップＳ５１３と同様の処理である。
【０１０７】
ＣＰＵ２０１は、ステップＳ５２４において、以上の処理によりストレージ２０５に記録した会議情報を、外部インターフェース２０８を介して会議サーバ１０２に送信して、処理をステップＳ５０１に戻す。その際、ＣＰＵ２０１は、画面３００用の表示画像データを生成して表示デバイス２０７に画面３００（図３（ａ））を表示させる。なお、ＣＰＵ２０１は、送信後の会議情報をストレージ２０５から削除してもよい。
【０１０８】
上記処理によって会議状態の変化点を検出し、各会議状態の開始時刻から終了時刻間の発話テキストを各会議状態変化の要約区間とする。
【０１０９】
ここで、例えば、現在のアジェンダ（アジェンダＡとする）の途中で要点（要点１とする）が生じ、次の要点（要点２とする）が次のアジェンダ（アジェンダＢ）まで生じない場合を考える。このとき、要点２の要約区間にアジェンダＡの話題とアジェンダＢの一部の話題を含んでしまう。すなわち、要約区間に別の話題が混ざってしまい、要約２の要約に違う話題の内容が含まれてしまう。各会議状態の変化点は独立に検出するので、例えば要点区間個別で見たときに、その区間内にどの話題を含んでいるかはわからない。そこで、上記処理によって検出した各会議状態の変化点は、上位層と下位層で階層的に管理し、下位層の開始および終了が上位層の開始および終了をまたぐ場合、下位層の内容を上位層の開始および終了に収める補正を行う。階層構造の例として、本実施例では最上位層にアジェンダの変化点、その下位層に並列に会議シーンの変化点、要点の発生点、話者の変化点、表示する資料の変化点をおくものとする。また、会議シーンの変化点の下位層に各シーンでの話者の変化点を、表示する資料の変化点の下位層に資料ページの変化点をおくものとする。しかしながら階層構造はこの限りではなく、例えば資料の変化点を最上位層においてもよいし、複数の階層構造で管理してもよい。処理としては、上位層と下位層の開始および終了時刻を比較し、上位層より開始が速い、または終了が遅い下位層がある場合は、該当する下位層の開始または終了を上位層に合わせる。例えば、上位層に収まるように下位層の一部を削除することが考えられるが、この限りではない。
【０１１０】
次に、会議サーバ１０２が、会議装置１０１から受信した会議情報を解析・加工して生成する議事録元情報について説明する。図７と図８は、会議サーバ１０２がストレージ２５５に記録する議事録元情報の構成例を示したものである。
【０１１１】
発話情報テーブル７００は、会議情報に含まれる音声データに対する音声認識結果に関する情報（以降「発話情報」と呼称する）を記録するデータテーブルである。ＣＰＵ２５１は、音声データを解析してユーザの発話を特定し、発話毎にレコードを生成する。発話時刻列７０１には、発話が発生した時刻（以降「発話時刻」と呼称する）が記録される。発話テキスト列７０２には、発話を音声認識して得た発話テキストが記録される。発話や発話時刻の特定方法については後述する。
【０１１２】
記入情報テーブル７１０は、会議情報に含まれる画像データに対する文字認識結果に関する情報（以降「記入情報」と呼称する）を記録するデータテーブルである。ＣＰＵ２５１は、画像データを解析してユーザによる記入を特定し、記入毎にレコードを生成する。記入時刻列７１１には、記入が発生した時刻（以降「記入時刻」と呼称する）が記録される。記入テキスト列７１２には、画像データを文字認識して得た記入テキストが記録される。記入や記入時刻の特定方法については後述する。
【０１１３】
会議テキスト情報テーブル７２０は、会議において発生したテキスト（以降「会議テキスト」と呼称する）に関する情報（以降「会議テキスト情報」と呼称する）を記録するためのデータテーブルである。会議テキスト情報は、発話情報と記入情報を統合して生成するものである。発生時刻列７２１は、会議テキスト情報が発生した時刻として、発話時刻７０１又は記入時刻７１１の時刻が記録される。会議テキスト列７２２には、会議テキストとして、発話テキスト列７０２又は記入テキスト列７１２のテキストが記録される。区分列７２３には、それに対応するレコードが、会議テキストの元となったテキスト（統合前のテキスト）が発話情報であったのか記入情報であったのかを示す情報が記録される。例えば、区分列７２３には、統合前のテキストが発話情報であった場合には０が記録され、記入情報であった場合には１が記録される。要点列７２４には、それに対応するレコードの会議テキスト列７２２の会議テキストが要点であるか否かを示す情報が記録される。ここで要点とは、決定した事項や、発生したアクションアイテムなど、その会議の主要な内容を示すものである。要点の判定方法については後述する。要点である場合には１が記録され、そうでない場合には０が記録される。なお、ＣＰＵ２５１は、会議テキスト情報テーブル７２０のレコードを、発生時刻列７２１の値で昇順に（発生した順に）ソートする。
【０１１４】
要点情報テーブル７３０は、要点に関する情報（以降「要点情報」と呼称する）を記録するためのデータテーブルである。本実施例では、「ある要点」が発生してから、「次の別の要点」が発生するまでの間を一つの区間として管理する。この区間を、上述の「次の別の要点」を導くための議論が成された区間と見なすものである。要点開始時刻列７３１には、当該区間の開始時刻が記録される。これは前述の「ある要点」の発生時刻である。要点終了時刻列７３２には、当該区間の終了時刻が記録される。これは前述の「次の別の要点」の発生時刻である。なお、最初に発生した要点の要点開始時刻列７３１には、録音開始時刻（会議開始時刻）が記録される。要点列７３３には、要点の内容が記録される。
【０１１５】
要約情報テーブル８００，８０３は、会議テキストを要約した情報（以降「要約情報」と呼称する）を記録するためのデータテーブルである。ＣＰＵ２５１は、会議テキスト情報テーブル７２０の会議テキスト列７２２の会議テキストを、ラジオボタン３４２によりユーザが選択した種別の区間ごとに要約し、要約テキストを生成する。区間名列８０１、８０４には、区間の名称が記録される（これについては後述する）。要約テキスト列８０２、８０５には、生成した要約テキストが記録される。要約情報テーブル８００は、区間種別としてアジェンダが選択されたときの例であり、要約情報テーブル８３０は、区間種別として要点が選択されたときの例である。このように、選択された区間種別に応じて、異なる要約結果を得ることができる。
【０１１６】
次に、会議サーバ１０２が議事録元情報（図６、図７）の生成を経て議事録を生成する処理について説明する。図９（ａ）（ｂ）（ｃ）は議事録生成処理を示したフローチャートである。この処理は、ＣＰＵ２５１が、ストレージ２５５に記録されている会議サーバプログラムを読み出して、ＲＡＭ２５４に展開して実行することで実現される。この処理は、会議サーバ１０２が起動されると開始される。
【０１１７】
まず、ＣＰＵ２５１は、ステップ９０１において、外部インターフェース２５８を介して会議情報を受信したか否かを判定する。ＣＰＵ２５１は、会議装置１０１から会議情報を受信しているならば、ＹＥＳと判定し、ステップ９０２に遷移する。一方、ＣＰＵ２５１は、会議装置１０１から会議情報を受信していなければ、ＮＯと判定し、ステップ９０９に遷移する。
【０１１８】
ＣＰＵ２５１は、ステップ９０２において、受信した会議情報に含まれる音声データに対して音声認識を行い、発話テキストを得る。ここでＣＰＵ２５１は、音声データを先頭から走査して次の処理を行う。まず、ＣＰＵ２５１は、音声データ中の無音区間を検出する。無音区間は、例えば、音声データの音圧が閾値以下の状態が一定時間継続されたことに基づいて検出可能である。ある無音区間と次の無音区間の間の区間を発話区間とし、個々の発話区間について音声認識を行って発話テキストを得る。また、ＣＰＵ２５１は、会議情報の音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻と、各発話区間の音声データの先頭からの経過位置とから、各発話区間の発話時刻を計算する。ＣＰＵ２５１は、このようにして得た発話区間毎に発話情報テーブル７００にレコードを生成（追加）する。そしてＣＰＵ２５１は、該当する発話時刻と発話テキストとを、それぞれ発話時刻列７０１と発話テキスト列７０２に記録する。
【０１１９】
次にＣＰＵ２５１は、ステップ９０３において、受信した会議情報に含まれる画像データに対して文字認識を行い、記入テキストを得る。ここでＣＰＵ２５１は、会議情報に含まれる画像情報テーブル４１０のレコードを順に走査して、次の処理を行う。まずＣＰＵ２５１は、画像情報テーブル４１０のレコードを、撮影時刻列４１１の値で昇順に（撮影した順に）ソートする。ＣＰＵ２５１は、現在参照しているレコードの画像データ列４１２が示す画像データと、ひとつ前のレコードの画像データ列４１２が示す画像データとの画像差分を求める。この画像差分には、ひとつ前のレコードに該当する撮影から現在参照しているレコードに該当する撮影までの間にユーザが記入した文字が含まれる部分画像であると見なすことができる。ＣＰＵ２５１は、当該部分画像に対して文字認識を行い、記入テキストを得る。また、ＣＰＵ２５１は、現在参照しているレコードの撮影時刻列４１１の撮影時刻を、当該画像差分が発生した時刻、すなわちユーザによる記入の記入時刻とする。ＣＰＵ２５１は、このようにして得た画像差分（記入）毎に記入情報テーブル７１０にレコードを生成する。そして、ＣＰＵ２５１は、該当する記入時刻と記入テキストを、それぞれ記入時刻列７１１と記入テキスト列７１２に記録する。
【０１２０】
ＣＰＵ２５１は、ステップ９０４において、発話テキストと記入テキストとを統合して、会議テキストを得る。すなわち、ＣＰＵ２５１は、ステップ９０２で生成した発話情報テーブル７００とステップ９０３で生成した記入情報テーブル７１０とを統合して、会議テキスト情報テーブル７２０を生成する。ここでＣＰＵ２５１は、次の処理を行う。まずＣＰＵ２５１は、発話情報テーブル７００に含まれるレコードの数だけ会議テキスト情報テーブル７２０にレコードを追加する。このときＣＰＵ２５１は、発話時刻列７０１の発話時刻を会議テキストが発生した時刻として発生時刻列７２１に記録し、発話テキスト列７０２の発話テキストを会議テキストとして会議テキスト列７２２に記録する。区分列７２３には、元のデータが発話情報であったことを示す０を記録する。ＣＰＵ２５１はさらに、記入情報テーブル７１０に含まれるレコードの数だけ会議テキスト情報テーブル７２０にレコードを追加する。このときＣＰＵ２５１は、記入時刻列７１１の記入時刻を会議テキストが発生した時刻として発生時刻列７２１に記録し、記入テキスト列７１２の記入テキストを会議テキストとして会議テキスト列７２２に記録する。ＣＰＵ２５１は、区分列７２３には、元のデータが記入情報であったことを示す１を記録する。ＣＰＵ２５１は、以上追加したレコードを発生時刻列７２１の値で昇順に（発生した順に）ソートする。
【０１２１】
ＣＰＵ２５１は、ステップ９０５において、ステップ９０４で生成した会議テキストから要点を抽出する。この要点抽出処理の詳細を、図９（ｂ）を用いて説明する。
【０１２２】
ＣＰＵ２５１は、ステップＳ９２１において、処理の対象とする会議テキスト情報テーブル７２０のレコードを選択する。ステップＳ９２１を最初に実行する場合には、会議テキスト情報テーブル７２０の先頭のレコードを選択する。２回目以降は、現在選択しているレコードの次のレコードを選択する。
【０１２３】
ＣＰＵ２５１は、ステップＳ９２２において、現在選択しているレコードの会議テキストが、要点であるか否かを判定する。これは、例えば、会議テキストが予め決定した特定のキーワードを含むならば要点であると判定する。特定のキーワードとして、例えば「決定事項」、「アクションアイテム」、「宿題」などを使用するようにすればよい。ＣＰＵ２５１は、要点である場合には、現在選択しているレコードの要点列７２４に１を記録し、そうでない場合は０を記録する。
【０１２４】
ＣＰＵ２５１は、ステップＳ９２２において、要点であると判定した場合には、ステップＳ９２３に遷移し、要点でないと判定した場合には、ステップＳ９２４に遷移する。
【０１２５】
ＣＰＵ２５１は、ステップＳ９２３において、要点発生を記憶する。ＣＰＵ２５１は、要点情報テーブル７３０にレコードが存在する場合には、最新のレコード、すなわち、要点開始時刻列７３１の値が最新の時刻のレコードを取得する。そしてＣＰＵ２５１は、当該レコードの要点終了時刻列７３２のレコードの値を、ここで記録する要点の要点開始時刻として取得する。ＣＰＵ２５１は、要点情報テーブル７３０にレコードが存在しない場合には、音声情報テーブル４００の録音開始時刻列４０１の値（すなわちこれは会議開始時刻である）を、ここで記録する要点の要点開始時刻として取得する。そして、ＣＰＵ２５１は、要点情報テーブル７３０にレコードを追加し、当該レコードの要点開始時刻列７３１に、取得した要点開始時刻を記録する。またＣＰＵ２５１は、要点終了時刻列７３２に、要点終了時刻として、現在選択している会議テキスト情報テーブル７２０のレコードの、発生時刻列７２１の値を記録する。ＣＰＵ２５１は、要点列７３３には、要点の内容として、現在選択している会議テキスト情報テーブル７２０のレコードの会議テキスト列７２２の値を記録する。
【０１２６】
ＣＰＵ２５１は、ステップＳ９２４において、会議テキスト情報テーブル７２０の全てのレコードを処理したか否かを判定する。ＣＰＵ２５１は、次のレコードがない場合には、ＹＥＳと判定し、要点抽出処理を終了する一方、次のレコードがある場合には、ＮＯと判定し、ステップＳ９２１の処理に戻る。
【０１２７】
図９（ａ）に戻って、ＣＰＵ２５１は、ステップＳ９０６において、ステップＳ９０４で生成した会議テキストを要約する。この要約処理の詳細を、図９（ｃ）を用いて説明する。
【０１２８】
ＣＰＵ２５１は、ステップＳ９４１において、会議テキストの要約に利用する区間種別を選択する。ＣＰＵ２５１は、会議情報に含まれている、ユーザがラジオボタン３４２を用いて選択した区間種別の情報を参照することで、要約に利用する区間種別を選択する。またＣＰＵ２５１は、選択された区間種別に基づいて、参照すべきテーブルを選択する。選択されるテーブルは、アジェンダ情報テーブル４２０、会議シーン情報テーブル４３０、話者情報テーブル４４０、資料情報テーブル４５０、資料ページ情報テーブル４６０、要点情報テーブル７３０いずれかである。すなわち、ユーザが選択した区間種別が「アジェンダごと」であれば、アジェンダ情報テーブル４２０が選択され、ユーザが選択した区間種別が「会議シーンごと」であれば、会議シーン情報テーブル４３０が選択される。ユーザが選択した区間種別が「話者ごと」であれば、話者情報テーブル４４０が選択され、ユーザが選択した区間種別が「資料ごと」でれば、資料情報テーブル４５０が選択される。ユーザが選択した区間種別が「資料ページごと」であれば、資料ページ情報テーブル４６０が選択され、ユーザが選択した区間種別が「要点ごと」であれば、要点情報テーブル７３０が選択される。
【０１２９】
以降、説明を簡略化するため、アジェンダ情報テーブル４２０、会議シーン情報テーブル４３０、話者情報テーブル４４０、資料情報テーブル４５０、資料ページ情報テーブル４６０、要点情報テーブル７３０を総称して、「区間情報テーブル」と呼称する。また、アジェンダ開始時刻列４２１、会議シーン開始時刻列４３１、発言開始時刻列４４１、資料開始時刻列４５１、資料ページ開始時刻列４６１、要点開始時刻列７３１を総称して、「区間開始時刻列」と呼称する。また、アジェンダ終了時刻列４２２、会議シーン終了時刻列４３２、発言終了時刻列４４２、資料終了時刻列４５２、資料ページ終了時刻列４６２、要点終了時刻列７３２を総称して「区間終了時刻列」と呼称する。また、アジェンダ名列４２３、会議シーン名列４３３、話者列４４３、資料名列４５３、資料ページ番号列４６３、要点列７３３を総称して「区間名列」と呼称する。
【０１３０】
ＣＰＵ２５１は、ステップＳ９４２において、処理の対象とする区間情報テーブルのレコードを選択する。ステップＳ９４２を最初に実行する場合には、区間情報テーブルの先頭のレコードを選択する。２回目以降は、現在選択しているレコードの次のレコードを選択する。
【０１３１】
ＣＰＵ２５１は、ステップＳ９４３において、現在選択しているレコードの区間に該当する会議テキストを取得する。ＣＰＵ２５１は、会議テキスト情報テーブル７２０のレコードのうち、発生時刻列７２１の時刻が、区間情報テーブルの現在選択しているレコードの区間開始時刻列の時刻から区間終了時刻列の時刻までの間に該当するものを抽出する。そして抽出したひとつ以上のレコードの会議テキスト列７２２の会議テキストを要約の対象とする。
【０１３２】
ＣＰＵ２５１は、ステップＳ９４４において、ステップＳ９４３で取得した会議テキストを要約する。そして、ＣＰＵ２５１は、要約情報テーブル８００にレコードを追加して、要約テキスト列８０２に生成した要約テキストを記録する。また、ＣＰＵ２５１は、現在参照している区間情報テーブルの区間名列の値を、区間名列８０１に記録する。
【０１３３】
ＣＰＵ２５１は、ステップＳ９４５において、区間情報テーブルのすべてのレコードを処理したか否かを判定する。ＣＰＵ２５１は、次のレコードがない場合には、ＹＥＳと判定し、要約処理を終了する一方、次のレコードがある場合には、ＮＯと判定し、ステップＳ９４２の処理に戻る。
【０１３４】
図９（ａ）に戻って、ＣＰＵ２５１は、ステップ９０７において、以上のようにして得た議事録元情報および会議情報をもとに議事録を生成する。図１０は議事録の一例を示す図である。議事録１０００は議事を示す議事テキストデータ１０１０と、貼付画像データ群１０２０とから成る。議事テキストデータ１０１０は、会議開催時間１０１１、要点一覧１０１２、区間名１０１３、１０１５、要約テキスト１０１４、１０１６を含む。
【０１３５】
ＣＰＵ２５１は、音声情報テーブル４００の録音開始時刻列４０１の録音開始時刻（会議開始時刻）と、録音終了時刻列４０２の録音終了時刻（会議終了時刻）とから会議開催時間１０１１を生成する。要点一覧１０１２は、会議テキスト情報テーブル７２０のレコードであって、要点列７２４が１（要点）であるレコードの会議テキスト列７２２の会議テキストの一覧である。区間名１０１３、１０１５は、要約情報テーブル８００の区間名列８０１のテキストであり、アジェンダ名、会議シーン名、要点の内容、資料のファイル名、資料ページのページ番号、話者（のＩＤ）、のいずれかが表示される。要約テキスト１０１４、１０１６は、各区間名１０１３、１０１５に対応する会議テキストの要約テキストであり、要約情報テーブル８００の要約テキスト列８０２から取得される。貼付画像データ群１０２０は、会議情報に含まれる画像データを含む。なお、ステップＳ９４１で選択した区間種別が「要点ごと」である場合には、区間名（１０１３、１０１５）に要点が表示されるため、要点テキスト１０１２は表示しなくてもよい。
【０１３６】
ＣＰＵ２５１は、ステップ９０８において、議事録を、会議情報に含まれる送信先に送信する。議事録の送信方法としては、例えば、電子メールで送信することができる。ＣＰＵ２５１は、電子メール本文に議事テキストデータ１０１０を入力し、貼付ファイルに貼付画像データ群１０２０を入力して、電子メールを送信する。
【０１３７】
ＣＰＵ２５１は、ステップ９０９において、終了指示が成されたか否かを判定する。ユーザは、例えば、外部インターフェース２５８を介して、別体のＰＣから会議サーバ１０２の終了指示を成すことができる。終了指示が成されていたら、ＹＥＳと判定し、処理を終了する。終了指示が成されていなければ、ＮＯと判定し、ステップ９０１に遷移する。
【０１３８】
ここでステップ９４５における要約テキストの生成について説明する。図１１（ａ）は、要約テキスト生成処理の一例を示したフローチャートである。の処理にあたっては、会議テキスト情報テーブル７２０の複数のレコードが入力されてくる。
【０１３９】
ＣＰＵ２５１は、ステップ１１０１において、入力されたレコード全てを参照し、会議テキスト列７２２の会議テキストに出現する単語それぞれについて、その重要度を算出する。ＣＰＵ２５１は、例えば、各単語の出現頻度に基づいて各単語の重要度を算出する。出現頻度が高い単語ほど重要度を高いとし、重要度は例えば値で表現される。
【０１４０】
ＣＰＵ２５１は、ステップ１１０２において、入力された各レコードの会議テキスト列７２２の会議テキストについて、それぞれその重要度を算出する。ＣＰＵ２５１は、ステップ１１０１で算出した各単語の重要度を参照し、それぞれの会議テキストに含まれる各単語の重要度の合計値を算出することで、当該会議テキストの重要度の値を算出する。
【０１４１】
ＣＰＵ２５１は、ステップ１１０３において、重要度が所定の閾値以上の会議テキストを、重要度の高い会議テキストとして抽出する。そしてＣＰＵ２５１は、抽出した会議テキストを結合して要約テキストを得る。そして、本処理の結果として、処理呼び出し元にこれを返す。
【０１４２】
なお、会議テキストの要約の手法は図１１（ａ）で説明したものに限定されない。例えば、会議において、ホワイトボードなどの記入媒体に、論点や重要な意見を記載する場合がある。これらの内容は通常、議事として重要なので、記入媒体から得た記入テキストを要約テキストに優先的に反映するようにしてもよい。例えば、ステップ１１０３において、ＣＰＵ２５１は、入力されたレコードの区分列７２３の値を確認する。そしてその値が１（元は記入情報）ならば、重要度が閾値以上か否かに関わらず、当該レコードの会議テキスト列７２２の会議テキストを要約テキストの一部として抽出するようにしてもよい。
【０１４３】
また、記入テキストを要約テキストに優先的に反映する処理の例として、次のように要約テキスト生成処理を実行してもよい。図１１（ｂ）は、要約テキスト生成処理の別の例を示したフローチャートである。図１１（ａ）の処理と同様、図１１（ｂ）の処理にあたって、会議テキスト情報テーブル７２０における複数のレコードが入力されてくる。
【０１４４】
ＣＰＵ２５１は、ステップ１１１１において、入力されたレコードのうち、区分レコードが１（元は記入情報）のレコードを参照して、会議テキスト列７２２の会議テキストに含まれる単語のリスト（以降「記入単語リスト」と呼称する）を作成する。
【０１４５】
ＣＰＵ２５１は、ステップ１１１２、１１１３において、ステップ１１０１、Ｓ１１０２と同様の処理を行う。
【０１４６】
ＣＰＵ２５１は、ステップ１１１４において、ステップ１１１１で作成した記入単語リストを参照して、ステップ１１１３で算出した会議テキストの重要度を更新する。すなわち、ＣＰＵ２５１は、入力された各レコードの会議テキスト列７２２の会議テキストについて、記入単語リストの単語を含む場合には、当該会議テキストの重要度にバイアス（重み付け）を加える。例えば重要度の値を大きくする。その際ＣＰＵ２５１は、記入単語リストの単語を含む数に応じて重み付けを大きくしてもよい。
【０１４７】
ＣＰＵ２５１は、ステップ１１１５において、ステップ１１０３と同様の処理を行う。
【０１４８】
なお、ＣＰＵ２５１は、ステップ１１１４において、対象の会議テキストが記入単語リストの単語を含む場合には、重要度の最大値を付与するようにし、ステップ１１０３では当該会議テキストが要約テキストの一部として必ず抽出されるようにしてもよい。この場合、会議テキストのうち、記入テキストから生成されたテキストについては全て抽出されることになる。
【０１４９】
以上のように、本実施例によれば、会議サーバ１０２は、音声データの音声認識を行うことにより発話テキストを生成すると共に、画像データの文字認識を行うことにより記入テキストを生成し、これらを統合して会議テキストを生成する。そして、会議サーバ１０２は、生成された会議テキストをユーザにより選択された種別に対応する複数の区間に分割し、分割された区間内で発生した会議テキスト毎に要約テキストを生成することができる。これにより、ユースケースに応じた適切な要約結果を得ることができる。
【０１５０】
なお、上記実施例では、要約の対象である会議テキストを、発話テキストと記入テキストを統合することで生成する例について説明したが、発話テキストのみ、ないし、記入テキストのみから会議テキストを生成してもよい。
【０１５１】
上記実施例では、会議装置１０１と会議サーバ１０２とを独立した装置として会議システムを構成する例について説明したが、両装置の機能を備えた単一の装置を本発明における会議装置として構成してもよい。あるいは、会議サーバ１０２を、音声データを取得する音声取得機能と画像データを取得する画像取得機能のいずれかまたは双方を更に有した装置とし、これを本発明の会議装置としてもよい。
【０１５２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１５３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【０１５４】
１０１  会議装置
１０２  会議サーバ
７０２  発話テキスト列
７１２  記入テキスト列
７２２  会議テキスト列
８０２  要約テキスト列
【図１】
2019139572.tif 000003
【図２】
2019139572.tif 000004
【図３】
2019139572.tif 000005
【図４】
2019139572.tif 000006
【図５】
2019139572.tif 000007
【図６】
2019139572.tif 000008
【図７】
2019139572.tif 000009
【図８】
2019139572.tif 000010
【図９】
2019139572.tif 000011
【図１０】
2019139572.tif 000012
【図１１】
2019139572.tif 000013