(57)【要約】      （修正有）【課題】口頭で行われている会議の要約書を適切に自動生成する方法を提供する。【解決手段】会議要約書生成システムは、音声認識によって発話された文を文字からなる文（テキスト文）に変換し、一つの文を解析して、５Ｗ１Ｈ関連語辞書３０３及び承諾語辞書３０４を参照する。文が５Ｗ１Ｈ関連語辞書３０３及び承諾語辞書３０４に含まれる単語を含む場合、会議要約書生成システムは、当該文を要約書に含めると決定する。これにより、要約書に含めるべき重要な文を、選択することができる。【選択図】図６
2019121075.tif 000002
【特許請求の範囲】
【請求項１】
計算機システムが会議の音声データから要約書を作成する方法であって、
前記計算機システムは、
プロセッサと、
前記プロセッサにより実行されるプログラム、及び、辞書を格納している記憶装置と、を含み、
前記方法は、前記プロセッサが
前記会議の音声データを取得し、
前記音声データから、音声認識処理によって、現在テキスト文を形成し、
前記現在テキスト文及び辞書を参照し、前記現在テキスト文に前記辞書内の単語が含まれているか判定し、
前記現在テキスト文に前記辞書内の単語が含まれている場合に、前記現在テキスト文を、前記記憶装置に格納されている前記要約書に追加する、ことを含む方法。
【請求項２】
請求項１に記載の方法であって、
前記記憶装置は、前記会議で使用される会議資料を格納し、
前記方法は、
前記プロセッサが、前記音声データを取得する前に、前記会議資料の形態素解析を実行し、予め定められている品詞の単語を選択して前記辞書に含める、ことを含む方法。
【請求項３】
請求項１に記載の方法であって、
前記辞書は、疑問を示す単語を含み、
前記方法は、前記プロセッサが、前記現在テキスト文が前記辞書内の疑問を示す単語を含む場合に、前記現在テキスト文及び前記現在テキスト文の次のテキスト文を、前記要約書に追加する、ことを含む方法。
【請求項４】
請求項１又は３に記載の方法であって、
前記辞書は、時間を示す単語及び場所を示す単語を含む、方法。
【請求項５】
請求項１に記載の方法であって、
前記記憶装置は、承諾を示す単語からなる承諾語辞書を格納し、
前記方法は、前記プロセッサが、前記現在テキスト文が前記承諾語辞書内の承諾を示す単語を含む場合に、前記現在テキスト文の直前のテキスト文を前記要約書に追加する、ことを含む方法。
【請求項６】
請求項１に記載の方法であって、
前記計算機システムは、前記要約書を表示する表示装置をさらに含み、
前記方法は、前記プロセッサが、
前記表示装置において前記要約書を表示し、
前記要約書における修正前テキスト文のユーザ選択を受け付け、
前記表示装置に表示されている前記修正前テキスト文において、規定の品詞の単語を明示し、
前記規定の品詞の単語からの単語のユーザ選択を受け付け、
前記規定の品詞の単語から前記ユーザ選択された単語を含み、前記規定の品詞の単語において前記ユーザ選択されなかった単語を除外して、新規テキスト文を生成し、
前記修正前テキスト文を前記新規テキスト文で置き換える、ことを含む方法。
【請求項７】
請求項６に記載の方法であって、
前記プロセッサが、修正前テキスト文における前記ユーザ選択された単語に続く、前記規定の品詞以外の品詞の単語を、前記新規テキスト文において補完する、ことを含む方法。
【請求項８】
請求項１に記載の方法であって、
前記計算機システムは、前記要約書を表示する表示装置をさらに含み、
前記方法は、前記プロセッサが、
前記表示装置において前記要約書を表示し、
前記要約書における第１の修正前テキスト文及び第２の修正前テキスト文のユーザ選択を受け付け、
前記表示装置に表示されている前記第１の修正前テキスト文及び前記第２の修正前テキスト文において、規定の品詞の単語を明示し、
前記表示装置に表示されている前記第１の修正前テキスト文及び前記第２の修正前テキスト文において、前記規定の品詞の単語からの単語のユーザ選択を受け付け、
前記ユーザ選択された単語を選択された順で配列し、連続する異なる修正前テキスト文の単語の間に読点を補完し、同一修正前テキスト文の単語の間に、前記同一修正前テキスト文における前記規定の品詞以外の品詞の単語を補完して、新規テキスト文を生成し、
前記第１の修正前テキスト文及び前記第２の修正前テキスト文を前記要約書から削除して、前記新規テキスト文を前記要約書に追加する、ことを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議の音声データから要約書を作成する方法に関する。
【背景技術】
【０００２】
本開示の背景技術として、例えば、特開２０１１−２８６３８号公報（特許文献１）が知られている。特開２０１１−２８６３８号公報は、要約文生成技術を開示する。具体的には、単語にその形態素品詞およびその単語概念ベクトルが対応付けられた組が複数登録されている概念語辞書を用いて、要約対象文章から概念語辞書に登録されている単語を抽出し、抽出された単語に対応する単語概念ベクトルを用いて要約対象文章の特徴量を算出し、要約文作成に利用するために予め用意されている参照用文章の集合である参照用文章群に含まれる各参照用文章の特徴量の、要約対象文章の特徴量に対する類似度を算出し、最も類似度の高い参照用文章を選択し、選択された参照用文章に含まれている単語を、当該単語に対して単語概念ベクトルに基づく類似度の高い、要約対象文章に含まれている単語で置換することにより要約文を作成する、ことを開示する（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２８６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、会議等における口頭による会話においては、主語や目的語が省略されることが多く、構文的な特徴から要約を生成することが難しい。したがって、口頭で行われている会議の要約書を適切に自動生成することができる技術が望まれる。
【課題を解決するための手段】
【０００５】
本開示の代表的な一例は、計算機システムが会議の音声データから要約書を作成する方法であって、前記計算機システムは、プロセッサと、前記プロセッサにより実行されるプログラム、及び、辞書を格納している記憶装置と、を含み、前記方法は、前記プロセッサが前記会議の音声データを取得し、前記音声データから、音声認識処理によって、現在テキスト文を形成し、前記現在テキスト文及び辞書を参照し、前記現在テキスト文に前記辞書内の単語が含まれているか判定し、前記現在テキスト文に前記辞書内の単語が含まれている場合に、前記現在テキスト文を、前記記憶装置に格納されている前記要約書に追加する、ことを含む。
【発明の効果】
【０００６】
本開示の一態様によれば、会議の要約書を適切に自動生成することができる。
【図面の簡単な説明】
【０００７】
【図１】会議要約書生成システムの構成例を示す。
【図２】会議要約書生成システムのソフトウェア構成例を示す。
【図３】辞書登録処理に関連するソフトウェア構成を示す。
【図４】辞書登録処理のフローチャートを示す。
【図５】音声認識処理に関連するソフトウェア構成を示す。
【図６】要約書生成処理に関連するソフトウェア構成を示す。
【図７Ａ】要約書生成プログラムによる要約書生成処理のフローチャートを示す。
【図７Ｂ】要約書生成プログラムによる要約書生成処理のフローチャートを示す。
【図８】要約書の修正において表示装置の画面に表示される画像及び画像に対する操作の例を示す。
【図９Ａ】要約書の修正において表示装置の画面に表示される画像及び画像に対する操作の他の例を示す。
【図９Ｂ】要約書の修正において表示装置の画面に表示される画像及び画像に対する操作の他の例を示す。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
【０００９】
本開示の会議要約書生成システムは、口頭で行われる会議から要約書を生成する。会議要約書生成システムは、音声認識によって、発話された文を文字からなる文（テキスト文）に変換する。会議要約書生成システムは、一つの文を解析し、さらに、所定の辞書を参照する。文が所定の辞書に含まれる単語を含む場合、会議要約書生成システムは、当該文を要約書に含めると決定する。これにより、要約書に含めるべき重要な文を、選択することができる。
【００１０】
図１は、会議要約書生成システム１００の構成例を示す。会議要約書生成システム１００は、例えば、会議要約書生成のためのプログラムを実行する計算機システムである。図１は、計算機システムである会議要約書生成システム１００のハードウェア構成例を示す。会議要約書生成システム１００は、プロセッサ１１０、主記憶装置１２０、補助記憶装置１３０、及び、インタフェース（Ｉ／Ｆ）１４０を含む。これらは、内部バスに接続されており、互いに通信可能である。
【００１１】
会議要約書生成システム１００は、さらに、表示装置１５０、マイク１６１、タッチ入力装置１６２、ペン入力装置１６３、及びマウス１６４を含む。これらは、Ｉ／Ｆ１４０を介して、内部バスに接続される。表示装置１５０は出力装置であり、マイク１６１、タッチ入力装置１６２、ペン入力装置１６３、及びマウス１６４は、入力装置である。
【００１２】
プロセッサ１１０は主記憶装置１２０に格納されているプログラムに従って動作することで、会議要約書生成システム１００の所定の機能を実現する。主記憶装置１２０は、例えば、揮発性記憶装置であり、プロセッサ１１０により実行されるプログラム及び参照されるデータを格納する。補助記憶装置１３０は、例えば不揮発性記憶装置であって、主記憶装置１２０にロードされるデータを格納する。主記憶装置１２０、補助記憶装置１３０及びこれらの組み合わせは、記憶装置である。
【００１３】
図２は、会議要約書生成システム１００のソフトウェア構成例を示す。主記憶装置１２０は、音声認識プログラム２０１、要約書生成プログラム２０２、要約書修正プログラム２０３、及び、辞書登録プログラム２０４を格納している。これらプログラムは、例えば、補助記憶装置１３０、又は、Ｉ／Ｆ１４０を介して、外部装置（ネットワーク上の装置を含む）から主記憶装置１２０にロードされる。
【００１４】
上述のように、プロセッサ１１０は、上記プログラムに従って、特定の機能部として動作する。具体的には、プロセッサ１１０は、上記プログラムに従って動作することで、音声認識部、要約書生成部、要約書修正部、及び、辞書登録部として機能する。これらの機能の少なくとも一部は、プロセッサ１１０以外の論理回路によって実装されてもよい。
【００１５】
主記憶装置１２０は、さらに、会議資料辞書２２１、既出名詞辞書２２２、直前文情報２２３、及び要約書２２４を格納している。これらは、上記プログラムのいずれかによって作成されて主記憶装置１２０に格納され、又は、更新される。例えば、会議資料辞書２２１は、辞書登録プログラム２０４により生成される。既出名詞辞書２２２、直前文情報２２３、及び要約書２２４は、要約書生成プログラム２０２により生成、更新される。
【００１６】
補助記憶装置１３０は、会議資料３０１、基本辞書３０２、５Ｗ１Ｈ関連語辞書３０３、及び承諾語辞書３０４を格納している。これらは、要約書を作成する会議の開始前に、会議要約書生成システム１００に、予めインストールされている。補助記憶装置１３０に格納されているデータは、主記憶装置１２０にロードされて、プロセッサ１１０に使用される。なお、補助記憶装置１３０は省略されていてもよい。図２におけるデータ格納位置は、説明名の便宜上にものであり、データ格納位置は任意である。
【００１７】
音声認識プログラム２０１は、マイク１６１から入力された音声データを解析して、テキストデータに変換する。音声認識プログラム２０１は、音声データの解析において、基本辞書３０２及び会議資料辞書２２１を参照する。基本辞書３０２は、任意の発話の音声認識のために参照される辞書であり、会議資料辞書２２１は、要約書を作成する会議に専用の辞書である。会議資料辞書２２１は、辞書登録プログラム２０４により、会議資料３０１から生成される。
【００１８】
要約書生成プログラム２０２は、会議に最中において、要約書２２４を更新しつつ、表示装置１５０において表示する。要約書生成プログラム２０２は、音声認識プログラム２０１が生成したテキストデータを解析し、要約書２２４を随時更新する。後述するように、要約書生成プログラム２０２は、各文を要約書２２４に追加するか、５Ｗ１Ｈ関連語辞書３０３及び承諾語辞書３０４を参照して、判定する。
【００１９】
５Ｗ１Ｈ関連語辞書３０３は、システム設計者により予め設定されている。５Ｗ１Ｈ関連語辞書３０３は、設計により選択された、５Ｗ１Ｈに関連する単語が登録されている。５Ｗ１Ｈ関連語辞書３０３は、例えば、５Ｗ１Ｈに対応する疑問を表す単語（疑問詞）、日時を示す単語、場所を示す単語等を含むことができる。
【００２０】
例えば、５Ｗ１Ｈ関連語辞書３０３は、時、場所、主語、目的語、理由、又は方法を問う疑問詞及び、それらのいずれかを示す疑問詞以外の単語を格納する。例えば、「いつ」、「どこ」、「なに」、「誰」、「なぜ」、「どう」、「今日」、「明日」、「来週」、「先週」、「＊曜日」、「＊月＊日」、「そう」、「ここ」等を含むことができる。ここで、「＊」は任意文字を表す。
【００２１】
承諾語辞書３０４は、システム設計者により予め設定されている。承諾語辞書３０４は、設計により選択された承諾を表す単語が登録されている。例えば、承諾語辞書３０４は、「はい」、「うん」、「了解」、「拝承」、「承知」、「やります」、「やってみます」等の単語を含む。
【００２２】
要約書修正プログラム２０３は、要約書生成プログラム２０２が生成した要約書２２４を、表示装置１５０上でユーザによる修正を可能とする。要約書修正プログラム２０３は、タッチ入力装置１６２、ペン入力装置１６３、又はマウス１６４から入力された要約書２２４への修正を、要約書２２４に反映させる。
【００２３】
以下において、各プログラムの処理を説明する。まず、図３及び４を参照して、辞書登録プログラム２０４による、辞書登録処理を説明する。図３は、辞書登録処理に関連するソフトウェア構成を示す。辞書登録プログラム２０４は、会議資料３０１を参照し、会議資料辞書２２１を生成する。会議資料３０１は、例えば、文書ファイル又はプレゼンテーションファイルである。
【００２４】
図４は、辞書登録処理のフローチャートを示す。辞書登録プログラム２０４は、会議資料３０１を取得し（Ｓ１０１）、会議資料３０１に含まれている単語の形態素解析を実行する（Ｓ３０２）。辞書登録プログラム２０４は、形態素を順次選択し（Ｓ１０３）、ステップＳ１０４〜Ｓ１０６を実行する。
【００２５】
辞書登録プログラム２０４は、選択した形態素が、動詞又は名詞（の所定サブタイプ）であるか判定する（Ｓ１０４）。選択した形態素が動詞及び名詞のいずれでもない場合（Ｓ１０４：ＮＯ）、辞書登録プログラム２０４は、当該形態素を会議資料辞書２２１に含めることなく、次の形態素を選択する（Ｓ１０３）。
【００２６】
選択した形態素が動詞又は名詞である場合（Ｓ１０４：ＹＥＳ）、辞書登録プログラム２０４は、当該形態素をかな（読み）に変換し（Ｓ１０５）、当該形態素と読みとを、会議資料辞書２２１に登録する（Ｓ１０６）。会議資料辞書２２１に登録する名詞のサブタイプは、予め、辞書登録プログラム２０４内に設定されている。例えば、普通名詞、固有名詞、サ変名詞が、会議資料辞書２２１に登録する名詞のサブタイプとして設定される。
【００２７】
次に、図５を参照して、音声認識プログラム２０１による音声認識処理を説明する。図５は、音声認識処理に関連するソフトウェア構成を示す。音声認識プログラム２０１は、マイク１６１から入力された音声データを、会議資料辞書２２１及び基本辞書３０２を使用して解析し、文字からなる文（テキスト文）を順次生成する。生成された文（現在の文）は、主記憶装置１２０内に格納される。
【００２８】
音声認識処理は、広く知られた技術であり、詳細な説明は省略する。音声認識プログラム２０１は、音声データを分析して、音響特徴を抽出し、会議資料辞書２２１又は基本辞書３０２に登録されている単語の中から、音響特徴が近い単語を選択する。音声認識プログラム２０１は、会議資料辞書２２１を、基本辞書３０２よりも優先して参照する。
【００２９】
例えば、会議資料辞書２２１及び基本辞書３０２の双方に、同音異義語が存在する場合、音声認識プログラム２０１は、会議資料辞書２２１内の単語を選択する。音声認識プログラム２０１は、会議資料辞書２２１内に音声データに対応する（と判定される）単語を発見することができない場合に、基本辞書３０２において対応単語を探索してもよい。
【００３０】
上述のように、会議資料辞書２２１は、予め用意されている会議資料３０１から生成される。会議資料３０１の語は、会議において使用される可能性が高いため、会議資料辞書２２１を優先して使用することで、より正確な音声認識が可能となる。特に、固有名詞、専門用語、業界用語、同音異義語を正確に認識することが可能となる。
【００３１】
次に、図６、７Ａ及び７Ｂを参照して、要約書生成プログラム２０２による、要約書生成処理（要約書更新処理）を説明する。図６は、要約書生成処理に関連するソフトウェア構成を示す。
【００３２】
要約書生成プログラム２０２は、要約書２２４を作成して、そのデータを主記憶装置１２０に格納すると共に、表示装置１５０において表示する。要約書生成プログラム２０２は、音声認識プログラム２０１から文を順次取得し、その文の解析結果に応じて、主記憶装置１２０の要約書２２４を更新する。要約書２２４の更新結果は、表示装置１５０により表示されている要約書２２４の画像に反映される。
【００３３】
要約書生成プログラム２０２は、音声認識プログラム２０１が生成した文（現在の文）を取得する。後述するように、要約書生成プログラム２０２は、直前文情報２２３及び既出名詞辞書２２２を参照して、現在の文が直前の文と異なる新しいコンテキストに含まれるか判定する。要約書２２４は、各コンテキストを構成する文が区別されるように、コンテキストの境界を表示する。
【００３４】
図６の例において、要約書生成プログラム２０２は、要約書２２４において、二つのコンテキストの間に、空白行を挿入する。各コンテキストは、区切り線や囲み線等によって示されてもよい。表示されている要約書２２４において、コンテキストが区別されることで、ユーザが、同一の話題についての相互に関連する文を、容易に特定することができる。
【００３５】
要約書生成プログラム２０２は、直前文の分析時に、その直前文情報２２３を主記憶装置１２０に格納している。直前文情報２２３は、直前文（単語列）と、直前文の発話終了時刻とを示す。発話終了時刻は、例えば、音声認識プログラム２０１が当該文の音声データを受信終了した時刻であり、要約書生成プログラム２０２は、音声認識プログラム２０１からその値を取得する。
【００３６】
既出名詞辞書２２２は、会議が開始されてから発話された名詞のリストである。要約書生成プログラム２０２は、現在文の分析において、既出名詞辞書２２２を参照し、既出名詞辞書２２２に格納されていない新規の名詞が現在文に含まれている場合に、それを既出名詞辞書２２２に追加する。
【００３７】
既出名詞辞書２２２に含めるべき名詞のサブタイプは、予め、要約書生成プログラム２０２内に設定されており、例えば、普通名詞、固有名詞、サ変名詞である。既出名詞辞書２２２は、会議開始からの名詞のリストに代えて、直前のコンテキストの名詞のリストでもよい。
【００３８】
要約書生成プログラム２０２は、５Ｗ１Ｈ関連語辞書３０３、承諾語辞書３０４、会議資料辞書２２１を参照して、現在文を解析し、要約書２２４に含める文を決定する。以下において、図７Ａ、７Ｂのフローチャートを参照して、要約書生成プログラム２０２による要約書生成処理を説明する。図７Ａはコンテキスト判定処理のフローチャートを示し、図７Ｂは、要約書更新処理のフローチャートである。
【００３９】
要約書生成プログラム２０２は、音声認識プログラム２０１が生成した、現在の文（テキストデータ）を取得する（Ｓ２０１）。要約書生成プログラム２０２は、現在の文の形態素解析を実行し、各単語（形態素）の品詞を特定する（Ｓ２０２）。
【００４０】
次に、要約書生成プログラム２０２は、直前の文の発話終了時刻から、現在の文の発話開始時刻まで長い時間が経過しているか判定する（Ｓ２０３）。例えば、要約書生成プログラム２０２は、音声認識プログラム２０１から、上記二つの時刻を取得し、経過時間が所定の閾値を超える場合に、長い時間が経過したと判定する。
【００４１】
直前文の発話から長時間経過している場合（Ｓ２０３：ＹＥＳ）、要約書生成プログラム２０２は、現在の文のコンテキストは、直前のコンテキストから変更されていると判定する。要約書生成プログラム２０２は、要約書２２４に、コンテキストの変更を示す空白行を追加する（Ｓ２０５）。長い時間系の経過は、直前の文と現在の文との関連性が低いことを示す可能性が高い。このステップによって、より正確にコンテキストを区別することができる。
【００４２】
直前文の発話から長時間経過していない場合（Ｓ２０３：ＮＯ）、要約書生成プログラム２０２は、現在の文での新規名詞が多く、要約書生成プログラム２０２に予め設定されている指示詞の数が直前の文において少ないか判定する（Ｓ２０４）。
【００４３】
具体的には、要約書生成プログラム２０２は、既出名詞辞書２２２を参照し、現在の文で新規名詞の数をカウントする。新規名詞の数が所定の閾値より多い場合、要約書生成プログラム２０２は、現在の文での新規名詞が多いと判定する。閾値は０以上の整数である。 
【００４４】
さらに、要約書生成プログラム２０２は、直前文情報２２３における直前の文の形態素解析を実行し、そこに含まれる予め設定されている指示詞の数をカウントする。指示詞の数が所定の閾値より少ない場合、要約書生成プログラム２０２は、直前の文での指示詞が少ないと判定する。閾値は、１以上の整数である。
【００４５】
現在の文での新規名詞が多く、直前の文での指示詞が少ない場合（Ｓ２０４：ＹＥＳ）、要約書生成プログラム２０２は、コンテキストが変更されたと判定し、要約書２２４に、コンテキストの変更を示す空白行を追加する（Ｓ２０５）。ステップＳ２０３及びＳ２０４の判定結果が共にＮＯである場合、要約書生成プログラム２０２は、現在の文は、直前の文と同一コンテキストに含まれると判定する。
【００４６】
新規名詞が多いことは、直前のコンテキストと異なるコンテキストが開始されている可能性が高い。また、指示詞が少ないことは、直前の文と現在の文との関連性が低い可能性高い。したがって、このステップによって、より正確にコンテキストを区別することができる。
【００４７】
次に、図７Ｂを参照して、要約書更新処理を説明する。要約書生成プログラム２０２は、現在の文に、５Ｗ１Ｈ関連語が含まれているか判定する（Ｓ２０６）。具体的には、要約書生成プログラム２０２は、現在の文に、５Ｗ１Ｈ関連語辞書３０３に登録されている語が含まれているか判定する。現在の文が、５Ｗ１Ｈ関連語を含む場合（Ｓ２０６：ＹＥＳ）、要約書生成プログラム２０２は、現在の文を要約書２２４に出力する（Ｓ２０７）。例えば、要約書生成プログラム２０２は、要約書の最後の行に、現在の文を追加する。
【００４８】
要約書生成プログラム２０２は、さらに、５Ｗ１Ｈ関連語における疑問を示す単語が、現在の文に含まれているか判定する。疑問を示す単語は、例えば、「なぜ」、「いつ」、「誰」、「どこで」、「どう」等である。例えば、５Ｗ１Ｈ関連語辞書３０３は、疑問を示す単語を同定する情報を含む。疑問を示す単語が現在の文に含まれている場合、要約書生成プログラム２０２は、現在の文の次の文を、要約書２２４に含めると判定する。
【００４９】
疑問を示す単語を含む文の次の文は、疑問に対する回答を含む重要文である可能性が高く、重要文を要約に含める可能性を高めることができる。また、疑問を示す文とその回答の文とを要約書２２４に含めることで、会議内容をより正確に示すことができる。たとえば、要約書生成プログラム２０２は、次の文を要約書２２４に含めることを示す情報を内部に保持する、又は、現在の文の情報を示す直前文情報２２３の生成において、そこに含める。
【００５０】
現在の文が、５Ｗ１Ｈ関連語を含まない場合（Ｓ２０６：ＮＯ）、要約書生成プログラム２０２は、現在の文が承諾語を含むか判定する（Ｓ２０８）。具体的には、要約書生成プログラム２０２は、現在の文に、承諾語辞書３０４に登録されている語が含まれているか判定する。
【００５１】
現在の文が、承諾語を含む場合（Ｓ２０８：ＹＥＳ）、要約書生成プログラム２０２は、直前の文が要約書２２４に出力済みであるか判定する（Ｓ２０９）。要約書生成プログラム２０２は直前文情報２２３と要約書２２４とを比較して、直前の文が要約書２２４に出力済みであるか判定できる。直前文情報２２３が、直前の文が要約書２２４に含まれているかを示してもよい。
【００５２】
直前の文が要約書２２４に含まれていない場合（Ｓ２０９：ＮＯ）、要約書生成プログラム２０２は、直前の文を直前文情報２２３から取得して、要約書２２４に出力する（Ｓ２１２）。承諾語を含む現在の文の直前の文は、承諾の対象を含む可能性が高い。本ステップによって、承諾の対象を含む重要な文を要約書２２４に含めることができる。直前の文が要約書２２４に含まれている場合（Ｓ２０９：ＹＥＳ）、現在の文について処理は終了する。
【００５３】
現在の文が、承諾語を含まない場合（Ｓ２０８：ＮＯ）、要約書生成プログラム２０２は、現在の文が会議資料の語を含むか判定する（Ｓ２１１）。具体的には、要約書生成プログラム２０２は、会議資料辞書２２１と現在の文を比較し、会議資料辞書２２１に登録されている語が現在の文に含まれているか判定する。
【００５４】
現在の文が、会議資料の語を含む場合（Ｓ２１１：ＹＥＳ）、要約書生成プログラム２０２は、現在の文を要約書２２４に出力する（Ｓ２１２）。これにより、会議資料３０１に含まれる重要語を含む文を、要約書２２４に含めることができる。現在の文が、会議資料の語を含まない場合（Ｓ２１１：ＮＯ）、現在の文について処理は終了する。
【００５５】
要約書２２４に文を追加する場合（Ｓ２０７、Ｓ２１０、Ｓ２１２）、要約書生成プログラム２０２は、追加する文と情報が重複する既存文を、要約書２２４から削除する。これにより、要約書２２４をシンプルなものとして見やすくすることができる。
【００５６】
具体的には、要約書生成プログラム２０２は、要約書２２４に追加する文と、同一コンテキスト内の既存文それぞれとを比較する。追加する文と既存文とが、動詞と名詞の同一組み合わせを含む場合（Ｓ２１３：ＹＥＳ）、要約書生成プログラム２０２は、当該既存文を要約書２２４から削除する（Ｓ２１４）。
【００５７】
例えば、追加する文に含まれる任意の一つの動詞及び所定サブタイプの任意の一つの名詞からなる組が、既存文に含まれている場合、既存文は削除される。または、全ての動詞及び所定サブタイプの全ての名詞の組が現在の文と既存文とで共通であることを、既存文削除の条件としてもよい。例えば、普通名詞、固有名詞、サ変名詞が、名詞のサブタイプとして予め設定されている。
【００５８】
いずれの既存文も、追加する文と同一の動詞と名詞の組み合わせを含まない場合（Ｓ２１３：ＮＯ）、同一コンテキストの全ての既存文が維持される。既存文についてステップ（Ｓ２１３、２１４）の後、現在の文について処理は終了する。
【００５９】
以下において、要約書修正プログラム２０３による、要約書２２４の修正処理を説明する。図８は、要約書修正において表示装置１５０の画面に表示される画像及び画像に対する操作の例を示す。ユーザは、画面に表示されている要約書２２４において、修正対象の文（の画像）２４１を選択する。図８の例においては、タッチ入力装置１６２を介して、指によって修正前の文２４１が選択されている。
【００６０】
要約書修正プログラム２０３は、選択された文２４１の形態素解析を実行し、選択された文２４１から、動詞及び所定サブタイプの名詞（規定の品詞）を抽出する。要約書修正プログラム２０３は、抽出した単語列（の画像）２５１を、要約書２２４と異なるセクションにおいて表示することで、明示する。例えば、普通名詞、固有名詞、サ変名詞が、名詞のサブタイプとして予め設定されている。抽出される品詞は、設計により設定されてよい。
【００６１】
図８の例において、単語列２５１における単語の順序は、選択された文２４１と同じである。単語列２５１の隣接単語は、線で結ばれている。要約書修正プログラム２０３は、単語列２５１における、ユーザの単語の選択を受け付ける。図８の例において、ユーザは指でタッチすることで一つの単語「特許」を選択する。
【００６２】
さらに、ユーザは、当該単語「特許」を指でタッチしたまま移動し、二つの単語「打ち合わせ」、「行う」を囲んだ後、指を画面から離す。これにより、単語「特許」に加え、単語「打ち合わせ」、「行う」も選択する。図８の例においては、ユーザは、最初に選択した単語を含む連続する単語群が選択可能である。
【００６３】
要約書修正プログラム２０３は、タッチ入力装置１６２から入力に応じて、単語列２５１の表示画像を変化させると共に、単語列２５１において、三つの単語が選択されたことを検出する。図８の例において、要約書修正プログラム２０３は、一回のドラッグアンドドロップ操作によって選択（単語「特許」）及び囲まれた（単語「打ち合わせ」、「行う」）単語を、選択された単語と特定する。
【００６４】
要約書修正プログラム２０３は、選択され単語の単語列（の画像）２５２を、単語列２５１に代えて表示する。単語列２５２における単語の順序は、選択された文２４１と同じである。単語列２５２の隣接単語は、線で結ばれている。
【００６５】
要約書修正プログラム２０３は、選択され単語の単語列２５２から、修正後文を生成する。具体的には、要約書修正プログラム２０３は、修正前文２４１を参照し、単語「特許」と単語列２５２における次の単語「打ち合わせ」との間の助詞「の」を取得する。さらに、要約書修正プログラム２０３は、単語「打ち合わせ」と単語列２５２における次の単語「行う」の間の助詞「を」を取得する。生成された修正後の文２４２は、「特許の打ち合わせを行う。」となる。
【００６６】
要約書修正プログラム２０３は、主記憶装置１２０の要約書２２４において、修正前の文２４１を修正後の文２４２に書き換える。表示装置１５０が表示する要約書２２４も画像において、修正前の文２４１が修正後の文２４２に置き換えられる。なお、要約書修正プログラム２０３は、修正前の要約書２２４のコピーファイルを生成し、そのコピーファイルを修正してもよい。
【００６７】
図９Ａは、要約書修正において表示装置１５０の画面に表示される画像及び画像に対する操作の他の例を示す。本例は、複数の修正前文から一つの修正後文を生成する。ユーザは、画面に表示されている要約書２２４において、修正対象の文（の画像）２４１を選択する。図９の例においては、タッチ入力装置１６２を介して、指によって二つの修正前の文２４１が選択されている。
【００６８】
要約書修正プログラム２０３は、選択された文２４１の形態素解析を実行し、選択された文２４１から、動詞及び所定サブタイプの名詞（規定の品詞）を抽出する。要約書修正プログラム２０３は、抽出した単語を、選択された文２４１において明示する。図９Ａの例においては、修正中の文（の画像）２４４において抽出された単語は、それぞれ、破線矩形で囲まれている。抽出される品詞は設計に従い設定されてよい。
【００６９】
図９Ａの例において、要約書修正プログラム２０３は、修正中の文２４４における、ユーザの単語の選択を受け付ける。図９Ａの例において、ユーザは指で画面上の単語をなぞることによってそれら単語を選択する。図９Ａの例においては、第１の文における単語「明日」、及び、第２の文における単語「特許」、「打ち合わせ」、「行います」が、選択されている。図９の例において、要約書修正プログラム２０３は、抽出された単語（動詞及び名詞）から、ユーザによる非連続の単語群の選択を受け付ける。
【００７０】
要約書修正プログラム２０３は、タッチ入力装置１６２から入力に応じて、修正中の文２４４において、四つの単語が選択されたことを検出する。図９Ａの例において、要約書修正プログラム２０３は、一回のドラッグアンドドロップ操作によって触れられた単語（「明日」、「特許」、「打ち合わせ」、「行う」）を、選択された単語と特定する。
【００７１】
要約書修正プログラム２０３は、選択され単語の単語列から、修正後文２４２を生成する。修正後文２４２における単語順序は、選択された順序に一致する。要約書修正プログラム２０３は、修正前文２４１を参照し、単語「特許」と次の抽出単語「打ち合わせ」の間の助詞「の」、及び、単語「打ち合わせ」と次の抽出単語「行います」との間の助詞「を」復元する。単語「明日」と単語「特許」とは、異なる修正前文に含まれるため、要約書修正プログラム２０３は、これらを読点で連結する。これにより、自然な修正後文２４２を生成できる。
【００７２】
図９Ｂは、要約書修正において表示装置１５０の画面に表示される画像及び画像に対する操作の他の例を示す。以下において、図９Ａの例との相違点を主に説明する。図９Ｂの例において、第１の文における単語「明日」、「予定」、「確認」、及び「します」、並びに、第２の文における単語「特許」が、選択されている。
【００７３】
要約書修正プログラム２０３は、選択され単語の単語列から、修正後文２４２を生成する。修正後文２４２における単語順序は、選択された順序に一致する。要約書修正プログラム２０３は、修正前文２４１を参照し、単語「予定」と次の抽出単語「確認」との間の連語「について」を復元する。
【００７４】
単語「明日」と単語「特許」とは、異なる修正前文に含まれており、単語「特許」と単語「予定」とは、異なる修正前文に含まれている。したがって、要約書修正プログラム２０３は、単語「明日」、「特許」を読点で連結し、単語「特許」を読点で連結する。これにより、自然な修正後文２４２を生成できる。
【００７５】
上記例は、会議において要約書を表示しつつ、会議の進行と共に表示されている要約書を更新する。これと異なり、システムは、会議終了後に、会議の音声データから要約書を作成してもよい。システムは、上記の機能の一部のみを含んで構成されてもよい。例えば、コンテキストの区分の処理及びその参照情報や省略されてもよく、要約文の修正の機能が省略されていてもよい。上記辞書の一部の辞書のみが実装されていてもよい。
【００７６】
本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００７７】
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００７８】
１００  会議要約書生成システム、１１０  プロセッサ、１２０  主記憶装置、１３０  補助記憶装置、１５０  表示装置、１６１  マイク、１６２  タッチ入力装置、１６３  ペン入力装置、１６４  マウス、２０１  音声認識プログラム、２０２  要約書生成プログラム、２０３  要約書修正プログラム、２０４  辞書登録プログラム、２２１  会議資料辞書、２２２  既出名詞辞書、２２３  直前文情報、２２４  要約書、２４１  修正前文、２４２  修正後文、２４４  修正中の文、２５１、２５２  単語列、３０１  会議資料、３０２  基本辞書、３０３  ５Ｗ１Ｈ関連語辞書３０４  承諾語辞書
【図１】
2019121075.tif 000003
【図２】
2019121075.tif 000004
【図３】
2019121075.tif 000005
【図４】
2019121075.tif 000006
【図５】
2019121075.tif 000007
【図６】
2019121075.tif 000008
【図７Ａ】
2019121075.tif 000009
【図７Ｂ】
2019121075.tif 000010
【図８】
2019121075.tif 000011
【図９Ａ】
2019121075.tif 000012
【図９Ｂ】
2019121075.tif 000013