(57)【要約】【課題】会議における発話に基づく情報を適切に抽出する。【解決手段】本願に係る抽出プログラムは、取得手順と、抽出手順とをコンピュータに実行させる。取得手順は、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する。抽出手順は、取得手順により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する。【選択図】図１
2019191276.tif 000002
【特許請求の範囲】
【請求項１】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得手順と、
前記取得手順により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する抽出手順と、
をコンピュータに実行させることを特徴とする抽出プログラム。
【請求項２】
前記抽出手順は、
前記文字情報に基づいて、前記行動の実行者を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１に記載の抽出プログラム。
【請求項３】
前記抽出手順は、
前記文字情報に基づいて、前記行動を行う対象を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１または請求項２に記載の抽出プログラム。
【請求項４】
前記抽出手順は、
前記文字情報に基づいて、前記行動の期限を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜３のいずれか１項に記載の抽出プログラム。
【請求項５】
前記抽出手順は、
前記会議の前記参加ユーザ中のユーザを、前記行動の実行者として示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜４のいずれか１項に記載の抽出プログラム。
【請求項６】
前記ＴｏＤｏ情報において、前記行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置に、前記ＴｏＤｏ情報を送信する送信手順、
をさらに備えることを特徴とする請求項５に記載の抽出プログラム。
【請求項７】
前記送信手順は、
前記実行ユーザが利用する前記端末装置に、前記ＴｏＤｏ情報に対する確認を要求する  ことを特徴とする請求項６に記載の抽出プログラム。
【請求項８】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動の実行者を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜７のいずれか１項に記載の抽出プログラム。
【請求項９】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動を行う対象を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜８のいずれか１項に記載の抽出プログラム。
【請求項１０】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動の期限を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜９のいずれか１項に記載の抽出プログラム。
【請求項１１】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得工程と、
前記取得工程により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する抽出工程と、
を含んだことを特徴とする抽出方法。
【請求項１２】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得部と、
前記取得部により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する抽出部と、
を備えたことを特徴とする抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、抽出プログラム、抽出方法、及び抽出装置に関する。
【背景技術】
【０００２】
従来、音声認識技術を用いて、ユーザが発言（発話）に基づく音声情報を文字情報に変換する技術が提供されている。例えば、このような技術は、企業等で行われる会議の議事録の自動生成等の種々の用途に用いられている。
【０００３】
会議の議事録を自動生成する技術においては、例えば、会議に参加したユーザの各発言等が時系列に並べられた議事録情報が生成される。このように会議の議事録を自動生成する場合、ユーザの各発言が文字に変換された文字情報が議事録情報として生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１８０８２８号公報
【特許文献２】特開２０１６−２０６９３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では、会議における発話に基づく情報を適切に抽出することが難しい場合がある。例えば、会議においてユーザがやるべきこと（ＴｏＤｏ）が決定された場合、ユーザが会議後に会議の音源等を再度聞き直すことにより、会議中に決定したやるべきことを示す情報（ＴｏＤｏ情報）を確認し、別途ＴｏＤｏ情報を作成する必要がある。そのため、会議における発話に基づく情報を適切に抽出することが望まれる。
【０００６】
本願は、上記に鑑みてなされたものであって、会議における発話に基づく情報を適切に抽出する抽出プログラム、抽出方法、及び抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願に係る抽出プログラムは、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得手順と、前記取得手順により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する抽出手順と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００８】
実施形態の一態様によれば、会議における発話に基づく情報を適切に抽出することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施形態に係る抽出処理の一例を示す図である。
【図２】図２は、実施形態に係る抽出システムの構成例を示す図である。
【図３】図３は、実施形態に係る端末装置の構成例を示す図である。
【図４】図４は、実施形態に係る議事録情報記憶部の一例を示す図である。
【図５】図５は、実施形態に係るＴｏＤｏ情報記憶部の一例を示す図である。
【図６】図６は、実施形態に係るユーザ情報記憶部の一例を示す図である。
【図７】図７は、実施形態に係る抽出処理の一例を示すフローチャートである。
【図８】図８は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、本願に係る抽出プログラム、抽出方法、及び抽出装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る抽出プログラム、抽出方法、及び抽出装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１１】
（実施形態）
〔１．抽出処理〕
まず、図１を用いて、実施形態に係る抽出処理の一例について説明する。図１は、実施形態に係る抽出処理の一例を示す図である。図１では、端末装置１０にサービス提供装置５０（図２参照）が提供するネットワークを介して複数人が会議を行うためのサービス（以下「ウェブ会議サービス」ともいう）を利用するためのアプリケーション（以下、「ウェブ会議アプリＡＰ１１」ともいう）がインストール済みであるものとする。なお、ウェブ会議アプリＡＰ１１は、ウェブ会議専用のアプリケーションに限らず、ウェブブラウザ等の汎用的なアプリケーションであってもよい。
【００１２】
〔抽出システムの構成〕
まず、図１の説明に先だって、図２を用いて、抽出システム１の構成について説明する。図２は、実施形態に係る抽出システムの構成例を示す図である。図２に示すように、抽出システム１には、複数の端末装置１０と、サービス提供装置５０とが含まれる。複数の端末装置１０と、サービス提供装置５０とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。なお、図２に示した抽出システム１には、複数台のサービス提供装置５０が含まれてもよい。また、サービス提供装置５０が配信するウェブ会議アプリＡＰ１１において表示される各種情報の提供は、サービス提供装置５０以外の装置が行ってもよい。複数の端末装置１０は、ウェブ会議に参加するユーザ（以下、「参加ユーザ」ともいう）の各々により利用される。例えば、各参加ユーザは、自身が利用する端末装置１０を用いてウェブ会議に参加する。各参加ユーザは、自身が利用する端末装置１０にインストールされたウェブ会議アプリＡＰ１１を用いてウェブ会議に参加する。
【００１３】
端末装置１０は、ユーザによって利用されるコンピュータである。端末装置１０は、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する抽出装置（情報処理装置）である。例えば、端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal  Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal  Digital  Assistant）等により実現される。以下では、端末装置１０をユーザと表記する場合がある。すなわち、ユーザを端末装置１０と読み替えることもできる。なお、図１の例では、端末装置１０がノート型ＰＣである場合を一例として示す。
【００１４】
端末装置１０は、ユーザがウェブ会議を行うために用いる情報処理装置である。端末装置１０は、ウェブ会議に関する各種情報を出力する。端末装置１０は、端末装置１０を利用するユーザ以外のユーザの発言（音声）を音出する。また、端末装置１０は、開催されたウェブ会議を画面に表示する。例えば、端末装置１０は、ユーザが発する音声（以下「発話」や「発言」ともいう）を音センサにより検知し、音センサにより検知された会議の参加ユーザの発話から生成された文字情報を表示する。
【００１５】
例えば、端末装置１０は、ウェブ会議に関する種々の従来技術が適宜用いて、ウェブ会議に関する種々の処理を制御情報等により実行してもよい。端末装置１０は、ウェブ会議に関する種々の処理を制御情報により実行してもよい。端末装置１０は、制御情報として、ウェブブラウザ等の所定のアプリケーション上で実行されるスクリプトを取得し、取得したスクリプトを実行してもよい。このような制御情報は、実施形態に係る抽出プログラム等に対応するものであり、例えば、ＣＳＳ（Cascading  Style  Sheets）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＨＴＭＬ、あるいは、上述した抽出処理等を記述可能な任意の言語によって実現される。以下、実施形態に係る抽出プログラムに従って上述した抽出処理等を実行する端末装置１０等について、詳細に説明する。
【００１６】
図１に示す例において、端末装置１０は、音声認識の機能を有し、ユーザが発する音声を検知し、検知した音声（発話）を文字情報に変換する。例えば、端末装置１０は、音声認識機能によりユーザの発話を変換した文字情報を他の端末装置１０やサービス提供装置５０に送信する。この場合、端末装置１０は、ユーザの発話を変換した文字情報とともに、その発話が行われた日時や発話を行ったユーザを特定する情報（ユーザＩＤ等）を送信する。
【００１７】
また、端末装置１０は、音声認識サービスを提供する音声認識サーバから情報を取得可能であってもよい。この場合、抽出システム１は、音声認識サーバが含まれてもよい。なお、図１の例では、端末装置１０や音声認識サーバが、種々の従来技術を適宜用いてユーザの発話を認識したり、発話したユーザを特定したりするものとして、音声認識の機能に関する説明を省略する。
【００１８】
サービス提供装置５０は、端末装置１０を利用するユーザにウェブ会議サービスを提供する情報処理装置である。例えば、サービス提供装置５０は、端末装置１０を利用するユーザにウェブ会議アプリＡＰ１１に関するウェブ会議サービスを提供する。例えば、サービス提供装置５０は、端末装置１０にウェブ会議アプリＡＰ１１に関する各種情報を提供する。また、サービス提供装置５０は、音声認識の機能を有してもよい。この場合、サービス提供装置５０は、音声認識の機能により生成した文字情報等の各種情報を端末装置１０へ送信してもよい。
【００１９】
以下、図１を用いて、抽出処理の詳細を説明する。図１に示す例では、議事録情報記憶部１４１（図４参照）に示す会議ＩＤ「ＭＴ１１」により識別される会議（以下、「会議ＭＴ１１」ともいう）を一例として説明する。具体的には、図１では会議ＭＴ１１に参加中のユーザＵ１が利用する端末装置１０が抽出処理を行う場合を一例として説明する。なお、「ユーザＵ＊（＊は任意の数値）」と記載した場合、そのユーザはユーザＩＤ「Ｕ＊」により識別されるユーザであることを示す。例えば、「ユーザＵ１」と記載した場合、そのユーザはユーザＩＤ「Ｕ１」により識別されるユーザである。
【００２０】
また、図１の例では、会議ＭＴ１１の設定ユーザ（開催者）がユーザＵ１であり、会議ＭＴ１１の他の参加ユーザであるユーザＵ２〜Ｕ４がユーザＵ１により招待された場合を一例として説明する。すなわち、会議ＭＴ１１は、ユーザＵ１〜Ｕ４の４人のユーザが行う会議である。ユーザＵ１〜Ｕ４の各々が利用する端末装置１０には、ウェブ会議アプリＡＰ１１がインストールされているものとする。なお、ユーザＵ２〜Ｕ４が利用する端末装置１０にも、ユーザＵ１の端末装置１０と同様の情報が表示されているものとする。例えば、ユーザＵ２〜Ｕ４が利用する端末装置１０には、ユーザＵ１の端末装置１０の表示画面が共有されていてもよい。
【００２１】
図１の例では、説明を簡単にするために、ユーザＵ１が利用する端末装置１０のみを図示する。図１では、ユーザＵ１が利用する端末装置１０における表示内容の変更に応じて、端末装置１０を端末装置１０−１、１０−２として説明する。なお、端末装置１０−１、１０−２は同一の端末装置１０である。また、以下では、端末装置１０−１、１０−２について、特に区別なく説明する場合には、端末装置１０と記載する。
【００２２】
図１の例では、抽出処理を行う部分を説明するために、会議ＭＴ１１の途中から説明する。まず、端末装置１０に表示される各種情報を説明する。端末装置１０には、ウェブ会議アプリＡＰ１１により、会議ＭＴ１１に参加するユーザＵ１〜Ｕ４の画像（動画）や各ユーザの発言が変換された文字情報等が表示される。図１の例では、端末装置１０−１に示すように、端末装置１０の右半分には４分割された領域に各ユーザＵ１〜Ｕ４の動画（ライブ映像）が表示される。また、図１の例では、端末装置１０−１に示すように、端末装置１０の左半分の領域ＡＲ１１に各ユーザＵ１〜Ｕ４の発言が変換された文字情報が表示され、領域ＡＲ１１の下方に位置する領域ＡＲ１２にその会議の発言に基づいて抽出されたＴｏＤｏ情報が表示される。
【００２３】
会議ＭＴ１１に参加中のユーザＵ１の端末装置１０−１は、会議ＭＴ１１の各種情報を表示する（ステップＳ１１）。図１の例では、端末装置１０−１は、１４時０５分５８秒におけるユーザＵ１の発言に対応する文字情報「イベントへの参加を…」を領域ＡＲ１１に表示する。例えば、端末装置１０は、ユーザＵ１の発言に基づく発話情報「イベントへの参加を…」を文字情報に変換する。例えば、端末装置１０は、発話情報「イベントへの参加を…」を音声認識機能により文字情報に変換する。図１の例では、端末装置１０−１は、ユーザＵ１の発話情報「イベントへの参加を…」と、その発話情報を変換した文字情報とを他の端末装置１０やサービス提供装置５０へ送信する。なお、ユーザの音声を検知する装置は、端末装置１０自体であってもよいし、専用のマイクやスマートスピーカ等の別装置であってもよい。
【００２４】
例えば、端末装置１０は、音声認識に関する種々の技術を適宜用いて、検知した発話等の音声情報を文字情報に変換する。例えば、端末装置１０は、音声情報の文字情報への変換において、形態素解析や仮名漢字変換等の自然言語処理技術を適宜用いて、漢字やひらがなやカタカナやアルファベット等の種々の種別の文字（記号）を含む文字情報に変換する。なお、端末装置１０は、ユーザＵ１の発話（音声情報）を音声認識サーバへ送信し、音声認識サーバから発話の文字情報を取得してもよい。
【００２５】
図１の例では、端末装置１０−１は、１４時０６分０２秒におけるユーザＵ４の発言に対応する文字情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を、領域ＡＲ１１における１４時０５分５８秒におけるユーザＵ１の発言に対応する文字情報の下に続けて表示する。なお、「ＸＸＸＸＸＸＸＸＸＸＸ…」は、「以前と同じようにイベントへの参加者を増やす施策を打ちましょう」等の具体的な発言であるものとする。例えば、ユーザＵ４が利用する端末装置１０は、ユーザＵ４の発言に基づく発話情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を文字情報に変換する。例えば、端末装置１０は、発話情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を音声認識機能により文字情報に変換する。
【００２６】
例えば、ユーザＵ４が利用する端末装置１０も、ユーザＵ１が利用する端末装置１０と同様に、音声認識に関する種々の技術を適宜用いて、検知した発話等の音声情報を文字情報に変換するものとする。このように、ユーザＵ１〜Ｕ４の各々が利用する各端末装置１０は、自装置の音声認識機能により、音声情報を文字情報に変換する。すなわち、ユーザＵ１〜Ｕ４の各々が利用する各端末装置１０は、自装置（ローカル）で文字情報への変換を行い、その変換した文字情報を他の端末装置１０やサービス提供装置５０へ送信する。ユーザＵ４が利用する端末装置１０は、ユーザＵ４の発話情報「ＸＸＸＸＸＸＸＸＸＸＸ…」と、その発話情報を変換した文字情報とを他の端末装置１０やサービス提供装置５０へ送信する。
【００２７】
これにより、ユーザＵ１が利用する端末装置１０−１は、１４時０６分０２秒におけるユーザＵ４の発話情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を音声出力するとともに、その発言情報に対応する文字情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を領域ＡＲ１１に表示する。このように、端末装置１０は、音センサにより検知された会議の参加ユーザの発話情報から生成された文字情報を取得し、その文字情報を表示する。
【００２８】
そして、図１の例では、端末装置１０−１は、１４時０６分１４秒におけるユーザＵ２の発言に対応する文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を、領域ＡＲ１１における１４時０６分０２秒におけるユーザＵ４の発言に対応する文字情報の下に続けて表示する。例えば、ユーザＵ２が利用する端末装置１０は、ユーザＵ２の発言に基づく発話情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を文字情報に変換する。例えば、ユーザＵ２が利用する端末装置１０は、発話情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を音声認識機能により文字情報に変換する。ユーザＵ２が利用する端末装置１０は、ユーザＵ２の発話情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」と、その発話情報を変換した文字情報とを他の端末装置１０やサービス提供装置５０へ送信する。
【００２９】
これにより、ユーザＵ１が利用する端末装置１０−１は、１４時０６分１４秒におけるユーザＵ２の発話情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を音声出力するとともに、その発言情報に対応する文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を領域ＡＲ１１に表示する。
【００３０】
そして、端末装置１０−１は、会議ＭＴ１１におけるユーザの発言から生成された文字情報に基づいて、ＴｏＤｏ情報を抽出する（ステップＳ１２）。端末装置１０−１は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」に基づいて、ＴｏＤｏ情報を抽出する。端末装置１０−１は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」に含まれるＴｏＤｏの行動の対象を示す文字列やＴｏＤｏの実行者（ユーザ）を示す文字列やＴｏＤｏの期限を示す文字列等をＴｏＤｏ情報として抽出する。なお、ＴｏＤｏに具体的な期限が設定されなかった場合、期限を示す文字列は抽出されなくてもよい。
【００３１】
例えば、端末装置１０は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を、形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワード等を抽出してもよい。例えば、端末装置１０は、形態素解析等の自然言語処理技術を適宜用いて、文字情報を解析することにより、文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。例えば、端末装置１０は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。
【００３２】
図１の例では、端末装置１０は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの実行者を示す文字列「Ｕ３」を抽出する。端末装置１０は、会議ＭＴ１１の参加ユーザＵ１〜Ｕ４中のユーザＵ３を、ＴｏＤｏの行動の実行者として示す情報を抽出する。なお、図１の例では、文字列「Ｕ３」といった抽象的な符号で説明するが、文字列「Ｕ３」は、具体的な氏名等の実行者を特定可能な文字列であるものとする。また、端末装置１０は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの期限を示す文字列「Ｘ月Ｙ日」を抽出する。また、端末装置１０は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの行動の対象を示す文字列「メール送付」を抽出する。このように、端末装置１０は、ＴｏＤｏの実行者「Ｕ３」、ＴｏＤｏの期限「Ｘ月Ｙ日」、ＴｏＤｏの行動の対象「メール送付」を含むＴｏＤｏ情報（以下「ＴｏＤｏ情報ＴＩＤ１１」ともいう）を抽出する。なお、「ＴｏＤｏ情報ＴＩＤ＊（＊は任意の数値）」と記載した場合、そのＴｏＤｏ情報はＴｏＤｏＩＤ「ＴＩＤ＊」により識別されるＴｏＤｏ情報であることを示す。例えば、「ＴｏＤｏ情報ＴＩＤ１１」と記載した場合、そのＴｏＤｏ情報はＴｏＤｏＩＤ「ＴＩＤ１１」により識別されるＴｏＤｏ情報である。
【００３３】
そして、端末装置１０は、ＴｏＤｏ情報ＴＩＤ１１を表示する。これにより、端末装置１０は、端末装置１０−１から端末装置１０−２に表示が変化する。
【００３４】
図１の例では、端末装置１０−２は、ＴｏＤｏ情報ＴＩＤ１１を領域ＡＲ１２に表示する。具体的には、端末装置１０−２は、領域ＡＲ１２中のＴｏＤｏ対象の欄に「メール送付」と表示し、領域ＡＲ１２中の実行者の欄に「Ｕ３」と表示し、領域ＡＲ１２中の期限の欄に「Ｘ月Ｙ日」と表示する。
【００３５】
上述したように、端末装置１０は、会議における発言の文字情報に基づいてＴｏＤｏ情報を抽出する。具体的には、端末装置１０は、会議における発言がリアルタイムに変換された文字情報を表示するとともに、その文字情報に基づいてＴｏＤｏ情報を抽出する。そして、端末装置１０は、抽出したＴｏＤｏ情報をリアルタイムに表示する。これにより、端末装置１０は、会議における発言の文字情報に基づくＴｏＤｏ情報を会議中においてリアルタイムに確認することを可能にする。したがって、端末装置１０は、会議における発話に基づく情報を適切に抽出することができる。
【００３６】
〔１−１．システム構成について〕
なお、上記抽出処理を実現するシステム構成については、図２に示す抽出システム１に限らず種々の態様であってもよい。図２の例では、サービスを提供するサーバとしてのサービス提供装置５０とクライアントとしての端末装置１０とを備える構成であり、サービス提供装置５０と端末装置１０とは別体（別装置）であったが、サービス提供装置５０と端末装置１０とは一体であってもよい。
【００３７】
また、図１の例では、ユーザＵ１が利用する端末装置１０がＴｏＤｏ情報の抽出を行う場合を示したが、サービス提供装置５０がＴｏＤｏ情報の抽出を行ってもよい。このように、図１の例では、端末装置１０が抽出処理を行う場合を示したが、サービスを提供するサーバ装置としてのサービス提供装置５０が抽出処理を行ってもよい。すなわち、サービス提供装置５０が抽出装置であってもよい。この場合、サービス提供装置５０は、各参加ユーザの端末装置１０から取得した発話情報や文字情報に基づいて、ＴｏＤｏ情報を抽出してもよい。例えば、サービス提供装置５０がＴｏＤｏ情報の抽出を行い、ユーザが利用する各端末装置１０は、情報の表示、ユーザの発話の検知、ＴｏＤｏ情報の表示やユーザへの確認要求等の処理を行ってもよい。この場合、サービス提供装置５０は、ＴｏＤｏの実行者であるユーザの確認に基づいて、ＴｏＤｏ情報を確定し、ＴｏＤｏ情報が確定したことを示す情報各ユーザの端末装置１０に送信してもよい。なお、ＴｏＤｏの確認について後述する。
【００３８】
また、抽出システムは、図２に示す抽出システム１と異なり、サービスを提供するサーバとしてのサービス提供装置５０を有しない構成であってもよい。この場合、各端末装置１０は、サーバ装置を介さずに、端末装置１０間で会議の情報の通信を行ってもよい。例えば、各端末装置１０は、いわゆるＰ２Ｐ（Peer  to  Peer）のような態様により、各端末装置１０間で会議の情報の通信を行ったり、共有を行ったりしてもよい。また、図２の抽出システム１のように、サービスを提供するサーバとしてのサービス提供装置５０を有する場合であっても、サービス提供装置５０を介さずに、端末装置１０間で会議の情報の通信を行ってもよい。
【００３９】
〔１−２．ＴｏＤｏ情報の確認〕
図１の例では、端末装置１０がＴｏＤｏ情報ＴＩＤ１１を抽出し、表示するまでを説明したが、端末装置１０は、種々の方法により抽出したＴｏＤｏ情報の内容の確定を行ってもよい。
【００４０】
〔１−２−１．ＴｏＤｏ情報の変更〕
例えば、端末装置１０は、抽出したＴｏＤｏ情報を変更可能に表示してもよい。例えば、端末装置１０は、領域ＡＲ１２中の各ＴｏＤｏ情報を選択可能に表示し、ユーザが一のＴｏＤｏ情報を選択した場合、その一のＴｏＤｏ情報の情報を変更（更新）する変更用画面を表示してもよい。そして、ユーザが変更用画面によりその一のＴｏＤｏ情報を変更（更新）した場合、その更新後の一のＴｏＤｏ情報を他のユーザの他の端末装置１０へ送信してもよい。そして、更新後の一のＴｏＤｏ情報を受信した他のユーザの他の端末装置１０は、更新後の一のＴｏＤｏ情報を選択可能に表示してもよい。この場合、他のユーザが更新後の一のＴｏＤｏ情報を選択し、変更用画面を表示させて、その一のＴｏＤｏ情報をさらに変更（更新）してもよい。これにより、各ユーザは会議中において随時、ＴｏＤｏ情報を更新し、その内容を確定させることができる。
【００４１】
〔１−２−２．ＴｏＤｏ情報の主体への確認〕
また、端末装置１０は、ＴｏＤｏ情報が抽出された後、そのＴｏＤｏ情報の行動の主体（実行者）にＴｏＤｏ情報ＴＩＤ１１の確認を要求してもよい。図１の例では、端末装置１０は、ＴｏＤｏ情報ＴＩＤ１１が抽出された後、ＴｏＤｏ情報ＴＩＤ１１の行動の主体（実行者）であるユーザＵ３にＴｏＤｏ情報ＴＩＤ１１の確認を要求してもよい。
【００４２】
例えば、端末装置１０は、ＴｏＤｏ情報において、行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置１０に、ＴｏＤｏ情報を送信してもよい。例えば、端末装置１０は、実行ユーザが利用する端末装置１０にＴｏＤｏ情報を送信することにより、ＴｏＤｏ情報に対する確認を実行ユーザに要求してもよい。
【００４３】
図１の例では、ユーザＵ１が利用する端末装置１０は、ユーザＵ３が利用する端末装置１０に、ＴｏＤｏ情報ＴＩＤ１１をインスタントメッセージ等により送信してもよい。また、ユーザＵ１が利用する端末装置１０は、ユーザＵ３が利用する端末装置１０に、ＴｏＤｏ情報ＴＩＤ１１を含む電子メール等を送信してもよい。ユーザＵ１が利用する端末装置１０は、ユーザＵ３が利用する端末装置１０に、ＴｏＤｏ情報ＴＩＤ１１の内容を確認することを示す情報を送信してもよい。例えば、ユーザＵ１が利用する端末装置１０は、ユーザＵ３が利用する端末装置１０に、「ＴｏＤｏ情報ＴＩＤ１１の内容を確認し、承認する発言を行ってください」等の文字情報を含む要求情報をメッセージアプリケーションや電子メール等により送信してもよい。
【００４４】
そして、ユーザＵ３が利用する端末装置１０が要求情報を表示し、要求情報を確認したユーザＵ３が「ＴｏＤｏ情報ＴＩＤ１１について承知しました」等の発言を行うことにより、ＴｏＤｏ情報ＴＩＤ１１の内容が確定されてもよい。例えば、ユーザＵ１が利用する端末装置１０は、ユーザＵ３の「ＴｏＤｏ情報ＴＩＤ１１について承知しました」の文字情報に基づいて、ＴｏＤｏ情報ＴＩＤ１１の内容が確定したと判定してもよい。
【００４５】
このように、抽出システム１において、ユーザＵ３が「ＴｏＤｏ情報ＴＩＤ１１について承知しました」等の発言を行うことにより、その発言が議事録に文字情報として残る。すなわち、抽出システム１において、会議ＭＴ１１の議事録情報にはＴｏＤｏ情報ＴＩＤ１１の実行者であるユーザＵ３が承認したことを示す情報が含まれるようになる。これにより、抽出システム１は、会議で決まったＴｏＤｏが会議の後にどうなったかが不明確になることを抑制することができる。また、端末装置１０は、確定したＴｏＤｏ情報を他のＴｏＤｏ情報とは異なる表示態様で表示してもよい。端末装置１０は、確定したＴｏＤｏ情報の色を未確定のＴｏＤｏ情報の色と異ならせてもよい。端末装置１０は、確定したＴｏＤｏ情報を赤色で表示し、未確定のＴｏＤｏ情報の黒色で表示してもよい。また、端末装置１０は、各ＴｏＤｏ情報のステータスを表示してもよい。端末装置１０は、各ＴｏＤｏ情報のステータスに応じて、「確定」、「未確定」、「変更有」等の種々のステータスに対応する文字情報を表示してもよい。
【００４６】
〔１−３．ＴｏＤｏ情報の抽出〕
図１の例では、ユーザＵ２の発言に基づく文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から端末装置１０がＴｏＤｏ情報ＴＩＤ１１を抽出する場合を示したが、端末装置１０は、種々の方法によりＴｏＤｏ情報を抽出してもよい。
【００４７】
〔１−３−１．複数の発言からの抽出〕
例えば、端末装置１０は、複数の発言から１つのＴｏＤｏ情報を抽出してもよい。すなわち、端末装置１０は、ＴｏＤｏの行動の対象を示す文字列やＴｏＤｏの実行者（ユーザ）を示す文字列やＴｏＤｏの期限を示す文字列等を複数の文字情報（発話情報）から抽出してもよい。
【００４８】
例えば、端末装置１０は、図５中のＴｏＤｏ情報記憶部１４２に示すように、２つの発言Ｓ２１−４５、Ｓ２１−４６に基づいて、ＴｏＤｏ情報ＴＩＤ２１を抽出してもよい。例えば、端末装置１０は、ユーザＵ２１の発言Ｓ２１−４５に基づく文字情報「会合ＸＸの開催場所決定は誰のタスク？」と、ユーザＵ３２の発言Ｓ２１−４６に基づく文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」に基づいて、ＴｏＤｏ情報ＴＩＤ２１を抽出してもよい。
【００４９】
例えば、端末装置１０は、文字情報「会合ＸＸの開催場所決定は誰のタスク？」と文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」とを、文脈解析やコンテキスト解析等の自然言語処理技術を適宜用いて解析することにより、複数の文字情報から重要なキーワード等を抽出してもよい。例えば、端末装置１０は、文字情報「会合ＸＸの開催場所決定は誰のタスク？」と文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」とを、文脈解析やコンテキスト解析等の自然言語処理技術により、同じコンテキスト（文脈）での発言であると判定してもよい。そして、端末装置１０は、文字情報「会合ＸＸの開催場所決定は誰のタスク？」と文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」とを１つの抽出対象群として、ＴｏＤｏ情報を抽出してもよい。例えば、端末装置１０は、形態素解析等の自然言語処理技術を適宜用いて、複数の文字情報を解析することにより、複数の文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。例えば、端末装置１０は、トピック分析（解析）等の種々の従来手法を適宜用いて、複数の文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。
【００５０】
例えば、端末装置１０は、２つの発言Ｓ２１−４５、Ｓ２１−４６のうち、ユーザＵ２１の発言Ｓ２１−４５に基づく文字情報「会合ＸＸの開催場所決定は誰のタスク？」から、ＴｏＤｏの行動の対象を示す文字列「開催場所決定」を抽出する。例えば、端末装置１０は、２つの発言Ｓ２１−４５、Ｓ２１−４６のうち、ユーザＵ３２の発言Ｓ２１−４６に基づく文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」から、ＴｏＤｏの実行者を示す文字列「Ｕ４４」を抽出する。例えば、端末装置１０は、２つの発言Ｓ２１−４５、Ｓ２１−４６のうち、ユーザＵ３２の発言Ｓ２１−４６に基づく文字情報「それは、ユーザＵ４４さんがＸ月Ｙ日迄に行う予定です」から、ＴｏＤｏの期限を示す文字列「Ｘ月Ｙ日」を抽出する。このように、端末装置１０は、ＴｏＤｏの実行者「Ｕ４４」、ＴｏＤｏの期限「Ｘ月Ｙ日」、ＴｏＤｏの行動の対象「開催場所決定」を含むＴｏＤｏ情報２１を抽出する。
【００５１】
〔１−３−２．未確定のＴｏＤｏ情報〕
端末装置１０は、ＴｏＤｏの内容のうち、行動の対象や実行者や期限の全てが抽出されていない場合であっても、ＴｏＤｏ情報としても用いてもよい。端末装置１０は、ＴｏＤｏの内容のうち、行動の対象や実行者や期限のうち、少なくとも１つが抽出できた場合、ＴｏＤｏ情報としても用いてもよい。
【００５２】
端末装置１０は、ＴｏＤｏの内容のうち、行動の対象や実行者の２つが抽出できた場合、その情報をＴｏＤｏ情報としても用いてもよい。例えば、端末装置１０は、行動の対象が「クライアントへのリマインダ」であり、実行者が「Ｕ７８」であることを示す情報が抽出された場合、その情報をＴｏＤｏ情報（「ＴｏＤｏ情報ＴＩＤ７８」とする）としても用いてもよい。また、端末装置１０は、ＴｏＤｏ情報ＴＩＤ７８を表示し、ＴｏＤｏ情報ＴＩＤ７８の期限をユーザＵ７８や他のユーザに登録するように要求してもよい。例えば、ユーザＵ７８が利用する端末装置１０は、ＴｏＤｏ情報ＴＩＤ７８を表示し、ＴｏＤｏ情報ＴＩＤ７８の期限をユーザＵ７８に登録するように要求してもよい。
【００５３】
端末装置１０は、ＴｏＤｏの内容のうち、行動の対象や期限の２つが抽出できた場合、その情報をＴｏＤｏ情報としても用いてもよい。例えば、端末装置１０は、行動の対象が「報告書の作成」であり、期限が「Ｘ月Ｚ日」であることを示す情報が抽出された場合、その情報をＴｏＤｏ情報（「ＴｏＤｏ情報ＴＩＤ７９」とする）としても用いてもよい。また、端末装置１０は、ＴｏＤｏ情報ＴＩＤ７９を表示し、ＴｏＤｏ情報ＴＩＤ７９の実行者を登録するように要求してもよい。例えば、Ｘ月Ｚ日迄に報告書の作成が可能なユーザ（「ユーザＵ７９」とする）は、自身の利用する端末装置１０に表示されたＴｏＤｏ情報ＴＩＤ７９を選択し、ＴｏＤｏ情報ＴＩＤ７９の実行者を「Ｕ７９」に設定してもよい。
【００５４】
また、端末装置１０は、ＴｏＤｏの内容のうち、実行者として複数の候補ユーザが抽出された場合、その複数の候補ユーザの各々に実行者であるかどうかを登録するように要求してもよい。複数の候補ユーザの各々が利用する端末装置１０は、各候補ユーザから自身が実行者であるとの設定を受付けてもよい。また、複数の候補ユーザ以外の他のユーザが利用する端末装置１０が、複数の候補ユーザのうち、いずれが実行者であるかを指定する情報を受け付けてもよい。
【００５５】
〔１−３−３．アジェンダ情報の利用〕
端末装置１０は、会議の発言に加えて、種々の情報を加味してＴｏＤｏ情報を抽出してもよい。端末装置１０は、会議に関する文字情報等を用いて、ＴｏＤｏ情報を抽出してもよい。例えば、端末装置１０は、会議の内容を示す文字情報等を用いて、ＴｏＤｏ情報を抽出してもよい。端末装置１０は、会議で議論する事項（議題）に関する情報（アジェンダ情報）を含む文字情報等を用いて、ＴｏＤｏ情報を抽出してもよい。
【００５６】
端末装置１０は、会議のアジェンダ情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する。端末装置１０は、会議のアジェンダ情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出する。端末装置１０は、会議のアジェンダ情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出する。
【００５７】
例えば、端末装置１０は、会議のアジェンダ情報に、所定のＴｏＤｏの行動の実行する候補者を示す情報が含まれる場合、会議の発言に基づいて、候補者のうちから実行者を示す情報を抽出する。例えば、会議のアジェンダ情報に「開催場所決定：Ｕ８１〜Ｕ８５の誰かが実行」等の記載がある場合、端末装置１０は、会議の発言に基づいて、「開催場所決定」に対応するＴｏＤｏの実行者をユーザＵ８１〜Ｕ８５のうちから抽出してもよい。
【００５８】
例えば、端末装置１０は、会議のアジェンダ情報に含まれる議題からＴｏＤｏの行動の対象を抽出してもよい。例えば、会議のアジェンダ情報の議題に「２．開催場所決定」、「３．市場分析」、「４．レポート作成」等のＴｏＤｏの対象に関する文字列が有る場合、その文字列をＴｏＤｏの対象として抽出してもよい。そして、端末装置１０は、議題の番号等の発言が有った場合、その発言の番号と議題に割り当てられた番号とを対応付けて、各ＴｏＤｏの実行者や期限等を抽出してもよい。例えば、端末装置１０は、「では議題４番の件はユーザＵ９９さんのタスクで」との発言の文字情報が取得された場合、アジェンダ情報中の「４．レポート作成」を加味して、ＴｏＤｏ情報を抽出してもよい。この場合、端末装置１０は、「では議題４番の件はユーザＵ９９さんのタスクで」の文字情報と、アジェンダ情報中の「４．レポート作成」とに基づいて、行動の対象が「レポート作成」であり、実行者が「Ｕ９９」であることを示す情報を含むＴｏＤｏ情報（ＴｏＤｏ情報ＴＩＤ９９）を抽出してもよい。
【００５９】
例えば、端末装置１０は、会議のアジェンダ情報に、所定のＴｏＤｏの期限を示す情報が含まれる場合、会議の発言に基づいて、期限を示す情報を抽出する。例えば、会議のアジェンダ情報に「開催場所決定：Ｙ月末頃迄」等の記載がある場合、端末装置１０は、会議の発言に基づいて、「開催場所決定」に対応するＴｏＤｏの期限を「Ｙ月末頃迄」と抽出してもよい。なお、上記は一例であり、端末装置１０は、会議のアジェンダ情報中の種々の情報を加味して、会議の発言に基づいて、ＴｏＤｏ情報を抽出してもよい。
【００６０】
〔１−４．音声変換モデル〕
また、端末装置１０は、会議の参加ユーザや会議の種別等に応じて、音声認識モデル群から、音声認識モデルを選択肢、その音声認識モデルを用いてもよい。例えば、端末装置１０は、ユーザＵ１〜Ｕ４が参加ユーザとして含まれる会議については、ユーザＵ１〜Ｕ４用の音声認識モデル（以下「専用音声認識モデル」）を選択して、その音声認識モデルを用いてもよい。これにより、端末装置１０は、各会議に特化した専用音声認識モデルを用いることが可能となり、専用音声認識モデルの精度を向上させ、会議の参加ユーザに応じた適切な議事録生成を行うことができる。
【００６１】
〔２．端末装置の構成〕
次に、図３を用いて、実施形態に係る端末装置１０の構成について説明する。図３は、実施形態に係る端末装置の構成例を示す図である。図３に示すように、端末装置１０は、通信部１１と、入力部１２と、出力部１３と、記憶部１４と、制御部１５とを有する。
【００６２】
また、端末装置１０は、音声による入出力インターフェイスとなるマイク（音センサ）やスピーカを有する。また、端末装置１０は、音センサやスピーカが外部接続等により通信可能に接続されてもよい。例えば、音センサ等のユーザの発話を検知するセンサを含むセンサ部（図示省略）を有してもよい。
【００６３】
例えば、センサ部は、音センサにより周囲の音を集音（検知）する。例えば、センサ部は、音センサによりユーザの発話等の種々の音声情報を検知する。また、例えば、センサ部は、カメラ等の画像センサを有してもよい。例えば、センサ部は、画像センサにより周囲の画像を撮像（検知）する。なお、例えば、センサ部は、上記に限らず種々のセンサを有してもよい。例えば、センサ部は、ＧＰＳ（Global  Positioning  System）センサ等の位置センサを有してもよい。なお、センサ部は、複数のセンサ情報を検知可能であってもよい。センサ部は、照度センサ、温度センサ、湿度センサ、心拍（脈拍）センサ、加速度センサ、発汗センサ、呼気（ガス）センサ等の種々のセンサが含まれてもよい。
【００６４】
（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、外部の情報処理装置との間で情報の送受信を行う。例えば、通信部１１は、所定のネットワークＮ（図２参照）と有線または無線で接続され、サービス提供装置５０との間で情報の送受信を行う。
【００６５】
（入力部１２）
入力部１２は、ユーザから各種操作が入力される。例えば、入力部１２は、タッチパネル機能により表示面（例えば出力部１３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１２は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【００６６】
（出力部１３）
出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置を含んでもよい。また、出力部１３は、音声を出力するスピーカを含んでもよい。
【００６７】
（記憶部１４）
記憶部１４は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、例えば、端末装置１０にインストールされているアプリケーションに関する情報、例えばプログラム等を記憶する。また、実施形態に係る記憶部１４は、図３に示すように、議事録情報記憶部１４１と、ＴｏＤｏ情報記憶部１４２と、ユーザ情報記憶部１４３とを有する。なお、記憶部１４は、各会議の開催日時や所要時間や参加ユーザ等の種々の情報を記憶してもよい。
【００６８】
（議事録情報記憶部１４１）
実施形態に係る議事録情報記憶部１４１は、議事録に関する各種情報（議事録情報）を記憶する。例えば、議事録情報記憶部１４１は、各会議の参加ユーザの発言やその日時やＴｏＤｏの抽出の有無等を含む議事録情報を記憶する。図４は、実施形態に係る議事録情報記憶部の一例を示す図である。図４に示す議事録情報記憶部１４１は、「会議ＩＤ」、「発言ＩＤ」、「日時」、「発言者」、「発言情報」、「抽出」、「ＴｏＤｏＩＤ」といった項目が含まれる。
【００６９】
「会議ＩＤ」は、議事録の生成対象となる会議を識別するための識別情報を示す。「発言ＩＤ」は、ユーザの発言（発話）を識別するための識別情報を示す。「日時」は、対応する発言が行われた日時を示す。なお、図４の例では、「日時」に記憶される情報を「ＤＴ１１−１」等の符号で図示するが、「日時」には、「２０１８年４月１４日１４時０６分０２秒」等の具体的な日時が記憶されるものとする。「発言者」は、対応する発言（発話）を行ったユーザを示す。
【００７０】
「発言情報」は、対応する発言ＩＤにより識別される発言の具体的な内容を示す。例えば、「発言情報」には、発言に対応する文字情報が記憶される。「発言情報」には、発言の音声情報が変換された文字情報が記憶される。
【００７１】
「抽出」は、対応する発言情報からのＴｏＤｏ情報の抽出の有無を示す。「抽出」は、音声情報から自動で変換された文字情報が、ＴｏＤｏ情報の抽出の対象となったか否かを示す。例えば、「抽出」は、音声情報から自動で変換された文字情報について、その文字情報中のユーザがやるべきことに関する情報が含まれるか否かを示す。例えば、対応する発言情報からＴｏＤｏ情報が抽出された場合は、「抽出」には「有」が記憶される。例えば、対応する発言情報から抽出が行われた場合は、「抽出」には「無」が記憶される。なお、「抽出」には「有」や「無」の代わりに、抽出されたことを示す「１」や抽出されていないことを示す「０」等のフラグが記憶されてもよい。「ＴｏＤｏＩＤ」は、抽出されたやるべきこと（ＴｏＤｏ）を識別するための識別情報を示す。
【００７２】
図４に示す例では、会議ＩＤ「ＭＴ１１」により識別される会議（会議ＭＴ１１）においては、発言ＩＤ「Ｓ１１−１」により識別される発言（発言Ｓ１１−１）が行われたことを示す。また、会議ＭＴ１１においては、発言ＩＤ「Ｓ１１−２」により識別される発言（発言Ｓ１１−２）や発言ＩＤ「Ｓ１１−３」により識別される発言（発言Ｓ１１−３）等が行われたことを示す。
【００７３】
発言Ｓ１１−１は、日時ＤＴ１１−１にユーザＵ１により行われたことを示す。発言Ｓ１１−１は、「イベントへの参加を…」といった発言内容であることを示す。発言Ｓ１１−１は、抽出が「無」、すなわち抽出が行われなかったことを示す。
【００７４】
発言Ｓ１１−３は、日時ＤＴ１１−３にユーザＵ２により行われたことを示す。発言Ｓ１１−３は、「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」といった発言内容であることを示す。発言Ｓ１１−３は、抽出が「有」、すなわち音声認識による自動変換による文字情報に対する抽出が行われたことを示す。発言Ｓ１１−３に対して抽出は、ＴｏＤｏＩＤ「ＴＩＤ１１」により識別されるＴｏＤｏ情報（ＴｏＤｏ情報ＴＩＤ１１）の抽出であることを示す。
【００７５】
なお、議事録情報記憶部１４１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。議事録情報記憶部１４１は、各会議の開催日時や所要時間や参加ユーザ等の種々の情報を各会議に対応付けて記憶してもよい。また、議事録情報記憶部１４１は、各会議の発言に対する校正の回数や用いた音声認識モデルの識別情報等の種々の情報が各会議に対応付けて記憶してもよい。
【００７６】
（ＴｏＤｏ情報記憶部１４２）
実施形態に係るＴｏＤｏ情報記憶部１４２は、ＴｏＤｏに関する各種情報を記憶する。ＴｏＤｏ情報記憶部１４２は、会議において決定された所定のユーザがやらなければいけないことに関する各種情報を記憶する。図５は、実施形態に係るＴｏＤｏ情報記憶部の一例を示す図である。例えば、ＴｏＤｏ情報記憶部１４２は、ユーザが過去に行った通信に関する情報を記憶する。図５に示すＴｏＤｏ情報記憶部１４２には、「ＴｏＤｏＩＤ」、「会議ＩＤ」、「参加者」、「発言」、「ＴｏＤｏ対象」、「実行者」、「期限」、「詳細内容」といった項目が含まれる。
【００７７】
「ＴｏＤｏＩＤ」は、抽出されたやるべきこと（ＴｏＤｏ）を識別するための識別情報を示す。「会議ＩＤ」は、会議を識別するための識別情報を示す。「参加者」は、対応する会議に参加したユーザ（参加ユーザ）を示す。「発言」は、対応するＴｏＤｏ情報が抽出される基となる発言を示す。例えば、「発言」には、対応するＴｏＤｏ情報が抽出される基となる発言を識別する情報が記憶される。
【００７８】
「ＴｏＤｏ対象」は、やるべきこと（ＴｏＤｏ）の具体的な内容を示す。すなわち、「ＴｏＤｏ対象」は、やるべきこと（ＴｏＤｏ）に対応する行動の対象を示す。「ＴｏＤｏ対象」は、対応するＴｏＤｏの実行者を示す。「実行者」は、ＴｏＤｏに対応する行動の主体を示す。「期限」は、対応するＴｏＤｏの期限を示す。「期限」は、ＴｏＤｏに対応する行動の期限を示す。「詳細内容」は、対応するＴｏＤｏの詳細内容を示す。「詳細内容」は、ＴｏＤｏに対応する行動の詳細内容を示す。なお、図４の例では、「詳細内容」に記憶される情報を「ＤＲ１１」等の符号で図示するが、「詳細内容」には、対応するＴｏＤｏに関する詳細な情報が記憶される。例えば、「詳細内容」には、メール送付先のアドレス情報や開催場所の対象となるエリア等の詳細情報が記憶されるものとする。
【００７９】
例えば、図５に示す例では、ＴｏＤｏＩＤ「ＴＩＤ１１」により識別されるＴｏＤｏ情報（ＴｏＤｏ情報ＴＩＤ１１）は、ユーザＵ１〜Ｕ４が参加する会議ＭＴ１１の発言Ｓ１１−３から抽出されたＴｏＤｏ情報であることを示す。ＴｏＤｏ情報ＴＩＤ１１のＴｏＤｏ対象は、メール送付であることを示す。ＴｏＤｏ情報ＴＩＤ１１の実行者は、ユーザＵ３であることを示す。ＴｏＤｏ情報ＴＩＤ１１の期限は、「Ｘ月Ｙ日」（例えば、４月２０日等）であることを示す。ＴｏＤｏ情報ＴＩＤ１１の詳細内容は、詳細内容ＤＲ１１であることを示す。
【００８０】
なお、ＴｏＤｏ情報記憶部１４２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ＴｏＤｏ情報記憶部１４２は、各ＴｏＤｏ情報の抽出が行われた日時を記憶してもよい。
【００８１】
（ユーザ情報記憶部１４３）
実施形態に係るユーザ情報記憶部１４３は、ユーザに関する各種情報を記憶する。例えば、ユーザ情報記憶部１４３は、ユーザ属性に関する各種情報やユーザの行動に関する各種情報を記憶する。図６は、実施形態に係るユーザ情報記憶部の一例を示す図である。図６に示すユーザ情報記憶部１４３は、「ユーザＩＤ」、「年齢」、「性別」、「端末ＩＤ」、「音声情報」、「画像情報」といった項目が含まれる。
【００８２】
「ユーザＩＤ」は、ユーザを識別するための識別情報を示す。また、「年齢」は、ユーザＩＤにより識別されるユーザの年齢を示す。なお、「年齢」は、例えば３５歳など、ユーザＩＤにより識別されるユーザの具体的な年齢であってもよい。また、「性別」は、ユーザＩＤにより識別されるユーザの性別を示す。
【００８３】
「端末ＩＤ」は、端末装置１０を識別するための識別情報を示す。例えば、「端末ＩＤ」は、ユーザがウェブ会議に利用する端末装置１０を識別するための識別情報を示す。
【００８４】
「音声情報」は、ユーザＩＤにより識別されるユーザの音声情報を示す。「音声情報」は、発話を行ったユーザを識別するための音声の特徴情報であってもよい。なお、図６の例では、各ユーザの音声情報を概念的に記号「ＶＰ１」等で示すが、「音声情報」としては、これらの格納場所を示すファイルパス名などが格納されてもよい。
【００８５】
「画像情報」は、ユーザＩＤにより識別されるユーザの画像情報を示す。「画像情報」は、ユーザを識別したり、ウェブ会議の画面に表示したりするための画像や動画であってもよい。なお、図６の例では、各ユーザの画像情報を概念的に記号「ＩＭ１」等で示すが、「画像情報」としては、これらの格納場所を示すファイルパス名などが格納されてもよい。
【００８６】
図６の例では、ユーザＩＤ「Ｕ１」により識別されるユーザ（ユーザＵ１）の年齢は、「２０代」であり、性別は、「男性」であることを示す。ユーザＵ１は、端末ＩＤ「ＴＭ１」により識別される端末装置１０を利用するユーザであることを示す。また、ユーザＵ１の音声情報は音声情報ＶＰであり、画像情報は、画像情報ＩＭ１であることを示す。
【００８７】
なお、ユーザ情報記憶部１４３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、ユーザ情報記憶部１４３は、各ユーザの端末装置１０から取得した各ユーザの位置情報の履歴を記憶してもよい。例えば、ユーザ情報記憶部１４３は、他のデモグラフィック属性情報やサイコグラフィック属性情報を記憶してもよい。例えば、ユーザ情報記憶部１４３は、氏名、家族構成、収入、ライフスタイル等の情報を記憶してもよい。また、ユーザ情報記憶部１４３は、ユーザが利用する端末装置１０を識別する情報（端末ＩＤ）を記憶してもよい。
【００８８】
（制御部１５）
制御部１５は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、端末装置１０内部の記憶部１４などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、抽出処理を行うアプリケーションのプログラムが含まれる。また、制御部１５は、コントローラであり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現される。
【００８９】
図３に示すように、制御部１５は、取得部１５１と、生成部１５２と、表示部１５３と、抽出部１５４と、送信部１５５とを有し、以下に説明する抽出処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図３に示した構成に限られず、後述する抽出処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。
【００９０】
（取得部１５１）
取得部１５１は、各種情報を取得する。例えば、取得部１５１は、記憶部１４から各種情報を取得する。例えば、取得部１５１は、議事録情報記憶部１４１やＴｏＤｏ情報記憶部１４２やユーザ情報記憶部１４３等から各種情報を取得する。また、取得部１５１は、各種情報を外部の情報処理装置から取得してもよい。例えば、取得部１５１は、他の端末装置１０から送信される電子メールを取得する。
【００９１】
例えば、取得部１５１は、サービス提供装置５０から各種情報を取得する。例えば、取得部１５１は、サービス提供装置５０からウェブ会議アプリＡＰ１１に関する各種情報を取得する。例えば、取得部１５１は、サービス提供装置５０からウェブ会議アプリＡＰ１１のインストールに用いる情報やウェブ会議アプリＡＰ１１のアップデートに用いる情報を取得する。例えば、取得部１５１は、サービス提供装置５０からウェブ会議アプリＡＰ１１において提供されるウェブ会議に関する各種情報を取得する。取得部１５１は、サービス提供装置５０からウェブ会議に参加中の他のユーザの発話情報やその発話情報の文字情報を取得してもよい。
【００９２】
例えば、取得部１５１は、センサ部等のマイク（音センサ）により、端末装置１０を利用するユーザの発話情報を取得する。例えば、取得部１５１は、入力部１２を介して、端末装置１０を利用するユーザによる各種操作の入力を取得する。例えば、取得部１５１は、端末装置１０を利用するユーザにより入力された文字情報を取得する。
【００９３】
取得部１５１は、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する。図１の例では、取得部１５１は、他のユーザＵ２〜Ｕ４の発話が変換された文字情報を他の端末装置１０から取得する。取得部１５１は、ユーザＵ４の発話情報「ＸＸＸＸＸＸＸＸＸＸＸ…」と、その発話情報を変換した文字情報とをユーザＵ４が利用する他の端末装置１０から取得する。取得部１５１は、ユーザＵ２の発話情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」と、その発話情報を変換した文字情報とをユーザＵ２が利用する他の端末装置１０やサービス提供装置５０から取得する。
【００９４】
（生成部１５２）
生成部１５２は、種々の情報を生成する。生成部１５２は、取得部１５１により取得された情報に基づいて各種情報を生成する。生成部１５２は、記憶部１４に記憶された情報に基づいて各種情報を生成する。生成部１５２は、議事録情報記憶部１４１やＴｏＤｏ情報記憶部１４２やユーザ情報記憶部１４３等に記憶された情報に基づいて各種情報を生成する。
【００９５】
例えば、生成部１５２は、取得部１５１により取得されたユーザの発話情報から文字情報を生成する。例えば、生成部１５２は、発話情報（音声情報）を文字情報に変換する音声変換モデルを生成してもよい。例えば、生成部１５２は、ウェブ会議アプリＡＰ１１に表示する各種情報を生成する。例えば、生成部１５２は、ウェブ会議アプリＡＰ１１に表示する各種情報を生成する。
【００９６】
生成部１５２は、音声認識の機能により、ユーザの発話情報から文字情報を生成する。生成部１５２は、音声認識に関する種々の従来技術を適宜用いてユーザの発話情報から文字情報を生成する。生成部１５２は、音声認識モデルを用いて、ユーザの発話情報から文字情報を生成する。
【００９７】
図１の例では、生成部１５２は、ユーザＵ１の発言に基づく発話情報「イベントへの参加を…」を文字情報に変換する。例えば、端末装置１０は、発話情報「イベントへの参加を…」を音声認識機能により文字情報に変換する。生成部１５２は、音声認識に関する種々の技術を適宜用いて、検知した発話等の音声情報を文字情報に変換する。生成部１５２は、音声情報の文字情報への変換において、形態素解析や仮名漢字変換等の自然言語処理技術を適宜用いて、漢字やひらがなやカタカナやアルファベット等の種々の種別の文字（記号）を含む文字情報に変換する。なお、生成部１５２は、ユーザＵ１の発話（音声情報）を音声認識サーバへ送信部１５５により送信し、音声認識サーバから発話の文字情報を取得部１５１に取得することで、文字情報を生成してもよい。
【００９８】
（表示部１５３）
表示部１５３は、種々の情報を表示する。例えば、表示部１５３は、出力部１３を介して各種情報を表示する。表示部１５３は、取得部１５１により取得された情報に基づいて各種情報を表示する。表示部１５３は、記憶部１４に記憶された情報に基づいて各種情報を表示する。表示部１５３は、議事録情報記憶部１４１やＴｏＤｏ情報記憶部１４２やユーザ情報記憶部１４３等に記憶された情報に基づいて各種情報を表示する。表示部１５３は、生成部１５２により生成された各種情報を表示する。例えば、表示部１５３は、議事録情報記憶部１４１等の記憶部１４に記憶された各種情報を用いて、ウェブ会議アプリＡＰ１１に関する種々の情報を表示する。
【００９９】
表示部１５３は、取得部１５１により取得された会議情報を表示する。表示部１５３は、取得部１５１により取得された文字情報を表示する。表示部１５３は、取得部１５１により取得されたＴｏＤｏ情報を表示する。表示部１５３は、抽出部１５４により抽出された文字情報を表示する。表示部１５３は、抽出部１５４により抽出されたＴｏＤｏ情報を表示する。
【０１００】
表示部１５３は、抽出部１５４により抽出された行動の実行者を示す情報を含むＴｏＤｏ情報を表示する。表示部１５３は、抽出部１５４により抽出された行動を行う対象を示す情報を含むＴｏＤｏ情報を表示する。表示部１５３は、抽出部１５４により抽出された行動の期限を示す情報を含むＴｏＤｏ情報を表示する。
【０１０１】
図１の例では、表示部１５３は、会議ＭＴ１１の各種情報を表示する。表示部１５３は、１４時０５分５８秒におけるユーザＵ１の発言に対応する文字情報「イベントへの参加を…」を領域ＡＲ１１に表示する。表示部１５３は、１４時０６分０２秒におけるユーザＵ４の発言に対応する文字情報「ＸＸＸＸＸＸＸＸＸＸＸ…」を、領域ＡＲ１１における１４時０５分５８秒におけるユーザＵ１の発言に対応する文字情報の下に続けて表示する。表示部１５３は、１４時０６分１４秒におけるユーザＵ２の発言に対応する文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を、領域ＡＲ１１における１４時０６分０２秒におけるユーザＵ４の発言に対応する文字情報の下に続けて表示する。
【０１０２】
図１の例では、表示部１５３は、ＴｏＤｏ情報ＴＩＤ１１を領域ＡＲ１２に表示する。具体的には、表示部１５３は、領域ＡＲ１２中のＴｏＤｏ対象の欄に「メール送付」と表示し、領域ＡＲ１２中の実行者の欄に「Ｕ３」と表示し、領域ＡＲ１２中の期限の欄に「Ｘ月Ｙ日」と表示する。
【０１０３】
（抽出部１５４）
抽出部１５４は、各種情報を抽出する。抽出部１５４は、取得部１５１により取得された情報に基づいて各種情報を抽出する。抽出部１５４は、記憶部１４に記憶された情報に基づいて各種情報を抽出する。抽出部１５４は、議事録情報記憶部１４１やＴｏＤｏ情報記憶部１４２やユーザ情報記憶部１４３等に記憶された情報に基づいて各種情報を抽出する。抽出部１５４は、各種情報を決定してもよい。
【０１０４】
抽出部１５４は、取得部１５１により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する。抽出部１５４は、文字情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する。抽出部１５４は、文字情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出する。抽出部１５４は、文字情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出する。
【０１０５】
抽出部１５４は、会議の参加ユーザ中のユーザを、行動の実行者として示す情報を含むＴｏＤｏ情報を抽出する。抽出部１５４は、会議のアジェンダ情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する。抽出部１５４は、会議のアジェンダ情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出する。抽出部１５４は、会議のアジェンダ情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出する。
【０１０６】
図１の例では、抽出部１５４は、会議ＭＴ１１におけるユーザの発言から生成された文字情報に基づいて、ＴｏＤｏ情報を抽出する。抽出部１５４は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」に基づいて、ＴｏＤｏ情報を抽出する。端末装置１０−１は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」に含まれるＴｏＤｏの行動の対象を示す文字列やＴｏＤｏの実行者（ユーザ）を示す文字列やＴｏＤｏの期限を示す文字列等をＴｏＤｏ情報として抽出する。
【０１０７】
例えば、抽出部１５４は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」を、形態素解析等の自然言語処理技術を適宜用いて解析することにより、文字情報から重要なキーワード等を抽出してもよい。例えば、抽出部１５４は、形態素解析等の自然言語処理技術を適宜用いて、文字情報を解析することにより、文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。例えば、抽出部１５４は、トピック分析（解析）等の種々の従来手法を適宜用いて、文字情報から、行動の実行者を示す情報や行動を行う対象を示す情報や行動の期限を示す情報等を抽出してもよい。
【０１０８】
図１の例では、抽出部１５４は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの実行者を示す文字列「Ｕ３」を抽出する。抽出部１５４は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの期限を示す文字列「Ｘ月Ｙ日」を抽出する。抽出部１５４は、文字情報「ではＵ３さん、Ｘ月Ｙ日迄にメール送付お願いします。」から、ＴｏＤｏの行動の対象を示す文字列「メール送付」を抽出する。抽出部１５４は、ＴｏＤｏの実行者「Ｕ３」、ＴｏＤｏの期限「Ｘ月Ｙ日」、ＴｏＤｏの行動の対象「メール送付」を含むＴｏＤｏ情報（以下「ＴｏＤｏ情報ＴＩＤ１１」ともいう）を抽出する。
【０１０９】
（送信部１５５）
送信部１５５は、各種情報を送信する。例えば、送信部１５５は、入力部１２により入力されたユーザ操作に従って、外部の情報処理装置へ種々の情報を送信する。例えば、送信部１５５は、生成した文字情報を指定された送信先へ送信する。例えば、送信部１５５は、ユーザが生成した文字情報を他の端末装置１０へ送信する。例えば、送信部１５５は、ユーザが生成した電子メールを宛先に指定されたメールアドレスへ送信する。
【０１１０】
送信部１５５は、端末装置１０のセンサ部等の音センサが検知したユーザの発話情報（音声情報）を他の端末装置１０へ送信する。送信部１５５は、取得部１５１が取得した端末装置１０を利用するユーザの発話情報を他の端末装置１０へ送信する。送信部１５５は、端末装置１０を利用するユーザの発話情報から生成された文字情報を他の端末装置１０へ送信する。
【０１１１】
また、例えば、送信部１５５は、サービス提供装置５０に各種情報を提供する。送信部１５５は、取得部１５１が取得した端末装置１０を利用するユーザの発話情報をサービス提供装置５０へ送信する。送信部１５５は、端末装置１０を利用するユーザの発話情報から生成された文字情報をサービス提供装置５０へ送信する。
【０１１２】
例えば、送信部１５５は、サービス提供装置５０にウェブ会議アプリＡＰ１１に関する各種情報の要求を送信する。送信部１５５は、サービス提供装置５０にウェブ会議アプリＡＰ１１を用いた会議の設定を要求する。送信部１５５は、サービス提供装置５０に会議の開始時間や所要時間や参加ユーザの情報等を送信する。
【０１１３】
図１の例では、送信部１５５は、ユーザＵ１の発話情報「イベントへの参加を…」と、その発話情報を変換した文字情報とを他の端末装置１０やサービス提供装置５０へ送信する。
【０１１４】
送信部１５５は、ＴｏＤｏ情報において、行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置１０に、ＴｏＤｏ情報を送信する。送信部１５５は、実行ユーザが利用する端末装置１０に、ＴｏＤｏ情報に対する確認を要求する。例えば、送信部１５５は、ＴｏＤｏ情報ＴＩＤ１１の実行ユーザであるユーザＵ３が利用する端末装置１０に、ＴｏＤｏ情報ＴＩＤ１１を送信する。例えば、送信部１５５は、ＴｏＤｏ情報ＴＩＤ１１の実行ユーザであるユーザＵ３が利用する端末装置１０に、ＴｏＤｏ情報ＴＩＤ１１を送信することにより、ＴｏＤｏ情報ＴＩＤ１１に対する確認を要求する。
【０１１５】
なお、上述した制御部１５による抽出処理等の処理は、所定のアプリケーションにより行われる場合、制御部１５の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部１５による抽出処理や表示処理や生成処理等の処理は、ＪａｖａＳｃｒｉｐｔ（登録商標）などを含む制御情報により実現されてもよい。また、上述した抽出処理や表示処理や生成処理等が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリ（例えば図１のウェブ会議アプリＡＰ１１等）や専用アプリを制御するアプリ制御部を有してもよい。
【０１１６】
〔３．抽出処理のフロー〕
次に、図７を用いて、実施形態に係る端末装置１０による抽出処理の手順について説明する。図７は、実施形態に係る抽出処理の一例を示すフローチャートである。
【０１１７】
図７に示すように、端末装置１０は、参加ユーザの発話情報から生成された文字情報を取得する（ステップＳ１０１）。そして、端末装置１０は、文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する（ステップＳ１０２）。
【０１１８】
〔４．効果〕
上述してきたように、実施形態に係る端末装置１０は、取得部１５１と、抽出部１５４とを有する。取得部１５１は、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する。抽出部１５４は、取得部１５１により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出する。
【０１１９】
このように、実施形態に係る端末装置１０は、音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報を抽出することができる。したがって、端末装置１０は、会議における発話に基づく情報を適切に抽出することができる。
【０１２０】
また、実施形態に係る端末装置１０において、抽出部１５４は、文字情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する。
【０１２１】
このように、実施形態に係る端末装置１０は、文字情報のうち、文字情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出することにより、会議における発話に基づく情報を適切に抽出することができる。
【０１２２】
また、実施形態に係る端末装置１０において、抽出部１５４は、文字情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出する。
【０１２３】
このように、実施形態に係る端末装置１０は、文字情報のうち、文字情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出することにより、会議における発話に基づく情報を適切に抽出することができる。
【０１２４】
また、実施形態に係る端末装置１０において、抽出部１５４は、文字情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出する。
【０１２５】
このように、実施形態に係る端末装置１０は、文字情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出することにより、会議における発話に基づく情報を適切に抽出することができる。
【０１２６】
また、実施形態に係る端末装置１０において、抽出部１５４は、会議の参加ユーザ中のユーザを、行動の実行者として示す情報を含むＴｏＤｏ情報を抽出する。
【０１２７】
このように、実施形態に係る端末装置１０は、会議の参加ユーザ中のユーザを、行動の実行者として示す情報を含むＴｏＤｏ情報を抽出することにより、会議における発話に基づく情報を適切に抽出することができる。
【０１２８】
また、実施形態に係る端末装置１０は、送信部１５５を有する。送信部１５５は、ＴｏＤｏ情報において、行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置１０に、ＴｏＤｏ情報を送信する。
【０１２９】
このように、実施形態に係る端末装置１０は、ＴｏＤｏ情報において、行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置１０に、ＴｏＤｏ情報を送信することにより、その会議において決定した事項（ＴｏＤｏ）を、その会議中においてＴｏＤｏの内容を確定させることができる。
【０１３０】
また、実施形態に係る端末装置１０において、送信部１５５は、実行ユーザが利用する端末装置に、ＴｏＤｏ情報に対する確認を要求する。
【０１３１】
このように、実施形態に係る端末装置１０は、実行ユーザが利用する端末装置に、ＴｏＤｏ情報に対する確認を要求することにより、その会議において決定した事項（ＴｏＤｏ）を、その会議中においてＴｏＤｏの内容を確定させることができる。
【０１３２】
また、実施形態に係る端末装置１０において、抽出部１５４は、会議のアジェンダ情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する。
【０１３３】
このように、実施形態に係る端末装置１０は、会議のアジェンダ情報に基づいて、行動の実行者を示す情報を含むＴｏＤｏ情報を抽出することができる。これにより、端末装置１０は、その会議のアジェンダの情報を加味して、会議におけるユーザの発話からＴｏＤｏ情報を抽出することができるため、会議における発話に基づく情報を適切に抽出することができる。
【０１３４】
また、実施形態に係る端末装置１０において、抽出部１５４は、会議のアジェンダ情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出する。
【０１３５】
このように、実施形態に係る端末装置１０は、会議のアジェンダ情報に基づいて、行動を行う対象を示す情報を含むＴｏＤｏ情報を抽出することができる。これにより、端末装置１０は、その会議のアジェンダの情報を加味して、会議におけるユーザの発話からＴｏＤｏ情報を抽出することができるため、会議における発話に基づく情報を適切に抽出することができる。
【０１３６】
また、実施形態に係る端末装置１０において、抽出部１５４は、会議のアジェンダ情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出する。
【０１３７】
このように、実施形態に係る端末装置１０は、会議のアジェンダ情報に基づいて、行動の期限を示す情報を含むＴｏＤｏ情報を抽出することができる。これにより、端末装置１０は、その会議のアジェンダの情報を加味して、会議におけるユーザの発話からＴｏＤｏ情報を抽出することができるため、会議における発話に基づく情報を適切に抽出することができる。
【０１３８】
〔５．プログラム〕
上述してきた端末装置１０やサービス提供装置５０による処理は、本願に係る抽出プログラムや表示プログラムや生成プログラムにより実現される。例えば、端末装置１０に係る生成部１５２や表示部１５３や抽出部１５４は、端末装置１０が有するＣＰＵやＭＰＵ等によって、例えばウェブ会議アプリＡＰ１１等に含まれる抽出プログラムがＲＡＭを作業領域として、抽出プログラムに係る生成手順が実行されることにより実現される。端末装置１０に係る他の処理部も同様に、表示プログラムによる各手順が実行されることにより実現される。例えば、端末装置１０に係る表示部１５３は、端末装置１０が有するＣＰＵやＭＰＵ等によって、例えばウェブ会議アプリＡＰ１１等に含まれる表示プログラムがＲＡＭを作業領域として、表示プログラムに係る表示手順が実行されることにより実現される。また、端末装置１０に係る生成部１５２は、生成プログラムによる各手順が実行されることにより実現される。例えば、端末装置１０に係る生成部１５２は、端末装置１０が有するＣＰＵやＭＰＵ等によって、例えばウェブ会議アプリＡＰ１１等に含まれる生成プログラムがＲＡＭを作業領域として、生成プログラムに係る生成手順が実行されることにより実現される。
【０１３９】
なお、本願に係る端末装置１０やサービス提供装置５０が実行する処理は、必ずしも全てが抽出プログラムや表示プログラムや生成プログラムによって実現されるものでなくてもよい。例えば、端末装置１０外の情報等は、端末装置１０が有するＯＳ（Operating  System）によって取得されてもよい。すなわち、抽出プログラムや表示プログラムや生成プログラム自体が、上述してきたような端末装置１０で実行される処理を実行するのではなく、ＯＳによって取得されたデータ（例えば、会議情報等を表示するために用いるデータ）を受け取ったりすることにより、上述してきた端末装置１０の処理を実現するようにしてもよい。
【０１４０】
〔６．ハードウェア構成〕
上述してきた実施形態に係る端末装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【０１４１】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１４２】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定のネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定のネットワークＮを介して他の機器へ送信する。
【０１４３】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【０１４４】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１４５】
例えば、コンピュータ１０００が実施形態に係る端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１５の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定のネットワークＮを介してこれらのプログラムを取得してもよい。
【０１４６】
以上、本願の実施形態を図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１４７】
〔７．その他〕
また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１４８】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１４９】
また、上述してきた各実施形態に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１５０】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【０１５１】
１      抽出システム
１０    端末装置（コンピュータ、抽出装置）
１４１  議事録情報記憶部
１４２  ＴｏＤｏ情報記憶部
１４３  ユーザ情報記憶部
１５    制御部
１５１  取得部
１５２  生成部
１５３  表示部
１５４  抽出部
１５５  送信部
５０    サービス提供装置
Ｎ      ネットワーク
【図１】
2019191276.tif 000003
【図２】
2019191276.tif 000004
【図３】
2019191276.tif 000005
【図４】
2019191276.tif 000006
【図５】
2019191276.tif 000007
【図６】
2019191276.tif 000008
【図７】
2019191276.tif 000009
【図８】
2019191276.tif 000010
【手続補正書】
【提出日】平成31年1月11日(2019.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得手順と、
前記取得手順により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報であって、前記行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する抽出手順と、
前記ＴｏＤｏ情報に前記行動の実行者として複数の候補ユーザが抽出された場合、前記複数の候補ユーザの各々が利用する複数の端末装置に、前記複数の候補ユーザの各々が前記行動の実行者であるかどうかを登録するように要求する情報を送信する送信手順と、
をコンピュータに実行させることを特徴とする抽出プログラム。
【請求項２】
前記抽出手順は、
前記文字情報に基づいて、前記行動を行う対象を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１に記載の抽出プログラム。
【請求項３】
前記抽出手順は、
前記文字情報に基づいて、前記行動の期限を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１または請求項２に記載の抽出プログラム。
【請求項４】
前記抽出手順は、
前記会議の前記参加ユーザ中のユーザを、前記行動の実行者として示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜３のいずれか１項に記載の抽出プログラム。
【請求項５】
前記送信手順は、
前記ＴｏＤｏ情報において、前記行動の実行者として抽出されたユーザである実行ユーザが利用する端末装置に、前記ＴｏＤｏ情報を送信する
ことを特徴とする請求項４に記載の抽出プログラム。
【請求項６】
前記送信手順は、
前記実行ユーザが利用する前記端末装置に、前記ＴｏＤｏ情報に対する確認を要求する  ことを特徴とする請求項５に記載の抽出プログラム。
【請求項７】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動の実行者を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜６のいずれか１項に記載の抽出プログラム。
【請求項８】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動を行う対象を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜７のいずれか１項に記載の抽出プログラム。
【請求項９】
前記抽出手順は、
前記会議のアジェンダ情報に基づいて、前記行動の期限を示す情報を含む前記ＴｏＤｏ情報を抽出する
ことを特徴とする請求項１〜８のいずれか１項に記載の抽出プログラム。
【請求項１０】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得工程と、
前記取得工程により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報であって、前記行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する抽出工程と、
前記ＴｏＤｏ情報に前記行動の実行者として複数の候補ユーザが抽出された場合、前記複数の候補ユーザの各々が利用する複数の端末装置に、前記複数の候補ユーザの各々が前記行動の実行者であるかどうかを登録するように要求する情報を送信する送信工程と、
を含んだことを特徴とする抽出方法。
【請求項１１】
音センサにより検知された会議に参加する参加ユーザの発話情報から生成された文字情報を取得する取得部と、
前記取得部により取得された文字情報に基づいて、所定のユーザに要求される行動を示すＴｏＤｏ情報であって、前記行動の実行者を示す情報を含むＴｏＤｏ情報を抽出する抽出部と、
前記ＴｏＤｏ情報に前記行動の実行者として複数の候補ユーザが抽出された場合、前記複数の候補ユーザの各々が利用する複数の端末装置に、前記複数の候補ユーザの各々が前記行動の実行者であるかどうかを登録するように要求する情報を送信する送信部と、
を備えたことを特徴とする抽出装置。