(57)【要約】 【課題】個々の質問と回答の関係の妥当性だけでなく一連の質問の流れに沿った回答としての妥当性を判断することは困難であった。【解決手段】質問を取得する手段と、質問に対して、１又は２以上の回答候補と、各回答候補に対するエビデンス集合とを対応付けて提示する手段と、質問と過去の質問との関連性を判定する手段と、エビデンスを提示する対象となる回答を回答候補から選択する手段と、質問毎に選択した回答と提示したエビデンスとを記録する手段と、質問と関連性があると判定された一連の質問において選択した回答の提示したエビデンス集合と、現在の質問において選択した回答のエビデンス集合とを比べて共通なエビデンスを提示エビデンスとして決定する手段と、提示エビデンスを提示する手段と、を備える情報提示装置。【選択図】  図２
2017037372.tif 000002
【特許請求の範囲】
【請求項１】
質問を取得する質問取得手段と、
該取得した質問に対して、１又は２以上の回答候補と、各回答候補に対するエビデンス集合とを対応付けて提示する質問応答手段と、
該取得した質問と過去の質問との関連性を判定する判定手段と、
エビデンスを提示する対象となる回答を該回答候補から選択する回答選択手段と、
質問毎に選択した回答と提示したエビデンスとを記録する記録手段と、
該取得した質問と関連性があると判定された一連の質問において選択した回答の提示したエビデンス集合と、現在の質問において選択した回答のエビデンス集合とを比べて共通なエビデンスを提示エビデンスとして決定する決定手段と、
該提示エビデンスを提示する提示手段と、
を備えることを特徴とする情報提示装置。
【請求項２】
前記エビデンスが質問に対する回答を抽出・生成する元となった情報源であることを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記情報源が文書であることを特徴とする請求項２に記載の情報提示装置。
【請求項４】
前記文書が、構造化された文書であることを特徴とする請求項３に記載の情報提示装置。
【請求項５】
前記決定手段が、
過去に提示済みのエビデンスが、今の質問の選択回答のエビデンス集合の中にある場合に、
前記過去に提示済みのエビデンスを、提示エビデンスとして決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報提示方法。
【請求項６】
前記決定手段が、判定手段で判定した一連の質問の関連の構造とエビデンスの内容の構造とが、より合致したエビデンスを提示エビデンスとして決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報提示装置。
【請求項７】
前記決定手段が、取得した質問と関連性があると判定された一連の質問において選択した各回答のうち、今の質問の選択回答と同じ選択回答について、それぞれの提示エビデンスと共通のエビデンスを、今の選択回答の提示エビデンスとして決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報提示装置。
【請求項８】
前記提示手段が、
決定した共通の提示エビデンスを提示し、
当該提示エビデンスに矛盾の無い質問で、過去の選択回答の質問に合致しないものを抽出してさらに提示する
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報提示装置。
【請求項９】
質問を取得する質問取得工程と、
該取得した質問に対して、１又は２以上の回答候補と、各回答候補に対するエビデンス集合とを対応付けて提示する質問応答工程と、
該取得した質問と過去の質問との関連性を判定する判定工程と、
エビデンスを提示する対象となる回答を該回答候補から選択する回答選択工程と、
質問毎に選択した回答と提示したエビデンスとを記録する記録工程と、
該取得した質問と関連性があると判定された一連の質問において選択した回答の提示したエビデンス集合と、現在の質問において選択した回答のエビデンス集合とを比べて共通なエビデンスを提示エビデンスとして決定する決定工程と、
該提示エビデンスを提示する提示工程と、
を含むことを特徴とする情報提示方法。
【請求項１０】
請求項１乃至８の何れか１項に記載の情報提示装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、質問応答やレコメンドシステム等の、ユーザに情報を提示するシステムが出力した結果を、利用者が採用するか否かを判断するための根拠となる情報を提示する装置、方法およびプログラムに関する。
【背景技術】
【０００２】
従来、質問に対して回答を出力する質問応答システムがあった（例えば、特許文献１参照）。質問に相当する情報と当該回答に相当する情報を含む情報源を、回答が妥当であることの根拠（エビデンス）として提示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2002-132811号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の質問応答システムは、個々の質問毎に回答と当該回答の根拠となったエビデンスを提示する。ユーザは，当該エビデンスを見ることで，個々の質問に対する回答としての妥当性を判断し，当該回答を採用するか否かを決定する。しかし，ユーザが自身の疑問を解消するにあたって，複数の観点から質問応答を実施し，その結果全体から最終的に採用する応答を決定する場合も多い。初めに全ての疑問が確定していれば，全てを含む質問を実施することも可能だが，判断に迷っている事象に関するデータや条件が追加・更新されたり，得られた回答によって新たな質問が動的に生じたりする場合，逐次的に質問を行うことになる。このような場合，従来の質問応答システムでは，それぞれの質問毎に個別のエビデンスを提示するしかなかった。そのため，ユーザは，当該個別のエビデンスから，個々の質問と回答の関係の妥当性を判断することはできたが、逐次的に行われた一連の質問の回答としての妥当性を判断することは困難であった。
そこで、本発明は上記の課題を解決するためになされたもので、一連の質問と回答との間に共通するエビデンスを利用して、該一連の質問に対する回答としての妥当性を判断する情報を提示する方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明による根拠情報提示装置は、
質問を取得する質問取得手段と、
該取得した質問に対して、１又は２以上の回答候補と、各回答候補に対するエビデンス集合とを対応付けて提示する質問応答手段と、
該取得した質問と過去の質問との関連性を判定する判定手段と、
エビデンスを提示する対象となる回答を該回答候補から選択する回答選択手段と、
質問毎に選択した回答と提示したエビデンスとを記録する記録手段と、
該取得した質問と関連性があると判定された一連の質問において選択した回答の提示したエビデンス集合と、現在の質問において選択した回答のエビデンス集合とを比べて共通なエビデンスを提示エビデンスとして決定する決定手段と、
該提示エビデンスを提示する提示手段と、
を備える。
【発明の効果】
【０００６】
共通エビデンスを利用して、一連の質問に対する回答の妥当性を判断する情報を提示することで、当該一連の質問と回答の間の関係を一貫して捉えた妥当性の判断ができるようになり、該判断の質と速度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】情報提示装置の実施形態における回路構成を示すブロック図である。
【図２】情報提示装置の実施形態における基本構成を示すブロック図である。
【図３】情報提示装置の実施形態における処理の手順を示すフローチャートである。
【図４】情報提示装置の実施形態における処理の手順を示すフローチャートである。
【図５】実施形態における、質問−回答−エビデンス管理部で管理する情報の概要を示した図である。
【図６】実施形態における、記録部で管理する情報の例を示した図である。
【図７】実施形態における、決定部が共通情報源を選択する例を示した図である。
【図８】実施形態における、今の選択回答の情報源集合の中に一連の共通情報源が無かった場合に、新たに提示情報源を選びなおす様子を示した図である。
【図９】実施形態における、共通情報源がある場合のユーザへの提示の仕方の一例を示した図である。
【図１０】実施形態における、共通情報源から利用者が入力していない質問に相当する情報を提示する例を示した図である。
【図１１】実施形態における、処理の全体像を示した図である。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。
【０００９】
［実施形態１］
本実施形態の情報提示装置の回路構成について、図１のブロック図を参照して説明する。本実施形態においては、本構成は単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにLocal Area Network（ＬＡＮ）などで接続するものとする。
【００１０】
図１において、１０１はコンピュータ装置１００全体を制御するCentral Processing Unit（ＣＰＵ）である。
Read Only Memory（ＲＯＭ）１０２は変更を必要としないプログラムやパラメータを格納する。
Random Access Memory（ＲＡＭ）１０３は外部装置などから供給されるプログラムやデータを一時記憶する。
外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスクドライブ（ＨＤＤ）やメモリドライブ（ＳＳＤ）、あるいはコンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含む。
１０５は、ユーザの操作を受けてデータを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインタフェースである。
１０６はコンピュータ装置１００の保持するデータや供給されたデータやプログラムの実行結果を出力するためのモニタなどの出力デバイス１１０とのインタフェースである。
１０７はインターネットなどのネットワーク回線１１１に接続するためのネットワークインタフェースである。
システムバス１０８はコンピュータ装置１００における１０１〜１０７の各ユニットを通信可能に接続し、各種データの転送経路となる。
【００１１】
次に、図２の機能ブロック図を参照して、本実施形態の情報提示装置の基本構成について説明する。
質問取得部２０１は、入力インタフェース１０５経由でユーザから入力された質問情報を取得する。本実施形態では、入力デバイス１０９としてキーボードを想定して、ユーザは当該キーボードを介したテキストによる質問文の入力を行うものとする。ただし、これに限るものでは無く、後述する質問応答部２０２で処理可能な情報に変換できる情報であれば、いずれの形式であっても良い。
例えば、ユーザから入力される質問情報は、発話による音声情報などでも構わない。その場合は、入力デバイス１０９はマイクのようなデバイスであって、当該マイクで得た音声情報を、入力インタフェース１０５でデジタル化する。そして、当該デジタル音声情報を一般的な音声認識処理によってテキスト化し、当該テキストデータを質問文として扱うなどしても構わない。
【００１２】
質問応答部２０２は、質問取得部２０１で取得した質問文に相当する情報と、その情報に関連する記述内容を含む情報源を探索し、当該情報源から回答となり得る回答候補の情報を抽出して提示する。質問応答部２０２は、各回答候補を得る元となった情報源と、回答候補の評価を取得できれば特に限定するものでは無い。
回答候補の評価は、例えば下記の含意の度合いなどのさまざまな要素を総合的に判断して行う。
・質問に対応する記述と意味的な内容が合致しているか否かの含意の度合い、
・当該質問相当部分と回答に相当する記述部分の関係解析結果の確度、
・同一の回答が得られた情報源の数、
・情報源そのものの信頼度（辞典や教科書といった，情報源としての外部から与えられる信頼度）、
・他の文書からの参照頻度、あるいは
・情報源に記述された情報の意味的な関係の整合性（既存の意味定義知識（シソーラスやオントロジ）との矛盾の有無などにより評価）
これらのさまざまな要素を総合的に判断して、回答候補毎に評価を算出し、最も評価が高い回答候補を提示する回答として選択するなどすれば良い。
【００１３】
判定部２０３は、質問取得部２０１で取得した質問と、過去に取得した質問との関連を判定する。本実施形態では、過去に取得した質問は、後述する質問−回答−エビデンス管理部２０４が、取得した際に管理しておき、当該管理してある過去の質問と一連の質問であるか否かを判定する。質問間の一連の関連としては、時間的な関連（順序関係や一定の間隔、特定の日時など）や、因果関係，内容の意味的な関連などが考えられる。時間的な関連・因果関係があれば、質問は関連しているものと見なす。
例えば因果関係であれば、言語的な表現の特徴を捉えて言語解析処理によって判定しても良い。すなわち，因果関係の記述に特異な単語（原因と結果を述べる時に使う単語）の出現を見たり，大量テキストから，単語の共起・出現順などの傾向を見て，生じる事象の順序関係から因果関係を推測したり，といった方法等で判定すれば良い。他にも，単語間の因果関係を含む意味的な関係を定義した知識（e.g.オントロジ）を参照するような方法を利用しても構わない。あるいは、時間的な関連であれば，過去の一連の質問事例を正解データとし、質問順の統計的な出現パターンを機械学習処理によって捉えるなどして、連続性や関係のタイプを判定するようにしても良い。また、内容の意味的な関連は，質問の類似性・関連性などから質問間の関連度合いを評価する。内容の意味的な関連の解析については、例えば，各単語の意味的な関係を定義した知識（例えば、シソーラスやオントロジ等）を利用して解析することができる。あるいは，概念的な特徴を表す概念ベクトルのようなものを，単語の共起頻度等をもとに計算し，当該ベクトルの類似度を利用して意味的な近さを評価しても構わない。
【００１４】
あるいは、ある文書が表現している内容を表す情報を、大量の文書から計算することができる（例えば、トピックモデル，Deep Learning等の技術を利用。）。こういった既知の技術によって、質問文の内容を表す情報を得た上で，質問間の内容の近さを判定することができる。なお、本実施形態では、質問の時間間隔があらかじめ定めた値以内であり、かつ、質問文を構成する単語の意味的な関連性が認められる場合に、連続した質問（一連の質問）であるとみなすものとする。
【００１５】
本実施形態では、後述する質問−回答−エビデンス管理部２０４において、質問間の関連情報も記録しておく。
【００１６】
質問−回答−エビデンス管理部２０４は、質問応答部２０２で得た質問−回答のセット毎に、当該回答を抽出・生成する元となった情報源の集合を、当該質問−回答セットのエビデンスとして外部記憶装置１０４にまとめて保管する。このとき、各情報源は、一意に識別可能に保管する。例えば、情報源が文書管理システムで管理されている何らかの文書データであれば、当該文書管理システムで割り当てられた文書ＩＤを記録すれば良い。
あるいは、情報源としては必ずしも文書に限定するものではなく、文書中のある部分、すなわち章や段落などの単位で扱っても構わないため、そのような場合は、文書ＩＤに加えて、その部分を特定可能な識別情報を記録しておく。文書管理システムにおいて、各文書が構造化されて管理されているのであれば、章や段落等の識別情報を記録しておけば良い。構造化されていない場合は、文書やページの先頭からの文字位置のオフセット情報により位置を記録したりすれば良い。
【００１７】
図５を用いて、本実施形態における、質問−回答−エビデンス管理部２０４で保管する情報について補足する。
図５においてＱは質問文を表しており、５０１のＱｔが現在の質問である。５０３におけるＡｔ０はＱｔの一つ目の回答であり、Ａｔ０，Ａｔ１，Ａｔ２の表現により、質問Ｑｔに対する回答が複数ある様子を示している。また、５０３におけるＥｔ００はＡｔ０の元となった一つ目の情報源であり、Ｅｔ００，Ｅｔ０１の表現により、情報源が複数ある様子を示している。本実施形態では、図５に示したような質問とその回答集合、および、回答毎の情報源集合とを、質問−回答−エビデンス管理部２０４で管理する。
【００１８】
なお、本実施形態では、先に述べた通り、質問−回答−エビデンス管理部２０４は、判定部２０３によってＱｔの過去の関連する質問を判定した結果をも合わせて記録・管理する。図５に示したＱ０、Ｑ１、…、Ｑｔ−１、Ｑｔは、現在の質問Ｑｔに至る一連の質問であると判定された質問の流れを示している。これにより、例えば、Ｑｔの過去の一連の質問の一つであるＱ１（５０２）における、回答集合と回答毎の情報源集合の情報（５０４）を、その都度、関連を評価しなおすことなく取得できるようにする。
【００１９】
また、本実施形態では、過去の質問を保管していることから、質問間の関連情報をも、質問−回答−エビデンス管理部２０４で合わせて管理するようにしたが、管理の仕方はこれに限定するものではない。当該質問間の関連情報として、質問を識別する情報と、それらの間の関連の有無の情報と、関連の種類の情報とが、それぞれ取得可能に保管できれば、どこでどのように管理をしておいても構わない。例えば、質問間関連情報管理部のようなものを別途設けて、上記で説明したような、質問間の関連の情報のみを管理するようにしても構わない。
【００２０】
回答選択部２０５は、質問応答部２０２が提示した回答候補から、エビデンスを提示する対象の回答を選択する。本実施形態では、回答選択部２０５は、回答候補を、出力デバイス１１０を介して選択可能に提示することで、ユーザに入力デバイス１０９を介して選択指示させるようにし、当該指示された回答を選択する。ただし、これに限るものではなく、質問応答部２０２で最も評価の高かった回答候補をシステムが選択するようにしても良い。
【００２１】
ユーザが回答を指定する場合は、複数の回答候補を一通りユーザに提示し、ユーザの判断により、エビデンスを表示して妥当かどうかを判断したい回答を能動的に選択できる。一方で、システムが選択する場合は、もっともらしい回答を、そのエビデンスと合わせてユーザに示すような利用が可能になる。これらは、実現したいタスクによって適宜変更して構わない。
【００２２】
記録部２０６は、後述する決定部２０７で決定した提示エビデンスの情報を、外部記憶装置１０４で記録する。本実施形態では、質問−回答−エビデンス管理部２０４で管理しておいたそれぞれの情報に対して、どの回答を選択し、その際どの情報源を提示したかといった情報を管理しておく。
【００２３】
図６を用いて、質問と回答と情報源とについて補足する。図６において、回答Ａ１１（６０１）は質問Ｑ１に対して選択された回答であり、回答Ａｔ２（６０３）は質問Ｑｔに対して選択された回答である。これらの選択された回答の情報を、記録部２０６が、質問毎に同様に記録しておく。
また、情報源Ｅ１１０（６０２）は質問Ｑ１について選択された回答Ａ１１（６０１）で提示された情報源であり、情報源Ｅｔ２１（６０４）は質問Ｑｔについて選択された回答Ａｔ２で提示された情報源である。記録部２０６は、各質問および選択した回答毎に提示した情報源をも記録する。
なお、選択した回答や提示した情報源を示す情報（６０１〜６０４）の記録に特別な方法は不要である。例えば、そういった情報を別途記録するテーブルを外部記憶装置１０４に設けて記録するなど、一般的な方法で行えば良い。
【００２４】
決定部２０７は、回答選択部２０５で選択した回答について提示するエビデンスを決定する。決定部２０７は、質問−回答−エビデンス管理部２０４で管理しておいた、当該選択した回答とセットで管理されている質問および情報源の集合を取得する。そして、取得した質問に関連する過去質問を特定し、記録部２０６によって当該特定した過去質問とセットで管理されている過去の選択回答と情報源をそれぞれ得る。
このようにして関連する過去質問の回答時に提示した情報源を取得し、当該選択した回答とセットで管理されている情報源の中に共通のものがあるか否かを判定する。共通の情報源があれば、該情報源を提示するエビデンス情報として決定し、記録部２０６で、提示した情報源として管理しておくと共に、後述する提示部２０８によって当該エビデンス情報を提示する。
【００２５】
図７を用いて、質問と回答と情報源とについて補足する。図７において、７０２は、過去の関連質問Ｑ１における選択回答Ａ１１の提示情報源としてＩＤ００５の文書を提示したことが記録されている例を表している。同様に、他の一連の過去の質問（Ｑｔ−１など）における選択回答の提示情報源がＩＤ００５の文書であるとする（不図示）。この場合に、現在の質問Ｑｔにおける選択回答Ａｔ２の提示情報源として、ＩＤ００５の文書があるか否かを判定し、当該文書ＩＤ００５（７０１）がある場合は、これを提示情報源として決定する。
【００２６】
質問が個別ではなく、一連の質問である場合、例えば、問診結果や検査結果を逐次入力する場合には、
あるカルテをエビデンスとしてすでに提示していて、次に新しい事実（検査結果）が得られた場合であって、
当該新しい事実から想定される回答（想定疾患）のエビデンスとして、そのカルテが記載されていてかつ矛盾ない場合に、
当該カルテをエビデンスとして提示すると、回答（想定疾患）がありえるか否かを判断しやすい。
【００２７】
提示部２０８は、決定部２０７で決定したエビデンス情報を、出力インタフェース１０６を経由してユーザに提示する。本実施形態では、回答選択部２０５でユーザがエビデンス提示対象の回答を指定しているので、当該指定する指示を受けたシステムの応答として、決定部２０７で決定したエビデンスを提示する。ただし、これに限るものでは無く、例えば、回答選択部２０５でシステムがエビデンス提示対象の回答を選択する場合は、エビデンスもその情報と合わせて提示すれば良い。
【００２８】
次に、本実施形態の情報提示装置における処理の手順について、図３乃至図４のフローチャートを参照して説明する。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
まず、図３のフローチャートを参照し、質問を取得してから、回答とその情報源集合を取得し、それらの情報と該質問と過去質問の関連とを記録するまでの処理の流れを説明する。
【００２９】
＜質問取得、質問応答＞
ステップＳ３０１では、質問取得部２０１が、入力デバイス１０９を介して利用者から入力された質問情報を取得する。前述した通り、本実施形態では、テキスト入力により質問文を取得する。
ステップＳ３０２では、質問応答部２０２が、ステップＳ３０１で取得した質問文を受け取り、当該質問文に相当する内容を含む情報源を探索する。
ステップＳ３０３では、質問応答部２０２が、ステップＳ３０２で探索した情報源から、前記質問文の回答となりうる情報（回答候補）を抽出して、出力する。
【００３０】
＜質問−回答−エビデンス管理＞
ステップＳ３０４では、質問−回答−エビデンス管理部２０４が、
ステップＳ３０１で取得した質問と、
ステップＳ３０２乃至Ｓ３０３の処理によって得た該質問の回答およびその回答の元となった情報源の集合（エビデンス集合）と
をまとめて取得可能な状態で外部記憶装置１０４に記録・管理する。
【００３１】
＜判定＞
ステップＳ３０５では、判定部２０３が、
ステップＳ３０１で取得した質問と、質問−回答−エビデンス管理部２０４で管理しておいた過去の質問との間の関連を判定する。
ステップＳ３０６では、ステップＳ３０５における判定結果を、質問−回答−エビデンス管理部２０４に通知し、同部２０４が、当該質問間の関連の情報を保管・管理しておく。
【００３２】
次に、図４のフローチャートを参照して、図３のフローチャートに示した処理に続いて、エビデンスとして共通の情報源を決定して提示する処理の流れを説明する。
＜回答選択＞
ステップＳ４０１では、回答選択部２０５が、エビデンスとして情報源を提示する対象の回答を選択する。本実施形態では、先に述べた通り、ユーザに回答候補を示し、ユーザから選択指示された回答を選択したものとする。
【００３３】
ステップＳ４０２では、決定部２０７が、ステップＳ４０１で回答選択部２０５において選択された回答を受け取り、該回答とセットになっている質問および情報源の集合を、質問−回答−エビデンス管理部２０４から取得する。
ステップＳ４０３では、決定部２０７が、過去の質問を取得し、ステップＳ４０２で取得した今の質問が過去の質問と関連しているかを判断する。今の質問が過去の質問と関連している場合はＳ４０４へ移行し、関連していない場合はＳ４０９に移行する。
【００３４】
ステップＳ４０４では、決定部２０７が、ステップＳ４０３で取得した過去の質問における選択回答と提示情報源とを、記録部２０６から取得する。
ステップＳ４０５では、決定部２０７が、ステップＳ４０２で取得した今の選択回答における情報源集合の中に、ステップＳ４０４で取得した過去の提示情報源と共通のものがあるか否かを判定する。共通の情報源が存在している場合は、ステップＳ４０６へ移行する。共通の情報源が存在していない場合はステップＳ４０９へ移行する。
【００３５】
＜提示エビデンスの決定＞
ステップＳ４０６では、決定部２０７が、ステップＳ４０５でみつけた共通情報源を、ステップＳ４０１乃至Ｓ４０２で取得した、今の選択回答および質問についての提示情報源として決定する。
＜記録＞
ステップＳ４０７では、記録部２０６が、ステップＳ４０６あるいはステップＳ４０９において、決定部２０７が決定した提示情報源を受け取り、今の選択回答における提示情報源であることを、記録・管理する。
＜エビデンス提示＞
ステップＳ４０８では、提示部２０８が、決定部２０７が決定した提示情報源の情報を受け取り、今の選択回答におけるエビデンス情報として当該情報源を提示する。
【００３６】
ステップＳ４０９では、今の選択回答の情報源集合の中から、決定部２０７が、適当な情報源を選択する。本ステップに処理が来る場合、今の質問に関連する過去の質問が無い場合（ステップＳ４０３でｎｏ）か、今の選択回答の情報源集合の中に、過去の選択回答における提示情報源に共通のものが無い場合（ステップＳ４０５でｎｏ）である。
前者は、今の質問が最初の質問のような場合であり、後者は、異なる観点からなされた質問で回答が過去の一連の質問のものとは大分異なるような場合である。
【００３７】
これらの場合は、過去に提示した情報源との共通な情報源を提示する意味はあまりなく、今の選択回答について、利用者にとって有効と考えられる情報源を、今の情報源集合の中から適当に選択して提示すれば良い。例えば、先に述べた通り、質問応答部２０２では、回答候補は、情報源の信頼度などによって評価されるため、情報源としての信頼度が高く、かつ、質問と回答の記述内容の意味的な整合性が取れているものなどを選択する等すれば良い。
【００３８】
図１１（ａ）〜（ｃ）を用いて、上記の処理の流れを簡潔に説明する。
＜質問取得  図１１（ａ）＞
まず、質問Ｑｔ（５０１）を取得する。
＜質問応答  図１１（ａ）＞
次に、取得した質問（５０１）に対する回答候補Ａｔ０，Ａｔ１，Ａｔ２，…と各回答候補の元になったエビデンス集合とを対応付けて提示する。対応付けて提示するとは、例えば、図１１（ａ）に示すように、
回答候補Ａｔ０と、回答候補Ａｔ０の元になったエビデンス集合ＩＤ００３，ＩＤ００２，…とを同じ行に表示し、
回答候補Ａｔ１と、回答候補Ａｔ１の元になったエビデンス集合ＩＤ０４５，ＩＤ０９０，…とを同じ行に表示し、
回答候補Ａｔ２と、回答候補Ａｔ２の元になったエビデンス集合ＩＤ００７，ＩＤ００５，…とを同じ行に表示することを意味する。
【００３９】
＜質問−回答−エビデンス管理  図１１（ａ）＞
次に、取得した「質問」５０１とその質問に対する「回答候補、エビデンス集合」５０３を管理する。
＜判定＞
取得した質問Ｑｔと、過去の質問との関連性を判定する。
【００４０】
＜回答選択  図１１（ｂ）＞
回答候補（Ａｔ０，Ａｔ１，Ａｔ２）の中からエビデンスを提示する対象となる回答Ａｔ２（６０３）を選択する。
＜記録  図１１（ｃ）＞
質問毎に選択した回答と提示したエビデンスとを記録する。
図１１（ｃ）に示す例では、質問Ｑｔより前に質問した質問Ｑ１と、選択した回答Ａ１１（６０１）と、提示したエビデンスＩＤ００５（７０２）とを関連付けて記憶する。
【００４１】
＜提示エビデンスの決定  図１１（ｃ）＞
取得した質問Ｑｔと関連性があると判定された質問Ｑ１の選択回答Ａ１１（６０１）のエビデンス（ＩＤ００５）から、今の質問Ｑｔの選択回答Ａｔ２のエビデンス集合（ＩＤ００７，ＩＤ００５，…）のうち共通なエビデンスを探す。
【００４２】
本実施形態では、過去に提示済みのエビデンスと共通のエビデンスを、今の質問の選択回答のエビデンス集合の中から探して、提示エビデンスとして決定する。
そして、過去の関連質問Ｑ１における選択回答Ａ１１の情報源として提示した文書ＩＤ００５が、今の質問Ｑｔの選択回答Ａｔ２のエビデンス集合（ＩＤ００７，ＩＤ００５，…）に含まれている共通なエビデンス（ＩＤ００５）となる。このため文書ＩＤ００５を、今の質問Ｑｔの選択回答Ａｔ２の提示エビデンスとして決定する。
そして、決定された提示エビデンス（ＩＤ００５）を利用者に提示する。
【００４３】
上記で説明した実施形態により、過去の質問と現在の質問が一連の質問である場合（所定の関連性を有する場合）に、個別のエビデンスではなく共通するエビデンスを提示できるようになる。これにより、各回答と一連の各質問の間についての説明や事実の記載を，共通のエビデンス内で一読できるようになる。少なくともバラバラなエビデンスに分散して記述されているよりは，一連の質問と回答が，どのような関係にあるのかを把握しやすい。これにより，一連の質問に対するそれぞれの回答が妥当か否かの判断の質と速度を向上する効果が期待できる。
また、個別のエビデンスと共通のエビデンスとを一緒に提示しても構わない。それによって，個々の質問に対する回答の妥当性と，一連の質問に対する回答の妥当性を両面から判断できる。
【００４４】
［実施形態２］
実施形態１では、
今の選択回答に関する情報源（エビデンス）として提示される可能性がある情報源の集合の中に、過去の選択回答に関する情報源として提示された情報源と共通する情報源があるかを判定したが、
関連する過去の質問における選択回答が、今の選択回答と共通であるか否かを判定しなかった。
【００４５】
一方、実施形態２では、関連する過去の質問における選択回答が、今の選択回答と共通であるか否かを判定する処理を、図４に示したフローにおけるステップＳ４０３の後で行う。
関連する過去の質問における選択回答が、今の選択回答と共通である場合に、当該回答における提示情報源を、Ｓ４０４に記載した処理で取得する。
【００４６】
これは、図６における回答Ａ１１（６０１）および回答Ａｔ２（６０３）が共通の回答（例えば、回答Ａ１１（６０１）も回答Ａｔ２（６０３）も「Ａという病気の可能性が疑われる。」という同じ回答）である場合に相当する。このような処理の流れを実施することで、一連の質問において同じ回答を選択した場合に共通の情報源がある場合、当該共通の情報源が選択され続ける。このようなケースは、医療現場における診療支援などで起こり得る。すなわち、患者の状況が、検査結果や症状の変化等時間を経て徐々に明らかになるような場合に、それらの患者の症状・状況が質問文に相当し、当該状況から考えられる診断が回答と言える。
【００４７】
ある診断を医師が仮定し、複数の状況の入力に対して共通のエビデンスで当該診断の妥当性を検証するような利用が行えるようになる。
これにより、一連の質問によってある一つの回答を得たい状況において、共通のエビデンスで妥当性を判断することができるようになり、分散したエビデンスを参照する場合に比べて判断の精度・速度の向上が期待できる。
【００４８】
例えば
「悪寒がする。考えられる疾患は？」という質問１に対する複数の回答候補の中から「風邪ではないかと思われる。」という回答１１が選択され、
次に、「咳が止まらない。考えられる疾患は？」という質問２に対する複数の回答候補の中から「風邪ではないかと思われる。」という回答２１が選択され、
さらに「鼻水が止まらない。考えられる疾患は？」と質問３に対する複数の回答候補の中から「風邪ではないかと思われる。」という回答３１が選択される、
というような場合に、
回答１１が選択された際に表示されるエビデンスと、
回答２１が選択された際に表示されるエビデンスと、
回答３１が選択された際に表示されるエビデンスと、が同じという場合である。
回答の確度を高めるために様々な観点から質問１〜３がされ、回答１１〜３１のそれぞれに対して、別々のエビデンスが提示されるよりも、共通のエビデンスがあるなら、その共通のエビデンスを提示する。共通のエビデンスで回答を評価することによって、エビデンスを読む手間も軽減され、理解も容易になる。
【００４９】
［実施形態３］
前記実施形態においては、過去の提示情報源と共通の情報源を提示情報源として決定部２０７が決定した。
しかし、利用者が共通の情報源で妥当性を判断できれば良いので、過去の提示情報源と共通の情報源が無い場合に、今の情報源集合（エビデンス集合）と、過去の一連の選択回答での各情報源集合とで、共通な情報源を探し、これを提示情報源としても良い。
本実施形態では、今の回答で提示するエビデンスは、過去に提示済みのエビデンスと共通のものが無ければ、一連の過去の質問での各選択回答の情報源集合（提示されなかった情報源を含む集合）をもう一度見直して、全体で共通な情報源（エビデンス）を探す。
【００５０】
図８を用いて補足する。すなわち、質問文Ｑｔまでは、一連の過去の質問と選択回答における共通エビデンスとしてＩＤ００５の文書が選択できていた（８０１）。
つまり、質問文Ｑｔ−１に対する選択回答Ａ（ｔ−１）ｘと共にＩＤ００５の文書が提示され、かつ質問文Ｑｔに対する選択回答Ａｔｘと共にＩＤ００５の文書が提示された。
これに対し、次の質問Ｑｔ＋１では、ＩＤ００５の文書が情報源集合として得られていない。つまり、過去の提示済みエビデンス（ＩＤ００５の文書）が、質問Ｑｔ＋１の選択回答Ａ（ｔ＋１）ｘの情報源集合（ＩＤ００６，ＩＤ００７，ＩＤ００３、…）の中に無い。
このような場合に、
選択回答Ａ（ｔ＋１）ｘの情報源集合（ＩＤ００６，ＩＤ００７，ＩＤ００３、…）と、
選択回答Ａ（ｔ−１）ｘ，選択回答Ａｔｘの各情報源集合、すなわち
Ａｔｘの情報源集合（ＩＤ００７，ＩＤ００５，ＩＤ００１，ＩＤ００３、…）と、
Ａ（ｔ−１）ｘの情報源集合（ＩＤ００５，ＩＤ００２，ＩＤ００３，…）とで、共通情報源を探して提示する。
ここではＩＤ００３が共通情報源であるから、ＩＤ００３を提示エビデンスとして選択し、当該情報源を提示情報源として、記録部２０６が記録を更新する。
【００５１】
なお、複数の候補がある場合は、ステップＳ４０９に記載したような基準で、より利用者の判断に有効でありそうな情報源を、提示情報源として採用する等すれば良い。
このようにすることで、質問と回答をなるべく多く含むような共通情報源を提示できるようになり、そのようなシーンでの判断の精度と速度の向上が期待できる。
【００５２】
［実施形態４］
＜一連の質問の関連の構造とエビデンスの内容の構造とに基づいて優先して提示するエビデンスを決定＞
決定部２０７における共通情報源の選び方として、例えば、情報源に記載されている内容（事実）の因果関係を分析して、質問文の流れ（因果関係）と、関係の構造が類似しているものを提示情報源とするようにしても良い。因果関係の分析には、既知の言語処理の解析技術（例えば、「ため」などの接続標識に基づいて文書集合の中から因果関係知識を獲得する技術など）を適用すれば良い。なお、因果関係が単純な記載の順序関係であっても構わない。例えば、以下のような質問応答が行われた場合、当該質問−回答の順に記載された情報源が共通情報源として存在している場合は、当該情報源を優先して提示するようにしても良い。
【００５３】
Q0.「○○国に1月10日から10日間旅行に行こうと思っている。準備しておいた方が良いものは？」
A0.「（ブログやガイドブック等をエビデンスとして）〜を持っていくと良いようです」
Q1.「何か観光の目玉はないか？」
A1.「（時期などを踏まえて、ブログやガイドブック等をエビデンスとして）〜の評判が良いです」
Q2.「その時あると便利なものは？」
A2.「（あるアクティビティをした実体験のブログをエビデンスとして）〜を持っていくと便利なようです」
この一連の質問（Q0.⇒Q1.⇒Q2.）の関連の構造（質問の順序）と、エビデンスの内容の構造（ブログの記事内に書かれている旅行の内容の記載順序）がより合致したエビデンス（ブログの記事）を提示エビデンスとして決定する。
【００５４】
このようにすることで、なるべく共通の情報源（ブログ記事やガイドブック）を引用するにあたって、より質問の流れと近い構造で記述されている情報源を参考にすることができ、回答についての妥当性の判断を行う上で、情報源の内容を理解しやすくすることができる。
また、他にも、例えば、判断を効率化するための情報源であるので、情報源中の質問と回答に関する記述が、位置的により近い位置にまとまっているような情報源を採用するようにしても構わない。このようにすることで、情報源を参照する範囲を小さくすることができ、情報源中の広範囲に記述がばらついているものに比べて判断を行いやすくなる。
【００５５】
［実施形態５］
実施形態２において、共通の回答に限定して、共通情報源を提示する処理を行う例を述べた。この場合、得られた共通情報源を利用して、当該共通回答を得られるような、他に矛盾のない質問に相当する情報を提示するようにしても良い。
具体的には、実施形態２に記載したような医療診断支援のような場合であれば、一連の質問文として与えられた患者の各状況を条件として、当該条件を満たす場合に考えられる疾患を記述したような診断ガイドラインが共通情報源として選択されていたとする。その場合、当該ガイドライン中の条件に相当する部分のいくつかは、すでに一連の質問文として得られており、加えて、当該条件からいくつか考えられる疾患の一つが共通回答として選択されているような状態にある。
【００５６】
このような場合に、ガイドラインには、与えられた条件から当該疾患に至るには、本来他に見られるべき、あるいは見られてはならないような情報が、条件として記載されていることが考えられる。そこで、利用者に対して、当該一連の質問で与えられた条件にまだ含まれていない条件に相当する該情報を提示するようにする。
他にも、旅行の行き先を検討する中で、希望のアクティビティ等を条件として入力して、該当する行き先を得るようなケースも考えられる。例えば、そのアクティビティと行き先の情報を含む共通情報源に、気を付けなければならない条件（e.g.トイレが汚い、虫がたくさん出る…）や他に実施可能なアクティビティなどの情報が含まれていれば、それらを提示する。
【００５７】
以上のようにすることで、一連の質問に対する回答の妥当性を判断する上で、欠けている情報を利用者にさらに提示することができるようになり、一連の質問とその共通回答の妥当性を判断する際の、精度や速度を向上させることができるようになる。
本実施形態における、利用者とのインタラクションの一例を、図９および図１０を用いて説明する。
【００５８】
図９の９０１はユーザからの一連の質問を表示し、９０２はそれらの質問に対する回答を表示している。また、９０３でいずれの質問から回答が得られたかを示している。なお、ここまでについては、質問と回答の間の関係を表示できれば良く、本発明における表示の仕方をこれに限定するものではない。
【００５９】
次に、特に共通情報源が存在するような場合には、共通情報源にアクセスできるような表示を行う。例えば、図９では、Ｑ２およびＱ３の共通回答としてＡ３が得られて、その共通情報源がある場合は、これを集約したような部分（９０４の点線で囲んだ部分）が表示される。図９では、Ｑ２からＡ３へ至る線とＱ３からＡ３へ至る線とが重なって表示されている。
【００６０】
一方、共通情報源が無い場合は、Ｑ２、Ｑ３の共通回答Ａ４のように、別々の関係だけが表示される。図９では、Ｑ２からＡ４へ至る線とＱ３からＡ４へ至る線とが重なることなく表示されている。
このように表示すれば、共通情報源があるかどうかがすぐにわかり、またその情報源選択指示も容易に行えるようになる。
【００６１】
この場合に、利用者が９０４に相当する部分を選択し、共通情報源を表示したとする。ただし、この例のように共通回答について共通情報源が一つ（Ｑ２とＱ３の共通情報源だけ）の場合は、共通情報源の選択は必須ではなく、回答部分を選択しても良い。
その後さらに、利用者が、「他の質問候補を得たい」という指示を与えることで、Ｑ２、Ｑ３からＡ３を回答する場合の共通情報源から、他の質問に相当する情報を抽出し、９０１に当該情報を提示する。
【００６２】
図１０はそのような表示の一例である。すなわち、Ｑ２、Ｑ３に相当するような情報をＡ３から抽出し、Ｒ１、Ｒ２（１００１）のようにユーザに提示する。
なお、この例では、本実施形態の機能が、回答と共通情報源から質問を得るという、質問から回答を得る一般的な質問応答の逆を実施することを直感的にユーザが指示するために、表示を反転するような操作をユーザが行ったことをトリガとしている。
なお、矛盾がないことが確認できた場合は、Ｑ候補（Ｒ１やＲ２）をそれぞれユーザが選択することで、さらに反転した場合に、一連の質問の続きＱ４、Ｑ５として、さらに記録し、処理を継続するようにしても良い。
なお、Ｑ候補を得る操作は、表示の反転に限るものではなく、ボタンを設けたり、音声コマンドなどで指示を受けたり、利用者が本機能の呼び出しを指示できればいずれの方法でも構わないことは言うまでもない。
【００６３】
図１０を用いてさらに補足する。例えば、Ｑ１〜Ｑ３はそれぞれなんらかの症状（例えば、熱がある、咳が出る、鼻水が止まらない、など）、そしてＡ１〜Ａ４はそれらの症状から疑われる疾患であるとする。Ｑ２およびＱ３から疾患Ａ３が疑われるが、疾患Ａ３であると診断を下すためにはＱ２およびＱ３の症状以外に確認すべき事項（Ｒ１，Ｒ２）があると、共通情報源に記載されている。このような場合に、共通情報源（共通の提示エビデンス）を提示し、提示エビデンスに矛盾の無い質問（Ｒ１，Ｒ２）で、過去の選択回答の質問（Ｑ１〜Ｑ３）に合致しない（重複しない）ものを抽出してさらに提示する。
【００６４】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６５】
２０１  質問取得部
２０２  質問応答部
２０３  判定部
２０４  質問−回答−エビデンス管理部
２０５  回答選択部
２０６  記録部
２０７  決定部
２０８  提示部
【図１】
2017037372.tif 000003
【図２】
2017037372.tif 000004
【図３】
2017037372.tif 000005
【図４】
2017037372.tif 000006
【図５】
2017037372.tif 000007
【図６】
2017037372.tif 000008
【図７】
2017037372.tif 000009
【図８】
2017037372.tif 000010
【図９】
2017037372.tif 000011
【図１０】
2017037372.tif 000012
【図１１】
2017037372.tif 000013