(57)【要約】【課題】人同士が自然言語を使って会話をする場面で、両者とも他方の言語を話せず、聞き取れない場合であっても、両者間の円滑な会話を成立させるための支援を行う。【解決手段】利用者と他者との間の会話を支援する会話支援装置であって、利用者による第１言語の自然言語文を含む原言語表現を入力する原言語表現入力部１０１と、原言語表現を第２言語による別表現に変換する原言語変換部１０２と、別表現に対して他者が回答を行うための回答画面を生成する回答画面生成部１０３と、原言語表現と別表現及び回答画面を同一画面上に表示する表示部１０４を有する。【選択図】      図１
2005222316.tif 000002
【特許請求の範囲】
【請求項１】
利用者と他者との間の会話を支援する会話支援装置であって、
利用者による第１言語の自然言語文を含む原言語表現を入力する原言語表現入力部と、
前記原言語表現を第２言語による別表現に変換する変換部と、
前記別表現に対して他者が回答を行うための回答画面を生成する回答画面生成部と、
前記原言語表現と別表現及び回答画面を同一画面上に表示する表示部とを具備する会話支援装置。
【請求項２】
利用者と他者との間の会話を支援する会話支援装置であって、
利用者による第１言語の自然言語文を含む原言語表現を入力する原言語表現入力部と、
前記原言語表現を第２言語による別表現集合に変換する変換部と、
利用者が前記別表現集合から一つの別表現を選択するための選択画面を生成する選択画面生成部と、
利用者により選択された別表現に対して他者が回答を行うための回答画面を生成する回答画面生成部と、
前記原言語表現と選択された別表現及び回答画面を同一画面上に表示する表示部とを具備する会話支援装置。
【請求項３】
前記原言語表現入力部は、音声入力部、キーボード入力部及び手書き文字入力部の少なくとも一つを含む請求項１または２に記載の会話支援装置。
【請求項４】
前記変換部は、前記原言語表現を他者により指定された第２言語の別表現または別表現の集合に変換する請求項１または２に記載の会話支援装置。
【請求項５】
前記回答画面生成部は、前記原言語表現の文型に応じて前記回答画面を変更する請求項１または２に記載の会話支援装置。
【請求項６】
前記別表現を前記第２言語の発音規則に従って発音される音声として出力する別表現音声出力部をさらに具備する請求項１または２に記載の会話支援装置。
【請求項７】
前記別表現を前記第２言語の点字による表現規則に従って生成される点字として出力する点字出力部をさらに具備する請求項１または２記載の会話支援装置。
【請求項８】
前記表示部による表示内容及び前記音声出力部による音声出力の少なくとも一方を他者が使用する別の会話支援装置に送信する送信部をさらに具備する請求項１、２または５のいずれか１項に記載の会話支援装置。
【請求項９】
前記回答画面生成部は、（ａ）会話支援装置の使用、（ｂ）利用者と他者間の会話の記録保存及び（ｃ）他者の個人情報の保護、の少なくとも一つに対して他者が同意するまたはしない意思を表明するための表示を含ませて前記回答画面を生成する請求項１または２に記載の会話支援装置。
【請求項１０】
前記別表現に利用者の意図に沿わない表現が含まれる可能性がある旨を利用者に提示する提示部をさらに具備する請求項１または２に記載の会話支援装置。
【請求項１１】
前記回答画面生成部は、前記別表現が前記第１言語において肯定または否定のいずれかによって回答可能な質問文である場合には、前記回答画面として肯定または否定の意味を表す、前記第１言語及び第２言語により表現される絵、文字列、記号列または点字による回答用情報を生成する請求項１または２に記載の会話支援装置。
【請求項１２】
前記回答用情報に対して他者が選択した回答を前記第２言語の規則に従った音声として出力する回答音声出力部をさらに具備する請求項１１に記載の会話支援装置。
【請求項１３】
前記回答画面生成部は、前記別表現が前記第１言語により事物の存在位置を指示することによって回答可能な質問文である場合には、前記回答画面として事物の場所を記述または指示するための地図あるいは事物の場所を記入するための空白領域を生成する請求項１または２に会話支援装置。
【請求項１４】
利用者の現在位置の情報を取得可能な位置情報取得部をさらに具備し、前記回答画面生成部は前記事物の種類または利用者の現在位置に応じて前記地図を変化させる請求項１３に記載の会話支援装置。
【請求項１５】
前記回答画面生成部は、前記事物が日常提供するサービスが事物の存在位置に拘わらず均質であるならば、前記地図として利用者の現在位置を画面の中心とする地図を生成する請求項１４に記載の会話支援装置。
【請求項１６】
前記回答画面生成部は、前記別表現が数値によって回答可能な質問文である場合に、前記回答画面として数値の記述または数値の入力を促す情報を生成する請求項１または２に会話支援装置。
【請求項１７】
前記回答画面生成部は、前記回答画面として数値、演算子または通貨単位の記述または入力を促す情報と、入力された数値、演算子または通貨単位を前記第１言語の体系により解釈して演算した結果の情報を生成する請求項１または２に記載の会話支援装置。
【請求項１８】
前記回答画面生成部は、前記別表現が前記第１言語において選択肢から少なくとも一つの要素を選択することによって回答可能な質問文である場合に、前記回答画面として選択肢を第１言語及び第２言語によって表現した情報を生成する請求項１または２に記載の会話支援装置。
【請求項１９】
前記第２言語によって表現した情報から選択された要素を前記第２言語の規則に従って発音した音声を出力する回答音声出力部をさらに具備する請求項１８に記載の会話支援装置。
【請求項２０】
前記回答画面生成部は、前記別表現が前記第１言語において時刻を表現することによって回答可能な質問文である場合には、前記回答画面として時刻の入力を促す領域を生成する請求項１または２に記載の会話支援装置。
【請求項２１】
前記回答画面生成部は、前記別表現が前記第１言語において開始時刻と終了時刻で表される時間を表現することによって回答可能な質問文である場合には、前記回答画面として開始時刻と終了時刻の入力を促す領域を生成する請求項１または２に会話支援装置。
【請求項２２】
前記回答画面生成部は、前記別表現が前記第１言語において人の名前を表現することによって回答可能な質問文である場合には、前記回答画面として自由に入力が可能な空白領域を生成する請求項１または２に記載の会話支援装置。
【請求項２３】
前記回答画面生成部は、前記別表現が前記第１言語において要求の意図を表現したものである場合には、前記回答画面として前記要求の充足可否または自由記述による入力が可能な空白領域を生成する請求項１または２に記載の会話支援装置。
【請求項２４】
前記回答画面生成部は、前記別表現が前記第１言語において質問あるいは要求の意図のいずれを表現したものでもない場合には、前記回答画面として自由記述による入力が可能な空白領域を生成する請求項１または２に記載の会話支援装置。
【請求項２５】
請求項１乃至２４のいずれか１項に記載の複数の会話支援装置が相互接続され、各々の会話支援装置の利用者間での会議を支援する会議支援システム。
【請求項２６】
請求項１乃至２４のいずれか１項に記載の複数の会話支援装置を含み、利用者が前記第１言語を用いて前記第２言語を母国語とする他者に対して質問し、その回答を得ることにより達成される受付業務を支援する受付業務支援システム。
【請求項２７】
利用者と他者との間の会話を支援するプログラムであって、
利用者による第１言語の自然言語文を含む原言語表現を入力する処理と、
前記原言語表現を第２言語による別表現に変換する処理と、
前記別表現に対して他者が回答を行うための回答画面を生成する処理と、
前記原言語表現と別表現及び回答画面を同一画面上に表示させる処理とをコンピュータに行わせるための会話支援プログラム。
【請求項２８】
利用者と他者との間の会話を支援するためのプログラムであって、
利用者による第１言語の自然言語文を含む原言語表現を入力する処理と、
前記原言語表現を第２言語による別表現集合に変換する処理と、
利用者が前記別表現集合から一つの別表現を選択するための選択画面を生成する処理と、
利用者により選択された別表現に対して他者が回答を行うための回答画面を生成する処理と、
前記原言語表現と選択された別表現及び回答画面を同一画面上に表示させる処理とをコンピュータに行わせるための会話支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人同士の会話を主体とする会話を支援する会話支援装置とこれを用いた会議支援システム、受付業務支援システム及び会話支援プログラムに関する。
【背景技術】
【０００２】
人同士が自然言語を使って会話をする場面で、両者とも相手の言語を話せず、聞き取れない場合に、両者間の情報伝達を支援するための提案が種々なされている。例えば、非特許文献１には利用者が発生した音声の音声認識結果から他言語の翻訳文を生成し、その結果を表示して利用者に選択させ、選択された単語や文を音声合成によって音声として再生する携帯型音声翻訳端末が開示されている。
【０００３】
一方、特許文献２には音声として入力された言語Ａを共通言語Ｃに翻訳してその翻訳結果を音声翻訳機に送信し、音声翻訳機から送信されてくる、言語Ｂを共通言語Ｃに翻訳した結果を受信して言語Ａに翻訳する双方向の翻訳システムが開示されている。
【０００４】
さらに、特許文献３には原言語文に対する目的言語文に基づいて、表現の追加・変更を行った原言語によるユーザ確認用原言語文、状況説明文・画像・音声、及び原言語文に対する翻訳結果の候補に適用する適用制約など、原言語文と目的語文に関連する対訳情報をデータベース化しておき、この対訳情報を用いて原言語文を目的言語文に翻訳する翻訳処理技術が記載されている。具体的には、例えば「すみません」という原言語文はお礼の意味で使う場合と謝罪の意味で使う場合があるが、翻訳機は対訳情報を参照することによりその意味を把握し、原言語文が例えば前者の意味であれば“You are welcome”という応答文を予測して生成すると共に、その意味である「どういたしまして」を予測して提示することができる。
【特許文献１】特開平１０−３２０３９７号公報
【特許文献２】特開平９−３４８９５号公報
【特許文献３】特開２０００−２４２６４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１−３の技術では、会話を行う両者共に他方の言語を話すことができず、聞き取ることもきない場合には、円滑な会話を進めることは期待できない。具体例として、話者Ａは日本語のみを理解できて英語は話すことも聞き取ることもできず、話者Ｂは言語についてその逆である場合を考える。
【０００６】
話者Ａが特許文献１に記載の「音声翻訳端末」を用いて話者Ｂに話し掛けるとすれば、話者Ａはまず音声翻訳端末に日本語を入力する。日本語が英語に変換されて出力され、それを話者Ｂに提示することで話者Ａの意図は話者Ｂに伝わる。しかし、それに対して話者Ｂが回答した場合、話者Ａはそれを聞き取ることができないので、会話はその時点で成立しなくなる。
【０００７】
次に、話者Ａが特許文献２に挙げられるような「双方向の自動翻訳技術」を用いて話者Ｂに話し掛けるとすれば、話者Ａと話者Ｂが交互に翻訳機に対して発話を入力することになる。しかし、例えば話者Ａと話者Ｂが全く面識の無い異国人どうしである場合、突然に話者Ａからマイクやキーボード、ペンなどの入力機器の使用を求められた話者Ｂは驚いてしまい、冷静な入力を期待できなくなる。また、会話の開始には機器の詳細な使用説明が必要となるが、初対面の人に対して機器の使用説明を行うことは一般に困難である。
【０００８】
一方、特許文献３は話者Ａが話者Ｂに対して話者が確認した正しい翻訳結果を伝えることができるが、話者Ｂからの回答を話者Ａを聞き取ることはできず、特許文献１に記載の技術と同様の問題がある。
【０００９】
このように従来の技術では、利用者の意志を他者に伝えることを支援することはできるが、両者で効率的に意志を伝え合わなければ成立しない会話を支援する能力は不十分である。さらに、初対面の人と会話しなければならない海外旅行者は、単に相手に話し掛けるだけではなく、友好的に会話を始める必要があるが、このような要求に対しても従来の技術では十分に応えることは難しい。
【００１０】
本発明の目的は、人同士が自然言語を使って会話をする場面で、両者とも他方の言語を話せず、聞き取れない場合であっても両者による円滑な会話を可能とする会話支援装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点によると、利用者と他者との間の会話を支援する会話支援装置であって、利用者による第１言語の自然言語文を含む原言語表現を入力する原言語表現入力部と、前記原言語表現を第２言語による別表現に変換する変換部と、前記別表現に対して他者が回答を行うための回答画面を生成する回答画面生成部と、前記原言語表現と別表現及び回答画面を同一画面上に表示する表示部とを具備する会話支援装置を提供する。
【００１２】
本発明の第２の観点によると、利用者と他者との間の会話を支援する会話支援装置であって、利用者による第１言語の自然言語文を含む原言語表現を入力する原言語表現入力部と、前記原言語表現を第２言語による別表現集合に変換する変換部と、利用者が前記別表現集合から一つの別表現を選択するための選択画面を生成する選択画面生成部と、利用者により選択された別表現に対して他者が回答を行うための回答画面を生成する回答画面生成部と、前記原言語表現と選択された別表現及び回答画面を同一画面上に表示する表示部とを具備する会話支援装置を提供する。
【００１３】
本発明の第３の観点によると、複数の会話支援装置が相互接続され、各々の会話支援装置の利用者間での会議を支援する会議支援システムを提供する。
【００１４】
本発明の第４の観点によると、複数の会話支援装置を含み、利用者が前記第１言語を用いて前記第２言語を母国語とする他者に対して質問し、その回答を得ることにより達成される受付業務を支援する受付業務支援システムを提供する。
【００１５】
本発明の第５の観点によると、利用者と他者との間の会話を支援するプログラムであって、利用者による第１言語の自然言語文を含む原言語表現を入力する処理と、前記原言語表現を第２言語による別表現に変換する処理と、前記別表現に対して他者が回答を行うための回答画面を生成する処理と、前記原言語表現と別表現及び回答画面を同一画面上に表示させる処理とをコンピュータに行わせるための会話支援プログラムを提供する。
【００１６】
本発明の第６の観点によると、利用者と他者との間の会話を支援するためのプログラムであって、利用者による第１言語の自然言語文を含む原言語表現を入力する処理と、前記原言語表現を第２言語による別表現集合に変換する処理と、利用者が前記別表現集合から一つの別表現を選択するための選択画面を生成する処理と、利用者により選択された別表現に対して他者が回答を行うための回答画面を生成する処理と、前記原言語表現と選択された別表現及び回答画面を同一画面上に表示させる処理とをコンピュータに行わせるための会話支援プログラムを提供する。
【発明の効果】
【００１７】
本発明によれば、人同士が自然言語を使って会話をする場面で、両者とも他方の言語を話せず聞き取れない場合であっても、双方で効率的に意志を伝え合うことで円滑な会話を成立させることが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の幾つかの実施形態について説明する。以降説明する全ての実施形態を通じて、会話支援装置を利用する利用者（以下、単に利用者という）は日本語のみ理解と発話が可能であり、他者は英語のみ理解と発話が可能であると仮定して説明を行う。
【００１９】
［第１の実施形態］  
図１に示されるように、本発明の第１の実施形態に従う会話支援装置は、原言語表現入力部１０１、原言語変換部１０２、回答画面生成部１０３、表示部１０４、変換知識データベース１０５及び表示知識データベース１０６を有する。
【００２０】
原言語表現入力部１０１を用いて、利用者により自然言語文または自然言語文の一部分を含む原言語表現が入力される。原言語表現入力部１０１の入力方式としては、キーボードによる文字入力、マイクロフォンによる音声入力、ペン、ジェスチャ及び絵や記号表記など、種々の方式を利用することができ、特に限定されない。
【００２１】
原言語変換部１０２は、原言語表現入力部１０１により入力される原言語表現を変換知識データベース１０５を適宜参照して別表現、例えば（ａ）同じ原言語で異なる表現または（ｂ）原言語と異なる言語による表現のいずれかに変換して回答画面生成部１０３へ出力する。
【００２２】
回答画面生成部１０３は、原言語変換部１０２から出力される別表現が表す意図を判別し、それを利用者によって提示された他者（第三者）が別表現に対して回答を行うための回答画面を生成する。この際、回答画面生成部１０３は表示知識データベース１０６から適切な表示知識を選択して用いる。回答画面生成部１０３は、原言語表現、別表現及び回答画面からなる会話促進画面の情報を表示部１０４に出力し、表示部１０４は原言語表現、別表現及び回答画面を同一画面上に同時に会話促進画面として表示する。
【００２３】
次に、本実施形態に従う会話支援装置を多言語間の会話支援に適用した例について説明する。  
初めに、利用者が原言語表現入力部１０１により原言語表現として「デパートはどこですか？」という日本語文を入力したとする。入力された日本語文は、原言語変換部１０２により別表現に変換される。変換の方式は様々あるが、原言語あるいはその一部を検索鍵として対応する別表現を検索できる方式であれば十分である。本実施形態の場合、原言語変換部１０２は原言語表現を検索鍵にして変換知識データベース１０５を検索する。変換知識データベース１０５は、図２に一例が示されるように原言語表現に対応する基本表現と別表現が対応付けられて記憶装置に記憶されている。この例では、基本表現は日本語文であり、別表現は英語文である。各々の基本表現と別表現とのペアには、ＩＤが付与されている。
【００２４】
図３を用いて原言語変換部１０２が変換知識データベース１０５を検索する手順を説明すると、まずステップＳ３０１を介してステップＳ３０２によりデータベース１０５から未処理のレコードを取り出す。初期状態では図２のデータベース１０５において全てのレコードは未処理であり、最初にＩＤ＝１であるレコードが選択される。次に、選択されたレコードについて原言語表現とレコード中の基本表現の類似性（類似度）を比較し、類似性が閾値を超えるか否かを判定する（ステップＳ３０３）。
【００２５】
文の類似性を判定するために、例えば図４に示す手順を用いる。ステップＳ４０１において、まず両者が同じ文型に所属するか否かを判定する。ＩＤ＝１の基本表現及び別表現は、いすれも疑問詞「どこ」を表現に含む疑問文であり、場所を質問する同じ文型であると判定されるので、ステップＳ４０２において類似性が「３」増える。同様に、ＩＤ＝１の基本表現及び別表現は、同じ自立語（デパート、どこ）と付属語（は、です、か）を含むので、ステップＳ４０４とステップＳ４０６で類似性がそれぞれ加算される。結果としてＩＤ＝１の基本表現は、原原語表現に対する類似性が「９」であると判定される。
【００２６】
図３の手順に戻って、ステップＳ３０３における類似性判別の閾値を「２」であるとする。ＩＤ＝１の文の類似性「９」は閾値を超えるので、ステップＳ３０４において原言語と類似の別表現の集合である類似表現リストへの追加を試みる。ＩＤ＝１の表現は最初の処理対象であり、類似表現リストの要素数は現在０なので、別表現リストにＩＤ＝１の別表現が追加される（ステップＳ３０５）。
【００２７】
同様にＩＤ＝２からＩＤ＝５までのレコードについても、同様の処理が繰り返し行われる。ＩＤ＝１のレコードは、基本表現がステップＳ４０１，Ｓ４０３，Ｓ４０５の全ての条件に合致するので類似性は「９」となる。ＩＤ＝２とＩＤ＝３のレコードについては、ステップＳ４０５の付属語の一致条件のみ合致するので類似性は「３」となる。ＩＤ＝４とＩＤ＝５のレコードについては、類似性が「０」である。ステップＳ３０３における類似性判別の閾値が“２”であるため、ＩＤ＝４とＩＤ＝５のレコードは削除され（ステップ３０６）、最終的に図５のような別表現リストが生成される。ステップＳＳ３０４においては別表現リストの要素数が閾値より小さいか否かを判定しているが、本実施形態では閾値を“４”としている。
【００２８】
原言語変換部１０２により生成された別表現リストは、回答画面生成部１０３に出力される。回答画面生成部１０３は、別表現リストから最も類似性の高いＩＤ＝１の文を選択する。次に、回答画面生成部１０３は図６に示す文型判別ルールを用いて、ＩＤ＝１の別表現がどの文型に所属するかを判別する。この例では疑問詞「どこ」が含まれる疑問文であるため、文型は“Where”であると判別する。
【００２９】
次に、回答画面生成部１０３は判別した文型に基づいて回答画面を表示知識データベース１０６から選択する。表示知識データベース１０６には、図７に示されるように文型と回答画面のタイプ（回答型）とが対応付けられた回答型テーブルが格納されている。回答画面生成部１０３は、図７の回答型テーブルを参照して、判別した文型に対応する回答型の回答画面を選択する。例えば、文型がWhere型の場合、回答型は地図であるため、回答画面生成部１０３は地図を選択する。
【００３０】
図４では、原言語表現と変換知識データベース１０５中のレコードの基本表現との類似性判定における各判定基準の重みを均等としたが、重みのつけ方や判定基準は、ここに開示した例に限定されるものではなく、回答画面生成部１０３が適切な回答型を一意に選択できるだけの情報を出力できる方式及びデータベース形式であればよい。また、原言語表現と回答型の対応付けに図７のような回答型テーブルを用いることは必ずしも必要でなく、原言語表現に対して回答型を一意に決定できれば、このようなテーブルを用いなくとも構わない。
【００３１】
最後に、回答画面生成部１０３は原言語表現、別表現及び回答画面を全て一緒に表示するための会話促進画面情報を合成し、これを表示部１０４に出力する。これにより表示部１０４では、例えば図８に示すような会話促進画面が表示される。図８は、Where型に対して地図が選択された場合の例であり、「デパートはどこですか」という原言語表現と、“Where is a department store?”という別表現及び当該デパートが含まれる回答画面である地図が表示される。
【００３２】
図８に示す会話促進画面では、原言語表現や別表現を言語の形式で表示したが、絵や記号による表現、点字あるいは音声による出力も可能である。会話促進画面上で表示される別表現に対して、利用者がその読み方を知ることができるような表記を付与してもよい。例えば、利用者が日本人である場合、表示知識データベース１０６に別表現と共にその読みをカタカナで記述したものを“Where is a department store”（読み：ウェアイズアデパートメントストア）」のように付与しておくことにしてもよい。
【００３３】
表示部１０４上の会話促進画面を見る他者は、会話促進画面内の別表現から利用者がデパートの位置を知りたい意図を持っていることを知ることができる。さらに、他者は会話促進画面に地図が表示されているのを見て、デパートの位置を地図上で答えればよいことを理解し、地図上を指やペンなどで指し示すなどすることにより、言葉に頼らず利用者に場所を伝えることができる。
【００３４】
このように本実施形態によると、互いの母国語を話すことも理解もできない利用者と他者との間でも、容易に円滑な会話を成立させることが可能となる。
【００３５】
［第２の実施形態］  
本発明の第２の実施形態に従う会話支援装置は、図９に示されるように原言語表現入力部９０１、原言語変換部９０２、システム状態管理部９０３、ユーザ選択入力部９０４、回答画面生成部９０５、表示部９０６、変換知識データベース９０７、表示知識データベース９０８及び原言語中間表現選択画面生成部９０９を有する。
【００３６】
原言語表現入力部９０１は、第１の実施形態と同様に、利用者が自然言語文または自然言語文の一部分を含む表現である原言語表現を入力するために用いられる。原言語変換部９０２は、変換知識データベース９０７を参照して原言語表現を別表現、例えば原言語と類似した表現の集合である原言語中間表現集合に変換して出力する。システム状態管理部９０３は、原言語変換部９０２から中間表現集合を受理した場合には、それを原言語中間表現選択画面生成部９０９に出力する。原言語中間表現選択画面生成部９０９は、利用者に対して中間表現集合のうち１つを選択させるか、またはさらなる音声入力を促す画面を生成し、この画面の情報を表示部９０６に出力する。
【００３７】
本実施形態に従う会話支援装置は、ユーザによる次の二通りの入力に対応する。第１の入力は、ユーザ選択入力部９０４からの中間表現集合から一つを選択する入力である。第２の入力は、原言語表現入力部９０１からの新たな原言語表現の入力である。第１の入力があった場合、システム状態管理部９０３は選択された中間表現を回答画面生成部９０６に出力し、回答画面生成部９０６は第１の実施形態における回答画面生成部１０３と同様に、対応する別表現と回答画面を合わせた会話促進画面を生成する。
【００３８】
第２の入力があった場合、その入力に対応して原言語変換部９０２から出力された中間表現集合について新規に原言語中間表現選択画面を表示するように原言語中間表現選択画面生成部９０９を動作させる。その結果、表示部９０６には中間表現の選択または新たな音声入力を促すような画面が表示される。
【００３９】
（第１の具体例）  
次に、図１０及び図１１を参照して本実施形態に従う会話支援装置の具体的な動作例を説明する。まず、原言語表現入力部９０１が原言語表現の音声入力を受理し（ステップＳ１００１）、例えば音声認識を行って認識結果を原言語中間表現選択画面生成部９０９に出力する。原言語中間表現選択画面生成部９０９は、変換知識データベース９０７を検索して原言語表現と類似の基本表現を持つレコードを抽出し、原言語を中間言語に変換する（ステップＳ１００２）。図１１に、変換知識データベース９０７の例を示す。検索手順としては図３の手順を用い、類似度の判定手順としては図４の手順を用いる。
【００４０】
第１の実施形態と同様に図１１の変換知識データベース９０７を検索した結果、各レコードに類似度が与えられ、中間表現集合は例えば図１２のようになる。ここで、図１２は利用者が「それはいくらですか？」という原言語表現を音声で入力した場合の中間表現集合の例である。
【００４１】
原言語中間表現選択画面生成部９０９は、図１２の中間表現集合と原言語表現を合わせて、利用者の意図に最も近い表現の選択を利用者に促す選択画面の情報を生成する。この選択画面情報に従って、表示部９０６は例えば図１３に示されるように、利用者の音声入力の認識結果として原言語表現である「それはいくらですか」という表示１３０３と、表示１３０３の下に並べられた他の中間表現集合要素の表示１３０４を含む選択画面を表示する（ステップＳ１００３）。この際、中間表現集合要素表示１３０４のうちの１つ（この例では、「これしいくらですか？」）を表示色を変えることによって強調表示して選択を促すことが望ましい。ここでは、中間表現集合要素の最大要素数を３としているが、利用者と他者による視認や選択が妨げられない程度であれば、要素数を増減することも可能である。
【００４２】
ステップＳ１００１〜Ｓ１００３の処理は、ステップＳ１００４で新たな原言語表現が入力される毎に繰り返し行われる。新たな原言語表現が入力されない場合は、次のステップＳ１００５で中間表現の要素が選択されたかどうかを調べ、選択されなければステップＳ１００４に戻り、選択されれば次のステップＳ１００６に移る。
【００４３】
図１３の原言語中間表現選択画面を構成する各要素、すなわちマイクやスピーカの絵を描いたボタン１３０１，１３０２及び中間表現集合表示１３０４のそれぞれは、画面上で押すことで実行または選択が可能である。例えば、マイクの絵を描いたボタン１３０１を押すことによって、利用者は新たな音声入力を始めることができる。また、個々の中間表現集合表示１３０４の枠内を押すことで、中間表現の選択を変更することができる。さらに、スピーカの絵を描いたボタン１３０２を押すことによっても、選択された中間表現を用いて後段の処理を進めることができる。
【００４４】
すなわち、図１３において図９におけるユーザ選択入力部９０４に対応するのがスピーカの絵を描いたボタン１３０２と中間表現集合表示１３０４であり、原言語表現入力部９０１の一部に対応するのがマイクの絵を描いたボタン１３０１である。このように表示された画面要素をそのままボタンとして利用することは、例えば表示部９０６をタブレットＰＣの画面とすることによって実現可能である。タブレットＰＣ及びその画面の例については、例えばRob Jarrett, Philip Su, ”Building Tablet PC Applications”, Microsoft Corporation, 2003, ISBN:0-7356-1723-6（参考文献１）に開示されている。
【００４５】
ユーザ選択入力部９０４は、基本的にタブレットＰＣ以外のどのような入力装置であってもよく、また入力を受理する部分が画面と別であってもよい。手入力に代替する入力装置としては、例えばペンやマウスが考えられる。キーボードやゲーム機の操作装置、あるいは利用者の動作をカメラなどで撮像して利用するような入力装置も利用可能である。
【００４６】
次に、図１３の原言語中間表現選択画面が表示されている状態で、中間表現集合のうち最上段の要素である「これはいくらですか？」が選択され、かつスピーカの絵を描いたボタン１２０２を利用者が押したとする。図９のシステム状態管理部９０３は、変換知識データベース９０７のうち選択された基本表現を持つレコード（図１２のＩＤ＝３）を参照し、それを回答画面生成部９０５に出力する。回答画面生成部９０５は、図６に示した手順に従って文型を判別し、さらに表示知識データベース９０８に含まれる図７の回答型テーブルを参照して中間表現の回答型を判定する（ステップＳ１００６）。この場合、文型の判別結果として“How much”が得られ、中間表現の回答型は電卓型と判定される。
【００４７】
次に、回答画面生成部９０５は表示知識データベース９０８を参照することにより、ステップＳ１００６で判定された中間表現の回答型に対応する回答画面を判定する（ステップＳ１００７）。一方、原言語変換部９０２はステップＳ１００６で判定された中間表現に対応する別表現を変換知識データベース９０７から検索する（ステップＳ１００８）。さらに、回答画面生成部９０５はステップＳ１００６で判定された回答型に対応する会話促進画面のテンプレートを選択する（ステップＳ１００９）。
【００４８】
この結果、回答画面生成部９０５で電卓型の回答画面、利用者が選択した中間表現を含むデータベースレコードを図１４のように合成し（ステップＳ１０１０）、これを表示部９０６により表示可能な形式にして出力する。図１４に示されるように、会話促進画面には原言語表現１４０４、別表現１４０３及び回答画面１４０５が表示される（ステップＳ１０１１）。
【００４９】
回答画面１４０５については、空欄に自由記述にて数値や文字を書き込むことも電卓の各ボタン表示を押すことによって、数値入力や計算をすることも可能である。また、“About”というボタンを押すことによって、表示数値にはある程度の幅があるという意思表示も可能である。また、ここでは回答画面１４０５として数値に関する会話を支援するために電卓を表示したが、自由記述欄のみを表示して利用者と他者双方が自由記述することによって会話を支援することも可能である。逆に電卓のみを表示して、電卓だけを用いて会話を支援することも可能である。
【００５０】
また、図１３の画面が表示されている状態、あるいは図１４の画面が表示されている状態で、マイクの絵を描いたボタン１３０１または１４０１を押した場合には、利用者の音声入力を再度受け付ける状態になる。ボタンを押した状態のいずれであっても、「それはいくらですか？」という原言語表現を再び入力すれば、図９の原言語変換部９０２は本実施形態の通りに動作し、表示部９０６に図１３の画面が表示される。
【００５１】
なお、本実施形態においては原言語表現入力部９０１として音声入力を用いたが、第１の実施形態と同様に入力方式は何であっても構わない。また、完全な文が入力されなくとも、原言語変換部９０２が受理可能な入力形式（例えばテキスト表現）であればよい。音声入力の方式や音声信号から文字列表現に変換する技術は、例えばHuedong Huang, Alex Acero, Hsiao-wuen Hon, “Spoken Language Processing”, Prentice Hall PTR, ISBN 0-13-022616-5（参考文献２）をはじめ様々な方式が開示されており、各種の方式を用いて入力することでも本実施形態の通りの動作を得ることは可能である。
【００５２】
また、本実施形態においては、マイクの絵を描いたボタン１４０１を押すことによって音声入力の開始をシステムに通知したが、音声入力開始を通知するボタンを押さない方式も可能である。音声認識の性能を高めるために、音声入力を継続する間ボタンを押し続ける方式も適用可能である。これによって、音声入力の始端と終端が正しくシステムに入力され、より正確な原言語の認識を期待できる。
【００５３】
さらに、表示部９０６はコンピュータのディスプレイに限られず、例えば会話促進画面を点字プリンタに出力したり、動的に点字表示を変更可能な点字ディスプレイに出力したりすることも可能である。これによって、他者の言語が利用者と異なるうえに目が不自由な場合であっても、会話を支援することが可能となる。
【００５４】
（第２の具体例）  
次に、図１５〜図１７を新たに参照して第２の実施形態に関する第２の具体例を説明する。第１の具体例と同様に、原言語入力部９０１の入力は音声によって行われるものとする。図１５（ａ）（ｂ）は、表示部９０６で表示される初期画面の例であり、マイクの絵が描かれたマイクボタン１５０１、スピーカの絵が描かれたスピーカボタン１５０２、別表現選択表示１５０３、性別選択ボタン１５０４、別表現選択ボタン１５０５及び画面の状態を元に戻すためのボタン１５０６を有する。
【００５５】
まず、マイクボタン１５０１を押すことにより、利用者は音声入力を開始することができる。性別選択ボタン１５０４を押すことによって、図１５（ａ）または図１５（ｂ）に示されるように利用者が男性であるか女性であるかを会話支援装置に設定することができる。一般に利用者の性別に合わせて音声認識エンジンを切り替えることによって、音声入力の認識率を改善することが可能である。低い認識率では装置利用者が原言語表現を音声入力する場合に入力の誤りやそれに伴う入力のやり直しなど、様々な負担を強いることとなるため、認識率を高める工夫は重要である。
【００５６】
別表現選択ボタン１５０５を押すことによって、他者に提示する別表現や回答画面中の言語を変更する機能を提供することができる。本具体例の会話支援装置は、原言語表現として日本語、別表現として英語と中国語の２ヶ国語を切り替えることが可能である。これらを別表現言語選択表示１５０３のように表示し、他者に見せて他者の母国語を指差しなどで選択させることによって、利用者は英語や中国語が話せなくても他者の母国語を知ることが可能である。
【００５７】
利用者は、他者が選択した他者の母国語に合わせて別表現選択ボタン１５０５を押して別表現言語を切り替えると、原言語変換部９０２は原言語表現を切り替えられた別表現言語の別表現に変換することにより、会話支援装置を適切な別表現言語で利用することができるようになる。別表現言語選択表示１５０３は、この例では別表現の所属する言語（他者の母国語）を文字で表しているが、例えば国旗、母国語を音声で表現したもの、挨拶の言葉などで他者に提示する方式でもよく、会話支援のために好適である。
【００５８】
また、他者が図１５（ａ）（ｂ）の別表現言語選択表示１５０３を選択した場合、好ましくは図１６に示すように、会話支援装置の使用許可を他者に求めるための同意確認文を別表現及び原言語表現で表した画面１６０７及び１６０８を表示する。図１６中の参照符号１６０１〜１６０６は、図１５（ａ）（ｂ）中の参照符号１５０１〜１５０６と同じである。
【００５９】
このように他者に対して会話支援装置の使用許諾（同意）を確認する際に、同意確認文に代えて他者が意思表示するためのボタンや選択肢の表示を行うことも可能である。例えば、「YES」「NO」と描かれたボタンを図１６の画面に加えて表示することにより、他者は利用者の保存行為を許諾するか否かをボタンを押すまたは指示することで簡単に意思を表明できるようになる。
【００６０】
会話支援装置を用いて、例えば旅行先で他者と行った会話を記録保存し、それを後に閲覧することによって、例えば旅行に必要な会話を学習することができる。このような用途に用いる場合、記録保存行為や、利用によって知り得た個人情報の保護を行う旨を他者と会話する前に伝えて同意（許諾）を確認することによって、会話支援装置の二次的利用に伴う著作権や肖像権など各種権利に関連する問題の発生を未然に防ぐことができるようになり、安心して会話支援装置を利用できるようになる。
【００６１】
会話支援装置を利用する利用者、あるいは会話支援装置の表示を見てなんらかの動作を行う他者に向けて各々がとるべき行為の指示は、例えば利用者に対しては利用者の言語（原言語）による表示または音声出力で、他者に対しては他者の言語（別表現言語）による表示または音声出力で行う。例えば図１５（ａ）（ｂ）の画面において、利用者は他者に伝えたい内容を日本語で音声入力すればよい。それを促すために、図１５（ａ）（ｂ）では利用者の母国語である日本語によって「伝えたい内容を日本語でしゃべってください」という表示１５０６を行っている。
【００６２】
許諾確認だけでなく、会話支援装置に性能の限界があることを示すことによって、利用者は会話支援装置の限界をあらかじめ知ることができ、不具合が多少あってもそれに納得して利用することができるようになる。図１７に、性能の限界表示の例を示す。別表現に変換可能な原言語表現が有限であり、変換された別表現が利用者の意図に沿わないものがあることを示す表示１７０３を行うことで、その旨をあらかじめ利用者に伝えることによって、例えば何回入力し直しても変換されない原言語表現があることに利用者は納得ができる。さらに、不具合があった場合には専用ダイヤルに電話してそれを報告すればよい、というように不具合の対処法を利用者に伝えることによって、会話支援装置の性能向上に利用者の協力を得ることが可能となる。図１７中の参照符号１７０１〜１７０６は、図１５（ａ）（ｂ）中の参照符号１５０１〜１５０６と同じである。
【００６３】
（第３の具体例）  
次に、図１８及び図１９を新たに参照して本発明の第２の実施形態に関する第３の具体例について説明する。図９における変換知識データベース９０７の内容は、図１１の通りとする。
【００６４】
入力された原言語表現が「このカードは使えますか？」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７から図１８のように類似度が判定され、ＩＤ＝２のレコードとＩＤ＝５のレコードが抽出される。
【００６５】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝２のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、この選択したレコードの文型が“Yes/No”であると判定する。回答画面生成部９０５は、さらに表示知識データベース９０８内の図７の回答型テーブルを参照して回答型が「Yes/Noボタン」であると判定し、表示知識データベース９０８を検索して図１９のような会話促進画面を生成する。
【００６６】
図１９の会話促進画面には他者に提示する別表現１９０３と、その別表現の元になった基本表現１９０４、及び他者が肯定／否定の意思を表明するための選択肢１９０５が要素として含まれる。図１９の会話促進画面を見た他者は、別表現１９０３を見て利用者の質問意図を知り、選択肢１９０５を見ていずれかを選択することによって利用者に意思表明ができる。また、各々の選択肢には利用者が通常使用する母国語による説明が「はい」「いいえ」と付記されており、他者の利用する言語表記を読めない利用者であっても現在提示している“Yes”，“No”の意味を知ることができる。
【００６７】
また、表示部９０６をタッチパネルとし、肯定／否定の選択肢をソフトウェアボタンとして、他者がそれを押したときに他者の母国語による音声あるいは利用者の母国語による音声によって「イエス」のように音声出力するようにしてもよい。これによって、表示部９０６を読めない他者との会話を成立させることができる。さらに、表示部９０６を点字表示ディスプレイで実現し、点字によって別表現やボタン上のYes/Noを出力すれば、他者が目の不自由な人であっても会話を成立させることが可能となる。
【００６８】
このように第３の具体例によると、他者の言語を理解できない利用者であっても、肯定・否定の意思を確認するような質問を他者に行い、意思確認することが可能となる。さらに、他者が表示された文字を読みにくい場合や、全く読めない場合であっても会話の成立を支援することが可能となる。
【００６９】
（第４の具体例）  
次に、図２０〜図２２を新たに参照して第２の実施形態に関する第４の具体例を説明する。図９における変換知識データベース９０７の内容は、図１１に示した通りとする。
【００７０】
入力された原言語表現が「デパートはどこですか？」だったとすると、図１１に示す変換知識データベース９０７に対して図３の手順で検索が行われ、図４の通りに類似判定が行われると、図１１のデータベースから図２０のように類似度が判定され、ＩＤ＝１のレコードが抽出される。
【００７１】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝１のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、この選択したレコードの文型が“Where”であると判定する。さらに図７の回答型テーブルを参照して回答型が地図であると判定し、表示知識データベース９０８を検索する。
【００７２】
回答型が地図である場合、表示知識データベース９０８の検索の際に図２１のような地図知識判別ルールを参照する。原言語表現にどのような表現が含まれているかによって、表示する地図の種類を変更する。例えば、原言語表現の「デパートはどこですか？」には「デパート」が含まれており、表示する地図は縮尺をある程度無視したような観光地図であると判別される。
【００７３】
観光地図と原言語表現、別表現などを組み合わせて図２２のような会話促進画面を生成する。この会話促進画面には他者に提示する別表現２２０３と、その別表現の元になった基本表現２２０４、及び他者が位置や道順を説明するための地図２２０５が要素として含まれる。この会話促進画面を見た他者は、別表現２２０３を見て利用者の質問意図を知り、地図２２０５を利用することによって利用者に意思表明ができる。
【００７４】
この場合、利用者が現在居る場所を正確に反映した地図を表示することが望ましい。このためには、図９の会話支援装置にＧＰＳ(Global Positioning System)のような位置情報取得装置を付加して利用者の居る位置の緯度経度を測定し、取得した位置情報である緯度経度情報を表示知識データベース９０８中の地図に付与すればよい。これにより、表示知識データベース９０８の検索時に、利用者の居る場所に近い地図を容易に引き出すことができる。
【００７５】
利用者が位置を知りたい施設の種類に応じて地図の中心を変えることによって、利用者の利便を図ることもできる。例えば銀行や郵便局などは、どの店舗を利用しても均質なサービスを期待できるので、特定の店舗を選ばなくても利用者から最も近いものを他者から教われば、所望のサービスを受けることができる。これに対して、例えば観光地の場合には、現在位置にこだわるとそれが表示された地図に収まりきらない場合があるので、表示知識データベース９０８内にある地図で適当なものを画面に収まるように表示することが好ましい。
【００７６】
表示知識データベース９０８内に適切な地図がない場合には、図２２の地図２２０５の代わりに、空白かつ書き込み可能な空白領域を表示してもよい。例えば、会話支援装置を先に示した参考文献１に開示されているようなタブレットＰＣで実現し、表示部９０６をペンタブレットとして、空白領域をペンでの自由記述受理可能なものにすればよい。
【００７７】
ここでは、地図の種類として観光地図や普通地図を地図の例として挙げたが、デパートなどで各階毎の売り場の配置を描いたフロアマップ、実際に存在しないがコンピューターゲームなどで用いられる仮想的な地図、あるいは会議資料として配布された紙の上で話題になっている部分を指し示す場合など、利用者が探している事物の位置を説明するために好適なものであれば、それらを地図として利用することができる。
【００７８】
このように第４の具体例によると、他者の言語を理解できない利用者であっても、事物の位置を確認するような質問を他者に行い、意思確認することが可能となる。
【００７９】
（第５の具体例）  
次に、図２３〜図２５を新たに参照して本発明の第２の実施形態に関する第５の具体例について説明する。図９における変換知識データベース９０７の内容は、図１１の通りとする。
【００８０】
入力された原言語表現が「どのクレジットカードが使えますか？」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７から図２３のように類似度が判定され、ＩＤ＝５のレコードが抽出される。
【００８１】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝５のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、このレコードの文型が“Which”であると判定する。さらに図７の回答型テーブルを参照して、回答型が選択肢であると判定し、表示知識データベース９０８を検索する。
【００８２】
回答型が選択肢である場合、表示知識データベース検索の際に図２４のような選択肢表示知識判別ルールを参照する。原言語表現にどのような表現が含まれているかによって、表示する地図の種類を変更する。ここで、「どのクレジットカードが使えますか？」には「クレジットカード」が含まれており、表示する選択肢はVISA, MASTER, JCB, AMEXであると判別される。
選択肢と原言語表現、別表現などを組み合わせて図２５のような会話促進画面を生成する。会話促進画面には他者に提示する別表現２５０３と、その別表現の元になった基本表現２５０４、及び他者に選択してもらうための選択肢２５０５が要素として含まれる。図２５の会話促進画面を見た他者は、別表現２５０３を見て利用者の質問意図を知り、選択肢２５０５を指示することによって利用者に意思表明ができる。
【００８３】
図２５のように各々の選択肢に対して、利用者の母国語による説明を付記することも可能である。例えば、図２４の選択肢表示知識判別ルール中、then以降にある選択肢のリストに、次のように原言語による読みの情報を付与すれば実現できる。  
表示選択肢＝［VISA（ビザ），MASTER（マスター），JCB（ジェーシービー），AMEX（アメックス）］
また、他者が選択した選択肢について、それを原言語または別表現の所属する言語の規則に基づいて発音した音声を出力することも可能である。ユーザ選択入力部９０４を利用して他者による選択入力を受理し、選択肢に応じた音声を表示知識データベース９０８から抽出すればよい。現在居る場所を正確に反映した地図を表示するためには、第４の具体例で述べたように図９の会話支援装置にＧＰＳのような位置情報取得装置を付加して利用者の居る位置の緯度経度を測定し、取得した緯度経度情報を表示知識データベース９０８中の地図に付与することにより、表示知識データベース９０８の検索時に利用者の居る場所に近い地図を容易に引き出すことができる。
【００８４】
表示知識データベース９０８に適切な選択肢がない場合には、図２５の選択肢２５０５の代わりに空白かつ書き込み可能な空白領域を表示してもよい。例えば、第４の具体例で説明したと同様に会話支援装置を先に示した参考文献１に開示されているようなタブレットＰＣで実現し、表示部９０６をペンタブレットとして、空白領域をペンでの自由記述受理可能なものにすればよい。また、その入力結果を文字認識して、計算機可読データの形に加工し保存することも可能である。
【００８５】
このように第５の具体例によると、他者の言語を理解できない利用者であっても、事物の選択によって回答可能な質問を他者に行い、意思確認をすることが可能となる。
【００８６】
（第６の具体例）  
次に、図２６及び図２７を新たに参照して本発明の第２の実施形態に関する第６の具体例について説明する。図９における変換知識データベース９０７の内容は、図１１の通りとする。
【００８７】
入力された原言語表現が「デザイナーの名前を書いてください」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７から図２６のように類似度が判定され、ＩＤ＝４のレコードが抽出される。
【００８８】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝４のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、このレコードの文型がRequestであると判定する。さらに図７の回答型テーブルを参照して、回答型が自由記述欄であると判定し、表示知識データベース９０８を検索する。
【００８９】
自由記述欄と原言語表現、別表現などを組み合わせて図２７のような会話促進画面を生成する。会話促進画面には他者に提示する別表現２７０３と、その別表現の元になった基本表現２７０４、及び他者に自由に記述してもらうための自由記述欄２７０５が要素として含まれる。図２７の会話促進画面を見た他者は、別表現２７０３を見て利用者の質問意図を知り、自由記述欄２７０５に記入することによって利用者に意思表明ができる。
【００９０】
自由記述欄２７０５への記入は会話支援装置の利用経験が少ない他者によって行われる可能性が高いため、１回で意図した記入ができるとは限らない。しかし、押すことによって自由記述欄を消去できる消去ボタン２７０６を設ければ、任意回数の記入が可能となるため、その問題は解決される。
【００９１】
また、他者の記入内容は他者の言語で行われるため、利用者がそれを読めるとは限らないが、押すことによって自由記述欄のイメージを保存できる保存ボタン２７０７と、同様に過去に保存したイメージを読み出す読み出しボタン２７０８を設けることによって、この記述を保存したり読み出したりすることが可能となる。本実施形態で言えば、例えば別の店に行って“Mr. Foo”がデザインした服を買いたいときには、読み出しボタン２７０８を押して保存されている自由記述を読みだせばよい。
【００９２】
なお、上記のような自由記述欄を実現し、さらにイメージをファイルの形式で保存したり保存したイメージを読み出したりする技術については各種プログラム言語ごとに方式が公開されている。例えば、先の参考文献１にはタブレットＰＣにてペンデバイスによってどのように自由記述欄を実現するか、さらに入力されたデータをどのように保存したり再利用したりするかについて基本技術が開示されている。
【００９３】
また、これら自由記述されたイメージを保存する前に文字認識することによって、保存するデータの量を削減したり、文字列データとして再利用したりすることも可能である。一般に、自由記述されたイメージをそのまま画像として保存したのではデータの再利用が不可能であるが、文字認識することによって例えば図２７のように自由記述されたイメージが「Mr. Foo」という文字列に変換することが可能となる。これを実現する方式は様々なものが公開されており、例えば特開平９−２６９９７４号公報「オンライン文字認識装置」の図１における筆跡入力部１１を図９のユーザ選択入力部９０４とし、同じくパターン間距離比較部１６からの出力である認識結果を図９のシステム状態管理部９０３に入力するような構成とすればよい。
【００９４】
このように第６の具体例用いれば、他者の言語を理解できない利用者であっても、自由記述によって回答可能な質問を他者に行い、意思確認することが可能となる。
【００９５】
（第３の実施形態）  
本発明の第３の実施形態に従う会話支援装置は、図２８に示されるように原言語表現入力部２８０１、原言語変換部２８０２、システム状態管理部２８０３、ユーザ選択入力部２８０４、回答画面生成部２８０５、表示部２８０６、変換知識データベース２８０７、表示知識データベース２８０８、原言語中間表現選択画面生成部２８０９及びネットワーク送受信部２８１０を有する。
【００９６】
本実施形態では、システム状態管理部２８０３がネットワーク送受信部２８１０を用いて外部ネットワーク２８１１を経由する他の会話支援装置との通信を行う点が第２の実施形態と異なる。変換知識データベース２８０７の内容は、図１１の通りとする。さらに、利用者と他者が外部ネットワーク２８１１によって接続されたそれぞれ異なる会話支援装置を用いて対話することができる。以下、本実施形態では利用者が用いる装置を利用者会話支援装置、他者が用いる装置を他者会話支援装置と呼び分けることにする。
【００９７】
以下、図２８におけるシステム状態管理部２８０３の状態遷移図を示す図２９を参照して本実施形態の動作を説明する。まず、システム初期状態Ｓ２９０１において初期画面を表示する準備ができると、システム状態管理部２８０３は初期画面表示状態Ｓ２９０２に移行する。この状態では、例えば図１４のような初期画面を利用者会話支援装置に表示する。
【００９８】
次に、利用者による音声入力があると、利用者会話支援装置の中間表現選択待ち状態Ｓ２９０３に移行する。音声によって入力された原言語表現が「どのクレジットカードが使えますか？」だったとすると、図１１のデータ変換知識データベース２８０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース２８０７から図２３のように類似度が判定され、ＩＤ＝５のレコードが抽出される。ＩＤ＝５のレコードについて、図３０のような中間表現選択画面が合成され、表示部２８０５に表示される。
【００９９】
抽出されたレコードについて、利用者が利用者会話支援装置のユーザ選択入力部２８０４を利用してＩＤ＝５のレコードを選択すると、回答画面生成部２８０５は図６の文型判別ルールに従い、このレコードの文型が“Which”であると判定する。さらに図７の回答型テーブルを参照して、回答型が選択肢であると判定し、表示知識データベース２８０８を検索する。このレコード選択行為は図２９に示す選択候補決定入力に相当し、システム状態管理部２８０３の状態は会話促進画面の表示状態Ｓ２９０４に移行する。
【０１００】
回答型が選択肢である場合、表示知識データベース検索の際に図２４のような選択肢表示知識判別ルールを参照する。原言語表現にどのような表現が含まれているかによって、表示する地図の種類を変更する。「どのクレジットカードが使えますか？」には「クレジットカード」が含まれており、表示する選択肢はVISA, MASTER, JCB, AMEXであると判別される。
【０１０１】
選択肢と原言語表現、別表現などを組み合わせて図３１のような会話促進画面を生成する。会話促進画面には他者に提示する別表現３１０３と、その別表現の元になった基本表現３１０４、及び他者に選択してもらうための選択肢３１０５が要素として含まれる。
【０１０２】
図３１の画面が利用者会話支援装置に表示された状態で画面送信ボタン３１０２を押すことによって、利用者は他者に対して現在の会話促進画面を他者に対して送信できる。画面送信ボタン３１０２を押すことによって、図２８のシステム状態管理部２８０３の状態は図２９の会話促進画面の送信状態Ｓ２９０５に移行し、図２８の回答画面生成部２８０５を介して図３１の会話促進画面を取得する。
【０１０３】
次に、ネットワーク送受信部２８１０を介して会話促進画面の情報を他者会話支援装置に送信する。なお、インターネットなどのネットワークを介して２つの端末間を接続し、端末間でデータ通信を行う方式は、特定の方式に依存するものではなく、既知の様々な方式を適用可能である。例えば、TCP/IPなどのインターネットプロトコルを用いれば、インターネットを介して利用者会話支援装置と他者会話支援装置の間を一対一で接続して通信を行うことが可能である。
【０１０４】
図３１の会話促進画面が他者会話支援装置によって受信され、その表示部に図３１と同じ会話促進画面が表示される。他者は、利用可能なクレジットカードがVISAであることを利用者に伝えるためには、図３２のようにVISAに「○（マル）」のマークをつけて送信ボタン３２０２を押せばよい。これによって図３２の画面がそのまま利用者会話支援装置に送信され、利用者は利用者会話支援装置の表示部を見て、どの選択肢が選ばれたかを知ることができる。
【０１０５】
なお、上記のようにイメージを保存しネットワーク送信可能な形式に変換する方式については、各種プログラム言語毎に方式が公開されている。例えば、先の参考文献１にはタブレットＰＣでペンデバイスによってどのように自由記述欄を実現するか、さらに入力されたデータをどのように保存したり再利用したりするかについての基本技術が開示されている。
【０１０６】
また、本実施形態においては利用者及び他者の用いる会話支援装置の表示部に会話促進画面を１つ表示する列について説明したが、例えば利用者の端末に利用者が自ら操作するための会話促進画面と他者からの送信を受信した会話促進画面の２つを同時に表示するような形態をとることも可能である。
【０１０７】
さらに、本実施形態においては利用者と他者が１台ずつ装置を操作する実施形態について述べたが、ユーザ選択入力部２８０４及び表示部２８０６をそれぞれ２つにして、両者が異なる場所で異なるユーザ選択入力部と表示部に対して操作を行うような形態も可能である。
【０１０８】
このように本実施形態によると、他者の言語を理解できない利用者が自由記述で回答可能な質問を遠隔地に居る他者に行い、意思確認などの会話を支援することが可能となる。
【０１０９】
（第７の具体例）  
次に、図３３及び図３４を新たに参照して第７の具体例について説明する。本具体例は第２または第３の実施形態に適用可能であるが、ここでは第２の実施形態に従う図９の会話支援装置を例にとって説明する。図９における変換知識データベース９０７の内容は、図１１の通りとする。
【０１１０】
入力された原言語表現が「今何時ですか？」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７から図３３のように類似度が判定され、ＩＤ＝８のレコードが抽出される。
【０１１１】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝８のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、このレコードの文型が“What time”であると判定する。さらに、回答画面生成部９０５は図７の回答型テーブルを参照して回答型が「時計１個」であると判定し、表示知識データベース９０８を検索して図３４のような会話促進画面を生成する。図３４の会話促進画面には他者に提示する別表現３４０３と、その別表現の元になった基本表現３４０４、及び他者が時刻を提示するための時計の文字盤３４０５が要素として含まれる。図３４の会話促進画面を見た他者は、別表現３４０３から利用者の質問意図を知り、選択肢３４０５を使って利用者に時刻を説明できる。
【０１１２】
また、「何時間かかりますか？」のように、他者に時刻ではなく時間についての回答を求める場合には、図３４の時計の文字盤３４０５に代えて、時間の始点と終点を指示するための２つの時計を表示すればよい。
【０１１３】
このように第７の具体例によれば、他者の言語を理解できない利用者であっても、時刻や時間を確認するような質問を他者に行い、確認を行うことが可能となる。
【０１１４】
（第８の具体例）  
次に、図３４及び図３４を新たに参照して第７の具体例について説明する。本具体例は第２または第３の実施形態に適用可能であるが、ここでは第２の実施形態に従う図９の会話支援装置を例にとって説明する。図９における変換知識データベース９０７の内容は、図１１の通りとする。
【０１１５】
まず、病院の受付窓口にて職員が患者に対して保険加入の有無を質問する場面での本発明の利用例について説明する。利用者、すなわち受付窓口職員が入力した原言語表現が「保険に加入していますか？」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７からＩＤ＝１１のレコードが抽出される。
【０１１６】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝１１のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、このレコードの文型が“Yes/No”であると判定する。さらに図７の回答型テーブルを参照して、回答型が「Yes/Noボタン」であると判定し、表示知識データベース９０８を検索して図３５のような会話促進画面を生成する。
【０１１７】
図３５の会話促進画面には他者に提示する別表現３５０３と、その別表現の元になった基本表現３５０４、及び他者が肯定否定の意思表示をするための選択肢３５０６が要素として含まれる。さらに、このような装置に対して入力することに慣れていない他者のために、回答方法を指示する回答方法指示表現３５０５も含まれる。病院の患者は高齢であったり病気によってとっさの思考ができない状態であったりすることが予想されるため、回答方法指示表現はそのような他者に対する意思表示支援に役立つ。この会話促進画面を見た他者、すなわち患者は、別表現３５０３を見て利用者すなわち病院受付窓口職員の質問意図を知り、さらに解答方法指示表現３５０５を見て回答方法を知り、選択肢３５０６を使って利用者に自身が保険に加入しているか否かを説明できる。
【０１１８】
次に、医師がこのシステムを利用して、患者に質問する場面での利用方法を説明する。入力された原言語表現が「どのように痛みますか？」だったとする。図１１のデータ変換知識データベース９０７に対して図３に示した手順で検索が行われ、図４の通りに類似判定が行われると、図１１の変換知識データベース９０７からＩＤ＝１２のレコードが抽出される。
【０１１９】
抽出されたレコードについて、利用者がユーザ選択入力部９０４を利用してＩＤ＝１２のレコードを選択すると、回答画面生成部９０５は図６の文型判別ルールに従い、このレコードの文型が“Which”であると判定する。さらに、回答画面生成部９０５は図７の回答型テーブルを参照して回答型が選択肢であると判定し、図２４の選択肢表示知識判定知識を参照して表示知識データベース９０８を検索することにより、図３６のような会話促進画面を生成する。
【０１２０】
図３６の会話促進画面には他者に提示する別表現３６０３と、その別表現の元になった基本表現３６０４、及び他者が痛みの様子を医者に伝えるための選択肢３６０５が要素として含まれる。また、痛みを抱える患者が回答の仕方に迷わないように、解答方法指示表現３６０６によって、この選択肢からいくつか適当なものを指して欲しい旨を表示する。この会話促進画面を見た他者、すなわち患者は、別表現３６０３を見て利用者である医者の質問意図を知り、選択肢３４０５を使って利用者に時刻を説明できる。
【０１２１】
このように第７の具体例によると、患者の言語を理解できない窓口受付職員が利用者であっても、患者に対して問診を行い患者の状態を確認することができる。
【０１２２】
本実施形態では病院での会話支援装置の適用例について述べたが、例えば役所の窓口やデパートの案内所など、利用者が他者に対して質問を行うことが主である各種業務の支援にも好適である。
【図面の簡単な説明】
【０１２３】
【図１】本発明の第１の実施形態に従う会話支援装置のブロック図
【図２】変換知識データベースの例
【図３】変換知識データベース検索の手順例を示す図
【図４】文同士の類似度判定手順例を示す図
【図５】生成された別表現リストの例を示す図
【図６】文型判別ルールの例を示す図
【図７】回答型テーブルの例を示す図
【図８】地図を含む会話促進画面例を示す図
【図９】本発明の第２の実施形態に従う会話支援装置のブロック図
【図１０】第２の実施形態に従う会話支援装置の処理手順を示すフローチャート
【図１１】変換知識データベースの例を示す図を示す図
【図１２】中間表現集合の例を示す図
【図１３】中間表現の選択画面例を示す図
【図１４】電卓を含む会話促進画面の例を示す図
【図１５】初期画面における言語選択及び性別選択の例を示す図
【図１６】初期画面における同意確認表示の例を示す図
【図１７】初期画面における性能限界表示の例を示す図
【図１８】類似度の判定結果の例を示す図
【図１９】肯定否定を選択する会話促進画面の例を示す図
【図２０】類似度の判定結果の例を示す図
【図２１】地図知識判定ルールの例を示す図
【図２２】地図で説明する会話促進画面の例を示す図
【図２３】類似度の判定結果例を示す図
【図２４】選択肢表示知識判別ルールの例を示す図
【図２５】選択肢を含む会話促進画面の例を示す図
【図２６】類似度の判定結果の例を示す図
【図２７】自由記述欄を含む会話促進画面の例を示す図
【図２８】本発明の第３の実施形態に従うネットワーク通信部を備えた会話支援装置のブロック図
【図２９】システム状態管理部の状態遷移を示す図
【図３０】中間表現からの選択画面の例を示す図
【図３１】利用者会話支援装置に表示される会話促進画面の例を示す図
【図３２】他者会話支援装置における選択動作の例を示す図
【図３３】類似度判定結果の例を示す図
【図３４】他者会話支援装置における選択動作の例を示す図
【図３５】医療分野への一適用例を示す図
【図３６】医療分野への他の適用例を示す図
【符号の説明】
【０１２４】
１０１…原言語表現入力部
１０２…原言語変換部
１０３…回答画面生成部
１０４…表示部
１０５…変換知識データベース
１０６…表示知識データベース
９０１…原言語表現入力部
９０２…原言語変換部
９０３…システム状態管理部
９０４…ユーザ選択入力部
９０５…回答画面生成部
９０６…表示部
９０７…変換知識データベース
９０８…表示知識データベース
９０９…原言語中間表現選択画面生成部
２８０１…原言語表現入力部
２８０２…原言語変換部
２８０３…システム状態管理部
２８０４…ユーザ選択入力部
２８０５…回答画面生成部
２８０６…表示部
２８０７…変換知識データベース
２８０８…表示知識データベース
２８０９…原言語中間表現選択画面生成部
２８１０…ネットワーク送受信部
２８１１…外部ネットワーク
【図１】
2005222316.tif 000003
【図２】
2005222316.tif 000004
【図３】
2005222316.tif 000005
【図４】
2005222316.tif 000006
【図５】
2005222316.tif 000007
【図６】
2005222316.tif 000008
【図７】
2005222316.tif 000009
【図８】
2005222316.tif 000010
【図９】
2005222316.tif 000011
【図１０】
2005222316.tif 000012
【図１１】
2005222316.tif 000013
【図１２】
2005222316.tif 000014
【図１３】
2005222316.tif 000015
【図１４】
2005222316.tif 000016
【図１５】
2005222316.tif 000017
【図１６】
2005222316.tif 000018
【図１７】
2005222316.tif 000019
【図１８】
2005222316.tif 000020
【図１９】
2005222316.tif 000021
【図２０】
2005222316.tif 000022
【図２１】
2005222316.tif 000023
【図２２】
2005222316.tif 000024
【図２３】
2005222316.tif 000025
【図２４】
2005222316.tif 000026
【図２５】
2005222316.tif 000027
【図２６】
2005222316.tif 000028
【図２７】
2005222316.tif 000029
【図２８】
2005222316.tif 000030
【図２９】
2005222316.tif 000031
【図３０】
2005222316.tif 000032
【図３１】
2005222316.tif 000033
【図３２】
2005222316.tif 000034
【図３３】
2005222316.tif 000035
【図３４】
2005222316.tif 000036
【図３５】
2005222316.tif 000037
【図３６】
2005222316.tif 000038