(57)【特許請求の範囲】
【請求項１】
アイコンを保持する保持手段と、
音声を検知する音声検知手段と、
検知した音声から当該音声の言語を特定する言語特定手段と、
前記言語特定手段によって特定された言語で翻訳する翻訳手段と、
前記音声検知手段の検知結果に基づいて、発話者を特定する音声特定手段と、
前記音声特定手段によって特定された発話者に対応するアイコンを前記保持手段から読み出して表示し、表示した該アイコンに関連づけて前記翻訳手段によって翻訳された翻訳結果を表示する表示手段と、
を備えたことを特徴とする翻訳装置。
【請求項２】
前記音声特定手段は、
前記音声検知手段によって検知された発話内容の母語が、どの人物の母語であるかを特定することを特徴とする請求項１記載の翻訳装置。
【請求項３】
前記表示手段は、
複数の人物に対応したアイコンを前記保持手段から読み出して表示するとともに、前記翻訳手段によって翻訳された翻訳結果を、前記音声特定手段によって特定された人物に対応するアイコンに関連づけて表示することを特徴とする請求項２記載の翻訳装置。
【請求項４】
前記音声検知手段で検知された音声を文字列に変換する文字列変換手段をさらに備え、
前記翻訳手段は、前記音声検知手段で検知された音声または前記文字列変換手段によって変換された文字列を前記言語特定手段によって特定された言語で翻訳し、
前記表示手段は、さらに、前記文字列変換手段によって変換された文字列を表示することを特徴とする請求項２又は３に記載の翻訳装置。
【請求項５】
前記表示手段は、前記文字列変換手段によって変換された文字列を表示した後に、前記翻訳手段によって翻訳された翻訳結果を表示することを特徴とする請求項４に記載の翻訳装置。
【請求項６】
前記保持手段は、各々の人物について、少なくとも翻訳可能な状態を示す第１アイコンと翻訳不能な状態を示す第２アイコンとを保持し、前記表示手段は、前記翻訳手段によって翻訳が行われるまでの間は第１アイコンを表示し、翻訳後は第２アイコンを表示することを特徴とする請求項１乃至請求項５いずれかに記載の翻訳装置。
【請求項７】
さらに、前記言語特定手段によって会話相手の母語が特定されたか否かを判定する判定手段を備え、
前記表示手段は、該判定手段の判定結果が否定の場合に前記翻訳結果を表示しないことを特徴とする請求項１に記載の翻訳装置。
【請求項８】
アイコンを保持する保持工程と、
音声を検知する音声検知工程と、
検知した音声から当該音声の言語を特定する言語特定工程と、
前記言語特定工程によって特定された言語で翻訳する翻訳工程と、
前記音声検知工程の検知結果に基づいて、発話者を特定する音声特定工程と、
前記音声特定工程によって特定された発話者に対応するアイコンを前記保持工程から読み出して表示し、表示した該アイコンに関連づけて前記翻訳工程によって翻訳された翻訳結果を表示する表示工程と、
を含むことを特徴とする翻訳方法。
【請求項９】
翻訳装置のコンピュータに、
アイコンを保持する保持手段、
音声を検知する音声検知手段、
検知した音声から当該音声の言語を特定する言語特定手段、
前記言語特定手段によって特定された言語で翻訳する翻訳手段、
前記音声検知手段の検知結果に基づいて、発話者を特定する音声特定手段、
前記音声特定手段によって特定された発話者に対応するアイコンを前記保持手段から読み出して表示し、表示した該アイコンに関連づけて前記翻訳手段によって翻訳された翻訳結果を表示する表示手段、
としての機能を与えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳装置、翻訳方法及びプログラムに関し、詳細には、音声を入力し、その音声データを翻訳して翻訳結果を画面に表示することができる翻訳装置、翻訳方法及びプログラムに関する。
【背景技術】
【０００２】
携帯電話機などの携帯型電子機器の高性能化に伴い、たとえば、音声を入力すると、その音声データを文字列に変換して画面に表示するとともに、さらに、その音声データを所定の言語に翻訳して画面に表示することができる翻訳装置が実用化されている。たとえば、下記の特許文献１には、所定言語（同文献では英語）で音声入力された元データ（“Ｈｏｗ  ｃａｎ  Ｉ  ｇｅｔ  ｔｈｅｒｅ？”）を文字列に変換して表示するとともに、その元データを他の言語（同文献では日本語）に翻訳して文字列（“そこにはどうやって行けばよいでしょうか？”）で表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７６５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術は、元データとその翻訳結果を単に文字列で表示するに過ぎず、一応の翻訳機能を満たしてはいるものの、文字列主体の表示であることから、事務的で面白味に欠けるという問題点がある。
【０００５】
そこで、本発明は、面白味があり且つ直感的で分かりやすく翻訳結果を表示できるようにする。
【課題を解決するための手段】
【０００６】
本発明に係る翻訳装置は、アイコンを保持する保持手段と、音声を検知する音声検知手段と、検知した音声から当該音声の言語を特定する言語特定手段と、前記言語特定手段によって特定された言語で翻訳する翻訳手段と、前記音声検知手段の検知結果に基づいて、発話者を特定する音声特定手段と、前記音声特定手段によって特定された発話者に対応するアイコンを前記保持手段から読み出して表示し、表示した該アイコンに関連づけて前記翻訳手段によって翻訳された翻訳結果を表示する表示手段と、を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、面白味があり且つ直感的で分かりやすく翻訳結果を表示することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る翻訳装置の構成図である。
【図２】実施形態に係る翻訳装置の一部変形図である。
【図３】アバタ保持部９の保持データを示す図である。
【図４】記憶部１０の概念的な構造を示す図である。
【図５】実施形態の動作説明図（１／２）である。
【図６】実施形態の動作説明図（２／２）である。
【図７】アバタの表示例を示す図である。
【図８】実施形態の表示例を示す図である。
【図９】実施形態の改良例を示す図である。
【図１０】改良された実施形態の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、実施形態に係る翻訳装置の構成図である。この図において、翻訳装置１は、好ましくは携帯可能な小型の電子機器であって、たとえば、翻訳専用機、あるいは、携帯電話機や電子辞書またはその他の機器に実装された兼用機のいずれであってもよい。
【００１０】
翻訳装置１は、表示部２と、複数（図では２個）のマイク３、４と、マイク３、４ごとのＡＤ変換部５、６と、制御部７と、操作部８と、アバタ保持部９と、記憶部１０と、発話者特定部１１と、アバタ割当部１２と、文字列変換部１３と、母語判定部１４と、翻訳部１５とを備える。なお、ここでは、構成要素の全てをハードウェア的なブロックで示しているが、破線で囲んだいくつかの要素、つまり、アバタ割当部１２、文字列変換部１３、母語判定部１４及び翻訳部１５については、制御部７によってソフトウェア的に実現されるものであってもよい。
【００１１】
表示部２は、高精細で好ましくはカラーの二次元平面デバイスであり、たとえば、液晶ディスプレイパネルや有機ＥＬパネルなどである。
【００１２】
マイク３、４は入出力特性が揃った無指向性のものであり、このマイク３、４は発話者特定部１１とともに、音源の方向、すなわち、発話者の声の到来方向を特定する「音声方向特定手段」を構成する。ここで、一方のマイク３を筐体１６の左側に位置する「左マイク」とし、他方のマイク４を筐体１６の右側に位置する「右マイク」とすると、筐体１６の左側に位置する人物Ａの声は、人物Ａからの距離が近い左マイク３で大きく集音され、また、筐体１６の右側に位置する人物Ｂの声は、同様に人物Ｂからの距離が近い右マイク４で大きく集音されるから、発話者特定部１１で声の大きさを比較することにより、音源の方向、つまり、発話者である人物Ａ、Ｂの声の到来方向を特定することができる。この特定結果は、記憶部１０の音声方向記録領域２２（後述）に記録される。
【００１３】
なお、ここでは、二人の人物Ａ、Ｂを例にしているが、これに限定されない。二人以上の場合にも同様に各々の人物の声の到来方向を特定することができる。たとえば、左マイク３と右マイクの音量比がほぼ１対１であれば、図面の上側や下側から声が聞こえているので、人物Ａと人物Ｂの間に第三の人物が位置していると判断することができる。このようにして、左マイク３と右マイクの音量比から第三の人物、第四の人物、・・・・、第ｎの人物の位置を特定することができる。あるいは、音量比ではなく、音の位相差から声の到来方向を特定することもできる。また、マイクの数を３個以上にすれば、より精密に音の到来方向を特定することができる。
【００１４】
なお、各マイク３、４ごとに設けられたＡＤ変換部５、６は、マイク３、４の出力（アナログ信号）を後述の制御部７の入力信号に適したデジタル信号に変換するものであるが、ＡＤ変換部５、６の数を減らすためには、以下のように変形してもよい。
【００１５】
図２は、実施形態に係る翻訳装置の一部変形図である。この図において、マイク３、４は、多入力（ここでは２入力）１出力のセレクタ１７とＡＤ変換部１８を介して制御部７に接続されている。セレクタ１７は、マイク３、４からの信号を所定の周期で交互に選択して出力する。このように変形すれば、比較的コストがかさむＡＤ変換部の数を２個から１個に減らすことができる。
【００１６】
制御部７は、コンピュータによって構成されたプログラム方式の制御要素であり、あらかじめファームウェア等の形で組み込まれた制御プログラムをコンピュータで実行することによって、この翻訳装置１の動作に必要な様々な機能を実現する。制御プログラムの詳細については後述する。なお、前記のとおり、アバタ割当部１２、文字列変換部１３、母語判定部１４及び翻訳部１５は、この制御部７によってソフトウェア的に実現されるものであってもよい。
【００１７】
アバタ保持部９は、表示部２に表示するアイコンを保持する。アイコンは、たとえば、アバタである。アバタとは実在する人物の身代わりとなる「分身」のことをいう。アバタは一般的には人物を模したキャラクタのことをいうが、これに限定されない。人物の写真や似顔絵などであってもよく、あるいは、人物以外の動植物やモノなどを模したものであってもよい。本実施形態では、これらを総称する上位概念として「アイコン」という呼称を用いる。
【００１８】
図３は、アバタ保持部９の保持データを示す図である。この図において、アバタ保持部９に格納されたアバタテーブル１９には、複数のアバタ（アイコン）について、少なくともそれぞれの「通常顔」と「困惑顔」が格納されている。通常顔は、たとえば、笑顔であり、困惑顔は相手の発話内容が分からずに困っているときの顔である。つまり、通常顔は翻訳可能な状態を表す第１アイコンに相当し、困惑顔は翻訳不能な状態を表す第２アイコンに相当している。なお、この図ではやや左向きの顔を描いたアバタしか示していないが、右向き（やや右向き）のアバタが必要であれば、図示のアバタを左右逆にすればよい。また、アバタを人物以外の動植物やモノとした場合には、「顔」を「様子」などと読み替えればよい。すなわち、「通常の様子」と「困惑した様子」などと読み替えればよい。
【００１９】
記憶部１０は、フラッシュメモリやハードディスクまたはシリコンディスクなどの大容量記憶デバイスであり、次の記憶空間構造を有している。
図４は、記憶部１０の概念的な構造を示す図である。この図において、記憶部１０の記憶空間は、発話者の発話内容を音声データで記録する音声記録領域２０、発話内容を文字列に変換した文字データを記録する文字列記録領域２１、発話者の声の方向を記録する音声方向記録領域２２、発話者の母語を記録する母語記録領域２３及び翻訳未完了フラグ２４などに分けられている。
【００２０】
アバタ割当部１２は、前記の「音声方向特定手段」、すなわち、マイク３、４と発話者特定部１１とによって特定された声の発話者ごとに、異なるアバタを割り当てる。この割り当ては、たとえば、アバタ保持部９に保持されているアバタの中からランダムに選択したりして機械的に行ってもよいし、あるいは、発話者の性別や年齢を加味して適当なアバタを選択したりしてもよい。発話者の性別や年齢は、発話者の声の質から判別することができる。男性の声と女性の声は声の周波数の範囲で区別でき（一般的に男声は低周波数成分が多く、女声は高周波数成分が多い）、また、同様に年齢も声の周波数特性から大まかに区別できる（一般的に若年齢ほど高周波数成分が多い）からである。または、ユーザの指定に従ってアバタを割り当ててもよい。この場合、アバタ割当部１２に保持されているアバタの一覧を表示部２に表示し、その中から好みのアバタをユーザに選択させるようにしてもよい。
【００２１】
文字列変換部１３は、記憶部１０の音声記録領域２０に記録されている発話者の音声データを音声認識して文字列に変換し、記憶部１０の文字列記録領域２１に記録する。
【００２２】
母語判定部１４は、記憶部１０の音声記録領域２０に記録されている発話者の音声データに基づいて当該発話者の母語を特定し、その特定結果を記憶部１０の母語記録領域２３に記録する。ここで、「母語」とは一般的に、ある人物が幼少期より自然に使っている言語のことをいうが、本実施形態ではそのような厳密な解釈を採用しない。いわゆる母国語（その人物の出身地の言語）であってもよく、あるいは第二外国語や第三外国語などの母語に準ずる言語であってもよい。要は、その人物の発話内容から把握または推定できる言語（ヒトが話す言葉の種類であって、近代言語学で分類されているもの）であればよい。言語の種類は多岐にわたるが、以下では、説明を簡単にするために「日本語」と「英語」を例にする。もちろん、これは説明上の便宜に過ぎない。
【００２３】
翻訳部１０は、発話者の発話内容を一の言語から二の言語に翻訳して出力する。一の言語とは発話者となる人物の母語であり、二の言語とは当該発話者の会話相手となる人物の母語である。たとえば、人物Ａの母語を英語、人物Ｂの母語を日本語とした場合、翻訳部１０は、人物Ａの発話内容を日本語（人物Ｂの母語）に翻訳したり、または、人物Ｂの発話内容を英語（人物Ａの母語）に翻訳したりする。翻訳の元になるデータは、音声データであってもよく、その音声データを文字列に変換した文字データであってもよい。
【００２４】
以下、本実施形態の動作を説明する。
図５及び図６は、実施形態の動作説明図である。この動作説明図は、制御部７で実行される制御プログラムのフローチャートに相当する。このフローチャートでは、まず、最初に表示部２にアバタを表示する（ステップＳ１）。
【００２５】
図７は、アバタの表示例を示す図である。ここでは、一例として二人の人物Ａ、Ｂの間で会話を行う場合を想定し、人数分（ここでは二つ）のアバタ２５、２６を表示部２に表示する。アバタを表示すると、次に、発話者の音声入力ありか否かを判定する（ステップＳ２）。音声入力ありでない場合、すなわち、マイク３、４のいずれにも発話者の音声が集音されなかった場合には、ユーザによる終了操作を判定し（ステップＳ３２）、終了操作であればフローを終了する一方、終了操作でなければ、再びステップＳ２に戻る。
【００２６】
音声ありが判定された場合、つまり、ステップＳ２の判定結果がＹＥＳの場合は、まず、表示部２の吹き出しを消去する（ステップＳ３）。吹き出しとは、発話者の発話内容をそのまま文字列で表示したり、また、発話内容の翻訳結果を文字列で表示したりする際に用いられる囲み図形のことであり、とりわけ誰の発話であるかを一目で分かるように図形化したものである。吹き出しの実例は、図８（符号２７〜３０）に示されている。なお、この段階では、まだ吹き出しが表示されていないので、このステップＳ３では、実質的な処理は何も行われない。
【００２７】
吹き出しを消去すると、次に、音声記録を開始（ステップＳ４）するとともに、音声方向の特定（ステップＳ５）と、その特定結果の記録（ステップＳ６）とを行い、音声記録の完了を判定するまで待機する（ステップＳ７）。
音声記録とは、発話者の音声データを記録部１０の音声記録領域１０に記録することをいう。また、音声方向の特定とは、「音声方向特定手段」（マイク３、４と発話者特定部１１）によって行われる発話者の声の到来方向の特定のことをいい、その特定結果の記録とは、音声方向特定手段によって特定された発話者の声の方向を記録部１０の音声方向記録領域２２に記録することをいう。
【００２８】
音声記録の完了を判定すると、つまり、ステップＳ７の判定結果がＹＥＳになると、次に、発話者の音声データ（記録部１０の音声記録領域１０に記録された音声データ）を文字列に変換し、記録部１０の文字列記録領域２１に記録（ステップＳ８）した後、母語判定部１４で発話者の音声データ（記録部１０の音声記録領域１０に記録された音声データ）から母語を判定する（ステップＳ９）。
【００２９】
次に、記録部１０の音声方向記録領域２２から音声方向の読み出しを行い（ステップＳ１０）、続けて、音声方向ごとに処理を分岐する（ステップＳ１１）。
【００３０】
以下、説明を簡単にするために、図１のように、筐体１６の左側に人物Ａが位置し、右側に人物Ｂが位置しているものとする。
音声方向が「右」の場合は、ステップＳ９で判定した母語を「右発話者」（図１では人物Ｂ）の母語として、記憶部１０の母語記録領域２３に記録し（ステップＳ１２）、その右発話者の発話内容を右発話者の母語で右側の吹き出しに表示（ステップＳ１３）する。一方、音声方向が「左」の場合は、ステップＳ９で判定した母語を「左発話者」（図１では人物Ａ）の母語として、記憶部１０の母語記録領域２３に記録し（ステップＳ１４）、その左発話者の発話内容を左発話者の母語で左側の吹き出しに表示（ステップＳ１５）する。
【００３１】
音声方向が「右」の場合は、さらに、記憶部１０の母語記録領域２３を調べて左発話者の母語登録が行われているか否かを判定し（ステップＳ１６）、左発話者の母語登録がされていなければ、左アバタ（図７の左側のアバタ２５）を困惑顔に変更（ステップＳ１７）するとともに、左側の人物Ａに発話を促すメッセージ等を表示部２に表示又は音声出力し（ステップＳ１８）、左側の人物Ａの発話内容から人物Ａの母語を特定して、記憶部１０の母語記録領域２３に記録する（ステップＳ１９）。
【００３２】
音声方向が「左」の場合も同様に、記憶部１０の母語記録領域２３を調べて右発話者の母語登録が行われているか否かを判定し（ステップＳ２０）、右発話者の母語登録がされていなければ、右アバタ（図７の右側のアバタ２６）を困惑顔に変更（ステップＳ２１）するとともに、右側の人物Ｂに発話を促すメッセージ等を表示部２に表示又は音声出力し（ステップＳ２２）、右側の人物Ｂの発話内容から人物Ｂの母語を特定して、記憶部１０の母語記録領域２３に記録する（ステップＳ２３）。
【００３３】
次に、再度、音声方向の読み出しを行い（ステップＳ２４）、続けて、音声方向ごとに処理を分岐する（ステップＳ２５）。
【００３４】
そして、音声方向が「右」の場合は、右発話者の発話内容を左発話者の母語で翻訳し（ステップＳ２６）、その翻訳結果を右側の吹き出しに表示（ステップＳ２７）した後、左アバタを通常顔に戻す（ステップＳ２８）。一方、音声方向が「左」の場合も同様に、左発話者の発話内容を右発話者の母語で翻訳し（ステップＳ２９）、その翻訳結果を左側の吹き出しに表示（ステップＳ３０）した後、右アバタを通常顔に戻し（ステップＳ３１）、いずれの場合も、ユーザによる終了操作を判定し（ステップＳ３２）、終了操作であればフローを終了し、終了操作でなければ、再びステップＳ２に戻る。
【００３５】
図８は、実施形態の表示例を示す図である。この図において、まず、最初に人物Ａ、Ｂの一方（ここでは日本語を母語とする人物Ｂ）が日本語で“こんにちは”と発話したとする。
【００３６】
図８（ａ）はこのときの様子を示している。この場合は、まず、発話者として人物Ｂを特定し、その発話内容（“こんにちは”）から人物Ｂの母語（日本語）を特定する。そして、人物Ｂに対応する右アバタ２６の吹き出し２７に、人物Ｂの発話内容（“こんにちは”）を当該人物Ｂの母語（日本語）で表示する。
【００３７】
この時点では、まだ対話相手である人物Ａの母語が特定されていないので、人物Ａのアバタ２５を困惑顔に変更するとともに、人物Ａに対して発話（母語特定用の任意の発話）を促し、それに応答して行われる人物Ａの発話内容から人物Ａの母語を特定する。つまり、この段階で、人物Ａ、Ｂの双方の母語が特定されたことになるから、人物Ｂの発話内容（“こんにちは”）を、対話相手（人物Ａ）の母語である英語で翻訳し、図８（ｂ）に示すように、その翻訳結果（“Ｈｅｌｌｏ！”）を人物Ｂの吹き出し２８に表示するとともに、左アバタ２５を通常顔に変更する。
【００３８】
以降、図８（ｃ）に示すように、人物Ｂの翻訳結果（“Ｈｅｌｌｏ！”）に応えて人物Ａが、たとえば、“Ｈｏｗ  ａｒｅ  ｙｏｕ？”と発話すると、その人物Ａの発話内容をそのまま左アバタ２５の吹き出し２９に表示するとともに、さらに、その人物Ａの発話内容を人物Ｂの母語である日本語で翻訳し、その翻訳結果（“お元気ですか？”）を左アバタ２５の吹き出し３０に表示する。
【００３９】
このように、本実施形態では、発話者を特定し、発話者に対応したアバタを表示するとともに、その発話者の発話内容を二種類の吹き出しで表示部２に表示する。一の吹き出しは破線で示す吹き出し２７、２９であり、二の吹き出しは実線で示す吹き出し２８、３０である。両者の違いは発話内容をそのまま（発話者の母語のまま）表示するか、翻訳してから表示するかにある。一の吹き出ししか表示されていない状況（図８（ａ）参照）では、会話相手は発話者の言葉が分からないため、発話内容を理解できない。本実施例では、かかる状況における会話相手の困った様子をアバタの困惑顔で表現する（図８（ａ）のアバタ２５参照）。これにより、通常の翻訳機にない面白味を与えることができる。加えて、対話相手の母語を特定した後は、その母語を用いて発話内容を翻訳し、その翻訳結果を二の吹き出し（図８の吹き出し２８、３０）を用いて表示するので、互いの意思疎通を図ることができる。
【００４０】
さて、以上の実施形態では、対話相手の母語が未登録の場合に、対話相手に発話を促し、その応答から母語を特定しているが、以下の改善点がある。つまり、対話相手に発話を促すためには、表示部２に何らかのメッセージを表示又は音声出力しなければならないが、対話相手の言語が不明な段階ではメッセージの意味が伝わらない可能性があり、対話相手の母語を特定できない恐れがある。これは、対話相手の言語が不明な段階ではメッセージに英語などの共通言語を使用せざるを得ないものの、必ずしも共通言語が通じるとは限らないからである。
【００４１】
図９は、実施形態の改良例を示す図である。なお、この図９は、前記実施形態の図６に置き換わるものである。すなわち、前記実施形態のステップＳ１６〜ステップＳ３２に置き換わるものであり、それ以外のステップＳ１〜ステップＳ１５（図５）は、前記実施形態と共通である。
【００４２】
この改良例において、前記実施形態のステップＳ１３を実行すると、つまり、右発話者の発話内容を右発話者の母語で右側の吹き出しに表示すると、次に、記憶部１０の母語記録領域２３を調べて左発話者の母語登録が行われているか否かを判定する（ステップＳ３４）。そして、左発話者の母語が未登録であれば、右発話者の翻訳未完了フラグ２４（図４参照）をセットし（ステップＳ３５）、左アバタを困惑顔に変更（ステップＳ３６）した後、ステップＳ３２に進む一方、左発話者の母語が登録済であれば、右発話者の翻訳未完了フラグ２４をリセットし（ステップＳ３７）、右発話者の発話内容の翻訳とその翻訳結果の記録（ステップＳ３８）とを行ってから再び音声方向の読み出しを行う（ステップＳ３９）。
【００４３】
同様に、前記実施形態のステップＳ１５を実行すると、つまり、左発話者の発話内容を左発話者の母語で左側の吹き出しに表示すると、次に、記憶部１０の母語記録領域２３を調べて右発話者の母語登録が行われているか否かを判定する（ステップＳ４０）。そして、右発話者の母語が未登録であれば、左発話者の翻訳未完了フラグ２４をセットし（ステップＳ４１）、右アバタを困惑顔に変更（ステップＳ４２）した後、ステップＳ３２に進む一方、右発話者の母語が登録済であれば、左発話者の翻訳未完了フラグ２４をリセットし（ステップＳ４３）、左発話者の発話内容の翻訳とその翻訳結果の記録（ステップＳ３８）とを行ってから再び音声方向の読み出しを行う（ステップＳ３９）。
【００４４】
次いで、音声方向ごとに処理を分岐する（ステップＳ４４）。音声方向が「右」の場合は、右発話者の翻訳結果を右側の吹き出し内に表示し（ステップＳ４５）、左発話者の翻訳未完了フラグ２４がセットされているか否かを判定する（ステップＳ４６）。そして、翻訳未完了フラグ２４がセットされていなければ、ステップＳ３２に進み、翻訳未完了フラグ２４がセットされていれば、左発話者の翻訳結果を左側の吹き出し内に表示（ステップＳ４７）するとともに、右アバタを通常顔に変更（ステップＳ４８）した後、ステップＳ３２に進む。
【００４５】
音声方向が「左」の場合は、左発話者の翻訳結果を左側の吹き出し内に表示し（ステップＳ４９）、右発話者の翻訳未完了フラグ２４がセットされているか否かを判定する（ステップＳ５０）。そして、翻訳未完了フラグ２４がセットされていなければ、ステップＳ３２に進み、翻訳未完了フラグ２４がセットされていれば、右発話者の翻訳結果を右側の吹き出し内に表示（ステップＳ５１）するとともに、左アバタを通常顔に変更（ステップＳ５２）した後、ステップＳ３２に進む。
【００４６】
図１０は、改良された実施形態の表示例を示す図である。この図において、まず、最初に人物Ａ、Ｂの一方（ここでは日本語を母語とする人物Ｂ）が日本語で“こんにちは”と発話したとする。
【００４７】
図１０（ａ）はこのときの様子を示している。この場合は、まず、発話者として人物Ｂを特定し、その発話内容（“こんにちは”）から人物Ｂの母語（日本語）を特定する。そして、人物Ｂに対応する右アバタ２６の吹き出し３１に、人物Ｂの発話内容（“こんにちは”）を当該人物Ｂの母語（日本語）で表示するとともに、この時点では、まだ対話相手である人物Ａの母語が特定されていないので、人物Ａのアバタ２５を困惑顔に変更する。
【００４８】
ここまでは、前記の実施形態（図８参照）と同様である。相違は対話相手（ここでは人物Ａ）に対して発話を促す動作（たとえば、メッセージ表示など）を行わない点にある。そして、その代わりに、発話内容を理解できなかった人物が発するであろう自然な疑問文（問いかけ）に基づいて、当該人物の母語を特定する点にある。
【００４９】
図１０（ｂ）は、その様子を示している。すなわち、人物Ａは、人物Ｂの発話内容（“こんにちは”）を理解できなかったので、自分の母語（ここでは英語）で自然な疑問文（たとえば、“Ｗｈａｔ  ｄｉｄ  ｙｏｕ  ｓａｙ？”）を発している。この疑問文はそのまま吹き出し３２内に表示されるとともに、その疑問文から人物Ａの母語（ここでは英語）を特定し、さらに、その疑問文を人物Ｂの母語（ここでは日本語）で翻訳するとともに、その翻訳結果（“何て言ったの？”）を吹き出し３３内に表示する。
【００５０】
この段階で人物Ａ、Ｂの双方の母語が特定されたので、人物Ｂの最初の発話内容（“こんにちは”）を人物Ａの母語で翻訳し、図１０（ｃ）に示すように、その翻訳結果（“Ｈｅｌｌｏ！”）を吹き出し３３内に表示する。そして、それ以降は、図１０（ｄ）、（ｅ）に示すように、人物Ａの発話内容（“Ｈｏｗ  ａｒｅ  ｙｏｕ？”）と、その翻訳結果（“お元気ですか？”）とを吹き出し３５、３６内に表示するとともに、それに応答する人物Ｂの発話内容（“はい元気・・・・”）と、その翻訳結果（“Ｉ´ｍ  ｇｏｏｄ・・・・”）とを吹き出し３７、３８内に表示するという動作を繰り返すことにより、母語が異なる人物Ａ、Ｂの間で意思疎通を図ることができる。
【００５１】
以上のとおり、この改良された実施形態によれば、対話相手の自然な発話から対話相手の母語を特定することができるので、いちいち発話を促す必要がないという特有のメリットが得られる。
【００５２】
なお、以上の説明では、二人の人物Ａ、Ｂの会話例を示したが、三人以上の会話にも適用できることはもちろんである。三人以上の場合であっても、ある時点における「発話者」はその中の唯一人であり、他の人物はすべて「会話相手」とみなせるからである。また、その場合の母語は、「発話者」についてはその発話内容から特定することができ、また、各々の会話相手については会話相手の自然な発話（前記の疑問文）から同様にして特定することができる。
【００５３】
また、以上の説明では、発話者を「声の到来方向」で特定するとしているが、この場合、発話者と翻訳装置１との相対位置関係が変化した場合に異なる発話者であると誤認してしまう恐れがある。この不都合を回避するためには、たとえば、声の質を加味して発話者の特定を行えばよい。これは、人の声には個人ごとの特徴があるからである。特徴の一つは声の質であり、性別や年齢で音域等に違いがあるからである。また、声紋も声の質といえるから、この声紋を用いてもよい。「声の到来方向」で発話者を特定してアバタを割り当てた後、その声の質に基づいて、アバタと発話者との対応関係を固定化すればよい。このようにすれば、発話者と翻訳装置１との相対位置関係が変化した場合でも発話者を誤認することはない。
【００５４】
また、以上の説明では、発話者の発話内容から翻訳言語を特定しているが、これに限定されない。あらかじめ発話者ごとの翻訳言語を指定する態様であってもよい。
【００５５】
以上、本発明のいくつかの実施形態を説明したが、この発明は、これらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本件出願の特許請求の範囲に記載された発明を付記する。
【００５６】
（付記１）
請求項１記載の発明は、
複数の人物のアイコンを保持する保持手段と、
前記人物の音声を検知する音声検知手段と、
前記音声検知手段の検知結果に基づいて前記人物のうちの誰の音声であるのかを特定する音声特定手段と、
前記音声検知手段の検知結果から当該音声の言語を特定する言語特定手段と、
前記音声検知手段で検知された音声を前記言語特定手段によって特定された言語で翻訳する翻訳手段と、
前記複数の人物に対応したアイコンを前記保持手段から読み出して表示するとともに前記翻訳手段によって翻訳された翻訳結果を前記音声特定手段によって特定された人物に対応するアイコンに関連づけて表示する表示手段と
を備えたことを特徴とする翻訳装置である。
【００５７】
（付記２）
請求項２記載の発明は、  前記音声検知手段で検知された音声を文字列に変換する文字列変換手段をさらに備え、
前記翻訳手段は、前記音声検知手段で検知された音声または前記文字列変換手段によって変換された文字列を前記言語特定手段によって特定された言語で翻訳し、
前記表示手段は、さらに、前記文字列変換手段によって変換された文字列を表示することを特徴とする請求項１に記載の翻訳装置である。
【００５８】
（付記３）
請求項３記載の発明は、前記表示手段は、前記文字列変換手段によって変換された文字列を表示した後に、前記翻訳手段によって翻訳された翻訳結果を表示することを特徴とする請求項２に記載の翻訳装置である。
【００５９】
（付記４）
請求項４記載の発明は、前記保持手段は、各々の人物について、少なくとも翻訳可能な状態を示す第１アイコンと翻訳不能な状態を示す第２アイコンとを保持し、前記表示手段は、前記翻訳手段によって翻訳が行われるまでの間は第１アイコンを表示し、翻訳後は第２アイコンを表示することを特徴とする請求項１乃至請求項３いずれかに記載の翻訳装置である。
【００６０】
（付記５）
請求項５記載の発明は、さらに、前記言語特定手段によって会話相手の母語が特定されたか否かを判定する判定手段を備え、
前記表示手段は、該判定手段の判定結果が否定の場合に前記翻訳結果を表示しないことを特徴とする請求項１に記載の翻訳装置である。
【００６１】
（付記６）
請求項６記載の発明は、
複数の人物のアイコンを保持する保持工程と、
前記人物の音声を検知する音声検知工程と、
前記音声検知工程の検知結果に基づいて前記人物のうちの誰の音声であるのかを特定する音声特定工程と、
前記音声検知工程の検知結果から当該音声の言語を特定する言語特定工程と、
前記音声検知工程で検知された音声を前記言語特定工程によって特定された言語で翻訳する翻訳工程と、
前記複数の人物に対応したアイコンを前記保持工程から読み出して表示するとともに前記翻訳工程によって翻訳された翻訳結果を前記音声特定工程によって特定された人物に対応するアイコンに関連づけて表示する表示工程と
を含むことを特徴とする翻訳方法である。
【００６２】
（付記７）
請求項７記載の発明は、
翻訳装置のコンピュータに、
複数の人物のアイコンを保持する保持手段
前記人物の音声を検知する音声検知手段、
前記音声検知手段の検知結果に基づいて前記人物のうちの誰の音声であるのかを特定する音声特定手段、
前記音声検知手段の検知結果から当該音声の言語を特定する言語特定手段、
前記音声検知手段で検知された音声を前記言語特定手段によって特定された言語で翻訳する翻訳手段、
前記複数の人物に対応したアイコンを前記保持手段から読み出して表示するとともに前記翻訳手段によって翻訳された翻訳結果を前記音声特定手段によって特定された人物に対応するアイコンに関連づけて表示する表示手段
としての機能を与えることを特徴とするプログラムである。
【符号の説明】
【００６３】
Ａ、Ｂ  人物
２  表示部
３、４  マイク
９  アバタ保持部
１１  発話者特定部
１３  文字列変換部
１４  母語判定部
１５  翻訳部
【図１】
0005733566.tif 000002
【図２】
0005733566.tif 000003
【図３】
0005733566.tif 000004
【図４】
0005733566.tif 000005
【図５】
0005733566.tif 000006
【図６】
0005733566.tif 000007
【図７】
0005733566.tif 000008
【図８】
0005733566.tif 000009
【図９】
0005733566.tif 000010
【図１０】
0005733566.tif 000011