(57)【要約】【課題】会話を行う人物の外見画像を取得し、得られた画像を解析することで人物概要を抽出し、抽出された人物概要を利用してそれぞれの人物に関するより詳細な情報をデータベースより検索する。このようにして得られた人物概要およびデータベース上の詳細な人物情報を比較、検討し翻訳手段による翻訳に利用することで会話を行う人物の人物像を考慮したよりリアルで違和感のない会話を提供することを目的とする。【解決手段】会話を行う人物を撮影する撮影手段と、撮影画像を解析する画像解析手段と、画像解析結果に基づいてデータベース上の人物情報を検索するデータベース検索手段と、画像解析結果および検索されたデータベース上の人物情報に応じて翻訳内容を変更する翻訳手段と、会話を行う人物に情報提示する表示手段と、音声入出力手段とで構成される。【選択図】　　　　図１
2004078528.tif 000002
【特許請求の範囲】
【請求項１】
会話を行う人物を撮影する撮影手段と、撮影画像を解析する画像解析手段と、画像解析結果に応じて翻訳内容を変更する翻訳手段とを有することを特徴とする翻訳システム。
【請求項２】
請求項１に記載の翻訳システムは、画像解析結果に基づいてデータベース上の人物情報を検索するデータベース検索手段を有し、前記翻訳手段は検索されたデータベース上の人物情報に応じて翻訳内容を変更する翻訳手段であることを特徴とする翻訳システム。
【請求項３】
請求項１に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物の性別、年齢、外見上の特徴といった人物概要を撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【請求項４】
請求項１に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物のジェスチャを撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【請求項５】
請求項１に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物の喜怒哀楽等の感情表現を撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【請求項６】
請求項１に記載の翻訳システムにおける前記翻訳手段は、画像解析結果および／またはデータベース上の人物情報を参照して発言者の誤りを訂正した翻訳を行う翻訳手段であることを特徴とする翻訳システム。
【請求項７】
請求項１に記載の翻訳システムは、撮影画像・画像解析結果・データベース上の人物情報・翻訳出力・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する表示手段を有することを特徴とする翻訳システム。
【請求項８】
請求項１に記載の翻訳システムは、会話入力および翻訳出力・画像解析結果・データベース上の人物情報・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する音声入出力手段を有することを特徴とする翻訳システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は異なる言語間の翻訳を、会話を行う人物に応じて違和感なく行う翻訳システムに関する。
【０００２】
【従来の技術】
従来異なる言語間の翻訳を行う手段としては、辞書の使用が最も一般的であった。近年は携帯性と検索機能の優れた電子辞書も普及している。ついでコンピュータの普及に伴い、入力手段として音声認識技術を利用した高精度でより簡易な自動翻訳システムが現れた。これによるといままでのテキスト入力に代わり翻訳したい音声を直接入力することができ、翻訳作業にコンピュータの処理を利用することから、ユーザによる使い勝手はもとより翻訳スピード及び精度も飛躍的に向上した。
【０００３】
【発明が解決しようとする課題】
しかしながら上記のようなコンピュータを利用した自動翻訳システムにおける翻訳出力は会話を行う人物にかかわらず一定であり、会話にリアルさがなく不自然な印象を受けることがある。また、当然のことながら会話中の誤った発言もそのまま翻訳され会話相手に伝えられてしまう。
【０００４】
以上のような問題を解決する為、本発明の翻訳システムはまず撮影手段によって会話を行う人物の外見画像を取得し、得られた画像を解析手段によって解析することで人物概要を抽出する。続いて抽出された人物概要を利用してそれぞれの人物に関するより詳細な情報をデータベースより検索する。このようにして得られた人物概要およびデータベース上の詳細な人物情報を比較、検討し翻訳手段による翻訳に利用することで会話を行う人物の人物像を考慮したよりリアルで違和感のない会話を提供することを目的とする。
【０００５】
【課題を解決するための手段】
以上のような目的を達成する為、本発明は
会話を行う人物を撮影する撮影手段と、撮影画像を解析する画像解析手段と、画像解析結果に応じて翻訳内容を変更する翻訳手段とを有することを特徴とする。
【０００６】
また前記翻訳システムは、画像解析結果に基づいてデータベース上の人物情報を検索するデータベース検索手段を有し、前記翻訳手段は検索されたデータベース上の人物情報に応じて翻訳内容を変更する翻訳手段であることを特徴とする。
【０００７】
さらに前記翻訳システムにおける前記画像解析手段は、会話を行う人物の性別、年齢、外見上の特徴といった人物概要、会話を行う人物のジェスチャおよび喜怒哀楽等の感情表現を撮影画像の解析により特定する画像解析手段であることを特徴とし、前記翻訳システムにおける前記翻訳手段は、画像解析結果および／またはデータベース上の人物情報を参照して発言者の誤りを訂正した翻訳を行う翻訳手段であることを特徴とする。
【０００８】
加えて前記翻訳システムは、撮影画像・画像解析結果・データベース上の人物情報・翻訳出力・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する表示手段および、会話入力および翻訳出力・画像解析結果・データベース上の人物情報・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する音声入出力手段を有することを特徴とする。
【０００９】
以上、本発明を整理して要約すれば以下の構成に集約できる。
【００１０】
（１）会話を行う人物を撮影する撮影手段と、撮影画像を解析する画像解析手段と、画像解析結果に応じて翻訳内容を変更する翻訳手段とを有することを特徴とする翻訳システム。
【００１１】
（２）前記（１）に記載の翻訳システムは、画像解析結果に基づいてデータベース上の人物情報を検索するデータベース検索手段を有し、前記翻訳手段は検索されたデータベース上の人物情報に応じて翻訳内容を変更する翻訳手段であることを特徴とする翻訳システム。
【００１２】
（３）前記（１）に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物の性別、年齢、外見上の特徴といった人物概要を撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【００１３】
（４）前記（１）に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物のジェスチャを撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【００１４】
（５）前記（１）に記載の翻訳システムにおける前記画像解析手段は、会話を行う人物の喜怒哀楽等の感情表現を撮影画像の解析により特定する画像解析手段であることを特徴とする翻訳システム。
【００１５】
（６）前記（１）に記載の翻訳システムにおける前記翻訳手段は、画像解析結果および／またはデータベース上の人物情報を参照して発言者の誤りを訂正した翻訳を行う翻訳手段であることを特徴とする翻訳システム。
【００１６】
（７）前記（１）に記載の翻訳システムは、撮影画像・画像解析結果・データベース上の人物情報・翻訳出力・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する表示手段を有することを特徴とする翻訳システム。
【００１７】
（８）前記（１）に記載の翻訳システムは、会話入力および翻訳出力・画像解析結果・データベース上の人物情報・誤り訂正結果のいずれかまたはすべてを、会話を行う人物に提示する音声入出力手段を有することを特徴とする翻訳システム。
【００１８】
【発明の実施の形態】
図１は本実施例におけるシステムの概要を示す概略図である。
【００１９】
ユーザＡ（１０１）およびユーザＢ（１０５）は異なる言語で会話を行うものとし、それぞれが手元にあるユーザ端末Ａ（１０２）およびユーザ端末Ｂ（１０４）をインターフェースとして会話を行う。翻訳処理を行う翻訳サーバ（１０３）はユーザ端末Ａ（１０２）およびユーザ端末Ｂ（１０４）とそれぞれネットワークを介して接続されており、ユーザ端末Ａ（１０２）からの入力を受信、翻訳処理しユーザ端末Ｂ（１０４）へ送信、またはその逆をリアルタイムで実行する。さらに翻訳サーバ（１０３）はデータベース（１０６）にもネットワークを介し接続されており、データベース（１０６）内の人物情報に随時アクセスし翻訳処理に利用することが可能となっている。
【００２０】
図２は本実施例のシステムの機能構成を示すブロック図である。
【００２１】
ここで撮影手段Ａ（２０２）、表示手段Ａ（２０３）、音声入出力手段Ａ（２０４）の各手段は図１中のユーザ端末Ａ（１０２）内の機能であり、画像解析手段（２０５）、翻訳手段（２０６）、データベース検索手段（２０７）は翻訳サーバ（１０３）内、および撮影手段Ｂ（２０８）、表示手段Ｂ（２０９）、音声入出力手段Ｂ（２１０）はユーザ端末Ｂ（１０４）の有する機能であるとし、それぞれの機器間におけるデータのやり取りはネットワークを介して行われるものとする。
【００２２】
撮影手段Ａ（２０２）および撮影手段Ｂ（２０８）はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった光電変換素子を利用した撮影装置であり、ユーザ端末Ａ（１０２）およびユーザ端末Ｂ（１０４）それぞれを操作するユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の少なくとも顔を含む外見の撮影を行う。表示手段Ａ（２０３）および表示手段Ｂ（２０９）はＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、液晶、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いたディスプレイ装置であり、前述の撮影画像と、後述する画像解析手段（２０５）によって抽出されたユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の人物概要、データベース検索手段（２０７）によってデータベース（２１２）より検索されたさらに詳細な人物情報、および翻訳手段（２０６）によって出力された翻訳出力などさまざまな情報の表示を行う。音声入出力手段Ａ（２０４）および音声入出力手段Ｂ（２１０）はマイクロフォンおよびスピーカを有する音声入出力装置でありユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の音声入力を翻訳手段（２０６）へ入力する機能と、翻訳装置（２０６）からの翻訳出力、前記人物概要および詳細な人物情報をユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）へ音声によって出力する機能を有している。画像解析装置（２０５）およびデータベース検索手段（２０７）は連携して、撮影手段Ａ（２０２）および撮影手段Ｂ（２０８）によって撮影されたユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の撮影画像の解析を行って人物概要を抽出し、さらにそれら人物概要をキーワードとしてデータベース（２１２）より、より詳細な人物情報を検索することでユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の人物像の特定を行う。このようにして収集されたユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）の人物概要および詳細な人物情報を用いて翻訳手段（２０６）は、音声入出力手段Ａ（２０４）および音声入出力手段Ｂ（２１０）より入力される音声データの翻訳処理を行い、再び音声入出力手段Ａおよび音声入出力手段Ｂおよび／または表示装置Ａ（２０３）および表示装置Ｂ２０９を介してユーザＡ（１０１、２０１）およびユーザＢ（１０５、２１１）に翻訳の出力を行う。
【００２３】
次に本実施例において行われる翻訳処理の詳細について図３に示すフローチャートを用いて説明する。
【００２４】
まずお互いに会話を行うユーザＡ（２０１）およびユーザＢ（２１１）がシステムを起動する（Ｓ３０１）と撮影手段Ａ（２０２）および撮影手段Ｂ（２０８）はユーザＡ（２０１）およびユーザＢ（２１１）の少なくとも顔を含む外見の撮影をそれぞれ行う（Ｓ３０２）。撮影された画像は各々画像解析手段（２０５）へ送信され、そこで画像の色情報、輝度情報、周波数情報、パターンの規則性情報等を解析することで予め定義された人物概要が抽出される（Ｓ３０３）。ここでいう予め定義された人物概要とは例えば人種、性別、年齢、顔の相関を測るための特徴、喜怒哀楽等の感情状態およびジェスチャ等である。さらにこれら人物概要を得るための画像解析に用いる画像内の各種情報および画像解析処理手法は上記のものに限定はなく、よく知られたヒストグラム法、エッジ抽出法、２値化法、パターンマッチング法等の手法を単独または複数組み合わせて実行してもよい。さらにこのようにして得られたユーザの人物概要を用いてデータベース検索手段（２０７）はデータベース（２１２）内の人物情報との照合処理を実行する（Ｓ３０４）。データベース２１２内には予め前述のような定義された人物概要をキーにもつ検索可能な多数の人物に関する情報が保存されており画像解析手段（２０５）によって得られた人物概要を用いた照合処理によりデータベース内に存在する最も人物概要の近い人物が検索される。このときのデータベース検索手段（２０７）による検索手法は例えば人物概要の各項目に対する照合結果に応じた得点制などが考えられる。複数の人物概要の照合結果が近い、すなわち得点の合計が最も高い人物情報をユーザに提示してもよいし、得点の上位数名の中からユーザが任意に選択できるよう提示してもよい。これにより会話を行うユーザ２人はお互いの撮影画像解析（Ｓ３０３）により得られた人物概要およびデータベース検索（Ｓ３０４）により得られた人物情報を表示手段Ａ（２０３）、表示手段Ｂ（２０９）および／または音声入出力手段Ａ（２０４）、音声入出力手段Ｂ（２１０）で確認することが可能となる（Ｓ３０５）。なおユーザの撮影は常に行われており画像中の大きな変化を検知し画像解析を再び行うことでユーザの感情の変化や入れ替え等に即座に対応する常時監視処理が組まれている（Ｓ３０６）。以上の処理によりシステムはユーザ２人に関する人物概要およびより詳細な人物情報のリストアップを完了する。またＳ３０３〜Ｓ３０５で人物概要および詳細な人物情報がなんらかの理由で得られない場合はその旨表示装置Ａ（２０３）、表示装置Ｂ（２０９）および／または音声入出力手段Ａ（２０４）、音声入出力手段Ｂ（２１０）を通してユーザに伝えられる。
【００２５】
つづいてユーザによる音声入力が行われる（Ｓ３０７）。ここでは例としてユーザＡ（２０１）が発した音声をユーザＢ（２１１）に翻訳出力する処理を想定して説明する。ユーザＡ（２０１）によって発せられた音声は音声入出力手段Ａ（２０４）内のマイクロフォンを介して翻訳手段（２０６）に送信されそこでまずテキスト情報に変換される。このような音声／テキスト変換に用いる自然言語処理に関してはさまざまな手法が提案されているがここではとくに限定はしない。つづいて変換されたテキスト情報はユーザＡ（２０１）の使用する言語からユーザＢ（２１１）の使用する言語に翻訳されるわけであるがその前段でＳ３０５においてリストアップされたユーザＡ（２０１）およびユーザＢ（２１１）に関する人物情報の比較が行われる（Ｓ３０８）。具体的には年齢の比較による敬語使用の有無、性別の比較による敬称の区別、人種による訛り等の付加、感情やジェスチャによる表現の変化といったユーザ間の人物概要および詳細な人物情報の比較結果を参照して翻訳が実行される（Ｓ３０９）。翻訳に利用されるアルゴリズムも言語毎にさまざまな手法が提案されているがここではとくに限定はしない。またユーザＢ（２１１）の名前の呼び間違えやふさわしくない言葉遣いなどが検出された場合は自動的に内容の修正が行われるとともに修正情報を発言者であるユーザＡの表示装置Ａ（２０３）に提示することでユーザＡが誤りに気付くよう働きかける。このようにして翻訳されたテキスト情報は再び音声情報へと変換され用意された合成音声などを使用して音声入出力手段Ｂ（２１０）を介してユーザＢ（２１１）へと伝えられる（Ｓ３１０）。当然音声出力に加えてテキスト情報のまま表示手段Ｂ（２０９）を介してユーザＢ（２１１）に出力してもよい。さらに言うならばユーザＡ（２０１）は音声入力の代わりにテキスト情報を翻訳対象として入力してもよい。以上のようにしてユーザＡ（２０１）が発した音声（または入力したテキスト）情報はユーザＡ（２０１）およびユーザＢ（２１１）それぞれの人物像を考慮した翻訳が行われ、ユーザＢ（２１１）に伝えられる。いうまでもなくユーザＢ（２１１）からユーザＡ（２０１）への発言もまったく同様の処理で説明することができる。ここで会話が終了したのであればシステムは会話の終了を判断し（Ｓ３１２）、継続する場合はＳ３０６からＳ３１０の翻訳処理を繰り返す。
【００２６】
また会話を行う人物の人物情報に関してユーザによる入力および会話内容の分析からデータベース（２１２）へ内容の更新を随時行ってもよい。さらにユーザによる誤りや発言のクセ等の履歴を記録して次回システム使用時に提示することでユーザに注意を喚起するよう働きかけることも可能である。
【００２７】
本実施例においては図１に示すようにユーザＡ（１０１）およびユーザＢ（１０５）のインターフェースとしてのユーザ端末Ａ（１０２）およびユーザ端末Ｂ（１０４）と翻訳サーバ（１０３）およびデータベース（１０６）がそれぞれネットワークによって接続されているシステムを想定した。しかしながら本実施例の説明は図１のシステムに限定したものではなく例えばユーザ端末が翻訳サーバと同一のハードウェアとして構成されるシステム（図４）、データベースが翻訳サーバ内に含まれるシステム（図５）、ユーザ端末およびデータベースが共に翻訳サーバ内に含まれるシステム（図６）、または複数のデータベースにアクセスするシステム（図７）、翻訳サーバ、データベース共に複数アクセスするシステム（図８）などに応用可能なことは言うまでもない。さらに本実施例においては会話を行う人物を２人として説明を行ったがこれもこの限りではなく図９に示すような２人より多いシステムにおいても本実施例の説明が容易に適用できる。
【００２８】
【発明の効果】
以上述べたように本発明によれば、異なる言語で会話を行う人物の外見画像を取得し、解析・検索して得たそれぞれの人物像に応じた翻訳を行うことで、よりリアルで違和感のない会話を提供することが可能となった。
【図面の簡単な説明】
【図１】翻訳システムの概要を示す概略図
【図２】翻訳システムの機能構成を示すブロック図
【図３】実施例の翻訳処理を表すフローチャート
【図４】ユーザ端末が翻訳サーバと同一のハードウェアとして構成される翻訳システムの形態を示す概略図
【図５】データベースが翻訳サーバ内に含まれる翻訳システムの形態を示す概略図
【図６】ユーザ端末およびデータベースが共に翻訳サーバ内に含まれる翻訳システムの形態を示す概略図
【図７】複数のデータベースにアクセスする翻訳システムの形態を示す概略図
【図８】翻訳サーバ、データベース共に複数アクセスする翻訳システムの形態を示す概略図
【図９】ユーザが２人より多い翻訳システムの形態を示す概略図
【符号の説明】
１０１　ユーザＡ
１０２　ユーザ端末Ａ
１０３　翻訳サーバ
１０４　ユーザ端末Ｂ
１０５　ユーザＢ
１０６　データベース
【図１】
2004078528.tif 000003
【図２】
2004078528.tif 000004
【図３】
2004078528.tif 000005
【図４】
2004078528.tif 000006
【図５】
2004078528.tif 000007
【図６】
2004078528.tif 000008
【図７】
2004078528.tif 000009
【図８】
2004078528.tif 000010
【図９】
2004078528.tif 000011