(57)【要約】【課題】  相手との意思の疎通を十分に図ることのできるマルチメディア翻訳機を提供する。【解決手段】  マルチメディア翻訳機４は、マルチメディアデータを受け取るデータ受取部３０と、データ受取部３０が受け取ったマルチメディアデータの中から所定言語からなる情報を抽出するデータ解析部３１と、データ解析部３１が抽出した所定言語のデータを別の所定言語に翻訳する文字翻訳部３５と、文字翻訳部３５が翻訳したデータを、受け取ったマルチメディアデータに結合するデータ結合部３７と、データ結合部３７が結合したマルチメディアデータを送り出すデータ送出部３８とを備える。【選択図】  図１
2005167500.tif 000002
【特許請求の範囲】
【請求項１】
表現形態がそれぞれ画像、音声、および文字である画像データ、音声データ、および文字データの中の少なくとも１つを含むマルチメディアデータの翻訳を行うマルチメディア翻訳機であって、
上記マルチメディアデータを受け取る受取手段と、
該受取手段が受け取ったマルチメディアデータの中から所定言語からなる情報を抽出する言語情報抽出手段と、
該言語情報抽出手段が抽出した所定言語からなる情報を別の所定言語に翻訳する翻訳手段と、
該翻訳手段が翻訳したデータを、上記受取手段が受け取ったマルチメディアデータに結合する結合手段と、
該結合手段が結合したマルチメディアデータを送り出す送出手段とを備えることを特徴とするマルチメディア翻訳機。
【請求項２】
上記結合手段は、上記翻訳手段が翻訳したデータを、上記言語情報抽出手段が抽出したデータの表現形態とは異なる表現形態に変換し、変換したデータを、上記受取手段が受け取ったマルチメディアデータに結合するものであることを特徴とする請求項１に記載のマルチメディア翻訳機。
【請求項３】
上記受取手段が受け取ったマルチメディアデータに画像データが含まれており、かつ、上記結合手段が上記マルチメディアデータに結合するデータが画像データである場合には、上記結合手段は、上記マルチメディアデータの画像データに基づく画像における字幕領域に、上記マルチメディアデータに結合するデータに基づく画像を合成するようにデータ結合を行うことを特徴とする請求項１に記載のマルチメディア翻訳機。
【請求項４】
上記受取手段は、被翻訳言語および翻訳言語が設定された翻訳設定データをさらに受け取っており、
上記言語情報抽出手段は、該受取手段が受け取ったマルチメディアデータの中から、翻訳設定データに設定された被翻訳言語のデータを抽出するものであり、
上記翻訳手段は、上記言語情報抽出手段が抽出したデータを、翻訳設定データに設定された翻訳言語に翻訳するものであることを特徴とする請求項１に記載のマルチメディア翻訳機。
【請求項５】
上記翻訳手段は、上記言語情報抽出手段が抽出した所定言語からなる情報を文字形態のデータに変換してから別の所定言語に翻訳することを特徴とする請求項１に記載のマルチメディア翻訳機。
【請求項６】
マルチメディアデータを送信する送信元の通信端末と、
該送信元の通信端末が送信するマルチメディアデータを翻訳する請求項１ないし５の何れか１項に記載のマルチメディア翻訳機と、
該マルチメディア翻訳機が翻訳したマルチメディアデータを受信する送信先の通信端末とを備えることを特徴とする端末間翻訳システム。
【請求項７】
上記送信元および送信先の通信端末は、携帯電話端末であることを特徴とする請求項６に記載の端末間翻訳システム。
【請求項８】
表現形態がそれぞれ画像、音声、および文字である画像データ、音声データ、および文字データの中の少なくとも１つを含むマルチメディアデータの翻訳を行うマルチメディア翻訳機の制御方法であって、
上記マルチメディアデータを受け取り、
受け取ったマルチメディアデータの中から所定言語からなる情報を抽出し、
抽出した所定言語からなる情報を別の所定言語に翻訳し、
翻訳したデータを、上記受け取ったマルチメディアデータに結合し、
結合したマルチメディアデータを送り出すことを特徴とするマルチメディア翻訳機の制御方法。
【請求項９】
請求項１ないし５の何れか１項に記載のマルチメディア翻訳機を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
【請求項１０】
請求項９に記載の制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表現形態がそれぞれ画像、音声および文字である画像データ、音声データ、および文字データの中の少なくとも１つを含むマルチメディアデータの翻訳を行うマルチメディア翻訳機、端末間翻訳システム、マルチメディア翻訳機の制御方法、制御プログラム、および該プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
近年、ＩＴ（情報技術）の進歩により、通信端末間において、文字データの送受信以外にも、画像データの送受信、音声データの送受信、音声と画像とを組み合わせたデータの送受信が行われており、通信端末間で多くのマルチメディアデータの送受信が可能となっている。
【０００３】
また、ＩＴのグローバル化に伴い、海外とのマルチメディアデータの送受信が活発に行われている。このため、マルチメディアデータを所望の言語に翻訳して出力することが望まれている。
【０００４】
例えば、下記の特許文献１には、携帯電話を利用して、異なる言語の携帯電話同士で通信者双方にあわせた言語翻訳を行い、スムーズにコミュニケーションをとることができる携帯端末間同時翻訳システムが記載されている。この携帯端末間同時翻訳システムは、通信形態が音声通信である場合には、音声言語変換を行う自動文節変換言語翻訳システムが選択され、該システムは、変換事例蓄積ＤＢ（データベース）を参照しながら言語変換を行い、変換後の情報を音声出力する。一方、通信形態が文字データの送受信である場合には、自動文節変換文字翻訳システムを選択し、変換事例蓄積データベースを参照しながら言語の翻訳を行っている。
【０００５】
また、音声通話においては、電話の三者通話機能を利用した電話での通訳サービスも開始されている。
【特許文献１】特開２００２−４４２４９号公報（２００２年２月８日公開）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１のような翻訳システムでは機械翻訳が利用されるが、現在の機械翻訳では、微妙なニュアンスを正確に伝えるまでには至っていないため、相手との意思の疎通を図るには不十分である。
【０００７】
また、電話の三者通話機能を利用した電話での通訳サービスを利用した場合、通訳者を必要とするため、費用負担が大きくなり、また時間の制約も発生する。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、相手との意思の疎通を十分に図ることのできるマルチメディア翻訳機などを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係るマルチメディア翻訳機は、表現形態がそれぞれ画像、音声、および文字である画像データ、音声データ、および文字データの中の少なくとも１つを含むマルチメディアデータの翻訳を行うマルチメディア翻訳機であって、上記マルチメディアデータを受け取る受取手段と、該受取手段が受け取ったマルチメディアデータの中から所定言語からなる情報を抽出する言語情報抽出手段と、該言語情報抽出手段が抽出した所定言語からなる情報を別の所定言語に翻訳する翻訳手段と、該翻訳手段が翻訳したデータを、上記受取手段が受け取ったマルチメディアデータに結合する結合手段と、該結合手段が結合したマルチメディアデータを送り出す送出手段とを備えることを特徴としている。
【００１０】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記結合手段は、上記翻訳手段が翻訳したデータを、上記言語情報抽出手段が抽出したデータの表現形態とは異なる表現形態に変換し、変換したデータを、上記受取手段が受け取ったマルチメディアデータに結合するものであることを特徴としている。
【００１１】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記受取手段が受け取ったマルチメディアデータに画像データが含まれており、かつ、上記結合手段が上記マルチメディアデータに結合するデータが画像データである場合には、上記結合手段は、上記マルチメディアデータの画像データに基づく画像における字幕領域に、上記マルチメディアデータに結合するデータに基づく画像を合成するようにデータ結合を行うことを特徴としている。
【００１２】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記受取手段は、被翻訳言語および翻訳言語が設定された翻訳設定データをさらに受け取っており、上記言語情報抽出手段は、該受取手段が受け取ったマルチメディアデータの中から、翻訳設定データに設定された被翻訳言語のデータを抽出するものであり、上記翻訳手段は、上記言語情報抽出手段が抽出したデータを、翻訳設定データに設定された翻訳言語に翻訳するものであることを特徴としている。
【００１３】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記翻訳手段は、上記言語情報抽出手段が抽出した所定言語からなる情報を文字形態のデータに変換してから別の所定言語に翻訳することを特徴としている。
【００１４】
また、本発明に係る端末間翻訳システムは、マルチメディアデータを送信する送信元の通信端末と、該送信元の通信端末が送信するマルチメディアデータを翻訳する上記構成のマルチメディア翻訳機と、該マルチメディア翻訳機が翻訳したマルチメディアデータを受信する送信先の通信端末とを備えることを特徴としている。
【００１５】
さらに、本発明に係る端末間翻訳システムは、上記の構成において、上記送信元および送信先の通信端末は、携帯電話端末であることを特徴としている。
【００１６】
また、本発明に係るマルチメディア翻訳機の制御方法は、表現形態がそれぞれ画像、音声、および文字である画像データ、音声データ、および文字データの中の少なくとも１つを含むマルチメディアデータの翻訳を行うマルチメディア翻訳機の制御方法であって、上記マルチメディアデータを受け取り、受け取ったマルチメディアデータの中から所定言語からなる情報を抽出し、抽出した所定言語からなる情報を別の所定言語に翻訳し、翻訳したデータを、上記受け取ったマルチメディアデータに結合し、結合したマルチメディアデータを送り出すことを特徴としている。
【００１７】
また、本発明に係る制御プログラムは、上記マルチメディア翻訳機を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラムであることを特徴としている。
【００１８】
また、本発明に係るコンピュータ読取り可能な記録媒体は、上記制御プログラムが記録されていることを特徴としている。
【発明の効果】
【００１９】
上記のように、本発明に係るマルチメディア翻訳機は、上記マルチメディアデータを受け取る受取手段と、該受取手段が受け取ったマルチメディアデータの中から所定言語からなる情報を抽出する言語情報抽出手段と、該言語情報抽出手段が抽出した所定言語からなる情報を別の所定言語に翻訳する翻訳手段と、該翻訳手段が翻訳したデータを、上記受取手段が受け取ったマルチメディアデータに結合する結合手段と、該結合手段が結合したマルチメディアデータを送り出す送出手段とを備える構成である。
【００２０】
上記の構成によると、翻訳したデータを元のマルチメディアデータに結合して送り出すので、翻訳したデータでは伝わりにくいニュアンスを元のマルチメディアデータで伝えることができるので、相手との意思の疎通を十分に図ることができるという効果を奏する。
【００２１】
なお、結合手段は、結合するデータどうしが同じ表現形態である場合には、データの合成を行うことになる。
【００２２】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記結合手段は、上記翻訳手段が翻訳したデータを、上記言語情報抽出手段が抽出したデータの表現形態とは異なる表現形態に変換し、変換したデータを、上記受取手段が受け取ったマルチメディアデータに結合する構成である。
【００２３】
上記の構成によると、上記翻訳手段が翻訳したデータを、言語情報抽出手段が抽出したデータすなわち翻訳前のデータとは異なる表現形態に変換してから元のマルチメディアデータに結合している。したがって、翻訳したデータは、翻訳前のデータとは別の表現形態であるため、結合手段が翻訳前のデータに翻訳したデータを合成することがなく、翻訳前のデータを損なうことを防止するという効果を奏する。
【００２４】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記受取手段が受け取ったマルチメディアデータに画像データが含まれており、かつ、上記結合手段が上記マルチメディアデータに結合するデータが画像データである場合には、上記結合手段は、上記マルチメディアデータの画像データに基づく画像における字幕領域に、上記マルチメディアデータに結合するデータに基づく画像を合成するようにデータ結合を行う構成である。
【００２５】
上記の構成によると、字幕領域に翻訳した言語が表示されるので、画像という同じ表現形態どうしで結合する場合でも、元の画像の情報を損なうことを防止するという効果を奏する。
【００２６】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記受取手段は、被翻訳言語および翻訳言語が設定された翻訳設定データをさらに受け取っており、上記言語情報抽出手段は、該受取手段が受け取ったマルチメディアデータの中から、翻訳設定データに設定された被翻訳言語のデータを抽出するものであり、上記翻訳手段は、上記言語情報抽出手段が抽出したデータを、翻訳設定データに設定された翻訳言語に翻訳するものである構成である。
【００２７】
上記の構成によると、翻訳設定データに基づいて翻訳が行われるので、利用者が所望するデータに対して利用者が所望する言語に翻訳できるという効果を奏する。
【００２８】
さらに、本発明に係るマルチメディア翻訳機は、上記の構成において、上記翻訳手段は、上記言語情報抽出手段が抽出した所定言語からなる情報を文字形態のデータに変換してから別の所定言語に翻訳する構成である。
【００２９】
上記の構成によると、翻訳手段は、文字形態のデータに対してのみ翻訳を行えばよいから、翻訳処理を簡略化できるという効果を奏する。
【００３０】
また、本発明に係る端末間翻訳システムは、マルチメディアデータを送信する送信元の通信端末と、該送信元の通信端末が送信するマルチメディアデータを翻訳する上記構成のマルチメディア翻訳機と、該マルチメディア翻訳機が翻訳したマルチメディアデータを受信する送信先の通信端末とを備える構成である。
【００３１】
これにより、上記構成の端末間翻訳システムにおいても上述の効果を奏することができる。なお、上記送信元および送信先の通信端末は、携帯電話端末であっても良い。
【００３２】
また、本発明に係るマルチメディア翻訳機の制御方法は、上記マルチメディアデータを受け取り、受け取ったマルチメディアデータの中から所定言語からなる情報を抽出し、抽出した所定言語からなる情報を別の所定言語に翻訳し、翻訳したデータを、上記受け取ったマルチメディアデータに結合し、結合したマルチメディアデータを送り出す方法である。
【００３３】
上記の方法によると、翻訳したデータを元のマルチメディアデータに結合して送り出すので、翻訳したデータでは伝わりにくいニュアンスを元のマルチメディアデータで伝えることができるので、相手との意思の疎通を十分に図ることができるという効果を奏する。
【００３４】
なお、上記マルチメディア翻訳機における各手段を、制御プログラムによりコンピュータ上で実行させることができる。
【００３５】
さらに、上記制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記制御プログラムを実行させることができる。
【発明を実施するための最良の形態】
【００３６】
〔実施の形態１〕
以下、本発明の一実施形態について図１ないし図７に基づいて説明する。図２は、本実施形態である端末間翻訳システムの概略構成を示している。図示のように、端末間翻訳システム１は、通信端末２・２とマルチメディア翻訳機４とが通信ネットワーク５を介して通信可能に接続された構成である。
【００３７】
マルチメディア翻訳機４は、マルチメディアデータを一方の通信端末２ａから通信ネットワーク５を介して受信し、受け取ったマルチメディアデータから文字情報や音声情報を抽出して所定言語に翻訳し、翻訳した文字情報や音声情報を元のマルチメディアデータに追加して通信ネットワーク５を介して他方の通信端末２ｂに送信するものである。なお、本願では、マルチメディアデータは、文字データ、音声データ、および画像データの中の少なくとも１つを含むデータを意味するとする。
【００３８】
マルチメディア翻訳機４により、一方の通信端末２ａからのマルチメディアデータに翻訳情報が追加されて他方の通信端末２ｂに送信されるので、従来よりも相手との意思の疎通を十分に行うことができる。
【００３９】
次に、通信端末２、マルチメディア翻訳機４、および通信ネットワーク５のそれぞれの詳細な構成を説明する。
【００４０】
通信端末２は、マルチメディアデータを通信ネットワーク５上に送信するとともに、通信ネットワーク５からマルチメディアデータを受信するものである。通信端末２としては、マルチメディアデータの送受信が可能な任意の装置を利用することができ、例えば、ＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistant）、固定電話機、携帯電話機、およびＰＨＳ（Personal Handy-phone System）が挙げられる。
【００４１】
また、通信端末２は、マルチメディア翻訳機４が翻訳を行うのに必要な各種の翻訳設定データを送信する。図３（ａ）および（ｂ）は、翻訳設定データに含まれる情報およびその例を示している。同図に示されるように、翻訳設定データには、送信元アドレス、送信先アドレス、通信形態、被翻訳言語、翻訳言語、被翻訳形態、および翻訳形態が含まれる。
【００４２】
送信元アドレスは、送信元の通信端末２ａの所在を識別する通信アドレスであり、送信先アドレスは、送信先の通信端末２ｂの所在を識別する通信アドレスである。送信元アドレスおよび送信先アドレスとしては、例えばメールアドレスやＩＰ（Internet Protocol）アドレスを利用することができる。また、通信端末２として電話端末を用いる場合には、送信元アドレスおよび送信先アドレスとして電話番号を利用することができる。
【００４３】
通信形態は、通信端末２・２間で行われる通信の形態を示しており、テレビ電話などのような双方向送信と、メール送信のような一方向送信と、放送のような同報送信との中から選択される。なお、双方向通信の場合には、送信元アドレスと送信先アドレスとを入れ替えたもう１つの設定データが作成されることになる。また、同報送信の場合には、送信先アドレスに複数の値が設定されることになる。
【００４４】
被翻訳言語は、翻訳対象となる言語を示しており、翻訳言語は、翻訳後の言語を示している。被翻訳言語および翻訳言語は、種々の言語の中から選択される。被翻訳形態は、翻訳対象となる表現形態を示しており、翻訳形態は、翻訳後の表現形態を示している。被翻訳形態および翻訳形態は、画像、音声、文字の中から選択される。
【００４５】
例えば図３（ｂ）に示される翻訳設定データの場合では、送信元アドレス（aaaa@bbb.co.jp）から送信先アドレス（cccc@ddd.co.jp）にマルチメディアデータを送信することが設定され、マルチメディアデータにおける日本語の音声データを英語に翻訳し、文字データとしてマルチメディアデータに追加することが設定されることになる。
【００４６】
上記のような翻訳設定データは、マルチメディアデータとともに、或いはマルチメディアデータの送信前に、送信元の通信端末２ａからマルチメディア翻訳機４に送信される。なお、複数のマルチメディアデータを送信する場合には、翻訳設定データは、各マルチメディアデータとともに送信されても良いし、最初のマルチメディアデータとともに、或いは最初のマルチメディアデータの送信前に送信されても良い。また、翻訳設定データのうち翻訳言語および翻訳形態は、送信先の通信端末２ｂの利用者が選択して、送信先の通信端末２ｂからマルチメディア翻訳機４に送信しても良い。
【００４７】
図２には、通信端末２の概略構成が示されている。同図を参照すると、通信端末２は、一般的なカメラ付き携帯電話端末と同様に、制御部１０、カメラ１１、マイク１２、操作部１３、ディスプレイ１４、スピーカ１５、記憶部１６、通信部１７を備える構成である。制御部１０は、通信端末２の各種構成の動作を統括的に制御するものである。
【００４８】
カメラ部１１は、被写体の撮影を行って画像データを生成し、生成した画像データを制御部１０に送信するものである。具体的には、カメラ部１１としては、被写体からの光を電気信号に変換するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）などの撮像素子と、該撮像素子からの電気信号をＲＧＢ各色のデジタル画像データに変換する画像処理回路とを備える構成が挙げられる。
【００４９】
マイク部１２は、音声を音声データに変換し、変換した音声データを制御部１０に送信することにより、音声の入力を行うものである。具体的には、マイク部１２は、音波を電気信号に変換するマイクロホンと、Ａ／Ｄ変換器、アンプなどからなり、マイクロホンからの電気信号をデジタル音声データに変換する音声入力処理回路とを備える構成である。
【００５０】
操作部１３は、利用者から各種の入力を受け付けるものであり、多数の操作用ボタンやタッチパネルやキーボードによって構成されている。操作部１３は、利用者の操作情報を操作データに変換して制御部１０に送信する。
【００５１】
ディスプレイ部１４は、制御部１０から画像データを受信し、受信した画像データに基づいて画像を表示する。具体的には、ディスプレイ１４は、プラズマディスプレイ、液晶ディスプレイ（ＬＣＤ）、ＥＬ（Electroluminescence）ディスプレイなどの表示素子と、受信した画像データに基づいて表示素子を駆動するドライバ回路とを備える構成である。
【００５２】
スピーカ部１５は、制御部１０から音声データを受信し、受信した音声データに基づいて音声を出力する。具体的には、スピーカ部１５は、Ｄ／Ａ変換器、アンプなどからなり、受信した音声データを電気信号に変換する音声出力処理回路と、電気信号を音波に変換するスピーカやイヤホンとを備える構成である。
【００５３】
記憶部１６は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクなどの記憶装置を備えるものである。記憶部１６に記憶される内容としては、制御部１０における各種構成の制御動作を行うための制御プログラム、ＯＳ(Operating System)プログラム、ならびにその他各種プログラムおよび各種データが挙げられる。さらに、本実施形態では、記憶部１６は自端末の通信アドレスを記憶している。
【００５４】
通信部１７は、通信ネットワーク５を介して他の通信端末２またはマルチメディア翻訳機４と通信を行うためのものである。通信部１７は、制御部１０から受信した各種データを、通信ネットワーク５上でのデータ通信に適した形式に変換した後、通信ネットワーク５上に送信する。また、通信部１７は、通信ネットワーク５上から受信した各種データを装置内部のデータ形式に変換した後、制御部１０に送信する。
【００５５】
通信ネットワーク５としては、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、付加価値通信網（Value Added Network）、ＣＡＴＶ（Cable Television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網など、公知の通信ネットワークを利用することができる。
【００５６】
次に、マルチメディア翻訳機４の構成について説明する。マルチメディア翻訳機４は、通信機能を備えた通常のコンピュータと同様の構成である。図２には、マルチメディア翻訳機４の概略構成が示されている。同図を参照すると、マルチメディア翻訳機４は、翻訳処理部２０、通信部２１、および翻訳ＤＢ２２を備える構成である。
【００５７】
翻訳処理部２０は、上述のように、通信部２１から受信したマルチメディアデータから文字情報などを抽出して所定言語に翻訳し、翻訳した文字情報などを元のマルチメディアデータに追加して通信部２１に送信するものである。翻訳処理部２０の機能は、例えばＲＡＭなどの記憶装置に記憶されたプログラムをＣＰＵが実行することによって実現される。なお、翻訳処理部２０の詳細な構成については後述する。
【００５８】
通信部２１は、通信ネットワーク５を介して通信端末２・２と通信を行うためのものである。通信部２１は、翻訳処理部２０から受信した各種データを、通信ネットワーク５上でのデータ通信に適した形式に変換した後、通信ネットワーク５上に送信する。また、通信部２１は、通信ネットワーク５上から受信した各種データを装置内部のデータ形式に変換した後、翻訳処理部２０に送信する。
【００５９】
翻訳ＤＢ２２は、ハードディスクなどの記憶装置に、翻訳処理部２０にて翻訳を行うのに必要な情報を格納したものであり、辞書データ、過去に行った言語変換の履歴データなどを格納している。
【００６０】
次に、翻訳処理部２０の詳細な構成について図１に基づいて説明する。図１は、翻訳処理部２０の概略構成を示している。図示のように、翻訳処理部２０は、データ受取部（受取手段）３０、データ解析部（言語情報抽出手段）３１、設定部３２、文字認識部（翻訳手段）３３、音声認識部（翻訳手段）３４、文字翻訳部（翻訳手段）３５、データ変換部（結合手段）３６、データ結合部（結合手段）３７、およびデータ送出部（送出手段）３８を備える構成である。
【００６１】
データ受取部３０は、通信部２１からマルチメディアデータおよび翻訳設定データを受信し、受信したデータをデータ解析部３１に送信するものである。
【００６２】
データ解析部３１は、データ受取部３０から受信したデータを解析して、該データがマルチメディアデータおよび翻訳設定データの何れであるかを判断する。翻訳設定データと判断した場合には、データ解析部３１は、翻訳設定データを翻訳設定部３２に送信する。これにより、翻訳設定部３２は、図３（ａ）に示されるような各種情報を設定する。
【００６３】
一方、マルチメディアデータと判断した場合には、データ解析部３１は、マルチメディアデータをデータ結合部３７に送信するとともに、翻訳設定部３２が設定した被翻訳形態のデータをマルチメディアデータから分離する。例えば、図３（ｂ）に示されるように、被翻訳形態が音声である場合には、データ解析部３１は、マルチメディアデータから音声データを分離する。
【００６４】
さらに、データ解析部３１は、分離したデータの表現形態に応じて、画像データであれば文字認識部３３に送信し、音声データであれば音声認識部３４に送信し、文字データであれば文字翻訳部３５に送信する。
【００６５】
文字認識部３３は、データ解析部３１から受信した画像データから、翻訳設定部３２が設定した被翻訳言語の文字を認識する。また、文字認識部３３は、認識した文字の文字データを作成して文字翻訳部３５に送信する。
【００６６】
音声認識部３４は、データ解析部３１から受信した音声データから、翻訳設定部３２が設定した被翻訳言語の音声を認識する。また、音声認識部３４は、認識した音声から文字データを作成して文字翻訳部３５に送信する。
【００６７】
文字翻訳部３５は、データ解析部３１、文字認識部３３、および音声認識部３４から受信した文字データの翻訳を行う。具体的には、文字翻訳部３５は、翻訳設定部３２が設定した被翻訳言語から、翻訳設定部３２が設定した翻訳言語に文字データの翻訳を行う。このとき、文字翻訳部３５は、必要であれば翻訳ＤＢ２２にアクセスして、辞書データ、過去に行った言語変換の履歴データなどを参照することができる。また、文字翻訳部３５は、翻訳した文字データをデータ変換部３６に送信する。
【００６８】
データ変換部３６は、文字翻訳部３５から受信した文字データを、翻訳設定部３２が設定した翻訳形態のデータに変換する。また、データ変換部３６は、変換したデータをデータ結合部３７に送信する。なお、文字データから画像データへの変換とは、文字コードで示される文字を実際の文字の画像に変換することを意味している。また、図３（ｂ）に示されるように、翻訳形態が文字データである場合には、データ変換部３６は、文字翻訳部３５から受信した文字データを変換することなくデータ結合部３７に送信する。
【００６９】
データ結合部３７は、データ解析部３１から受信したマルチメディアデータに、データ変換部３６から受信したデータを結合する。また、データ結合部３７は、結合したマルチメディアデータをデータ送出部３８に送信する。
【００７０】
このとき、データ変換部３６からのデータと同じ表現形態のデータを上記マルチメディアデータが含む場合には、同じ表現形態のデータどうしで合成を行うことによりマルチメディアデータへの結合が行われる。例えば、マルチメディアデータが画像データを含んでおり、データ変換部３６からのデータが画像データである場合には、画像データどうしの合成を行うことによりマルチメディアデータへの結合が行われることになる。一方、データ変換部３６からのデータと同じ表現形態のデータを上記マルチメディアデータが含まない場合には、データ変換部３６からのデータを上記マルチメディアデータに追加することによりマルチメディアデータへの結合が行われる。
【００７１】
データ送出部３８は、データ結合部３７から受信したマルチメディアデータに、翻訳設定部３２が設定した送信先アドレスを追加して通信部２１に送り出す。これにより、翻訳され、結合されたマルチメディアデータがマルチメディア翻訳機４から上記送信先アドレスを有する送信先の通信端末２ｂに送信されることになる。なお、翻訳に失敗したなどのエラーが発生した場合には、データ送出部３８は、翻訳設定部３２が設定した送信元アドレスにエラーメッセージを送信することが望ましい。
【００７２】
上記構成の端末間翻訳システム１におけるマルチメディア翻訳機４の処理動作について、図４に基づいて説明する。図４は、マルチメディア翻訳機４において外部からデータを受信した場合の処理動作を示している。
【００７３】
まず、データ受取部３０にてデータを受信すると、受信したデータが翻訳設定データであるかマルチメディアデータであるかをデータ解析部３１にて判断する（ステップＳ１０（以下「Ｓ１０」と略称することがある。他のステップについても同様である。））。翻訳設定データと判断した場合には、翻訳設定データにより翻訳設定部３２の設定を行った後（Ｓ１１）、処理を終了する。
【００７４】
一方、マルチメディアデータと判断した場合には、翻訳設定部３２にて設定された被翻訳形態が画像であるか、音声であるか、文字であるかをデータ解析部３１にて判断する（Ｓ１２）。被翻訳形態が画像である場合には、データ解析部３１にてマルチメディアデータから画像データを分離し（Ｓ１３）、分離した画像データに対し、翻訳設定部３２にて設定された被翻訳言語の文字を文字認識部３３にて認識し、認識した文字データを作成する（Ｓ１４）。
【００７５】
一方、被翻訳形態が音声である場合には、データ解析部３１にてマルチメディアデータから音声データを分離し（Ｓ１５）、分離した音声データに対し、翻訳設定部３２にて設定された被翻訳言語の音声を音声認識部３４にて認識し、認識した文字データを作成する（Ｓ１６）。そして、被翻訳形態が文字である場合には、データ解析部３１にてマルチメディアデータから文字データを分離する（Ｓ１７）。
【００７６】
次に、ステップＳ１４・Ｓ１６・Ｓ１７にて作成または分離された被翻訳言語の文字データを翻訳設定部３２にて設定された翻訳言語の文字データに文字翻訳部３５にて翻訳する（Ｓ１８）。次に、翻訳した文字データを、翻訳設定部３２にて設定された翻訳形態のデータにデータ変換部３６にて変換する（Ｓ１９）。そして、変換したデータを元のマルチメディアデータにデータ結合部３７にて結合し、結合したマルチメディアデータを送信先の通信端末２ｂに送信する（Ｓ２０）。その後、処理を終了する。
【００７７】
以上のような端末間翻訳システム１において、送信元の通信端末２ａがマルチメディア翻訳機４に送信するマルチメディアデータに対し、マルチメディア翻訳機４がどのようなマルチメディアデータを送信先の通信端末２ｂに送信するかについて、図５〜図７に示される例に基づいて説明する。なお、図５〜図７において音声は吹き出しで示されている。
【００７８】
図５（ａ）は、送信元の通信端末２ａがマルチメディア翻訳機４に送信する一マルチメディアデータの内容を示している。図示のように、マルチメディアデータは、画像データと音声データとを含んでいる。
【００７９】
一方、図５（ｂ）は、マルチメディア翻訳機４が、同図（ａ）に示されるマルチメディアデータにおける英語の音声データを日本語の画像データに翻訳かつ変換し、変換した画像データを上記マルチメディアデータに結合して、送信先の通信端末２ｂに送信するマルチメディアデータの内容を示している。すなわち、同図（ａ）に示される画像に、「私は東京に住んでいます。」という日本語の文字の画像を合成することにより、日本語の画像データのマルチメディアデータへの結合が行われ、同図（ｂ）に示される画像が得られる。
【００８０】
図示のように、英語の音声の内容を日本語の文字で画像中に表示することにより、英語が理解できなくても日本語が理解できる者であれば、音声の内容を理解することができる。しかしながら、文字だけでは、音声の内容について送信元の通信端末２ａの利用者がどのような感情を抱いているかを把握することができない。
【００８１】
これに対し、本実施例では、図５（ｂ）に示されるように、元のマルチメディアデータにおける音声データおよび画像データも送信先の通信端末２ｂに送信されるので、音声の抑揚や画像中の人物の表情から送信元の通信端末２ａの利用者の感情を読み取ることができ、従来よりも的確な意思の疎通を図ることができる。
【００８２】
なお、同図（ａ）に示される画像に、日本語の文字の画像を合成するときには、同図（ａ）に示される画像から得られる情報を損なわないように、日本語の文字の画像を表示領域の端部に表示するように画像合成を行うことが望ましい。また、表示領域に字幕領域が存在する場合には、日本語の文字の画像を字幕領域に表示するように画像合成を行うことが望ましい。
【００８３】
図６（ａ）は、送信元の通信端末２ａがマルチメディア翻訳機４に送信する別のマルチメディアデータの内容を示している。図示のように、マルチメディアデータは、画像データのみを含んでおり、画像中には日本語で書かれた看板の画像を含んでいる。
【００８４】
一方、図６（ｂ）は、マルチメディア翻訳機４が、同図（ａ）に示されるマルチメディアデータにおける日本語の画像データを英語の音声データに翻訳かつ変換し、変換した音声データを上記マルチメディアデータに結合して、送信先の通信端末２ｂに送信するマルチメディアデータの内容を示している。すなわち、同図（ａ）に示される画像に、「I live in Tokyo.」という英語の音声を追加することにより、同図（ｂ）に示されるマルチメディアデータの内容が得られる。
【００８５】
一方、図６（ｃ）は、マルチメディア翻訳機４が、同図（ａ）に示されるマルチメディアデータにおける日本語の画像データを英語の画像データに翻訳かつ変換し、変換した画像データを上記マルチメディアデータに結合して、送信先の通信端末２ｂに送信するマルチメディアデータの内容を示している。すなわち、同図（ａ）に示される画像に、「I live in Tokyo.」という英語の文字画像を追加することにより、同図（ｃ）に示されるマルチメディアデータの内容が得られる。
【００８６】
一方、図６（ｄ）は、マルチメディア翻訳機４が、同図（ａ）に示されるマルチメディアデータにおける日本語の画像データを英語の文字データに翻訳かつ変換し、変換した文字データを上記マルチメディアデータに結合して、送信先の通信端末２ｂに送信するマルチメディアデータの内容を示している。すなわち、同図（ａ）に示される画像データに、「I live in Tokyo.」という英語の文字データを追加することにより、同図（ｄ）に示されるマルチメディアデータの内容が得られる。なお、この場合には、英語の文字データを電子メールのデータとし、画像データを電子メールに添付するデータとすることができる。
【００８７】
図７（ａ）は、送信元の通信端末２ａがマルチメディア翻訳機４に送信する他のマルチメディアデータの内容を示している。図示のように、マルチメディアデータは、英語の文字データからなる電子メールに画像データを添付した形態となっている。
【００８８】
一方、図６（ｂ）は、マルチメディア翻訳機４が、同図（ａ）に示されるマルチメディアデータにおける英語の文字データを日本語の画像データに翻訳かつ変換し、変換した画像データを上記マルチメディアデータに結合して、送信先の通信端末２ｂに送信するマルチメディアデータの内容を示している。すなわち、同図（ａ）に示される画像に、「私は東京に住んでいます。」という日本語の文字の画像を合成することにより、日本語の画像データのマルチメディアデータへの結合が行われ、同図（ｂ）に示される画像が得られる。
【００８９】
〔実施の形態２〕
次に、本発明の他の実施形態について図８に基づいて説明する。本実施形態は、上記の端末間翻訳システム１を携帯電話システムに適用したものである。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
【００９０】
図８は、本実施形態の携帯電話システム５０の概略構成を示している。図示のように、携帯電話システム５０は、通信端末である携帯電話端末５１・５１と、携帯電話端末５１・５１と無線通信を行う無線基地局５２・５２と、マルチメディア翻訳機４とを備える構成である。すなわち、マルチメディア翻訳機４は、無線基地局５２・５２間に設けられる中継局に設けられることになる。なお、マルチメディア翻訳機４を無線基地局５２に設けても良い。
【００９１】
上記構成の携帯電話システム５０における動作について説明する。まず、携帯電話端末５１の利用者が携帯電話端末５１に付属するカメラおよびマイクロホンを用いて動画の撮影を行うことにより、携帯電話端末５１は動画データを作成する。なお、ここでの動画データは、動画像だけでなく音声も含むものである。次に、携帯電話端末５１は、作成した動画データを、テレビ電話の形態で、或いは電子メールに添付する形態で、無線基地局５２を介してマルチメディア翻訳機４に転送する。
【００９２】
また、携帯電話端末５１の利用者が携帯電話端末５１を操作することにより、上記の翻訳設定データを作成する。そして、携帯電話端末５１は、作成した翻訳設定データを上記の動画データとともに、無線基地局５２を介してマルチメディア翻訳機４に送信する。なお、電話システムの場合には、端末間が回線接続されているため、翻訳設定データが送信元アドレスや送信先アドレスを含む必要はない。
【００９３】
マルチメディア翻訳機４は、受信した翻訳設定データに基づいて、動画データに対して翻訳を行う。このとき、動画像の翻訳は、所定時間ごとに静止画像を抽出したり、キーとなる静止画像を抽出したりすることによって抽出した静止画像に対して行われる。そして、マルチメディア翻訳機４は、翻訳後の動画データを無線基地局５２を介して相手の携帯電話端末５１に送信する。
【００９４】
なお、テレビ電話の場合には、携帯電話端末５１・５１どうしが動画データの送受信を行うため、マルチメディア翻訳機４は、一方の携帯電話端末５１から他方の携帯電話端末５１に送信する動画データだけでなく、他方の携帯電話端末５１から一方の携帯電話端末５１から他方の携帯電話端末５１に送信する動画データに対しても翻訳を行うことになる。
【００９５】
なお、本発明は上記の実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。
【００９６】
例えば、上記の実施形態では、画像、音声、および文字のうち何れかの表現形態についてのみ翻訳を行っているが、複数の表現形態に対して翻訳を行うこともできる。
【００９７】
ところで、現在、インターネットなどで利用されている電子メールでは、文字のみでは伝え難いニュアンスを伝えるために、顔文字（emotion）を使用することがある。この顔文字も言語と同様に国や文化によって異なることが多い。そこで、上記マルチメディア翻訳機４は、顔文字の翻訳を行っても良い。
【００９８】
また、マルチメディア翻訳機４の翻訳処理部２０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【００９９】
すなわち、マルチメディア翻訳機４は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるマルチメディア翻訳機４の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記携帯電話機２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１００】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フレキシブルディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１０１】
また、マルチメディア翻訳機４を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。
【産業上の利用可能性】
【０１０２】
サーバやインターネット上のサイトから通信端末にダウンロードするマルチメディアデータに対して翻訳を行う用途にも適用することができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の一実施形態である端末間翻訳システムにおけるマルチメディア翻訳機の概略構成を示すブロック図である。
【図２】上記端末間翻訳システムの概略構成を示すブロック図である。
【図３】上記マルチメディア翻訳機にて用いられる翻訳設定データの内容を表形式で示す図である。
【図４】上記マルチメディア翻訳機の処理動作を示すフローチャートである。
【図５】同図（ａ）は、送信元の通信端末がマルチメディア翻訳機に送信する一マルチメディアデータの内容を示す図であり、同図（ｂ）は、マルチメディア翻訳機が送信先の通信端末に送信するマルチメディアデータの内容を示す図である。
【図６】同図（ａ）は、送信元の通信端末がマルチメディア翻訳機に送信する別のマルチメディアデータの内容を示す図であり、同図（ｂ）〜（ｄ）は、マルチメディア翻訳機が送信先の通信端末に送信するマルチメディアデータの内容を示す図である。
【図７】同図（ａ）は、送信元の通信端末がマルチメディア翻訳機に送信する他のマルチメディアデータの内容を示す図であり、同図（ｂ）は、マルチメディア翻訳機が送信先の通信端末に送信するマルチメディアデータの内容を示す図である。
【図８】上記端末間翻訳システムを携帯電話システムに適用した場合の概略構成を示すブロック図である。
【符号の説明】
【０１０４】
１    端末間翻訳システム
２    通信端末
４    マルチメディア翻訳機
３０    データ受取部（受取手段）
３１    データ解析部（言語情報抽出手段）
３３    文字認識部（翻訳手段）
３４    音声認識部（翻訳手段）
３５    文字翻訳部（翻訳手段）
３６    データ変換部（結合手段）
３７    データ結合部（結合手段）
３８    データ送出部（送出手段）
５０    携帯電話システム（端末間翻訳システム）
５１    携帯電話端末
【図１】
2005167500.tif 000003
【図２】
2005167500.tif 000004
【図３】
2005167500.tif 000005
【図４】
2005167500.tif 000006
【図５】
2005167500.tif 000007
【図６】
2005167500.tif 000008
【図７】
2005167500.tif 000009
【図８】
2005167500.tif 000010