(57)【要約】【課題】  訳語を表示させる前の画像と訳語を表示させた後の画像を比較することによって、表示している原文の文字列と訳語の文字列の内容に齟齬が生じた場合に、自動的に素早く解決することができる翻訳装置を実現することにある。【解決手段】  表示画像データを取得する表示画像データ取得部１６と、表示画像データ取得部１６で取得した表示画像データに含まれる文字列を認識する文字認識部１７と、文字認識部１７が認識した文字列を翻訳する翻訳処理部１８と、表示画像データ取得部１６が取得した複数の画像データを比較する比較部２１を備え、文字列に訳語を対応付けて表示させる翻訳装置１０であって、複数の画像データは、訳語を表示させる前の表示画像データと訳語を表示させた後の表示画像データを含み、比較部２１において、訳語を表示させる前後の表示画像データに変化があると判定された場合、翻訳処理部１８は、翻訳処理を再度行うことを特徴とする。【選択図】  図１
2014016759.tif 000002
【特許請求の範囲】
【請求項１】
表示画像データを取得する表示画像データ取得部と、
前記表示画像データ取得部で取得した表示画像データに含まれる文字列を認識する文字認識部と、
前記文字認識部が認識した前記文字列を翻訳する翻訳処理部と、
前記表示画像データ取得部が取得した複数の画像データを比較する比較部を備え、
前記文字列に訳語を対応付けて表示させる翻訳装置であって、
前記複数の画像データは、訳語を表示させる前の表示画像データと訳語を表示させた後の表示画像データを含み、
前記比較部において、訳語を表示させる前後の前記表示画像データに変化があると判定された場合、前記翻訳処理部は、翻訳処理を再度行うことを特徴とする翻訳装置。
【請求項２】
前記比較部において、訳語を表示させる前後の前記表示画像データに変化がないと判定された場合、
前記表示画像データ取得部は、所定時間の後、新たな表示画像データを取得し、
前記比較部は、前記新たな表示画像データと前記訳語を表示させた後の表示画像データを比較することを特徴とする請求項１に記載の翻訳装置。
【請求項３】
前記翻訳装置は、記憶手段を備え、
前記記憶手段は、前記表示画像データ取得部が取得した表示画像データと、前記訳語の文字列や位置情報からなる翻訳結果データを記憶することを特徴とする請求項１または２に記載の翻訳装置。
【請求項４】
前記比較部は、前記記憶手段に記憶されている、前記訳語を表示させる前の表示画像データ、前記訳語を表示させた後の表示画像データ及び前記翻訳結果データを用いて比較することを特徴とする請求項１から３のいずれかに記載の翻訳装置。
【請求項５】
表示画像データに含まれる文字列に訳語を対応付けて表示させる翻訳方法であって、
訳語を表示させる前の表示画像データを取得するステップと、
前記表示画像データに含まれる文字列を翻訳するステップと、
前記表示画像データに含まれる文字列に訳語を対応付けて表示させるステップと、
訳語を表示させた後の表示画像データを取得するステップと、
前記訳語を表示させる前の表示画像データと、前記訳語を表示させた後の表示画像データを比較するステップと、
前記比較するステップで変化があると判定された場合、前記訳語を表示させる前の表示画像データを取得するステップに戻すステップとを有することを特徴とする翻訳方法。
【請求項６】
前記比較するステップで変化がないと判定された場合、一定時間待機するステップと、
表示されている画像の新たな表示画像データを取得するステップと、
前記新たな表示画像データと前記訳語を表示させた後の表示画像データを比較するステップとを有し、
前記比較するステップで変化があると判定されるまで、上記の３つのステップを繰り返すことを特徴とする請求項５に記載の翻訳方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、翻訳対象である文書画面に表示されている文字列を翻訳する翻訳装置に関するものである。
【背景技術】
【０００２】
国際学会や国際会議などにおけるプレゼンテーションでは、液晶などの大型ディスプレイやプロジェクタなどの投影機で資料を表示させて説明するのが一般的である。説明の際、発表者が話している内容は、通訳を介して翻訳される。しかし、表示されている資料は、通常翻訳されることはなく、その言語がわからない聴講者にとっては、理解が十分とは言い難かった。
【０００３】
これを解決するため、特許文献１では、大型ディスプレイやプロジェクタによって表示するスライド画像に記載された文字列を翻訳し、訳語を文字列と対応付けて表示させる翻訳装置が開示されており、図６は、特許文献１の翻訳装置の機能ブロック図である。特許文献１の翻訳装置は、ディスプレイに表示するスライド画像の表示画面を定期的に表示画像データとして取得し記憶部に保存する表示画像データ取得部１０１と、表示画面に記載された文字列の領域を検出するために、表示画像データから表示画面の変化の無い領域を検出する無変化領域検出部１０２と、検出された無変化領域に記載された文字列を翻訳する翻訳処理部１０３を備える。
【０００４】
無変化領域検出部１０２は、定期的に取得される表示画像データを比較することにより、無変化領域を検出する。そのため、ページ送り等で文字列が更新された場合でも、無変化領域の検出を定期的に繰り返すことで、更新された文字列の翻訳を適切に行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−５８９４７号公報（平成２４年３月２２日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の翻訳装置では、文字列が更新されてから訳語が表示されるまでに時間がかかってしまう。特許文献１の翻訳装置で翻訳されるためには、その文字列が無変化領域に含まれる必要がある。しかし、文字列が更新された直後の無変化領域検出時では、変化した領域とみなされるため、無変化領域に含まれない。無変化領域に含まれるためには、再度、無変化領域検出を行う必要がある。これらのことから、特許文献１の翻訳装置では、文字列が更新されてから訳語が表示されるまで、少なくとも２度の無変化領域検出を行う必要があり、訳語の更新に時間がかかってしまうという課題があった。
【０００７】
さらに、元々表示していた第１の言語の文字列から新たな文字列に変化した場合は、新たな文字列の訳語が表示されるまで、以前の文字列の訳語が表示されているため、聴講者に誤解を生じさせてしまう可能性があった。
【０００８】
本発明は、このような課題に鑑みてなされたものであり、その目的は、訳語を表示させる前の画像と訳語を表示させた後の画像を比較することによって、表示している原文の文字列と訳語の文字列の内容に齟齬が生じた場合に、自動的に素早く解決することができる翻訳装置を実現することにある。
【課題を解決するための手段】
【０００９】
本発明に係る翻訳装置は、表示画像データを取得する表示画像データ取得部と、表示画像データ取得部で取得した表示画像データに含まれる文字列を認識する文字認識部と、文字認識部が認識した文字列を翻訳する翻訳処理部と、表示画像データ取得部が取得した複数の画像データを比較する比較部を備え、文字列に訳語を対応付けて表示させる翻訳装置であって、複数の画像データは、訳語を表示させる前の表示画像データと訳語を表示させた後の表示画像データを含み、比較部において、訳語を表示させる前後の表示画像データに変化があると判定された場合、翻訳処理部は、翻訳処理を再度行うことを特徴とする。
【００１０】
また、比較部において、訳語を表示させる前後の表示画像データに変化がないと判定された場合、表示画像データ取得部は、所定時間の後、新たな表示画像データを取得し、比較部は、新たな表示画像データと訳語を表示させた後の表示画像データを比較することを特徴としても良い。また、翻訳装置は、記憶手段を備え、記憶手段は、表示画像データ取得部が取得した表示画像データと、訳語の文字列や位置情報からなる翻訳結果データを記憶することを特徴としても良い。また、比較部は、記憶手段に記憶されている、訳語を表示させる前の表示画像データ、訳語を表示させた後の表示画像データ及び翻訳結果データを用いて比較することを特徴としても良い。
【００１１】
本発明に係る翻訳方法は、表示画像データに含まれる文字列に訳語を対応付けて表示させる翻訳方法であって、訳語を表示させる前の表示画像データを取得するステップと、表示画像データに含まれる文字列を翻訳するステップと、表示画像データに含まれる文字列に訳語を対応付けて表示させるステップと、訳語を表示させた後の表示画像データを取得するステップと、訳語を表示させる前の表示画像データと、訳語を表示させた後の表示画像データを比較するステップと、比較するステップで変化があると判定された場合、訳語を表示させる前の表示画像データを取得するステップに戻すステップとを有することを特徴とする。
【００１２】
また、比較するステップで変化がないと判定された場合、一定時間待機するステップと、表示されている画像の新たな表示画像データを取得するステップと、新たな表示画像データと訳語を表示させた後の表示画像データを比較するステップとを含み、比較するステップで変化があると判定されるまで、上記の３つのステップを繰り返すことを特徴としても良い。
【発明の効果】
【００１３】
本発明によれば、訳語を表示させる前の画像と訳語を表示させた後の画像を比較することによって、表示している原文の文字列と訳語の文字列の内容に齟齬が生じた場合に、自動的に素早く解決することができ、スムーズに適切な訳語を表示させることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態１に係る翻訳装置を示すブロック図である。
【図２】実施形態１に係る翻訳処理後の画面説明図である。
【図３】実施形態１に係る翻訳処理のフローチャートである。
【図４】実施形態２に係る翻訳装置を示すブロック図である。
【図５】実施形態２に係る翻訳装置の使用方法の一例を示す説明図である。
【図６】特許文献１の翻訳装置の機能ブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面に基づいて説明する。なお、本発明の図面において、同一の参照符号は、同一部分又は相当部分を表わすものとする。
【００１６】
〔実施形態１〕
図１は実施形態１に係る翻訳装置を示すブロック図である。翻訳装置１０はディスプレイなどに表示しているスライドの画像データに記載された文字列を翻訳し、文字列に訳語を対応付けて表示させることができる。翻訳装置１０は、制御手段１１、入力手段１２、表示手段１３、記憶手段１４、翻訳表示部１５を備え、翻訳表示部１５は、表示画像データ取得部１６、文字認識部１７、翻訳処理部１８、訳語レイヤ生成部１９、表示制御部２０、比較部２１を備える。各機能部はバス２２を介して互いに接続され、各機能部間でのデータの授受が可能となっている。
【００１７】
制御手段１１は、ＣＰＵ等からなり、翻訳装置１０を全体制御する処理部である。制御手段１１は、翻訳装置１０に係るプログラムを実行したり、各機能部間のデータの授受等を制御する。
【００１８】
入力手段１２は、ユーザからの入力を受け付けるマウス、キーボードなどの入力装置であり、ユーザが翻訳装置１０を操作するためのボタン等を備えている。表示手段１３は、文字や画像を表示するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）などの表示装置である。なお、ここでは入力手段１２、表示手段１３が、翻訳装置１０の本体内に組み込まれていることとしたが、入力手段１２、表示手段１３が翻訳装置１０の本体と別に設けられ、信号線を介して本体と接続されることとしてもよい。また、入力手段１２、表示手段１３は、タッチパネルやタブレットにより構成されることとしてもよい。
【００１９】
記憶手段１４は、フラッシュＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの記憶装置である。この記憶手段１４は、翻訳用辞書データ１４ａ、表示画像データ１４ｂ、認識文字データ１４ｃ、翻訳結果データ１４ｄ、スライドデータ１４ｅなど、翻訳装置１０により用いられる種々のデータを記憶する。
【００２０】
翻訳用辞書データ１４ａは、様々な言語の文法データ、各構文の出現頻度データとともに、各言語の単語や連語およびそれらの訳語などを含むデータである。表示画像データ１４ｂは、表示手段１３に表示している画像の画像データである。認識文字データ１４ｃは、文字認識の結果得られた原文の文字列や位置（文字列を最小面積で囲む矩形領域の右上隅、右下隅、左上隅、左下隅それぞれのＸ座標およびＹ座標）などのデータである。翻訳結果データ１４ｄは、翻訳の結果得られた訳語の文字列や位置情報などのデータである。スライドデータ１４ｅは、表示手段１３に表示させる様々なデータであって、例えば、ワープロソフト、プレゼンテーションソフト、表計算ソフト等で作成されたデータやテキスト・画像・図形ファイルデータ等である。
【００２１】
なお、記憶手段１４にはデータを予め記憶させておく必要はない。例えば、外部メモリに記憶されたデータをドライバによって読み出し、記憶手段１４に記憶させることとしてもよい。また、ネットワークを介して外部装置からデータをダウンロードして記憶手段１４に記憶させることとしてもよい。例えば、翻訳装置１０とは別に用意されたパーソナルコンピュータからデータをダウンロードして、そのデータを記憶手段１４に記憶することとしてもよい。
【００２２】
翻訳表示部１５は、翻訳装置１０が画像データに記載された文字列を翻訳し、文字列に訳語を対応付けて表示させるために必要なプログラムを有する様々な処理部を含んでいる。翻訳表示部１５は、制御手段１１とバス２２を介して接続され、様々な処理を実行することができる。
【００２３】
表示画像データ取得部１６は、表示手段１３に表示している画像の画像データを取得する処理部である。表示画像データ取得部１６は、例えば、パーソナルコンピュータの機能で言えばプリントスクリーンに相当するような表示画面の画像データを取得する手段を利用して画像データを取得する。また、表示画像データ取得部１６は、取得した画像データを記憶手段１４に表示画像データ１４ｂとして記憶させる。
【００２４】
文字認識部１７は、表示画像データ１４ｂに含まれる原文の文字列を認識し、文字列データとして出力する処理部である。例えば、文字認識部１７は、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）などで従来用いられている文字認識技術と同様の技術を用いて、画像領域内の各文字のレイアウトを解析し、文字領域を抽出し、さらに抽出した文字領域内の各文字の画像を文字認識してテキスト情報に変換する。また、文字認識部１７は、認識された文字列の情報とともに、文字列を最小面積で囲む矩形領域の四隅の座標を記憶手段１４に認識文字データ１４ｃとして記憶させる。文字認識を行う原文の文字列は、翻訳対象の言語であり、例えば、英語、中国語、フランス語など様々な言語が挙げられる。翻訳対象とする言語は、予め設定しておくことが可能であり、１つの言語でも良いし、複数の言語でも良い。
【００２５】
翻訳処理部１８は、文字認識部１７により出力された文字列データにより表される原文の文字列を単語や連語単位で別の言語に翻訳する処理部である。また、翻訳処理部１８は、訳語の文字列を文字列データとして出力し、記憶手段１４に翻訳結果データ１４ｄとして記憶させる。訳語の言語は、例えば、日本語、英語、中国語など様々な言語が挙げられる。訳語は、予め設定しておくことが可能であり、１つの言語でも良いし、複数の言語でも良い。翻訳処理部１８は、単語や連語単位で翻訳を行うことにより、原文に文字入力の誤りがあった場合や、原文の文字認識に誤りがあった場合でも、文全体の翻訳に影響が及ぶことを防止することができ、翻訳誤りの発生を局所的なものとすることができる。
【００２６】
訳語レイヤ生成部１９は、訳語の文字列を含んだ訳語レイヤを生成する処理部である。訳語レイヤは、背景が透明であるレイヤである。訳語レイヤ生成部１９は、認識文字データ１４ｃの情報を基に原文の単語や連語に近接させて、その単語や連語に対応する訳語が配置された訳語レイヤを生成する。これにより、ユーザは原文とその翻訳結果との間の対応関係の確認を容易に行うことができる。また、訳語レイヤ生成部１９は、訳語レイヤに配置した訳語の文字列の位置情報を記憶手段１４に記憶されている翻訳結果データ１４ｄに追加で記憶させる。ここで、訳語の文字列の位置情報は、文字列を最小面積で囲む矩形領域の左上隅と右下隅それぞれのＸ座標およびＹ座標などからなる。
【００２７】
表示制御部２０は、表示手段１３が行う情報の表示を制御する処理部である。表示制御部２０は、入力手段１２からのユーザの指示等によって、スライドデータ１４ｅを表示手段１３に表示させる処理を行う。また、表示制御部２０は、訳語レイヤ生成部１９が生成した訳語レイヤを原文レイヤに重ね、原文レイヤに含まれる原文の単語や連語にそれらの翻訳結果を対応付けて表示手段１３に表示させる処理などを行う。
【００２８】
比較部２１は、表示画像データ取得部１６が取得した複数の表示画像データ１４ｂを比較する処理部である。比較する表示画像データ１４ｂは、記憶手段１４から取得する。画像データの比較は、ドットごとに行われて、同じか異なるかに振り分ける。その結果、比較したドット数と異なるドット数から異なるドット数の比率を算出する。
【００２９】
図２は、翻訳処理後の画面説明図である。図２（ａ）は、訳語の文字列を表示させている表示手段１３を示す図であり、図２（ｂ）は、訳語の文字列を表示させる原理を示す図である。翻訳処理を行った後、表示手段１３には、図２（ａ）のように原文の文字列３１とともに訳語の文字列３２が表示されており、訳語の文字列３２は、原文の文字列３１の下側に表示される。このとき、訳語の文字列３２がどの原文の文字列３１の訳語であるか視覚的に把握できるように、訳語の文字列３２は、内容が一致する原文の文字列３１の下側に配置させる。ただし、原文の文字列３１の下側に訳語の文字列３２を配置する分のスペースがない場合、訳語の文字列３２の配置位置はこれに限らず、訳語の文字列３２を原文の文字列３１の上側や横側に配置させても良い。このとき、原文の文字列３１と訳語の文字列３２の対応付けが視覚的に把握できれば良い。
【００３０】
次に、図２（ｂ）を用いて訳語の文字列の表示方法について説明する。表示手段１３に訳語の文字列を表示させる場合、表示制御部２０は、訳語レイヤ生成部１９が生成した訳語レイヤ３４を原文レイヤ３３の上に重ね、１つの画像データに合成して、表示手段１３に送る。原文レイヤ３３は、原文の文字列３１を含んでおり、訳語レイヤ３４は、訳語の文字列３２を含んでいる。表示制御部２０は、図２（ｂ）のように訳語レイヤ３４を原文レイヤ３３の上に重ねて、１つの画像データに合成する。こうして生成された画像データを表示手段１３に送り、表示させることで、図２（ａ）にように原文の文字列３１とともに訳語の文字列３２が表示される。
【００３１】
次に、実施形態に係る翻訳装置１０の翻訳処理について説明する。図３は、実施形態に係る翻訳処理のフローチャートである。まず、翻訳装置１０を起動させたとき、記憶手段１４の初期化を行う。ここで、初期化を行う対象は、翻訳処理中に記憶させる表示画像データ１４ｂ、認識文字データ１４ｃ、翻訳結果データ１４ｄであり、翻訳用辞書データ１４ａと無変化領域検出部１０２に対しては初期化を行わない。（ステップＳ１）。ユーザは、入力手段１２により指示を行い、表示手段１３に画像を表示させる。このとき、表示手段１３に表示させる画像は、記憶手段１４のスライドデータ１４ｅやネットワークを介して得た画像等が挙げられる。
【００３２】
表示画像データ取得部１６は、表示手段１３に表示されている画像の画像データを取得する（ステップＳ２）。取得した画像データは表示画像データ１４ｂとして記憶手段１４に記憶される。ステップ２で取得し、記憶した表示画像データを第１画像データとする。
【００３３】
表示画像データ取得部１６により取得された画像データは、文字認識部１７に送られ、文字認識部１７は、画像データに含まれる原文の文字列を認識する。認識した文字列は、原文の文字列として出力され、認識文字データ１４ｃとして記憶手段１４に記憶される（ステップＳ３）。
【００３４】
出力された原文の文字列は、翻訳処理部１８に送られ、翻訳処理部１８は、原文の文字列を翻訳する。翻訳した文字列は、訳語の文字列として出力され、翻訳結果データ１４ｄとして記憶手段１４に記憶される（ステップＳ４）。
【００３５】
訳語の文字列は、訳語レイヤ生成部１９に送られ、訳語レイヤ生成部１９は、訳語の文字列を含んだ訳語レイヤを生成する（ステップＳ５）。同時に、訳語レイヤ生成部１９は、訳語レイヤに配置した訳語の文字列の位置情報を翻訳結果データ１４ｄに追加で記憶させる。
【００３６】
訳語レイヤは、表示制御部２０に送られ、表示制御部２０は、訳語レイヤを表示されている画像に重ね、表示手段１３に表示させる（ステップＳ６）。ここで、表示手段１３には図２（ａ）のように原文の文字列とともに訳語の文字列が表示される。
【００３７】
訳語の文字列が表示された後、表示画像データ取得部１６は、表示手段１３に表示されている画像の画像データを取得する（ステップＳ７）。取得した画像データは表示画像データ１４ｂとして記憶手段１４に記憶される。ステップ７で取得し、記憶した表示画像データを第２画像データとする。
【００３８】
次に、記憶手段１４に記憶されている第１画像データと第２画像データを比較部２１で比較する（ステップＳ８）。ここで比較を行う理由は、ステップＳ２〜ステップＳ６の翻訳処理中に表示手段１３の表示画像が変化していないかを確認するためである。本来、ステップＳ６後の表示手段１３には、ステップＳ２で取得した第１画像データとともに訳語の文字列が表示されていることが好ましい。しかし、まれに翻訳処理中に表示手段１３に表示されている画像が変わり、第１画像データとは別の画像データと訳語レイヤが合成され、表示手段１３に表示されてしまうことがある。このとき、表示手段１３には表示している原文とは異なる内容の訳語の文字列が表示されているため、聴講者に誤解を生じさせてしまう可能性がある。このような問題を自動的に素早く解決するために、訳語を表示させる前の表示画像データである第１画像データと訳語を表示させた後の表示画像データである第２画像データの比較を行う。
【００３９】
しかし、第１画像データは、訳語を表示させる前の表示画像データであるのに対して、第２画像データは、訳語を表示させた後の表示画像データであるため、必ず訳語の文字列の部分だけは表示内容が異なっている。そこで、ステップＳ４と５で記憶手段１４に記憶させた翻訳結果データ１４ｄを用いる。具体的には、比較部２１は、第１画像データと第２画像データに加えて、翻訳結果データ１４ｄを記憶手段１４から取得し、第２画像データに含まれている訳語の文字列部分を検出し、その部分を比較対象から除く。こうして、比較対象外を除いた部分に対して比較を行い、比較したすべてのドット数と異なるドット数から異なるドット数の比率を算出する。算出した異なるドット数の比率が、表示画像データに変化があると判定する比率よりも高かった場合、変化があると判定し、表示画像データに変化があると判定する比率よりも低かった場合、変化がないと判定する。
【００４０】
変化があると判定した場合（ステップＳ９；Ｙｅｓ）、翻訳処理中に表示手段１３の表示画像が変化したことが考えられるため、誤訳レイヤに含まれる訳語の文字列を削除する（ステップＳ１３）。その後、ステップＳ１に戻り、表示手段１３に表示している画像に対して、翻訳処理を再度実行する。
【００４１】
一方、変化がないと判定した場合（ステップＳ９；Ｎｏ）、表示手段１３の表示画像が変化しておらず、第２画像データは、訳語の文字列を含む訳語レイヤとステップＳ２で取得した第１画像データを合成した画像データであると判定される。その後、一定時間待機する（ステップＳ１０）。
【００４２】
一定時間待機した後、表示画像データ取得部１６は、表示手段１３に表示されている画像の画像データを取得する（ステップＳ１１）。取得した画像データは表示画像データ１４ｂとして記憶手段１４に記憶される。ステップＳ１１で取得し、記憶した表示画像データを第３画像データとする。
【００４３】
次に、記憶手段１４に記憶されている第２画像データと第３画像データを比較部２１で比較する（ステップＳ１２）。ここでは、ステップＳ８と異なり、第２画像データと第３画像データを単純に比較すれば良い。全ドット部分に対して比較を行い、比較したドット数と異なるドット数から異なるドット数の比率を算出する。ステップＳ１２の後は、ステップＳ９に戻り、算出した異なるドット数の比率が、表示画像データに変化があると判定する比率よりも高かった場合、変化があると判定し、表示画像データに変化があると判定する比率よりも低かった場合、変化がないと判定する。
【００４４】
変化があると判定した場合（ステップＳ９；Ｙｅｓ）、表示手段１３の表示画像が変化したことが考えられるため、誤訳レイヤに含まれる訳語の文字列の表示を削除する（ステップＳ１３）。その後、ステップＳ１に戻り、再度、翻訳処理を実行する。
【００４５】
一方、変化がないと判定した場合（ステップＳ９；Ｎｏ）、表示手段１３の表示画像は変化していないと判定され、再びステップＳ１０に戻り、一定時間待機する。
【００４６】
ステップＳ１０〜１２は、表示手段１３に表示している画像が変化したかどうかを判定するために行われている。これらのステップは、定期的に行われることが好ましく、その間隔はステップＳ１０にて調整されている。ステップＳ１０で待機する時間は、適宜好ましいと思われる所定時間に設定することができる。
【００４７】
なお、ステップＳ９及びステップＳ１２において、表示画像データに変化があると判定する比率は、ある値に限られるものではなく、適宜設定できるとする。ただし、変化があると判定する比率は、０より大きい方が好ましい。一般的に表示手段１３には、時計やマウスポインタなど常時固定されていないものも表示されていることが多い。そのため、変化があると判定する比率を０とすると、変化したドット数が微少であり、原文の文字列が変化していなかったとしても、繰り返し翻訳処理を行うことになる。翻訳処理の度に訳語の文字列がついたり消えたりするため、プレゼンテーションが非常に見づらくなってしまう。そのため、不要な翻訳処理が行われないように、変化があると判定する比率をある程度持たせることが好ましい。
【００４８】
また、図３に示される翻訳処理のフローチャートには、翻訳処理の終了が存在しないが、翻訳装置１０は、翻訳処理を終了するプログラムを有しており、ユーザから翻訳処理を終了の要求を受け付けると、いずれのステップの処理を行っていても、その処理を停止し、翻訳処理を終了する。また、翻訳処理を終了すると同時に、訳語レイヤに含まれる訳語の文字列を削除し、表示手段１３に訳語が表示されていない状態にする。
【００４９】
上記のように、定期的に表示手段１３に表示している画像の画像データを取得し、比較することで翻訳処理を実行するかどうかを判定することができる。さらに、訳語を表示させる前の表示画像データと訳語を表示させた後の表示画像データを比較することによって、翻訳処理中に表示手段１３の表示画像が変化していないかを確認することができる。この結果、翻訳処理中に表示手段１３の表示画像が変化し、表示している原文の文字列と訳語の文字列の内容に齟齬が生じた場合に、自動的に素早く解決することができるため、スムーズに適切な訳語を表示させることができる。
【００５０】
〔実施形態２〕
実施形態２の翻訳装置１０’は、入力手段１２、表示手段１３、スライドデータ１４ｅを備えていない代わりに、画像データ入力手段２３と画像データ出力手段２４を備えている点が実施形態１の翻訳装置１０と異なるが、その他の構成や翻訳処理は同様である。図４は、実施形態２に係る翻訳装置１０’を示すブロック図であり、図５は、翻訳装置１０’の使用方法の一例を示す説明図である。
【００５１】
画像データ入力手段２３は、外部の画像データ出力装置４０から翻訳装置１０’に画像データを入力する機能部である。実施形態２の翻訳装置１０’は、実施形態１の翻訳装置１０と異なって、表示手段１３、スライドデータ１４ｅを備えていないため、翻訳処理で用いる画像データを外部の画像データ出力装置４０から画像データ入力手段２３を介して取得する。取得した画像データは、記憶手段１４に表示画像データ１４ｂとして記憶される。
【００５２】
画像データ出力装置４０は、画像データを出力することができる装置であれば良く、例えば、パーソナルコンピュータやＤＶＤプレーヤなどが挙げられる。
【００５３】
画像データ出力手段２４は、翻訳装置１０’から外部の表示装置４１に画像データを出力する機能部である。実施形態２の翻訳装置１０’は、実施形態１の翻訳装置１０と異なって、表示手段１３を備えていないため、訳語レイヤと原文レイヤを合成した画像データを、表示装置４１に画像データ出力手段２４を介して表示させる。
【００５４】
表示装置４１は、実施形態１の表示手段１３と同様であり、文字や画像を表示するＬＣＤ、ＣＲＴ、ＰＤＰなどが挙げられる。
【００５５】
このように、翻訳処理で使用する画像データを外部から入力し、翻訳処理で生成した訳語レイヤと原文レイヤを合成した画像データを外部に出力することによって、翻訳装置１０’は、実施例１の翻訳装置と比べると、小型化することができる。
【００５６】
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００５７】
例えば、本発明に係る翻訳装置の機能の一部は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記翻訳処理がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【符号の説明】
【００５８】
１０  翻訳装置
１０’  翻訳装置
１１  制御手段
１２  入力手段
１３  表示手段
１４  記憶手段
１４ａ  翻訳用辞書データ
１４ｂ  表示画像データ
１４ｃ  認識文字データ
１４ｄ  翻訳結果データ
１４ｅ  スライドデータ
１５  翻訳表示部
１６  表示画像データ取得部
１７  文字認識部
１８  翻訳処理部
１９  訳語レイヤ生成部
２０  表示制御部
２１  比較部
２２  バス
２３  画像データ入力手段
２４  画像データ出力手段
３１  原文の文字列
３２  訳語の文字列
３３  原文レイヤ
３４  訳語レイヤ
４０  画像データ出力装置
４１  表示装置
【図１】
2014016759.tif 000003
【図２】
2014016759.tif 000004
【図３】
2014016759.tif 000005
【図４】
2014016759.tif 000006
【図５】
2014016759.tif 000007
【図６】
2014016759.tif 000008