(57)【要約】【課題】画像認識に応じた翻訳結果の適切な確認を促す。【解決手段】実施形態における画面表示システムは、辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、認識結果で示される文字列、および上記種別が認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、認識結果の種別が、認識結果とされた画像に含まれる文字列である場合に、画像認識により出力された文字列を翻訳し、認識結果の種別が、認識結果とされた画像に含まれる物体の名称である場合に、物体の名称を翻訳し、上記種別が認識結果とされた画像に含まれる文字列である場合における翻訳処理後の文字列および翻訳処理前の文字列をそれぞれ含む端末画面を生成し、上記種別が認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成する。【選択図】図１
2020102226.tif 000002
【特許請求の範囲】
【請求項１】
外部の端末により撮影された画像を受信する画像受信手段と、
画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、
前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、
前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、
前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段と
を備えた画面表示システム。
【請求項２】
前記端末画面生成手段は、
前記翻訳処理手段による翻訳処理後の文字列を含む第１の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第２の端末画面をそれぞれ生成し、
前記端末画面送信手段は、
前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信する請求項１に記載の画面表示システム。
【請求項３】
前記端末画面送信手段は、
前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信する請求項２に記載の画面表示システム。
【請求項４】
画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶装置を有する画面表示システムに適用される方法であって、
端末により撮影された画像を取得し、
前記取得された画像の認識を要求し、
前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、
前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、
前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、
前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、
前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、
前記生成された端末画面を前記端末に送信する画面表示方法。
【請求項５】
前記翻訳した後の文字列を含む第１の端末画面、および、前記翻訳する前の文字列を含む第２の端末画面をそれぞれ生成し、
前記生成した第１の端末画面、および前記第２の端末画面が前記端末に順次表示されるように前記端末に送信する請求項４に記載の画面表示方法。
【請求項６】
前記生成した第１の端末画面、および前記第２の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する請求項５に記載の画面表示方法。
【請求項７】
請求項１に記載の画面表示システムの一部分として動作するコンピュータに用いられるプログラムであって、
前記コンピュータを、
前記画像受信手段、前記画像認識要求手段、前記翻訳処理手段、前記端末画面生成手段、および前記端末画面送信手段
として機能させるための画面表示処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画面表示システム、画面表示方法および画面表示処理プログラムに関する。
【背景技術】
【０００２】
近年、撮像機能を備えたポータブル端末により撮影した画像を、Ｗｅｂ上の画像認識サーバに送信すると、当該サーバにあるデータベースの辞書画像に基づいて撮影した画像が認識され、認識結果に応じた情報が端末に返信されて得られる画像認識サービス（おもてなしサービス）が考えられている（例えば、非特許文献１参照。）。
【０００３】
図６は、従来の画面表示システムの構成例を示す機能ブロック図である。  
この画面表示システムは、端末管理システム１１０、画像認識システム１３０、翻訳処理システム１４０を有する。
【０００４】
端末管理システム１１０は、端末通信部１１１、端末制御部１１２、画像問合部１１３を有する。画像認識システム１３０は、画像認識部１３１、辞書画像記憶部１３２を有する。ユーザが所持するポータブル端末１２０は、管理システム通信部１２１、カメラ(撮像部)１２２、ディスプレイ（表示部）１２３を備える。
【０００５】
図７は、従来の画面表示システムの動作の一例を示すシーケンス図である。  
端末管理システム１１０の端末通信部１１１が、ポータブル端末１２０のユーザ操作によりカメラ１２２で撮影した認識対象の画像データを受信すると（Ｔ１０１〜Ｔ１０４）、この画像データが端末制御部１１２に送られる（Ｔ１０５）。端末制御部１１２は、送られた画像データの認識要求を画像問合部１１３に出力する（Ｔ１０６）。
【０００６】
すると、画像問合部１１３は、認識対象の画像データを画像認識システム１３０の画像認識部１３１に送る（Ｔ１０７）。画像認識部１３１は、認識対象の画像データと辞書画像記憶部１３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ１０８）、この認識結果（端末管理システム１１０から送られた画像が文字列を含む画像である場合は、その文字列、端末管理システム１１０から送られた画像が文字列を含まない画像である場合は、この画像に含まれる物体（例えば花）の名称を示す文字列）を端末制御部１１２に応答する。（Ｔ１０９，Ｔ１１０）。  
そして、端末制御部１１２は、認識結果で示される文字列の翻訳問い合わせを翻訳処理システム１４０に出力する（Ｔ１１１）。
【０００７】
この翻訳問い合わせを受けて、翻訳処理システム１４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列）を翻訳結果応答として端末制御部１１２に送る（Ｔ１１２）。
【０００８】
端末制御部１１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１１を介してポータブル端末１２０に送信する（Ｔ１１３，Ｔ１１４）。
【０００９】
ポータブル端末１２０の管理システム通信部１２１は、翻訳後文字列を含む端末画面データをディスプレイ１２３に表示する。これにより、ユーザは当該表示された翻訳後文字列を確認する（Ｔ１１５，Ｔ１１６）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】ＮＴＴ技術ジャーナル 2016 Vol.28 No.5 pp57-59「透過型ディスプレイを搭載したシンプルなポータブル端末によるおもてなしサービス実現に向けた技術検証に着手」
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上記の画像認識サービスに関連し、画像の認識結果に含まれる文字列を、翻訳処理により例えば日本語から英語に翻訳して、この翻訳結果をポータブル端末に提示する技術があるが、この翻訳結果を提示する際に、ユーザが意図した元文字列とは別の文字列の翻訳結果がポータブル端末に表示されても、ユーザは、これに気付かない可能性がある。
【００１２】
具体的には、例えば、案内板に「○○」との文字列（元文字列）が記載されている場合で、この「○○」との文字列をユーザが上記のように撮影して、この文字列を翻訳して「〜Park」という翻訳結果を得られるとする。
【００１３】
しかし、ユーザが上記の元文字列を撮影して、この文字列の翻訳結果を得ることを意図していたとしても、上記の「○○」に例えば「＊＊」などの別の種類の文字列が案内板上で隣接しているなどの理由で、この別の文字列を誤って撮影して、この文字列の翻訳結果を得てしまう場合がある。この場合、ユーザは、この翻訳結果が上記の元文字列（「○○」）の翻訳結果であると誤認識してしまう場合がある。特に、上記の元文字列と別の種類の文字列が類似している場合は、上記の翻訳結果の誤認識の可能性が高くなる。
【００１４】
本発明の目的は、画像認識に応じた翻訳結果の適切な確認を促すことができる画面表示システム、画面表示方法および画面表示処理プログラムを提供することである。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、この発明の実施形態における画面表示システムの第１の態様は、外部の端末により撮影された画像を受信する画像受信手段と、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶手段と、前記画像受信手段により受信された画像の認識を要求する画像認識要求手段と、前記画像認識要求手段による要求に応答して、前記受信された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力する画像認識手段と、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記画像認識手段から出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳する翻訳処理手段と、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳処理手段による翻訳処理後の文字列および前記翻訳処理手段による翻訳処理前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、前記翻訳処理手段による翻訳処理後の文字列を含む端末画面を生成する端末画面生成手段と、前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段とを有するシステムを提供する。
【００１６】
上記構成のシステムの第２の態様は、第１の態様において、前記端末画面生成手段は、前記翻訳処理手段による翻訳処理後の文字列を含む第１の端末画面、および、前記翻訳処理手段による翻訳処理前の文字列を含む第２の端末画面をそれぞれ生成し、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に順次表示されるように前記外部の端末に送信するシステムを提供する。
【００１７】
上記構成のシステムの第３の態様は、第２の態様において、前記端末画面送信手段は、前記生成した第１の端末画面、および前記第２の端末画面が前記外部の端末に交互に繰り返し表示されるように前記外部の端末に送信するシステムを提供する。
【００１８】
本発明の実施形態における画面表示方法の第１の態様は、画像を当該画像の内容を示す情報、および文字列の翻訳が意図された画像であるか否かを示す情報とともに辞書画像として記憶する辞書画像記憶装置を有する画面表示システムに適用される方法であって、端末により撮影された画像を取得し、前記取得された画像の認識を要求し、前記要求に応答して、前記取得された画像を認識対象画像として当該認識対象画像の認識結果である辞書画像を認識し、前記認識結果とされた辞書画像が、文字列の翻訳が意図された画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる文字列であることを示す情報をそれぞれ出力し、前記認識結果とされた辞書画像が、文字列の翻訳が意図されない画像であることを示す情報を含むときは、前記認識結果で示される文字列、および前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称であることを示す情報をそれぞれ出力し、前記認識結果の種別が、前記認識結果とされた画像に含まれる文字列である場合に、前記出力された文字列を翻訳し、前記認識結果の種別が、前記認識結果とされた画像に含まれる物体の名称である場合に、前記物体の名称を翻訳し、前記認識結果の種別が前記認識結果とされた画像に含まれる文字列である場合における前記翻訳した後の文字列および前記翻訳する前の文字列をそれぞれ含む端末画面を生成し、前記認識結果の種別が前記認識結果とされた画像に含まれる物体の名称である場合における、翻訳処理後の文字列を含む端末画面を生成し、前記生成された端末画面を前記端末に送信する方法を提供する。
【００１９】
上記の方法の第２の態様は、第１の態様において、前記翻訳した後の文字列を含む第１の端末画面、および、前記翻訳する前の文字列を含む第２の端末画面をそれぞれ生成し、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に順次表示されるように前記端末に送信する方法を提供する。
【００２０】
上記の方法の第３の態様は、第２の態様において、前記生成した第１の端末画面、および前記第２の端末画面が前記端末に交互に繰り返し表示されるように前記端末に送信する方法を提供する。
【発明の効果】
【００２１】
本発明によれば、画像認識に応じた翻訳結果の適切な確認を促すことが可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態における画面表示システムの構成例を示す機能ブロック図。
【図２】本発明の第１の実施形態における画面表示システムの動作の第１の例を示すシーケンス図。
【図３】本発明の第１の実施形態における画面表示システムの動作の第２の例を示すシーケンス図。
【図４】本発明の第２の実施形態における画面表示システムの動作の一例を示すシーケンス図。
【図５】本発明の第３の実施形態における画面表示システムの動作の一例を示すシーケンス図。
【図６】従来の画面表示システムの構成例を示す機能ブロック図。
【図７】従来の画面表示システムの動作の一例を示すシーケンス図。
【発明を実施するための形態】
【００２３】
以下図面により本発明の実施の形態について説明する。  
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態における画面表示システムの構成例を示す機能ブロック図である。  
この画面表示システムは、端末管理システム１０、画像認識システム３０、翻訳処理システム４０を有する。
【００２４】
端末管理システム１０は、端末通信部１１、端末制御部１２、画像問合部１３を有する。画像認識システム３０は、画像認識部３１、辞書画像記憶部３２を有する。  
端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、インターネットなどの通信ネットワークに接続されたサーバ装置によって構成され、当該サーバ装置に内蔵されるＣＰＵがハードディスク等の記憶装置に予め記憶させたサーバ制御プログラム（画像認識システム３０については画像認識プログラムを含み、翻訳処理システム４０については翻訳処理プログラムを含む）を実行して電子回路各部の動作を制御することで、各部を機能させる。  
なお、これらの端末管理システム１０、画像認識システム３０、翻訳処理システム４０の一部または全部は一体の装置であってもよい。
【００２５】
端末通信部１１は、（１）通信ネットワークを介して接続されるポータブル端末２０により撮影された画像データを受信して端末制御部１２に送る機能、（２）当該端末制御部１２に送られた画像データの認識結果に応じて、当該端末制御部１２により生成された端末画面データを画面表示指示と共にポータブル端末２０に送信する機能等を有する。
【００２６】
端末制御部１２は、（１）端末通信部１１から送られた画像データの認識を画像問合部１３に要求する機能、（２）画像認識システム３０から画像データの認識結果を取得する機能、（３）認識結果の種別が文字列である場合は、この文字列の翻訳を翻訳処理システム４０に問い合わせる機能、（４）翻訳処理結果を含む端末画面データを生成する機能、（５）端末画面データを端末通信部１１に送る機能等を有する。  
画像問合部１３は、端末制御部１２からの画像データの認識要求に応じて当該画像データを画像認識システム３０に送る機能等を有する。
【００２７】
画像認識システム３０の画像認識部３１は、（１）画像問合部１３から送られた認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定して画像認識し、その認識結果を端末制御部１２に応答する機能を有する。  
辞書画像記憶部３２は、例えば世の中に存在する多種多様な物事を撮影した多数の画像データを当該画像データの内容を示す（表す）情報と共に辞書画像として記憶する。
【００２８】
このように構成された端末管理システム１０、画像認識システム３０、翻訳処理システム４０は、ＣＰＵが制御プログラムに記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、各種の機能を実現する。
【００２９】
なお、ポータブル端末２０は、管理システム通信部２１、カメラ(撮像部)２２、ディスプレイ（表示部）２３を備え、当該ポータブル端末２０も同端末２０に内蔵されるＣＰＵがフラッシュＲＯＭ等の記憶装置に予め記憶させた端末制御プログラムを実行して電子回路各部の動作を制御することで、管理システム通信部２１、カメラ２２、ディスプレイ２３の各部を機能させる。
【００３０】
管理システム通信部２１は、（１）ユーザの操作に応じてカメラ２２により撮影された画像データを通信ネットワーク上にあるサーバ装置の端末管理システム１０に送信する機能、（２）当該送信した画像データの認識結果に応じた情報を含む端末画面データを端末管理システム１０から受信してディスプレイ２３に表示させる機能等を有する。
【００３１】
次に、上記構成の画面表示システムの動作について説明する。  
図２は、本発明の第１の実施形態における画面表示システムの動作の第１の例を示すシーケンス図である。  
端末管理システム１０の端末通信部１１が、ポータブル端末２０の利用開始後のユーザ操作により撮影した認識対象の画像データを受信すると（Ｔ１〜Ｔ４）、この画像データが端末制御部１２に送られる（Ｔ５）。端末制御部１２は、送られた画像データの認識要求を画像問合部１３に出力する（Ｔ６）。
【００３２】
すると、画像問合部１３は、認識対象の画像データ（ここでは文字列「〜公園」を含む画像データ）を画像認識システムの画像認識部３１に送る（Ｔ７）。画像認識部３１は、認識対象の画像データと辞書画像記憶部３２に記憶されている多数の辞書画像データとの類似度を判定することで画像認識を行ない（Ｔ８）、この認識結果（ここでは、上記の文字列「〜公園」を含む画像の当該文字列「〜公園」）およびその種別（認識結果が画像に含まれる文字列であるか否かを示す情報、ここでは「文字列」、または「その他（名称）」）を端末制御部１２に応答する。（Ｔ９）。  
本実施形態では、辞書画像データは、文字列の翻訳を意図した画像であるか否かを示す情報を含み、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図した画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列であることを示す情報（「文字列」）となる。また、上記の画像認識において認識結果とされた辞書画像データが、文字列の翻訳を意図しない画像であることを示す情報を含む場合は、認識結果とともに応答される上記の種別は、画像に含まれる文字列でなく、この画像に含まれる物体の名称を示す情報（「その他（名称）」）となる。
【００３３】
そして、端末制御部１２は、認識結果の種別が「文字列」であることを確認すると（Ｔ１０）、認識結果で示される文字列（翻訳前文字列、ここでは「〜公園」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１）。
【００３４】
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「〜park」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２）。
【００３５】
端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列、および翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３，Ｔ１４）。
【００３６】
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による翻訳前文字列および翻訳後文字列を含む端末画面データをディスプレイ２３に表示する。これにより、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５，Ｔ１６）。
【００３７】
図３は、本発明の第１の実施形態における画面表示システムの動作の第２の例を示すシーケンス図である。  
図３に示す第２の例のシーケンス図において、図２で示した第１の例のシーケンス図と同様の動作部分については、同じ符号Ｔ１〜Ｔ９を付してその説明を省略する。ただし、認識対象の画像データは、文字列を含まない画像データであるとする。
【００３８】
Ｔ９の後、端末制御部１２は、認識結果の種別が「その他（名称）」、つまり、上記のように、認識対象の画像データが文字列を含まないことを確認すると（Ｔ１０ａ）、認識結果で示される文字列（文字列を含まない画像データに含まれる物体（ここでは薔薇の花）の名称としての翻訳前文字列、ここでは「薔薇」）の翻訳問い合わせを翻訳処理システム４０に出力する（Ｔ１１ａ）。
【００３９】
この翻訳問い合わせを受けて、翻訳処理システム４０は、翻訳前文字列の翻訳処理を行ない、この翻訳処理結果（翻訳後文字列、ここでは「rose」）を翻訳結果応答として端末制御部１２に送る（Ｔ１２ａ）。
【００４０】
端末制御部１２は、この翻訳処理結果を取得すると、翻訳後文字列を含む端末画面データを生成し、当該生成した端末画面データと、この表示指示信号を端末通信部１１を介してポータブル端末２０に送信する（Ｔ１３ａ，Ｔ１４ａ）。  
ポータブル端末２０の管理システム通信部２１は、翻訳後文字列を含む端末画面データをディスプレイ２３に表示する（Ｔ１５ａ，Ｔ１６ａ）。
【００４１】
以上のように、本発明の第１の実施形態における画面表示システムによれば、ポータブル端末２０により撮影された、文字列（例えば、「〜公園」）を含む画像データを受信して辞書画像記憶部３２に記憶されている多数の辞書画像データに基づき画像認識処理した際に、この認識結果としての翻訳前文字列を翻訳して翻訳後文字列（例えば、「〜park」）を得て、これらの翻訳前文字列および翻訳後文字列をあわせてポータブル端末２０に同時に表示する。
【００４２】
これにより、ユーザが翻訳対象として意図していた文字列と異なる文字列を撮影してしまい、この文字列が翻訳前文字列として認識されたとしても、この翻訳前文字列を翻訳後文字列とを同時に確認できるので、ユーザが意図していた文字列の翻訳結果が得られているか否かを容易に確認することが可能になる。
【００４３】
この確認により、翻訳前文字列が、ユーザが意図した文字列と異なる場合、ユーザは、誤った対象物を撮影してしまったことなどに気付くことができ、正しい対象物の再度の撮影を促すことができる。
【００４４】
（第２の実施形態）
次に、第２の実施形態について説明する。図４は、本発明の第２の実施形態における画面表示システム動作を示すシーケンス図である。  
図４に示す第２の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。
【００４５】
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ順次表示させる指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。
【００４６】
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序でディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ａ，Ｔ１６ａ，Ｔ１５ｂ，Ｔ１６ｂ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に区別できる。
【００４７】
（第３の実施形態）
次に、第３の実施形態について説明する。図５は、本発明の第３の実施形態における画面表示システム動作を示すシーケンス図である。  
図５に示す第３の実施形態のシーケンス図において、図２で示した第１の実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２４を付してその説明を省略する。
【００４８】
ただし、Ｔ２４では、端末制御部１２は、この翻訳処理結果を取得すると、先に得た翻訳前文字列を含む第１の端末画面データ、および翻訳後文字列を含む第２の端末画面データをそれぞれ生成し、当該生成した端末画面データと、これらを例えば翻訳前文字列、翻訳後文字列の順、または逆の順で１種類ずつ所定回数だけまたは所定時間にわたって繰り返し表示させる（例えば、翻訳前文字列→翻訳後文字列→翻訳前文字列→翻訳後文字列→…）指示である表示指示信号を端末通信部１１を介してポータブル端末２０に送信する。
【００４９】
ポータブル端末２０の管理システム通信部２１は、ユーザ操作により撮影した画像データの認識による第１および第２の端末画面データを、表示指示信号で指示された順序で所定回数だけ繰り返しディスプレイ２３に表示する。これにより、第１の実施形態と同様に、ユーザは当該表示された翻訳後文字列に対応する翻訳前文字列を素早く簡単に得て、この翻訳前文字列を確認する、または翻訳前文字列と翻訳後文字列とを対比することができる（Ｔ１５ｃ，Ｔ１６ｄ，Ｔ１５ｃ，Ｔ１６ｄ）。また、第１の実施形態と比較して、ユーザは、表示された翻訳前文字列と翻訳後文字列とを明確に繰り返し区別できる。
【００５０】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００５１】
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本システムを実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【符号の説明】
【００５２】
１０，１１０…端末管理システム、１１，１１１…端末通信部、１２，１１２…端末制御部、１３，１１３…画像問合部、２０，１２０…ポータブル端末、２１，１２１…管理システム通信部、２２，１２２…カメラ（撮像部）、２３，１２３…ディスプレイ（表示部）、３０，１３０…画像認識システム、３１，１３１…画像認識部、３２，１３２…辞書画像記憶部、４０，１４０…翻訳処理システム。
【図１】
2020102226.tif 000003
【図２】
2020102226.tif 000004
【図３】
2020102226.tif 000005
【図４】
2020102226.tif 000006
【図５】
2020102226.tif 000007
【図６】
2020102226.tif 000008
【図７】
2020102226.tif 000009