(57)【要約】【課題】画像認識装置において、認識対象物を撮影する端末が方向検出機能を内蔵しない端末であっても、当該端末により撮影された画像の認識成功率を向上させること。【解決手段】ポータブル端末２０により撮影された画像データを受信して画像認識処理した際、認識結果（認識失敗）が得られた場合、前記画像データを画像回転部１３により例えば右９０°ずつ回転処理しながら繰り返し画像認識処理する。認識結果（認識成功）が得られた場合、認識成功が得られた前記画像データの回転角度（量）に応じて端末方向（推定）設定値を生成し、端末ＩＤに対応付けて設定値記憶部１２Ｄに記憶させる。前記端末２０により新たに撮影された画像データが受信されると、当該端末２０の端末ＩＤに対応付けられて記憶されている端末方向設定値に応じて当該画像データを予め回転処理して画像認識処理する。【選択図】      図４
2018028781.tif 000002
【特許請求の範囲】
【請求項１】
端末により撮影された画像を取得し、
前記取得された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求し、
前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を回転して前記画像認識部に画像認識を再要求し、
前記画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識対象画像の方向に基づいて前記端末の方向を推定する、
ようにしたデバイス方向推定方法。
【請求項２】
前記画像認識の要求は、前記端末により撮影された画像を取得した際に、当該端末の方向が推定されている場合は、前記取得された画像の方向を当該端末の方向に基づき回転した後に、当該回転した画像を認識対象画像として画像認識部に画像認識を要求する、
ことを特徴とする請求項１に記載のデバイス方向推定方法。
【請求項３】
前記画像認識の再要求は、前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を予め設定された回転量ずつ回転しながらその回転毎に前記画像認識部に画像認識を再要求する、
ことを特徴とする請求項１又は請求項２に記載のデバイス方向推定方法。
【請求項４】
前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合、又は前記画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識された画像に対応する情報を含む端末画面を前記推定されている該当する端末の方向に基づき生成する、
ことを特徴とする請求項１乃至請求項３の何れか１項に記載のデバイス方向推定方法。
【請求項５】
前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合、又は前記画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、前記端末の方向が既に推定されている場合は、当該端末の方向を前記認識成功した認識対象画像の方向に基づいて新たに推定する、
ことを特徴とする請求項１乃至請求項４の何れか１項に記載のデバイス方向推定方法。
【請求項６】
外部の端末により撮影された画像を受信する画像受信手段と、
前記画像受信手段により受信された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求する画像認識要求手段と、
前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を回転して前記画像認識部に画像認識を再要求する画像認識再要求手段と、
前記画像認識再要求手段による画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識対象画像の方向に基づいて前記端末の方向を記憶する端末方向記憶手段と、
を備えたことを特徴とする画像認識装置。
【請求項７】
前記画像認識要求手段は、前記画像受信手段により前記外部の端末により撮影された画像が受信された際に、前記端末方向記憶手段により当該端末の方向が記憶されている場合は、前記受信された画像の方向を当該端末の方向に基づき回転した後に、当該回転した画像を認識対象画像として画像認識部に画像認識を要求する、
ことを特徴とする請求項６に記載の画像認識装置。
【請求項８】
前記画像認識再要求手段は、前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を予め設定された回転量ずつ回転しながらその回転毎に前記画像認識部に画像認識を再要求する、
ことを特徴とする請求項６又は請求項７に記載の画像認識装置。
【請求項９】
前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合、又は前記画像認識再要求手段による画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識された画像に対応する情報を含む端末画面を前記端末方向記憶手段により記憶されている該当する端末の方向に基づき生成する端末画面生成手段と、
前記端末画面生成手段により生成された端末画面を前記外部の端末に送信する端末画面送信手段と、
を備えたことを特徴とする請求項６乃至請求項８の何れか１項に記載の画像認識装置。
【請求項１０】
前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合、又は前記画像認識再要求手段による画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、前記端末方向記憶手段により該当する端末の方向が記憶されている場合は、当該端末の方向を前記認識成功した認識対象画像の方向に基づき更新して記憶する端末方向更新記憶手段を備えた、
ことを特徴とする請求項６乃至請求項９の何れか１項に記載の画像認識装置。
【請求項１１】
コンピュータを、
外部の端末により撮影された画像を受信する画像受信手段と、
前記画像受信手段により受信された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求する画像認識要求手段と、
前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を回転して前記画像認識部に画像認識を再要求する画像認識再要求手段と、
前記画像認識再要求手段による画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識対象画像の方向に基づいて前記端末の方向を推定する端末方向推定手段、
として機能させるためのコンピュータ読み込み可能な制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末等のデバイスにより撮影した画像の認識に用いられるデバイス方向推定方法、画像認識装置及びその制御プログラムに関する。
【背景技術】
【０００２】
近年、撮像機能を備えたポータブル端末により撮影した画像を、Ｗｅｂ上の画像認識サーバに送信すると、当該サーバにあるデータベースの辞書画像に基づいて前記撮影した画像が認識され、認識結果に応じた情報が前記端末に返信されて得られる画像認識サービス（おもてなしサービス）が考えられている（例えば、非特許文献１参照。）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＮＴＴ技術ジャーナル 2016 Vol.28 No.5 pp57-59「透過型ディスプレイを搭載したシンプルなポータブル端末によるおもてなしサービス実現に向けた技術検証に着手」
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記画像認識サービスを利用する各ユーザのポータブル端末により被写体（認識対象物）を撮影する際には、当該端末の方向、例えば縦に構えて撮るか横に構えて撮るかがユーザによって様々で一定しないため、当該各ユーザの端末から画像認識サーバに送られてくる画像の方向も一定しない。
【０００５】
このため、前記画像認識サーバ（画像認識システム）では、ユーザの撮影した画像（認識対象の画像）と前記辞書画像との方向の一致／不一致が変化し、認識成功率が劣化してしまう。
【０００６】
なお、前記ポータブル端末に加速度センサ等による方向検出機能を内蔵させ、前記画像認識サーバに送信する撮影画像に当該端末の方向の情報を付加することで、前記辞書画像との方向を一致させて画像認識することが考えられる。
【０００７】
しかしながら、各種のサービスを安価で実現するためには、端末の機能を削減する必要があり、このような端末には前記方向検出機能を内蔵した端末を利用できない。
【０００８】
本発明は、このような課題に鑑みなされたもので、認識対象物を撮影する端末が方向検出機能を内蔵しない端末であっても、当該端末により撮影された画像の認識成功率を向上させることが可能になるデバイス方向推定方法、画像認識装置及びその制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係るデバイス方向推定方法は、端末により撮影された画像を取得し、前記取得された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求し、前記画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を回転して前記画像認識部に画像認識を再要求し、前記画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識対象画像の方向に基づいて前記端末の方向を推定するようにした。
【００１０】
本発明に係る画像認識装置は、外部の端末により撮影された画像を受信する画像受信手段と、前記画像受信手段により受信された画像を認識対象画像として、画像を認識する画像認識部に画像認識を要求する画像認識要求手段と、前記画像認識要求手段による画像認識の要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識失敗である場合に、当該認識対象画像の方向を回転して前記画像認識部に画像認識を再要求する画像認識再要求手段と、前記画像認識再要求手段による画像認識の再要求に応答して前記画像認識部から取得された前記認識対象画像の認識結果が認識成功である場合に、当該認識対象画像の方向に基づいて前記端末の方向を記憶する端末方向記憶手段と、を備えたことを特徴としている。
【発明の効果】
【００１１】
本発明によれば、認識対象物を撮影する端末が方向検出機能を内蔵しない端末であっても、当該端末により撮影された画像の認識成功率を向上させることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明のデバイス方向推定方法、画像認識装置の実施形態に係る画像認識システム１０の構成を示す機能ブロック図。
【図２】前記画像認識システム１０の画像認識処理を示すフローチャート。
【図３】ポータブル端末２０により初回に撮影した画像データを前記画像認識システム１０により画像認識する場合の第１実施形態の動作を示すシーケンス図。
【図４】ポータブル端末２０により２回目以降に撮影した画像データを前記画像認識システム１０により画像認識する場合の第１実施形態の動作を示すシーケンス図。
【図５】ポータブル端末２０により初回に撮影した画像データを前記画像認識システム１０により画像認識する場合の第２実施形態の動作を示すシーケンス図。
【図６】ポータブル端末２０により２回目以降に撮影した画像データを前記画像認識システム１０により画像認識する場合の第２実施形態の動作を示すシーケンス図。
【図７】本発明のデバイス方向推定方法、画像認識装置の他の実施形態に係る画像認識システム１０（１０Ａ，１０Ｂ）の構成を示す機能ブロック図。
【発明を実施するための形態】
【００１３】
以下図面により本発明の実施の形態について説明する。
【００１４】
図１は、本発明のデバイス方向推定方法、画像認識装置の実施形態に係る画像認識システム１０の構成を示す機能ブロック図である。
【００１５】
前記画像認識システム１０は、端末通信部１１、端末制御部１２、画像回転部１３、画像問合部１４、認識処理部１５、辞書画像記憶部１６を備えている。
【００１６】
前記画像認識システム１０は、インターネットなどの通信ネットワークに接続されたサーバ装置によって構成され、当該サーバ装置に内蔵されるＣＰＵがハードディスク等の記憶装置に予め記憶させたサーバ制御プログラム（画像認識プログラムを含む）を実行して電子回路各部の動作を制御することで、前記端末通信部１１、端末制御部１２、画像回転部１３、画像問合部１４、認識処理部１５、辞書画像記憶部１６の各部を機能させる。
【００１７】
前記端末通信部１１は、（１）前記通信ネットワークを介して接続されるポータブル端末２０により撮影された画像データを当該ポータブル端末２０の端末ＩＤ（識別情報）と共に受信して端末制御部１２に送る機能、（２）当該端末制御部１２に送った画像データの認識結果に応じて同端末制御部１２により生成された端末画面データを画面表示指示と共に前記ポータブル端末２０に送信する機能等を有する。
【００１８】
前記端末制御部１２は、（１）前記端末通信部１１から送られた前記端末ＩＤを取得する機能、（２）当該取得された端末ＩＤに対応する端末方向（推定）設定値が設定値記憶部１２Ｄに記憶されているかを判断する機能、（３）前記設定値記憶部１２Ｄに前記端末ＩＤに対応する端末方向（推定）設定値が記憶されている場合は、当該設定値に基づいて前記端末通信部１１から送られた画像データの回転処理を画像回転部１３に指示し、当該画像回転部１３により回転処理された画像データの認識を画像問合部１４に要求する機能、（４）前記端末ＩＤに対応する端末方向（推定）設定値が記憶されてない場合は、前記端末通信部１１から送られた画像データの認識を前記画像問合部１４に直接要求する機能、（５）前記画像問合部１４から前記画像データの認識結果を取得する機能、（６）当該取得された画像データの認識結果が認識失敗である場合は、前記画像データの回転処理を前記画像回転部１３に繰り返し指示（例えば、９０°ずつ最大３回）しながら当該回転処理された画像データの再認識を画像問合部１４に要求する機能、（７）前記画像問合部１４から取得された画像データの認識結果が認識成功であって前記端末ＩＤに対応する端末方向（推定）設定値が記憶されてない場合は、当該認識成功した際の前記画像データの方向から前記端末ＩＤに対応する端末方向（推定）設定値を新たに生成して前記設定値記憶部１２Ｄに記憶させる機能、（８）前記画像データの認識結果が認識成功である場合に当該認識結果に応じた情報を含む端末画面データを基準の方向（又は前記端末方向（推定）設定値に応じた方向）で生成する機能、（９）前記画像データの再認識を最大回数繰り返した後の認識結果が認識失敗である場合に当該認識失敗に応じた情報を含む端末画面データを生成する機能、（１０）前記認識結果（認識成功又は認識失敗）に応じて生成された端末画面データを前記端末通信部１１に送る機能等を有する。
【００１９】
前記設定値記憶部１２Ｄに各端末ＩＤに対応付けて記憶させる端末方向（推定）設定値は、本実施形態では、“０”が基準の方向、“１”が右９０°回転した方向、“２”が右１８０°（又は左１８０°）回転した方向、“３”が右２７０°（又は左９０°）回転した方向を示す。
【００２０】
前記画像回転部１３は、前記端末制御部１２からの指示に応じて前記画像データを前記端末方向（推定）設定値に基づき回転処理する機能等を有する。
【００２１】
前記画像問合部１４は、（１）前記端末制御部１２からの画像データの認識要求に応じて当該画像データを認識処理部１５に送る機能、（２）前記認識処理部１５から前記画像データの認識結果を取得して前記端末制御部１２に送る機能等を有する。
【００２２】
前記認識処理部１５は、（１）前記画像問合部１４から送られた認識対象の画像データと前記辞書画像記憶部１６に記憶されている多数の辞書画像データとの類似度を判定して画像認識し、その認識結果を前記画像問合部１４に応答する機能を有する。
【００２３】
前記辞書画像記憶部１６は、例えば世の中に存在する多種多様な物事を撮影した多数の画像データを当該画像データの内容を示す（表す）情報と共に辞書画像として記憶する。
【００２４】
このように構成された画像認識システム１０は、前記ＣＰＵが前記サーバ制御プログラム（画像認識プログラムを含む）に記述された命令に従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べるような、各種の機能を実現する。
【００２５】
なお、前記ポータブル端末２０は、管理システム通信部２１、カメラ(撮像部)２２、ディスプレイ（表示部）２３を備え、当該ポータブル端末２０も同端末２０に内蔵されるＣＰＵがフラッシュＲＯＭ等の記憶装置に予め記憶させた端末制御プログラムを実行して電子回路各部の動作を制御することで、前記管理システム通信部２１、カメラ２２、ディスプレイ２３の各部を機能させる。
【００２６】
前記管理システム通信部２１は、（１）ユーザ応じて前記カメラ２２により撮影された画像データを当該端末２０の端末ＩＤと共に前記通信ネットワーク上にあるサーバ装置の画像認識システム１０に送信する機能、（２）当該送信した画像データの認識結果に応じた情報を含む端末画面データを前記画像認識システム１０から受信して前記ディスプレイ２３に表示させる機能等を有する。
【００２７】
次に、前記構成の画像認識システム１０の動作について説明する。
【００２８】
図２は、前記画像認識システム１０の画像認識処理を示すフローチャートである。
【００２９】
この図２に示すフローチャートは、ステップＳ１２の点線で囲んだ部分「設定値に基づき」を除く処理が第１実施形態となり、当該部分を含む処理が第２実施形態となる。
【００３０】
本実施形態の動作は、あるユーザが使用するポータブル端末２０により初回に撮影した画像データを画像認識する場合と２回目以降に撮影した画像データを画像認識する場合とを仮定して説明する。
【００３１】
（第１実施形態）
図３は、前記ポータブル端末２０により初回に撮影した画像データを前記画像認識システム１０により画像認識する場合の第１実施形態の動作を示すシーケンス図である。
【００３２】
前記画像認識システム１０の端末通信部１１において、前記ポータブル端末２０のユーザ操作により初回に撮影した認識対象の画像データが受信されると（ステップＳ１（Ｙｅｓ）＜Ｔ１〜Ｔ４＞）、端末制御部１２において、前記画像データと共に受信された前記ポータブル端末２０の端末ＩＤが取得される。また、再認識管理回数Ｎ＝０にセットされる（ステップＳ２，Ｓ３＜Ｔ５＞）。
【００３３】
ここで、設定値記憶部１２Ｄに前記端末ＩＤに対応する端末方向（推定）設定値が記憶されているか否か判断され（ステップＳ４）、記憶されてないと判断されると（ステップＳ４（Ｎｏ））、前記画像データの認識要求が画像問合部１４に出力される（ステップＳ６＜Ｔ６＞）。
【００３４】
すると、前記画像問合部１４から前記認識対象の画像データが認識処理部１５に送られ、当該認識処理部１５において、前記認識対象の画像データと辞書画像記憶部１６に記憶されている多数の辞書画像データとの類似度が判定されて画像認識が行われ、その認識結果（認識成功又は認識失敗）が前記画像問合部１４に回答される（ステップＳ７＜Ｔ７，Ｔ８＞）。
【００３５】
そして、前記画像認識部１５から前記画像問合部１４に対して認識結果（例えば、認識失敗）が応答されることで、前記端末制御部１２において、当該認識結果（認識失敗）が取得されると（ステップＳ８，Ｓ９（Ｎｏ）＜Ｔ９，Ｔ１０＞）、前記再認識管理回数Ｎは現在（Ｎ＝０）で（Ｎ＝３）ではないと判断され（ステップＳ１４（Ｎｏ））、前記認識対象の画像データが画像回転部１３により例えば右９０°回転処理される（ステップＳ１５＜Ｔ１１＞）。そして、前記再認識管理回数Ｎが（＋１）されて（Ｎ＝１）にセットされる（ステップＳ１６）。
【００３６】
すると、前記端末制御部１２から前記右９０°回転処理された画像データの認識要求が再び前記画像問合部１４に出力され（ステップＳ６＜Ｔ１２＞）、前記認識処理部１５において、前記右９０°回転処理された画像データの再認識が行われる（ステップＳ７＜Ｔ１３，Ｔ１４＞）。
【００３７】
ここで、前記画像認識部１５から前記画像問合部１４に対して認識結果（例えば、認識成功）が応答されることで、前記端末制御部１２において、当該認識結果（認識成功）が取得されると（ステップＳ８，Ｓ９（Ｙｅｓ）＜Ｔ１５，Ｔ１６＞）、前記設定値記憶部１２Ｄに前記端末ＩＤに対応する端末方向（推定）設定値が記憶されてないと判断され（ステップＳ１０（Ｎｏ））、当該設定値記憶部１２Ｄに前記端末ＩＤに対応する端末方向設定値が生成されて記憶される（ステップＳ１１＜Ｔ１７＞）。
【００３８】
ここでは、前記端末制御部１２において、右９０°回転処理した画像データの認識要求に応じて前記画像認識部１５から認識結果（認識成功）が取得されることで前記ポータブル端末２０は基準の方向に対して右９０°回転した向きで使用されていると判断されるので、前記端末方向設定値“１”が生成されて記憶される。
【００３９】
すると、前記端末制御部１２において、前記認識結果（認識成功）に応じた情報（画像認識された画像データの内容を示す（表す）情報）を含む端末画面データが生成され（ステップＳ１２＜Ｔ１８＞）、当該生成された端末画面データとその表示指示信号が前記端末通信部１１を介して前記ポータブル端末２０に送信される（ステップＳ１３＜Ｔ１９，Ｔ２０＞）。
【００４０】
これにより、前記ポータブル端末２０では、前記ユーザ操作により撮影した画像データについてその内容を示す（表す）情報を含む端末画面データがディスプレイ２３に表示され、ユーザは当該撮影した画像に関る情報を素早く簡単に得ることができる＜Ｔ２１，Ｔ２２＞。
【００４１】
なお、前記端末制御部１２において、前記画像問合部１４に対する画像データの再認識の認識要求に対する認識結果が、再び認識失敗である場合には（ステップＳ９（Ｎｏ））、当該画像データが更に右９０°回転処理されて繰り返し画像認識処理される（ステップＳ１４〜Ｓ１６→Ｓ６〜Ｓ８＜Ｔ１１〜Ｔ１６＞）。
【００４２】
ここで、前記画像データの再認識は、最大で、前記ステップＳ１４において前記再認識管理回数Ｎが（Ｎ＝３）と判断されるまで繰り返される。そして、前記画像データを右９０°ずつ回転処理して行った画像認識処理が３回繰り返されてもなお認識結果（認識失敗）が取得された場合は（ステップＳ１４（Ｙｅｓ））、当該認識結果（認識失敗）に応じたメッセージ等の情報を含む端末画面データが生成され（ステップＳ１７）、当該生成された端末画面データとその表示指示信号が前記端末通信部１１を介して前記ポータブル端末２０に送信される（ステップＳ１３）。
【００４３】
なお、前記ポータブル端末２０により初回に撮影された画像データの前記画像認識システム１０による初回（Ｎ＝０）の画像認識処理において、認識結果（認識成功）が取得された場合は（ステップＳ１〜Ｓ４（Ｎｏ）→Ｓ６〜Ｓ９（Ｙｅｓ）＜Ｔ１〜Ｔ８，Ｔ１４〜Ｔ１６）、前記ポータブル端末２０は基準の方向で使用されていると判断されるので、当該端末ＩＤに対応付けた端末方向設定値“０”が生成され、前記設定値記憶部１２Ｄに記憶される（ステップＳ１０（Ｎｏ），Ｓ１１＜Ｔ１７＞）。
【００４４】
図４は、前記ポータブル端末２０により２回目以降に撮影した画像データを前記画像認識システム１０により画像認識する場合の第１実施形態の動作を示すシーケンス図である。
【００４５】
前記ポータブル端末２０により２回目以降に撮影された画像データの前記画像認識システム１０による画像認識処理において、前記設定値記憶部１２Ｄに前記端末２０の端末ＩＤに対応する端末方向（推定）設定値が記憶されていると判断された場合は(ステップＳ１〜Ｓ４（Ｙｅｓ）＜Ｔ２〜Ｔ５＞)、当該端末方向設定値に基づき前記画像データが回転処理されてから画像認識処理される（ステップＳ５〜Ｓ７＜Ｔ５ａ〜Ｔ８＞）。
【００４６】
具体的には、前記ポータブル端末２０の端末ＩＤに対応付けられた端末方向設定値が、例えば“１”である場合は、前記画像データは画像回転部１３により右９０°回転処理されて画像認識処理される。
【００４７】
この際、前記ポータブル端末２０の使用方向に応じた端末方向（推定）設定値に基づいて、当該端末２０により撮影された画像データが予め回転処理されてから画像認識処理が行われるので、高い画像認識成功率で認識結果（認識成功）を得ることができる（ステップＳ８，Ｓ９（Ｙｅｓ）＜Ｔ１５，Ｔ１６＞）。
【００４８】
すると、前記同様に、前記認識結果（認識成功）に応じた情報（画像認識された画像データの内容を示す（表す）情報）を含む端末画面データが生成され（ステップＳ１０（Ｙｅｓ）→Ｓ１２＜Ｔ１８＞）、当該生成された端末画面データとその表示指示信号が前記ポータブル端末２０に送信される（ステップＳ１３＜Ｔ１９，Ｔ２０＞）。
【００４９】
したがって、前記構成の第１実施形態の画像認識システム１０によれば、ポータブル端末２０により撮影された画像データを受信して辞書画像記憶部１６に記憶されている多数の辞書画像データに基づき画像認識処理した際に、認識結果（認識失敗）が得られた場合は、前記画像データを画像回転部１３により例えば右９０°ずつ回転処理しながら繰り返し画像認識処理する。そして、認識結果（認識成功）が得られた場合は、当該認識成功が得られた際の前記画像データの回転角度（量）に応じて端末方向（推定）設定値を生成し、端末ＩＤに対応付けて設定値記憶部１２Ｄに記憶させる。この後、前記ポータブル端末２０により新たに撮影された画像データが受信されると、当該端末２０の端末ＩＤに対応付けられて前記設定値記憶部１２Ｄに記憶されている端末方向（推定）設定値に応じて当該画像データを予め回転処理してから前記画像認識処理を行なう。
【００５０】
これにより、認識対象物を撮影するポータブル端末２０が方向検出機能を内蔵しない端末２０であっても、当該端末２０の使用方向に関わらず同端末２０により撮影された画像データの認識成功率を向上させることが可能になる。
【００５１】
なお、前記第１実施形態の画像認識システム１０では、前記設定値記憶部１２Ｄに前記ポータブル端末２０の端末ＩＤに対応付けた端末方向（推定）設定値が記憶されている場合は、当該端末２０から受信した認識対象の画像データを前記端末方向（推定）設定値に応じて予め回転処理してから画像認識処理を行なう構成としたが、こればかりでなく、次の第２実施形態において説明するように、前記画像認識処理の認識結果（認識成功）に応じて生成する端末画面データを、前記端末方向（推定）設定値に基づき生成し、前記ポータブル端末２０の使用方向に合せて当該端末２０に送信する構成としてもよい。
【００５２】
（第２実施形態）
図５は、前記ポータブル端末２０により初回に撮影した画像データを前記画像認識システム１０により画像認識する場合の第２実施形態の動作を示すシーケンス図である。
【００５３】
図６は、前記ポータブル端末２０により２回目以降に撮影した画像データを前記画像認識システム１０により画像認識する場合の第２実施形態の動作を示すシーケンス図である。
【００５４】
前記図５、図６に示す第２実施形態のシーケンス図において、前記図３、図４で示した第１実施形態のシーケンス図と同じ動作部分については、同じ符号Ｔ１〜Ｔ２２を付してその説明を省略する。
【００５５】
すなわち、この第２実施形態の画像認識システム１０では、前記端末制御部１２において前記画像認識部１５から認識結果（認識成功）が取得され（ステップＳ９（Ｙｅｓ）＜Ｔ８，Ｔ１４〜Ｔ１６＞）、前記設定値記憶部１２Ｄに端末ＩＤに対応する端末方向（推定）設定値が新たに生成されて記憶されたか（ステップＳ１０（Ｎｏ）→Ｓ１１）、既に生成されて記憶されている場合に（ステップＳ１０（Ｙｅｓ））、前記認識結果（認識成功）に応じた情報を含む端末画面データを前記端末方向（推定）設定値に基づき生成する（ステップＳ１２＜Ｔ１８ａ＞）。
【００５６】
具体的には、前記ポータブル端末２０の端末ＩＤに対応付けられた端末方向設定値が、例えば“１”である場合は、前記認識結果（認識成功）に応じた情報を含む端末画面データを基準の方向から左９０°回転した方向で生成し、また、例えば“０”である場合は、前記端末画面データを基準の方向に応じた方向で生成する。
【００５７】
そして、前記生成した端末画面データとその表示指示信号を前記端末通信部１１を介して前記ポータブル端末２０に送信する（ステップＳ１３＜Ｔ１９，Ｔ２０＞）。
【００５８】
これにより、前記ポータブル端末２０では、前記ユーザ操作により撮影した画像データについてその内容を示す（表す）情報を含む端末画面データが、当該端末２０の使用方向に関わらず、ユーザの見ている方向で表示されるようになり、ユーザは、前記撮影した画像に関る情報を素早く且つ見易く簡単に得ることができる＜Ｔ２１，Ｔ２２＞。
【００５９】
したがって、前記構成の第２実施形態の画像認識システム１０によれば、前記第１実施形態と同様に、認識対象物を撮影するポータブル端末２０が方向検出機能を内蔵しない端末２０であっても、当該端末２０の使用方向に関わらず同端末２０により撮影された画像データの認識成功率を向上させることが可能になり、しかも、当該画像認識された画像データの情報を含む端末画面データを、同端末２０の使用方向に合せて生成して見易く表示させることができる。
【００６０】
（他の実施形態）
前記第１実施形態と第２実施形態の画像認識システム１０は、端末通信部１１、端末制御部１２、画像回転部１３、画像問合部１４、画像認識部１５、辞書画像記憶部１６を、１つの画像認識システム１０に含めて構成している。
【００６１】
図７は、本発明のデバイス方向推定方法、画像認識装置の他の実施形態に係る画像認識システム１０（１０Ａ，１０Ｂ）の構成を示す機能ブロック図である。
【００６２】
この他の実施形態では、画像認識システム１０を、前記端末通信部１１、端末制御部１２、画像回転部１３、画像問合部１４を含む端末管理システム（サーバ装置Ａ）１０Ａと前記画像認識部１５、辞書画像記憶部１６を含む画像認識システム（サーバ装置Ｂ）１０Ｂとに分割して構成する。
【００６３】
これによれば、前記端末管理システム（サーバ装置Ａ）１０Ａは、前記ポータブル端末２０により撮影された認識対象の画像データをその認識要求と共に画像認識専用である外部の画像認識システム（サーバ装置Ｂ）１０Ｂに送信することになり、また、当該画像認識専用である外部の画像認識システム（サーバ装置Ｂ）１０Ｂからその認識結果（認識成功又は認識失敗）を受信することになる。
【００６４】
なお、前記各実施形態の画像認識処理では、前記ポータブル端末２０により撮影された画像データを前記設定値記憶部１２Ｄに記憶されている端末方向（推定）設定値に基づき回転した後に画像認識処理を行なえば、当該画像データと前記辞書画像データとの方向が一致して認識結果（認識成功）が得られるものとして説明した（ステップＳ１〜Ｓ９（Ｙｅｓ）＜Ｔ１〜Ｔ５ａ〜Ｔ８，Ｔ１５，Ｔ１６＞）。
【００６５】
しかしながら、前記設定値記憶部１２Ｄに端末方向（推定）設定値が記憶された後に、ユーザによるポータブル端末２０の使用方向が変わった場合には、前記撮影された画像データを前記端末方向（推定）設定値に基づき回転した後に画像認識処理を行なっても、認識結果（認識失敗）が取得されるので（ステップＳ１〜Ｓ９（Ｎｏ））、この場合には、前記同様に、認識対象の画像データを回転して再び画像認識処理を行なうことで認識結果（認識成功）を得ることになる（ステップＳ１４〜Ｓ１６→Ｓ６〜Ｓ９（Ｙｅｓ））。
【００６６】
従ってこの場合は、前記ポータブル端末２０の端末ＩＤに対応した端末方向（推定）設定値が前記設定値記憶部１２Ｄに既に記憶されていても（ステップＳ１０（Ｙｅｓ））、当該端末ＩＤに対応した端末方向（推定）設定値を前記認識結果（認識成功）が得られた際の前記画像データの回転角度（量）に基づき上書きして更新する構成とすればよい。
【００６７】
前記各実施形態において記載した画像認識システム１０による各処理の手法、すなわち、図２のフローチャートに示す画像認識処理、図３，図４のシーケンス図に示す第１実施形態の画像認識処理、図５，図６のフローチャートに示す第２実施形態の画像認識処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピ（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録装置の媒体に格納して配布することができる。そして、電子機器のコンピュータ（制御装置：ＣＰＵ）は、この外部記録装置の媒体に記録されたプログラムを記憶装置に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明したポータブル端末により撮影した画像データの画像認識機能を実現し、前述した手法による同様の処理を実行することができる。
【００６８】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク上を伝送させることができ、このネットワークに接続されたコンピュータ装置から前記プログラムのデータを電子機器に取り込んで記憶装置に記憶させ、前述したポータブル端末により撮影した画像データの画像認識機能を実現することもできる。
【００６９】
本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【符号の説明】
【００７０】
１０  …画像認識システム
１１  …端末通信部
１２  …端末制御部
１２Ｄ…設定値記憶部（端末方向（推定）設定値）
１３  …画像回転部
１４  …画像問合部
１５  …認識処理部
１６  …辞書画像記憶部
１０Ａ…端末管理システム（他の実施形態）
１０Ｂ…画像認識システム（他の実施形態）
２０  …ポータブル端末
２１  …管理システム通信部
２２  …カメラ（撮像部）
２３  …ディスプレイ（表示部）
【図１】
2018028781.tif 000003
【図２】
2018028781.tif 000004
【図３】
2018028781.tif 000005
【図４】
2018028781.tif 000006
【図５】
2018028781.tif 000007
【図６】
2018028781.tif 000008
【図７】
2018028781.tif 000009