(57)【要約】【課題】装置の大型化と通信時間の増加を抑制しつつ、画像の認識結果を用いて対象物のさらなる情報を得ることが可能な画像処理装置並びにそのような画像処理装置を用いた通信システム及び通信方法を提供すること。【解決手段】画像処理装置１００は、画像を取得する画像取得部１０２と、画像取得部１０２で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部１０４と、画像認識部で認識された特徴情報から文字情報を取得する文字情報取得部１０６と、文字情報取得部１０６で取得された文字情報を、文字情報からガイド情報を検索するガイド情報検索装置２００に通信する通信部１０８とを備える。【選択図】図１
2015204037.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、
前記画像認識部で認識された特徴情報から文字情報を取得する文字情報取得部と、
前記文字情報取得部で取得された文字情報を、文字情報からガイド情報を検索するガイド情報検索装置に通信する通信部と、
を具備することを特徴とする画像処理装置。
【請求項２】
画像を取得する画像取得部と、
前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、
前記画像認識部で認識された特徴情報を、特徴情報から文字情報を取得してガイド情報を検索するガイド情報検索装置に通信する通信部と、
を具備することを特徴とする画像処理装置。
【請求項３】
前記文字情報を取得可能な情報は、前記画像内の対象物の形状、色、前記対象物までの距離情報を含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像を取得した撮像装置の機種情報を記録する機種情報記録部をさらに具備し、
前記通信部は、前記機種情報をさらに前記ガイド情報検索装置に通信することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像が取得された位置を検出する位置検出部と、
前記画像が取得された時刻を検出する計時部と、
をさらに具備し、
前記画像認識部は、さらに、前記位置及び時刻を前記特徴情報として認識することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
画像を取得する画像取得部と、
前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、
前記画像認識部で認識された特徴情報から文字情報を取得する文字情報取得部と、
前記文字情報取得部で取得された文字情報を送信する画像処理装置側通信部と、
を具備する画像処理装置と、
前記画像処理装置側通信部から通信された文字情報を受信するガイド情報検索装置側通信部と、
前記受信された文字情報からガイド情報を検索する検索部と、
前記検索されたガイド情報をユーザに提示する提示部と、
を具備するガイド情報検索装置と、
を有することを特徴とする通信システム。
【請求項７】
画像を取得する画像取得部と、
前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、
前記画像認識部で取得された特徴情報を送信する画像処理装置側通信部と、
を具備する画像処理装置と、
前記画像処理装置側通信部から通信された特徴情報を受信するガイド情報検索装置側通信部と、
前記受信された特徴情報から文字情報を取得する文字情報取得部と、
前記取得された文字情報からガイド情報を検索する検索部と、
前記検索されたガイド情報をユーザに提示する提示部と、
を具備するガイド情報検索装置と、
を有することを特徴とする通信システム。
【請求項８】
画像を取得することと、
前記取得された画像から文字情報を取得可能な特徴情報を認識することと、
前記認識された特徴情報から文字情報を取得することと、
前記取得された文字情報を、文字情報からガイド情報を検索するガイド情報検索装置に通信することと、
前記通信された文字情報から前記ガイド情報検索装置においてガイド情報を検索することと、
前記ガイド情報検索装置において検索されたガイド情報をユーザに提示することと、
を具備することを特徴とする通信方法。
【請求項９】
画像を取得することと、
前記取得された画像から文字情報を取得可能な特徴情報を認識することと、
前記認識された特徴情報を、特徴情報から文字情報を取得してガイド情報を検索するガイド情報検索装置に通信することと、
前記通信された特徴情報から文字情報を取得することと、
前記取得された文字情報から前記ガイド情報検索装置においてガイド情報を検索することと、
前記ガイド情報検索装置において検索されたガイド情報をユーザに提示することと、
を具備することを特徴とする通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、通信システム及び通信方法に関する。
【背景技術】
【０００２】
近年、携帯電話機やデジタルカメラといった機器において、画像の認識機能を有するものが提案されてきている。例えば、特許文献１には、撮像により得られた画像からバーコードを読み取ることが可能な携帯型情報読み取り装置が提案されている。また、特許文献２には、２次元コードを読み取ることが可能な符号読み取り装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１７６５０９号公報
【特許文献２】特開２００８−１５２５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像の認識により、画像に写っている対象物の各種の特徴情報を得ることができる。対象物の特徴情報が分かれば、その特徴情報を用いることにより、対象物のさらなる情報が得ることができると考えられる。しかしながら、このような対象物のさらなる情報を画像処理装置で得るためには、対象物に関する十分な情報を画像処理装置の記憶部に記憶させておく必要がある。この場合、大容量の記憶部を画像処理装置に搭載する必要が生じる。また、画像のさらなる情報の取得をサーバ等の画像処理装置以外の外部装置に行わせるような構成とした場合、画像を外部装置に通信する必要が生じる。この画像の通信のため、通信時間が増加し易い。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、装置の大型化と通信時間の増加を抑制しつつ、画像の認識結果を用いて対象物のさらなる情報を得ることが可能な画像処理装置並びにそのような画像処理装置を用いた通信システム及び通信方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の画像処理装置は、画像を取得する画像取得部と、前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、前記画像認識部で認識された特徴情報から文字情報を取得する文字情報取得部と、前記文字情報取得部で取得された文字情報を、文字情報からガイド情報を検索するガイド情報検索装置に通信する通信部とを具備することを特徴とする。
【０００７】
前記の目的を達成するために、本発明の第２の態様の画像処理装置は、画像を取得する画像取得部と、前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、前記画像認識部で認識された特徴情報を、特徴情報から文字情報を取得してガイド情報を検索するガイド情報検索装置に通信する通信部とを具備することを特徴とする。
【０００８】
前記の目的を達成するために、本発明の第３の態様の通信システムは、画像を取得する画像取得部と、前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、前記画像認識部で認識された特徴情報から文字情報を取得する文字情報取得部と、前記文字情報取得部で取得された文字情報を送信する画像処理装置側通信部とを具備する画像処理装置と、前記画像処理装置側通信部から通信された文字情報を受信するガイド情報検索装置側通信部と、前記受信された文字情報からガイド情報を検索する検索部と、前記検索されたガイド情報をユーザに提示する提示部とを具備するガイド情報検索装置とを有することを特徴とする。
【０００９】
前記の目的を達成するために、本発明の第４の態様の通信システムは、画像を取得する画像取得部と、前記画像取得部で取得された画像から文字情報を取得可能な特徴情報を認識する画像認識部と、前記画像認識部で取得された特徴情報を送信する画像処理装置側通信部とを具備する画像処理装置と、前記画像処理装置側通信部から通信された特徴情報を受信するガイド情報検索装置側通信部と、前記受信された特徴情報から文字情報を取得する文字情報取得部と、前記取得された文字情報からガイド情報を検索する検索部と、前記検索されたガイド情報をユーザに提示する提示部とを具備するガイド情報検索装置とを有することを特徴とする。
【００１０】
前記の目的を達成するために、本発明の第５の態様の通信方法は、画像を取得することと、前記取得された画像から文字情報を取得可能な特徴情報を認識することと、前記認識された特徴情報から文字情報を取得することと、前記取得された文字情報を、文字情報からガイド情報を検索するガイド情報検索装置に通信することと、前記通信された文字情報から前記ガイド情報検索装置においてガイド情報を検索することと、前記ガイド情報検索装置において検索されたガイド情報をユーザに提示することとを具備することを特徴とする。
【００１１】
前記の目的を達成するために、本発明の第６の態様の通信方法は、画像を取得することと、前記取得された画像から文字情報を取得可能な特徴情報を認識することと、前記認識された特徴情報を、特徴情報から文字情報を取得してガイド情報を検索するガイド情報検索装置に通信することと、前記通信された特徴情報から文字情報を取得することと、前記取得された文字情報から前記ガイド情報検索装置においてガイド情報を検索することと、前記ガイド情報検索装置において検索されたガイド情報をユーザに提示することとを具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、装置の大型化と通信時間の増加を抑制しつつ、画像の認識結果を用いて対象物のさらなる情報を得ることが可能な画像処理装置並びにそのような画像処理装置を用いた通信システム及び通信方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る画像処理装置を含む通信システムの機能ブロック図である。
【図２】第１の実施形態に係る画像処理装置とガイド情報検索装置の適用例である通信システムの構成を示す図である。
【図３】通信システムの動作の概要を示す図である。
【図４】第１の実施形態における撮像装置の制御を示したフローチャートである。
【図５】第１の実施形態における携帯端末の制御を示したフローチャートである。
【図６】図６（ａ）は第１の実施形態の変形例２の撮像装置の外観を示す図であり、図６（ｂ）は第１の実施形態の変形例２の携帯端末の外観を示す図であり、図６（ｃ）はアタッチメントを介して撮像装置が装着された携帯端末を示す図である。
【図７】第１の実施形態の変形例２の撮像装置の制御を示したフローチャートである。
【図８Ａ】第１の実施形態の変形例２の携帯端末の制御を示したフローチャートの第１図である。
【図８Ｂ】第１の実施形態の変形例２の携帯端末の制御を示したフローチャートの第２図である。
【図９】本発明の第２の実施形態に係る画像処理装置を含む通信システムの機能ブロック図である。
【図１０】第２の実施形態に係る画像処理装置とガイド情報検索装置の適用例である通信システムの構成を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］  
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置を含む通信システムの機能ブロック図である。画像処理装置１００は、画像取得部１０２と、画像認識部１０４と、文字情報取得部１０６と、通信部１０８とを有している。この画像処理装置１００は、ガイド情報検索装置２００と通信するように構成されている。
【００１５】
画像取得部１０２は、画像を取得する。この画像取得部１０２は、例えば撮像部による撮像によって得られた画像を取得する。この他、画像取得部１０２は、画像処理装置１００の外部の機器から入力された画像を取得するように構成されていても良い。
【００１６】
画像認識部１０４は、画像取得部１０２によって入力された画像を認識する。ここでの「認識」は、文字情報取得部１０６で文字情報を取得できるような特徴情報を得る処理である。例えば、この認識は、画像内の対象物の形状や色等を認識する処理、画像内の文字を認識する処理等を含む。また、この認識は、画像が取得された際の対象物までの距離、画像が取得された位置、画像が取得された時刻等の数値化できる情報を認識する処理を含む。文字情報取得部１０６は、画像認識部１０４で認識された結果を用いて文字情報を取得する。例えば、画像認識部１０４において対象物の認識が行われていれば、文字情報取得部１０６は、対象物の認識結果から、対象物の名称等の文字情報を取得する。
【００１７】
通信部１０８は、ガイド情報検索装置２００と通信する。例えば、通信部１０８は、文字情報取得部１０６で取得された文字情報をガイド情報検索装置２００に送信する。また、通信部１０８は、ガイド情報検索装置２００で検索された情報を受信する。
【００１８】
ガイド情報検索装置２００は、記憶部２０２と、検索部２０４と、提示部２０６と、通信部２０８とを有している。
【００１９】
記憶部２０２は、文字情報と各種の情報とを関連付けて記憶している。文字情報と関連付けされる各種の情報は、例えば対象物を撮影する際の撮影方法をユーザにガイドするガイド情報である。
【００２０】
検索部２０４は、通信部２０８で受信された文字情報と対応する情報を、記憶部２０２から検索する。なお、検索部２０４は、記憶部２０２以外からも情報を取得するように構成されていても良い。例えば、検索部２０４は、通信部２０８で受信された文字情報を検索キーワードとして用いて、検索サイト等における検索によって情報を取得しても良い。
【００２１】
提示部２０６は、検索部２０４で検索された情報をユーザに対して提示する。この提示は、例えば表示によって行われる。
【００２２】
通信部２０８は、画像処理装置１００と通信する。例えば、通信部２０８は、画像処理装置１００から送信された文字情報を受信する。また、通信部２０８は、必要に応じて検索部２０４で検索された情報を画像処理装置１００に送信する。
【００２３】
図２は、図１に示した画像処理装置１００とガイド情報検索装置２００の適用例である通信システムの構成を示す図である。図２に示す通信システムは、撮像装置３００と、携帯端末４００と、サーバ５００とを有している。撮像装置３００と携帯端末４００とは、互いに通信するように構成されている。また、携帯端末４００とサーバ５００とは、互いに通信するように構成されている。
【００２４】
撮像装置３００は、画像処理装置１００としての機能を有するものであって、制御部３０２と、撮像部３０４と、表示部３０６と、接眼表示部３０８と、記録部３１０と、操作部３１２と、タッチパネル３１４と、姿勢検出部３１６と、位置検出部３１８と、計時部３２０と、通信部３２２とを有している。撮像装置３００は、例えばデジタルカメラやスマートフォンといった撮像機能を有する各種の機器である。
【００２５】
制御部３０２は、例えばＣＰＵやＡＳＩＣで構成されている。制御部３０２は、撮像装置３００の各部の制御を行う。この制御部３０２は、図１で示した画像処理装置１００の画像取得部１０２と、画像認識部１０４と、文字情報取得部１０６を有する。この他、制御部３０２は、撮像制御部３０２３と、画像処理部３０２４と、表示制御部３０２５と、通信制御部３０２６とを有している。撮像制御部３０２３は、撮像部３０４による撮像動作を制御する。画像処理部３０２４は、撮像部３０４によって取得された画像に対して表示や記録のために必要な画像処理を施す。この画像処理は、ホワイトバランス補正、階調補正、色補正といった画質に関する補正、リサイズ処理、圧縮処理、伸張処理等を含む。表示制御部３０２５は、表示部３０６への各種の画像の表示を制御する。通信制御部３０２６は、通信部３２２を介して撮像装置３００と外部機器との通信の際の制御をする。通信制御部３０２６により、撮像装置３００は、携帯端末４００と通信自在に接続される。
【００２６】
撮像部３０４は、被写体を撮像して被写体に関する画像（画像データ）を取得する。この撮像部３０４は、撮影レンズ３０４１と、撮像素子３０４２と、アナログ／デジタル（Ａ／Ｄ）変換部３０４３とを有している。撮影レンズ３０４１は、被写体からの光束を撮像素子３０４２に集光させる。撮像素子３０４２は、受光面を有する。受光面には、画素が配置されている。画素は、例えばフォトダイオードであり、入射光の光量に応じた電気信号（画像信号）を出力する。Ａ／Ｄ変換部３０４３は、撮像素子３０４２で得られたアナログの画像信号をデジタルの画像信号（画像データ）に変換する。
【００２７】
表示部３０６は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、例えば撮像装置３００の背面に設けられている。この表示部３０６は、各種の画像データに基づいて画像を表示する。接眼表示部３０８は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、例えば撮像装置３００の背面に設けられた覗き込み式の表示部である。この接眼表示部３０８は、表示部３０６と同様、各種の画像データに基づいて画像を表示する。ここで、表示部３０６又は接眼表示部３０８における表示に用いられる画像データは、撮像部３０４の撮像によって得られた画像データや記録部３１０に記録された画像データである。
【００２８】
記録部３１０は、例えばフラッシュメモリであり、画像データ等をファイルとして記録する。記録部３１０には、接続先データベース（ＤＢ）３１０１と、画像データベース（ＤＢ）３１０２とが構築されている。また、記録部３１０の記録領域の一部は、機種情報記録部３１０３である。接続先ＤＢ３１０１は、撮像装置３００の通信対象となる機器（携帯端末４００）と通信するために必要なアドレス情報等を記憶したデータベースである。画像ＤＢ３１０２は、画像認識部１０４による画像認識のために必要となる各種の対象物の特徴量データ等を記憶したデータベースである。機種情報記録部３１０３は、撮像装置３００の機種名の情報、撮影レンズ３０４１の特性情報（焦点距離等）といったガイド情報を取得する対象となる画像を撮像した撮像装置３００に関する機種情報を記録するための記録領域である。なお、記録部３１０は、撮像装置３００に内蔵されているものであっても、撮像装置３００に対して着脱自在なものであっても良い。
【００２９】
操作部３１２は、ユーザが撮像装置３００の操作を行うための機械式の操作部材である。操作部３１２としては、例えばレリーズボタンや電源スイッチが含まれる。レリーズボタンは、ユーザが撮影動作の実行を指示するためのボタンである。また、電源スイッチは、ユーザが撮像装置３００の電源のオン又はオフを指示するためのスイッチである。
【００３０】
タッチパネル３１４は、例えば表示部３０６の表示画面の上に形成されており、ユーザによるタッチ操作を検出する。制御部３０２は、タッチパネル３１４で検出されたタッチ操作に応じた処理を行う。例えば、タッチパネル３１４は、レリーズボタンの代わりとして用いられる。その他、タッチパネル３１４は、表示部３０６の表示画面に表示された画像の特定の部分をユーザが指定するために用いられる。
【００３１】
姿勢検出部３１６は、例えば３軸の加速度センサであり、撮像装置３００の姿勢を検出する。位置検出部３１８は、例えばＧＰＳによって撮像装置３００の現在位置を検出する。なお、位置検出部３１８によって撮像装置３００の方位を検出できるようにしても良い。計時部３２０は、現在時刻を取得する。通信部３２２は、通信部１０８と対応しており、通信制御部３０２６による制御に従って携帯端末４００と通信する。通信部３２２は、例えば無線ＬＡＮインタフェースである。通信部３２２は、ＵＳＢ等の有線インタフェースであっても良い。
【００３２】
携帯端末４００は、ガイド情報検索装置２００としての機能を有するものであって、制御部４０２と、記録部４０４と、表示部４０６と、タッチパネル４０８と、通信部４１０と、通信部４１２とを有している。携帯端末４００は、スマートフォン等の情報の提示機能を有する各種の機器である。図２の携帯端末４００は、撮像部を有していないが、撮像部を有していても良い。
【００３３】
制御部４０２は、例えばＣＰＵで構成されている。この制御部４０２は、携帯端末４００の各部の制御を行う。この制御部４０２は、図１で示したガイド情報検索装置２００の検索部２０４を有している。この他に制御部４０２は、通信制御部４０２２を有している。通信制御部４０２２は、撮像装置３００又はサーバ５００との通信の際の制御をする。
【００３４】
記録部４０４は、例えばハードディスクである。この記録部４０４には、記憶部２０２としてのガイド情報データベース（ＤＢ）４０４１が構築されている。ガイド情報ＤＢ４０４１は、ガイド情報の検索のためのデータベースである。ガイド情報は、各種の文字情報と対応付けられている。
【００３５】
提示部２０６として機能する表示部４０６は、例えば液晶ディスプレイや有機ＥＬディスプレイである。この表示部４０６は、各種の画像データに基づいて画像を表示する。タッチパネル４０８は、表示部４０６の表示画面の上に形成されており、ユーザによるタッチ操作を検出する。制御部４０２は、タッチパネル４０８で検出されたタッチ操作に応じた処理を行う。
【００３６】
通信部４１０は、通信制御部４０２２による制御に従って撮像装置３００と通信する。通信部４１２は、通信制御部４０２２による制御に従ってサーバ５００と通信する。通信部４１０は、例えば無線ＬＡＮインタフェースである。また、通信部４１２は、例えば携帯電話回線である。
【００３７】
サーバ５００は、制御部５０２と、記録部５０４と、通信部５０６とを有している。
【００３８】
制御部５０２は、例えばＣＰＵで構成され、サーバ５００の各部の制御を行う。この制御部５０２は、通信制御部５０２１を有している。通信制御部５０２１は、携帯端末４００との通信の際の制御をする。記録部５０４は、例えばハードディスクである。この記録部５０４には、検索部２０４によって検索される各種情報が記憶されている。通信部５０６は、通信制御部５０２１による制御に従って携帯端末４００と通信する。
【００３９】
以下、本実施形態に係る通信システムの動作を説明する。ユーザは、撮像装置３００と携帯端末４００とを所持しているとする。この状態でユーザは、被写体（図では花）を撮影するために、図３（ａ）に示すように、撮像装置３００を被写体に向ける。ここでは、ユーザは、桜を撮影しようとしていたとする。
【００４０】
このとき、撮像装置３００の画像認識部１０４は、撮像部３０４を介して得られる画像から、被写体等の特徴情報を抽出する。特徴情報は、例えば、被写体の形状、色、撮像装置３００から被写体までの距離等の文字情報化することが可能な各種の情報である。特徴情報は、画像から取得するものに限るものではない。例えば、位置検出部３１８で位置情報が取得されていたり、計時部３２０で現在時刻が取得されていたりする場合には、これらの現在位置情報及び現在時刻情報を特徴情報としても良い。特徴情報の抽出後、画像認識部１０４は、抽出した特徴情報を文字情報取得部１０６に送信する。文字情報取得部１０６は、画像認識部１０４で認識された各種の特徴情報から文字情報を取得する。例えば、図３（ｂ）の例では、被写体の名称を表す文字情報である「花」、被写体の色を表す文字情報である「桃色」が抽出される。この他、背景を表す文字情報である「青空」等も抽出される。また、距離情報のような数値化された情報であれば、その数値が文字情報として抽出される。
【００４１】
文字情報を取得した後、通信制御部３０２６は、通信部３２２により、文字情報取得部１０６で取得された文字情報を携帯端末４００に送信する。このとき、通信制御部３０２６は、機種情報記録部３１０３に記録されている機種情報も文字情報として携帯端末４００に送信しても良い。
【００４２】
撮像装置３００から文字情報を取得すると、携帯端末４００の検索部２０４は、図３（ｃ）に示すようにして、撮像装置３００から取得した文字情報を検索キーワードとしてガイド情報ＤＢ４０４１からガイド情報を検索する。例えば、被写体の名称が「花」で撮像装置３００の機種名が「ＸＸ−Ｚ」であれば、検索部２０４は、「「ＸＸ−Ｚ」で「花」を撮る」、「桃色」、等の検索キーワードで検索を行う。前述したように、検索部２０４は、サーバ５００との通信により、ウェブ上で検索をしても良い。
【００４３】
ガイド情報の検索が終了すると、携帯端末４００の制御部４０２は、検索したガイド情報を、図３（ｄ）に示すようにして、表示部４０６に表示させる。これにより、ユーザは、機種「ＸＸ−Ｚ」を用いた花の撮り方をガイド情報として知ることができる。本実施形態では、撮像装置３００は、ガイド情報の検索をするための文字情報を取得して携帯端末４００に送信するだけで、ガイド情報の検索を行わない。さらに、撮像装置３００は、文字情報を送信するだけである。したがって、撮像装置３００における通信の負荷はかなり小さくなる。
【００４４】
以下、本実施形態の通信システムの動作の詳細を説明する。図４は、撮像装置３００の制御を示したフローチャートである。図４の処理は、制御部３０２に予め記憶されたプログラムに従って行われる。
【００４５】
図４において、制御部３０２は、電源スイッチがオンされたか否かを判定する（ステップＳ１０１）。ステップＳ１０１において電源スイッチがオンされていないと判定した場合に、制御部３０２は、撮像装置３００をスタンバイ状態に移行させる。スタンバイ状態では、ステップＳ１０１の判定等の撮像装置３００における必要最低限の機能のみが実行される。
【００４６】
ステップＳ１０１において電源スイッチがオンされたと判定した場合に、制御部３０２は、撮像装置３００の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。撮影モードは、記録用の画像を撮影するための動作モードである。なお、撮像装置３００の動作モードは、例えばユーザによる操作部３１２の操作やタッチパネル３１４の操作によって決定される。ステップＳ１０２において撮像装置３００の動作モードが撮影モードでないと判定した場合に、制御部３０２は、撮影モード以外の動作モードに応じた処理を行う。撮影モード以外の動作モードは、例えば再生モードである。再生モードの詳細については説明を省略する。
【００４７】
ステップＳ１０２において撮像装置３００の動作モードが撮影モードであると判定した場合に、制御部３０２は、スルー画表示を行う（ステップＳ１０３）。スルー画表示は、撮像部３０４の連続動作によって得られる画像をリアルタイムで表示部３０６に表示させる動作である。スルー画表示の際、制御部３０２は、スルー画表示中に撮像部３０４で得られる画像を画像取得部１０２によって取得する。そして、制御部３０２は、画像認識部１０４により、画像取得部１０２によって取得した画像から特徴情報を抽出する（ステップＳ１０４）。
【００４８】
続いて、制御部３０２は、ユーザがガイド情報を要求しているか否かを判定する（ステップＳ１０５）。例えば、ユーザによる操作部３１２の操作やタッチパネル３１４の操作によってガイド情報が要求された場合に、ユーザがガイド情報を要求していると判定される。ステップＳ１０５においてユーザがガイド情報を要求していないと判定した場合に、制御部３０２は、ステップＳ１０６〜Ｓ１０９の処理をスキップする。一方、ステップＳ１０５においてユーザがガイド情報を要求していると判定した場合に、制御部３０２は、文字情報取得部１０６により、画像認識部１０４によって抽出された特徴情報から文字情報を取得する（ステップＳ１０６）。その後、制御部３０２は、文字情報が取得できたか否かを判定する（ステップＳ１０７）。ステップＳ１０７において文字情報が取得できなかったと判定した場合に、制御部３０２は、文字情報が取得できなかった、すなわちガイド情報を取得することができない旨の警告をユーザに対して行う（ステップＳ１０８）。警告は、例えば表示や音声を用いて行われる。警告の後、制御部３０２は、処理をステップＳ１１０に移行させる。
【００４９】
ステップＳ１０７において文字情報が取得できたと判定した場合に、制御部３０２は、通信制御部３０２６により、文字情報取得部１０６によって取得された文字情報を携帯端末４００に送信する（ステップＳ１０９）。もちろん、画像情報のうち、色や形状や大きさ、距離分布など、文字に変換可能な情報のみを送って、画像情報そのものを補助情報として送るような応用も考えられる。この場合、画像情報は輪郭のみであったり、色分布のみであったりしても良い。補助的に得られた時刻や場所や温度や湿度や気圧や方位や傾きなどを文字情報で送っても良い。例えば、温度情報から「暑い時に」とか、仰角情報を「空高く」などと変換して送れば、様々なテキスト検索、ネット検索、自然言語検索がしやすくなる。撮影モードなどもテキスト化は重要で、モード名や撮影パラメータからも、「マクロで撮影」、「ワイドで撮影」等を文字で送れば、情報量が増え、情報の絞り込みが可能で、同様の撮影方法での撮影結果等が検索しやすい。
【００５０】
ステップＳ１０５においてユーザがガイド情報を要求してないと判定した場合、ステップＳ１０８又はＳ１０９の後、制御部３０２は、ユーザによる撮影操作があるか否かを判定する（ステップＳ１１０）。撮影操作は、例えばユーザによるレリーズボタンの押し操作やタッチパネル３１４を用いたタッチレリーズ操作である。ステップＳ１１０においてユーザによる撮影操作がないと判定した場合に、制御部３０２は、処理をステップＳ１０１に戻す。
【００５１】
ステップＳ１１０においてユーザによる撮影操作があると判定した場合に、制御部３０２は、撮影動作を行う（ステップＳ１１１）。撮影動作は、撮像部３０４を制御して記録用の画像データを取得する動作である。撮影動作の実行後、制御部３０２は、画像処理部３０２４により、撮影動作により得られた画像データを画像処理する。そして、制御部３０２は、画像処理後の画像データを記録部３１０に記録する（ステップＳ１１２）。この後、制御部３０２は、処理をステップＳ１０１に戻す。
【００５２】
図５は、携帯端末４００の制御を示したフローチャートである。図５の処理は、制御部４０２に予め記憶されたプログラムに従って行われる。
【００５３】
図５において、制御部４０２は、電源をオンさせるか否かを判定する（ステップＳ２０１）。ステップＳ２０１において電源をオンさせないと判定した場合に、制御部４０２は、携帯端末４００をスタンバイ状態に移行させる。スタンバイ状態では、ステップＳ２０１の判定等の携帯端末４００における必要最低限の機能のみが実行される。
【００５４】
ステップＳ２０１において電源をオンさせると判定した場合に、制御部４０２は、携帯端末４００の電源をオンさせる。そして、制御部４０２は、撮像装置３００と通信中か否かを判定する（ステップＳ２０２）。ステップＳ２０２において撮像装置３００と通信中でないと判定した場合に、制御部４０２は、撮像装置３００との通信モード以外の動作モードに応じた処理を行う。通信モード以外の動作モードの詳細については説明を省略する。
【００５５】
ステップＳ２０２において撮像装置３００と通信中であると判定した場合に、制御部４０２は、撮像装置３００から文字情報を受信したか否かを判定する（ステップＳ２０３）。ステップＳ２０３において文字情報を受信していないと判定した場合に、制御部４０２は、処理をステップＳ２０１に戻す。
【００５６】
ステップＳ２０３において文字情報を受信したと判定した場合に、制御部４０２は、検索部２０４により、受信した文字情報を利用してのガイド情報の検索を行う（ステップＳ２０４）。前述したように、ガイド情報は、ガイド情報ＤＢ４０４１からだけでなく、サーバ５００によるウェブ上でも検索され得る。ガイド情報の検索後、制御部４０２は、ガイド情報の検索を行うことができたか否かを判定する（ステップＳ２０５）。ステップＳ２０５においてガイド情報の検索を行うことができなかったと判定した場合に、制御部４０２は、ガイド情報を取得することができなかった旨の警告を行う（ステップＳ２０６）。警告は、例えば表示や音声を用いて行われる。警告の後、制御部４０２は、処理をステップＳ２０１に移行させる。
【００５７】
ステップＳ２０５においてガイド情報の検索を行うことができたと判定した場合に、制御部４０２は、検索したガイド情報を例えば図３（ｄ）のようにして表示部４０６に表示させる（ステップＳ２０７）。このガイド情報は、撮影時、観察時のアドバイスであっても良く、撮影、観察時に得られた対象物の名称や解説にとどまらず、その向こうにあるものを教えたり、歴史的背景を教えたり、芸術作品との関係をガイドするものでも良い。ここで表示させる他、カメラで表示できるようにしても良く、周辺に関連機器がある場合又は遠隔でも関連機器がある場合、そこに表示するように無線で飛ばしても良い。例えば、職場に設えられた大型モニタに、出張先で撮影した画像と共に、その時撮影したものに関する情報を関連づけて表示するシステムに採用すれば、会議等に役立つ場合もある。結婚式場での撮影時に撮影した花嫁のブーケの花が、何であるかが、プロジェクタに投影されたりする。
ガイド情報を表示させた後、制御部４０２は、ガイド情報の表示を終了させるか否かを判定する（ステップＳ２０８）。例えば、ユーザによるタッチパネル４０８の操作によってガイド情報の表示の終了が要求された場合に、ガイド情報の表示を終了させると判定される。ステップＳ２０８においてガイド情報の表示を終了させないと判定した場合に、制御部４０２は、処理をステップＳ２０７に戻してガイド情報の表示を継続させる。ステップＳ２０８においてガイド情報の表示を終了させると判定した場合に、制御部４０２は、処理をステップＳ２０１に戻す。
【００５８】
以上説明したように本実施形態によれば、画像の認識結果を用いてガイド情報を取得することが可能である。ここで、本実施形態においてはガイド情報をガイド情報検索装置２００によって取得させている。このため、ガイド情報を取得するための情報を画像処理装置１００に記憶させておく必要がない。また、画像処理装置１００において発生する通信は、携帯端末４００に文字情報を送信する際の通信だけである。このため、画像処理装置１００における通信の負荷を軽減することが可能である。
【００５９】
次に、本実施形態の変形例を説明する。  
［変形例１］
前述した実施形態では、ガイド情報をガイド情報検索装置２００としての携帯端末４００の表示部４０６に表示させている。これに対し、画像処理装置１００としての撮像装置３００との通信が発生するものの、携帯端末４００において取得したガイド情報を撮像装置３００の表示部３０６又は接眼表示部３０８に表示させるようにしても良い。特に、接眼表示部３０８にガイド情報を表示させるようにした場合、表示されるガイド情報は外光の影響を受けない。このため、ユーザは、ガイド情報を鮮明な状態で見ることができる。
【００６０】
［変形例２］
図３は、ユーザは、撮像装置３００と携帯端末４００とを別々に所持している例を示している。これに対し、図６で示すようにして撮像装置３００と携帯端末４００とが使用されても良い。
【００６１】
図６（ａ）は、変形例２の撮像装置３００の外観を示している。図６（ａ）で示す撮像装置３００は、「交換レンズ状」の撮像装置である。交換レンズ状の筐体の内部に図２で示した撮像装置３００の各処理ブロックが設けられている。なお、交換レンズ状の撮像装置３００の場合、図２で示した全ての処理ブロックが設けられている必要はない。例えば、表示部３０６と、接眼表示部３０８と、タッチパネル３１４と、姿勢検出部３１６と、位置検出部３１８と、計時部３２０とはなくても良い（あっても良い）。一方、図６（ｂ）は、携帯端末４００の外観を示している。変形例２の携帯端末４００は、例えばスマートフォンであり、図２で示した携帯端末４００と同じ構成を有している。
【００６２】
変形例２の撮像装置３００は、図６（ｃ）で示すように、アタッチメント６００を介して携帯端末４００に装着される。このような構成において、撮像装置３００で撮影された画像は携帯端末４００に送信される。すなわち、撮像装置３００と携帯端末とが１台のデジタルカメラのように動作する。
【００６３】
図７は、変形例２の撮像装置３００の制御を示したフローチャートである。図７の処理は、制御部３０２に予め記憶されたプログラムに従って行われる。
【００６４】
図７において、制御部３０２は、電源がオンされたか否かを判定する（ステップＳ３０１）。例えば撮像装置３００に電源スイッチが設けられている場合には、電源スイッチがオンされたか否かが判定される。ステップＳ３０１において電源がオンされていないと判定した場合に、制御部３０２は、撮像装置３００をスタンバイ状態に移行させる。
【００６５】
ステップＳ３０１において電源がオンされたと判定した場合に、制御部３０２は、通信制御部３０２６により、スルー画を携帯端末４００に送信する（ステップＳ３０２）。また、このとき、制御部３０２は、撮像部３０４で得られるスルー画を画像取得部１０２によって取得する。そして、制御部３０２は、画像認識部１０４により、画像取得部１０２によって取得した画像から特徴情報を抽出する（ステップＳ３０３）。
【００６６】
続いて、制御部３０２は、ユーザがガイド情報を要求しているか否かを判定する（ステップＳ３０４）。例えば、携帯端末４００からのガイド要求が受信された場合に、ユーザがガイド情報を要求していると判定される。ステップＳ３０４においてユーザがガイド情報を要求していないと判定した場合に、制御部３０２は、ステップＳ３０５〜Ｓ３０８の処理をスキップする。一方、ステップＳ３０４においてユーザがガイド情報を要求していると判定した場合に、制御部３０２は、文字情報取得部１０６により、画像認識部１０４によって抽出された特徴情報から文字情報を取得する（ステップＳ３０５）。その後、制御部３０２は、文字情報を取得できたか否かを判定する（ステップＳ３０６）。ステップＳ３０６において文字情報を取得できなかったと判定した場合に、制御部３０２は、通信制御部３０２６により、文字情報を取得できなかった旨を示す警告情報を携帯端末４００に送信する（ステップＳ３０７）。警告情報の送信の後、制御部４０２は、処理をステップＳ３０９に移行させる。文字情報の取得は、しかし、それほど困難ではなく、撮影が行われた時刻から季節の情報として、「春」とか「初夏」とかに変換しても良く、「朝早く」、「夕方に」といった文字はすぐに変換可能である。「黄色い」といった色だけとか、「丸い」といった形状のみでも良い。「明るい」とか、「動いている」なども、撮影で簡単に得られる情報と言える。撮影時には距離情報も得られる場合も多く、さらに、こうした経時変化などを画像情報としても良い。
【００６７】
ステップＳ３０６において文字情報が取得できたと判定した場合に、制御部３０２は、通信制御部３０２６により、文字情報取得部１０６によって取得された文字情報を携帯端末４００に送信する（ステップＳ３０８）。
【００６８】
ステップＳ３０４においてユーザがガイド情報を要求してないと判定した場合、ステップＳ３０７又はＳ３０８の後、制御部３０２は、携帯端末４００からの撮影指示があるか否かを判定する（ステップＳ３０９）。ステップＳ３０９において撮影指示がないと判定した場合に、制御部３０２は、処理をステップＳ３０１に戻す。
【００６９】
ステップＳ３０９において撮影指示があると判定した場合に、制御部３０２は、撮影動作を行う（ステップＳ３１０）。撮影動作の実行後、制御部３０２は、画像処理部３０２４により、撮影動作により得られた画像データを画像処理する。そして、制御部３０２は、通信制御部３０２６により、画像処理後の画像データを携帯端末４００に送信する（ステップＳ３１１）。この後、制御部３０２は、処理をステップＳ３０１に戻す。
【００７０】
図８Ａ及び図８Ｂは、変形例２の携帯端末４００の制御を示したフローチャートである。図８Ａ及び図８Ｂの処理は、制御部４０２に予め記憶されたプログラムに従って行われる。
【００７１】
図８Ａにおいて、制御部４０２は、電源をオンさせるか否かを判定する（ステップＳ４０１）。ステップＳ４０１において電源をオンさせないと判定した場合に、制御部４０２は、携帯端末４００をスタンバイ状態に移行させる。
【００７２】
ステップＳ４０１において電源をオンさせると判定した場合に、制御部４０２は、携帯端末４００の電源をオンさせる。そして、制御部４０２は、携帯端末４００の動作モードが撮影モードであるか否かを判定する（ステップＳ４０２）。動作モードの設定は、例えばユーザによるタッチパネル４０８の操作によって行われる。ステップＳ４０２において動作モードが撮影モードでないと判定した場合に、制御部４０２は、撮影モード以外の動作モードに応じた処理を行う。撮影モード以外の動作モードの詳細については説明を省略する。
【００７３】
ステップＳ４０２において動作モードが撮影モードであると判定した場合に、制御部４０２は、撮像装置３００と通信中か否かを判定する（ステップＳ４０３）。ステップＳ４０３において撮像装置３００と通信中でないと判定した場合に、制御部４０２は、携帯端末４００と撮像装置３００とが通信中でないことをユーザに対して警告する（ステップＳ４０４）。その後、制御部４０２は、処理をステップＳ４０１に戻す。
【００７４】
ステップＳ４０３において撮像装置３００と通信中であると判定した場合に、制御部４０２は、撮像装置３００からスルー画を受信したか否かを判定する（ステップＳ４０５）。ステップＳ４０５においてスルー画を受信していないと判定した場合に、制御部４０２は、処理をステップＳ４０１に戻す。ステップＳ４０５においてスルー画を受信したと判定した場合に、制御部４０２は、受信したスルー画を表示部４０６に表示させる（ステップＳ４０６）。
【００７５】
続いて、制御部４０２は、ユーザがガイド情報を要求しているか否かを判定する（ステップＳ４０７）。例えば、ユーザによるタッチパネル４０８の操作によってガイド情報が要求された場合に、ユーザがガイド情報を要求していると判定される。ステップＳ４０７においてユーザがガイド情報を要求していないと判定した場合に、制御部４０２は、ステップＳ４０８〜Ｓ４１４の処理をスキップする。一方、ステップＳ４０７においてユーザがガイド情報を要求していると判定した場合に、制御部４０２は、通信制御部４０２２により、撮像装置３００に対してガイド要求を送信する（ステップＳ４０８）。
【００７６】
ガイド要求の送信後、制御部４０２は、撮像装置３００から文字情報を受信したか否かを判定する（ステップＳ４０９）。ステップＳ４０９において文字情報を受信していないと判定した場合に、制御部４０２は、撮像装置３００から警告情報を受信したか否かを判定する（ステップＳ４１０）。ステップＳ４１０において警告情報を受信していないと判定した場合に、制御部４０２は、処理をステップＳ４０９に戻して文字情報の受信を待つ。ステップＳ４１０において警告情報を受信したと判定した場合に、制御部４０２は、ガイド情報を取得できなかった旨をユーザに警告する（ステップＳ４１１）。警告は、例えば表示や音声を用いて行われる。警告の後、制御部４０２は、処理をステップＳ４１５に移行させる。
【００７７】
ステップＳ４０９において文字情報を受信したと判定した場合に、制御部４０２は、検索部２０４により、受信した文字情報を利用してのガイド情報の検索を行う（ステップＳ４１２）。ステップＳ４１２のガイド情報の検索は、ステップＳ２０４のガイド情報の検索と同様にして行われる。ガイド情報の検索後、制御部４０２は、ガイド情報の検索を行うことができたか否かを判定する（ステップＳ４１３）。ステップＳ４１３においてガイド情報の検索を行うことができなかったと判定した場合に、制御部４０２は、処理をステップＳ４１１に移行させて警告を行う。
【００７８】
ステップＳ４１３においてガイド情報の検索を行うことができたと判定した場合に、制御部４０２は、検索したガイド情報を例えば図３（ｄ）のようにして表示部４０６に表示させる（ステップＳ４１４）。
【００７９】
ステップＳ４０７においてユーザがガイド情報を要求してないと判定した場合、ステップＳ４１１又はＳ４１４の後、制御部４０２は、ユーザによる撮影操作があるか否かを判定する（ステップＳ４１５）。撮影操作は、例えばユーザによるタッチパネル４０８を用いたタッチレリーズ操作である。ステップＳ４１５においてユーザによる撮影操作がないと判定した場合に、制御部４０２は、処理をステップＳ４０１に戻す。
【００８０】
ステップＳ４１５においてユーザによる撮影操作があると判定した場合に、制御部３０２は、通信制御部４０２２により、撮像装置３００に対して撮影指示を送信する（ステップＳ４１６）。撮影指示の送信後、制御部４０２は、撮像装置３００から画像データを受信したか否かを判定する（ステップＳ４１７）。ステップＳ４１７において撮像装置３００から画像データを受信したと判定するまで、制御部４０２は、ステップＳ４１７の判定を繰り返す。所定時間の間に画像データを受信できなかった場合に、処理がステップＳ４０１に移行するようにしても良い。
【００８１】
ステップＳ４１７において撮像装置３００から画像を受信したと判定した場合に、制御部４０２は、受信した画像データを記録部４０４に記録する（ステップＳ４１８）。この後、制御部４０２は、処理をステップＳ４０１に戻す。
【００８２】
以上説明したように変形例２のような構成であっても、前述した実施形態と同様の効果が得られる。また、撮像装置３００は、携帯端末４００に比べて、撮像素子や撮影レンズの設計の自由度を高くすることが可能である。このため、携帯端末４００よりも高機能の撮像部を設けることが可能である。高機能の撮像部を設けることにより、撮像装置３００は、携帯端末４００よりも高画質の画像を撮影することが可能である。また、このような高画質の画像を携帯端末４００に送信することにより、高画質のスルー画を携帯端末４００の表示部４０６に表示させたり、高画質の画像を記録部４０４に記録させたりすることが可能である。
【００８３】
［第２の実施形態］  
次に、本発明の第２の実施形態について説明する。図９は、本発明の第２の実施形態に係る画像処理装置を含む通信システムの機能ブロック図である。図１０は、図９に示した画像処理装置１００とガイド情報検索装置２００の適用例である通信システムの構成を示す図である。図９及び図１０については、第１の実施形態と異なる部分のみ説明する。図９及び図１０に示すように、第２の実施形態では、文字情報取得部１０６がガイド情報検索装置２００（携帯端末４００）に設けられている。この他の点は、図１と同様である。このような構成において、第２の実施形態の画像処理装置１００では、画像認識部１０４における対象物の認識までが行われる。そして、ガイド情報検索装置２００において、文字情報の取得とガイド情報との検索が行われる。
【００８４】
以上説明したような本実施形態においても、画像の認識結果を用いてガイド情報を取得することが可能である。また、画像処理装置１００において発生する通信は、ガイド情報検索装置２００に特徴情報を送信する際の通信だけである。このため、画像処理装置１００における通信の負荷を軽減することが可能である。
【００８５】
なお、第２の実施形態で説明した構成と第１の実施形態の変形例１及び変形例２の構成とは組み合わされても良い。
【００８６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００８７】
また、上述した実施形態では画像処理装置としての側面を強調して説明したが、上述した実施形態の技術は、画像表示装置、検査装置、警告装置として、コンシューマ用途以外の例えば産業用機器や医療用機器の分野にも応用され得る。テキストベースでの検索時の情報量のリッチ化や、情報の絞り込み情報が、表示や検査や警告時の精度を上げることが可能となる。いちいち、スマートフォン等の携帯通信端末を手にしなくとも、いつの間にか、補助情報が送られて来ているような仕様にもできる。うまく検査が出来ない場合等は、失敗検査画像などを画像からや撮影時の情報から判定し、「失敗」などと判定して送っても良く、こうした応用は本願の技術がカバーする範囲内であり、端末を取り出せば、失敗を防ぐアドバイスが表示されていたりすれば便利である。
【００８８】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８９】
１００  画像処理装置、１０２  画像取得部、１０４  画像認識部、１０６  文字情報取得部、１０８  通信部、２００  ガイド情報検索装置、２０２  記憶部、２０４  検索部、２０６  提示部、２０８  通信部、３００  撮像装置、３０２  制御部、３０４  撮像部、３０６  表示部、３０８  接眼表示部、３１０  記録部、３１２  操作部、３１４  タッチパネル、３１６  姿勢検出部、３１８  位置検出部、３２０  計時部、３２２  通信部、４００  携帯端末、４０２  制御部、４０４  記録部、４０６  表示部、４０８  タッチパネル、４１０  通信部、４１２  通信部、５００  サーバ、５０２  制御部、５０４  記録部、５０６  通信部、６００  アタッチメント、３０２３  撮像制御部、３０２４  画像処理部、３０２５  表示制御部、３０２６  通信制御部、３０４１  撮影レンズ、３０４２  撮像素子、３０４３  デジタル（Ａ／Ｄ）変換部、３１０３  機種情報記録部、４０２２  通信制御部、５０２１  通信制御部、３１０１  接続先データベース（ＤＢ）、３１０２  画像データベース（ＤＢ）、４０４１  ガイド情報データベース（ＤＢ）
【図１】
2015204037.tif 000003
【図２】
2015204037.tif 000004
【図３】
2015204037.tif 000005
【図４】
2015204037.tif 000006
【図５】
2015204037.tif 000007
【図６】
2015204037.tif 000008
【図７】
2015204037.tif 000009
【図８Ａ】
2015204037.tif 000010
【図８Ｂ】
2015204037.tif 000011
【図９】
2015204037.tif 000012
【図１０】
2015204037.tif 000013