(57)【要約】【課題】検索対象物を撮影し、その対象物の名称などを簡単な操作で遠隔から検索すること。【解決手段】撮影部１１で撮像した検索対象物に関する情報を検索する際、検索用のメニュー情報をサーバ２０側からカメラ１０側へ無線送信し、このメニュー情報を用いて得られた検索対象物の検索カテゴリーデータ、検索対象画像データおよび検索補助情報データを、カメラ１０側からサーバ２０側へ無線送信し、サーバ２０側で受信した検索カテゴリーデータ、検索対象画像データおよび検索補助情報データを用いて、前記サーバ２０が関係情報ＤＢ部２４から検索対象物に関する名称情報などを検索して、サーバ２０側からカメラ１０側へ検索結果を無線送信する。【選択図】        図１
2006309600.tif 000002
【特許請求の範囲】
【請求項１】
端末とサーバとで構成され、検索対象物に関する情報を検索する検索システムであって、
前記端末は、
検索対象物を撮像する撮像手段と、
検索する際に用いる検索補助データを前記サーバから送信されたメニューを用いて入力する検索補助データ入力手段と、
前記撮像手段が撮像した画像情報と共に前記検索補助データ入力手段で入力された検索補助データを前記サーバに対し送信する端末側送信手段と、
前記サーバから送信されるメニュー情報および前記サーバで検索した検索結果に関する情報を受信する端末側受信手段と、
前記端末側受信手段で受信した検索結果に関する情報を表示する表示手段と、
を有し、前記サーバは、
前記検索補助データ入力手段が用いるメニュー情報を前記端末に対して送信するメニュー送信手段と、
前記端末側送信手段が送信した情報を受信する受信手段と、
前記受信手段が受信した画像情報と検索補助データとを用いて検索対象物に関する情報を検索する検索手段と、
前記検索手段が検索した検索結果に関する情報を前記端末に対して送信する検索結果送信手段と、
を有することを特徴とする検索システム。
【請求項２】
前記メニュー送信手段が送信するメニュー情報は、検索対象物の全体または一部の形状、色、大きさ、数、向き及び全体に対する一部の画像の位置のうち少なくとも１つの検索補助データであることを特徴とする請求項１に記載の検索システム。
【請求項３】
前記検索対象物の全体または一部の大きさを、前記撮像手段が有する撮像レンズのフォーカス距離情報と撮影レンズの画角情報とを用いて算出することを特徴とする請求項２に記載の検索システム。
【請求項４】
前記端末は端末の環境光に係るスペクトル情報を検出するセンサを更に有し、
前記メニュー送信手段が送信するメニュー情報が色であった際、前記端末側送信手段は前記センサで検出した前記環境光に係るスペクトル情報も一緒に送信することを特徴とする請求項２に記載の検索システム。
【請求項５】
前記メニュー情報には、検索対象物の一部の画像の情報を得るためのアプリケーションを含むことを特徴とする請求項２に記載の検索システム。
【請求項６】
前記メニュー送信手段が送信するメニュー情報は、検索対象物が属するカテゴリーを前記端末の操作者が選択することを可能とする検索カテゴリーメニューであることを特徴とする請求項１に記載の検索システム。
【請求項７】
前記メニュー送信手段は、前記受信手段が受信した前記撮像手段が撮像した画像情報および前記検索補助データ入力手段で入力された検索補助データの少なくとも一方の情報に基づき、検索カテゴリーメニューを送信することを特徴とする請求項６に記載の検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影視野内にある対象物の名称を遠隔で検索する検索システムに関するものである。
【背景技術】
【０００２】
日常、カメラなどで撮影した対象物（被撮像物）がどのようなものであるか、その名称や種類などを知りたいことが多くある。しかし、通常、カメラで対象物を撮影し、その画像を表示しながら、インターネットのＷｅｂサイトを利用して検索したり、図鑑閲覧して検索したりして、その名称などを判断しようとしても、一般には困難を伴うことが多々ある。また、検索専用のコンピュータを用いて画像認識を行う画像検索装置もあるが、このような画像検索装置は、まだ限られた場所にあり、限られた人にしか使用できなかった。また、カメラの画像データを無線通信でデータ転送する技術もあるが、一般的には大規模な画像検索システムへはアクセスすることができず、画像検索が困難であった。
【０００３】
そこで、たとえば特許文献１に示すように、カメラで撮影した検索対象である対象物の画像の特徴部分をペン入力部で指定し、その属性情報を入力し、このペン入力部で指定した対象画像および属性情報と、画像データベースに蓄積されている部分画像とを比較することにより、この画像データベースから検索対象の画像認識を行うものがあった。
【０００４】
【特許文献１】特開平１０−２５４９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、この特許文献１の画像検索装置は、専用のスタンドアローンシステムであり、入力した画像部分ごとに繰り返し検索操作を行うことが可能であるが、離れた場所からの画像データの入力には適しておらず、遠隔から限られた省手順で手短な画像検索の操作を行えるものではなかった。
【０００６】
本発明は、上記問題に鑑みてなされたものであって、検索対象物を撮影し、その対象物の名称などを簡単な操作で遠隔から検索することができる検索システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかる検索システムは、端末とサーバとで構成され、検索対象物に関する情報を検索する検索システムであって、前記端末は、検索対象物を撮像する撮像手段と、検索する際に用いる検索補助データを前記サーバから送信されたメニューを用いて入力する検索補助データ入力手段と、前記撮像手段が撮像した画像情報と共に前記検索補助データ入力手段で入力された検索補助データを前記サーバに対し送信する端末側送信手段と、前記サーバから送信されるメニュー情報および前記サーバで検索した検索結果に関する情報を受信する端末側受信手段と、前記端末側受信手段で受信した検索結果に関する情報を表示する表示手段と、を有し、前記サーバは、前記検索補助データ入力手段が用いるメニュー情報を前記端末に対して送信するメニュー送信手段と、前記端末側送信手段が送信した情報を受信する受信手段と、前記受信手段が受信した画像情報と検索補助データとを用いて検索対象物に関する情報を検索する検索手段と、前記検索手段が検索した検索結果に関する情報を前記端末に対して送信する検索結果送信手段と、を有することを特徴とする。
【０００８】
また、請求項２の発明にかかる検索システムは、上記発明において、前記メニュー送信手段が送信するメニュー情報は、検索対象物の全体または一部の形状、色、大きさ、数、向き及び全体に対する一部の画像の位置のうち少なくとも１つの検索補助データであることを特徴とする。
【０００９】
また、請求項３の発明にかかる検索システムは、上記発明において、前記検索対象物の全体または一部の大きさを、前記撮像手段が有する撮像レンズのフォーカス距離情報と撮影レンズの画角情報とを用いて算出することを特徴とする。
【００１０】
また、請求項４の発明にかかる検索システムは、上記発明において、前記端末は端末の環境光に係るスペクトル情報を検出するセンサを更に有し、前記メニュー送信手段が送信するメニュー情報が色であった際、前記端末側送信手段は前記センサで検出した前記環境光に係るスペクトル情報も一緒に送信することを特徴とする。
【００１１】
また、請求項５の発明にかかる検索システムは、上記発明において、前記メニュー情報には、検索対象物の一部の画像の情報を得るためのアプリケーションを含むことを特徴とする。
【００１２】
また、請求項６の発明にかかる検索システムは、上記発明において、前記メニュー送信手段が送信するメニュー情報は、検索対象物が属するカテゴリーを前記端末の操作者が選択することを可能とする検索カテゴリーメニューであることを特徴とする。
【００１３】
また、請求項７の発明にかかる検索システムは、上記発明において、前記メニュー送信手段は、前記受信手段が受信した前記撮像手段が撮像した画像情報および前記検索補助データ入力手段で入力された検索補助データの少なくとも一方の情報に基づき、検索カテゴリーメニューを送信することを特徴とする。
【発明の効果】
【００１４】
本発明にかかる検索システムは、撮像手段で撮像した検索対象物に関する情報を検索する際、メニュー情報をサーバ側から端末側へ送信し、このメニュー情報を用いて得られた前記検索対象物の画像情報と検索補助データとを端末側からサーバ側へ送信し、受信した前記画像情報および検索補助データを用いて前記サーバが前記検索対象物に関する情報を検索することで、検索対象物を撮影し、その対象物の名称などを簡単な操作で遠隔から検索することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１５】
以下に、本発明にかかる検索システムの実施の形態を図１〜図１０の図面に基づいて詳細に説明する。なお、本発明は、これらの実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の変更実施の形態が可能である。
【００１６】
（実施の形態１）
図１は、本発明にかかる検索システムの実施の形態１の構成を示すブロック図である。図において、この検索システム１は、端末側としてのカメラ１０と、検索側としてのサーバ２０とから構成されている。このカメラ１０とサーバ２０間の通信は、たとえばインターネットなどの公共のネットワーク網を介して行うもので、主に無線通信を想定しており、通信プロトコルなどの必要な機能は、このカメラ１０およびサーバ２０内に含まれている。
【００１７】
カメラ１０は、撮像手段としての撮影部１１、表示手段としての表示部１２、画像領域指定入力部１３、画像処理部および補助情報データ処理部１４、検索補助データ入力手段としての検索メニューおよびカテゴリー選択入力部１５、端末側送信手段および端末側受信手段としての送受信部１６、これらの各部と接続される制御部１７から構成されている。
【００１８】
撮影部１１は、対象物を撮影する機能を有し、表示部１２は、撮影部が撮影した画像の表示やユーザへのメニュー表示やアドバイス指示などの文字・アイコン表示や検索出力の文字表示や擬似画像表示などのユーザとのＧＵＩ（グラフィック・ユーザ・インターフェース）の機能を有する。この画像領域指定入力部１３は、表示部１２に設けられるＰＤＡ（パーソナル・デジタル・アシスタント）などのタッチパネルからなり、以下に示す検索のための検索モード設定や画像の対象部分指示などの入力を可能にする。画像処理部および補助情報データ処理部１４は、検索に必要な画像エリアの切り出し処理や背景マスクや色検出、色変換や画像エリアを指定するときのエリア境界線表示など、必要な一般的な画像処理の機能を有する。
【００１９】
検索メニューおよびカテゴリー選択入力部１５は、図示しないキー操作などでメニュー選択、カテゴリー選択を行うときなど、一般にユーザからカメラ１０に指示を与えることができる機能を有する。なお、メニュー選択、カテゴリー選択された情報を、検索補助データと呼ぶ。この送受信部１６は、たとえば無線通信の機能を有し、データ通信を可能にしているが、公共の通信施設を経由することも想定しているので、それらの物理的な通信環境をも含めている。また、送受信部１６は、通信線などを経由して通信を行う有線通信の機能を有していても良い。制御部１７は、これらの各部の制御やそれ以外のカメラ１０全体の動作制御を行う。
【００２０】
サーバ２０は、メニュー送信手段、受信手段および検索結果送信手段としての送受信部２１、カテゴリー別画像ＤＢ（データベース）部２２、検索メニューおよび検索補助指示セット情報ＤＢ部２３、対象名称情報および関係情報ＤＢ部２４、検索手段としての検索部２５、これらの各部と接続される制御部２６から構成されている。
【００２１】
送受信部２１は、上述した送受信部１６と同様の通信機能を有しており、たとえば受信した撮影部１１が撮影した画像情報もしくは検索メニューおよびカテゴリー選択入力部１５で入力された検索補助データの少なくとも一方の情報に基づき、検索カテゴリーメニューを送信する。カテゴリー別画像ＤＢ部２２は、検索対象となる画像の範囲を規定するためのカテゴリーＤＢと、それらと関係付けられた画像ＤＢとからなる。検索メニューおよび検索補助指示セット情報ＤＢ部２３は、カメラ１０側で選択されるための検索カテゴリーメニューＤＢと、検索を確実に行うためのデータ取得を目的としたユーザへの検索用指示セットの情報ＤＢとからなる。この検索カテゴリーメニューＤＢには、図２に示す検索カテゴリーメニューが記憶されている。すなわち図２において、検索カテゴリーメニューは、たとえば上位が自然界に存在するものを認識するための「自然」、人工的に作られたものを認識するための「もの」、各分野で活躍する人物を認識するための「人名」、色を認識するための「色名」、各種の標識を認識するための「標識」などのカテゴリーからなり、その下に該当する下位のカテゴリーが順次階層状に連結されている。たとえば、「自然」のカテゴリーには、「生物」と「場所」の下位のカテゴリーがあり、この「生物」のカテゴリーの下位には、「動物」と「植物」の下位のカテゴリーがあり、この「動物」のカテゴリーの下位には、「鳥」、「犬」、「ネコ」、「魚」などのカテゴリーがある。また、画像ＤＢには、これらの下位のカテゴリーに関連付けられた画像データが記憶されている。
【００２２】
また、この検索メニューおよび検索補助指示セット情報ＤＢ部２３は、検索補助データの作成支援用に、ユーザに実行させるためにディスプレイで表すアクション指示表示用データセットや、さらに絞った検索ができるように検索支援追加キーワードデータセットや、そのためにカメラ本体で画像処理するために使うアプリケーションとしてのプログラムデータセットを記憶している。アクション指示表示用データとしては、検索対象物の全体としての、たとえば図３に示す「鳥全体を線で囲め」やこの対象物の全体に対する一部の画像位置としての、たとえば「嘴を線で囲め」などのカテゴリー別のアクション指示の表示情報が記憶されている。なお、アクション指示表示用データとしては、この他に、検索対象物の全体または一部の形状、色、大きさ、数、向きなどの検索補助データが含まれる。
【００２３】
また、プログラムデータとしては、上記線で囲んだ画像部分の画像切り出し処理を行うためのプログラムデータや嘴の色抽出処理を行うためのプログラムデータなどの検索対象物の一部の画像の情報を得るためのソフトウェアが記憶されている。また、検索支援追加キーワードデータセットとしては、さらに絞った検索ができるように、たとえば「野鳥」や「家畜」などの追加のキーワードの表示情報が記憶されている。
【００２４】
対象名称情報および関係情報ＤＢ部２４は、検索時の画像データと関係付けられた出力に結び付ける対象名称情報ＤＢであり、これらとともに名称以外のそれらと関係ある内容情報や、さらにこれらのサーバ外のＤＢと通信アクセスして得られる関連情報の一時記憶ＤＢでもある。また、この対象名称情報および関係情報ＤＢ部２４は、検索上確定しない、曖昧な場合に類似画像を出力するためのＤＢ関連情報なども、このＤＢに記憶されている。
【００２５】
検索部２５は、これらのＤＢ部２２〜２４を用いて、検索対象物に関する情報を検索している。この検索部２５は、たとえば大型の専用ＣＰＵなどからなり、ここでの画像検索は、一般的な画像検索手法、たとえば擬似画像検索技術によるものとしているが、上述した擬似画像検索手法以外の画像検索手法も含まれる。この画像検索手法としては、たとえばＭＰＥＧ７の特徴記述データ（メタデータ）のＤＢを利用することも考えられ、特徴抽出は、画像の配色、色の分布、輪郭線、模様などの特徴を抽出する。また、検索部２５による検索結果が１つに絞りきれない場合には、検索部２５は、たとえば２つ以上の類似名称または類似画像を出力するようにすることも可能である。さらに、検索部２５が追加の検索補助指示セットを出力して、送受信部２１からカメラ１０に転送し、たとえば検索補助指示セットの指示として、「別の角度から撮影して繰り返して下さい。」や「大きく撮影して繰り返して下さい。」などの追加の指示を与えて、これに対応する撮影動作を行うことで、検索の絞込みを行うことも可能である。制御部２６は、これらの各部の制御やそれ以外のサーバ２０全体の動作制御を行う。
【００２６】
次に、検索システムによる検索対象物の検索動作を図４のフローチャートに基づいて説明する。図４において、まずカメラ１０側の撮影部１１によって被写体（検索対象物）の撮影がなされ（ステップ１０１）、画像領域指定入力部１３からの設定で検索モードがオンになると（ステップ１０２）、送受信部１６は、制御部１７の動作制御によって、通信要求用のＩＤデータ（識別情報）をサーバ２０側に送信する（ステップ１０３）。
【００２７】
サーバ２０には、たとえば予め制御部２６の図示しない内部メモリなどに通信要求用のＩＤデータを認識するためのＩＤデータが登録されており、送受信部２１がこの送信要求を受信すると（ステップ２０１）、制御部２６は、内部メモリに登録されているＩＤデータと照合して、一致する場合には、ＩＤの認証を行い（ステップ２０２）、通信の許可を示す通信許可信号を送受信部２１を介してカメラ１０側に送信する（ステップ２０３）。なお、ステップ２０３において、ＩＤが一致しない場合には、通信許可信号の送信を停止し、または通信の不許可を示す信号を送信しても良い。
【００２８】
カメラ１０側では、送受信部１６がデータの受信を行なっており（ステップ１０４）、通信許可信号を受信すると（ステップ１０５：Ｙｅｓの場合）、検索カテゴリーメニューの要求をサーバ２０側に送信する（ステップ１０８）。また、通信許可信号が受信されない場合、あるいは通信の不許可を示す信号が受信された場合（ステップ１０５：Ｎｏの場合）、制御部１７は表示部１２を制御して、たとえば「通信不可」の表示を表示部１２の表示画面に表示させて、撮影者などに知らせる（ステップ１０６）。次に、画像領域指定入力部１３からの設定で検索モードがオフになると（ステップ１０７）、ステップ１０１に戻って次の撮影を待つ。
【００２９】
次に、サーバ２０側では、カメラ１０側から検索カテゴリーメニューの要求を受信すると（ステップ２０４）、検索部２５が検索メニューおよび検索補助指示セット情報ＤＢ部２３からカメラ１０側で選択されるための検索カテゴリーメニューと、ユーザへの検索用指示セットのデータとを検索、取得して、これらのメニューデータを送受信部２１からカメラ１０側に送信する（ステップ２０５）。
【００３０】
カメラ１０側では、送受信部１６がこれらのメニューデータを受信すると（ステップ１０９）、制御部１７は、表示部１２の表示画面に検索カテゴリーメニュー（図２参照）を表示させる（ステップ１１０）。この実施の形態では、まず最初に「自然」、「もの」、「人名」、「色名」、「標識」の表示がなされる。そして、この検索カテゴリーメニューに沿ってカテゴリーの表示およびカメラのユーザ（操作者）によるカテゴリー選択が順々になされ、ユーザによる最下位のカテゴリー選択、たとえばこの実施の形態では、「自然」、「生物」、「動物」の表示順にカテゴリーの選択がなされ、最下位のカテゴリー「鳥」の選択がなされると（ステップ１１１）、次に検索補助指示セットデータの要求を送受信部１６からサーバ２０側に送信する（ステップ１１２）。なお、検索されたカテゴリー「鳥」は、たとえば検索カテゴリー文字データＡとして制御部１７の内部メモリに一時記録される。
【００３１】
サーバ２０側では、カメラ１０側から検索補助指示セットデータの要求を受信すると（ステップ２０６）、検索部２５が検索メニューおよび検索補助指示セット情報ＤＢ部２３からアクション指示表示用データセットと、カメラ本体で画像処理するために使うプログラムデータセットとを検索、取得して、これらデータセットを送受信部２１からカメラ１０側に送信する（ステップ２０７）。
【００３２】
カメラ１０側では、送受信部１６がこれらのデータセットを受信すると（ステップ１１３）、制御部１７は、プログラムデータセットに基づいて、表示部１２の表示画面にアクションアドバイス表示を行う（ステップ１１４）。この実施の形態では、図３に示すように、検索対象物を撮影した画像Ｐ０に対して、「鳥全体を線で囲め」のアクションアドバイス表示を行い（ステップ１１４）、画像Ｐ１に示すように、画像領域指定入力部１３によって鳥全体を線で囲む対象部分指示入力を行い（ステップ１１５）、次に画像処理部および補助情報データ処理部１４によって、画像前処理としての画像切り出し処理１を行って、画像Ｐ２に示す鳥の全体画像を切り出す（ステップ１１６）。この切り出された鳥全体画像データは、たとえば検索画像データＢとして制御部１７の内部メモリに一時記録される。
【００３３】
なお、これらのデータセットを用いたステップ１１４〜１１６の検索補助動作は、たとえば検索対象物のカテゴリーなどによって、１回でよい場合と、数回におよぶ場合とがある。この鳥の検索の場合には、図３に示すように、次に「嘴を線で囲め」のアクションアドバイス表示を行い（ステップ１１４）、画像Ｐ３に示すように、画像領域指定入力部１３によって嘴を線で囲む対象部分指示入力を行い（ステップ１１５）、次に画像処理部および補助情報データ処理部１４によって、画像前処理としての画像切り出し処理２を行って、画像Ｐ４に示す嘴の画像を切り出す（ステップ１１６）。この切り出された嘴の画像データは、たとえば検索画像データＣとして制御部１７の内部メモリに一時記録される。
【００３４】
さらに、この実施の形態では、ステップ１１６において、画像処理部および補助情報データ処理部１４によって、画像前処理としての嘴の色抽出処理を行なって、嘴の色データを検索する。この検索された色データは、たとえば検索色データＤとして制御部１７の内部メモリに一時記録される。制御部１７は、全ての画像前処理が終了すると、選択された検索カテゴリー文字データＡと、検索対象画像データとしての検索画像データＢと、検索補助情報データとしての検索画像データＣおよび検索色データＤを、送受信部１６を制御してサーバ２０側に転送させる（ステップ１１７）。
【００３５】
サーバ２０側では、カメラ１０側からこれらの検索対象データを受信すると（ステップ２０８）、検索部２５がカテゴリー別画像データベース部のデータと照合しながら検索処理を行なって、検索時の画像データと関係付けられた出力に結び付ける対象名称情報を対象名称情報および関係情報ＤＢ部２４から検索し（ステップ２０９）、名称とともに名称以外のそれらと関係ある内容情報を結果データとしてカメラ１０側に配信する。なお、検索部２５による検索処理では、たとえばそれぞれの検索結果データに基づいて、検索を行い、それらの検索結果に基づいて、最終的な検索結果（名称）を抽出している。たとえば、検索画像データＢに基づいて、名称「カワラヒワ」、「カナリヤ」、「インコ」、「ツグミ」が検索され、検索画像データＣに基づいて、「カナリヤ」、「インコ」が検索され、検索色データＤに基づいて、「ヤマガラ」、「カナリヤ」が検索された場合、最終的な検索結果としては、全ての検索結果に共通する名称「カナリヤ」が抽出される。
【００３６】
カメラ１０側では、送受信部１６がこの結果データを受信すると（ステップ１１８）、制御部１７は、表示部１２の表示画面に、結果データである名称などの表示を行って（ステップ１１９）、上記動作を終了する。なお、サーバ２０の検索部２５が取得した検索結果データに基づいて、検索結果を１つに絞りきれない場合には、検索部２５は、たとえば２つ以上の類似名称または類似画像を出力しても良いし、または追加の検索補助指示セットをカメラ１０に転送し、さらに検索の絞込みを行っても良い。
【００３７】
このように、この実施の形態では、撮影部１１で撮像した検索対象物に関する情報を検索する際、検索用のメニュー情報をサーバ２０側からカメラ１０側へ無線送信し、このメニュー情報を用いて得られた検索対象物の検索カテゴリーデータ、検索対象画像データおよび検索補助情報データを、カメラ１０側からサーバ２０側へ無線送信し、受信した検索カテゴリーデータ、検索対象画像データおよび検索補助情報データを用いて、前記サーバ２０が前記検索対象物に関する情報（たとえば名称）を検索するので、検索対象物を撮影し、その対象物の名称などを簡単な操作で遠隔から検索することができる。
【００３８】
（実施の形態２）
図５は、本発明にかかるカメラの実施の形態２の構成を示すブロック図であり、図６は、図５に示したカメラで撮影された画像の一例を示す図であり、図７は、図５に示したカメラで撮影された検索対象物のサイズを求めるための図である。なお、図５は、図１に示したカメラ１０の構成と異なる構成部分のみを示した図で、その他の構成は図１のカメラ１０と同様である。
【００３９】
この実施の形態のカメラは、カメラ自体が本来備えているフォーカス機能とズーム機能とを用いて、検索結果データとしての検索対象物のサイズを検索するものである。図５において、カメラ３０は、撮像手段としての撮影部３１（図１に示した撮影部１１と同様）、撮影された画像データを記憶するメモリ部３２、検索対象物とのフォーカス距離を検出するフォーカス距離検出部３３、撮影部３１のズーム倍率の情報を検出するズーム倍率情報検出部３４、撮影された検索対象物の画像サイズを指示する対象物画像サイズ指示部３５、検索対象物のサイズを演算する対象物サイズ演算部３６から構成されている。
【００４０】
この実施の形態では、撮影部３１で撮影した図６に示す画像Ｐ５をメモリ部３２に記憶させ、実施の形態１と同様に、検索カテゴリーメニューで検索された鳥に対して、画像処理部および補助情報データ処理部１４による全体の画像切り出し処理１を行なって、画像Ｐ５に示す鳥の全体画像を切り出す。
【００４１】
また、この実施の形態では、図７に示すように、画角情報としての焦点距離１３５ｍｍ（３５ｍｍ換算、画角約１８度）のレンズ３１ａ付きカメラ３０を用いて鳥をＣＣＤ（撮影素子）３１ｂに撮影した時に、この鳥の画像が表示部１２の画面幅の１／１０程度のサイズに写った場合を説明する。図５において、ズーム倍率情報検出部３４は、この焦点距離の情報を検出して、対象物サイズ演算部３６に出力し、フォーカス距離検出部３３は、検索対象物とレンズ３１ａ間のフォーカス距離情報としてのフォーカス距離値が８ｍと検出して、対象物サイズ演算部３６に出力する。
【００４２】
次に、カメラ撮像後の画像表示内で、鳥の嘴先端部分と尻尾先端部分を画像領域指定入力部１３によってポイント指示することで、この点間の長さを鳥の長さ情報として対象物サイズ演算部３６に与える。カメラ３０内では、この場合に画像表示上、鳥の長さは、ディスプレイ幅の１／１０として写り、ポイント指示された点間の長さも同じ比率で１／１０となり、ＣＣＤ３１ｂの全横幅が３６ｍｍであるので、鳥はその１／１０、つまり３．６ｍｍ位に写っていることになる。対象物画像サイズ指示部３５は、この検索対象物の画像サイズを対象物サイズ演算部３６に指示する。
【００４３】
対象物サイズ演算部３６は、これらのデータに基づいて、検索対象物の長さ（サイズ）Ｘを演算する。すなわち、Ｘ＝（フォーカス距離値）×（対象物画像サイズ）／（焦点距離）なので、対象物サイズ演算部３６は、これらの値をこの式に代入して、Ｘ＝８×３．６／１３５＝０．２１３ｍを求めることができる。これにより、検索対象物の長さが２１ｃｍ位の鳥であることが得られる。
【００４４】
制御部１７は、実施の形態１に示した選択された検索カテゴリー文字データＡ、検索画像データＢ、検索画像データＣおよび検索色データＤとともに、この鳥の長さの検索結果データをサーバ２０側に転送して、サーバ２０で画像検索処理を行うことで、鳥の名称がさらに容易で確実に検索されることとなる。なお、検索されたこの名称データは、カメラ３０側に転送されて、カメラ３０の表示部１２に名称表示される。
【００４５】
このように、この実施の形態では、実施の形態１の検索対象物を検索するための各種データのほかに、レンズのフォーカス距離情報とレンズの画角情報とを用いて算出した対象物のサイズのデータを加えたので、検索対象物を撮影し、その対象物の名称などをさらに簡単な操作で遠隔から検索することができる。
【００４６】
（実施の形態３）
図８は、本発明にかかるカメラの実施の形態３の構成を示すブロック図であり、図９は、図８に示したカメラで撮影された画像の一例を示す図であり、図１０は、同じく一部が選択された状態の画像の一例を示す図である。なお、図８は、図１に示したカメラ１０の構成と異なる構成部分のみを示した図で、その他の構成は図１のカメラ１０と同様である。
【００４７】
この実施の形態のカメラは、カメラ自体が本来備えているキャリブレーション機能を用いて、検索結果データとしての検索対象物（日本伝統色名）の色情報を検出するものである。図８において、カメラ４０は、撮像手段としての撮影部４１（図１に示した撮影部１１と同様）、撮影された画像データを記憶するメモリ部４２（図５に示したメモリ部３２と同様）、撮影された画像の色情報、すなわちカメラ４０の環境光に係るスペクトル情報を検出するセンサとしての色情報検出部４３と、白板部５０撮影時の色情報を検出する白板撮影時色検出部４４、対象物画像内部分指示入力部、一時メモリ、色バランス検出部および色補正処理部４５から構成されている。なお、この対象物画像内部分指示入力部、一時メモリ、色バランス検出部および色補正処理部４５は、図１に示した制御部１７の機能であり、以下ではそれぞれの機能ごとに説明する。
【００４８】
この実施の形態でも、撮影部４１で撮影した図９に示す和服の画像Ｐ６をメモリ部４２に記憶させ、実施の形態１と同様に、検索カテゴリーメニューで検索された日本伝統色名に対して、画像処理部および補助情報データ処理部１４による和服全体の画像切り出し処理１を行なって、画像Ｐ６に示す和服の全体画像を切り出す。
【００４９】
次に、図１０に示すように、画像中の着物部分を対象物画像内部分指示入力部で、たとえば図１０中の丸印で指定して、その色情報を色情報検出部４３で検出する。この色情報検出部４３で検出された着物部分の色情報は、たとえば一時メモリに記憶される。なお、その場合、環境照明による色変化の影響を少なくするために、たとえばカメラキャップなどに設けたキャリブレーション白板部５０を撮影して、この白板部撮影画像の色情報を白板撮影時色検出部４４で検出するとともに、この色情報に基づいて、白板部撮影画像の色バランスを色バランス検出部で検出し、さらに先の色情報検出部４３で検出した着物の色を色補正処理部で補正して、補正後の色情報を得る。
【００５０】
制御部１７は、この補正後の色情報をサーバ２０側に転送して、サーバ２０で予め色データ値と日本の伝統色名称と関係付けられたＤＢ部から、検索部２５が画像検索処理を行うことで、日本の伝統色の名称、たとえば「青朽葉（あおくちば）」や「赤白橡（あかしろつるばみ）」などが検索され、その文字データをカメラ４０側に転送し、カメラ４０側で制御部１７が表示部１２に色名称の文字を表示させる。なお、色名称のＤＢ部は、各国での色名称やデザイナーが利用する色名称、子供にも判る色名称なども検索可能にするため、ユーザが各ＤＢの選択ができるようにしておくことが好ましい。
【００５１】
なお、撮影した検索対象物画像の色を正確に掴むため、上述した手法を使い、画像データとこの色情報を、ＲＧＢの三原色からなる検索補助情報データとして精度高い名称検索を行うことも可能である。ここで、たとえば黄土色のような着物の伝統色名称を知ろうとして、この着物を撮影して色情報検出部４３で色検出すると、たとえばＲ：Ｇ：Ｂ＝Ｃ１：９８：３３となり、白板部５０を撮影して白板撮影時色検出部４４で色検出し、さらに色バランス検出部で色バランス情報を検出し、色補正処理部で色補正すると、Ｒ：Ｇ：Ｂ＝ＢＡ：９Ｅ：３Ｂに補正された色情報を得たとする。この補正後の色情報をサーバ２０側に転送し、サーバ２０で予め三原色のデータ値と日本の伝統色名称と関係付けられたＤＢを検索すると、たとえば「青朽葉」の名称出力を得ることができる。また、着物の柄などをパターンデータとしてＤＢ部で記憶しておくことで、検索対象の着物の柄の名称を検索することも可能である。
【００５２】
このように、この実施の形態では、実施の形態１の検索対象物を検索するための各種データのほかに、色情報検出部で検出した環境光に係るスペクトル情報としての検索対象物の色を補正する手段を設け、実際の検索対象物の色に近い色情報をデータに加えたので、検索対象物を撮影し、その対象物の色や名称などをさらに簡単な操作で遠隔から検索することができる。
【００５３】
なお、本発明は、上述した実施の形態に限らず、たとえばＧＰＳ（測位システム）を使って、通信アクセスポイントから建物を撮影した時、この建物の場所を検出して、建物の名称を特定することも可能である。また、カメラ側に方位計測用のコンパスを設けて、計測した方位からたとえば撮影した山の名称を特定することも可能である。また、カメラ側に音声データを録音する録音機能を設け、たとえば撮影した鳥の声を録音し、声紋などから鳥の名前を特定することも可能である。また、カメラ側に赤外線を感知するセンサを設け、検索対象物を赤外線撮影することで、その体温などを検出して動物の名前を特定することも可能である。さらに、カメラ側に動画記録機能を設け、検索対象物の動きなどから対象物の名称を特定することも可能である。
【００５４】
以上の説明において、サーバ２０は１台のサーバを想定して説明しているが、これに限るものではなく、たとえば、複数のサーバが連携しあって検索を行なっても良いし、あるいは、端末側としてのカメラ１０とサーバ２０との間に中継サーバを配置し、この中継サーバが検索機能の一部を受け持っても構わない。さらに、サーバにおける検索は、コンピュータのみによる検索に限らず、たとえばオペレータが介在し検索精度を上げることも可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる検索システムの実施の形態１の構成を示すブロック図である。
【図２】図１に示したカテゴリー別画像ＤＢ部に記憶されているカテゴリーの一例を示す図である。
【図３】検索対象物を特定するための手順を説明するための図である。
【図４】図１に示した検索システムによる検索対象物の検索動作を説明するためのフローチャートである。
【図５】本発明にかかるカメラの実施の形態２の構成を示すブロック図である。
【図６】図５に示したカメラで撮影された画像の一例を示す図である。
【図７】図５に示したカメラで撮影された検索対象物のサイズを求めるための図である。
【図８】本発明にかかるカメラの実施の形態３の構成を示すブロック図である。
【図９】図８に示したカメラで撮影された画像の一例を示す図である。
【図１０】同じく、一部が選択された状態の画像の一例を示す図である。
【符号の説明】
【００５６】
１  検索システム
１０，３０，４０  カメラ
１１，３１，４１  撮影部
１２  表示部
１３  画像領域指定入力部
１４  補助情報データ処理部
１５  カテゴリー選択入力部
１６，２１  送受信部
１７，２６  制御部
２０  サーバ
２２  カテゴリー別画像ＤＢ部
２３  検索メニュー情報および検索補助指示セット情報ＤＢ部
２４  対象名称情報および関係情報ＤＢ部
２５  検索部
３１ａ  レンズ
３１ｂ  ＣＣＤ
３２，４２  メモリ部
３３  フォーカス距離検出部
３４  ズーム倍率情報検出部
３５  対象物画像サイズ指示部
３６  対象物サイズ演算部
４３  色情報検出部
４４  白板撮影時色検出部
４５  対象物画像内部指示入力部、一時メモリ、色バランス検出部および色補正処理部
５０  キャリブレーション白板部
Ｐ０〜Ｐ６  画像
【図１】
2006309600.tif 000003
【図２】
2006309600.tif 000004
【図３】
2006309600.tif 000005
【図４】
2006309600.tif 000006
【図５】
2006309600.tif 000007
【図６】
2006309600.tif 000008
【図７】
2006309600.tif 000009
【図８】
2006309600.tif 000010
【図９】
2006309600.tif 000011
【図１０】
2006309600.tif 000012