(57)【要約】【課題】未知の対象物に関する問合せに対して、適切迅速に回答することのできる図鑑検索方法とその装置を提供すること。【解決手段】検索対象物に対する画像データと特徴データとを端末装置１に入力し、入力された両データと端末装置１に収納されている図鑑データとを比較照合し、その照合結果により選択的に外部の図鑑データベースと通信網６を介して送受信して比較照合する。【選択図】　図１
2004021706.tif 000002
【特許請求の範囲】
【請求項１】
検索対象物に対する画像データと特徴データとを端末装置に入力する入力ステップと、この入力ステップにより入力された前記両データと前記端末装置に収納されている図鑑データとを比較照合する第１検索ステップと、この第１検索ステップの照合結果により選択的に外部の図鑑データベースと通信網を介して送受信して比較照合する第２検索ステップとを有することを特徴とする図鑑検索方法。
【請求項２】
前記第２検索ステップは、最初に前記端末装置から送信されてきた位置データに基づいて、地域限定検索をおこない、その結果によって順次地域の範囲を広げて形成されている階層型のデータベースと比較照合して検索することを特徴とする請求項１記載の図鑑検索方法。
【請求項３】
前記第１検索ステップおよび第２検索ステップは、検索の絞込みを収納データとの照合結果による対話形式でおこなうことを特徴とする請求項１記載の図鑑検索方法。
【請求項４】
検索対象を撮像する画像入力部と、前記検索対象の特徴を入力する文字入力手段と、位置情報を入力する位置情報入力部と、画像を表示する画像表示部と、前記両入力手段により入力されたデータと比較する図鑑データを格納するデータ格納手段、および、各部を制御する中央制御部を具備した図鑑検索装置において、
前記データ格納手段として、メモリ媒体を格納する外付けメモリ格納部を有することを特徴とする図鑑検索装置。
【請求項５】
検索対象を撮像する画像入力部と、前記検索対象の特徴を入力する文字入力手段と、位置情報を入力する位置情報入力部と、画像を表示する画像表示部と、前記両入力手段により入力されたデータと比較する図鑑データを格納するデータ格納手段と、データの通信手段と各部を制御する中央制御部を具備した図鑑検索装置において、
前記データ格納手段として、少なくともメモリ媒体を格納する外付けメモリ格納部か、通信網により取得した外部データベースからのデータを記憶する外部記憶部のいずれかを有することを特徴とする図鑑検索装置。
【請求項６】
前記中央制御部には、音声情報を処理する音声認識部が接続されていることを特徴とする請求項４又は請求項５記載の図鑑検索装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、検索者が対象に関する知りたいデータを効率よく検索することのできる図鑑検索方法とその装置に関する。
【０００２】
【従来の技術】
野山のハイキング、渓流の散歩あるいは旅行等に行った際に、そこで出会った未知の草花、風景、野鳥、名所あるいは各地の名産物等の名称や内容を情報機器を用いて知る手段として、観察者（検索者）自身が既存の検索エンジン等を用いて図鑑等に収集されているデータを検索し、それらと照合し、その結果に応じて対象物の情報を得ることが行われている。
【０００３】
また、例えば、特開２０００−３２２４３６号公報には、観察者が携帯機器等を用いて図鑑データを備えている情報センターにアクセスし、情報センターとの間で対話式に質問と回答を繰り返し、それによって、情報を絞り込んで対象物についての精度のよい情報を得る方法が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、図鑑等に収集されるデータは非常に多く、また多岐に亘ることからこれらの中から目的のデータを検索することは非常に面倒であり、しかも多くの時間を要するものであった。例えば、観察者が収集してきた物体が何に属するかを調べる場合、分類に対して予備知識がある場合には、キーワード等を用いてトップダウン的に探すことができる。しかし、分類学上の知識を有さない者、例えば幼児等のように言葉がよくわからない者にとっては、検索することは困難であった。特に、収集したデータがどの分類に属するかが分からない場合、検索の糸口を見出すことすらも困難である。仮に、ある程度の予測がつき、その分類に到達したとしても分類されているデータは膨大であり、大変区別することが困難であった。
【０００５】
また、特開２０００−３２２４３６号公報に開示されている方法でも、図鑑の収納データが多ければ、そのうちのどれかに該当する確率が高くなるが、収納データが多いほど絞込みには時間がかかり、迅速な検索は困難である。一方、図鑑の収納データが少なければ、調査対象物の回答そのものが収納されていない場合が多々発生して、十分な回答を得ることができない。
【０００６】
本発明はこれらの事情にもとづいてなされたもので、未知の対象物に関する問合せに対して、適切迅速に回答することのできる図鑑検索方法とその装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明によれば、検索対象物に対する画像データと特徴データとを端末装置に入力する入力ステップと、この入力ステップにより入力された前記両データと前記端末装置に収納されている図鑑データとを比較照合する第１検索ステップと、この第１検索ステップの照合結果により選択的に外部の図鑑データベースと通信網を介して送受信して比較照合する第２検索ステップとを有することを特徴とする図鑑検索方法である。
【０００８】
また本発明によれば、前記第２検索ステップは、最初に前記端末装置から送信されてきた位置データに基づいて、地域限定検索をおこない、その結果によって順次地域の範囲を広げて形成されている階層型のデータベースと比較照合して検索することを特徴とする図鑑検索方法である。
【０００９】
また本発明によれば、前記第１検索ステップおよび第２検索ステップは、検索の絞込みを収納データとの照合結果による対話形式でおこなうことを特徴とする図鑑検索方法である。
【００１０】
また本発明によれば、検索対象を撮像する画像入力部と、前記検索対象の特徴を入力する文字入力手段と、位置情報を入力する位置情報入力部と、画像を表示する画像表示部と、前記両入力手段により入力されたデータと比較する図鑑データを格納するデータ格納手段、および、各部を制御する中央制御部を具備した図鑑検索装置において、
前記データ格納手段として、メモリ媒体を格納する外付けメモリ格納部を有することを特徴とする図鑑検索装置である。
【００１１】
また本発明によれば、検索対象を撮像する画像入力部と、前記検索対象の特徴を入力する文字入力手段と、位置情報を入力する位置情報入力部と、画像を表示する画像表示部と、前記両入力手段により入力されたデータと比較する図鑑データを格納するデータ格納手段と、データの通信手段と各部を制御する中央制御部を具備した図鑑検索装置において、
前記データ格納手段として、少なくともメモリ媒体を格納する外付けメモリ格納部か、通信網により取得した外部データベースからのデータを記憶する外部記憶部のいずれかを有することを特徴とする図鑑検索装置である。
【００１２】
また本発明によれば、前記中央制御部には、音声情報を処理する音声認識部が接続されていることを特徴とする図鑑検索装置である。
【００１３】
【発明の実施の形態】
以下、本発明の図鑑検索方法とその装置の実施の形態を図面を参照して説明する。
【００１４】
図１に図鑑検索方法とその構成装置の模式図を示したように、図鑑検索方法の構成は、大別すると未知の対象物を観察した観察者側が使用する端末装置１と、この端末装置１がアクセスする情報センタ２が収納している階層構造の図鑑３、４、５と、端末装置１と情報センタ２とを接続する通信網であるネットワークとで構成されている。ただし、端末装置１は、図鑑が記憶された外付メモリ格納部７に外付メモリ（不図示、例えば、スマートメデイア（登録商標）等））を格納した際や、予め、内部記憶部８に通信網のネットワークを介して図鑑３、４、５の情報を収納している際には、単独でオフラインでもオンラインでも図鑑検索装置を形成することができる。
【００１５】
端末装置１は、携帯電話の携帯端末ような各人が常時携帯しうる携帯端末型でも、デスクトップパソコンのような固定端末型のいずれでもよい。各端末装置１はそれぞれ形態に応じて選択的に以下の入力手段を備えている。すなわち、ＧＰＳにより位置情報を入力する位置情報入力部１１、被写体を撮影するためのカメラまたは顕微鏡等の画像入力部１２、この画像入力手段１２により入力された画像を説明するために発声された音声を認識するための音声認識手段１３、検索条件を入力するキーボード１４、入力画面の形状を変形させるためのマウス１５、データ格納手段として、外付メモリが挿入された際にそれを格納する外付メモリ格納部７、および、通信網のネットワークを介して図鑑の情報を収納することのできる内部記憶部８等である。
【００１６】
また、各端末装置１は入力手段からの入力データに基づいて、処理・蓄積・記録・出力（情報センタ２への出力）の制御や、照合部１６により画像入力部１２等で入力されたデータと外付けメモリに格納されているデータや、通信網のネットワーク６を介して内部記憶部８に収納されている図鑑３、４、５のデータとを比較照合する機能を具えた中央制御部１７が設けたれている。
【００１７】
また、この中央制御部１７には、対象物から収集した画像の詳細部分をカットし外形等の骨格構造のみを形状特徴として取り出す骨格構造抽出手段１８、画像の外形を形状特徴として抽出する画像外形抽出手段１９、抽出画像データを蓄積しておくデータ蓄積部２１、音声を出力するスピーカ２２、画像データ等を表示する画像表示部２３および検索の際にＱ＆ＡをおこなうＱ＆Ａソフト２４が接続されている。
【００１８】
情報センタ２には、図２に示したように、図鑑３、４、５が階層構造で、地域図鑑３、地区図鑑４および国内限定図鑑５として収納されている。地域図鑑３とは例えば、尾瀬とか箱根等の地域に関するデータを収録している図鑑であり、地区図鑑４とは、もう少し広いエリアである県単位等のデータを収録している図鑑である。また、国内限定図鑑５とは国内のデータを収録した図鑑である。従って、データの収録量は、地域図鑑３＜地区図鑑４＜国内限定図鑑５の順で、それぞれの間では飛躍的に増加している。
【００１９】
また、ネットワーク６は、インタネット等の通信網を用いている。
【００２０】
次に、これらの構成による検索のフローについて、図３に示した説明図を参照して説明する。検索者は知りたい対象物（一例として、花の場合について説明する）に出会った際に、画像入力部１２が備えているデジタルカメラによって対象物である花を撮像する。また、目前の花を観察して花の特徴を入力する。例えば、花弁についての色、枚数、形および臭い。葉についての色、枚数および形。茎についての色及び形状。めしべについての色及び形。おしべについての色及び形。等について分かる範囲でキーボード１４により入力する。
【００２１】
入力された画像データと花の特徴のデータは、端末装置１に装着されている外付けメモリのデータと比較・分析されて、その照合結果が画像表示部２３に表示される。この画像表示部２３の表示は花の画像表示と共に、それについての、説明情報が表示される。この表示を見て検索者が納得した場合は検索は終了する（第１検索ステップ）。
【００２２】
なお、外付けメモリを用いずに、予め、内部記憶部８に通信網のネットワーク６を介して図鑑の情報のデータを収納しておけば、その収納してあるデータと同様に比較・分析して、その照合結果を画像表示部２３に表示させて、検索者が判断することが出来る。
【００２３】
もし、検索者が表示を見て納得できずにさらに検索したい場合は、先の花の画像データと花の特徴データとを通信網のネットワーク６を介して情報センタ２へデータを送信して交信する。情報センタ２へのデータの送信の際には、位置情報入力部１１によりＧＰＳにより検出されている位置情報により、最寄の情報センタ２に接続されて送信される。情報センタ２では送信されたデータに基づいて検索を行い、検索結果を端末装置１に送信し、端末装置１側ではそれに対するコメントを情報センタ２に送信する。これらの交信により端末装置１の側では情報センタ２より回答データを受信する。
【００２４】
一方、情報センタ２側での情報の処理は、端末装置１より通信網を介して問い合わせのデータは、まず、位置情報のデータに基づいて、最寄の情報センタ２に接続され、接続された情報センタ２では、最初に地域図鑑３に接続されて、地域限定の検索がおこなわれる。それらのデータは、画像や対象物の特徴を列記したデータであり、地域図鑑３に収納されている内蔵データと比較され分析される。その結果は送信してきた検索者に送られ、検索者による本人確認がおこなわれる。本人確認により検索者が了解した場合は、検索者による最終判別がおこなわれる。
【００２５】
また、本人確認の際に検索者が了解しなかった場合は、地域図鑑３の検索により特徴が絞れた結果を用いて、ネットワーク６を介して地区図鑑４に送信し、地区図鑑４で同様に内部データと比較して分析され、その結果による本人確認がおこなわれる。本人確認により検索者が了解した場合は、検索者による最終判別がおこなわれる。
【００２６】
さらに、地区図鑑４の結果に対する本人確認の際に検索者が了解しなかった場合は、地区図鑑４の検索により特徴が絞れた結果を用いて、ネットワーク６を介して国内限定図鑑５に送信し、国内限定図鑑５で同様に内部データと比較して分析され、その結果による本人確認がおこなわれる。本人確認により検索者が了解した場合は、検索者による最終判別がおこなわれる（第２検索ステップ）。
【００２７】
これらの階層的な検索においては、草花、動物など季節と範囲に限定されたものは、地域限定検索か早い。また、検索作業では、地域限定検索の７０％に該当しないことがわかれば、検索作業は自動的に地区検索に飛ぶ。更に地区検索でも検索にかからない場合、７０％の検索回答時点で、検索作業は国内限定検索に飛ぶように設定されている。
【００２８】
次に、具体的な検索の事例について説明する。
【００２９】
（例１）対話による図鑑の検索
検索者が対象物とおぼしき名前をキーボード１４より入力して検索すれば、名前に対応した画像が表示部に表示される。その表示と目の前にある対象物とを比較する。しかし、現実には、近似的な名前が浮かばない場合が多い。その為に検索は、大分類（草、石、鳥、魚等の分類）中分類（色、特徴等）を質問と回答の繰り返しによる対話形式で絞り込むことで、数種類の画像が送られ、比較検討し、該当したものを選択する。選択結果には詳細説明が表示される。
【００３０】
（例２）音声検索システム
主として、動物系や寺院の梵鐘のような音の出る音源を対象にした場合、音を録音してデータとして入力すれば、外付メモリのデータや予め収納されている内部記憶部８のデータとの比較や、あるいは、情報センタ２に送信すれば、情音のデータを解析して、音源とおぼしき数種類の画像を表示する。それらの画像から対話形式により画像を選択することで、詳細説明とその音声が回答される。
【００３１】
（例３）画像検索システム
対象物をデジタルカメラで撮影して撮像データを、外付メモリのデータや予め収納されている内部記憶部８のデータとの比較し、さらに、情報センタ２へ送信すると、撮像データと各図鑑と照合して解析されると同時に、撮像データは専門家の方にも送られる。その結果を反映させて、対話形式で質問と回答を繰り返し検索する。検索結果は対話形式の結果により絞り込むことで、数種類の画像が送られ、比較検討し、該当したものを選択する。選択結果には詳細説明が表示される。
【００３２】
（例４）気候と場所による検索システム
（例ｌ）〜（例３）項で、検索した場合、入力時間を短くする為に、例えば、「草、伊豆、箱根、９月１０日」と入力すれば、その季節に適合した草花を表示して、選択できるシステムである。
【００３３】
（例５）色による検索システム
（例１）および（例４）に加え、「色」を指定すれば、その季節の草花を表示して、選択できるシステムである。
【００３４】
（例６）地域での新規情報提供システム
地域情報で検索した際に、位置情報と対応して、何が、何時、見所、催し物は何があるか、おいしい食べ物は、お祭りはやっているか、等々という現地最新情報等が提供されるサービスシステムである。
【００３５】
なお、上述の各検索の場合、予め、草花、動物等知りたい項目のＱ＆Ａの内容を携帯端末に記録しておけば、検索の精度を上げることができる。
【００３６】
また、端末装置をパソコンと接続すれば、検索した結果をメモリに保存して、休憩場所や宿等どこでも、すぐに結果が再現でき、思い出の文章を追加したりする編集を自在におこなうことができる。
【００３７】
以上に説明したように、本発明の図鑑検索装置によれば、外出した際に、知りたい対象物に出会ったとき、最初は何も知らないものであっても、図鑑検索装置のデジタルカメラで撮影した画像等と図鑑のデータを比較し、対象物についての情報が迅速に得られるので、趣味や娯楽等をより一層充実させることができる。
【００３８】
【発明の効果】
本発明によれば、未知の対象物に関する検索者の問合せに対して、適切迅速に回答することのできる図鑑検索方法とその装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の図鑑検索方法とその構成装置の模式図。
【図２】本発明の図鑑の説明図。
【図３】本発明の図鑑検索のフローを示す説明図。
【符号の説明】
１…端末装置、２…情報センタ、３…地域図鑑、４…地区図鑑、５…国内限定図鑑、６…ネットワーク、７…外付メモリ格納部、８…内部記憶部、１１…位置情報入力部、１２…画像入力部、１３…音声認識部、１４…キーボード、１６…照合部、１７…中央制御部、２３…画像表示部
【図１】
2004021706.tif 000003
【図２】
2004021706.tif 000004
【図３】
2004021706.tif 000005