(57)【要約】【課題】  オブジェクトを含む画像からオブジェクトを抽出し、オブジェクトについてのより正確な認識結果を実用的な時間内で提供する。【解決手段】  画像入力手段１０１、並びに画像の撮影位置情報を取得する位置情報取得手段１０５及び撮影日時情報を取得する時間情報取得手段１０６のうち少なくとも一つを有する携帯端末１と、携帯端末１から送信される画像、並びに画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信し、検索結果を携帯端末１に送信する通信手段２０１、画像からオブジェクトを抽出し、オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算手段２０２、カテゴリ、特徴量、並びに画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベース２０４を検索し、オブジェクトに関する情報を検索結果として得る検索手段２０３、を有するサーバ２と、からなるオブジェクト情報提供システム。【選択図】  図１
2006209492.tif 000002
【特許請求の範囲】
【請求項１】
携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信し、検索結果を前記携帯端末に送信する通信手段と、
前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算手段と、
前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索手段と、
を有することを特徴とするオブジェクト情報提供サーバ。
【請求項２】
オブジェクトの画像を入力する画像入力手段と、当該画像の撮影位置情報を取得する位置情報取得手段及び撮影日時情報を取得する時間情報取得手段のうち少なくとも一つと、を有する携帯端末と、
前記携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信し、検索結果を前記携帯端末に送信する通信手段と、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算手段と、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索手段と、を有するオブジェクト情報提供サーバと、
からなることを特徴とするオブジェクト情報提供システム。
【請求項３】
通信手段が、携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信する受信ステップと、
オブジェクト抽出・特徴量計算手段が、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算ステップと、
検索手段が、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索ステップと、
前記通信手段が、前記検索結果を前記携帯端末に送信する送信ステップと、
を有することを特徴とするオブジェクト情報提供サーバにおけるオブジェクト情報提供方法。
【請求項４】
携帯端末の画像入力手段が、オブジェクトの画像を入力する画像入力ステップと、
携帯端末の位置情報取得手段が、前記画像の撮影位置情報を取得する位置情報取得ステップ及び携帯端末の時間情報取得手段が、前記画像の撮影日時情報を取得する時間情報取得ステップのうち少なくとも一つと、
オブジェクト情報提供サーバの通信手段が、携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信する受信ステップと、
オブジェクト情報提供サーバのオブジェクト抽出・特徴量計算手段が、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算ステップと、
オブジェクト情報提供サーバの検索手段が、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索ステップと、
前記オブジェクト情報提供サーバの通信手段が、前記検索結果を前記携帯端末に送信する送信ステップと、
を有することを特徴とするオブジェクト情報提供システムにおけるオブジェクト情報提供方法。
【請求項５】
上記請求項１〜４のいずれかに記載のオブジェクト情報提供サーバ、オブジェクト情報提供システム、又はオブジェクト情報提供方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするオブジェクト情報提供プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトに関する情報を取得するために、そのオブジェクトの画像を取得し、その画像中に存在するオブジェクトを画像処理により抽出して、その抽出結果を用いてデータベースを検索する画像認識装置に関するものである。
【０００２】
なお、対象とするオブジェクトは、カテゴリが定義されているものであって、地球上において該オブジェクトに固有の分布を持って存在しているものである。分布は非常に広域であってもよいし、地球上に１地点のみであってもよい。対象とするオブジェクトの例としては、植物の葉や花、魚や昆虫等の動物、建造物などがある。
【背景技術】
【０００３】
画像に含まれるオブジェクトを抽出し認識する処理にかかる計算量は非常に多く、計算能力が低い携帯端末のみで実用的な処理時間内に当該処理が可能な技術はない。このような問題を解決するため、携帯端末の画像入力手段で撮影した画像データを計算能力の高いサーバに送り、サーバ側でオブジェクトを検索して携帯端末に送る技術が開示されている(例えば、特許文献１参照。)。
【特許文献１】特開２００３−３２３６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、サーバであっても、画像データのみの入力から、短時間に処理を行ってオブジェクトを正しく認識することは一部の例を除いて困難であり、通常、認識結果をひとつに絞りきれず複数の候補を出力する。これら複数の候補の中には、オブジェクトの撮影場所及び撮影日時の双方又は一方から考えて、当該オブジェクトではあり得ない候補が含まれる場合もあるが、利用者に詳細な知識がなければ、それ以上の絞り込みは行えず、結果として、オブジェクトを特定することは不可能となってしまう。
【０００５】
本発明はかかる事情に鑑みてなされたもので、その目的は、利用者が携帯端末側のカメラで撮影したオブジェクトを含む画像からオブジェクトを抽出し、オブジェクトについてのより正確な認識結果を実用的な時間内で取得することを可能とする画像認識技術を提供することにある。
【課題を解決するための手段】
【０００６】
近年、デジタルカメラで撮影した画像をワイヤレスで送信する技術が一般に普及してきている。デジタルカメラとデータ通信機能を内蔵した携帯電話はその代表例である。また、ＩｒＤＡやＢｌｕｅ  Ｔｏｏｔｈのように携帯機器間で近距離の無線データ通信を行う技術も普及しつつあり、これに対応したデジタルカメラと携帯端末を組み合わせれば、デジタルカメラで撮影した画像を携帯端末を通じてワイヤレスで送信することが可能となる。同時に、カーナビゲーションシステムと同じ全地球測位システムを機能として搭載した携帯端末も登場しており、携帯電話を用いて自らの位置を知ることが可能となっている。また、全地球測位システムを機能として搭載していない携帯端末であっても、株式会社エヌ・ティ・ティ・ドコモ（以下、ＮＴＴドコモ）のｉモード等の携帯電話向けインターネットサービスにより現時点において該携帯端末の属する基地局エリアがどこか分かるサービス（例えば、ＮＴＴドコモの「ｉエリア」等）が提供されており、これを用いれば、該携帯端末を所持する人物が、自分が今どの辺りにいるかといった大まかな位置情報を取得することが出来る。
【０００７】
そこで、本発明では、画像入力手段、並びに位置情報取得手段及び時間情報取得手段の双方もしくは一方とを有する携帯端末と、オブジェクトの抽出手段・特徴量計算手段、及びデータベース検索手段を有する計算能力の高いサーバとを通信手段を介して連携させることにより前記の課題を解決するもので、以下の構成を特徴とする。
【０００８】
請求項１に記載のオブジェクト情報提供サーバでは、携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信し、検索結果を前記携帯端末に送信する通信手段と、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算手段と、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索手段と、を有することを特徴とする。
【０００９】
請求項２に記載のオブジェクト情報提供システムでは、オブジェクトの画像を入力する画像入力手段と、当該画像の撮影位置情報を取得する位置情報取得手段及び撮影日時情報を取得する時間情報取得手段のうち少なくとも一つと、を有する携帯端末と、前記携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信し、検索結果を前記携帯端末に送信する通信手段と、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算手段と、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索手段と、を有するオブジェクト情報提供サーバと、からなることを特徴とする。
【００１０】
請求項３に記載のオブジェクト情報提供方法では、通信手段が、携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信する受信ステップと、オブジェクト抽出・特徴量計算手段が、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算ステップと、検索手段が、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索ステップと、前記通信手段が、前記検索結果を前記携帯端末に送信する送信ステップと、を有することを特徴とする。
【００１１】
請求項４に記載のオブジェクト情報提供方法では、携帯端末の画像入力手段が、オブジェクトの画像を入力する画像入力ステップと、携帯端末の位置情報取得手段が、前記画像の撮影位置情報を取得する位置情報取得ステップ及び携帯端末の時間情報取得手段が、前記画像の撮影日時情報を取得する時間情報取得ステップのうち少なくとも一つと、オブジェクト情報提供サーバの通信手段が、携帯端末から送信される画像、並びに当該画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを受信する受信ステップと、オブジェクト情報提供サーバのオブジェクト抽出・特徴量計算手段が、前記画像からオブジェクトを抽出し、当該オブジェクトのカテゴリ特定、及び特徴量の算出を行うオブジェクト抽出・特徴量計算ステップと、オブジェクト情報提供サーバの検索手段が、前記カテゴリ、前記特徴量、並びに前記画像の撮影位置情報及び撮影日時情報のうち少なくとも一つを用いてデータベースを検索し、前記オブジェクトに関する情報を検索結果として得る検索ステップと、前記オブジェクト情報提供サーバの通信手段が、前記検索結果を前記携帯端末に送信する送信ステップと、を有することを特徴とする。
【００１２】
請求項５に記載のオブジェクト情報提供プログラムでは、上記請求項１〜４のいずれかに記載のオブジェクト情報提供サーバ、オブジェクト情報提供システム、又はオブジェクト情報提供方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００１３】
なお、携帯端末における画像入力手段としてデジタルカメラを使用することが可能である。
【００１４】
また、位置情報取得手段は全地球測位システムを用いること及び携帯端末の属する基地局エリア情報を取得する手段を用いることが可能である。
【００１５】
また、時間情報取得手段は携帯端末が内蔵する時計を用いることが可能であり、時計には画像を撮影した場所における標準時についての情報を受信する電波時計を用いることが可能である。
【００１６】
また、オブジェクト情報提供サーバ及び携帯端末がともにアクセス可能なネットワーク内の他のマシンにデータを保存できるデータ保存手段を設置し、オブジェクト情報提供サーバはデータ保存手段に検索結果データを格納し、携帯端末に対しては検索結果データをデータ保存手段に格納したアドレスを送信し、携帯端末はアドレスを用いて検索結果データをデータ保存手段からダウンロードすることが可能である。
【００１７】
また、携帯端末として、デジタルカメラとデータ通信機能を内蔵した携帯電話を用いることが可能である。
また、携帯端末において、オブジェクト情報提供サーバに画像並びに携帯端末の識別コード若しくは利用者の識別コードも送信し、かつオブジェクト情報提供サーバは携帯端末から画像並びに携帯端末の識別コード若しくは利用者の識別コードを受信し、これらの識別コードを用いて利用者に課金することが可能である。
【発明の効果】
【００１８】
以上、説明したように、請求項１〜５に記載の発明によれば、画像を撮影した場所についての位置情報及び画像を撮影した日時についての時間情報の双方もしくは一方を取得してこれをオブジェクト情報提供サーバに送信することで、オブジェクト情報提供サーバにおいて画像からオブジェクトを抽出し特徴量を計算した上で、位置情報及び時間情報の双方もしくは一方並びに特徴量を入力としてデータベース内を検索し、実用的な時間内でオブジェクトについてのより正確な認識結果を取得することが可能になり、そのオブジェクトに関する情報を携帯端末において閲覧することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１９】
図１は本発明の実施形態に用いるオブジェクト情報提供システムのブロック図である。同図において、画像入力手段１０１は、携帯電話１に内蔵されたデジタルカメラである。また、操作手段１０２は携帯電話の操作キーである。また、表示手段１０３は液晶ディスプレイ等の表示装置である。また、位置情報取得手段１０５は携帯電話１に内蔵された全地球測位システムである。また、時間情報取得手段１０６は携帯電話１に内蔵された時計である。
【００２０】
このような構成の携帯電話１において、まず、利用者は携帯電話１に内蔵されるデジタルカメラ１０１でオブジェクトを撮影する。ここではオブジェクトとして花を例にとる。
【００２１】
この撮影とほぼ同時に位置情報取得手段１０５によって撮影した場所の位置情報を取得する。さらに、この撮影と同時に時間情報取得手段１０６によって撮影した日時の時間情報をも取得する。
【００２２】
そして、操作手段１０２によって撮影した画像データ、撮影した場所の位置情報及び撮影した日時の時間情報を通信手段１０４に送信するように指示を出す。
【００２３】
この指示を受けて、通信手段１０４は画像データ、位置情報及び時間情報をサーバ２に送信する。
【００２４】
サーバ２は、通信手段２０１によって携帯電話１からの情報を受信し、通信手段２０１は受信した画像データをオブジェクト抽出・特徴量計算手段２０２に送り、かつ、受信した位置情報及び時間情報を検索手段２０３に送る。
【００２５】
オブジェクト抽出・特徴量計算手段２０２は受信した画像データからオブジェクトを抽出し、抽出したオブジェクトの属するカテゴリを特定して、当該カテゴリに関する情報及び特徴量計算結果を検索手段２０３に送る。なお、オブジェクト抽出特徴量・計算手段２０２の処理内容としては、「花と葉による野草の自動認識：斎藤剛史、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．１４１９−１４２９（２００１）」等の文献の方法を利用することが可能である。
【００２６】
以下に処理の具体例を説明する。
【００２７】
［背景分離］
＜入力画像の性質と方針＞
図２は、花と葉の自然の状態をそのまま撮影した画像を示したものである。ほとんどの花や葉は群生しているため、図２のような画像から自動的に対象物のみを抽出することは難しい作業である。そこで、対象物を抽出するために光源などの撮影環境を同一に設定し撮影する方法や、対象物の存在しない画像と存在する画像の２枚を用い、両面像を差分することにより対象物を抽出する方法などが挙げられる。なお、安価なシステム、かつユーザに対する操作の軽減を考慮する必要がある。そこで本実施形態では、対象物の背景に黒色の布地（又は画用紙）を用いた。これは対象物である花が極彩色や無彩色（白色）に分布し、葉は一般的に緑色であり、撮影時における太陽光などの光の反射を最小限に抑えるためである。図３は前述の方法で撮影した、対象物の背景に黒色布地を置いて撮影した画像である。本実施形態で定義する特徴量の多くは対象物の正確な輪郭形状を必要とするため、正確な背景分離は不可欠である。そこで、この入力画像においてエッジ検出やしきい値選定法などの諸手法により背景分離を試みたが、以下に述べるような要因により必ずしも背景分離を容易には行えなかった。
【００２８】
（I）対象物（特に花）が立体的な構造を持ち、図３（ａ）のように相互に影を作り背景との差が低くなる。
【００２９】
（II）図３（ｂ）のように、対象物の影が背景領域に写り、背景が一様でなくなる。
【００３０】
（III）背景領域上の四隅に明暗が生じることがある。
【００３１】
そこで次に述べるクラスタリング法を用いて背景分離を行う。
【００３２】
＜クラスタリング＞
本研究におけるクラスクリングは色空間において行う。色空間におけるクラスタリングは、静止カラー画像の限定色選択を目的として研究されている（Paul S.Heckbert, "Color image quantization for frame buffer display", pp.297-307, SIGGRAPH'82, Boston, Jul.1982）。ここでは最初に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３次元色分布空間を考え、この空間においてseed（初期クラスタ値）を導出した後クラスタリングを行う。
【００３３】
（１）初期クラスタ決定本発明のシステムでは最終的にクラスタ数を背景と対象物の２つにする。クラスタリングはＲＧＢ空間におけるk-means法（ｋ−平均法）を用いて行い、以下の手順で初期クラスタを導出する。
【００３４】
（I）ＲＧＢ空間における分布seedを求めるに当たって、ＲＧＢ空間分布を考える。図４はＲＧＢ空間を示した図である。この図４のようにまず各座標軸において分布の最小、最大両端においてノイズ成分と考えられる要素を無視するため、両端から全画素数の０．１％（約３００画素）の分布を無視する。次に両端を除いた分布において、各座標軸に沿ってｎ個に均等分割したｎ3個の小空間を考える。この分布空間よりseedを検出する。ただし本発明の実施形態ではｎ＝５とする。
【００３５】
（II）seed検出seed検出は以下の手順により行う。まず頻度数が最大である小空間を選ぶ。そして、連結する小空間が共にseedとなることを避けるために、図５に示すような、選ばれた小空間に隣接する６小空間はseedに選択しない。選択した小空間とそれを囲む６小空間を取り除いた後、再び最大頻度の小空間を選ぶプロセスを繰り返す。選ばれた小空間における中央値をseedとする。初期クラスタ数（seed数）ｋは条件を満たす全ての小空間とする。
【００３６】
（２）ｋ−ｍｅａｎｓ法（ｋ−平均法）
本手法のアルゴリズムは以下のとおりである。
（I）最初にｋ個の仮クラスタの重心seedを決定する。本研究では前節で述べた方法によりseedを求める。
【００３７】
（II）全てのデータを最短距離にあるクラスタに分類する。距離としてはＲＧＢ空間のユークリッド距離を使用する。
【００３８】
（III） 再分類されたクラスタから新たにクラスタの重心を求める。
【００３９】
（IV）前の処理で新たなクラスタ中心が全て以前と同じであれば終了し、そうでなければ前の処理に戻る。
【００４０】
図６は図３（ａ）の花画像に対するクラスタリング結果をＲＧＢ空間分布に示した図であり、図７はクラスタリング結果を画像上に展開したものである。図６のような色空間で同じクラスタに分類されても、画像上では必ずしも同じ領域に分布しているとは限らない。そこで展開した画像で接合されていない領域は、全て独立のクラスタとする。図６の色空間におけるクラスタ数は６である。しかし図７ではクラスタ数が４７５と増大する。この図では入力画像における色の移り変わりと考えられる場所で画素数が少ないクラスタ（小領域）が多数存在する。そこで次にクラスタ数の軽減を目的とし、これら小領域の除去を行う。
【００４１】
＜クラスタ統合＞
クラスタ統合は小領域クラスタの除去を目的とした１次クラスタ統合、背景領域に属するクラスタを統合する２次クラスタ統合、さらに画像状況に応じて影を除去する３次クラスタ統合の３過程から構成する。最後に背景領域を除去することにより対象物を抽出する。
【００４２】
（１）１次クラスタ統合各クラスタに属する画像を調べて、その数があるしきい値Ｔ1以下のクラスタを統合の対象とする。この値は統合処理により対象物の輪郭が欠けないように注意する。統合は各クラスタの平均色を求め、周囲のクラスタと比較して最も色差の小さいクラスタへ吸収させる。色差はＲＧＢ空間のユークリッド距離とする。図８は前述の処理をＴ1＝３００（全画素数の０．１％）として行った、１次クラスタ統合後の結果を示したものである。
【００４３】
（２）２次クラスタ統合本システムで使用する花及び葉の画像では、必ず対象物は画像の中心付近に置かれ、画像から対象物がはみ出すことは無い。この条件下では画像の外側縁を含むクラスタは必ず背景に属する。従ってこの性質を利用し、１次クラスタ統合の結果を背景Ａbに属するか、対象物Ａoに属するか、もしくは未定Ａtに分別する。全クラスタをＡb，Ａo，Ａtのいずれかに分類させるため、本発明のシステムではエッジ強度ｅを定義する。そしてクラスタ境界におけるｅの分布を求め、分布の検定を行うことによりクラスタ統合処理を行う。即ち現段階においては、幾つものクラスタからなる背景領域を、１つのクラスタに統合することを目的とする。図９はエッジ強度ｅの導出について説明するための図であり、画素をクラスタ別に表している図である。この図９を用いて説明する。
【００４４】
（I）クラスタＣlとＣ2の境界線を検出し、境界線上の画素の隅に番号をつける。
【００４５】
（II）この隅を中心として、４×４の小領域（局所領域と呼ぶ）を設ける。
【００４６】
（III）ｐ番目の局所領域において、クラスタＣ1とＣ2に属する画素の入力画像におけるＲＧＢ平均値（ｒ1，ｇ1，ｂ1），（ｒ2，ｇ2，ｂ2）を計算する。
【００４７】
（IV）エッジ強度は上記平均値の差分
【００４８】
【数１】
2006209492.tif 000003
【００４９】
（V）｛ｅp，ｐ＝１，・・・，ｎ｝の平均値μ1,2、分散σ21,2を計算しておく。
【００５０】
以上の手順により求まるエッジ強度ｅの分布を用いてクラスタ統合を施す。背景領域に存在するクラスタ境界では、入力画像上の輝度値が緩やかに変化する。逆に背景領域と対象物領域のクラスタ境界では輝度値が急変している。まず、画像縁を含む全てのクラスタをＡbに属させ、Ａbに属するクラスタ間のエッジ強度の分布を正規分布Ｎ（μb，σb）と仮定する。次にＡbに属するクラスタＣbとその隣接クラスタＣtのクラスタ間エッジ強度の分布を対象分布Ｎ（μt，σt）とする。次に、Ｎ（μb，σb）とＮ（μt，σt）において正規分布検定を行う。仮説をμb＝μtとし、
【００５１】
【数２】
2006209492.tif 000004
【００５２】
を計算する。ｚo＜αならば対象分布は背景分布と同じであるとし、ＣtをＡbに属させる。α≦ｚo＜βならば、ＣtはＡtに属させ３次クラスタ統合の対象とする。そうでなければＣtをＡoに属させる。図１０は、図８における２次クラスタ統合処理を適用した結果を示した画像である。このように対象物と背景が正確に分離されていることがわかる。また図７ではクラスタ数が４７５であったのに対し、図８ではクラスタ数は２４、図１０では２２になる。
【００５３】
（３）３次クラスタ統合前統合処理により対象物と背景はほぼ正確に分離される。しかしながら、画像によっては背景領域に対象物の影が生じているものがある。明確に現れる影は背景と対象物との中間に位置し、２次クラスタ統合では処理できない場合がある。そこで本プロセスでは影領域を検出し、背景に統合する処理を行う。プロセスは以下の方法で行う。
【００５４】
(I)２次クラスタ統合により求まったＡtに属するクラスタＣiの平均輝度値をＹiとする。
【００５５】
(II)Ａbに属する全クラスタの平均輝度値をＹbとする。
【００５６】
(III)影は背景よりも暗い性質があるため、Ｙi＜Ｙbならば注目クラスタは影であり、Ａbに属させる。そうでなければＡoに属させる。
【００５７】
(IV)以上の処理を全てのＣi（Ｃi∈Ａt）に対して行い、クラスタをＡbもしくはＡoに分類する。図１１は、実際に影を持つ画像（図１１（ａ））に対して、１次〜３次までのクラスタ統合処理を行った過程と結果を、図１１（ｂ）〜図１１（ｄ）の順番で示したものである。図１１（ｂ）のような背景領域に対象物の影が生じている画像でも影領域を検出し、図１１（ｄ）のように背景に統合することができている。
【００５８】
（４）背景領域除去前述までの処理により画像は大まかなクラスタによって表現されている。最後に背景クラスタＡbを取り除くことにより対象物抽出を実現する。図１２は、図３（ａ）の花と図１１（ａ）の葉の画像より背景分離処理を行った結果を示した画像である。図３（ａ）の花と図１１（ａ）の葉の画像より対象物抽出をした画像は、それぞれ図１２（ａ）及び図１２（ｂ）である。
【００５９】
［特徴量］
＜花の特徴量＞
花の構造は多種多様で複雑である。また入力画像から雄しべ、雌しべなどの複雑な構造を認識することは難しい。そこで本研究では主に輪郭形状情報から特徴量Ｆ１〜Ｆ４の４個、色情報から特徴量Ｆ５〜Ｆ１０の６個の計１０個の花の特徴量を定義する。
（１）形状情報（花）
図１３は花形状の解析を示した図である。花の構造において最も大きな面積を占め、入力画像から確実に得られる情報として花弁が挙げられる。本システムでは、図１３（ａ）に示すような花の輪郭情報をもとに、重心Ｇから輪郭までの距離ｄを求め、図１３（ｂ）のような横軸を角度θ、縦軸を距離ｄとした１次元波形に変換する。この波形より以下に示す２つのパラメータを定義する。
【００６０】
（Ｆ１）花弁形状
花弁幅を波形における平均谷間距離ｌ、花弁の長さを平均山の高さｈとし、花弁の形状をｌ／ｈと定義する。
【００６１】
（Ｆ２）花弁数
図１３に示す波形で極大値数を求める。花弁数が多い花ではその数を正確に求めることが困難である。花弁数ＮがＮ＞７の場合は「花弁数が多い」と明示的に示す数値Ｎ＝７とする。
【００６２】
（Ｆ３）モーメント
Ｆ３は次式に定義されたモーメントＭを用いる。
【００６３】
【数３】
2006209492.tif 000005
【００６４】
ただし、式中においてＳは面積、Ｇ（ｇi，ｇj）を重心とする。
【００６５】
（Ｆ４）円形度花弁の外周形状が円にどれくらい近いかを示す情報として、
【００６６】
【数４】
2006209492.tif 000006
【００６７】
より円形度を求める。ここでＬは花の周囲長を示し、０＜Ｒ≦１である。
【００６８】
（２）色情報（花）
花の色は極彩色又は白などの無彩色であることが多く、主に１色分布からなっている花、２色分布から、もしくはそれ以上の色分布からなっている花に分類できる。本研究では面積の大きい２色とそれらの面積割合を特徴量として６個定義する。入力された画像情報は、光の３原色赤，緑，青で表す、ＲＧＢ色空間値であるが、色合い，彩度，明度の３要素で表す、ＨＳＶ色空間に変換し色情報を得る。図１４はＨＳ空間を分割したものを示した図である。そして図１４に示すＨＳ空間より６個の特徴量を得る。なお、ここでいう分布割合は、注目座標分布数及びその４近傍座標の分布数の総和とする。
【００６９】
（Ｆ５）第１色ｘ座標 最大分布数のｘ座標値。
【００７０】
（Ｆ６）第１色ｙ座標 最大分布数のｙ座標値。
【００７１】
（Ｆ７）第１色割合 その座標と４近傍座標を含めた分布割合。
【００７２】
（Ｆ８）第２色ｘ座標 ２番目の分布数のｘ座標値。
【００７３】
（Ｆ９）第２色ｙ座標 ２番目の分布数のｙ座標値。
【００７４】
（Ｆ１０）第２色割合 その座標と４近傍座標を含めた分布割合。ただし、ＨＳＶ色空間と、色合い，輝度，彩度の３要素で表す、ＨＬＳ色空間による特徴量を求め認識した結果、ほとんど差が見られなかった。そのため、ここではＨＳＶ色空間を用いる。
【００７５】
＜葉の特徴量＞
葉は花と比べ構造が簡単であり、方向が明瞭である。特徴量を求めるにあたって最初に小葉の検出を行い、その後基部・先端の位置を調べる。形状情報から特徴量Ｌ１〜Ｌ８の８個、色情報から特徴量Ｌ９〜Ｌ１１の３個、計１１個の特徴量を定義する。
【００７６】
（１）小葉の検出図１５は単葉と複葉を示した画像である。この図１５に示すように、葉画像は大まかに分類すると、単葉と、複数の小葉で構成している複葉の２種類ある。特徴量においては葉構造（Ｌ８）で単葉、複葉の区別をする。ただしＬ８と色情報を除いた特徴量では単葉における特徴を定義する。そのため最初に単葉、複葉の分類を行い、複葉の場合は小葉の検出を行う必要がある。小葉の検出は花の形状情報を求める手順と同様に、重心と輪郭点間の距離を求め、２次元画像から１次元波形に変換する。この波形より極小点数を求め小葉があるか否か判断する。
【００７７】
（２）基部・先端位置の決定葉の方向は先に述べたように基部を左、先端を右というように、撮影条件で指定している。しかし、基部・先端の形状には様々な種類がある。本実施形態では基部・先端の形状を凸形状、凹形状に分類し、極点を求めることによりその位置を決定する。
【００７８】
（３）形状情報（葉）
ほとんどの葉は緑色であるため、分類には色情報よりも形状情報のほうが有効であると考えられる。そこで本システムでは葉の形状としてアスペクト比、モーメントなど８個の特徴量を定義する。  （Ｌ１）葉縁の形状図１６は鋸歯を有する葉を示した図である。葉縁には、この図１６のように鋸歯の有るものや、無いもの、その大きさの違いなど様々な形状があるが、これらを解析し区別することは困難な作業である。そこで本システムでは、鋸歯の割合を定義し、この値を特徴量として用いることにする。鋸歯の割合は図１６に示すような外側近似形状、内側近似形状を生成しそれら面積ＳE，ＳIの比（ＳI／ＳE）として与える。
【００７９】
（Ｌ２）アスペクト比葉のアスペクト比を定義する。またモーメント、円形度については花の場合と同様にして求める。
【００８０】
（Ｌ３）モーメントＦ３と同様に、数３に定義されたモーメントＭを用いる。
【００８１】
（Ｌ４）円形度Ｆ４と同様に、式４に定義されたＲを求める。
【００８２】
（Ｌ５）重心の偏り図１７は葉のパターンの例を示した図であり、葉の重心は大別すると図１７に示すように３パターンになる。葉の重心をＧ、基部、先端を結ぶ中央脈の中心をＣとし、重心の偏りを
【００８３】
【数５】
2006209492.tif 000007
【００８４】
と定義する。
【００８５】
葉の基部、先端は縁の形状と同様に葉の特徴を示すものとして有効な情報である。本システムでは基部、先端の形状として各々の角度θ1，θ2を求め、それらを特徴量として定義する。図１８は葉の基部と先端の角度の定義を示したものである。図１８に示すように角度は基部Ａ、先端Ｂの各々から両側へｄ離れた点（基部側：Ａ1，Ａ2，先端側：Ｂ1，Ｂ2）を求める。それよりＬ６，Ｌ７を求める。
【００８６】
（Ｌ６）基部角度 θ1＝∠Ａ1ＡＡ2Ｌ７）先端角度 θ2＝∠Ｂ1ＢＢ2Ｌ８）葉構造本システムで扱う葉は図１５で示したように、単葉と複葉とに大別される。そこで特徴量として前者の場合Ｌ８＝０、後者の場合Ｌ８＝１と定義する。分類方法は「（１）小葉の検出」で先述したとおりである。
【００８７】
（４）色情報（葉）
葉の色は一般的に緑色１色分布である。そのため色情報は、花の場合と異なり最大分布色のみを定義する。定義は花の場合と同様である。
【００８８】
（Ｌ９）第１色ｘ座標 最大分布数のｘ座標値。
【００８９】
（Ｌ１０）第１色ｙ座標 最大分布数のｙ座標値。
【００９０】
（Ｌ１１）第１色割合 その座標と４近傍座標を含めた分布割合。
【００９１】
次に、検索手段２０３は、データベース２０４において、特徴量計算結果の全部若しくは一部、位置情報、並びに時間情報を用いて、オブジェクトである花の特徴量の全部若しくは一部、並びに撮影日時における地理的開花分布に適合するデータレコードを検索し、検索結果をデータ通信手段２０１に送る。
【００９２】
ここで、図１９に、データベース２０４の構成例を示す。図１９に示すように、データベース２０４は例えば、オブジェクト名、各特徴量、カテゴリ、並びに位置及び日時に関する情報から構成される。
【００９３】
なお、図１では、データベース２０４はサーバ２の外に設置しているが、サーバ２内に設置することも可能である。また、利用者にとってカテゴリが既知の場合などにおいては、利用者が操作手段１０２により、通信手段１０４及び通信手段２０１を介して、検索手段２０３にカテゴリを送ることにより、カテゴリを指定することも可能である。
【００９４】
通信手段２０１は受け取った検索結果を携帯端末１に送る。これを携帯端末１の通信手段１０４が受信し、表示手段１０３により表示を行う。利用者は表示された検索結果を閲覧することにより、オブジェクトに関する情報を得ることが出来る。
【００９５】
ここで図２０を用いて、オブジェクトとしてある花Ａを撮影した撮影場所、並びに撮影日時における開花分布として桜Ｂ種及び桜Ｃ種それぞれの桜前線を示した例について説明する。
【００９６】
従来のように、花Ａの撮影画像からオブジェクト抽出・特徴量計算手段２０２が抽出したカテゴリ名、及び特徴量のみを用いて検索手段２０３がデータベース２０４を検索したときには、花Ａの候補が桜Ｂ種又は桜Ｃ種のいずれかであるとされる場合において、本実施形態では検索条件に撮影場所の位置情報及び撮影日時の時間情報を加えることにより、撮影日時における桜Ｂ種及び桜Ｃ種それぞれの桜前線についての情報を含むデータベース２０４を検索すれば、撮影日における桜Ｃ種の桜前線は撮影場所にかかっていないが、撮影日における桜Ｂ種の桜前線は撮影場所にかかっているために花Ａの種類が桜Ｂ種であることがわかる。
【００９７】
この例では、花Ａを撮影した場所についての位置情報及び撮影した日時についての時間情報の双方を検索に用いて種類を特定している。
【００９８】
また、図２１を用いて、オブジェクトとしてある昆虫Ｄを撮影した撮影場所、並びにクワガタムシＥ種及びクワガタムシＦ種それぞれの棲息域を示した例について説明する。
【００９９】
従来のように、昆虫Ｄの撮影画像からオブジェクト抽出・特徴量計算手段２０２が抽出したカテゴリ名、及び特徴量のみを用いて検索手段２０３がデータベース２０４を検索したときには、昆虫Ｄの候補がクワガタムシＥ種又はクワガタムシＦ種のいずれかであるとされる場合において、さらに本実施形態では検索条件に撮影場所の位置情報が加わることにより、クワガタムシＥ種及びクワガタムシＦ種それぞれの棲息域についての情報を含むデータベース２０４を検索すれば、クワガタムシＦ種の棲息域は撮影場所にかかっていないが、クワガタムシＥ種の棲息域は撮影場所にかかっているので、昆虫Ｄの種類がクワガタムシＥ種であることがわかる。
【０１００】
この例は、昆虫Ｄを撮影した場所についての位置情報を用いて、種類を特定できる場合である。
【０１０１】
また、図２２を用いて、オブジェクトとしてある花Ｇを撮影した撮影日時、並びにアサガオＨ種及びヒルガオＩ種それぞれの開花時間帯を示した例について説明する。
【０１０２】
従来のように、花Ｇの撮影画像からオブジェクト抽出・特徴量計算手段２０２が抽出したカテゴリ名、及び特徴量のみを用いて検索手段２０３がデータベース２０４を検索したときには、花Ｇの候補がアサガオＨ種又はヒルガオＩ種のいずれかであるとされた場合において、本実施形態では検索条件に撮影日時の時間情報が加わることにより、撮影日近辺におけるアサガオＨ種及びヒルガオＩ種それぞれの開花時間帯についての情報を含むデータベース２０４を検索すれば、ヒルガオＩ種の開花時間帯は撮影時間にかかっていないが、アサガオＨ種の開花時間帯は撮影時間にかかっているので、花Ｇの種類がアサガオＨ種であることがわかる。
【０１０３】
この例は、花Ｇを撮影した日時についての時間情報を用いて、種類を特定できる場合である。
【０１０４】
なお、画像認識装置は、例えば、画像認識装置を構成するコンピュータ装置が有するＣＰＵによって実現され、オブジェクト抽出・特徴量算出機能、検索機能などをアプリケーションプログラムとして搭載することができる。
【０１０５】
また、コンピュータ装置には上記説明した、オブジェクト抽出・特徴量算出、検索など行った処理結果や計算結果等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。
【０１０６】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のＣＰＵ(ＭＰＵ)が記録媒体に格納されたプログラムコードを読み出し実行することによっても実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【図面の簡単な説明】
【０１０７】
【図１】オブジェクト情報提供システムのブロック図。
【図２】花と葉の自然の状態をそのまま撮影した画像を示した図。
【図３】対象物の背景に黒色布地を置いて撮影した画像を示した図。
【図４】ＲＧＢ空間を示した図。
【図５】頻度数が最大である小空間と、それに隣接する６小空間を示した図。
【図６】花画像に対するクラスタリング結果をＲＧＢ空間分布に示した図。
【図７】クラスタリング結果を展開した画像を示した図。
【図８】１次クラスタ統合処理を適用した結果の画像を示した図。
【図９】エッジ強度ｅの導出について説明するための図。
【図１０】２次クラスタ統合処理を適用した結果の画像を示した図。
【図１１】実際に影を持つ画像において１次〜３次までのクラスタ統合処理を行った過程と結果を示した図。
【図１２】花と葉の画像より背景分離処理を行った画像を示した図。
【図１３】花形状の解析を示した図。
【図１４】ＨＳ空間を分割したものを示した図。
【図１５】単葉と複葉の画像を示した図。
【図１６】鋸歯を有する葉を示した図。
【図１７】葉のパターンの例を示した図。
【図１８】葉の基部と先端の角度の定義を示した図。
【図１９】データベースの構成例を示す図。
【図２０】オブジェクト花Ａの開花分布図。
【図２１】オブジェクト昆虫Ｄの棲息域分布図。
【図２２】オブジェクト花Ｇの開花時間帯を示す図。
【符号の説明】
【０１０８】
１…携帯端末
２…サーバ
１０１…画像入力手段
１０２…操作手段
１０３…表示手段
１０４…通信手段
１０５…位置情報取得手段
１０６…時間情報取得手段
２０１…通信手段
２０２…オブジェクト抽出・特徴量計算手段
２０３…検索手段
２０４…データベース
【図１】
2006209492.tif 000008
【図４】
2006209492.tif 000009
【図１３】
2006209492.tif 000010
【図１４】
2006209492.tif 000011
【図１６】
2006209492.tif 000012
【図１７】
2006209492.tif 000013
【図１８】
2006209492.tif 000014
【図１９】
2006209492.tif 000015
【図２０】
2006209492.tif 000016
【図２１】
2006209492.tif 000017
【図２２】
2006209492.tif 000018
【図２】
2006209492.tif 000019
【図３】
2006209492.tif 000020
【図５】
2006209492.tif 000021
【図６】
2006209492.tif 000022
【図７】
2006209492.tif 000023
【図８】
2006209492.tif 000024
【図９】
2006209492.tif 000025
【図１０】
2006209492.tif 000026
【図１１】
2006209492.tif 000027
【図１２】
2006209492.tif 000028
【図１５】
2006209492.tif 000029