(57)【要約】【課題】  本発明は、画像情報から被写体の像を抽出する画像処理装置と、その画像処理装置が備えられた撮像装置と、抽出された被写体の像に基づいて検索が行われる情報検索システムと、この画像処理装置を実現するプログラムとに関し、所望の被写体の像を含む画像からその対象物以外の像を容易に除くことができることを目的とする。【解決手段】  検出対象の特定の被写体の像を含む画像が区分された各領域の像に対する被写体までの撮像手段からの距離と、前記特定の被写体の特徴とに基づいて、前記画像を前記領域毎にクラスタリングするクラスタリング手段と、前記クラスタリング手段によって得られたクラスタの内、前記距離が同じクラスタの集合として前記特定の被写体の像を抽出する画像抽出手段とを備えて構成される。【選択図】      図１
2007156917.tif 000002
【特許請求の範囲】
【請求項１】
検出対象の特定の被写体の像を含む画像が区分された各領域の像に対応する被写体までの撮像手段からの距離と、前記特定の被写体の特徴とに基づいて、前記画像を前記領域毎にクラスタリングするクラスタリング手段と、
前記クラスタリング手段によって得られたクラスタの内、前記距離が同じクラスタの集合として前記特定の被写体の像を抽出する画像抽出手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像抽出手段は、
前記クラスタリングによって得られたクラスタの内、前記被写体の色として少ない色の領域を含むクラスタを画像抽出候補から除外する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記画像抽出手段は、
前記クラスタリングによって得られたクラスタの内、前記画像の縁部に対する距離が所定の閾値未満の領域を含むクラスタを画像抽出候補から除外する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記クラスタリング手段は、
前記クラスタリングに基づいて得られ、かつ前記画像上で隣接する複数のクラスタの内、所定の色空間における変化率が同じクラスタを併合する
ことを特徴とする画像処理装置。
【請求項５】
被写体の像を含む画像を出力する撮像手段と、
請求項１ないし請求項４の何れか１項に記載された画像処理装置とを備え、
前記撮像手段は、
前記画像が区分された領域毎に、立体視に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える
ことを特徴とする撮像装置。
【請求項６】
被写体の像を含む画像を出力する撮像手段と、
請求項１ないし請求項４の何れか１項に記載された画像処理装置とを備え、
前記撮像手段は、
前記画像が区分された領域毎に、多点ＡＦ方式に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える
ことを特徴とする撮像装置。
【請求項７】
被写体の像を含む画像を出力する撮像手段と、
請求項１ないし請求項４の何れか１項に記載された画像処理装置とを備え、
前記撮像手段は、
前記画像が区分された領域毎に、ＴＯＦ方式に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える
ことを特徴とする撮像装置。
【請求項８】
複数の被写体毎に、画像と情報とが予め対応付けられて格納された記憶手段と、
検索の対象となる特定の被写体の像を含む画像が区分された各領域の像に対応する被写体までの撮像手段からの距離と、前記特定の被写体の特徴とに基づいて、前記画像を前記領域毎にクラスタリングするクラスタリング手段と、
前記クラスタリング手段によって得られたクラスタの内、前記距離が同じクラスタの集合として前記特定の被写体の像を抽出する画像抽出手段と、
前記記憶手段に格納されている複数の被写体の画像の情報の中から前記画像抽出手段によって抽出された前記特定の被写体の像に相当する被写体の画像の情報を得る検索手段と
を備えたことを特徴とする情報検索システム。
【請求項９】
請求項８に記載の情報検索システムにおいて、
前記特定の被写体の像を含む画像を出力し、かつ前記画像が区分された領域毎の前記距離を求める撮像装置を有し、
前記クラスタリング手段と前記画像抽出手段との双方または何れか一方が前記撮像装置に備えられた
ことを特徴とする情報検索システム。
【請求項１０】
請求項１に記載の画像処理装置としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報から被写体の像を抽出する画像処理装置と、その画像処理装置が備えられた撮像装置と、抽出された被写体の像に基づいて検索が行われる情報検索システムと、その画像処理装置を実現するプログラムとに関する。
【背景技術】
【０００２】
花や鳥などの名称や特性を調べるために用いられる図鑑は、従来より屋外レジャーでの単純な好奇心を満たす初心者向きの図鑑から、学術的な用途に用いられる高度な図鑑まで幅広く出版されている。これらの図鑑の使用にあたっては、一般に、調べようとする対象の実物または写真などの画像と図鑑に収録された図版とを目視により比較対照することにより、その対象が図鑑内から特定される。しかし、就学前の幼児から小学校高学年のような初心者向きの図鑑であっても、図版と共に収録されている植物の数は「１２００」と多い。したがって、上述した実物や画像との比較対照には、多大な労力を要する。従来、このような労力の一部は、例えば、花の「大きさ」や「向き」のような図版以外の情報に基づく絞り込みが可能な図鑑によって、削減が可能となっている。
【０００３】
また、多くの図鑑では、添付されたＣＤ-ＲＯＭ等の記録媒体に図版がデジタル化されて収録されることによって、パソコン等を介する検索や閲覧の利便性が高められつつある。
【特許文献１】特開２００２−２０３２４２号公報
【非特許文献１】「Cosmos：モバイル機器で利用できる花の画像検索システムの開発」，野田，園部，高木，吉本，情報処理学会研究報告2001-HI-96&2001-MBL-19, pp.9-14,長崎. ２００１年１１月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述したように植物等の自然物を対象とした図鑑の場合、調べようとする対象物は一般に単独では存在せず、例えば、地面や植木鉢だけではなく、その対象物と異なる植物等と共に混在する場合が多い。そのため、図版との比較対照が困難となる可能性が高かった。
なお、このような比較対象の困難は、検索のキーとなる画像を得るための撮影に際して対象物の色と異なる色の紙等がその対象物の背景に配置されることによって、解消され、あるいは大幅に緩和される。
【０００５】
しかし、実際には、対象物の周辺に対する立ち入りが規制され、あるいは困難である場合がある。したがって、上述した紙等を背景として配置することは必ずしも可能ではなく、対象物以外のノイズの排除が十分に行われるとは限らなかった。さらに、このように色によって対象物以外のノイズを排除する処理は、煩雑であって多くの処理量を要した。
本発明は、所望の被写体の像を含む画像からその対象物以外の像を容易に除くことができる画像処理装置、撮像装置、情報検索システムおよびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１にかかわる画像処理装置では、クラスタリング手段は、検出対象の特定の被写体の像を含む画像が区分された各領域の像に対応する被写体までの撮像手段からの距離と、前記特定の被写体の特徴とに基づいて、前記画像を前記領域毎にクラスタリングする。画像抽出手段は、前記クラスタリング手段によって得られたクラスタの内、前記距離が同じクラスタの集合として前記特定の被写体の像を抽出する。
【０００７】
請求項２にかかわる画像処理装置では、請求項１に記載の画像処理装置において、前記画像抽出手段は、前記クラスタリングによって得られたクラスタの内、前記被写体の色として少ない色の領域を含むクラスタを画像抽出候補から除外する。
請求項３にかかわる画像処理装置では、請求項１に記載の画像処理装置において、前記画像抽出手段は、前記クラスタリングによって得られたクラスタの内、前記画像の縁部に対する距離が所定の閾値未満の領域を含むクラスタを画像抽出候補から除外する。
【０００８】
請求項４にかかわる画像処理装置では、請求項１に記載の画像処理装置において、前記クラスタリング手段は、前記クラスタリングに基づいて得られ、かつ前記画像上で隣接する複数のクラスタの内、所定の色空間における変化率が同じクラスタを併合する。
請求項５にかかわる撮像装置では、請求項１ないし請求項４の何れか１項に記載された画像処理装置に併せて、被写体の像を含む画像を出力する撮像手段が備えられる。前記撮像手段は、前記画像が区分された領域毎に、立体視に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える。
【０００９】
請求項６にかかわる撮像装置では、請求項１ないし請求項４の何れか１項に記載された画像処理装置に併せて、被写体の像を含む画像を出力する撮像手段が備えられる。前記撮像手段は、前記画像が区分された領域毎に、多点ＡＦ方式に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える。
請求項７にかかわる撮像装置では、請求項１ないし請求項４の何れか１項に記載された画像処理装置に併せて、被写体の像を含む画像を出力する撮像手段が備えられる。前記撮像手段は、前記画像が区分された領域毎に、ＴＯＦ方式に基づいて前記距離を求め、前記距離および前記区分された画像を前記画像処理装置に与える。
【００１０】
請求項８にかかわる情報検索システムでは、記憶手段には、複数の被写体毎に、画像と情報とが予め対応付けられて格納される。クラスタリング手段は、検索の対象となる特定の被写体の像を含む画像が区分された各領域の像に対応する被写体までの撮像手段からの距離と、前記特定の被写体の特徴とに基づいて、前記画像を前記領域毎にクラスタリングする。画像抽出手段は、前記クラスタリング手段によって得られたクラスタの内、前記距離が同じクラスタの集合として前記特定の被写体の像を抽出する。検索手段は、前記記憶手段に格納されている複数の被写体の画像の情報の中から前記画像抽出手段によって抽出された前記特定の被写体の像に相当する被写体の画像の情報を得る。
【００１１】
請求項９にかかわる情報検索システムでは、請求項８に記載の情報検索システムにおいて、撮像装置は、前記特定の被写体の像を含む画像を出力し、かつ前記画像が区分された領域毎の前記距離を求める。前記撮像装置には、前記クラスタリング手段と前記画像抽出手段との双方または何れか一方が備えられる。
請求項１０にかかわるプログラムは、請求項１に記載の画像処理装置としてコンピュータを機能させる。
【発明の効果】
【００１２】
上述したように本発明によれば、所望の対象物の像が精度よく得られ、その像に基づいて所定の処理を行う装置やシステムの性能および付加価値が高められる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について詳細に説明する。図１は、本発明の第一ないし第三の実施形態を示す図である。図において、カメラ１１-1の出力は、色分離部１２の入力と距離計測部１３の第一の入力とに接続される。カメラ１１-2の出力は、その距離計測部１３の第二の入力に接続される。色分離部１２の出力は、距離分離部１４の第一の入力に接続される。距離計測部１３の出力は、距離分離部１４の第二の入力に接続される。距離分離部１４の出力は、特徴抽出部１５を介して比較照合部１６の第一の入力に接続される。データベース１７の出力は比較照合部１６の第二の入力に接続され、その比較照合部１６の出力は出力装置１８の入力に接続される。
［第一の実施形態］
図２は、本発明の第一の実施形態の動作を説明する図である。図３は、本発明の第一の実施形態の動作フローチャートである。以下、図１〜図３を参照して本発明の第一の実施形態の動作を説明する。
【００１４】
カメラ１１-1、１１-2（撮像手段の構成要素例）は、画像情報に基づいて「花」の名称その他の情報を検索可能な電子図鑑（情報検索システムの一例）の入力装置として備えられる。カメラ１１-1、１１-2の撮像光学系は、共通の焦点距離ｆを有する。これらの撮像光学系は、互いに平行な光軸を有し、かつ図４に示すように、距離Ｂ隔たった位置に配置される。カメラ１１-1、１１-2は、このような撮像光学系を介して共通の被写体である「花」をそれぞれ撮影し、その「花」をＲＧＢ表色系に基づくディジタル画像情報で示す「第一の像」（図２(a))と「第二の像」とをそれぞれ出力する。なお、以下では、上記の被写体である「花」は、図４に示す点Ｐに位置すると仮定する。また、「第一の像」および「第二の像」は、カメラ１１-1、カメラ１１-2に備えられた撮像素子の撮像面にそれぞれ結像した像に相当する。さらに、上述したＲＧＢ表色系では、「Ｒ」、「Ｇ」、「Ｂ」の何れの色の成分も８ビット長のデータで表現される。
【００１５】
距離計測部１３（撮像手段の構成要素例）は、カメラ１１-1、１１-2の視差が利用された立体視に基づいて、これらの「第一の像」と「第二の像」との領域がそれぞれ区分された小領域毎の距離を求める。例えば、図４に示す実空間上の座標Ｐ（Ｘ，Ｙ，Ｚ）で示される位置との相対的な距離は、その座標Ｐと、「第一の像」と「第二の像」とにそれぞれ投影された位置の座標ｐｌ（ｘｌ，ｙｌ）、ｐ２（ｘ２，ｙ２）と、これらの座標ｐｌ、ｐ２のｘ座標の差ｄ（＝ｘｌ−ｘ２）とに対して立体視の下で成立する下式(1)〜(3)の内、下式(3) で示されるＺとして求められる。
【００１６】
Ｘ＝ｘ１・Ｂ／ｄ  ・・・（１）
Ｙ＝ｙ１・Ｂ／ｄ  ・・・（２）
Ｚ＝ｆ・Ｂ／ｄ    ・・・（３）
色分離部１２（クラスタリング手段の構成要素例）は、下記の処理[1]〜[4]を行う。
[1] カメラ１１-1によって与えられた「第一の像」をＬａｂ変換し（図３ステップＳ１）、その「第一の像」の明度を無視して既述の小領域毎の色を識別する。
[2] このＬａｂ変換によって色空間にマッピングされた「第一の像」を参照し、その「第一の像」が既述の通りに区分された小領域の内、色が所定の精度で同じであり、かつ共通の「花」の一部と推定可能な小領域を選択する。なお、このような小領域を選択する処理の過程では、「花」の色には茶、緑、黒が少なく、かつ「花は明るく写っていることが多い」などの経験的な情報が有効に用いられる。
[3] さらに、これらの選択された小領域を統合するクラスタリングを行う（図３ステップＳ２）ことによって、１つのクラスタ（以下、「一次候補クラスタ」という。）を「花」の像の候補として抽出する。なお、このような一次候補クラスタの画素が元の「第一の像」上にマッピングされた画像は、図２(b) に示す通りである。
[4] 一次候補クラスタに含まれる小領域の内、「第一の像」上で互いに隣接する小領域から構成され、その「第一の像」上における面積が最大である１つのクラスタ（以下、「二次候補クラスタ」という。）を抽出する（図３ステップＳ３）。なお、このような二次候補クラスタの画素が元の「第一の像」上にマッピングされた画像は、図２(c) に示す通りである。
【００１７】
距離分離部１４（クラスタリング手段の構成要素例）は、上述した二次候補クラスタに含まれる小領域の内、距離計測部１３によって既述の通りに求められた距離が所定の閾値ｔｈより小さい小領域のみで構成される１つのクラスタ（以下、単に「候補クラスタ」という。）を抽出する（図３ステップＳ４）。したがって、候補クラスタには、このような候補クラスタの画素が元の「第一の像」上にマッピングされた画像（図２(d))に示されるように、背景に重なった同色の花を示す小領域が含まれない。
【００１８】
特徴抽出部１５（画像抽出手段の一例）は、このようにして抽出された「候補クラスタ」のみからなる画像から、その画像に含まれる花の特徴を抽出する（図３ステップＳ５）。比較照合部１６（検索手段の構成要素例）は、その特徴に基づいてデータベース１７（記憶手段の一例）の検索を行う（図３ステップＳ６）ことによって、この特徴に対応付けられてデータベース１７に予め蓄積されていた花を特定する。さらに、比較照合部１６は、その花に関する情報（例えば、色、形状）を取得する（図３ステップＳ７）。さらに、比較照合部１６は、出力装置１７（検索手段の構成要素例）を介して操作者等にこれらの取得された情報を提供する。
【００１９】
すなわち、色分離部１２によって既述の通りに行われたクラスタリングの結果から、所望の「花」の背景として存在する花（種類が同じ花だけではなく、例えば、種類が異なっていても色等が極めて類似している花も含まれる。）のクラスタが除かれる。したがって、本実施形態によれば、カメラ１１-1、１１-2による所望の「花」の撮影や撮影条件に制約がある場合であっても、データベース１７の検索の基準となる特徴が容易に精度よく抽出される。
【００２０】
なお、本実施形態では、二次候補クラスタから候補クラスタを抽出する際に用いられる閾値ｔｈが予め一定の値に設定されている。しかし、このような閾値ｔｈは、例えば、異なる複数の距離について個別に行われたクラスタリングの結果が評価されることによって、ノイズの排除がより高い精度で実現可能な値に設定されてもよい。
また、上述した立体視を実現するために「第一の像」と「第二の像」と間における対応点を特定する方法は、以下の第一ないし第三の方法の何れであってもよい。
〔第一の方法〕  「第一の像」上に設定された所定の大きさの窓領域をテンプレートとして「第二の像」とのテンプレートマッチングが行われ、相関係数の最も高い位置を「第二の像」上の対応点として特定される。
〔第二の方法〕  「第一の像」の色や濃淡の急激な変化点等の特徴点が特定され、「第二の像」上における同様の特徴点に対応付けられる。
〔第三の方法〕  「第一の像」と「第二の像」との間のオプティカルフローが求められる。
【００２１】
さらに、これらの対応点を特定する際には、「第一の画像」と「第二の画像」との対応点間を１次元に拘束するエピポーラ線が求められ、そのエピポーラ線上に探索範囲が限定されることによって、処理量やコストの節約が図られてもよい。なお、このようなエピポーラ線は、例えば、「第一の画像」および「第二の画像」の水平走査線に平行であってもよい。また、本実施形態では、撮影の対象となる「花」およびその背景の状態が一定であると見なすことが可能である場合には、例えば、図５に示すように、既述のカメラ１１-2として併用されるカメラ１１-1によって単眼で行われてもよい。なお、図５に示す構成では、カメラ１１-1が既述のカメラ１１-2を兼ねることによって与えられた「第二の像」に応じて距離計測部１３が小領域毎の距離を求める点と、その「第二の像」に先行してカメラ１１-1によって与えられた「第一の像」を蓄積する機能が距離計測部１３に備えられる点とを除いて、各部の動作は図１に示す実施形態と基本的に同じである。さらに、本実施形態では、距離計測部１３によって求められる距離は、抽出精度が十分に得られるならば、絶対的な距離でなくてもよい。
【００２２】
また、本実施形態では、色分離部１２によって既述のクラスタリングが行われた後に、距離分離部１４によって距離の相違に基づくノイズの排除が図られている。しかし、このようなクラスタリングは、既述の小領域毎の色と距離との双方が並行して参照される３次元の処理として実現されてもよい。さらに、本実施形態では、Ｌａｂ変換によって輝度の如何にかかわらず画素毎の色が識別されることによってクラスタリングが行われている。しかし、本発明では、輝度の相違によって色の識別の精度が低下してもよい場合には、Ｌａｂ変換は行われなくてもよい。
［第二の実施形態］
図６は、本発明の第二の実施形態の原理を示す第一の図である。図７は、本発明の第二の実施形態の原理を示す第二の図である。以下、図１、図３、図６および図７を参照して本発明の第二の実施形態の動作を説明する。本実施形態の特徴は、色分離部１２と距離分離部１４とによって行われる下記の処理の手順にある。
【００２３】
色分離部１２は、「第一の像」をＬａｂ変換し（図３ステップＳ１）かつ既述の小領域毎の色を輝度の如何にかかわらず識別した後には、これらの小領域の内、図６に点線の網掛けが施された領域に含まれ、かつ既述の茶、緑、黒のように「花」の色として少ない色の小領域を、後続して行われる処理（図３ステップＳ２、Ｓ３）の対象から除外する。
距離分離部１４は、色分離部１２によって抽出された二次候補クラスタに含まれる小領域の内、図７(A) に示すように、距離計測部１３によって求められた距離が所定の閾値ＴＨ（＞ｔｈ）より小さい小領域のみに、「候補クラスタ」の抽出（図３ステップＳ４）の範囲を限定する。
【００２４】
すなわち、色分離部１２および距離分離部１４によって行われる処理の対象は、上述した第一の実施形態に比べて少なくなる。したがって、本実施形態によれば、第一の実施形態に比べて、処理が効率化され、かつ応答性が向上すると共に、消費電力やコストの削減が図られる。
なお、本実施形態では、色分離部１２および距離分離部１４によって行われる処理の対象が色と距離とに基づいて限定されている。しかし、このような限定は、これらの色と距離との何れか一方のみに基づいて行われてもよい。また、本実施形態では、上述した処理の効率化や応答性の向上に有効な処理量の削減は、例えば、大きさが所定の閾値を下回るクラスタと、「第一の像」や「第二の像」の縁部にかかっているクラスタとを処理の対象から除外することによって実現されてもよい。さらに、このような場合には、「第一の像」や「第二の像」の領域の内、上述した処理の対象となる領域を示す枠がカメラ１１-1、１１-2のファインダに表示されることによって、フレーミングの利便性が高められてもよい。
［第三の実施形態］
図８は、本発明の第三の実施形態の原理を示す図である。以下、図１および図８を参照して本発明の第三の実施形態の動作を説明する。本実施形態の特徴は、色分離部１２によって行われる処理の手順にある。
【００２５】
色分離部１２は、既述の第一の実施形態と同様の手順に基づいて、既述のＬａｂ変換（図３ステップＳ１）と、小領域毎の色の識別と、色が所定の精度で同じであって共通の「花」の一部と推定可能な小領域の選択とを行う。さらに、色分離部１２は、これらの選択された小領域の内、色が同じである小領域だけではなく、「第一の像」上において隣接し、かつ所定の色空間上における勾配（変化率）が同じである小領域を統合することによって、既述の「一次候補クラスタ」を抽出する（図３ステップＳ２）。なお、このような勾配（変化率）は、例えば、図８に点線の斜線の傾きとして示される。
【００２６】
また、色分離部１２は、第一の実施形態と同じ手順に基づいて、このような「一次候補クラスタ」から既述の「二次候補クラスタ」を抽出する（図３ステップＳ３）。すなわち、「一次候補クラスタ」には、色や濃淡がほぼ同じ割合で段階的に変化する小領域も含まれる。したがって、本実施形態によれば、グラデーションを伴う「花」のクラスタリングが精度よく実現される。
【００２７】
なお、上述した各実施形態では、小領域毎の距離が複眼または単眼の立体視に基づいて計測されている。しかし、このような距離の測定は、下記の「多点ＡＦ方式」と「ＴＯＦ(Time of flight)方式」との何れに基づいて行われてもよい。
〔多点ＡＦ方式〕  カメラ１１-1（１１-2）は、例えば、図９に示すように、そのカメラ１１-1（１１-2）の撮影画面（撮像素子の撮像面）上の複数（＝２３）の箇所にそれぞれ対応したＡＦセンサを有する。これらのＡＦセンサは、例えば、被写体のＡＦ対象部分の像がセパレータレンズを介して分離されて一次元のＣＣＤセンサに結像した画像中のコントラストが利用されることによって、分離像の間隔を検出する位相差方式に基づいて実現される。このような多点ＡＦセンサによって個別に求められた距離は、図２(c)、(d) に示すように、「二次候補クラスタ」から「候補クラスタ」を抽出する際に所定の閾値ｔｈとの比較の対象として用いられる。さらに、これらの距離は、背景に重なった同じ色の花との輪郭線が抽出されるべき小領域の特定の基準としても用いられる。なお、本実施形態では、動く被写体に対してもピントを合わせることが必要であるため、場面に応じた最適なＡＦセンサが手動または自動で選択可能であり、かつ全てのＡＦセンサによって出力される信号に基づいて被写体までの距離が個別に求められることが要求される。したがって、上述した多点ＡＦ方式は、一眼レフタイプのデジタルカメラに備えられている多点ＡＦセンサとは異なる。
〔ＴＯＦ方式〕  カメラ１１-1（１１-2）には、図１０に示すように、そのカメラ１１-1（１１-2）に備えられたレンズと撮像素子との間に配置された跳ね上げミラー１１Ｍ-1(１１Ｍ-2)と、このレンズの光軸に並行な方向に受光面を有する距離画像センサー１１Ｓ-1(１１Ｓ-2)とが備えられる。なお、距離画像センサー１１Ｓ-1(１１Ｓ-2)の受光面には、例えば、水平方向および垂直方向に２５６個の受光用の画素が配置される。近赤外ＬＥＤ（不図示）は、跳ね上げミラー１１Ｍ-1(１１Ｍ-2)および上述したレンズを介して被写体の方向に数十ＭＨｚで変調された近赤外線を投光する。距離画像センサー１１Ｓ-1（１１Ｓ-2) は、この近赤外線に対する被写体の方向からの反射光と、上述したように投光された近赤外線との位相差に基づいて、その距離画像センサー１１Ｓ-1(１１Ｓ-2)の受光面上の画素毎に反射点までの距離を求める。なお、このようにして距離を求める動作は、例えば、１５ｆｐｓのフレームレートでリアルタイムに行うことが可能である。カメラ１１-1（１１-2）では、距離が求められた後には、跳ね上げミラー１１Ｍ-1(１１Ｍ-2)が跳ね上がり、撮像素子を介して撮像が行われる。なお、跳ね上げミラー１１Ｍ-1(１１Ｍ-2)がダイクロイックで代替された場合には、距離画像センサー１１Ｓ-1(１１Ｓ-2)と撮像素子とが同時に作動可能である。このようにＴＯＦ方式によれば、「多点ＡＦ方式」に比べて撮像面上の多くの点に対応した距離が計測されるので、抽出したい花の部分だけを容易に精度よく分離することが可能となる。
【００２８】
また、上述した各実施形態では、電子図鑑等の情報検索システムに本発明が適用されている。しかし、本発明は、所望の被写体の像に併せて、その像の各部の距離が与えられることが望ましい電子カメラ等の撮像装置やその他の多様な機器に組み込まれる画像処理装置として構成されてもよい。さらに、上述した各実施形態には、カメラ１１-1、１１-2が備えられている。しかし、これらのカメラ１１-1、１１-2は、画像情報が予め蓄積された記憶媒体、あるいはその画像情報をインタネット等の通信路を介して提供する装置で代替されてもよい。ここに、画像情報は、立体視を実現する複数の画像情報であってもよく、その立体視に基づいて予め求められた距離が含まれてもよい。また、上述した各実施形態では、既述のＬａｂ変換と、距離を求める処理と、「一次候補クラスタ」、「二次候補クラスタ」、「候補クラスタ」をそれぞれ抽出する処理とは、カメラ１１-1、１１-2に接続された専用のハードウエア（画像処理装置の一例）によって実現されている。しかし、これらの処理の全てまたは一部は、カメラ１１-1、１１-2に備えられた画像処理部の余剰の処理量が利用されることによって実現され、あるいはカメラ１１-1、１１-2に連係する情報処理装置（画像処理装置の一例）によって行われてもよい。
【００２９】
さらに、上述した各実施形態では、既述の閾値ＴＨ、ｔｈその他のパラメータの自在な設定および変更を可能とする操作部が別途備えられてもよい。また、既述の「花」に限定されず、画像情報として与えられる画像から動植物その他の多様な物の像を抽出することが要求される多様な装置およびシステムにも、本発明は適用可能である。
本発明は、上述した実施形態に限定されるものではなく、本発明の範囲において多様な構成の実施形態が可能であり、かつ構成要素の全てまたは一部に如何なる改良が施されてもよい。
【図面の簡単な説明】
【００３０】
【図１】本発明の第一ないし第三の実施形態を示す図である。
【図２】本発明の第一の実施形態の動作を説明する図である。
【図３】本発明の第一の実施形態の動作フローチャートである。
【図４】立体視に基づいて距離が算出される原理を示す図である。
【図５】本発明の第一の実施形態の他の構成を示す図である。
【図６】本発明の第二の実施形態の原理を示す第一の図である。
【図７】本発明の第二の実施形態の原理を示す第二の図である。
【図８】本発明の第三の実施形態の原理を示す図である。
【図９】多点ＡＦセンサの配置を示す図である。
【図１０】ＴＯＦ方式の原理を示す図である。
【符号の説明】
【００３１】
１１…カメラ，  １１Ｍ…跳ね上げミラー，  １１Ｓ…距離画像センサー，  １２…色分離部，  １３…距離計測部，  １４…距離分離部，  １５…特徴抽出部，  １６…比較照合部，  １７…データベース，  １８…出力装置
【図１】
2007156917.tif 000003
【図２】
2007156917.tif 000004
【図３】
2007156917.tif 000005
【図４】
2007156917.tif 000006
【図５】
2007156917.tif 000007
【図６】
2007156917.tif 000008
【図７】
2007156917.tif 000009
【図８】
2007156917.tif 000010
【図９】
2007156917.tif 000011
【図１０】
2007156917.tif 000012