(57)【要約】【課題】撮像された画像から対象物の画像を正確に切り出すことができ、対象物の特徴量を正確に抽出することができる画像抽出方法、画像抽出装置及び対象物認識システムを提供する。【解決手段】複数の画像を撮像装置で取得し、撮像装置で取得した画像を画像保存部に保存する。演算部で複数の画像を合焦位置間隔に並べて仮想３次元画像を形成し、演算部で選択された合焦画像を画像表示部４０に表示する。画像表示部４０に表示された画像から、対象物のエッジの座標をタッチペン４５で選択する。選択された座標に隣接する座標を演算部で連続的に追跡し、選択された座標を結んで閉曲線を形成する。形成された閉曲線を画像表示部４０に表示された画像に投影して表示する。表示された閉曲線内の画像だけを選択領域画像抽出部で抽出して、画像表示部４０に表示する。【選択図】図５
2007293757.tif 000002
【特許請求の範囲】
【請求項１】
対象物の画像を撮像する撮像工程と、
この撮像工程で撮像された画像のうち前記対象物の輪郭の少なくとも一つの座標を選択する選択工程と、
この選択工程で選択された座標に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大座標選択工程と、
この極大座標選択工程で選択された座標に基づいて前記対象物の輪郭を形成し、その輪郭内の画像を切り出す画像切出工程と
を含むことを特徴とする画像抽出方法。
【請求項２】
対象物の画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像のうち前記対象物の輪郭の少なくとも１つの座標を選択する選択手段と、
前記選択手段によって選択された座標に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大座標選択手段と、
前記極大座標選択手段によって連続的に選択された座標に基づいて前記対象物の輪郭を形成する輪郭形成手段と、
前記輪郭形成手段により形成された輪郭内の画像を切り出す画像切出手段と
を備えていることを特徴とする画像抽出装置。
【請求項３】
合焦位置を所定間隔ずつ変えながら対象物の複数の画像を撮像する撮像工程と、
この撮像工程で撮像された複数の画像をフォーカス方向へ所定間隔に配置して仮想３次元空間を形成する仮想３次元空間形成工程と、
この仮想３次元空間形成工程で形成された仮想３次元空間のうち抽出する前記対象物の輪郭の少なくとも１つの座標を選択する選択工程と、
この選択工程で選択された座標に３次元的に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大コントラスト特定工程と、
この極大コントラスト特定工程で選択された座標を前記画像上の座標に変換して前記対象物の輪郭を形成し、その輪郭内の画像を切り出す工程と
を含むことを特徴とする画像抽出方法。
【請求項４】
合焦位置を所定間隔ずつ変えることができる結像光学系と、
合焦位置を変えながら対象物の複数の画像を撮像する撮像手段と、
前記撮像された複数の画像を取り込み、フォーカス方向へ所定間隔に配置して仮想３次元空間を形成する画像取込手段と、
前記仮想３次元空間のうち抽出する前記対象物の輪郭の少なくとも１つの座標を選択する選択手段と、
前記選択手段によって選択された座標に３次元的に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大コントラスト特定手段と、
前記極大コントラスト特定手段で選択された座標を前記画像上の座標に変換する変換手段と、
前記所定画像上の座標に基づいて前記対象物の輪郭を抽出して前記画像上の前記対象物の画像を切り出す画像切出手段と
を備えていることを特徴とする画像抽出装置。
【請求項５】
請求項２又は請求項４記載の画像抽出装置と、
前記画像切出手段で切り出された画像に基づいて前記対象物の特徴量を抽出する特徴量抽出手段と、
前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応する特徴量情報があらかじめ登録されたデータベースと、
前記特徴量抽出手段で抽出された特徴量と前記データベースに登録された前記特徴量情報のうちの少なくとも１つの登録特徴量とを対比して前記対象物の属性情報を検索する検索手段と
を備えていることを特徴とする対象物認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像抽出方法、画像抽出装置及び対象物認識システムに関する。
【背景技術】
【０００２】
野山を散策したとき、いたるところで野草を見ることができる。目にした野草の名称を図鑑を利用して知ることができるが、図鑑は植物学的な分類に基づいて整理されているため、野草の名称を知ることは素人にとって容易でない。
【０００３】
そこで、素人でも野草の名称を容易に知ることができるようにするため、野山で野草の画像を撮像し、その画像から抽出された特徴量とデータベースに登録されている各種の植物の特徴量とを比較して野草の名称を検索する対象物認識システムが提案された。
【０００４】
この画像認識システムにおいては、撮像した画像から対象物である野草だけを背景から分離する必要がある。
【０００５】
下記の特許文献には、タッチセンサにより対象物の画像中の１つの画素（選択画素）を選択し、その選択画素の色相との差が所定値以内の画素からなる領域を前記画像から抽出するデータ検索装置が開示されている。
【特許文献１】特開２００５−１０００１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述のデータ検索装置では、撮像された画像から色情報に基づいて特定の領域を選択するため、その画像中に対象物と同じ色の複数の物体が存在する場合、対象物の画像を正確に切り出すことができないことがある。そのため、正確に対象物の特徴量を抽出することができない。
【０００７】
この発明はこのような事情に鑑みてなされたもので、その課題は、撮像された画像から対象物の画像を正確に切り出すことができ、対象物の特徴量を正確に抽出することができる画像抽出方法、画像抽出装置及び対象物認識システムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため請求項１記載の発明は、対象物の画像を撮像する撮像工程と、この撮像工程で撮像された画像のうち前記対象物の輪郭の少なくとも一つの座標を選択する選択工程と、この選択工程で選択された座標に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大座標選択工程と、この連続選択工程で選択された座標に基づいて前記対象物の輪郭を形成し、その輪郭内の画像を切り出す画像切出工程とを含むことを特徴とする。
【０００９】
請求項２記載の発明は、対象物の画像を撮像する撮像手段と、前記撮像手段によって撮像された画像のうち前記対象物の輪郭の少なくとも１つの座標を選択する選択手段と、前記選択手段によって選択された座標に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大座標選択手段と、前記極大座標選択手段によって連続的に選択された座標に基づいて前記対象物の輪郭を形成する輪郭形成手段と、前記輪郭形成手段により形成された輪郭内の画像を切り出す画像切出手段とを備えていることを特徴とする。
【００１０】
請求項３記載の発明は、合焦位置を所定間隔ずつ変えながら対象物の複数の画像を撮像する撮像工程と、この撮像工程で撮像された複数の画像をフォーカス方向へ等定間隔に配置して仮想３次元空間を形成する仮想３次元空間形成工程と、この仮想３次元空間形成工程で形成された仮想３次元空間のうち抽出する前記対象物の輪郭の少なくとも１つの座標を選択する選択工程と、この選択工程で選択された座標に３次元的に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大コントラスト特定工程と、この極大コントラスト特定工程で選択された座標を前記所定画像上の座標に変換して前記対象物の輪郭を形成し、その輪郭内の画像を切り出す工程とを含むことを特徴とする。
【００１１】
請求項４記載の発明は、合焦位置を所定間隔ずつ変えることができる結像光学系と、合焦位置を変えながら対象物の複数の画像を撮像する撮像手段と、前記撮像された複数の画像を取り込み、フォーカス方向へ所定間隔に配置して仮想３次元空間を形成する画像取込手段と、前記仮想３次元空間のうち抽出する前記対象物の輪郭の少なくとも１つの座標を選択する選択手段と、前記選択手段によって選択された座標に３次元的に隣接する座標のうちコントラストが最も高い座標を連続的に選択する極大コントラスト特定手段と、前記極大コントラスト特定手段で選択された座標を前記所定画像上の座標に変換する変換手段と、前記所定画像上の座標に基づいて前記対象物の輪郭を抽出して前記所定画像上の前記対象物の画像を切り出す画像切出手段とを備えていることを特徴とする。
【００１２】
請求項５記載の発明は、請求項２又は請求項４記載の画像抽出装置を備える対象物認識システムであって、前記画像切出手段で切り出された画像に基づいて前記対象物の特徴量を抽出する特徴量抽出手段と、前記対象物が属するカテゴリに含まれる複数の種について、少なくとも前記特徴量に対応する特徴量情報があらかじめ登録されたデータベースと、前記特徴量抽出手段で抽出された特徴量と前記データベースに登録された前記特徴量情報のうちの少なくとも１つの登録特徴量とを対比して前記対象物の属性情報を検索する検索手段とを備えていることを特徴とする。
【発明の効果】
【００１３】
この発明によれば、撮像された画像から対象物の画像を正確に切り出すことができ、対象物の特徴量を簡易かつ正確に抽出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、この発明の実施の形態を図面に基づいて説明する。
【００１５】
図１はこの発明の第１実施形態に係る画像抽出装置を備えている対象物認識システムの全体構成図である。
【００１６】
この対象物認識システムは、撮像装置（撮像手段）１０と画像保存部２０と演算部３０と画像表示部４０と特徴量抽出部（特徴量抽出手段）６０と検索エンジン（検索手段）７０とデータベース８０と同定候補表示部９０とを備えている。撮像装置１０と画像保存部２０と演算部３０と画像表示部４０とで画像抽出装置の一部が構成される。
【００１７】
撮像装置１０は撮影レンズ（結像光学系）１１と撮像部１２とシャッタ駆動部１３とレンズ駆動部１４と撮像装置制御部１５とを備えている。撮像部１２はシャッタ１２ａと撮像素子１２ｂとを備える。
【００１８】
撮影レンズ１１は花等の対象物の光学像を撮像部１２の受光面上に結像させる。なお、図１には撮影レンズ１１は１つのレンズとして描かれているが、実際には複数のレンズで構成される。撮影レンズ１１はレンズ駆動部１４によって光軸Ｌに沿って移動し、焦点位置が可変である。レンズ駆動部１４は撮像装置制御部１５からの指示に基づいて撮影レンズ１１を移動させる。
【００１９】
シャッタ１２ａはシャッタ駆動部１３によって駆動される。シャッタ駆動部１３は撮像装置制御部１５からの指示に基づいてシャッタ１２ａを駆動する。
【００２０】
撮像素子１２ｂは例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）である。ＣＣＤは複数の受光部を有し、撮影レンズ１１によって結像された対象物の像によってそれぞれの受光部に蓄積された電荷を、アナログの電気信号として画像処理回路（図示せず）に出力する。
【００２１】
画像処理回路はＣＣＤから受け取った、対象物のアナログ電気信号をＲ、Ｇ、Ｂの各成分に分解する。画像処理回路はＲ、Ｇ、Ｂの各成分に分解されたアナログ電気信号をデジタル信号に変換し、対象物の像を示すデジタルの画像データを画像保存部２０に記憶させて各種の処理を行なった後、デジタル信号をアナログ信号に変換してアナログの画像データを画像表示部４０に出力する。
【００２２】
画像表示部４０は例えばＣＲＴ（Ｃａｔｈｏｄｅ−ｒａｙ  Ｔｕｂｅ）やデジタルカメラのＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である。画像表示部４０に対象物の画像が表示される。
【００２３】
特徴量抽出部６０は演算部３０によって切り出された画像から特徴量となる例えば色情報を抽出する。
【００２４】
データベース８０には対象物が属するカテゴリに含まれる複数の種について、少なくとも同定すべき対象物の特徴量に対応する特徴量情報（花の名称、科、特徴量（色、大きさ、形、花の分布情報）、開花時期（結実時期）等）が登録されている。
【００２５】
検索エンジン７０は特徴量抽出部６０で抽出された例えば色情報（特徴量）とデータベース８０に登録された色情報（特徴量）とを対比し、抽出された色情報と同じ色情報を有するデータを検索する。
【００２６】
同定候補表示部９０には検索エンジン７０で検索された情報、例えば画像や名称等を含む情報が表示される。
【００２７】
画像保存部２０は撮影レンズ１１の合焦位置を変化させながら撮像された複数の画像を一時的に保存する。
【００２８】
演算部３０は、請求項２記載の極大座標選択手段、輪郭形成手段、画像切出手段、請求項４記載の画像取込手段、極大コントラスト特定手段、変換手段、画像切出手段に対応する。
【００２９】
次に、画像の切り出し操作を説明する。
【００３０】
撮像装置制御部１５は撮影レンズ１１を光軸Ｌに沿って駆動させながら対象物の複数の画像を撮像するようにレンズ駆動部１４及びシャッター駆動部１３に指示を出す。合焦位置を変化させながら撮像された複数の画像は、画像保存部２０に一時的に保存される。演算部３０は、画像保存部２０に保存された複数の画像のうち、例えば対象物に最もピントが合った基準画像ｚ0 （例えば画像中に複数の対象物がある場合被写体が複数ある場合、画像中央部の対象物に最もピントが合った画像ｚ0 ）を選択して画像表示部４０に表示させる。検索者は、画像表示部４０に表示された画像から抽出する対象物のエッジ（輪郭）の一点（ｘ0,ｙ0,ｚ0 ）（図３（ａ）の始点）を、タッチペン（選択手段）４５（図５参照）を操作して選択する。なお、エッジの抽出を行うためには対象物が合焦範囲に入っていなければならない。また、選択手段として、タッチペン４５に代え、画像表示部４０の画面に表示されたポインタ等を操作する操作ボタンやトラッキングボールを用いてもよい。
【００３１】
コントラストによる対象物のエッジの抽出方法を説明する。
【００３２】
一般に、対象物のエッジ検出として、ソベル（Sobel ）フィルタやプレウィット（prewitt ）フィルタによる手法が知られている。ここでは一例としてソベルフィルタによる対象物のエッジ検出を図２に基づいて説明する。
【００３３】
図２（ａ）はソベルフィルタのオペレータを説明する図、図２（ｂ）は検出対象の濃度値画像の座標を示す図である。
【００３４】
画像ｆ（ｘi,ｙj）におけるフィルタ出力値は、横方向ｆx(ｘi,ｙj)、縦方向ｆy(ｘi,ｙj )についてそれぞれ１式及び２式に示す値になる。
【００３５】
ｆx(ｘi,ｙj) ＝ ｆ(i+1,j-1)＋2ｆ(i+1,j)＋ｆ(i+1,j+1)−{ｆ(i-1,j-1)＋2ｆ(i-1,j)＋ｆ(i-1,j+1)}
・・・（1式）
ｆy(ｘi,ｙj) ＝ ｆ(i-1,j+1)＋2ｆ(i,j+1)＋ｆ(i+1,j+1)−{ｆ(i-1,j-1)＋2ｆ(i,j-1)＋ｆ(i+1,j-1)}
・・・（2式）
ｘ,ｙ方向の画像の濃度値ｆ’(ｘi,ｙj)は、１式及び２式で算出された横方向、縦方向の両方のフィルタ出力値を用いて、以下の３式で算出される。
【００３６】
ｆ’(ｘi,ｙj) ＝ {ｆx(ｘi,ｙj)２＋ｆy(ｘi,ｙj)２}１／２          ・・・（3式）
また、ｆ’(ｘi,ｙj)は４式で示されるコントラストの方向の情報を有している。
【００３７】
Dir(ｘi,ｙj) ＝ arctan（ｆx(ｘi,ｙj)／ｆy(ｘi,ｙj)）             ・・・（4式）
この実施形態では、３式で求めたコントラストの大きさと、４式で求めたコントラストの方向に基づいて、画像の抽出を行う（後述）。
【００３８】
更に、フォーカス方向のエッジ検出を図３、４に基づいて説明する。
【００３９】
図３（ａ），（ｂ）はフォーカス方向（ｚ方向）のエッジ検出を説明する図、図４（ａ）はエッジ部のコントラスト値及びコントラストベクトルの算出を説明する図、図４（ｂ）はｚ方向のコントラスト値の挙動を示す図である。
【００４０】
合焦位置を変化させながら撮像された複数の画像は、画像保存部２０に一時的に保存される。画像保存部２０に保存された複数の合焦位置の異なる画像は、図３に示すように、その合焦位置に応じて、フォーカス方向に合焦位置間隔δｚで重ねて配置される。複数の合焦位置の異なる画像によって仮想の３次元空間が形成される。合焦位置の変化はデフォーカス量であって連続的であるので、画像の各点において、画像間についてコントラスト値（１式、２式によって求められた値）を補間する。また、コントラスト方向（ｘｙ方向）も画像間について同様に補間を行う。補間した結果に基づいて、ｚ方向についてコントラスト値を求め、３次元的に最もコントラスト値の高い座標（すなわちエッジ座標）を検出する。この結果、エッジに奥行きのある対象物についても、そのエッジを正確に検出して画像を切り出すことができる（図３（ｂ）参照）。
【００４１】
抽出されたエッジは、明暗の変化や色の変化によって検索者に認識される。抽出されたエッジが意図した部位であれば、検索者は抽出開始ボタン（図５参照）を押す。抽出開始ボタンが押されると、抽出されたエッジ情報が演算部３０（図１参照）に登録される。演算部３０ではエッジ情報に基づいて対象物を抽出する演算が開始される。演算部３０で実行される演算を図５、６に基づいて説明する。
【００４２】
図５はエッジの抽出手順を示す図、図６は画像を抽出する手順を示すフローチャートである。
【００４３】
まず、レンズ１１を移動させて焦点位置を連続的に変化させながらシャッタ１２ａを切って対象物（図５では花）の複数の画像を撮像装置１０で取得し、撮像装置１０で取得した画像を画像保存部２０に保存する（ステップ１）。
【００４４】
画像保存部２０に保存された複数の画像に基づいて、演算部３０で合焦位置間隔δｚに並べられた仮想３次元画像を形成する（ステップ２）。
【００４５】
演算部３０において前記複数の画像のうち対象物（被写体）が合焦している画像が抽出される（ステップ３）。対象物を中心に撮像が行われるので、通常、画像表示部４０の画面の中心近傍に合焦している画像が抽出される。
【００４６】
抽出された画像を画像表示部４０に表示する（ステップ４）（図５（ａ）参照）。
【００４７】
画像表示部４０に表示された画像中の対象物の大きさが十分であるかどうかを判断し、十分であると判断された場合（Ｙｅｓ）、ステップ７に進む（ステップ５）。
【００４８】
十分でないと判断された場合（Ｎｏ）、画像表示部４０の画面にズーム枠を表示して、画面中の対象物のズーミングを行う（ステップ６）（図５（ｂ）参照）。
【００４９】
画像表示部４０に表示された画像から、対象物のエッジ（又はその近傍の一部）の座標を選択する（ステップ７）。
【００５０】
ステップ７で選択された座標から最も近い極大コントラスト座標を、ステップ２で形成された仮想３次元画像空間から選択する（ステップ８）。ステップ７では、エッジが入り組んで正確に対象物のエッジを抽出できない場合が多いが、このステップ８によってエッジの一部（第１の極大コントラスト座標：始点）を正確に選択することができる。
【００５１】
タッチペン４５で選択した座標が合焦位置から外れている場合であっても、仮想３次元画像からフォーカス方向に最もコントラストの高い座標が選択されるので、合焦位置（第１の極大コントラスト座標）を始点とすることができる（図５（ｃ）参照）。
【００５２】
ステップ８で選択された座標に隣接する第２の極大コントラスト座標を仮想３次元画像から選択する（ステップ９）。
【００５３】
ステップ９で選択された座標に隣接する第３の極大コントラスト座標を選択する（ステップ１０）。
【００５４】
ステップ１０で選択された座標に隣接する第４の極大コントラスト座標を選択する（ステップ１１）。以下、上記作業を第ｎの極大コントラスト座標を選択するまで（ステップ１２に至るまで）繰り返す。
【００５５】
第１極大コントラスト座標（始点）からこの座標に重なる第ｎ番目の極大座標（終点）まで極大コントラスト座標を追跡し、選択された第１〜第ｎの座標を結んだ閉曲線を形成する（ステップ１２）。対象物のエッジが焦点方向に凹凸を有する場合には、この閉曲線は仮想３次元画像空間に立体的に分布することになる。
【００５６】
ステップ１２で形成された閉曲線を画像表示部４０に表示された対象物の画像に投影して表示する（ステップ１３）（図５（ｄ）参照）。
【００５７】
ステップ１３で表示された閉曲線内の画像だけを演算部３０で抽出して、画像表示部４０に表示する（ステップ１４）（図５（ｅ）参照）。閉曲線内の画像だけを表示する代わりに閉曲線外の画像を暗転させるようにしてもよい。
【００５８】
画像表示部４０に表示された画像から演算部３０で抽出された色情報等の特徴量を特徴量抽出部６０で抽出し、画像表示部４０に表示する。抽出された特徴量に基づいて検索が実施される。特徴量抽出部６０で抽出された例えば色情報（特徴量）とデータベース８０に登録された色情報（特徴量）とを検索エンジン７０で対比し、抽出された色情報と同じ色情報を有するデータを検索する。検索エンジン７０で検索されたデータ、例えば画像や名称等を含む情報は同定候補表示部９０に表示される。
【００５９】
なお、演算部３０による画像の抽出では、対象物のエッジの１つのエッジポイントを選択し、そのエッジポイントに隣接する極大コントラスト座標を追跡したが、２つのエッジポイントを選択し、同時に２箇所から極大コントラスト座標を追跡するようにしてもよい。このようにすることにより、追跡時間を半分にすることができる。
【００６０】
対象物のエッジの３つ以上のエッジポイントを選択し、同時に３つ以上の箇所から極大コントラスト座標を選択することによって、閉曲線取得時間を更に短縮することができる。
【００６１】
また、例えば対象物が複雑な形状の花であり、花弁と花弁との間の境等のエッジが途切れるようなものである場合、複数のエッジポイントを選択することによって、極大コントラスト座標を追跡する方向が明確になるため、対象物のエッジを正確に抽出することができる。
【００６２】
更に、対象物が互いに連なる複数の部位から構成され、所定の部位のみのエッジを抽出したい場合、所定の部位だけが選択されるような始点、終点、及び極大点を追跡する方向とを選択し、選択した始点と終点とを直線等で結びつけることによって、所定の部位から外れる部分を排除することができる。
【００６３】
図７は画像を抽出する手順を示す他のフローチャートである。
【００６４】
このフローチャートのステップ１からステップ６までのプロセスは、図６のフローチャートと同様であるので、その説明を省略する。
【００６５】
（始点の選択）
ステップ６の後、対象物（抽出対象）の切り出し始点となるエッジ上の座標を選択する（ステップ７）。
【００６６】
ステップ７で選択された座標近傍の極大コントラスト点を仮想３次元画像空間から選択し、始点とする（ステップ８）。
【００６７】
（極大点追跡方向の選択）
ステップ８で選択した始点から、対象物のエッジ上をエッジの抽出を行う方向に進んだ任意の一点の座標を選択する（ステップ９）。
【００６８】
ステップ９で選択された座標近傍の極大コントラスト点を仮想３次元画像空間から選択する（ステップ１０）。
【００６９】
（終点の選択）
対象物の切り出し終点となるエッジ上の座標を選択する（ステップ１１）。
【００７０】
ステップ１１で選択された画素近傍の極大コントラスト点を仮想３次元画像空間から選択し、終点とする（ステップ１２）。
【００７１】
（閉曲線の形成）
始点（１ｉ）及び、終点（１ｊ）からそれぞれ、ステップ１０で選択された極大点追跡方向に第２の極大コントラスト座標（２ｉ）、（２ｊ）を選択する（ステップ１３）。
【００７２】
ステップ１３で選択された第２の極大コントラスト座標から極大点追跡方向に第３の極大コントラスト座標（３ｉ）、（３ｊ）を選択する。以下この作業を第ｎの極大コントラスト座標を選択するまで繰り返す（ステップ１４）。
【００７３】
始点から追跡した第ｎの極大コントラスト点ｎｉと、終点から追跡した第ｎの極大コントラスト点ｎｊとが重なるまで極大コントラスト座標を追跡する（ステップ１５）。
【００７４】
始点（１ｉ）と終点（１ｊ）とを直線等で結び付け、閉曲線を形成する（ステップ１６）。対象物のエッジが焦点方向に凹凸を有する場合には、この閉曲線は仮想３次元画像空間に立体的に分布することになる。
【００７５】
ステップ１６で形成された閉曲線を画像表示部４０に表示された画像に投影して表示する（ステップ１７）。
【００７６】
ステップ１７で表示された閉曲線により画像を抽出して、画像表示部４０に表示する（ステップ１８）。
【００７７】
この実施形態によれば、合焦位置の異なる複数の画像を並べて３次元空間を形成し、この３次元空間における所定の画像の抽出物のエッジポイントを指定し、そのエッジポイントと連続する極大コントラスト座標を立体的に追跡するので、対象物が奥行きを有していても、撮像された画像から対象物の画像を正確に切り出すことができ、対象物の特徴量を簡易かつ正確に抽出することができる。
【００７８】
また、焦点位置を連続的に移動させて撮像した複数の画像から３次元空間を形成し、この仮想の３次元空間のうちの所定の対象物のエッジポイントを選択して、該エッジポイントの極大コントラスト点からこの極大コントラスト点に隣接する極大コントラスト点を追跡して対象物のエッジラインを捉えて対象物を切り出すので、任意の対象物の切り出しを実現することができる。
【００７９】
更に、始点、終点及び切り出し方向の一点をタッチペン等で選択することにより、対象物が１つの個体のうちの一部であっても（例えば、めしべのみ、一枚の葉のみ）、抽出することができる。例えば、花の抽出の場合、花は茎に続いているので、花だけを抽出するとき、連続する茎があると、花のみの抽出を行えない。このような場合であっても、図５のように、花と茎との境界部のエッジの一方を始点とし、もう一方を終点とし、抽出方向のエッジの一点（花のエッジ）を選択することにより、花のみを抽出することができる。
【００８０】
なお、凹凸の少ない単純な形状からなる構造物の抽出においては、エッジポイントを１点選択するだけで抽出を行うことができる。
【００８１】
図８はこの発明の第２実施形態に係る画像抽出装置を備えている対象物認識システムを用いたエッジの抽出手順を説明するための図である。
【００８２】
図８は対象物のエッジの全てが同じフォーカス面にある画像を示す。この場合、第１実施形態のように合焦位置を移動させて複数の画像を撮像する必要がない。抽出する対象物が合焦する位置で画像を取得し、その画像中の対象物のエッジを選択し、第１実施形態と同様の方法でエッジの抽出を行う。フォーカス方向の座標は考慮しない。
【００８３】
図８には図５と同様に対象物として花が示されている。特徴量の抽出のために、茎の部位を意図的に外して対象物の切り出しを行う。このとき、予め切り出しの始点（１ｉ）と終点（１ｊ）、並びに中間点（ｏ１）を対象物のエッジ上から選択してエッジの切り出しを行っている（図８（ｃ）参照）。
【００８４】
なお、図８（ａ），（ｂ），（ｄ），（ｅ）は図５（ａ），（ｂ），（ｄ），（ｅ）に対応する図であるので、その説明を省略した。
【００８５】
この実施形態によれば、合焦位置を変えながら複数の画像を連続的に取得する必要がなく、演算部３０も３次元で処理を行う必要がないので、撮像された画像から対象物の画像を正確に切り出すことができ、第１実施形態より対象物の特徴量を簡易かつ正確に抽出することができる。
【図面の簡単な説明】
【００８６】
【図１】図１はこの発明の第１実施形態に係る画像抽出装置を備えている対象物認識システムの全体構成図である。
【図２】図２（ａ）はソベルフィルタのオペレータを説明する図、図２（ｂ）は検出対象の濃度値画像の座標を示す図である。
【図３】図３（ａ），（ｂ）はフォーカス方向のエッジ検出を説明する図である。
【図４】図４（ａ）はエッジ部のコントラスト値及びコントラストベクトルの算出を説明する図、図４（ｂ）はｚ方向のコントラスト値の挙動を示す図である。
【図５】図５はエッジの抽出手順を示す図である。
【図６】図６は画像を抽出する手順を示すフローチャートである。
【図７】図７は画像を抽出する手順を示す他のフローチャートである。
【図８】図８はこの発明の第２実施形態に係る画像抽出装置を備えている対象物認識システムを用いたエッジの抽出手順を示す図である。
【符号の説明】
【００８７】
１０：撮像装置（撮像手段）、１１：撮影レンズ（結像光学系）、２０：画像保存部、３０：演算部、４５：タッチペン（選択手段）、６０：特徴量抽出部（特徴量抽出手段）、７０：検索エンジン（検索手段）、８０：データベース。
【図１】
2007293757.tif 000003
【図２】
2007293757.tif 000004
【図３】
2007293757.tif 000005
【図４】
2007293757.tif 000006
【図５】
2007293757.tif 000007
【図６】
2007293757.tif 000008
【図７】
2007293757.tif 000009
【図８】
2007293757.tif 000010