(57)【要約】【課題】画像データ中に形状抽出対象物体以外のものが写り込んでいる場合でも、対象物体の形状を正確に抽出できるようにする。【解決手段】まず絞り値の初期値として、開放値かそれに近い値を設定し、撮像を行う。撮像によって生成された画像データに対し葉の形状抽出を試み、形状抽出不能の場合（閉ループが形成できない場合）は、設定絞り値をｎ段分だけ大きくし、再度の撮影および形状抽出を行う。閉ループが形成されると、そのときの形状データを葉の形状データとして採用する。【選択図】図９
2008172586.tif 000002
【特許請求の範囲】
【請求項１】
画像データから物体の輪郭を抽出することで当該物体の形状を抽出する形状抽出手段と、
前記形状抽出が不能の場合に、同一の物体をより大きな絞り値で撮影した画像データに対して再度の形状抽出を行うべく前記形状抽出手段を制御する制御手段とを具備し、
前記形状抽出が正常になされたときの前記形状抽出手段の出力を物体の形状データとすることを特徴とする形状取得装置。
【請求項２】
被写体を撮像して画像データを生成する撮像手段を更に備え、前記形状抽出の対象となる画像データを前記撮像手段によって得ることを特徴とする請求項１に記載の形状取得装置。
【請求項３】
前記形状抽出が正常になされるまで、前記絞り値を増加しつつ撮像と形状抽出とを交互に行うことを特徴とする請求項２に記載の形状取得装置。
【請求項４】
画像データから物体の輪郭を抽出することで当該物体の形状を抽出する形状抽出手段と、
同一の物体を異なる絞り値で撮影した画像データのうち絞り値の小さい画像データから前記物体の占める領域を推定し、絞り値の大きい画像データから前記推定した領域に対して物体の形状を抽出すべく形状抽出手段を制御する制御手段とを具備することを特徴とする形状取得装置。
【請求項５】
被写体を撮像して画像データを生成する撮像手段を更に備え、前記形状抽出の対象となる画像データを前記撮像手段によって得ることを特徴とする請求項４に記載の形状取得装置。
【請求項６】
前記形状抽出によって得た形状データを検索キーとして、所定のデータベースから前記物体の情報を検索する検索手段を更に備えることを特徴とする請求項１〜５のいずれか１項に記載の形状取得装置。
【請求項７】
前記形状抽出によって得た形状データを、検索キーとして外部に送信する送信手段を更に備えることを特徴とする請求項１〜５のいずれか１項に記載の形状取得装置。
【請求項８】
画像データから物体の輪郭を抽出することで当該物体の形状を抽出する機能と、
前記形状抽出が不能の場合に、同一の物体をより大きな絞り値で撮影した画像データに対して再度の形状抽出を行わしめる機能と、
前記形状抽出が正常になされたときの形状抽出結果を物体の形状データとする機能とをコンピュータに実現させるための形状取得プログラム。
【請求項９】
画像データから物体の輪郭を抽出することで当該物体の形状を抽出する機能と、
同一の物体を異なる絞り値で撮影した画像データのうち絞り値の小さい画像データから前記物体の占める領域を推定し、絞り値の大きい画像データから前記推定した領域に対して物体の形状を抽出せしめる機能とをコンピュータに実現させるための形状取得プログラム。
【請求項１０】
請求項７に記載の形状取得装置と、
前記形状取得装置から送信された形状データを受信し、受信した形状データを検索キーとして、所定のデータベースから物体の情報を検索し、検索した情報を前記形状取得装置に送信する外部サーバとを具備することを特徴とする情報検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから輪郭抽出によって物体の形状を取得する装置およびプログラム、並びに形状データに基づいて情報検索を行うシステムに関する。
【背景技術】
【０００２】
例えば花を撮像した際に、得られた画像データから画像認識によって花の特徴（形状や色）を抽出し、その特徴データに基づいて花データベースから花の名前などを検索し、検索結果を表示できるようにした電子カメラが提案されている（例えば、特許文献１参照）。このような検索機能をカメラに持たせることで、名前の知らない花を見つけたときに、その花を撮影するだけで手軽に花の名前等を知ることができる。また、この種の検索機能は、花以外に鳥、昆虫、動物、構造物などにも広く適用可能である。
【０００３】
【特許文献１】特開２００２−２４７４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記画像認識においては、対象物体（花など）の輪郭を抽出することで形状を特定することができる。しかしながら、画像データには対象物体以外にも種々のものが写り込んでいることが多く、その中から対象物体の形状を正確に抽出するのは困難な場合がある。例えば、形状抽出すべき物体と同種同色の物体が複数写り込んでいるような画像データでは、状況によっては複数の物体を１つの物体として誤認識するおそれがある。
【課題を解決するための手段】
【０００５】
本発明に係る形状取得装置は、画像データから物体の輪郭を抽出することで当該物体の形状を抽出する形状抽出手段と、形状抽出が不能の場合に、同一の物体をより大きな絞り値で撮影した画像データに対して再度の形状抽出を行うべく形状抽出手段を制御する制御手段とを具備し、形状抽出が正常になされたときの形状抽出手段の出力を物体の形状データとすることを特徴とする。
被写体を撮像して画像データを生成する撮像手段を更に備え、上記形状抽出の対象となる画像データを撮像手段によって得るようにしてもよい。その場合、形状抽出が正常になされるまで、絞り値を増加しつつ撮像と形状抽出とを交互に行うようにしてもよい。
本発明の他の形状取得装置は、画像データから物体の輪郭を抽出することで当該物体の形状を抽出する形状抽出手段と、同一の物体を異なる絞り値で撮影した画像データのうち絞り値の小さい画像データから物体の占める領域を推定し、絞り値の大きい画像データから上記推定した領域に対して物体の形状を抽出すべく形状抽出手段を制御する制御手段とを具備することを特徴とする。
被写体を撮像して画像データを生成する撮像手段を更に備え、形状抽出の対象となる画像データを撮像手段によって得るようにしてもよい。
形状抽出によって得た形状データを検索キーとして、所定のデータベースから物体の情報を検索する検索手段を更に設けてもよい。
形状抽出によって得た形状データを、検索キーとして外部に送信する送信手段を更に設けてもよい。
本発明に係る形状取得プログラムは、画像データから物体の輪郭を抽出することで当該物体の形状を抽出する機能と、形状抽出が不能の場合に、同一の物体をより大きな絞り値で撮影した画像データに対して再度の形状抽出を行わしめる機能と、形状抽出が正常になされたときの形状抽出結果を物体の形状データとする機能とをコンピュータに実現させるためのものである。
本発明に係る他の形状取得プログラムは、画像データから物体の輪郭を抽出することで当該物体の形状を抽出する機能と、同一の物体を異なる絞り値で撮影した画像データのうち絞り値の小さい画像データから物体の占める領域を推定し、絞り値の大きい画像データから上記推定した領域に対して物体の形状を抽出せしめる機能とをコンピュータに実現させるためのものである。
本発明に係る情報検索システムは、請求項７に記載の形状取得装置と、形状取得装置から送信された形状データを受信し、受信した形状データを検索キーとして、所定のデータベースから物体の情報を検索し、検索した情報を形状取得装置に送信する外部サーバとを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像データ中に形状抽出対象物体以外のものが写り込んでいる場合でも、対象物体の形状を正確に抽出できる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施形態−
図１〜図９により本発明の第１の実施形態を説明する。
図１は本実施形態における情報検索システムの構成図である。この検索システムは、デジタルカメラ１００で撮影した花や葉の特徴データを検索サーバ２００に送り、検索サーバ２００にてその植物の名称などの情報を検索してカメラ１００に送り返すことを可能にするものである。検索サーバ２００は、花や葉の情報を格納した図鑑データベース２０１と検索エンジン２０２とを有し、ネットワーク上に置かれる。カメラ１００は、通信回線網３００を介して検索サーバ２００にインターネット接続可能であり、サーバ２００との間で情報の授受が行える。
【０００８】
図２はカメラ１００の制御ブロック図である。撮影レンズ１および絞り２を通過した被写体光束は、ＣＣＤ等の撮像素子３に受光され、光電変換される。画像処理回路４は、撮像素子３の光電変換出力に対して種々の処理を施して画像データを生成し、画像データは、記録回路５を介して画像記録媒体６に記録される。画像処理回路４および記録回路５はＣＰＵ７によって制御される。
【０００９】
絞り駆動部回路８は、ＣＰＵ７からの指示に従い、撮影者またはＣＰＵ７が設定した絞り値（設定絞り値）に基づいて絞り２を駆動する。レンズ駆動回路９は、ＣＰＵ７からの指示に従い、撮影レンズ１のフォーカシングやズーミングを行う。メモリ１０には所定の画像認識プログラムが格納され、ＣＰＵ７はこのプログラムを用いて画像データから花や葉の特徴を抽出する。表示装置１１は、例えば液晶モニタおよびその駆動部にて構成され、画像表示やメニュー表示、警告メッセージなどの表示が可能とされる。無線通信回路１２は、ＣＰＵ７に指示に従い、通信回線網３００を介して外部との通信を行う。
【００１０】
花の情報検索においては、植物の花の特徴情報（花びらの色、形状、枚数など）が基本的な検索キーとなるが、それだけでは候補を絞りきれないことが多い。花の特徴は極めて似ているが異種の植物というケースが複数存在するからである。この点に関しては、花だけでなく葉の形状的な特徴をも検索キーとして加えることで、検索結果をかなり絞り込めることが判明している。そこで本実施形態では、同一の植物に対し、花を撮影した画像データから花の特徴情報を抽出し、葉を撮影した画像データから葉の特徴情報（形状データ）を抽出し、それらを合わせて検索キーとする。
【００１１】
図３は葉の形状的な特徴の分類例を示している。これは「切れ込み」を基準として分類したもので、（ａ）の「単葉」は切れ込みが殆どない１枚の葉、（ｂ）の「深切れ込み」は、深い切れ込みがあるが１枚の葉、（ｃ）の複葉は、切れ込みによって複数の小葉に分裂した葉をそれぞれ示す。葉の形状抽出では、図３の９タイプのうちいずれに該当するかを判別する。
【００１２】
花や葉の形状抽出は、上述した画像認識プログラムにより１つの花や葉の輪郭を抽出することで行う。輪郭抽出には基本的に画素情報の微分が用いられるが、prewittフィルタやsobelフィルタなどの公知の手法を用いることができる。輪郭抽出後、輪郭を閉ループで囲む処理を施すことで、花や葉の形状を切り出すことができる。花は一般に色鮮やかなものが多く、また緑色の花はごく希であることから、画像データ中の緑系統のもの、茶系統のもの、灰色系統のものを、それぞれ葉、土、石やブロック塀などの非花部分として除外することで、１つの花の形状を比較的容易に抽出できる。
【００１３】
一方、葉は種類に拘わらず殆どが緑色であり、しかも１画像中に複数の同色の葉が重なった状態で写っているのが普通である。かかる画像から１枚（複葉の場合は１グループ）の葉の形状を正確に抽出するには、１枚の葉とその周囲との境界が明瞭で、かつそれ以外の部分は境界が曖昧である必要がある。つまり、１枚の葉のエッジ部全体にピントが合い、それ以外の葉は大きくボケている状態が理想的である。
【００１４】
本発明者らは、画像データから植物の葉の形状を抽出する実験を行った。撮影に際しては、図４に示すように一眼レフタイプのデジタルカメラ１００に１０５ｍｍＦ２．８のマクロレンズを装着し、鉢植えの単葉植物から３０ｃｍの距離に固定した。そして、植物の１枚の葉にピントを合わせた状態で、絞りを変えて複数回撮像を行い、得られた複数の画像データをパーソナルコンピュータ４００に取り込み、prewittフィルタでそれぞれ輪郭抽出を行った。次いで、抽出した輪郭を閉ループで囲む処理を施し、正確に切り出しが行えるか否かを試した。図５〜図７はそのときの輪郭抽出画像を模式的に表したもので、符号５０はピントを合わせた葉を示し、また実線は輪郭が明確な部分、点線は不明瞭な部分をそれぞれ示している。
【００１５】
図５は絞り値をＦ３．２としたときのもので、被写界深度がかなり浅いため、葉５０以外の葉は大きくぼかすことができたが、葉５０の一部にしかピントが合わず、葉５０のエッジが部分的にボケてしまった。このため、葉５０の形状の閉ループが形成できず、葉５０の形状を切り出すことができなかった。
【００１６】
一方、図６は絞り値をＦ２０としたときのもので、被写界深度がかなり深いため、ピントを合わせた葉５０のエッジ部全体を明確にすることができた。しかし、葉５０の背景にある葉も一部が被写界深度内に入ってしまい、また被写界深度に入らない葉もボケ量が小さいため、葉５０以外の葉のエッジも明確となってしまった。その結果、複数の葉が１枚の葉として認識され、葉５０の形状を切り出すことができなかった。
【００１７】
図７は絞りをＦ８．０としたときのもので、被写界深度が中程度となり、葉５０のエッジ部のほぼ全体を明確にでき、またそれ以外の葉を適度にぼかすことができた。その結果、葉５０の形状を正確に切り出すことができた。
【００１８】
以上から、葉の形状抽出に用いる画像を撮影するときは、ピント状態だけでなく絞り値の選択が重要であることが分かる。しかし、撮影者自身が最適な絞り値を見つけるのは難しいため、本実施形態では、以下に示すようにカメラ１００が最適な絞り値を見つけ、その絞り値で撮影された画像データを葉の特徴抽出画像データとして選択する。
【００１９】
図８，図９は特徴抽出を含む情報検索処理の具体例を示すフローチャートである。
情報検索モードを設定すると、ＣＰＵ７にてこのプログラムが実行される。まずステップＳ１で花の撮影を促すメッセージを表示装置１１に表示し、ステップＳ２で撮影者の撮影操作を待つ。撮影者が目的の花を構図に入れてレリーズボタンを操作すると、ステップＳ３で撮影を行い、生成された画像データに対して花の特徴抽出を行う。
【００２０】
次に、ＣＰＵ７はステップＳ４で葉の撮影を促すメッセージを表示し、ステップＳ５で撮影操作を待つ。撮影者が目的の葉を構図に入れてレリーズボタンを操作すると、ステップＳ６で撮影および葉の形状抽出を行う。
【００２１】
図９はステップＳ６の詳細を示すフローチャートである。
ステップＳ６１では設定絞り値の初期値を開放値かそれに近い値とする。ステップＳ６２では、絞り２を設定絞り値に基づいて駆動し、撮像を行う。撮像によって生成された画像データに対し、ステップＳ６３で葉の形状抽出を試みる。ステップＳ６４では、閉ループが形成されたか否かを判定する。上述したように、絞り値が小さく被写界深度が浅い場合には、閉ループ形成不能となる可能性が高く、この場合はステップＳ６５に進む。ステップＳ６５では、設定絞り値が最大絞り値か否かを判定し、最大絞り値であれば、ステップＳ６６で形状抽出不能のエラーメッセージを表示してリターンする。
【００２２】
ステップＳ６５で最大絞り値でないと判定された場合は、ステップＳ６７で設定絞り値をｎ段分だけ大きくし、再度の撮影および形状抽出を行うべくステップＳ６２に戻る。ｎの値としては、１，２，１／２などが考えられる。ｎを予め撮影者が設定できるようにしてもよい。
【００２３】
一方、ステップＳ６４で閉ループが形成されたと判定されると、葉の形状データが取得できたので、そのままリターンする。この場合、閉ループは可能な限り小さい絞り値で形成されたことになるので、ピントを合わせた葉の形状が正確に切り出せた可能性は高い。
【００２４】
図８のステップＳ７では、ステップＳ３で得た花の特徴情報と、ステップＳ６で得た葉の特徴情報（形状データ）を検索キーとして検索サーバ２００に送信する。ただし、葉の形状データが取得できなかった場合（上記ステップＳ６５が肯定された場合）は、花の特徴情報のみを検索キーとして送信する。なお、花と葉の双方の特徴情報が取得されて初めて送信を行うようにしてもよい。
【００２５】
検索キーを受信した検索サーバ２００は、検索エンジン２０２を用いて図鑑データベース２０１から検索キーに適った情報を検索し、検索結果をカメラ１００に送信する。カメラ１００のＣＰＵ７は、受信した検索結果を表示装置１１に表示する。
【００２６】
−第２の実施形態−
本実施形態では、小さい絞り値で撮影した画像データと、大きい絞り値で撮影した画像データとを用いて葉の形状データを取得する。上述の実験において、Ｆ３．２で撮影した画像データでは、図５のように葉５０の閉ループは形成できなかったものの、葉５０の占めるおおよその領域は推定できる。一方、Ｆ２０で撮影した画像データでは、図６のように葉５０の閉ループが形成できている。したがって、図６の形状データに対し、図５で推定した葉５０のおおよその領域（座標として記憶しておく）のみを残すフィルタ処理を施すことで、葉５０の形状データのみを切り出すことができる。
【００２７】
具体的な制御としては、上記図９のフローに代えて図１０のフローを用いればよい。
図１０において、ステップＳ１０１では設定絞り値を開放値かそれに近い値とする。ステップＳ１０２では、絞り２を設定絞り値に基づいて駆動し、撮像を行う。撮像によって生成された画像データに対し、ステップＳ１０３で葉の形状抽出を試みる。ステップＳ１０４では閉ループが形成されたか否かを判定し、肯定されると、形状データが取得できたのでそのままリターンする。一方、ステップＳ１０４が否定されると、ステップＳ１０５に進む。
【００２８】
ステップＳ１０５では、ステップＳ１０３で得た形状データから葉のおおよその領域を推定し、記憶する。ステップＳ１０６では、絞り値をより大きい値（例えば、Ｆ２０）に設定する。ステップＳ１０７では、絞り２を設定絞り値に基づいて絞り込み、撮像を行う。撮像によって得られた画像データに対し、ステップＳ１０８で形状抽出を行う。ステップＳ１０９では、ステップＳ１０８で得た形状データに対し、ステップＳ１０５で記憶した領域のみを残すフィルタ処理を施し、葉の形状を切り出して形状データとする。
【００２９】
なお、実験では単葉の植物を用いたが、上記第１，第２の実施形態の方法を用いれば、図１１，図１２に示すように、深切れ込みや複葉の形状データも正確に得られる可能性が増す。
【００３０】
以上では葉の形状抽出について説明したが、花の形状抽出に本発明の手法を用いてもよい。例えば、同種同色の花が密生して咲いているシーンを撮影した場合、その画像データから１つの花の形状を正確に抽出することができる。また、植物以外に鳥や昆虫、動物、構造物などの形状抽出にも本発明の手法を同様に適用できる。
【００３１】
以上ではカメラにて説明したが、撮影機能は持たず、外部から入力した画像データに対して形状抽出を行うものにも本発明を適用できる。例えば、同一の被写体を異なる絞り値で撮影した画像データをコンピュータに取り込み、コンピュータに組み込んだソフトウェアにて絞り値の小さい画像データから順に形状抽出を試みたり、あるいは絞り値の小さい画像データから特定物体の占める領域を推定し、絞り値の大きい画像データから上記推定した領域に対して物体の形状を抽出するという形態が考えられる。
【００３２】
さらに、カメラと検索サーバから成る情報検索システムを示したが、カメラに図鑑データベースと検索エンジンとを組み込めば、カメラ単体で検索が行える。また、情報検索以外の目的で物体の形状を抽出する場合にも本発明を適用可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態における情報検索システムのネットワーク図。
【図２】検索システムを構成するデジタルカメラの制御ブロック図。
【図３】植物の葉の形状的分類を示す図。
【図４】本発明者らによる実験方法を説明する図。
【図５】実験結果を表す図で、絞り値がＦ３．２のときの葉の形状抽出結果を示す図。
【図６】図５と同様の図で、絞り値がＦ２０のときの葉の形状抽出結果を示す。
【図７】図５と同様の図で、絞り値がＦ８のときの葉の形状抽出結果を示す。
【図８】検索処理の手順例を示すフローチャート。
【図９】第１の実施形態における葉の形状抽出の詳細を示すフローチャート。
【図１０】第２の実施形態における葉の形状抽出の詳細を示すフローチャート。
【図１１】「深切れ込み」の葉の形状抽出結果を示す。
【図１２】「複葉」の葉の形状抽出結果を示す。
【符号の説明】
【００３４】
２  絞り
３  撮像素子
４  画像処理回路
７  ＣＰＵ
８  絞り駆動回路
１１  表示装置  
【図１】
2008172586.tif 000003
【図２】
2008172586.tif 000004
【図３】
2008172586.tif 000005
【図４】
2008172586.tif 000006
【図５】
2008172586.tif 000007
【図６】
2008172586.tif 000008
【図７】
2008172586.tif 000009
【図８】
2008172586.tif 000010
【図９】
2008172586.tif 000011
【図１０】
2008172586.tif 000012
【図１１】
2008172586.tif 000013
【図１２】
2008172586.tif 000014