(57)【要約】【課題】画像データに基づいて被写体の特徴を抽出する際に、特徴抽出時間の短縮化を図る。【解決手段】撮像によって生成された電子画像データを分析して被写体の特徴を抽出するにあたり、特徴抽出の対象となる分析対象画像データの画素数を低減する。画素数低減後の画像データに基づいて特徴抽出を行うことで、分析時間の短縮化が図れる。抽出された特徴を検索キーとしてデータベース検索を行い、検索された被写体情報を表示する。【選択図】図１４
2007181020.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを生成する撮像手段と、
前記画像データに対して画素数を低減する処理を施す画素数変換手段と、
該画素数変換手段で画素数を低減された画像データに基づいて被写体の特徴を抽出し、該特徴を被写体情報検索における検索キーとして出力する特徴抽出手段とを具備することを特徴とする撮影装置。
【請求項２】
前記撮像手段にて生成された画像データのうち前記特徴抽出に用いる領域を指定する領域指定手段を更に備え、
前記画素数変換手段は、前記指定された領域の画素数を低減することを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記画素数変換手段は、前記画素数低減前の画像データの画素数に基づいて画素数低減の度合いを決めることを特徴とする請求項１または２に記載の撮影装置。
【請求項４】
前記画素数変換手段は、前記画素数低減前の画像データの画素数に関わらず、一定の低減率で画素数低減を行うことを特徴とする請求項１または２に記載の撮影装置。
【請求項５】
前記抽出された特徴に基づいてデータベースから前記被写体情報を検索する検索手段と、前記検索された被写体情報を報知する報知手段とを更に備えることを特徴とする請求項１〜４のいずれかに記載の撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラやカメラ機能付き携帯電話機などの撮影装置、特に撮像した画像から被写体の特徴を抽出して被写体検索を行うものに関する。
【背景技術】
【０００２】
例えば花を撮像した際に、得られた画像データから画像認識によって花の特徴を抽出し、その特徴データに基づいて花データベースから花の名前などを検索し、検索結果を表示できるようにした電子カメラが提案されている（例えば、特許文献１参照）。このような検索機能をカメラに持たせることで、名前の知らない花を見つけたときに、その花を撮影するだけで手軽に花の名前等を知ることができる。
【０００３】
【特許文献１】特開２００２−２４７４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年では電子カメラの高画素化が進み、コンパクトタイプのカメラでも５００万〜８００万画素の撮像素子を搭載しているものが少なくない。かかるカメラで撮像された高画素の画像データを花検索などの被写体検索に用いると、被写体の特徴抽出に多大な処理時間を要し、検索結果が得られるまでの待ち時間が長くなってしまう。
【課題を解決するための手段】
【０００５】
本発明に係る撮影装置は、被写体を撮像して画像データを生成する撮像手段と、画像データに対して画素数を低減する処理を施す画素数変換手段と、画素数変換手段で画素数を低減された画像データに基づいて被写体の特徴を抽出し、その特徴を被写体情報検索における検索キーとして出力する特徴抽出手段とを具備する。
撮像手段にて生成された画像データのうち特徴抽出に用いる領域を指定する領域指定手段を更に備え、指定された領域の画素数を低減するようにしてもよい。その際、画素数低減前の画像データの画素数に基づいて画素数低減の度合いを決めるようにしてもよい。
画素数低減前の画像データの画素数に関わらず、一定の低減率で画素数低減を行うようにしてもよい。
抽出された特徴に基づいてデータベースから被写体情報を検索する検索手段と、検索された被写体情報を報知する報知手段とを更に設けてもよい。
【発明の効果】
【０００６】
本発明によれば、被写体の特徴抽出時間を短縮することができ、高画素の撮影装置であっても検索結果を迅速に得ることができる。
【発明を実施するための最良の形態】
【０００７】
図１〜図１４により本発明の一実施の形態を説明する。
図１は本実施形態における電子カメラ１００を背面から見た概略図である。カメラ上面にはレリーズボタン１が設けられ、また背面には、画像表示が可能な液晶モニタ２と、撮影レンズ１０（図２）のズームアップ／ダウンを行うためのズームアップ／ダウンボタン３Ｕ，３Ｄと、上下左右の４操作が可能な４方向ボタン４と、画像を再生するための再生ボタン５と、後述する情報検索を行うための検索ボタン６とが設けられている。４方向ボタン４は多機能ボタンであり、メニュー設定時の項目選択や、再生画像選択、その他の選択や表示移動に用いられる。また、特に４方向ボタン４の上下操作は、確認メッセージに対する返答（ＹｅｓまたはＮｏ）の入力としても用いられる。
【０００８】
図２は電子カメラ１００の制御ブロック図である。電子カメラ１００の全動作を制御するＣＰＵ１１には、上述したレリーズボタン１の操作に連動するレリーズスイッチ１ｓ、ズームアップ／ダウンボタン３Ｕ，３Ｄの操作にそれぞれ連動するズームアップ／ダウンスイッチ３Ｕｓ，３Ｄｓ、４方向ボタン４の上下左右操作に連動する上下左右スイッチ４Ｕｓ，４Ｄｓ，４Ｌｓ，４Ｒｓ、再生ボタン５の操作に連動する再生スイッチ５ｓ、検索ボタン６の操作に連動する検索スイッチ６ｓが接続されている。ＣＰＵ１１は、これらのスイッチの状態を読み取って各ボタンの操作の有無を検知する。
【０００９】
撮影レンズ１０を透過した被写体光束は、ＣＣＤなどの撮像素子１２によって撮像され、電気的な画像信号に変換される。撮像回路１３は、この画像信号を処理して所定形式の画像データを生成し、ＣＰＵ１１は、画像データをコンピュータで扱うことが可能な画像ファイルとして大容量メモリ１４に記録する。大容量メモリ１４は、電子カメラ１００に内蔵されたものでもよいし、挿脱可能なメモリカードでもよい。
【００１０】
またＣＰＵ１１には、表示回路１５を介して上記液晶モニタ２が接続される。液晶モニタ２には、所定時間おきに撮像される画像がファインダメモリ１６を介して逐次更新表示され（スルー画表示）、撮影者はその画像を見ながら構図を決定することができる。また液晶モニタ２は、再生ボタン５の操作に応じて大容量メモリ１４に記録されている画像データを表示したり、メニュー表示なども行える。
【００１１】
さらにＣＰＵ１１には、花の情報が登録された図鑑データベース１７が接続されている。図鑑データベース１７には、花の種類や名前、生息域などの生態情報と花のサンプル画像とが、花びらの色、形状、枚数などの特徴データに対応づけられて格納されている。
【００１２】
以下、図鑑データベース１７を用いた花情報検索について詳述する。
花情報検索は、撮影した花の画像データから花の特徴を抽出し、抽出した特徴情報を検索キーとして、図鑑データベース１７から花の名前等を検索して表示するものである。
【００１３】
花情報検索にあたり、操作者は再生ボタン５を操作して、目的の花（名前等の情報を知りたい花）を含む画像データを液晶モニタ２に再生表示させる。再生ボタン５が操作されると、ＣＰＵ１１は、大容量メモリ１４に記録されている画像をファインダメモリ１６に読み出し、表示回路１５を介して液晶モニタ２に表示する。また液晶モニタ２には、例えば図１に破線で示すような検索枠Ｆが画像と重ね合わせて表示される。検索枠Ｆは、後に画像データを切り出す際の切り出し領域を決めるもので、目的の花はこの検索枠Ｆ内に納まっている必要がある。本実施形態では、この検索枠Ｆの形状、大きさ、位置が変更可能であるが、それについては後で詳述する。
【００１４】
画像データが再生された状態で検索ボタン６が操作されると、ＣＰＵ１１は、当該画像データから検索枠Ｆ内の領域を切り出し、その切り出した画像データを分析対象画像データとする。図３は図１の画像データから切り出した分析対象画像データを示している。この分析対象画像データに対し、ＣＰＵ１１は所定の画像認識プログラムを用いて分析を行い、花の特徴を抽出する。抽出すべき特徴は、花びらの色、形状、枚数などである。これらの特徴は、花情報検索における検索キーとして使用されるため、正確性を欠くと満足な検索結果が得られない。特徴を正確に抽出するには、分析対象画像データ中の花部分と非花部分とを明確に区別する必要がある。そのため画像認識プログラムは、分析対象画像データ中の例えば緑系統のもの、茶系統のもの、灰色系統のものは、それぞれ葉、土、石やブロック塀などの非花部分として認識する。
【００１５】
ところで、上記のような画像分析は、分析対象画像データの画素数が多いほど時間がかかる。近年の電子カメラは高画素化が進み、例えば撮像した画像データが６００万画素だとすると、分析対象画像データは１００万画素にもなることがある。しかし、一般的な画像認識プログラムでは、花の特徴を抽出するのに１００万画素も必要なく、このため切り出した分析対象画像データをそのまま用いると、分析時間が徒に長くなるだけである。
【００１６】
そこで本実施形態では、画素数変換回路１８（図２）を用い、画像分析に先立って分析対象画像データの画素数を減らすようにした。例えば３０万画素でも正確な分析結果が得られるのであれば、１００万画素から３０万画素に変換する。場合によっては１０万画素でも可、あるいは６０万画素はなければならないということもあり得る。何画素まで減らすか、あるいは画素数を何割減らすかは、撮像素子１２の有効画素数、検索枠Ｆの大きさ、画像認識プログラムの仕様、ＣＰＵ１１の処理速度などに影響され、予め実験等を行って決めておくことが望ましい。理想的には、正確な分析結果が得られる最低限の画素数まで低減することが望ましい。
【００１７】
また検索枠Ｆの大きさが可変の場合は、分析対象画像データの当初の画素数が一定とはならないから、その当初の画素数に応じて低減率を決めるようにしてもよい。例えば、分析対象画像データの当初の画素数がある程度以下の場合には、画素数を低減しないようにしてもよい。あるいは、検索枠Ｆの大きさに関わらず低減率を一定としてもよい。
【００１８】
画素数変換自体は、公知の技術を用いて短時間で行うことができる。例えば所定の割合で画素を間引く方法や、隣接する複数の画素の色を平均して１画素とみなすなどの方法が考えられる。
【００１９】
このように、画像分析に先立って分析対象画像データの画素数を減らすようにしたので、高画素の電子カメラであっても花の特徴を短時間で抽出でき、いち早く検索を終了することが可能となる。
【００２０】
花の特徴データ（花びらの色、形状、枚数など）が抽出されると、ＣＰＵ１１は、これらを検索キーとして図鑑データベース１７内を検索し、条件に適った生態情報とサンプル画像を抽出する。なお、図鑑データベース１７の形式によっては、上記特徴データに加えて他のデータを検索キーとして用いることができる。例えば、「花の咲く季節」を検索キーとして加える場合には、ＧＰＳ受信機をカメラに設けて位置情報を取得し、その位置情報と撮影時の日付データとから花の咲く季節（春夏秋冬）を求めればよい。
【００２１】
検索が終了すると、ＣＰＵ１１は検索結果を液晶モニタ２に表示する。図４はその表示例を示し、これは図３の分析対象画像データから抽出した特徴に基づいて、１つの花の種類が特定できる例である。液晶モニタ２には、花の名前を第１候補から第５候補まで表示可能となっている。なお、名前以外の生態情報を合わせて表示してもよい。
【００２２】
図３の例では、分析対象画像データ中に一つの花が含まれ、他は葉や土であるから、画像分析において花部分と非花部分とを正確に区別でき、正確な花の特徴を抽出できる。特徴データが正確であれば、図４のように検索によって候補を１つのみに絞り込むことができ、検索結果の信頼性は極めて高い。
【００２３】
一方、図５は図１と全く異なる形状の花の撮影例であり、図６は図５の画像データから切り出した分析対象画像データを示している。検索枠Ｆの形状、大きさ、位置は図１と同等である。画像認識プログラムは、分析対象画像データ中に花が１つのみ含まれていることを前提とし、また図５のような穂状の花の場合、１本の花茎に咲く複数の花の集まりをもって一つの花と認識する。しかし、この例では検索枠Ｆ内に２本の花茎、つまり同種の２つの花が含まれてしまっているため、２つの花を１つの花と認識してしまい、抽出される特徴データが実際の特徴とかけ離れたものとなるおそれがある。加えてこの例では、目的の花の一部が欠損しており、この点からも正確な特徴が抽出できないおそれがある。
なお、図６は同種の２つの花が含まれる例を示したが、異なる種類の２以上の花が含まれる場合、抽出される特徴データはより正確性を欠く。
【００２４】
このように不正確な特徴データを検索キーとした場合、当然ながら検索結果の信頼性は低く、例えば図７のように複数の候補が表示されたり、あるいは図８のように「該当なし」と表示されることもある。いずれの場合も花の名前が特定できないため、再検索しなければならない。
【００２５】
特徴データを正確なものとするには、検索枠Ｆ内に目的の花を完全に納めると同時に、不要なもの（特徴抽出に悪影響を与えるもの：異なる種類の花など）が検索枠Ｆ内に入らないようにする必要がある。これは、例えば撮影時に構図を工夫すればある程度なし得ることかも知れないが、それでは撮影者の意図する構図とならないことが多い。花情報検索を行うための撮影であれば構図の良否は問題とならないが、作品として残す画像データで花検索を行いたい場合には、花情報検索のために構図を変えることはできない。また花が密集して咲いているときは、構図をいかように変えても不要な花を除外できない。
【００２６】
そこで本実施形態では、花の形状に合わせて検索枠Ｆの形状、大きさ、位置を変更できるようにした。図９は検索枠Ｆの選択画面の一例を示し、検索に先立ってこの画面が液晶モニタ２に表示される（表示タイミングは後述のフローにて説明する）。この例では、形状の異なる６種類のサンプル枠Ｆ１〜Ｆ６が選択候補として表示される。選択は４方向ボタン４を用いて行い、選択されているサンプル枠はハイライト表示される。選択の決定は、例えば不図示の決定ボタンの操作によってなされる。
【００２７】
例えばサンプル枠Ｆ１を選択すると、図１，図５に示すように円形の検索枠Ｆが画像に重ね合わせて表示される。図１のように、花の全体的な形状が円形あるいは正多角形に近い場合は、この円形の検索枠Ｆが適している。一方、図５のような穂状の花では、円形枠Ｆでは不要なものが入り易く、縦長の枠Ｆ３またはＦ６が適当である。また大輪の菊を横から撮影するような場合は、横長の枠Ｆ２またはＦ５が適当である。なお、選択可能なサンプル枠の種類は図９に限定されない。
【００２８】
図１０は穂状の花に対してサンプル枠Ｆ６を選択した例を示している。ＣＰＵ１１は、検索に先立ち、図示のように検索枠Ｆを花に合わせるよう促すメッセージを表示する。検索枠Ｆを花に合わせるには、検索枠Ｆの位置と大きさを変更する。本実施形態では、４方向ボタン４の上下左右操作に応じて検索枠Ｆの位置を画面内で上下左右に変更できる。またズームアップ／ダウンボタン３Ｕ，３Ｄの操作で、検索枠Ｆを拡大／縮小できる。拡大／縮小は、枠Ｆの縦横比を維持したまま面積のみを変えてもよいし、縦横比を自由に変更できるようにしてもよい。このように、検索枠Ｆの位置、および大きさを既存の４方向ボタン４およびズームアップ／ダウンボタン３Ｕ，３Ｄで変更できるようにしたので、専用の操作部材を設ける必要がなく、部品点数の低減が図れる。
【００２９】
図１１は上記の操作によって一つの花に検索枠Ｆを合わせた状態を、図１２はその検索枠Ｆで切り出された分析対象画像データを示している。図１２から分かるように、分析対象画像データには１つの花のみが含まれ、不要なものは含まれていないので、正確な花の特徴データを抽出でき、正確な検索結果を得ることができる。なお、矩形枠Ｆ６の角部に不要なものが入ってしまう場合は、楕円枠Ｆ３を選択すればよい。
【００３０】
このように本実施形態では、花の形状に合わせて検索枠Ｆの形状、大きさ、位置を変更できるようにしたので、いかなる花であっても検索枠Ｆ内に納め、かつ不要なものを検索枠Ｆから除くことができ、正確な検索結果が得られる可能性を高めることができる。また、花情報検索の有無によって構図を変える必要もない。
【００３１】
図１３，図１４は、上述の花情報検索をソフト的に実現するための処理手順の一例を示している。なお、本発明と関係のない処理は図示を省略してある。
カメラの電源が投入されると、ＣＰＵ１１によってこのプログラムが起動され、ステップＳ１〜Ｓ３のループでレリーズボタン１、再生ボタン５、検索ボタン６のいずれかの操作を待つ。この間、図示しない処理により液晶モニタ２に上述したスルー画表示が行われ、同時に検索枠Ｆも表示される。表示される検索枠Ｆの形状、大きさ、位置は、前回の選択設定に従う。撮影者は、花情報検索を前提とした撮影を行う場合には、検索枠Ｆ内に目的の花が入るように構図を決める。なお、検索枠Ｆの形状、大きさおよび位置は後で変更できるので、必ずしも目的の花を検索枠Ｆに入れなくてもよい。あるいは、スルー画表示においては検索枠Ｆを表示しなくてもよい。
【００３２】
レリーズボタン１の操作が検出されると、ステップＳ４で撮像を行って画像データを生成し、ステップＳ５で画像データを大容量メモリ１４に記録する。再生ボタン５の操作が検出されると、ステップＳ６で大容量メモリ１４に記録されている最新の画像データをファインダメモリ１６に読み出し、液晶モニタ２に表示する。図示はしていないが、所定の操作により表示する画像データを変更することができる。
【００３３】
検索ボタン６の操作が検出されると、ステップＳ７で現在画像データが表示されているか否かを判定する。再生ボタン５を操作してから検索ボタン６を操作した場合はステップＳ７が肯定され、ステップＳ８で検索処理を行う。
【００３４】
ステップＳ８の検索処理の詳細を図１４に示す。
ステップＳ１０１では、図９に例示したような枠選択画面を液晶モニタ２に表示し、ステップＳ１０２，Ｓ１０３のループで枠選択操作または決定操作を待つ。枠選択操作は、上述したように４方向ボタン４で所望の枠を選択する操作を指す。４方向ボタン４の操作が検知されるとステップＳ１０２が肯定され、ステップＳ１０４でその操作に応じた方向に選択枠（ハイライト表示される枠）を変更する。決定操作が検知されると、ハイライト表示されている枠の選択を決定し、ステップＳ１０５に進む。
【００３５】
ステップＳ１０５では、検索ボタン６を押したときの画像データを再び表示するとともに、選択決定された検索枠Ｆを画像データに重ね合わせて表示し、さらに検索枠Ｆを花に合わせることを促すメッセージを表示する（例えば、図１０）。次いで、ステップＳ１０６，Ｓ１０７のループを回り、検索枠Ｆの大きさ（枠サイズ）および位置を変更するための操作か、決定操作がなされるのを待つ。上述したように、枠サイズの変更はズームアップ／ダウンボタン３Ｕ，３Ｄの操作で、位置の変更は４方向ボタン４の操作で行われる。これらの操作が検知されると、ステップＳ１０８でその操作に応じて枠サイズまたは位置を変更する。決定操作がなされると、枠サイズおよび位置を確定してステップＳ１０９に進む。
【００３６】
ステップＳ１０９では、表示されている画像データ中の検索枠Ｆで囲まれた領域を、分析対象画像データとして切り出す。ステップＳ１１０では、画素数変換回路１８に指示を出し、切り出した分析対象画像データの画素数を減らす処理を行う。その内容は上述したとおりである。ステップＳ１１１では、画素数低減後の分析対象画像データを分析して花の特徴を抽出する。ステップＳ１１２では、抽出した特徴データを検索キーとして図鑑データベース１７を検索する。ステップＳ１１３では、検索結果を表示するとともに、再検索を行うか否かの確認メッセージを表示する（例えば、図４，図７，図８参照）。
【００３７】
次いでステップＳ１１４，Ｓ１１５のループを回り、再検索メッセージに対する操作者の返答を待つ。Ｙｅｓ操作（４方向ボタン４の上操作）が検知されると、ステップＳ１０１に戻り、Ｎｏ操作（４方向ボタン４の下操作）が検知されると、図１３の処理にリターンする。
【００３８】
なお以上では、検索枠Ｆの形状、大きさ、位置を全て可変としたが、少なくともいずれか１つのみを可変としてもよい。例えば、形状および位置を固定として大きさのみを変えられるようにしたり、位置のみを変えられるようにしてもよい。
【００３９】
また、検索枠Ｆは本発明の必須要件ではなく、撮像された画像データの全てを分析対象画像データとしてもよい。
【００４０】
また以上では、撮影後に再生ボタン５および検索ボタン６を押すことで花情報検索が開始される例を示したが、例えば予め検索モードを設定した状態でレリーズボタン１を操作すると、撮影後にその撮影画像データを用いて自動的に花情報検索が開始されるようにしてもよい。あるいは、検索ボタン６を押しながらレリーズボタン１を操作することで、同様に撮影および検索が順に行われるようにしてもよい。
【００４１】
また、図鑑データベース１７および検索機能は必ずしもカメラに設けなくてもよい。例えば、図鑑データベース１７および検索エンジンをネットワーク上の検索サーバに置き、電子カメラが検索キーを検索サーバに送信すると、検索エンジンが検索を行って結果をカメラに送り返すようなシステムが考えられる。
【００４２】
情報検索の対象は花に限定されず、例えば昆虫や鳥類などの情報検索にも本発明を同様に適用できる。また本発明は、電子カメラ機能を持つあらゆる機器（例えば、カメラ機能付き携帯電話機など）に適用可能である。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態に係る電子カメラを背面から見た図。
【図２】電子カメラの制御系を示すブロック図。
【図３】撮像された画像データから切り出した分析画像データの一例を示す図。
【図４】花情報検索における検索結果を示す図で、１つのみの候補が表示された例を示す。
【図５】撮像された画像データを示す図。
【図６】図５の画像データから切り出した分析対象画像データを示す図。
【図７】花情報検索における検索結果を示す図で、複数の候補が表示された例を示す。
【図８】花情報検索における検索結果を示す図で、該当するデータが見つからない場合の表示例を示す。
【図９】検索枠選択画面の一例を示す図。
【図１０】検索枠を花に合わせるよう促す画面の一例を示す図。
【図１１】検索枠を花に合わせたときの画面の一例を示す図。
【図１２】図１１の画像データから切り出した分析対象画像データ（枠で囲まれた領域）を示す図。
【図１３】花情報検索を含む電子カメラの動作を説明するフローチャート。
【図１４】図１３の情報検索処理の詳細を示すフローチャート。
【符号の説明】
【００４４】
６  検索ボタン
１１  ＣＰＵ
１２  撮像素子
１７  図鑑データベース
１８  画素数変換回路
Ｆ  検索枠
Ｆ１〜Ｆ６  サンプル枠
【図１】
2007181020.tif 000003
【図２】
2007181020.tif 000004
【図３】
2007181020.tif 000005
【図４】
2007181020.tif 000006
【図５】
2007181020.tif 000007
【図６】
2007181020.tif 000008
【図７】
2007181020.tif 000009
【図８】
2007181020.tif 000010
【図９】
2007181020.tif 000011
【図１０】
2007181020.tif 000012
【図１１】
2007181020.tif 000013
【図１２】
2007181020.tif 000014
【図１３】
2007181020.tif 000015
【図１４】
2007181020.tif 000016