(57)【要約】【課題】閉領域の４辺の一部がとぎれて観察される場合であっても、画像から精度良く閉領域を抽出できるようにすること。【解決手段】撮像して得られた画像データから複数の直線を抽出し、その抽出された複数の直線が囲む閉領域を抽出する。【選択図】図２
2007011762.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
上記画像入力手段で入力した画像から複数の直線を抽出する直線抽出手段と、
上記直線抽出手段によって抽出された複数の直線が囲む閉領域を抽出する領域抽出手段と、
を具備することを特徴とする領域抽出装置。
【請求項２】
上記直線抽出手段は、
上記画像入力手段で入力した画像からエッジ成分を抽出するエッジ成分抽出手段と、
上記エッジ成分抽出手段が抽出したエッジ成分から、ハフ変換によって直線成分を抽出するハフ変換手段と、
を有する、
ことを特徴とする請求項１に記載の領域抽出装置。
【請求項３】
その中に画像を含む被写体を撮像した画像において、上記被写体中の画像境界の複数の辺を抽出する辺抽出手段と、
上記画像の複数の辺或いは上記複数の辺を延長した複数の直線によって、囲まれる閉領域を抽出する領域抽出手段と、
を具備することを特徴とする領域抽出装置。
【請求項４】
上記被写体中の画像は、プリントアウトされた画像であることを特徴とする請求項３に記載の領域抽出装置。
【請求項５】
上記被写体中の画像は、画像表示装置に表示された画像であることを特徴とする請求項３に記載の領域抽出装置。
【請求項６】
上記領域抽出手段で抽出された閉領域のうち、被写体画像に設けた所定の枠内にある閉領域を優先的に選択する選択手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項７】
上記領域抽出手段で抽出された閉領域のうち、重なりが少ない閉領域を優先的に選択する選択手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項８】
上記領域抽出手段で抽出された閉領域のうち、被写体画像の中央部に位置する閉領域を優先的に選択する選択手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項９】
上記領域抽出手段で抽出された閉領域のうち、面積の大きい閉領域を優先的に選択する選択手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項１０】
上記領域抽出手段で抽出された閉領域のうち、所望の閉領域を操作者が選択できる選択手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項１１】
上記領域抽出手段で閉領域を抽出する際、被写体画像に設けた所定の枠内にある辺を検出し、その辺により構成される閉領域を抽出することを特徴とする請求項３に記載の領域抽出装置。
【請求項１２】
上記領域抽出手段で閉領域を抽出した後、操作者に領域の部分的修正を許す、領域修正手段を更に具備することを特徴とする請求項３に記載の領域抽出装置。
【請求項１３】
上記領域抽出手段において、領域の抽出は画像が入力される都度行われることを特徴とする請求項３に記載の領域抽出装置。
【請求項１４】
画像から閉領域を抽出する領域抽出方法であり、
画像を入力し、
上記入力した画像から複数の直線を抽出し、
上記抽出した複数の直線が囲む閉領域を抽出する、
ことを特徴とする領域抽出方法。
【請求項１５】
被写体中に含まれる画像を抽出する領域抽出方法であり、
その中に画像を含む被写体を撮像した画像において、上記被写体中の画像境界の複数の辺を抽出し、
上記抽出した画像の複数の辺或いは上記複数の辺を延長した複数の直線によって、囲まれる閉領域を抽出する、
ことを特徴とする領域抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から閉領域を抽出する領域抽出装置及び領域抽出方法に関する。
【背景技術】
【０００２】
画像から閉領域を抽出する場合、従来は、例えば非特許文献１に開示されているように、視野内の四角形状の抽出を行う事で、領域を認識していた。即ち、画像を所定の閾値で２値化し、閉領域を探索する事で注目領域の認識を行っている。
【非特許文献１】G.Klinker, D.Stricker, D.Reiners, "Augmented Reality: A Balancing Act Between High Quality and Real-Time Constraints", Proceedings of ISMR '99, 1999, pp.325-346
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のような四角形状の抽出を行うことで閉領域を認識する手法では、４辺が背景と区別できるように見えている事、４辺がとぎれずに見えている事が必須となる。
【０００４】
しかしながら、例えば、写真プリントを撮影した画像では、必ずしも４辺に背景と区別し易いコントラストがついているとは限らない。
【０００５】
また、机上などに写真プリントが複数枚置かれた状態では、目的とする写真プリントを抽出するのは容易ではなかった。特に、互いが重なり合ったような状態では、下になっている写真プリントの４辺がとぎれずに見えることはなく、写真プリントを選択抽出するのは難しかった。
【０００６】
本発明は、上記の点に鑑みてなされたもので、閉領域の４辺の一部がとぎれて観察される場合であっても、画像から精度良く閉領域を抽出可能な領域抽出装置及び領域抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の領域抽出装置の一態様は、
画像を入力する画像入力手段と、
上記画像入力手段で入力した画像から複数の直線を抽出する直線抽出手段と、
上記直線抽出手段によって抽出された複数の直線が囲む閉領域を抽出する領域抽出手段と、
を具備することを特徴とする。
【０００８】
また、本発明の領域抽出装置の別の態様は、
その中に画像を含む被写体を撮像した画像において、上記被写体中の画像境界の複数の辺を抽出する辺抽出手段と、
上記画像の複数の辺或いは上記複数の辺を延長した複数の直線によって、囲まれる閉領域を抽出する領域抽出手段と、
を具備することを特徴とする。
【０００９】
また、本発明の領域抽出方法の一態様は、
画像から閉領域を抽出する領域抽出方法であり、
画像を入力し、
上記入力した画像から複数の直線を抽出し、
上記抽出した複数の直線が囲む閉領域を抽出する、
ことを特徴とする。
【００１０】
また、本発明の領域抽出方法の別の態様は、
被写体中に含まれる画像を抽出する領域抽出方法であり、
その中に画像を含む被写体を撮像した画像において、上記被写体中の画像境界の複数の辺を抽出し、
上記抽出した画像の複数の辺或いは上記複数の辺を延長した複数の直線によって、囲まれる閉領域を抽出する、
ことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、閉領域の４辺の一部がとぎれて観察される場合であっても、画像から精度良く閉領域を抽出可能な領域抽出装置及び領域抽出方法を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１３】
［第１実施形態］
まず、図１を参照して、本発明の第１実施形態に係る領域抽出装置の適用された検索システムの概略を説明する。
【００１４】
即ち、本検索システムは、デジタルカメラ１０と、ストレージ２０と、プリンタ３０とから構成される。ここで、ストレージ２０は、複数の画像データを格納するもので、プリンタ３０は、そのストレージ２０に格納された画像データをプリントアウトする。なお、ストレージ２０は、デジタルカメラ１０に内蔵乃至は脱着可能なメモリであって、プリンタ３０は、デジタルカメラ１０からのプリントアウト指示に従って、そのストレージ２０であるメモリ内の画像データをプリントアウトする。あるいは、ストレージ２０は、デジタルカメラ１０に接続端子，ケーブル，あるいは無線／有線ネットワークを介して接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、画像データを転送可能なデバイスであっても良い。その場合には、プリンタ３０は、ストレージ２０に接続または一体的に構成され、デジタルカメラ１０からのプリントアウト指示に従ってプリントアウトを実行するようなものであっても良い。
【００１５】
なお、ストレージ２０は、特徴量によって画像データが検索可能に構成されたデータベースの機能も備える。即ち、ストレージ２０は、原画像のデジタルデータより作成された特徴量データ（テンプレート）群を格納した特徴量データベースを構成している。
【００１６】
このような構成において、（１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影し、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。（２）そして、デジタルカメラ１０は、その抽出した特徴量によってストレージ２０に格納されたテンプレートとテンプレートマッチング処理を実行する。（３）その結果、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像データであるとして読み出す。（４）これにより、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。
【００１７】
なお、検索元プリントアウト１は、１枚単位で出力されたプリントアウト以外に、複数の縮小画像をまとめて出力したインデックスプリントを検索元プリントアウトとして使う方法も利用可能である。これは、インデックスプリントから必要なものを選択して、焼き増しする方がコスト面や利便性が良いためである。
【００１８】
また、検索元プリントアウト１については、システム内のストレージ２０に構成した特徴量データベースに原画像データがある画像であれば、システム外（図示せず）のプリンタでプリントアウトしたものであっても構わない。
【００１９】
以下、第１実施形態に係る領域抽出装置の適用された検索システムを詳細に説明する。  
図２（Ａ）はそのような検索システムのブロック構成図であり、図２（Ｂ）はその動作フローチャートである。なお、デジタルカメラ１０は、通常の撮影モードとは別に、撮影済みデータの検索モードを有し、この動作フローチャートは、その検索モードに設定されている場合の処理を示している。
【００２０】
即ち、ユーザは、上記検索モードに設定した後、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影する（ステップＳ１１）。
【００２１】
すると、デジタルカメラ１０においては、領域抽出部１２にて、撮像部１１で撮影された画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定・抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。このプリントアウトの切り出し処理の詳細については後述する。
【００２２】
次に、特徴量抽出部１３によって、上記領域抽出部１２で特定・抽出された関心領域から特徴量を抽出する処理を行う（ステップＳ１３）。なお、特徴量は、画像データ内の特徴点の配置関係を使うものであっても良いし、所定のルールに従った画像データ内の分割エリア、つまり予め定められた格子により割り付けられた小領域の相対濃度などを使うものでも構わないし、分割エリア毎のフーリエ変換値などに基づいたものでも構わない。
【００２３】
次に、マッチング部１４により、上記特徴量抽出部１３で抽出した特徴量データを、ストレージ２０に構成した撮影済み画像データの特徴量データベースと比較し、その類似度の高いものを順に抽出するＤＢとのマッチング処理を実行する（ステップＳ１４）。即ち、図３（Ａ）に示すように、各撮影済み画像データデータの特徴量データとの類似度を算出し（ステップＳ１４１）、類似度に基づいてソートする（ステップＳ１４２）。そして、その類似度に従って原画像候補を選出する（ステップＳ１４３）。なお、この選出は、閾値を設定しても良いし、類似度の高い順に上位のものを指定しても良い。何れにしても、類似度の最上位のものを１点選出する方法と、類似度の高いものから複数点を選出する方法の２種の方法がある。
【００２４】
その後、表示部１５に、上記選出された原画像候補の画像データをストレージ２０から読み出して、抽出すべき画像候補として表示し（ステップＳ１５）、ユーザによる選択を受け付ける（ステップＳ１６）。図４（Ａ）は、画像候補を１点だけ表示する場合の表示部１５の表示画面を示している。この表示画面では、画像候補１５１の表示の横に、他の画像候補の表示を指示する際に操作すべきボタンを表す『前』及び『次』アイコン１５２と、当該画像候補１５１を所望の画像データとして指示する際に操作すべきボタンを表す『決定』アイコン１５３とが配置される。『前』及び『次』アイコン１５２は、デジタルカメラ１０が通常備える所謂十字キーの左キー及び右キーであることを表し、『決定』アイコン１５３はその十字ボタンの真ん中に配置されるエンターキーであることを表す。
【００２５】
ここで、『前』及び『次』アイコン１５２に相当する十字キーが操作された場合には（ステップＳ１７）、上記ステップＳ１５に戻って、画像候補１５１を更新表示する。これに対して、『決定』アイコン１５３に相当するエンターキーが操作された場合には（ステップＳ１７）、マッチング部１４は、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ１８）。また、プリンタ３０に有線／無線で直接接続されていない場合には、ストレージ２０に格納されている当該画像候補１５１に対応する原画像データに、フラグを追記する等の所定のマーキングを行う処理を実行することで、該ストレージ２０にアクセス可能なプリンタ３０でプリントアウトすることを可能とする。
【００２６】
なお、上記ステップＳ１５の画像候補の表示において、複数の候補を同時に表示するようにしても構わない。この場合、通常デジタルカメラ１０に設置されている表示部１５は当然数インチの小型のものであるため、４点或いは９点程度の表示が使い易い。図４（Ｂ）は、９点の画像候補１５１を表示するようにした例を示している。この場合、『前』及び『次』アイコン１５２に相当する十字キーの左キー及び右キーの操作に応じて、選択画像を示す太枠１５４が移動される。なお、特に図示はしていないが、十字キーの上キー及び下キーの操作に応じて、９点の画像候補１５１の表示を前及び次の９点の画像候補の表示に変更する、所謂ページ切り替え表示を行うようにしても良い。
【００２７】
次に、上記ステップＳ１２で実行されるプリントアウトの切り出し処理について、図２（Ｃ）のフローチャートを参照して説明する。
【００２８】
即ち、まず、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データから、線分を検出し易くするため、エッジ成分を抽出する（ステップＳ１２１）。これは、例えば、共立出版株式会社刊・尾崎他共著『画像処理』、日刊工業新聞社刊・手塚他共著『デジタル画像処理工学』、等に開示されているフィルタを用いて画像データからエッジ成分を抽出するものである。この場合、フィルタは、検出するエッジの方向に応じて、図５に示すような一般的なフィルタを用いる。なおここでは、ｘ，ｙの２方向のエッジ成分抽出の例を説明したが、対象となる検索元プリントアウト１の向きが特定されない場合には、全方向のエッジ成分抽出を行う。
【００２９】
次に、直線成分の抽出を行う（ステップＳ１２２）。例えば、ハフ変換による直線成分の抽出を行う。
【００３０】
ハフ変換とは、例えば、共立出版株式会社刊・尾崎他共著『画像処理』、日刊工業新聞社刊・手塚他共著『デジタル画像処理工学』、等に開示されているように、座標変換によって点の集合から直線の式を定める手法であり、画像処理では良く用いられる。
【００３１】
ハフ変換では、図６に示すように、画像上の座標（Ｘ，ｙ）をθ、ρで表されるハフ曲線に変換する。
【００３２】
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ            …式（１）
エッジ抽出フィルタによってエッジ抽出した画像中で、閾値を越えるピクセルの座標（ｘ，ｙ）をハフ曲線に変換し、θ，ρを座標軸としたθ−ρ画像上に曲線を描いていく。実際には、θ−ρ画像の座標（θ，ρ）をカウントアップしていく。
【００３３】
ハフ曲線の交点が同一直線を表すことになる為、上で得られたθ，ρ座標の輝度（交点における重なり）が、同一直線上に存在するピクセル数を表す。θ−ρ画像上において最も輝度の高い座標（θ，ρ）を上記式（１）に代入し、直線の式を得る。
【００３４】
次に、上記ハフ変換で得られた各直線を線分に分解する（ステップＳ１２３）。即ち、各直線を延長してなる線分を求める。そして、各線分の繋がりや形状から領域を決定する（ステップＳ１２４）。即ち、４つの線分で囲まれた領域を探索し、閉領域であった場合は抽出領域とする。これは、撮影画像視野内に検索元プリントアウト１（注目領域）が一つしかない場合であれば、４つの直線で囲まれた領域を探索すれば良いが、検索元プリントアウト１が複数有り、しかもその一部が重なっているような場合には、下にある検索元プリントアウト１については４つの直線で囲まれないからである。各直線を延長した線分により探索することで、そのような下にある検索元プリントアウト１についても閉領域を推定することが可能となる。
【００３５】
なお、閉領域の認識については種々方法が提案されており、ここでは述べない。また、ここでは、エッジ抽出、ハフ変換を使った直線抽出について説明したが、直線を検出する方法であればこれらに限られるものでは無い。
【００３６】
図７（Ａ）及び（Ｂ）に上記処理による直線の抽出の例を示す。太線１６が抽出された直線を示している。図７（Ａ）は撮影画像視野内に注目領域が一つしかない場合を、また、図７（Ｂ）は複数の注目領域がある場合を示す。
【００３７】
注目領域が複数ある場合には、複数の原画像データを検索する場合もあるが、一つに絞る場合には下記のように選択をすることができる。
【００３８】
例えば、被写体画像の中央部に位置する閉領域を優先的に選択する。
【００３９】
あるいは、求めた複数の閉領域をデジタルカメラ１０の表示部１５に表示し、十字キー等の操作によって、所望の閉領域をユーザが選択できるようにしても良い。またこの場合、そのようなユーザインタフェースによって、ユーザの領域の部分的修正を許すようにしても構わない。
【００４０】
また、面積の大きい閉領域を優先的に選択するようにしても良い。
【００４１】
あるいは、抽出領域の中で所定の色を多く含む画像（赤、青等）を選択するようにしても良い。
【００４２】
更には、抽出領域の中の周波数分布が所定の値に近いものを選択するようにしても良い。
【００４３】
また、他との重なりが少ない即ち上になっている閉領域を優先的に選択するものとしても良い。この重なりが少ない状態の認識方法としては、次のような方法がある。
【００４４】
方法１：ハフ変換により、同一線上にあると認識された点について、図６中の右図の各点を再度図６中の左図の線上に配置する。こうすることで線上の線分が定まり、各線分と図７（Ｂ）の抽出領域の関係とから領域の上下関係を求めることができる。より上にある領域を重なりが少ない領域とする。
【００４５】
方法２：検索システムにおいて、マッチングを行うテンプレートが複数ある場合に、あるテンプレートだけが極端に類似度が低い場合、その部分が他の領域によって遮蔽されている、と判断することができる。
【００４６】
上記方法を使うほか、上記方法１と２を組み合わせ、より精度良く重なりが少ない状態を判定することもできる。
【００４７】
以上のように、本実施形態は、抽出直線に基づく線分の交点を求める方式であるため、検索元プリントアウト１の各辺の一部が見えていれば良い。
【００４８】
従って、複数枚の検索元プリントアウト１の中から目的とする検索元プリントアウト１を容易に抽出できる。特に、検索元プリントアウト１同士が一部重なり合ったような場合でも抽出が可能になる。
【００４９】
なお、上記ステップＳ１４において用いられる比較対象としてのストレージ２０に構成した撮影済み画像データの特徴量データベースについては、予め、ストレージ２０中の原画像データを元に作成しておく必要がある。
【００５０】
この特徴量データベースの作成には、各種の方法が考えられる。  
例えば、原画像撮影時にその撮影画像データをデジタルカメラ１０のメモリ領域に保存する際に、特徴量算出とそのデータベース登録を行う方法である。即ち、図３（Ｂ）に示すように、デジタルカメラ１０にて撮影を行い（ステップＳ２０１）、その撮影画像データをデジタルカメラ１０のメモリ領域に保存する（ステップＳ２０２）。そして、その保存した撮影画像データから特徴量を算出してテンプレートデータを作成し（ステップＳ２０３）、その作成したテンプレートデータを上記撮影画像データに関連付けて保存する（ステップＳ２０４）。従って、ストレージ２０がデジタルカメラ１０の内蔵するメモリであれば、データベースが構築されることになる。また、ストレージ２０がデジタルカメラ１０と別体の場合には、デジタルカメラ１０のメモリ領域に保存された撮影画像データとテンプレートデータが共にストレージ２０に転送され、データベースが構築されることになる。
【００５１】
また、ストレージ２０に蓄積された原画像データをプリンタ３０でプリントアウトする際に、そのプリントアウト指示と同時に特徴量抽出処理を行い、データベースに蓄積することもプロセス的に効率が良い方法である。即ち、図３（Ｃ）に示すように、ストレージ２０に蓄積された原画像データをプリントアウトする際、通常、ユーザ指示により、プリントアウトする原画像データが選択され（ステップＳ２１１）、また、プリント条件が設定されて（ステップＳ２１２）、プリントが実行される（ステップＳ２１３）。通常はここでプリント処理は終了であるが、本例では、更に続けて、その選択された原画像データから特徴量を算出してテンプレートデータを作成し（ステップＳ２１４）、その作成したテンプレートデータをその原画像データに関連付けて保存する（ステップＳ２１５）。なお、テンプレートデータ作成の際に、プリント条件を反映させることで、検索元プリントアウト１とテンプレートデータとのマッチング精度を向上させることができる。このような方法によれば、マッチング処理が実施されるかもしれない原画像データについてのみしかテンプレートデータを作成しないので、不必要なテンプレートデータの作成時間及び保存容量を省略することができる。
【００５２】
また、勿論、バッジ処理で行っても構わない。即ち、図３（Ｄ）に示すように、ユーザからの一括テンプレート作成実行指示があったとき（ステップＳ２２１）、ストレージ２０内のテンプレート未作成原画像データを選別して（ステップＳ２２２）、それら選別したテンプレート未作成原画像データに対して一括テンプレート作成処理を実行する（ステップＳ２２３）。この一括テンプレート作成処理は、個々のテンプレート未作成原画像データから特徴量を抽出してテンプレートデータを作成し（ステップＳ２２３Ａ）、それら作成したテンプレートデータを対応する原画像データに関連付けてストレージ２０に保存するものである（ステップＳ２２３Ｂ）。
【００５３】
さらには、ユーザの指示入力によって、個別に処理しても良い。即ち、図３（Ｅ）に示すように、ユーザが、ストレージ２０内の原画像データの一つを選択し（ステップＳ２３１）、その選択した原画像データについてテンプレートデータの作成の指示を行うことで（ステップＳ２３２）、その選択された原画像データから特徴量を抽出してテンプレートデータを作成し（ステップＳ２３３）、その作成したテンプレートデータを上記選択された原画像データに関連付けてストレージ２０に保存する（ステップＳ２３４）。
【００５４】
以上のように、これまで、プリントアウトしてしまった画像データを再プリントしようとするとき、画像データの付帯情報（ファイル名、撮影日時、等）を参考にユーザが検索する事が多かったが、本実施形態に係る領域抽出装置を適用した検索システムによれば、デジタルカメラ１０にて所望の検索元プリントアウト１の画像を撮影するだけで、原画像のファイル（画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。
【００５５】
加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。
【００５６】
なお、上記ステップＳ１２乃至Ｓ１７の処理は、デジタルカメラ１０内で実施するものとして説明したが、デジタルカメラ１０と別体でストレージ２０を存在させる場合には、そのような処理をソフトウェアとしてストレージ２０にて起動させる、或いはデジタルカメラ１０とストレージ２０とに分割した形で起動させることで実際に動作させることも可能である。
【００５７】
以上のように、本実施形態に係る領域抽出装置は、抽出直線に基づく線分の交点を求める方式であるため、検索元プリントアウト１の各辺の一部が見えていれば良い。従って、複数枚の検索元プリントアウト１の中から目的とする検索元プリントアウト１を容易に抽出できる。特に、検索元プリントアウト１同士が一部重なり合ったような場合でも抽出が可能になる。
【００５８】
［第２実施形態］
次に、本発明の第２実施形態に係る領域抽出装置の適用された検索システムを説明する。
【００５９】
本実施形態は、前述したステップＳ１２でのプリントアウトの切り出し処理に特徴を有するものであり、その他は上記第１実施形態と同様であるので、その説明は省略する。本実施形態は、画像内を分割し、抽出線分を限定して、閉領域を抽出する方法を採用したものである。
【００６０】
即ち、本実施形態においては、検索モードにて検索元プリントアウト１をデジタルカメラ１０で撮影する際、図８に示すように、表示部１５にガイド枠１７を表示する。そして、このガイド枠１７によって区切られた上辺領域、下辺領域、左辺領域、及び右辺領域のそれぞれに、検索元プリントアウト１の上下左右の４辺の一つが入るように、ユーザに撮影を行わせる。なお、各領域の幅は、デジタルカメラ１０の設定モードにおいて十字キー等の操作により、ユーザが撮影し易い幅に設定できるものとする。
【００６１】
これにより、撮影画像データも同様に上辺、右辺、左辺、下辺の４つの領域に分割することができる。そして、上記第６実施形態で説明したような直線抽出では、上辺及び下辺領域については横線を、右辺及び左辺領域は縦線の検出のみを行う。このように限定する事で、計算量を大幅に減少させる事ができる。
【００６２】
図９（Ａ）は、本実施形態におけるプリントアウトの切り出し処理の動作フローチャートである。即ち、本実施形態においては、まず、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データにおける直線抽出領域を、現在のガイド枠１７の設定に基づいて決定する（ステップＳ１２５）。即ち、図９（Ｂ）に示すように、撮影画像データ１８に対し、上下左右４つの直線抽出領域を決定する。そして、その決定した各直線抽出領域の画像データ１８Ｕ，１８Ｄ，１８Ｌ，１８Ｒから直線を抽出する（ステップＳ１２６）。
【００６３】
即ち、上記第１実施形態では、画像データ内の全直線に対してハフ変換を行い、その直線上の点となるピクセルをカウントしたが、本実施形態では、図１０に示すように、各直線抽出領域における各辺の存在角度範囲が決まっている。
【００６４】
探索範囲は、処理領域サイズに応じて、以下のように決定する。
【００６５】
対角線角度θ＝±ａｔａｎ（処理領域高さ／処理領域幅）
縦線探索範囲：９０−θ〜９０＋θ
横線探索範囲：０〜θ，１８０−θ〜１８０
即ち、図１１の動作フローチャートに示すように、処理領域の幅と高さとを比較し（ステップＳ３１）、幅の方が大きければ、０〜ａｔａｎ（処理領域高さ／処理領域幅）及びπ−ａｔａｎ（処理領域高さ／処理領域幅）〜πの範囲の直線を抽出する（ステップＳ３２）。また、処理領域の幅よりも高さの方が大きければ、π／２−ａｔａｎ（処理領域幅／処理領域高さ）〜π／２＋ａｔａｎ（処理領域幅／処理領域高さ）の範囲の直線を抽出する（ステップＳ３３）。
【００６６】
このように探索領域に制限をかけたうえで、上記第６実施形態で説明したような手順により閉領域を決定していく（ステップＳ１２７）。そして、決定された閉領域は、デジタルカメラ１０の表示部１５に太線１６として提示される。
【００６７】
なお、画像データ内のノイズ等の影響により抽出領域が希望の領域では無かった場合（例えば、地面や水平線を検出してしまった場合）には、以下の手法により修正が可能である。
【００６８】
（ａ）上記ハフ変換におけるθ，ρ座標の輝度が第２位の直線を用いる。
【００６９】
（ｂ）ユーザが手動により選択抽出した直線を用いる。
【００７０】
勿論、上記第６実施形態で説明したように、ユーザが、上記抽出された閉領域を部分的に修正しても良い。
【００７１】
以上のように、本第２実施形態によれば、撮影画面内を分割し、各領域に検索元プリントアウト１の辺が入るように誘導する事で、検出範囲が限定され、計算量の軽減及び高速化を実現することができる。
【００７２】
なお、また、入力画像は静止画に限られるものでは無い。動画像が入力された場合には、各フレーム毎に処理を行い、逐次抽出領域を表示することが可能となる。また、複数フレームの情報を併せて評価し、例えばハフ変換におけるθ・ρ座標の輝度値にとらわれず、いずれのフレームにおいても抽出される直線、所定の複数フレームの中で出現回数の多い直線を候補とする事が可能となる。
【００７３】
また、入力画像は、プリンタでプリントアウトした検索元プリントアウト１に限定されるものではない。図１２（Ａ）に示すように、画像データを表示した表示デバイス４０を撮影し、その表示デバイス４０に表示された画像データを関心領域として抽出し、図１２（Ｂ）に示すように、太線１６を表示することも可能である。なおこの場合、図９（Ｂ）に示すように、各直線抽出領域の画像データ１８Ｕ，１８Ｄ，１８Ｌ，１８Ｒを黒画像データに置換し、太線１６をより識別可能に表示するようにしても良い。
【００７４】
［第３実施形態］
次に、本発明の第３実施形態に係る領域抽出装置の適用された検索システムを説明する。
【００７５】
本実施形態は、前述したステップＳ１２でのプリントアウトの切り出し処理に特徴を有するものであり、その他は上記第１実施形態と同様であるので、その説明は省略する。本実施形態は、エッジ抽出により、閉領域を抽出する方法を採用したものである。
【００７６】
図１３（Ａ）は、本実施形態におけるプリントアウトの切り出し処理の動作フローチャートを示している。
【００７７】
即ち、デジタルカメラ１０で撮影された検索元プリントアウト１の画像を含む画像データから、フィルタを用いてエッジを抽出する（ステップＳ１２１）。次に、それら検出したエッジを探索していき（ステップＳ１２８）、エッジの形状から領域を決定する（ステップＳ１２９）。
【００７８】
このような方法によっても、閉領域を抽出することができる。
【００７９】
また、図１３（Ｂ）に示すような手法でプリントアウトの切り出し処理を行っても良い。
【００８０】
即ち、まず、撮影された画像データ中の線分を検出し（ステップＳ１２Ａ）、それら検出された線分の中から直線を検出する（ステップＳ１２Ｂ）。そして、それら検出した直線４本で構成される枠を推定する（ステップＳ１２Ｃ）。即ち、４辺に囲まれた関心領域を撮影された画像データ中から探し出す。なお、そのような４辺に囲まれた領域が複数ある場合には、その中で最も面積の大きい部分を関心領域として抽出したり、或いは矩形の縦横比などから関心領域を特定すれば良い。また、まれに、撮影された画像データの中で検索元プリントアウト１自体がそりを生じ、その結果、４辺に囲まれた領域と特定できないことがある。この場合、４辺の内幾つかが緩い円弧で構成されていてもそれを許容するような処理を行うことも有効である。また、ここで検索元プリントアウト１と見られる領域を抽出した後、その画像データ領域をアフィン変換等により正規化する処理も含んでいる。
【００８１】
［第４実施形態］
次に、図１を参照して、本発明の第４実施形態に係る領域抽出装置の適用された検索システムの概略を説明する。
【００８２】
即ち、本検索システムは、デジタルカメラ１０と、ストレージ２０と、プリンタ３０と、パーソナルコンピュータ（ＰＣ）５０とから構成される。ここで、ストレージ２０は、ＰＣ５０に内蔵乃至は通信によってアクセス可能な記憶装置である。また、ＰＣ５０は、デジタルカメラ１０に無線／有線接続される、もしくは、デジタルカメラ１０から取り外されたメモリを装着して、デジタルカメラ１０のメモリに保存された画像データを読み出し可能に構成されている。
【００８３】
このような構成において、（１）まず、デジタルカメラ１０は、プリンタ３０によって一旦プリントアウトされた検索元プリントアウト１の画像を含む被写体を撮影する。（２）ＰＣ５０は、得られた撮影画像データから、その検索元プリントアウト１の画像に対応する領域を抽出し、その抽出した領域の特徴量を抽出する。（３）そして、その抽出した特徴量によってストレージ２０に格納されたテンプレートとテンプレートマッチング処理を実行する。（４）その結果、マッチしたテンプレートに対応する画像データを、上記検索元プリントアウト１の原画像データであるとして読み出す。（５）これにより、その読み出した原画像データを、再び、プリンタ３０でプリントアウトすることができる。
【００８４】
以下、第４実施形態に係る領域抽出装置を適用した検索システムを詳細に説明する。  
図１４（Ａ）はそのような検索システムのブロック構成図であり、図１５はその動作フローチャートである。即ち、本実施形態は、デジタルカメラ１０で撮影された画像データをそのユーザが特定するＰＣ５０に内蔵又は接続されたストレージ２０に蓄積し、且つ図１５にＰＣ側として示す処理がアプリケーションソフトウェアとしてＰＣ５０にて動作する場合である。なお、ＰＣ５０とデジタルカメラ１０を有線或いは無線で接続し、通信状態を確立した状態で、本アプリケーションソフトウェアを立ち上げるものである。これは、デジタルカメラ１０に設定された“検索モード”等といったスイッチを入れる操作によって機能が起動される状態でも構わない。
【００８５】
このように本アプリケーションソフトウェアが動作したところで、デジタルカメラ１０側にて、プリントアウトの撮像処理が実行される（ステップＳ１１）。これは、図１４（Ｂ）に示すように、ユーザが、再度プリントアウトすることを望む検索元プリントアウト１をテーブル上或いは壁面等に貼付した状態で、デジタルカメラ１０の撮像部１１により、少なくとも上記検索元プリントアウト１の欠けが無いように撮影することで、得られた撮影画像データがデジタルカメラ１０内のメモリである記憶部１９に保存される（ステップＳ１１１）。そして、その保存された撮影画像データが、有線或いは無線で、接続されたＰＣ５０に転送される（ステップＳ１１２）。
【００８６】
すると、ＰＣ５０においては、アプリケーションソフトウェアにより実現される領域抽出部５１にて、上記送信されてきた撮影画像データ中から、上記検索元プリントアウト１の画像を特定し、その部分を特定・抽出するためのプリントアウトの切り出し処理を実行する（ステップＳ１２）。このプリントアウトの切り出し処理は、前述した第１乃至第３実施形態で説明したようなものである。
【００８７】
次に、アプリケーションソフトウェアにより実現される特徴量抽出部５２によって、上記特定・抽出された関心領域から特徴量を抽出する処理を行う（ステップＳ１３）。なお、上記切り出し処理及び特徴量抽出処理は、デジタルカメラ１０側で行うようにしても良い。そのようにすれば、デジタルカメラ１０からＰＣ５０への通信量を少なくすることができる。
【００８８】
その後、アプリケーションソフトウェアにより実現されるマッチング部５３により、上記抽出した特徴量データを、ストレージ２０に構成した撮影済み画像データの特徴量データベースと比較し、その類似度の高いものを順に抽出するＤＢとのマッチング処理を実行する（ステップＳ１４）。即ち、算出された特徴量データを元にＰＣ５０側のマッチング部５３にて、ストレージ２０の画像データそれぞれに同梱される（或いは包括的にデータベース化された）特徴量データ群と比較し、最も近いものを選び出す。設定により、最も近い複数の特徴量候補を選出する事も使い勝手において有効である。この特徴量データには、その特徴量を算出した原画像データの指定情報が含まれており、それに従い候補画像を呼び出す。
【００８９】
その後、上記選出された原画像候補（或いは候補画像群）の画像データをストレージ２０から読み出して、該ＰＣ５０のディスプレイである表示部５４に抽出すべき画像候補として表示し（ステップＳ１５）、ユーザによる選択を受け付ける。このとき、上記選出された原画像候補（或いは候補画像群）の画像データをそのままか、適宜圧縮した状態で、ＰＣ５０よりデジタルカメラ１０に転送し、デジタルカメラ１０の表示部１５上に表示するようにしても構わない（ステップＳ３１）。
【００９０】
そして、マウス等の操作による選択に応じて、ストレージ２０に格納されている当該画像候補に対応する原画像データを、接続されたプリンタ３０に送り、再度プリントアウトする（ステップＳ１８）。即ち、上記表示された原画像候補をユーザの判断により決定し、印刷プロセスに渡すことにより当初の目的であるプリントアウト済み画像の再印刷がユーザにとっては簡単に行えるものである。なおこのとき、単純に印刷するばかりではなく、候補画像として複数選択した中でユーザ判断によっては、「狙いの元画像とは異なるが、類似の画像を集めた」ことになり、類似の画像データを一括検索する機能の実現にも繋がっている。
【００９１】
なお、本実施形態においては、特徴量データベースの作成は、デジタルカメラ１０からＰＣ５０を介したストレージ２０への撮影画像データの転送時に行うようにしても良い。即ち、図１４（Ｃ）に示すように、デジタルカメラ１０からＰＣ５０への撮影画像データの転送を開始し（ステップＳ２４１）、ＰＣ５０により、その転送されてきた撮影画像データをストレージ２０に保存すると共に（ステップＳ２４２）、その撮影画像データからテンプレートデータを作成する（ステップＳ２４３）。そして、その作成したテンプレートデータをストレージ２０に上記撮影画像データに関連付けて保存する（ステップＳ２４４）。
【００９２】
以上のように、本第４実施形態においても、上記第１乃至第３実施形態と同様、デジタルカメラ１０にて所望の検索元プリントアウト１の画像を撮影するだけで、原画像のファイル（画像データ）にアクセスすることが可能となり、直感的且つユーザの使い勝手の良い検索方法を提供することが可能である。
【００９３】
加えて、原画像データそのもののみならず、類似の画像構成の画像データを検索することも可能であり、副次的ながら新規な用途を提供できる。即ち、街頭の看板やポスター等をこの所謂検索モードで撮影し、デジタルカメラ１０に付属するメモリや通信を介してアクセス可能なデータベース等のストレージ２０に存在する画像データ及びその特徴量データの中から類似或いは同一の画像データを容易に検索可能となる。更には、そのデータに紐付くインターネットサイトをＰＣ５０やデジタルカメラ等のディスプレイで表示したり、特定のアプリケーション（音声・動画等）を作動させることなどが可能となる。
【００９４】
なお、上記説明では、デジタルカメラ１０を用いたが、本実施形態はそれに限定されるものではなく、スキャナであっても構わない。
【００９５】
また、実際にプリントアウトした検索元プリントアウト１をデジタルカメラ１０で撮影しているが、例えば検索元プリントアウト１を撮影した画像を表示している表示デバイス４０をデジタルカメラ１０で撮影しても同様に実施可能である。
【００９６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００９７】
例えば、デジタルカメラは、静止画を撮影するデジタルスチルカメラに限定するものではなく、動画像を撮影するデジタルムービーカメラも含む。また、通信機能を備えたデジタルカメラであるカメラ付携帯電話機・ＰＨＳや、固定テレビ電話等の撮像機能付通信装置も含む。
【００９８】
本発明の応用範囲として、カメラ付携帯電話やデジタルカメラは言うに及ばず、画像で認証するタイプのセキュリティーシステム等、一般的にカメラによりデジタル画像を撮影・蓄積するシステムにおいては広範な利用が期待できる。
【図面の簡単な説明】
【００９９】
【図１】図１は本発明の第１実施形態に係る領域抽出装置の適用された検索システムの概略構成を示す図である。
【図２】図２（Ａ）は第１実施形態の検索システムのブロック構成図、図２（Ｂ）はその動作フローチャートを示す図であり、図２（Ｃ）はプリントアウトの切り出し処理の詳細フローチャートを示す図である。
【図３】図３（Ａ）はＤＢとのマッチング処理の詳細フローチャートを示す図であり、図３（Ｂ）乃至（Ｅ）はそれぞれ特徴量データベースの作成方法を説明するためのフローチャートを示す図である。
【図４】図４（Ａ）は画像候補を１点だけ表示する場合のデジタルカメラの表示部の表示画面を示す図であり、図４（Ｂ）は９点の画像候補を表示する場合の表示画面を示す図である。
【図５】図５はエッジ抽出フィルタを説明するための図である。
【図６】図６はハフ変換を説明するための図である。
【図７】図７（Ａ）は撮影画像視野内に注目領域が一つしかない場合の直線の抽出の例を示す図であり、図７（Ｂ）は複数の注目領域がある場合の直線の抽出の例を示す図である。
【図８】図８は本発明の第２実施形態におけるガイド枠と、それによって区切られた上辺領域、下辺領域、左辺領域、及び右辺領域を説明するための図である。
【図９】図９（Ａ）は第２実施形態におけるプリントアウトの切り出し処理の詳細フローチャートを示す図であり、図９（Ｂ）は撮影画像データと各直線抽出領域の画像データとの関係を説明するための図である。
【図１０】図１０は各直線抽出領域における各辺の存在角度範囲を説明するための図である。
【図１１】図１１は各直線抽出領域から直線を抽出する処理の詳細フローチャートを示す図である。
【図１２】図１２（Ａ）は画像データを表示した表示デバイスの撮影時のデジタルカメラの表示例を示す図であり、図１２（Ｂ）は関心領域抽出処理終了時の表示例を示す図である。
【図１３】図１３（Ａ）は本発明の第３実施形態におけるプリントアウトの切り出し処理の詳細フローチャートを示す図であり、図１３（Ｂ）はプリントアウトの切り出し処理の別の例を示す詳細フローチャートを示す図である。
【図１４】図１４（Ａ）は本発明の第４実施形態に係る領域抽出装置の適用された検索システムのブロック構成図、図１４（Ｂ）はプリントアウトの撮像処理の詳細フローチャートを示す図であり、図１４（Ｃ）は特徴量データベースの作成方法を説明するためのフローチャートを示す図である。
【図１５】図１５は第４実施形態の検索システムの動作フローチャートを示す図である。
【符号の説明】
【０１００】
１…検索元プリントアウト、  １０…デジタルカメラ、  １１…撮像部、  １２，５１…領域抽出部、  １３，５２…特徴量抽出部、  １４，５３…マッチング部、  １５，５４…表示部、  １６…太線、  １７…ガイド枠、  １８…撮影画像データ、  １８Ｕ，１８Ｄ，１８Ｌ，１８Ｒ…直線抽出領域の画像データ、  １９…記憶部、  ２０…ストレージ、  ２１…１次特徴量のマッチングサーバ及び１次情報ＤＢ、  ２２…２次特徴量のマッチングサーバ及び２次情報ＤＢ、  ２ｎ…ｎ次特徴量のマッチングサーバ及びｎ次情報ＤＢ、  ３０…プリンタ、  ５０…パーソナルコンピュータ（ＰＣ）、  ４０…表示デバイス、  １５１…画像候補、  １５２…『前』及び『次』アイコン、  １５３…『決定』アイコン、  １５４…太枠。
【図１】
2007011762.tif 000003
【図２】
2007011762.tif 000004
【図３】
2007011762.tif 000005
【図４】
2007011762.tif 000006
【図５】
2007011762.tif 000007
【図６】
2007011762.tif 000008
【図７】
2007011762.tif 000009
【図８】
2007011762.tif 000010
【図９】
2007011762.tif 000011
【図１０】
2007011762.tif 000012
【図１１】
2007011762.tif 000013
【図１２】
2007011762.tif 000014
【図１３】
2007011762.tif 000015
【図１４】
2007011762.tif 000016
【図１５】
2007011762.tif 000017