(57)【要約】  特徴量記憶部８１は、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた、その注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な登録画像特徴量を記憶する。対応特徴点検出部８２は、検索画像中の注目する特徴点ごとに特徴点配置に基づいて算出される幾何学的変換に不変な検索画像特徴量と、登録画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する。対応領域判定部８３は、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する。
2014061221.tif 000002
【特許請求の範囲】
【請求項１】
検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出装置であって、
登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量を記憶する特徴量記憶部と、
検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量と、前記登録画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出部と、
前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定部とを備えた
ことを特徴とする画像部分領域抽出装置。
【請求項２】
対応特徴点検出部は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、
対応領域判定部は、前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出する
請求項１記載の画像部分領域抽出装置。
【請求項３】
特徴量記憶部は、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域である連結領域から選択される特徴点の集合を特徴点配置とし、当該特徴点配置に基づいて算出される登録画像特徴量を記憶し、
対応領域判定部は、連結対象ノードと所定の距離以内にある他の連結対象ノードを選択し、選択された連結対象ノードを含む前記連結領域から特定される部分領域を抽出する
請求項２記載の画像部分領域抽出装置。
【請求項４】
対応特徴点検出部は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて、検索画像中の特徴点と登録画像中の特徴点の組み合わせである特徴点一致履歴を生成し、
対応領域判定部は、前記特徴点一致履歴を用いて検索画像を登録画像に幾何変換するパラメータを算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する
請求項２または請求項３記載の画像部分領域抽出装置。
【請求項５】
対応領域判定部は、特徴点一致履歴に含まれる特徴点の組合せを用いて算出されたパラメータのうち、検索画像を登録画像に変換する確からしさがより高いパラメータを選択し、選択したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する
請求項４記載の画像部分領域抽出装置。
【請求項６】
検索画像から特徴点を抽出する特徴点抽出部と、
抽出された特徴点をもとに１つ以上の特徴点配置を生成する特徴点配置生成部と、
前記特徴点配置に基づいて検索画像特徴量を生成する検索画像特徴量生成部とを備え、
対応特徴点検出部は、前記検索画像特徴量と登録画像特徴量とを比較して対応特徴点を検出する
請求項１から請求項５のうちのいずれか１項に記載の画像部分領域抽出装置。
【請求項７】
検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出方法であって、
登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出し、
前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する
ことを特徴とする画像部分領域抽出方法。
【請求項８】
検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、
前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出する
請求項７記載の画像部分領域抽出方法。
【請求項９】
検索画像に相当する部分領域を登録画像から抽出するコンピュータに適用される画像部分領域抽出用プログラムであって、
前記コンピュータに、
登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出処理、および、
前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定処理
を実行させるための画像部分領域抽出用プログラム。
【請求項１０】
コンピュータに、
対応特徴点検出処理で、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出させ、
対応領域判定処理で、前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出させる
請求項９記載の画像部分領域抽出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索対象の画像に対応する画像の部分領域を登録画像から抽出する画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラムに関する。
【背景技術】
【０００２】
特許文献１には、蓄積画像群から類似した部分画像を検出する部分画像検索システムが記載されている。特許文献１に記載された部分画像検索システムは、累積特徴抽出部と、蓄積部分領域特徴抽出部と、索引付与部と、目的特徴抽出部と、目的部分領域特徴抽出部と、索引検索部と、特徴照合部と、照合結果判定部と、特徴再照合部と、照合結果再判定部と、検索結果候補選択部と、次目的部分領域特徴選択部と、次検索候補特徴選定部とから構成されている。【０００３】
特許文献１に記載された部分画像検索システムは、以下のステップＳ１からステップＳ１５までの動作を行う。【０００４】
（ステップＳ１）まず、累積特徴抽出部は、蓄積画像を読み込む。【０００５】
（ステップＳ２）次に、累積特徴抽出部は、入力された蓄積画像群の各画像から、画像の特徴である蓄積特徴を抽出する。【０００６】
（ステップＳ３）次に、蓄積部分領域特徴抽出部は、蓄積特徴の集合を読み込み、蓄積画像のある１つの箇所に、予め定められた所定の大きさの第１注目窓を設定する。そして、蓄積部分領域特徴抽出部は、設定された第１注目窓内に含まれる部分領域の画像の特徴（蓄積部分領域特徴）を抽出する。なお、第１注目窓は、各蓄積画像内において、予め定められた所定の間隔により複数設定され、各注目窓内の部分領域から蓄積部分領域特徴を抽出する。【０００７】
（ステップＳ４）次に、索引付与部は、蓄積部分領域特徴の集合を読み込み、各蓄積部分領域特徴のクラスタリングを行う。そして、索引付与部は、索引として、各部分領域特徴に対応する、ベクトル量子化の符号語を出力する。【０００８】
（ステップＳ５）次に、目的特徴抽出部は、目的画像を読み込む。この目的画像の大きさは、例えば、マージンと第１注目窓の大ききとの和（合計）以上に設定される。【０００９】
（ステップＳ６）次に、目的特徴抽出部は、目的画像から特徴の抽出を、上記蓄積特徴抽出部と同様の手法で行い、目的画像から抽出された特徴（目的特徴）の集合を出力する。【００１０】
（ステップＳ７）次に、目的部分領域特徴抽出部は、目的特徴抽出部が抽出した目的特徴の集合を読み込み、この目的画像のある１つの箇所に、蓄積部分領域特徴抽出部で用いた注目窓と同様の大きさ（縦×横）の注目窓（すなわち、第１注目窓）を用い、この第１注目窓内に含まれる画像の特徴（目的部分領域特徴）を抽出する。また、目的部分領域特徴抽出部は、上記蓄積部分領域特徴抽出部と同様の抽出方法を用いて、画像の特徴を抽出して、抽出結果を目的部分領域特徴の集合として出力する。【００１１】
ここで、目的部分領域特徴抽出部は、蓄積部分領域特徴抽出部における特徴抽出の場合と異なり、第１注目窓を、目的画像内に重複することもなく、かつ隙間もない状態に設定し、それらを１ ピクセルずつずらしながら、各位置において目的部分領域特徴の抽出を行う。【００１２】
（ステップＳ８）次に、索引検索部は、索引付与部から出力される索引と、目的部分領域特徴抽出部から出力される目的部分領域特徴の集合とを読み込み、読み込んだ索引を用いて、目的部分領域特徴の集合に類似する蓄積部分領域特徴を、検索候補特徴として抽出する。【００１３】
（ステップＳ９）次に、特徴照合部は、目的部分領域特徴の集合と検索候補特徴の集合とを読み込み、両集合の照合を行う。このとき、特徴照合部は、照合計算（検索候補特徴と目的部分領域特徴との間の距離の演算）の結果として、照合した検索候補特徴と目的部分領域特徴との距離値ｄ(ω)を出力する。【００１４】
（ステップＳ１０）次に、照合結果判定部は、距離値ｄ(ω)を読み込み、目的画像と類似する部分画像が、現在の照合箇所に存在する可能性があるか否かを判定する。照合結果判定部は、目的画像と類似する部分画像が現在の照合箇所に存在する可能性があると判定した場合、蓄積部分領域特徴を照合箇所として出力する。一方、目的画像と類似する部分画像が現在の照合箇所に存在する可能性がないと判定した場合、以下に示すステップＳ１４の処理が行われる。【００１５】
（ステップＳ１１）次に、特徴再照合部は、蓄積特徴の集合と目的特徴の集合と照合箇所とを読み込み、読み込んだ蓄積特徴に、目的画像と同じ大きさ（縦×横）の注目窓である第２注目窓を設定する。そして、特徴再照合部は、第２注目窓内の蓄積特徴と目的特徴との距離値ｄを出力する。【００１６】
（ステップＳ１２）次に、照合結果再判定部は、距離値ｄを読み込み、目的画像と類似する部分画像が現在の照合箇所に存在する可能性があるか否か判定する。照合結果再判定部は、目的画像と類似する部分画像が現在の照合箇所に存在すると判定した場合、蓄積画像における照合箇所を検出箇所として、この検出箇所の位置及び判定結果を出力する。一方、目的画像と類似する部分画像が現在の照合箇所に存在しないと判定した場合、以下に示すステップＳ１４の処理が行われる。【００１７】
（ステップＳ１３）そして、検索結果候補選択部は、蓄積画像から検索結果候補を出力する。【００１８】
（ステップＳ１４）次目的部分領域特徴選定部は、次に照合する目的部分領域特徴の有無の検出を行う。照合箇所がないことが検出されると、以下に示すステップＳ１５の処理が行われる。一方、照合箇所があることが検出されると、次に照合する目的部分領域特徴が選択され、ステップＳ９以降の処理が行われる。【００１９】
（ステップＳ１５）次検索候補特徴選定部は、検索候補特徴の集合を読み込み、次に照合すべき検索候補特徴を選択する。次検索候補特徴選定部は、照合する検索候補特徴がない場合、処理を終了し、照合する検索候補特徴がある場合、次に照合すべき検索候補特徴を選択する。その後、ステップＳ９以降の処理が行われる。【００２０】
なお、特許文献２には、画像から特徴点を抽出する方法が記載されている。また、特許文献３には、二つの連結領域の面積比がアフィン変換に対する不変量として算出されることが記載されている。【００２１】
また、特許文献４には、少なくとも２種類の媒体（例えば、第１媒体として印刷された用紙、第２媒体としてディジタルコンテンツ）を含む混合メディア書類を形成する混合メディア書類システムが記載されている。特許文献４に記載されたシステムは、インデックステーブルと共に構築されたコンテンツベースの検索データベースを含み、テキストベースのインデックスを用いてコンテンツを探索する。また、特許文献４に記載されたシステムでは、印刷書類から抽出されたオブジェクト間の２次元の幾何学的な位置関係がインデックステーブルに記憶され、書類の候補は、インデックステーブルから所与のデータを元に算出される。【００２２】
また、特許文献５には、検索キー画像と類似の特徴を持つ領域を含む画像を検索する画像検索装置が記載されている。特許文献５に記載された画像検索装置は、登録画像中の複数の領域について特徴量を抽出し、抽出した特徴量と検索キー画像から抽出した特徴量とを比較して、検索キー画像と類似した領域を含む類似画像を検索する。【００２３】
また、特許文献６には、撮像されたデジタル画像の特徴点から計算された特徴量と、データベース中に登録された文書・画像の特徴点から求められた特徴量とを比較して、撮像されたデジタル画像に対応する文書・画像をデータベースから検索する方法が記載されている。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開２００５−３５２９９０号公報（段落００１５〜００６１）
【特許文献２】ＷＯ２０１０／０５３１０９号公報
【特許文献３】ＷＯ２００９／１１０４１０号公報（段落００７０〜００７４）
【特許文献４】特表２００９−５０６３９４号公報
【特許文献５】特開２００２−２４５０４８号公報
【特許文献６】ＷＯ２００６／０９２９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
特許文献１に記載された部分画像検索システムでは、蓄積画像の解像度や撮影角度のバリエーションが大きい場合、部分領域を抽出するのが難しいという課題がある。また、特許文献１に記載された部分画像検索システムを用いて目的画像に相当する領域を蓄積画像から抽出する場合、検索対象の大きさや撮影角度などのバリエーションが大きい場合には、部分領域を抽出するのが難しいという課題がある。その理由は、検索対象の大きさや撮影角度のバリエーションがある検索画像に対して、部分画像の注目窓サイズを予め一定に定めておくことが難しいためである。【００２６】
また、特許文献５に記載された画像検索装置では、登録画像を分割した矩形ごとに特徴量を保持しているため、検索する画像の解像度および撮影角度が、登録されている画像の解像度および撮影角度と一致していないと、適切に検索できないという課題がある。【００２７】
また、特許文献６に記載された方法を用いた場合、データベースに登録された文書や画像を検索することはできても、その文書や画像の部分的な領域は検出できない。【００２８】
そこで、本発明は、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できる画像部分領域抽出装置、画像部分領域抽出方法および画像部分領域抽出用プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２９】
本発明による画像部分領域抽出装置は、検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出装置であって、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされたその注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される、幾何学的変換に不変な特徴量である登録画像特徴量を記憶する特徴量記憶部と、検索画像中の注目する特徴点ごとに特徴点配置に基づいて算出される、幾何学的変換に不変な特徴量である検索画像特徴量と、登録画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出部と、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定部とを備えたことを特徴とする。【００３０】
本発明による画像部分領域抽出方法は、検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出方法であって、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされたその注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出し、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出することを特徴とする。【００３１】
本発明による画像部分領域抽出用プログラムは、検索画像に相当する部分領域を登録画像から抽出するコンピュータに適用される画像部分領域抽出用プログラムであって、コンピュータに、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされたその注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出処理、および、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定処理を実行させることを特徴とする。
【発明の効果】
【００３２】
本発明によれば、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できる。
【図面の簡単な説明】
【００３３】
【図１】本発明による画像部分領域抽出装置の第１の実施形態の構成例を示すブロック図である。
【図２】連結領域の例を示す説明図である。
【図３】登録処理の動作例を示すフローチャートである。
【図４】第１の実施形態の検索処理の動作例を示すフローチャートである。
【図５】対応特徴点を検出する動作例を示すフローチャートである。
【図６】対応領域を決定する動作例を示すフローチャートである。
【図７】連結対象ノードの例を示す説明図である。
【図８】連結対象ノード間に付加されたエッジの例を示す説明図である。
【図９】出力領域の例を示す説明図である。
【図１０】画像部分領域抽出装置を実現可能な情報処理システムの構成例を示すブロック図である。
【図１１】本発明による画像部分領域抽出装置の第２の実施形態の構成例を示すブロック図である。
【図１２】第２の実施形態の検索処理の動作例を示すフローチャートである。
【図１３】対応特徴点対を検出する動作例を示すフローチャートである。
【図１４】特徴点一致履歴を生成する例を示す説明図である。
【図１５】対応領域を推定する動作例を示すフローチャートである。
【図１６】出力領域を推定する動作例を示すフローチャートである。
【図１７】情報処理装置の例を示すブロック図である。
【図１８】第３の実施形態で示す情報処理装置の動作例を示すフローチャートである。
【図１９】アクション情報を判定する動作例を示すフローチャートである。
【図２０】本発明の画像部分領域抽出装置の概要を示すブロックである。
【発明を実施するための形態】
【００３４】
次に、本発明を実施するための最良の形態を図面を参照して詳細に説明する。
【００３５】
実施形態１．
図１は、本発明による画像部分領域抽出装置の第１の実施形態の構成例を示すブロック図である。本実施形態の画像部分領域抽出装置は、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とを備えている。
【００３６】
これらの手段はそれぞれ概略次のように動作する。
【００３７】
登録画像特徴点生成部Ｒ２０１は、登録画像から特徴点を生成する。具体的には、登録画像特徴点生成部Ｒ２０１は、既知の方法を用いて登録画像から特徴点を生成する。登録画像特徴点生成部Ｒ２０１は、例えば、二値化または色空間クラスタリング等の方法を用いて、登録画像から連結領域を抽出し、各連結領域の重心点を抽出して特徴点としてもよい。連結領域とは、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域であり、画像処理の分野においては既知の概念である。また、非連結領域とは、連結領域以外の領域である。
【００３８】
図２は、連結領域の例を示す説明図である。図２に示す例では、「Ａ」という文字が記載された画像５０から１つの連結領域５１が抽出され、その連結領域５１の重心点を特徴点５２として抽出したことを示す。また、図２に示す例では、「Ａ」という文字を形成する画素の集合が連結領域に相当する。
【００３９】
ただし、登録画像特徴点生成部Ｒ２０１が特徴点を抽出する方法は、上記方法に限定されない。登録画像特徴点生成部Ｒ２０１は、例えば、特許文献２に記載された登録画像特徴点抽出モジュールが特徴点を抽出する方法を利用してもよいし、特徴点を抽出する前にガウシアンフィルタ等のフィルタを適用してもよい。以下、登録画像特徴点生成部Ｒ２０１が連結領域の重心点を特徴点として抽出する方法を例に説明する。
【００４０】
登録画像特徴点配置生成部Ｒ２０２は、登録画像特徴点生成部Ｒ２０１により求められた特徴点から１つ以上の特徴点配置を生成する。具体的には、登録画像特徴点配置生成部Ｒ２０２は、既知の方法を用いて特徴点配置を生成する。ここで、特徴点配置とは、所定の規則に基づいて順序付けされた互いに近傍に存在する特徴点の集合を示す。
【００４１】
登録画像特徴点配置生成部Ｒ２０２は、例えば、特許文献２に記載された方法を用いて特徴点配置を生成してもよい。具体的には、登録画像特徴点配置生成部Ｒ２０２は、登録画像から抽出した各特徴点を注目特徴点とし、以下の手順に従って特徴点配置を生成してもよい。
【００４２】
まず、登録画像特徴点配置生成部Ｒ２０２は、登録画像から得られた特徴点（注目特徴点）の近傍に存在する特徴点群を求める。次に、登録画像特徴点配置生成部Ｒ２０２は、各注目特徴点から最近傍にある特徴点を第１要素として選択する。そして、登録画像特徴点配置生成部Ｒ２０２は、注目特徴点を端点として第１要素とした特徴点を通る半直線を想定し、その半直線を上記端点（注目特徴点）を中心に回転させる。このとき、登録画像特徴点配置生成部Ｒ２０２は、他の特徴点が半直線と交わる順に第２要素以降の特徴点を順次選択する。
【００４３】
登録画像特徴量生成部Ｒ２０３は、登録画像特徴点配置生成部Ｒ２０２によって生成された特徴点配置のそれぞれに対して、特徴量を計算する。ここで算出される特徴量は、幾何学的変換に不変な特徴量である。この特徴量を計算する方法の一例として、特許文献２に記載された不変量の計算方法が利用できる。
【００４４】
登録画像特徴量生成部Ｒ２０３は、特徴点配置内の特徴点に予め付与された順序と、幾何学的不変量を計算するための特徴点の順列とを１つ以上対応付け、対応付けられた各々の特徴点順列から不変量を計算してもよい。また、登録画像特徴量生成部Ｒ２０３は、複数の特徴点を結んで形成される１つ以上の三角形を生成し、各三角形の面積に基づいて算出された不変量を特徴量としてもよい。以下の説明では、上述する各三角形の面積に基づいて特徴量を計算する方法を、三角形に基づく不変量計算法と呼ぶ。
【００４５】
ただし、登録画像特徴量生成部Ｒ２０３が特徴量を計算する方法は、三角形に基づく不変量計算法に限定されない。登録画像特徴量生成部Ｒ２０３は、例えば、特許文献３に記載された方法を用いて特徴量を計算してもよい。具体的には、登録画像特徴量生成部Ｒ２０３は、特徴点を抽出するために登録画像特徴点生成部Ｒ２０１が抽出した各連結領域の面積比を特徴量としてもよい。
【００４６】
特許文献３に記載されているように、二つの連結領域の面積比は、アフィン変換に対する不変量である。例えば、登録画像が二値化されている場合、連結領域は黒画素の領域として表わされる。ここで、特徴点集合に含まれる特徴点の個数をｎとすると、以下に示す式ａ１から式ａｎを順に並べたものは、アフィン変換による変形に不変な性質を持つ特徴量になる。
【００４７】
（第１特徴点を計算する元である連結領域の黒画素数）／（第２特徴点を計算する元である連結領域の黒画素数）      ・・・式ａ１
（第２特徴点を計算する元である連結領域の黒画素数）／（第３特徴点を計算する元である連結領域の黒画素数）      ・・・式ａ２
・・・
（第ｎ−１特徴点を計算する元である連結領域の黒画素数）／（第ｎ特徴点を計算する元である連結領域の黒画素数）  ・・・式ａｎ−１
（第ｎ特徴点を計算する元である連結領域の黒画素数）／（第１特徴点を計算する元である連結領域の黒画素数）      ・・・式ａｎ
【００４８】
また、注目特徴点付近において局所的にアフィン変換で近似できる場合、式ａ１から式ａｎを順に並べて算出される特徴量は、射影変換に対しても擬似的に不変な性質を持つ特徴量になる。以下の説明では、連結領域の黒画素数の比により不変量（特徴量）を求める方法を、連結領域面積に基づく不変量計算法と呼ぶ。
【００４９】
なお、ここでは、二値化された登録画像を用いた場合を例示して連結領域面積に基づく不変量計算法を説明したが、用いられる登録画像は、二値化された登録画像に限定されない。例えば、色空間クラスタリング等の方法を用いて登録画像から連結領域が抽出されている場合、登録画像特徴量生成部Ｒ２０３は、クラスタ化された色空間に含まれる画素により連結領域が抽出されていると判断し、各連結領域の画素数の比により不変量（特徴量）を求めてもよい。
【００５０】
以上に述べた特徴量は、単独で用いられてもよいし、２つ以上の特徴量を組み合わせて用いられてもよい。以下の例では、三角形に基づく不変量計算法により求められる特徴量と、連結領域面積に基づく不変量計算法により求められる特徴量とを組み合わせて用いるものとし、両特徴量を組み合わせたものを、特徴点配置に対する特徴量、または、単に特徴量と記す。このように、登録画像について、注目特徴点ごとに特徴点配置に基づいて幾何学的変換に不変な特徴量が算出される。なお、登録画像特徴量生成部Ｒ２０３は、算出された特徴量を記憶する登録画像特徴量記憶装置（図示せず）を含んでいてもよい。この場合、登録画像特徴量生成部Ｒ２０３は、算出された特徴量を登録画像特徴量記憶装置に記憶する。
【００５１】
検索画像特徴点生成部Ｑ２０１は、検索画像から特徴点を生成する。検索画像特徴点生成部Ｑ２０１は、例えば、既知の方法で検索画像から特徴点を生成してもよいし、登録画像特徴点生成部Ｒ２０１が登録画像から特徴点を生成する方法と同一の方法を用いて特徴点を生成してもよい。ただし、検索画像特徴点生成部Ｑ２０１が特徴点を生成する方法は、これらの方法に限定されない。
【００５２】
検索画像特徴点配置生成部Ｑ２０２は、特徴点配置を生成する。検索画像特徴点配置生成部Ｑ２０２は、例えば、既知の方法で特徴点配置を生成してもよいし、登録画像特徴点配置生成部Ｒ２０２が特徴点から特徴点配置を生成する方法と同一の方法を用いて特徴点配置を生成してもよい。ただし、検索画像特徴点配置生成部Ｑ２０２が特徴点配置を生成する方法は、これらの方法に限定されない。
【００５３】
検索画像特徴量生成部Ｑ２０３は、検索画像特徴点配置生成部Ｑ２０２によって生成された特徴点配置のそれぞれに対して、特徴量を計算する。検索画像特徴量生成部Ｑ２０３は、登録画像特徴量生成部Ｒ２０３が特徴量を計算する方法と同一の方法を用いて特徴量を計算してもよい。ただし、検索画像特徴量生成部Ｑ２０３が特徴量を計算する方法は、この方法に限定されない。このように、検索画像についても、注目特徴点ごとに特徴点配置に基づいて幾何学的変換に不変な特徴量が算出される。
【００５４】
対応特徴点検出部２０４は、登録画像特徴量生成部Ｒ２０３が生成した特徴量と検索画像特徴量生成部Ｑ２０３が生成した特徴量を比較することで、各々の特徴量が生成された元となる特徴点配置同士が一致しているかどうかを判定する。
【００５５】
そして、対応特徴点検出部２０４は、この一致しているかどうかの判定結果を利用して、検索画像の特徴点に対応する特徴点（以下、対応特徴点と記す。）が登録画像のどこにあるか（すなわち、検索画像の特徴点が登録画像から抽出された特徴点のどれであるか）を検出する。この判定は、登録画像特徴量生成部Ｒ２０３で生成された特徴量と検索画像特徴量生成部Ｑ２０３で生成された特徴量のすべての組み合わせに対して行われるのが一例である。また、全ての特徴量の組合せに対して検出処理を行うのではなく、各特徴点に適切な索引を付与することで、検出処理を高速化してもよい。
【００５６】
対応領域判定部２０５は、対応特徴点検出部２０４にて検出された一致する特徴点配置を利用して、検索画像が登録画像中のどこに含まれているかを判定する。具体的には、対応領域判定部２０５は、対応特徴点により特定される登録画像中の部分領域を抽出する。
【００５７】
なお、対応特徴点検出部２０４および対応領域判定部２０５の詳細な動作については、後述される。
【００５８】
登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とは、プログラム（画像部分領域抽出用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、画像部分領域抽出装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、登録画像特徴点生成部Ｒ２０１、登録画像特徴点配置生成部Ｒ２０２、登録画像特徴量生成部Ｒ２０３、検索画像特徴点生成部Ｑ２０１、検索画像特徴点配置生成部Ｑ２０２、検索画像特徴量生成部Ｑ２０３、対応特徴点検出部２０４および対応領域判定部２０５として動作してもよい。
【００５９】
また、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点検出部２０４と、対応領域判定部２０５とは、それぞれが専用のハードウェアで実現されていてもよい。
【００６０】
また、本実施形態では、画像部分領域抽出装置で特徴量を算出する構成を例示しているが、他の装置で算出された登録画像の特徴量および検索画像の特徴量を画像部分領域抽出装置の対応特徴点検出部２０４が受信する構成であってもよい。この場合、画像部分領域抽出装置は、対応特徴点検出部２０４および対応領域判定部２０５を備えていればよい。また、予め算出した登録画像の特徴量を、画像部分領域抽出装置の記憶部（図示せず）に記憶しておいてもよい。
【００６１】
次に、本実施形態の動作を説明する。ここでは、画像部分領域抽出装置が行う処理を登録処理と検索処理の大きく２つに分けて説明する。
【００６２】
「登録処理」
図３は、登録処理の動作例を示すフローチャートである。登録処理は、検索処理に先立って行われる処理であり、検索処理に必要な特徴量のデータを生成する処理である。図３を参照すると、登録処理は、登録画像特徴点生成処理（ステップＳＲ２０１）、登録画像特徴点配置生成処理（ステップＳＲ２０２）、登録画像特徴量生成処理（ステップＳＲ２０３）から構成される。
【００６３】
まず、登録画像特徴点生成部Ｒ２０１は、登録画像から特徴点を抽出する（ステップＳＲ２０１）。次に、登録画像特徴点配置生成部Ｒ２０２は、登録画像特徴点生成部Ｒ２０１が生成した特徴点をもとに１つ以上の特徴点配置を生成する（ステップＳＲ２０２）。そして、登録画像特徴量生成部Ｒ２０３は、登録画像特徴点配置生成部Ｒ２０２が生成した１つ以上の特徴点配置それぞれの特徴量を計算する（ステップＳＲ２０３）。
【００６４】
「検索処理」
図４は、本実施形態の検索処理の動作例を示すフローチャートである。検索処理は、検索画像から特徴量を計算し、その特徴量を登録画像から計算された特徴量と比較することにより、登録画像中から検索画像に相当する部分を判定する処理である。図４を参照すると、検索処理は、検索画像特徴点生成処理（ステップＳＱ２０１）、検索画像特徴点配置生成処理（ステップＳＱ２０２）、検索画像特徴量生成処理（ステップＳＱ２０３）、対応特徴点検出処理（ステップＳＱ２０４）、対応領域決定処理（ステップＳＱ２０５）から構成される。
【００６５】
まず、検索画像特徴点生成部Ｑ２０１は、検索画像から特徴点を抽出する（ステップＳＱ２０１）。次に、検索画像特徴点配置生成部Ｑ２０２は、検索画像特徴点生成部Ｑ２０１が生成した特徴点をもとに１つ以上の特徴点配置を生成する（ステップＳＱ２０２）。そして、検索画像特徴量生成部Ｑ２０３は、検索画像特徴点配置生成部Ｑ２０２が生成した１つ以上の特徴点配置それぞれの特徴量を計算する（ステップＳＱ２０３）。
【００６６】
次に、対応特徴点検出部２０４は、対応特徴点を検出する（ステップＳＱ２０４）。具体的には、対応特徴点検出部２０４は、検索画像中の特徴点に対応する登録画像中の特徴点を検出する。以下、図５を参照し、対応特徴点を検出する処理を詳述する。図５は、対応特徴点を検出するステップＳＱ２０４の動作例を示すフローチャートである。
【００６７】
図５を参照すると、対応特徴点を検出する処理は、特徴量比較処理（ステップＳＱ２０４１）、特徴量一致判定処理（ステップＳＱ２０４２）、特徴点一致回数カウント処理（ステップＳＱ２０４３）から構成される。登録画像特徴量生成部Ｒ２０３が生成した特徴量（以下、登録画像特徴量と呼ぶ。）と検索画像特徴量生成部Ｑ２０３が生成した特徴量（以下、検索画像特徴量と呼ぶ。）のすべての組み合わせについて、以下に述べるステップＳＱ２０４の処理が個別に行われる。
【００６８】
ステップＳＱ２０４では、まず、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量の組み合わせを比較する。対応特徴点検出部２０４は、例えば、２乗距離、市街地距離、ベクトル内積などの既知の方法で、登録画像特徴量と検索画像特徴量の距離を求めてもよい（ステップＳＱ２０４１）。また、対応特徴点検出部２０４は、以下に示す方法で登録画像特徴量と検索画像特徴量の距離を求めてもよい。この距離が近いほど、両特徴量の一致度合いが高いと言える。
【００６９】
まず、対応特徴点検出部２０４は、比較する特徴量を表す対応する要素（例えば、ベクトルの要素）ごとに差分を算出し、差分の絶対値が予め定められた範囲内にある場合には、距離に１を加算し、差分の絶対値が予め定められた範囲内にない場合には、０を加算する。対応特徴点検出部２０４は、すべての要素についてこれらの処理を繰り返すことで距離を算出する。この場合、算出される値が大きいほど距離が近く、より両特徴量の一致度合いが高いと言える。
【００７０】
対応特徴点検出部２０４は、上述した方法を複数組み合わせて、登録画像特徴量と検索画像特徴量の距離を算出してもよい。例えば、不変量特徴量と面積比特徴量をあわせて用いる場合、対応特徴点検出部２０４は、不変量特徴量については２乗距離を計算し、面積比特徴量については要素ごとに差分を取る方法で距離を計算してもよい。
【００７１】
次に、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量が一致しているかどうかを判定する（ステップＳＱ２０４２）。すなわち、対応特徴点検出部２０４は、登録画像特徴量と検索画像特徴量の一致度合いを比較する。登録画像特徴量と検索画像特徴量が一致すると判定された場合（ステップＳＱ２０４２における「一致」）、ステップＳＱ２０４３の処理が行われ、登録画像特徴量と検索画像特徴量が一致しないと判定された場合（ステップＳＱ２０４２における「不一致」）、ステップＳＱ２０４３の処理が省略される。
【００７２】
対応特徴点検出部２０４は、例えば、ステップＳＱ２０４１にて計算された距離が予め定められた閾値未満、または閾値以下の値の場合に、特徴量が一致すると判定してもよい。また、特徴量が複数の種類の特徴量から算出されている場合、対応特徴点検出部２０４は、少なくとも１つまたは予め指定された種類数の特徴量が一致したときに特徴量全体が一致していると判定してもよいし、すべての種類の特徴量が一致したときに特徴量全体が一致していると判定してもよい。
【００７３】
次に、対応特徴点検出部２０４は、一致した特徴点の一致回数を加算する（ステップＳＱ２０４３）。対応特徴点検出部２０４は、特徴量を求める元となった特徴点配置中の特徴点ごとに一致回数を加算してもよい。また、対応特徴点検出部２０４は、登録画像特徴量を求める元となった特徴点配置を生成した際の注目特徴点ごとに一致回数を加算してもよい。なお、特徴点の一致回数の初期値は、初期化処理で０に設定しておくこととする。以下の説明では、特徴量を求める元となった特徴点配置中の特徴点ごとに一致回数が加算されるものとする。なお、特徴点は、複数の特徴点配置によって共有されることから、特徴点の一致回数は複数加算されることになる。
【００７４】
次に、対応領域判定部２０５は、対応領域を決定する（ステップＳＱ２０５）。具体的には、対応領域判定部２０５は、検索画像に対応する登録画像中の領域を対応領域として決定する。以下、図６を参照し、対応領域を決定する処理を詳述する。図６は、対応領域を決定するステップＳＱ２０５の動作例を示すフローチャートである。
【００７５】
図６を参照すると、対応領域を決定する処理は、連結対象ノード抽出処理（ステップＳＱ２０５１）、特徴点連結処理（ステップＳＱ２０５２）、連結グラフ検出処理（ステップＳＱ２０５３）、出力領域決定処理（ステップＳＱ２０５４）から構成される。
【００７６】
対応領域判定部２０５は、予め定められた一定以上の一致回数を持つ特徴点を連結対象ノードとして登録画像から抽出する（ステップＳＱ２０５１）。ここで、ノードとは、グラフ理論で用いられる用語である。本実施形態では、特徴点がノードとみなされる。また、対応領域判定部２０５が抽出する連結対象ノードは、対応特徴点の中でも検索画像中の特徴点との一致度合いがより高い特徴点であるといえる。そのため、対応領域判定部２０５は、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点を連結対象ノードとして抽出していると言うことができる。
【００７７】
図７は、連結対象ノードの例を示す説明図である。図７に示す例では、黒丸の部分が連結対象ノードを示し、白丸の部分が非連結対象ノードを示す。ここで、非連結対象ノードとは、特徴点（ノード）のうち、連結対象ノードと判定されなかったノードを示す。
【００７８】
次に、対応領域判定部２０５は、連結対象ノードの間の距離が互いに近い場合に、それらの連結対象ノード間にエッジを付加する（ステップＳＱ２０５２）。ここで、エッジとは、グラフ理論で用いられる用語であり、ノード間を結ぶ線のことを意味する。また、以下の説明では、このエッジのことをグラフと称することもある。
【００７９】
対応領域判定部２０５は、連結対象ノード間の距離が予め定められた閾値よりも小さい場合に、その連結対象ノード間にエッジを付加してもよい。また、対応領域判定部２０５は、各連結対象ノードが含まれる連結領域の距離が予め定められた閾値よりも小さい場合に、その連結対象ノード間にエッジを付加してもよい。ここで、連結領域Ｃ１に属する画素をｐ１とし、連結領域Ｃ２に属する画素をｐ２としたとき、連結領域Ｃ１と連結領域Ｃ２の距離ｄｉｓｔ（ｐ１，ｐ２）は、例えば、以下に示す式１で算出される。なお、ｐ１およびｐ２は、各連結領域から任意に選択される画素である。
【００８０】
【数１】
2014061221.tif 000003
【００８１】
図８は、ノード連結処理によって連結対象ノード間に付加されたエッジの例を示す説明図である。図８に例示するエッジは、図７に例示する連結対象ノード間を結ぶようにそれぞれ付加されている。
【００８２】
次に、対応領域判定部２０５は、ステップＳＱ２０５２で生成されたグラフの中から、連結グラフを１つ以上検出する（ステップＳＱ２０５３）。ここで、連結グラフとは、互いにエッジで接続された一続きのノードとエッジの組み合わせを意味する。なお、グラフ理論において既知の方法である深さ優先探索を行うことにより、１つ以上の連結グラフが検出されることが知られている。そこで、対応領域判定部２０５は、深さ優先探索を行うことで、連結グラフを検出してもよい。図８に示す例では、２つの連結グラフが検出される。
【００８３】
次に、対応領域判定部２０５は、ステップＳＱ２０５３で検出された連結グラフから、出力する領域を決定する（ステップＳＱ２０５４）。例えば、連結グラフＧｋ（ｋは１以上の整数）内のノードｊ（ｊは整数）を含む連結領域の外接矩形の四隅座標を（ｘｍｉｎ＿ｊ（ｋ），ｙｍｉｎ＿ｊ（ｋ））、（ｘｍａｘ＿ｊ（ｋ），ｙｍｉｎ＿ｊ（ｋ））、（ｘｍｉｎ＿ｊ（ｋ），ｙｍａｘ＿ｊ（ｋ））、（ｘｍａｘ＿ｊ（ｋ），ｙｍａｘ＿ｊ（ｋ））とする。このとき、対応領域判定部２０５は、出力する領域を（ｘｍｉｎ＿ｍｉｎ（ｋ），ｙｍｉｎ＿ｍｉｎ（ｋ））および（ｘｍａｘ＿ｍａｘ（ｋ），ｙｍａｘ＿ｍａｘ（ｋ））を対角の頂点とする矩形領域と決定すればよい。ここで、頂点の座標は、以下の条件を満たす。
【００８４】
【数２】
2014061221.tif 000004
【００８５】
図９は、出力領域の例を示す説明図である。図９に例示する点線の矩形は、各連結領域の外接矩形を示している。また、図９に例示する破線の矩形は、図８に例示する２つの連結グラフから決定された２つの出力領域を示している。
【００８６】
なお、上記説明では、連結領域に外接する領域を、四隅の座標で特定可能な矩形で表わす場合を例示した。他にも連結領域に外接する領域を、ノードｊを中心とした半径ｒ（ｒは０以上の実数）の円で表わすことも可能である。なお、ｒ＝０の場合、上述の説明において、ｘｍｉｎ＿ｊ（ｋ）＝ｘｍａｘ＿ｊ（ｋ）かつｙｍｉｎ＿ｊ（ｋ）＝ｙｍａｘ＿ｊ（ｋ）と同義である。
【００８７】
また、対応領域判定部２０５が出力領域を決定する方法は、上記方法に限定されない。対応領域判定部２０５は、連結グラフに属する各ノードを含む連結領域の外接矩形領域の和領域、または、ノードｊを中心とした半径ｒ（ｒは０以上の実数）の円領域の和領域を出力領域としてもよい。
【００８８】
また、複数の出力領域が得られる場合、対応領域判定部２０５は、各出力領域の確からしさを示す指標を利用して出力領域を決定してもよい。出力領域の確からしさを示す指標として、例えば、出力領域の面積、出力領域に含まれる連結対象ノード数、出力領域に含まれる特徴点数、出力領域中の特徴点（または連結対象ノード）の特徴点一致回数の最大値、出力領域中の特徴点（または連結対象ノード）の特徴点一致回数の総和などが挙げられる。複数の出力領域が得られる場合、対応領域判定部２０５は、これらの指標がより大きい（多い）ほどより確からしいと判断し、これらの指標に基づいてより確からしい出力領域を選択してもよい。
【００８９】
このように、対応領域判定部２０５は、エッジにより結ばれる連結対象ノードを特定することによって連結領域を特定し、その連結領域から導かれる領域を登録画像中の部分領域として抽出することになる。
【００９０】
以上のように、本実施形態によれば、対応特徴点検出部２０４が、登録画像特徴量と検索画像特徴量との一致度合いを比較して対応特徴点を検出し、対応領域判定部２０５が、検出された対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する。よって、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できる。
【００９１】
具体的には、対応特徴点検出部２０４が、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、対応領域判定部２０５が、一致回数が予め定めた回数以上の対応特徴点を連結対象ノードとし、その連結対象ノードにより特定される登録画像中の部分領域を抽出すればよい。
【００９２】
すなわち、本実施形態では、登録画像と検索画像のそれぞれに対して連結領域の重心から特徴点配置が求められる。また、特徴点およびその特徴点に対応する連結領域の配置から幾何学的変換に不変な特徴量を計算し、登録画像特徴量と検索画像特徴量とを比較する。これにより、登録画像内で検索画像に対応する特徴点が検出され、それら特徴点の情報を統合して出力領域が求められる。
【００９３】
よって、注目窓を設定することなく検索画像に相当する領域を登録画像中から求めることができるので、登録画像と検索画像の間に大きさや撮影角度のバリエーションがあっても、部分的な領域の画像照合が可能になる。
【００９４】
なお、図１０は、本実施形態の画像部分領域抽出装置を実現可能な情報処理システムの構成例を示すブロック図である。図１０に例示する情報処理システム１は、例えばＣＰＵなどに代表される演算装置６（以下、単にＣＰＵ６と呼ぶ。）と、記憶媒体７とから構成されている。また、情報処理システム１は、入出力インターフェイス８や表示デバイス９を備えていても良い。
【００９５】
ＣＰＵ６は、上述する各種手段を実装した各種ソフトウェア・プログラム（コンピュータ・プログラム）を実行することにより、情報処理システム１の全体的な動作を司る。
【００９６】
記憶媒体７は、各種ソフトウェア・プログラムとその実行に必要なデータを格納するための記憶媒体である。
【００９７】
入出力インターフェイス８は、情報処理システム１の外部とデータ通信を行う際に用いられる。通信されるデータの例としては、情報処理システム１の外部で生成された特徴点配置データや、照合結果出力データが挙げられるが、これらに限られない。
【００９８】
入出力インターフェイス８は、少なくともＣＰＵ６との通信ができればよく、例えば、外部からの信号を伝達できる通信線を接続するコネクタや、無線信号を受信する機器などが用いられる。または、情報処理システム１内部の信号伝達経路の一部をそのまま入出力インターフェイス８として用いてもよい。また、入出力インターフェイス８の別の一例として、表示デバイス９またはスピーカ（図示せず）等のユーザインターフェース機器がある。
【００９９】
表示デバイス９は、情報処理システム１が実行する画像照合の結果を表示するためのデバイスであり、例えばディスプレイ装置である。図１０には、表示デバイス９を記載しているが、画像部分領域抽出装置に必ずしも必須の構成要素ではない。
【０１００】
実施形態２．
次に、本発明による画像部分領域抽出装置の第２の実施形態を説明する。図１１は、本発明による画像部分領域抽出装置の第２の実施形態の構成例を示すブロック図である。本実施形態の画像部分領域抽出装置は、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とを備えている。
【０１０１】
すなわち、本実施形態の画像部分領域抽出装置は、対応特徴点検出部２０４および対応領域判定部２０５の代わりに、対応特徴点対検出部３０４および対応領域推定部３０５を備えている点において、第１の実施形態の画像部分領域抽出装置と異なる。本実施形態の説明では、第１の実施形態と異なる点を中心に説明する。
【０１０２】
対応特徴点対検出部３０４は、対応特徴点検出部２０４が持つ機能に加えて、一致すると判定された検索画像中の特徴点と登録画像中の特徴点の組み合わせ（ペア）を記憶媒体（図示せず）に格納する機能を有する。以下、一致すると判定された検索画像中の特徴点と登録画像中の特徴点の組み合わせのことを、特徴点一致履歴と記す。
【０１０３】
対応領域推定部３０５は、対応領域判定部２０５が持つ機能に加え、対応特徴点対検出部３０４にて検出された一致する特徴点配置から幾何変換パラメータ（ホモグラフィ行列、アフィン変換パラメータなど）を推定し、推定された幾何変換パラメータと検索画像のサイズとから対応領域を推定する。
【０１０４】
なお、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とは、プログラム（画像部分領域抽出用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
【０１０５】
また、第１の実施形態と同様、登録画像特徴点生成部Ｒ２０１と、登録画像特徴点配置生成部Ｒ２０２と、登録画像特徴量生成部Ｒ２０３と、検索画像特徴点生成部Ｑ２０１と、検索画像特徴点配置生成部Ｑ２０２と、検索画像特徴量生成部Ｑ２０３と、対応特徴点対検出部３０４と、対応領域推定部３０５とは、それぞれが専用のハードウェアで実現されていてもよい。
【０１０６】
次に、本実施形態の画像部分領域抽出装置の動作を説明する。本実施形態の画像部分領域抽出装置が行う処理も、登録処理と検索処理の大きく２つに分けられるが、登録処理は第１の実施形態と同様のため、検索処理について説明する。
【０１０７】
図１２は、本実施形態の検索処理の動作例を示すフローチャートである。図１２を参照すると、本実施形態では、対応特徴点検出処理ＳＱ２０４が対応特徴点対検出処理ＳＱ３０４に置き換わり、対応領域決定処理ＳＱ２０５が対応領域推定処理ＳＱ３０５に置き換わっている点において、第１の実施形態と異なる。
【０１０８】
図１３は、対応特徴点対を検出するステップＳＱ３０４の動作例を示すフローチャートである。図１３を参照すると、ステップＳＱ３０４が第１の実施形態のステップＳＱ２０４と異なっているのは、特徴点一致回数カウント処理ＳＱ２０４３の後に、特徴点一致履歴格納処理ＳＱ３０４３が追加されている点である。
【０１０９】
対応特徴点対検出部３０４は、ステップＳＱ２０４２で特徴量が一致したと判定された場合に、一致した各特徴量を示す特徴点を用いて特徴点一致履歴を生成する（ステップＳＱ３０４３）。対応特徴点対検出部３０４は、このとき、特徴量を求める元となった特徴点配置の各特徴点が一致したと判断してもよい。そして、対応特徴点対検出部３０４は、登録画像特徴量を求める元になった特徴点配置に含まれる特徴点と、検索画像特徴量を求める元になった特徴点配置に含まれる特徴点について、対応する各特徴点を対にした特徴点一致履歴を生成してもよい。
【０１１０】
図１４は、特徴点一致履歴を生成する例を示す説明図である。図１４に示す例では、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６の順に順序付けられている特徴点の特徴点配置が登録画像中に存在し、Ｑ１、Ｑ２、Ｑ３、Ｑ４、Ｑ５、Ｑ６の順に順序付けられている特徴点の特徴点配置が検索画像中に存在しているものとする。ここで、両特徴点配置が一致したと判定された場合、対応特徴点対検出部３０４は、Ｒ１とＱ１、Ｒ２とＱ２、Ｒ３とＱ３、Ｒ４とＱ４、Ｒ５とＱ５、Ｒ６とＱ６をそれぞれ特徴点対として検出して、特徴点一致履歴を生成してもよい。
【０１１１】
また、対応特徴点対検出部３０４は、登録画像特徴量を求める元となった特徴点配置を生成した際の注目特徴点が一致したと判断してもよい。このとき、対応特徴点対検出部３０４は、登録画像特徴量を求める元となった特徴点配置に含まれる注目特徴点と、検索画像特徴量を求める元となった特徴点配置に含まれる注目特徴点を対にした特徴点一致履歴を生成してもよい。
【０１１２】
以下の説明では、対応特徴点対検出部３０４が特徴量を求める元となった特徴点配置の各特徴点が一致したと判断して特徴点一致履歴を生成する場合を例に説明する。
【０１１３】
図１５は、対応領域を推定するステップＳＱ３０５の動作例を示すフローチャートである。図１５を参照すると、ステップＳＱ３０５が第１の実施形態のステップＳＱ２０５と異なっているのは、出力領域決定処理ＳＱ２０５４が出力領域推定処理ＳＱ３０５４に置き換わっている点である。
【０１１４】
図１６は、出力領域を推定するステップＳＱ３０５４の動作例を示すフローチャートである。図１６を参照すると、まず、対応領域推定部３０５は、後述する条件を満たす特徴点対を特徴点一致履歴から複数選択する（ステップＳＱ３０５４１）。幾何変換パラメータとしてホモグラフィ行列を採用する場合、対応領域推定部３０５は、特徴点対を４対以上選択すればよく、アフィン変換パラメータを採用する場合は、特徴点対を３対以上選択すればよい。ここでは、幾何変換パラメータとしてホモグラフィ行列を採用し、選択する特徴点対の数を４とする。特徴点を選択する際に満たすべき条件は、以下の条件である。
【０１１５】
・特徴点対として選択される特徴点は、それぞれ同一の連結グラフに属している。
・同一の連結グラフにそれぞれ属する特徴点対が５対以上ある場合は、ランダムに４対を選択する。
【０１１６】
次に、対応領域推定部３０５は、幾何変換パラメータを計算する（ステップＳＱ３０５４２）。ホモグラフィ行列Ｈは、登録画像の位置（ｘｒ，ｙｒ）と検索画像の位置（ｘｑ，ｙｑ）との間の関係を表す３×３行列であり、具体的には以下に示す式２を満たす。
【０１１７】
【数３】
2014061221.tif 000005
【０１１８】
上記に示す式２において、αは、（ｘｒ，ｙｒ）と（ｘｑ，ｙｑ）の値に応じて定まる定数である。選択された４つの特徴点対の各特徴点の座標を利用すれば、連立方程式を解くことにより、ホモグラフィ行列が求められる。５つ以上の特徴点対が選択された場合は、最小二乗法などによりホモグラフィ行列を求めることができる。
【０１１９】
次に、対応領域推定部３０５は、幾何変換パラメータの評価値を計算する（ステップＳＱ３０５４３）。対応領域推定部３０５は、例えば、検索画像のすべての特徴点をホモグラフィ行列により登録画像に投影する。そして、対応領域推定部３０５は、投影された特徴点の中で予め定められた値よりも小さい、またはその値以下の距離の中に登録画像から計算された特徴点が存在するかを検出し、検出された特徴点の個数を評価値としてもよい。
【０１２０】
また、対応領域推定部３０５は、検索画像から求められるすべての連結領域またはその外接矩形領域を投影し、投影された位置に存在する登録画像中の部分画像と比較してもよい。このとき、対応領域推定部３０５は、一致するか否かを既知の方法で判定し、一致した領域の数を評価値としてもよい。
【０１２１】
対応領域推定部３０５は、例えば、特徴量を検出した後で距離の計算等を行い、その距離が一定の値よりも小さいまたは一定の値以下の場合に一致すると判定してもよい。また、対応領域推定部３０５は、正規化相関を用いて一致するか否かを判定してもよい。以上のことからも、このように算出される評価値は、用いられる幾何変換パラメータの確からしさを示していると言える。
【０１２２】
次に、対応領域推定部３０５は、計算された評価値がこれまでに計算された評価値の中で最大か否かを、過去の計算履歴をもとに判定する（ステップＳＱ３０５４４）。計算された評価値が過去の最大値を上回っている場合（ステップＳ３０５４４におけるＹｅｓ）、対応領域推定部３０５は、評価値の最大値を置き換えた上でホモグラフィ行列の値を保持する（ステップＳＱ３０５４５）。一方、計算された評価値が過去の最大値を上回っていない場合（ステップＳＱ３０５４４におけるＮｏ）、ステップＳＱ３０５４６の処理に進む。
【０１２３】
次に、対応領域推定部３０５は、評価値の計算を終了するか否かを判定する（ステップＳＱ３０５４６）。対応領域推定部３０５は、評価値の計算回数が予め定められた回数を超えた場合に、評価値の計算を終了すると判定してもよい。また、対応領域推定部３０５は、評価値が予め定められた値を上回った場合または評価値が予め定められた値以上の場合に、評価値の計算を終了すると判定してもよい。ただし、評価値の計算を終了するか否かを判定する方法は、これらの方法に限定されない。このように算出された評価値は、評価値の計算を行う条件のもとに、幾何変換パラメータが検索画像を登録画像に変換する確からしさが最も高いものと言える。
【０１２４】
評価値の計算を終了しないと判定した場合（ステップＳＱ３０５４６におけるＮｏ）、ステップＳＱ３０５４１以降の処理が繰り返される。一方、評価値の計算を終了すると判定した場合（ステップＳＱ３０５４６におけるＹｅｓ）、対応領域推定部３０５は、検索画像に相当する登録画像中の位置を推定し、出力領域とする（ステップＳＱ５０５４７）。すなわち、対応領域推定部３０５は、算出したホモグラフィ行列に基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する。具体的には、対応領域推定部３０５は、評価値が最大になったホモグラフィ行列の値を用いて、検索画像の領域を登録画像中に投影する。例えば、検索画像が長方形の場合は、検索画像の四隅座標をホモグラフィ行列で投影し、投影された４点で決定される四角形が出力領域になる。
【０１２５】
以上のように、本実施形態によれば、対応特徴点対検出部３０４が、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて特徴点一致履歴を生成する。そして、対応領域推定部３０５が、特徴点一致履歴を用いて幾何変換パラメータ（ホモグラフィ行列）を算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する。
【０１２６】
すなわち、本実施形態では、推定されたホモグラフィ行列と検索画像の領域を利用して出力領域を求めるように構成されている。よって、第１の実施形態の効果に加え、特徴点一致判定に漏れが多い場合でも、検索画像に相当する大きさの出力領域を安定的に得ることができる。
【０１２７】
なお、第１の実施形態および第２の実施形態では、説明の都合上、検索画像と照合する登録画像が決まっている（すなわち登録画像が１枚である）場合を例に説明したが、登録画像が複数枚存在する場合も、容易に拡張が可能である。
【０１２８】
例えば、登録画像が複数枚存在する場合、対応領域判定部２０５は、各登録画像について出力領域を決定し、各出力領域の確からしさを示す指標が最も大きい登録画像をもとに決定した部分領域を選択してもよい。
【０１２９】
また、上述した画像部分領域抽出装置の構成や動作は、実施方法の一例を示したものであり、発明の原理を損なわない範囲で、構成や動作の順序を変更することが可能である。また、登録処理と検索処理のすべてを必ずしも同一の装置で行う必要はない。例えば、装置Ａで一部の処理を行い、装置Ｂが装置Ａの出力結果を入出力インターフェイスを介して受信し、その後の処理を装置Ｂで行うように構成することも可能である。
【０１３０】
以下、具体的な実施形態により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。ここでは、上述した画像部分領域抽出装置を、情報処理装置に応用する第３の実施形態について説明する。以下に説明する情報処理装置は、予め登録された画像（登録画像）中の部分領域ごとに、対象とする装置に実行させる情報処理を表す情報（以下、アクション情報と記す。）を定義しておき、その部分領域に対応する画像を受けとると、その部分領域に対応する情報処理を実行させるものである。なお、以下の説明では、受け取る画像のことを検索画像と記すこともある。また、対象とする装置は、情報処理装置そのものであってもよく、情報処理装置とは異なる他の装置であってもよい。
【０１３１】
図１７は、部分領域を抽出して各種情報処理を行う情報処理装置の例を示すブロック図である。本実施形態の情報処理装置は、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とを備えている。なお、情報処理装置は、中間情報記憶部４４を備えていてもよい。
【０１３２】
中間情報記憶部４４は、登録画像中の部分領域を特定する情報（以下、部分領域情報と記す。）と、対象とする装置に実行させる情報処理を表す情報（アクション情報）とを対応付けた情報を記憶する。以下、部分領域情報とアクション情報とを対応付けた情報を中間情報と記すこともある。すなわち、中間情報とは、予め定められた部分領域に関する情報とアクション情報とを関連付けた情報ということもできる。
【０１３３】
例えば、部分領域を長方形領域とする場合、部分領域情報には、長方形領域を特定する四隅座標が設定される。また、登録画像を等分割で分割する際の水平方向ブロック幅および垂直方向ブロック幅を部分領域情報として用いてもよい。さらに、登録画像を等分割する際の水平方向ブロック数および垂直方向ブロック数を部分領域情報として用いてもよい。他にも、画像の水平解像度、垂直解像度、分割ブロック数等を部分領域情報として用いることができるが、部分領域情報の内容は、これらの内容に限定されない。
【０１３４】
また、アクション情報には、対象とする装置が実行する情報処理を識別できる内容であれば、任意の情報を用いることができる。例えば、対象とする装置に録画予約の機能を実行させる場合、アクション情報には、「録画予約の機能を実行」という情報処理の内容そのものの情報を設定してもよく、「録画予約の機能を実行するための実行ボタンを表示する」といった具体的な機能を示す情報を設定してもよい。
【０１３５】
以下、アクション情報の具体例を説明する。ブラウザ表示を実行させる場合、アクション情報には、表示するＵＲＬを設定することが考えられる。また、動画や静止画、音声などを出力する処理を実行させる場合、アクション情報には、情報処理装置内部に記憶されたファイル名（動画、静止画、音声を保存するファイル名）を設定することが考えられる。また、アクション情報には、情報処理装置内又は情報処理装置外に存在するアプリケーションの操作や、実行コマンドなどを設定してもよい。
【０１３６】
例えば、アクション情報にファイル名が指定された場合、後述するアクション情報実行部４３は、拡張子の種類に基づいて使用するアプリケーションを実行してもよい。また、実行するアプリケーションをＸＭＬタグと対応付け、ＸＭＬタグとファイル名とを明示的に組み合わせたものをアクション情報としてもよい。
【０１３７】
例えば、アクション情報に「<app1> filename.xxx </app1> 」と設定した場合、<app1>に対応付けられたアプリケーションを用いて“filename.xxx”を開く、というアクションを実行できる。同様に、<phone> を電話をかけるアプリケーションと関連付けておけば、例えばアクション情報に「<phone> xx-xxxx-xxxx </phone> 」と設定することで、電話番号“xx-xxxx-xxxx”に電話をかける、というアクションを指定することができる。同様に、<email> をメール作成用アプリケーションと関連付けておけば、例えばアクション情報に「<email> xxx@xxx.xxx.xx </email> 」という形式で電子メールアドレスを設定しておくことで、電子メールを作成するアプリケーションを実行できる。さらに、この場合、宛先フィールドへ宛先メールアドレス（xxx@xxx.xxx.xx）を自動入力するアクションを実行することもできる。
【０１３８】
なお、一つの部分領域情報に関連付けられるアクション情報は複数あってもよい。また、一つのアクション情報は、複数の部分領域情報から関連付けられていてもよい。
【０１３９】
また、アクション情報には、アクション情報実行部４３が情報処理を実行させるための条件を設定しておいてもよい。例えば、処理を実行させる対象の装置が所定の場所（例えば、店舗内など）に存在するときに限って情報処理を実行させることを示す条件をアクション情報に設定してもよい。
【０１４０】
中間情報記憶部４４は、例えば、磁気ディスク等により実現される。また、情報処理装置自身が、中間情報記憶部４４を備えていてもよい。
【０１４１】
画像照合部４１は、登録画像中から検索画像に相当する部分的な領域を検出する。すなわち、画像照合部４１は、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の部分領域を検出する。画像照合部４１は、部分領域を１つのみ検出してもよく、複数の部分領域を検出してもよい。
【０１４２】
画像照合部４１は、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置を用いて、検索画像に対応する登録画像中の部分領域を検出してもよい。すなわち、画像照合部４１は、登録画像特徴量と検索画像特徴量との一致度合いを比較して対応特徴点を検出し、検出された対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出してもよい。
【０１４３】
ただし、本実施形態では、画像照合部４１は、検索画像に対応する登録画像中の部分領域を、第１の実施形態または第２の実施形態で説明した方法以外を用いて検出してもよい。ただし、第１の実施形態または第２の実施形態で説明した方法を用いる方が、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できるため、より好ましい。
【０１４４】
以下の説明では、画像照合部４１が、第１の実施形態の画像部分領域抽出装置が部分領域を抽出する方法を用いるものとする。具体的には、画像照合部４１は、登録画像特徴量と検索画像特徴量とが一致する場合に対応特徴点の回数を算出して、登録画像から連結対象ノードを抽出する。そして、画像照合部４１は、連結対象ノードから連結グラフを生成し、連結グラフ内のノードｊ（ｊは整数）を含む連結領域の外接矩形の四隅座標を（ｘｍｉｎ＿ｊ（ｋ），ｙｍｉｎ＿ｊ（ｋ））、（ｘｍａｘ＿ｊ（ｋ），ｙｍｉｎ＿ｊ（ｋ））、（ｘｍｉｎ＿ｊ（ｋ），ｙｍａｘ＿ｊ（ｋ））、（ｘｍａｘ＿ｊ（ｋ），ｙｍａｘ＿ｊ（ｋ））とする。このとき、画像照合部４１は、出力する領域を（ｘｍｉｎ＿ｍｉｎ（ｋ），ｙｍｉｎ＿ｍｉｎ（ｋ））および（ｘｍａｘ＿ｍａｘ（ｋ），ｙｍａｘ＿ｍａｘ（ｋ））を対角の頂点とする矩形領域を出力する。なお、Ｋｍａｘを部分領域の個数としたとき、ｋは１≦ｋ≦Ｋｍａｘを満たす整数である。
【０１４５】
上述した通り、部分領域を抽出する方法は、第１の実施形態または第２の実施形態の画像部分領域抽出装置が部分領域を抽出する方法に限定されない。画像照合部４１は、例えば既知の文書画像レイアウト解析等により自動的に部分領域を指定してもよい。
【０１４６】
アクション情報判定部４２は、画像照合部４１が照合結果として出力した情報と、中間情報（すなわち、部分領域情報及びアクション情報）を利用して、情報処理装置がどのような情報処理を行うかを判定する。具体的には、アクション情報判定部４２は、部分領域情報により特定される部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択し、その部分領域に対応するアクション情報を特定する。なお、アクション情報を特定する処理の詳細は、後述される。
【０１４７】
アクション情報実行部４３は、アクション情報判定部４２によって特定されたアクション情報を実行する。具体的には、アクション情報実行部４３は、特定されたアクション情報に応じた処理内容を、対象とする装置に実行させる。
【０１４８】
なお、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とはプログラム（情報処理実行プログラム）に従って動作するコンピュータのＣＰＵによって実現されてもよい。また、画像照合部４１と、アクション情報判定部４２と、アクション情報実行部４３とは、それぞれが専用のハードウェアで実現されていてもよい。
【０１４９】
次に、本実施形態の動作を説明する。図１８は、本実施形態の情報処理装置の動作例を示すフローチャートである。図１８を参照すると、本実施形態の情報処理装置の動作は、画像照合処理（ステップＳ４１）、アクション情報判定処理（ステップＳ４２）、アクション情報実行処理（ステップＳ４３）から構成される。
【０１５０】
まず、画像照合部４１は、検索画像に対応する登録画像中の部分領域を検出する（ステップＳ４１）。画像照合部４１は、例えば、第１の実施形態または第２の実施形態の画像部分領域抽出装置が行う処理を流用することができる。
【０１５１】
次に、アクション情報判定部４２は、アクション情報の判定を行う（ステップＳ４２）。図１９は、アクション情報を判定する動作例を示すフローチャートである。アクション情報を判定する処理は、領域一致スコア計算処理（ステップＳ４２１）と、最大領域一致スコアが算出された部分領域を特定する部分領域特定処理（ステップＳ４２２）とから構成される。
【０１５２】
ここで、領域一致スコアとは、中間情報の部分領域情報により特定される部分領域（以下、中間情報部分領域と記すこともある。）と、画像照合部４１が検出した領域（以下、画像照合部分領域と記す。）との一致度合いを示す。
【０１５３】
まず、アクション情報判定部４２は、画像照合部４１から入力される部分領域（画像照合部分領域）と、中間情報により特定される部分領域（中間情報部分領域）のすべての組み合わせについて、領域一致スコアを計算する（ステップＳ４２１）。
【０１５４】
例えば、画像照合部分領域ｋ（１≦ｋ≦Ｋｍａｘ：ただし、Ｋｍａｘは、画像照合部分領域の数）と、中間情報部分領域ｃ（１≦ｃ≦Ｃｍａｘ：ただし、Ｃｍａｘは、中間情報により特定される部分領域の数）の領域一致度をｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）とすると、領域一致度は、例えば、以下に示す式３で定義される。
【０１５５】
ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）
＝（（画像照合部分領域ｋと中間情報部分領域ｃの共通部分の面積）／
（画像照合部分領域ｋと中間情報部分領域ｃの和領域の面積））    （式３）
【０１５６】
次に、アクション情報判定部４２は、ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）が最大になるｋとｃの値を求める（ステップＳ４２２）。このためには、すべてのｋとｃの組み合わせに関して算出したｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）の値を記憶媒体（図示せず）に保持しておけばよい。ｒｅｇ＿ｍａｔｃｈ（ｋ，ｃ）が最大になるｋとｃの値を、それぞれｋａ、ｃａとする。すなわち、アクション情報判定部４２は、中間情報部分領域ｃのうち、画像照合部分領域ｋとの一致度合いが最も高いものを選択する。
【０１５７】
次に、アクション情報実行部４３は、中間情報部分領域ｃａに対応するアクション情報によって表わされる情報処理を実行する（ステップＳ４３）。アクション情報実行部４３は、アクション情報に従って、例えば、次のような情報処理を行う。
【０１５８】
例えば、アクション情報にＵＲＬが設定されている場合、アクション情報実行部４３は、情報処理装置の内部もしくは外部にインストールされたブラウザ等のソフトウェアを起動し、指定されたＵＲＬに存在するコンテンツを呼び出してもよい。
【０１５９】
また、例えば、アクション情報に情報処理装置内部または外部のファイル名（動画ファイル、静止画ファイル、音声ファイル、テキストファイルなど）が設定されている場合、アクション情報実行部４３は、必要に応じて各種ブラウザ、ビューア等を起動し、適切なソフトウェアを起動し、設定されたファイルを呼び出してもよい。
【０１６０】
また、情報処理装置がユーザインターフェース機器を備えている場合、アクション情報実行部４３が、その機器を利用して画像を表示したり、音声を出力したりすることも可能である。画像の表示処理や音声の出力処理等をする場合、画像や音声の種類だけでなく、それらの処理範囲を指定する情報（例えば、画像の表示範囲、音声の再生・終了位置など）が関連付けられていれば、アクション情報実行部４３は、指定された情報に応じた情報処理を行ってもよい。
【０１６１】
また、例えば、アクション情報に情報処理装置内または情報処理装置外に存在するアプリケーションの操作コマンドまたは実行コマンドが設定されている場合、アクション情報実行部４３は、その操作コマンドまたは実行コマンドを実行してもよい。
【０１６２】
また、アクション情報に情報処理を実行させるための条件が設定されている場合、アクション情報実行部４３は、設定された条件を満たしている時に対象の装置に情報処理を実行させてもよい。
【０１６３】
以上のように、本実施形態によれば、画像照合部４１が、検索画像と登録画像とを照合して、検索画像に対応する登録画像中の領域を検出する。アクション情報判定部４２が、中間情報の部分領域情報をもとに部分領域を特定し、特定された部分領域のうち、検出された領域との一致度合いが最も高い部分領域を選択する。ここで用いられる中間情報は、部分領域情報とアクション情報とを対応付けたものであるため、アクション情報判定部４２が、その部分領域に対応するアクション情報を特定する。そして、アクション情報実行部４３が、アクション情報に応じた情報処理を対象とする装置に実行させる。よって、登録画像の一部を示す画像情報が入力されたときに、その入力された画像情報に応じた情報処理を実行できる。
【０１６４】
例えば、特許文献４に記載されたシステムを用いたとしても、位置に応じて提示する情報を決定することはできない。しかし、本実施形態の情報処理装置は、入力された検索画像に対応する登録画像中の位置を自動で判定するので、判定された位置（すなわち、部分領域）に対応づけられた情報処理を行うことが可能になる。
【０１６５】
なお、本実施形態では、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置が部分領域を検出する方法を用いて、画像照合部４１が部分領域（矩形領域）を出力する場合を例に説明した。この場合、アクション情報判定部４２は、出力された部分領域と中間情報に含まれる部分領域との重複する割合を比較することになる。
【０１６６】
一方、画像照合部４１は、部分領域を出力する代わりに、特徴点（連結対象ノード）を出力するようにしてもよい。この場合、アクション情報判定部４２は、連結対象ノードの各座標値と各中間情報部分領域ｃとを比較し、各中間情報部分領域ｃに連結対象ノードがいくつ存在するかをカウントしてもよい。そして、アクション情報判定部４２は、そのカウント値が最も大きい部分領域を選択してもよい。なお、カウント方法は任意であり、例えば、領域に含まれる特徴点ごとにカウント値を１ずつ増加させてもよく、カウント対象とする特徴点を特定してカウントを行ってもよい。
【０１６７】
このような構成にした場合、第１の実施形態または第２の実施形態で説明した画像部分領域抽出装置が部分領域を検出する方法を用いる際、少なくとも第１の実施形態におけるステップＳＱ２０５２およびステップＳＱ２０５３の処理は不要になる。また、領域に含まれる特徴点ごとに１ずつ増加させる場合、対応領域を決定する処理（ステップＳＱ２０５の処理）が不要になる。
【０１６８】
また、本実施形態では、説明の都合上、検索画像と照合する登録画像が決まっている（すなわち登録画像が１枚である）場合を例に説明したが、登録画像が複数枚存在する場合も、容易に拡張が可能である。
【０１６９】
例えば、登録画像が複数枚存在する場合、画像照合部４１は、登録画像特徴量と検索画像特徴量との一致度合い（例えば、領域一致スコア）の最大値を各登録画像について算出し、その最大値が最も大きい登録画像から部分領域を出力すればよい。また、検索画像と照合する適切な登録画像を、他の既知の画像認識手法や画像検索手法を利用して判定しておき、適切と判定された登録画像から部分領域を出力してもよい。
【０１７０】
次に、第３の実施形態の変形例を説明する。第３の実施形態では、画像照合部４１によって出力される部分領域が中間情報記憶部４４に格納された中間情報により特定される部分領域のどれであるかを判定する方法を説明した。すなわち、第３の実施形態では、画像照合部４１によって出力される情報が部分領域であり、かつ、中間情報記憶部４４には部分領域を特定するための中間情報が格納されているため、アクション情報判定部４２は、両部分領域の一致度合いを比較してアクション情報を特定していた。
【０１７１】
本変形例では、中間情報記憶部４４は、登録画像中の部分領域を特定するための識別子を中間情報に格納しておくものとする。以下、登録画像中の部分領域を特定するための識別子を部分領域ＩＤと記す。さらに、画像照合部４１は、登録画像から検索画像に相当する領域を検出した際、検出した領域に対応する部分領域ＩＤを出力するものとする。この場合、画像照合部４１は、中間情報に含まれる部分領域ＩＤを参照し、登録画像と検索画像とを照合した結果得られた登録画像中の部分領域が、どの部分領域ＩＤに対応するか判定する機構を備えていればよい。
【０１７２】
具体的には、画像照合部４１は、検出した部分領域から中間情報に含まれる部分領域ＩＤが一意に特定できる場合、その部分領域ＩＤを出力すればよい。また、検出した部分領域から特定される部分領域ＩＤが複数存在する場合、画像照合部４１は、例えば、上述する式３に示す方法と同様に、各部分領域との面積の一致度合いを算出し、より一致度合いの高い部分領域の部分領域ＩＤを出力してもよい。
【０１７３】
画像照合部４１が照合結果として部分領域ＩＤを出力することで、アクション情報判定部４２は、その部分領域ＩＤに対応するアクション情報（より詳しくは、その部分領域ＩＤで特定される部分領域情報に対応付けられたアクション情報）を特定できる。
【０１７４】
また、中間情報記憶部４４は、中間情報の部分領域ＩＤごとに画像または特徴量の少なくともいずれかを分割して格納し、画像照合部４１が、これらの画像または特徴量を用いて、画像を照合してもよい。すなわち、画像照合部４１が、検索画像と分割画像とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部４２が、その部分領域ＩＤに対応するアクション情報を特定してもよい。以下、登録画像を分割した個々の画像のことを分割画像と記す。分割画像は、登録画像中の部分領域を特定するために用いられる画像であり、部分領域ＩＤにより特定される部分領域と同一の範囲の画像であってもよく、異なっていてもよい。
【０１７５】
具体的には、中間情報記憶部４４は、部分領域ＩＤで特定される部分領域と同一の領域に含まれる画像を分割画像として格納してもよい。また、中間情報記憶部４４は、この分割画像中の一部の画像を分割画像として格納してもよい。なお、特定の部分を抽出する方法として、例えば、既知の文書画像レイアウト解析等の技術を利用することができる。このように登録する画像を小さくすることにより、格納するデータ量を抑えることができる。
【０１７６】
また、中間情報記憶部４４は、部分領域ＩＤで特定される部分領域を広げた領域に含まれる画像を分割画像として格納してもよい。なお、領域を広げる方法は任意であり、例えば、部分領域を全体的に広げるようにしてもよい。このように、部分領域ＩＤで特定される部分領域に隣接する領域を含む画像を利用することで、照合する精度を向上できる。
【０１７７】
また、中間情報記憶部４４は、格納する分割画像と同様に、画像照合部４１が照合に用いる特徴量を格納しておいてもよい。すなわち、部分領域ＩＤで特定される部分領域と同一の領域に含まれる画像の特徴量を格納しておいてもよく、部分領域よりも大きい領域または小さい領域に含まれる画像の特徴量を格納しておいてもよい。この場合の特徴量は、画像照合部４１が照合に用いる特徴量と同様に計算しておけばよい。
【０１７８】
この場合、画像照合部４１が、格納された特徴量と検索画像中の特徴量とを照合して、検出した登録画像中の領域に対応する部分領域ＩＤを出力し、アクション情報判定部４２が、その部分領域ＩＤに対応するアクション情報を特定すればよい。
【０１７９】
なお、このような情報を中間情報記憶部４４に格納する場合、例えば、中間情報生成部（図示せず）が、中間情報に含まれる部分領域ごとに、画像内を参照しながら分割画像または特徴量を決定し、決定した分割画像または特徴量に部分領域ＩＤを付加して中間情報記憶部４４に自動的に格納するようにしてもよい。もしくは、画像照合部４１が照合する画像または特徴量の単位を予め定めておき、その単位の画像または特徴量を中間情報の部分領域と対応付けるようにしてもよい。
【０１８０】
このように、１枚の大きな登録画像を、例えば、部分領域相当の複数の小さな登録画像に分割して中間情報記憶部４４に格納しておき、画像照合部４１が分割した各画像またはその画像から算出される特徴量を利用して画像を照合してもよい。なお、第１の実施形態または第２の実施形態で示した方法を用いることで、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できるため、全体の登録画像から位置を特定する方が、より好ましい。
【０１８１】
なお、部分領域ＩＤを中間情報に含めて中間情報記憶部４４が明示的に記憶しておいてもよい。また、中間情報記憶部４４に中間情報を記憶させる順番や、中間情報として格納するファイルの格納順を、部分領域ＩＤとして暗黙のうちに利用してもよい。また、中間情報として記憶する画像または特徴量に付加する部分領域ＩＤについても同様である。
【０１８２】
次に、第３の実施形態の情報処理装置を利用する場面の具体例を説明する。
【０１８３】
＜具体例１＞
まず、第３の実施形態の情報処理装置をリモートコントロール装置として動作させる場合の具体例を説明する。第１の具体例では、テレビジョンガイド誌の番組表（以下、単に番組表と記す。）を表わす登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。
【０１８４】
番組表を登録画像として利用する場合、番組単位にブロック化したものを部分領域とし、その部分領域を示す部分領域情報に、録画予約やチャンネル変更指示、ＶｏＤ（Video On Demand ）視聴用のコンテンツ購入指示などのアクション情報を対応付けることができる。ここでは、中間情報記憶部４４は、録画予約を実行させるアクション情報、ビデオオンデマンド視聴要求を実行させるアクション情報、および、ビデオコンテンツ購入処理を実行させるアクション情報の少なくとも１つ以上のアクション情報を記憶しているものとする。
【０１８５】
情報処理装置が番組表の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、対象番組）を特定する。アクション情報判定部４２は、情報処理装置内部のタイマによる計時時刻と、特定された部分領域内の対象番組の放送時刻を比較する。
【０１８６】
対象番組の放送時間が計時時刻内である場合、アクション情報判定部４２は、チャンネル変更を行うための操作画面を表示すると判断してもよい。また、対象番組の放送時間が計時時刻より後である場合、アクション情報判定部４２は、その対象番組を録画予約するための操作画面を表示すると判断してもよい。また、対象番組の放送時間が計時時刻より後である場合、アクション情報判定部４２は、ビデオオンデマンド視聴要求を行うための操作画面を表示すると判断してもよいし、その対象番組のビデオコンテンツの購入や照会を行うための操作画面を表示すると判断してもよい。
【０１８７】
このような判定処理を行うためには、アクション情報に、計時時刻と放送時刻との比較処理、および、その比較結果による情報処理内容が含まれていればよい。アクション情報実行部４３は、アクション情報判定部４２によって判定されたアクション情報に応じて情報処理を実行することになる。
【０１８８】
＜具体例２＞
次に、第３の実施形態の情報処理装置を新聞記事の内容を提示する装置として動作させる場合の具体例を説明する。第２の具体例では、新聞記事を示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。新聞記事を登録画像として利用する場合、新聞記事の単位にブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。具体的には、アクション情報として、新聞の記事を読みあげることや、動画データの再生指示、ｗｅｂ上に存在する関連ページの表示を実行させる情報処理を設定できる。
【０１８９】
情報処理装置が新聞記事の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、対象記事）を特定する。アクション情報判定部４２は、部分領域にブロック化した記事が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。このとき、アクション情報判定部４２は、ユーザに読み上げデータがあることを示す画面を表示すると判断してもよい。この場合、アクション情報実行部４３は、画面を表示し、表示されたアクション（読み上げ）の実行をユーザが指示したときに、音声再生を開始して記事の読み上げを行う。
【０１９０】
また、アクション情報に動画が指定されている場合、アクション情報判定部４２は、ユーザに動画があることを示す画面を表示すると判断してもよい。この場合、アクション情報実行部４３は、その動画を再生する。
【０１９１】
また、対象記事が広告の場合、アクション情報にショッピングサイトへのリンクを設定しておいてもよい。例えば、その広告を撮影した画像を受け取った場合、アクション情報判定部４２は、ショッピングサイトへのリンクを示す画面を表示すると判断し、アクション情報実行部４３が、ブラウザを起動してそのショッピングサイトを表示するようにしてもよい。
【０１９２】
＜具体例３＞
次に、第３の実施形態の情報処理装置を、書籍を扱う本屋や図書館などで用いられる端末装置として動作させる場合の具体例を説明する。第３の具体例では、本（雑誌など）の表紙や背表紙を示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。本の表紙や背表紙を登録画像として利用する場合、本を識別可能な部分をブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。
【０１９３】
具体的には、アクション情報として、本の中身を閲覧するための情報処理を設定できる。なお、本具体例では、端末装置が店舗内または施設内の無線エリアで接続されているものとし、アクション情報には、無線エリア内でのみアクション情報に応じた処理を実行可能である旨が設定されているものとする。
【０１９４】
例えば、情報処理装置が本の表紙や背表紙の一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域を特定する。アクション情報判定部４２は、部分領域に本の表紙や背表紙の一部が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。具体的には、アクション情報判定部４２は、その画像から本を特定し、その本の中身を表示すると判断してもよい。この場合、アクション情報実行部４３は、端末が無線エリア内にある場合にのみ、その本の内容を表示するようにしてもよい。また、情報処理装置が貸出処理または購入処理の完了を確認できた場合、アクション情報実行部４３は、端末が無線エリア内から出た場合でも、その本の内容を表示できるようにしてもよい。
【０１９５】
＜具体例４＞
次に、第３の実施形態の情報処理装置を、観光地情報を表示する端末装置として動作させる場合の具体例を説明する。第４の具体例では、観光地に設けられた看板に表示される観光地マップを示す登録画像の各部分領域にアクション情報を設定したときの動作例を説明する。観光地マップを登録画像として利用する場合、観光地を表示しているエリアや説明個所などの部分をブロック化したものを部分領域とし、その部分領域を表わす部分領域情報にアクション情報を対応付けることができる。具体的には、アクション情報として、観光地情報を表示するための情報処理を設定できる。
【０１９６】
情報処理装置が観光地マップの一部を撮影した画像を受け取ると、画像照合部４１は、登録画像中の部分領域（すなわち、観光地情報）を特定する。アクション情報判定部４２は、部分領域にブロック化した記事が含まれると判定した場合、その部分領域を表わす部分領域情報に対応するアクション情報を特定する。このとき、アクション情報判定部４２は、観光地情報を提示すると判断してもよい。この場合、アクション情報実行部４３は、登録された観光地情報を画面に表示したり、動画データを再生したりする処理を行う。
【０１９７】
なお、看板に表示される観光地マップを撮影する場合、看板が大きいことが想定されることから、撮影される画像の解像度や大きさも様々であることが想定される。しかし、第１の実施形態または第２の実施形態の画像部分領域抽出装置を用いることにより、適切に部分領域を特定できるため、その部分領域を利用した情報処理も適切に行うことが可能になる。
【０１９８】
図２０は、本発明の画像部分領域抽出装置の概要を示すブロック図である。本発明の画像部分領域抽出装置は、検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出装置であって、登録画像の注目する特徴点（例えば、注目特徴点）ごとに、所定の規則に基づいて順序付けされた、その注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される、幾何学的変換に不変な特徴量である登録画像特徴量を記憶する特徴量記憶部８１（例えば、登録画像特徴量記憶装置）と、検索画像中の注目する特徴点ごとに特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である検索画像特徴量と、登録画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出部８２（例えば、対応特徴点検出部２０４）と、対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い（例えば、最も一致度合いが高い）対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定部８３（例えば、対応領域判定部２０５）とを備えている。
【０１９９】
そのような構成により、解像度や撮影角度が登録画像と異なる検索画像を用いても、その検索画像に対応する部分領域を登録画像から抽出できる。
【０２００】
具体的には、対応特徴点検出部８２は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出してもよい。そして、対応領域判定部８３は、一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出してもよい。
【０２０１】
このように一致回数がより多い特徴点を利用することで、部分領域を抽出する精度を高めることができる。
【０２０２】
また、特徴量記憶部８１は、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域である連結領域から選択される特徴点の集合を特徴点配置とし、その特徴点配置に基づいて算出される登録画像特徴量を記憶してもよい。そして、対応領域判定部８３は、連結対象ノードと所定の距離以内にある他の連結対象ノードを選択し（例えば、特徴点をエッジで接続し）、選択された連結対象ノードを含む連結領域から特定される部分領域を抽出してもよい。
【０２０３】
このように、部分領域に含まれる蓋然性が高い特徴点のうち、近接する特徴点から特定される領域を抽出しているので、部分領域を抽出する精度をより高めることができる。
【０２０４】
また、対応特徴点検出部８２（例えば、対応特徴点対検出部３０４）は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて、検索画像中の特徴点と登録画像中の特徴点の組み合わせである特徴点一致履歴を生成してもよい。そして、対応領域判定部８３（例えば、対応領域推定部３０５）は、特徴点一致履歴を用いて検索画像を登録画像に幾何変換するパラメータ（例えば、ホモグラフィ行列）を算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出してもよい。
【０２０５】
このように算出したパラメータを利用することで、特徴点一致判定に漏れが多い場合でも、検索画像に相当する大きさの出力領域を安定的に得ることができる。
【０２０６】
また、対応領域判定部８３は、特徴点一致履歴に含まれる特徴点の組合せを用いて算出されたパラメータのうち、検索画像を登録画像に変換する確からしさ（例えば、評価値）がより高いパラメータを選択し、選択したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出してもよい。
【０２０７】
このようなパラメータを用いることで、より尤もらしい画像を抽出することが可能になる。
【０２０８】
また、画像部分領域抽出装置は、検索画像から特徴点を抽出する特徴点抽出部（例えば、検索画像特徴点生成部Ｑ２０１）と、抽出された特徴点をもとに１つ以上の特徴点配置を生成する特徴点配置生成部（例えば、検索画像特徴点配置生成部Ｑ２０２）と、特徴点配置に基づいて検索画像特徴量を生成する検索画像特徴量生成部（例えば、検索画像特徴量生成部Ｑ２０３）とを備えていてもよい。そして、対応特徴点検出部８２は、検索画像特徴量と登録画像特徴量とを比較して対応特徴点を検出してもよい。
【０２０９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０２１０】
（付記１）検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出装置であって、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量を記憶する特徴量記憶部と、検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量と、前記登録画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出部と、前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定部とを備えたことを特徴とする画像部分領域抽出装置。
【０２１１】
（付記２）対応特徴点検出部は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、対応領域判定部は、前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出する付記１記載の画像部分領域抽出装置。
【０２１２】
（付記３）特徴量記憶部は、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域である連結領域から選択される特徴点の集合を特徴点配置とし、当該特徴点配置に基づいて算出される登録画像特徴量を記憶し、対応領域判定部は、連結対象ノードと所定の距離以内にある他の連結対象ノードを選択し、選択された連結対象ノードを含む前記連結領域から特定される部分領域を抽出する付記２記載の画像部分領域抽出装置。
【０２１３】
（付記４）対応特徴点検出部は、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて、検索画像中の特徴点と登録画像中の特徴点の組み合わせである特徴点一致履歴を生成し、対応領域判定部は、前記特徴点一致履歴を用いて検索画像を登録画像に幾何変換するパラメータを算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する付記２または付記３記載の画像部分領域抽出装置。
【０２１４】
（付記５）対応領域判定部は、特徴点一致履歴に含まれる特徴点の組合せを用いて算出されたパラメータのうち、検索画像を登録画像に変換する確からしさがより高いパラメータを選択し、選択したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する付記４記載の画像部分領域抽出装置。
【０２１５】
（付記６）検索画像から特徴点を抽出する特徴点抽出部と、抽出された特徴点をもとに１つ以上の特徴点配置を生成する特徴点配置生成部と、前記特徴点配置に基づいて検索画像特徴量を生成する検索画像特徴量生成部とを備え、対応特徴点検出部は、前記検索画像特徴量と登録画像特徴量とを比較して対応特徴点を検出する付記１から付記５のうちのいずれか１つに記載の画像部分領域抽出装置。
【０２１６】
（付記７）検索画像に相当する部分領域を登録画像から抽出する画像部分領域抽出方法であって、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出し、前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出することを特徴とする画像部分領域抽出方法。
【０２１７】
（付記８）検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出する付記７記載の画像部分領域抽出方法。
【０２１８】
（付記９）互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域である連結領域から選択される特徴点の集合を特徴点配置とし、当該特徴点配置に基づいて算出される登録画像特徴量と、検索画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出し、連結対象ノードと所定の距離以内にある他の連結対象ノードを選択し、選択された連結対象ノードを含む前記連結領域から特定される部分領域を抽出する付記８記載の画像部分領域抽出方法。
【０２１９】
（付記１０）検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて、検索画像中の特徴点と登録画像中の特徴点の組み合わせである特徴点一致履歴を生成し、前記特徴点一致履歴を用いて検索画像を登録画像に幾何変換するパラメータを算出し、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する付記８または付記９記載の画像部分領域抽出方法。
【０２２０】
（付記１１）特徴点一致履歴に含まれる特徴点の組合せを用いて算出されたパラメータのうち、検索画像を登録画像に変換する確からしさがより高いパラメータを選択し、選択したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出する付記１０記載の画像部分領域抽出方法。
【０２２１】
（付記１２）検索画像から特徴点を抽出し、抽出された特徴点をもとに１つ以上の特徴点配置を生成し、前記特徴点配置に基づいて検索画像特徴量を生成し、前記検索画像特徴量と登録画像特徴量とを比較して対応特徴点を検出する付記７から付記１１のうちのいずれか１つに記載の画像部分領域抽出方法。
【０２２２】
（付記１３）検索画像に相当する部分領域を登録画像から抽出するコンピュータに適用される画像部分領域抽出用プログラムであって、前記コンピュータに、登録画像の注目する特徴点ごとに、所定の規則に基づいて順序付けされた当該注目する特徴点の近傍に存在する特徴点の集合である特徴点配置に基づいて算出される幾何学的変換に不変な特徴量である登録画像特徴量と、検索画像中の注目する特徴点ごとに前記特徴点配置に基づいて算出される前記幾何学的変換に不変な特徴量である検索画像特徴量との一致度合いを比較して、検索画像中の特徴点配置に含まれる特徴点に対応する、登録画像中の特徴点配置に含まれる特徴点である対応特徴点を検出する対応特徴点検出処理、および、前記対応特徴点のうち、検索画像中の特徴点との一致度合いがより高い対応特徴点により特定される登録画像中の部分領域を抽出する対応領域判定処理を実行させるための画像部分領域抽出用プログラム。
【０２２３】
（付記１４）コンピュータに、対応特徴点検出処理で、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出させ、対応領域判定処理で、前記一致回数が予め定めた回数以上の対応特徴点である連結対象ノードにより特定される登録画像中の部分領域を抽出させる付記１３記載の画像部分領域抽出用プログラム。
【０２２４】
（付記１５）コンピュータに、対応特徴点検出処理で、互いに同じ色に属すると判定された画素のうち互いに隣接関係にある画素を連結した領域である連結領域から選択される特徴点の集合を特徴点配置とし、当該特徴点配置に基づいて算出される登録画像特徴量と、検索画像特徴量とが一致すると判断された場合に、検索画像特徴量を算出する元になった特徴点配置中の特徴点と一致する一致回数を対応特徴点ごとに算出させ、対応領域判定処理で、連結対象ノードと所定の距離以内にある他の連結対象ノードを選択させ、選択された連結対象ノードを含む前記連結領域から特定される部分領域を抽出させる付記１４記載の画像部分領域抽出用プログラム。
【０２２５】
（付記１６）コンピュータに、対応特徴点検出処理で、検索画像特徴量と登録画像特徴量とが一致すると判断された場合に、一致した各特徴量の特徴点を用いて、検索画像中の特徴点と登録画像中の特徴点の組み合わせである特徴点一致履歴を生成させ、対応領域判定処理で、前記特徴点一致履歴を用いて検索画像を登録画像に幾何変換するパラメータを算出させ、算出したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出させる付記１４または付記１５記載の画像部分領域抽出用プログラム。
【０２２６】
（付記１７）コンピュータに、対応領域判定処理で、特徴点一致履歴に含まれる特徴点の組合せを用いて算出されたパラメータのうち、検索画像を登録画像に変換する確からしさがより高いパラメータを選択させ、選択したパラメータに基づいて検索画像の領域を登録画像に投影した領域を部分領域として抽出させる付記１６記載の画像部分領域抽出用プログラム。
【０２２７】
（付記１８）コンピュータに、検索画像から特徴点を抽出する特徴点抽出処理、抽出された特徴点をもとに１つ以上の特徴点配置を生成する特徴点配置生成処理、および、前記特徴点配置に基づいて検索画像特徴量を生成する検索画像特徴量生成処理を実行させ、対応特徴点検出処理で、前記検索画像特徴量と登録画像特徴量とを比較して対応特徴点を検出させる付記１３から付記１７のうちのいずれか１つに記載の画像部分領域抽出用プログラム。
【０２２８】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２２９】
この出願は、２０１２年１０月１８日に出願された日本特許出願２０１２−２３０８８５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０２３０】
本発明によれば、各種誌面中からユーザが撮影したコンテンツをキーに情報処理を実行する情報処理装置一般に適用できる。【０２３１】
例えば、上述する情報処理装置を、新聞や雑誌の記事、各種広告、説明資料等の文字が記載されている実世界中の物体（紙、板など）からデジタル情報を検索する装置に適用可能である。さらに、上述する情報処理装置を、テレビジョンガイド誌を利用して、録画予約、ビデオ視聴、ビデオコンテンツ購入処理などを行う装置に適用できる。また、上述する画像部分領域抽出装置を、郵便物、宅配便等の画像から郵便物を特定する装置にも適用可能である。具体的には、画像部分領域抽出装置を用いて、郵便物や宅配便等に記される宛名領域や差出人領域を認識することも可能である。
【符号の説明】
【０２３２】
１  情報処理システム
Ｒ２０１  登録画像特徴点生成部
Ｒ２０２  登録画像特徴点配置生成部
Ｒ２０３  登録画像特徴量生成部
Ｑ２０１  検索画像特徴点生成部
Ｑ２０２  検索画像特徴点配置生成部
Ｑ２０３  検索画像特徴量生成部
２０４  対応特徴点検出部
２０５  対応領域判定部
３０４  対応特徴点対検出部
３０５  対応領域推定部
４１  画像照合部
４２  アクション情報判定部
４３  アクション情報実行部
４４  中間情報記憶部
【図１】
2014061221.tif 000006
【図２】
2014061221.tif 000007
【図３】
2014061221.tif 000008
【図４】
2014061221.tif 000009
【図５】
2014061221.tif 000010
【図６】
2014061221.tif 000011
【図７】
2014061221.tif 000012
【図８】
2014061221.tif 000013
【図９】
2014061221.tif 000014
【図１０】
2014061221.tif 000015
【図１１】
2014061221.tif 000016
【図１２】
2014061221.tif 000017
【図１３】
2014061221.tif 000018
【図１４】
2014061221.tif 000019
【図１５】
2014061221.tif 000020
【図１６】
2014061221.tif 000021
【図１７】
2014061221.tif 000022
【図１８】
2014061221.tif 000023
【図１９】
2014061221.tif 000024
【図２０】
2014061221.tif 000025
【国際調査報告】
2014061221.tif 000026
2014061221.tif 000027
2014061221.tif 000028
2014061221.tif 000029