(57)【要約】［課題］局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供すること。［解決手段］本発明の画像照合装置は、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、を備える。
2012053626.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段が取得した画像を表示する画像表示手段と、
前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、
を備える画像照合装置。
【請求項２】
前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段
を備える請求項１に記載の画像照合装置。
【請求項３】
１つ以上の前記登録画像を表す情報を格納した画像格納手段を備え、
前記画像照合手段は、前記検索画像と前記登録画像各々の前記照合結果各々から、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記画像表示手段は、表示した画像に対して推定された前記照合対象概略領域を該画像に重畳して表示し、
前記入力位置パターン取得手段は、前記照合対象概略領域を修正するための修正位置パターンをさらに取得し、
前記修正位置パターンに基づいて、前記照合対象概略領域を修正する照合対象概略領域修正手段をさらに備えたことを特徴とする請求項１または請求項３に記載の画像照合装置。
【請求項５】
前記画像照合手段は、前記検索画像の画像特徴量と前記登録画像の画像特徴量を取得し、取得した前記画像特徴量各々を用いて前記照合結果を算出することを特徴とする請求項２から請求項４のいずれかに記載の画像照合装置。
【請求項６】
サーバと請求項１に記載の前記画像照合装置を含み、
前記画像照合装置は、
前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段を有し、
前記照合結果提示手段は、前記サーバから受信した前記照合結果を提示し、
前記サーバは、
前記照合対象概略領域内の画像を表す情報を前記画像照合装置から受信する照合対象概略領域画像情報受信手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である前記検索画像と前記登録画像の照合を行って、前記照合結果を算出する画像照合手段と、
前記照合結果を前記画像照合装置に送信する照合結果送信手段と、
を有する
画像照合システム。
【請求項７】
画像を取得し、
取得した画像を画像表示手段に表示し、
前記画像表示手段に表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得し、
前記入力位置パターンに基づいて、前記画像表示手段に表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する
画像照合方法。
【請求項８】
コンピュータを、
画像を取得する画像取得手段と、
前記画像取得手段が取得した画像を表示する画像表示手段と、
前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と
して機能させる画像照合プログラムを記憶するプログラム記録媒体。
【請求項９】
コンピュータを、
前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段と
して機能させる画像照合プログラムを記憶する、請求項８に記載のプログラム記録媒体。
【請求項１０】
コンピュータを、
１つ以上の前記登録画像を表す情報を格納した画像格納手段と、
前記検索画像および前記登録画像各々の照合結果から、前記登録画像のうち前記検索画像に対応する登録画像を特定する前記画像照合手段は、
前記検索画像に対応する前記登録画像に関する情報を提示する前記照合結果提示手段と
して機能させる画像照合プログラムを記憶する、請求項９に記載のプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を照合する画像照合装置、画像照合方法、画像照合システム、および、コンピュータ・プログラムに関する。
【背景技術】
【０００２】
一般的な画像照合装置は、１つの画像の全領域と他の画像の全領域とを照合する。
これに対して、近年、１つの画像の局所的な領域と、他の画像の局所的な領域との照合を行う画像照合装置が提案されている。
このような画像照合装置として、カメラデバイスで撮影される等の方法で得られた検索用の画像（以下、検索画像と呼ぶ）と、データベース上にあらかじめ登録された画像（以下、登録画像と呼ぶ）とを照合する、以下の画像照合装置が知られている。この画像照合装置は、まず、位置合わせのための幾何変換に関するパラメータを推定する。次に、画像照合装置は、推定したパラメータを用いて局所的な領域毎に両画像の照合を行う。そして、画像照合装置は、局所的な領域毎の照合結果に基づいて、統合的な照合結果を求める（例えば、特許文献１参照）。
この特許文献１に記載された画像照合装置は、局所的な各領域に関する照合結果に基づいて統合的な照合結果を求めているため、検索画像と登録画像とに共通する領域がある程度含まれていれば、画像同士の照合を可能とする利点を有している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１０／０５３１０９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載された画像照合装置は、画像全体の中から照合対象とする局所的な領域を算出しているため、照合対象として適していない領域からも局所的な領域を算出して照合を行ってしまう場合がある。従って、特許文献１に記載されている画像照合装置には、照合精度および処理速度に課題があった。
例えば、特許文献１に記載された画像照合装置を用いて、案内看板および車両Ａが写された検索画像と、検索画像と同一の案内看板および検索画像とは異なる車両Ｂが写された登録画像とを照合する場合を想定する。この場合、特許文献１に記載された画像照合装置は、検索画像に含まれる案内看板を含む局所的な領域と、登録画像に含まれる案内看板を含む局所的な領域との一致度が高いと判定する。しかし、特許文献１に記載された画像照合装置は、検索画像に含まれる車両Ａを含む局所的な領域と、登録画像に含まれる車両Ｂを含む局所的な領域との一致度が低いため、全体としての一致度が低いと判定する場合がある。このように、ユーザにとって車両Ａおよび車両Ｂの領域について照合を行いたくなかった場合でも、特許文献１に記載された画像照合装置は、検索画像および登録画像の一致度が低いという照合結果を得てしまう場合がある。さらに、特許文献１に記載された画像照合装置は、車両Ａおよび車両Ｂの領域について不要な照合を行うために処理速度が低下する。
本発明は、上述の課題を解決するためになされたもので、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像照合装置は、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、を備える。
本発明の画像照合方法は、画像を取得し、取得した画像を画像表示手段に表示し、前記画像表示手段に表示した画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示手段に表示した画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する。
本発明のプログラム記録媒体は、コンピュータを、画像を取得する画像取得手段と、前記画像取得手段が取得した画像を表示する画像表示手段と、前記画像表示手段が表示する画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段として機能させる画像照合プログラムを記憶する。
【発明の効果】
【０００６】
本発明は、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施の形態としての画像照合装置のハードウェア構成図である。
【図２】本発明の第１の実施の形態としての画像照合装置の機能ブロック図である。
【図３】本発明の第１の実施の形態における画像表示部に表示された画面の一例を示す図である。
【図４】本発明の第１の実施の形態としての画像照合装置の画像照合動作を説明するフローチャートである。
【図５】本発明の第１の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。
【図６】本発明の第２の実施の形態としての画像照合装置のハードウェア構成図である。
【図７】本発明の第２の実施の形態としての画像照合装置の機能ブロック図である。
【図８】本発明の第２の実施の形態としての画像照合装置の登録動作を説明するフローチャートである。
【図９】本発明の第２の実施の形態としての画像照合装置の検索動作を説明するフローチャートである。
【図１０】本発明の第２の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。
【図１１】本発明の第３〜第１０の実施の形態としての画像照合装置の機能ブロック図である。
【図１２】本発明の第１１の実施の形態としての画像照合装置の機能ブロック図である。
【図１３】本発明の第１１の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。
【図１４】本発明の第１２の実施の形態としての画像照合装置の機能ブロック図である。
【図１５】本発明の第１２の実施の形態における画像表示部に表示された画面の一例を示す図である。
【図１６】本発明の第１２の実施の形態としての画像照合装置の照合対象概略領域推定動作を説明するフローチャートである。
【図１７】本発明の第１３の実施の形態としての画像照合システムの機能ブロック図である。
【図１８】本発明の第１３の実施の形態としての画像照合システムの照合対象概略領域推定動作を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態としての画像照合装置１のハードウェア構成を表す図である。
図１において、画像照合装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）を含む制御部１００１と、ハードディスク等の記憶装置１００２と、入力装置１００３と、表示装置１００４と、カメラやスキャナ等の撮像装置１００５とを備えたコンピュータ装置によって構成されている。
制御部１００１は、ＲＯＭまたは記憶装置１００２に記憶されたコンピュータ・プログラムをＣＰＵによりＲＡＭに読み込んで実行することにより、コンピュータ装置を画像照合装置１として機能させる。
図２は、画像照合装置１の機能ブロック構成を表す図である。
画像照合装置１は、画像取得部１０１と、画像表示部１０２と、入力位置パターン取得部１０３と、照合対象概略領域推定部１０４と、画像照合部１０５と、照合結果提示部１０６とを備えている。
画像取得部１０１は、制御部１００１、記憶装置１００２、および、撮像装置１００５によって構成される。また、画像表示部１０２および照合結果提示部１０６は、制御部１００１、および、表示装置１００４によって構成される。また、入力位置パターン取得部１０３は、制御部１００１、および、入力装置１００３によって構成される。また、照合対象概略領域推定部１０４および画像照合部１０５は、制御部１００１によって構成される。また、照合結果提示部１０６は、制御部１００１、および、表示装置１００４によって構成される。なお、画像照合装置１の機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
画像取得部１０１は、照合対象となる画像を取得する。例えば、画像取得部１０１は、例えば撮像装置１００５が撮像した画像を取得すればよい。あるいは、画像取得部１０１は、あらかじめ記憶装置１００２またはＲＡＭに格納された画像を取得してもよい。
また、画像取得部１０１が取得する画像は、動画像であっても静止画像であってもよい。
画像表示部１０２は、画像取得部１０１が取得した画像を表示する。画像表示部１０２は、画像取得部１０１が取得した画像が動画像である場合は、動画像のうちのある時点における静止画像を表示する。
入力位置パターン取得部１０３は、画像表示部１０２が表示する画像において照合対象となる領域の概略位置を表す情報である、入力位置パターンを取得する。入力位置パターン取得部１０３は、照合対象となる領域の概略位置を表す情報である入力位置パターンとして、入力位置を表す、あらかじめ定められたパターンの情報を取得する。入力位置を表す情報の、あらかじめ定められたパターンは、例えば、２点を表す座標の組合せである。入力位置パターン取得部１０３は、２点を表す座標の組み合わせによって構成される入力位置パターンを、照合対象となる領域の概略位置を表す情報として取得すればよい。
例えば、入力装置１００３がマウスによって構成される場合、入力位置パターン取得部１０３は、画像表示部１０２が表示する画像の領域内における、マウスドラッグ操作の開始点および終了点の２点の位置を表す情報を、入力位置パターンとして取得すればよい。
照合対象概略領域推定部１０４は、入力位置パターンに基づいて、画像表示部１０２が表示する画像において、照合対象となる概略の領域を表す照合対象概略領域を推定する。
このとき、照合対象概略領域推定部１０４は、ユーザが照合対象としたい領域を過不足なく含む正確な領域を推定する必要はなく、概略の領域を推定すればよい。
例えば、図３に示すように、照合対象概略領域推定部１０４は、２点の座標を表す入力位置パターンに基づいて、２点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定すればよい。図３の例では、入力位置パターンとして得られた２点の座標は、（ｘ１，ｙ１）と（ｘ２、ｙ２）である（ただし、ｘ１≠ｘ２かつｙ１≠ｙ２）。以下では、ｍｉｎｘがｘ１とｘ２のうち小さい値、ｍａｘｘがｘ１とｘ２のうち大きい値、ｍｉｎｙがｙ１とｙ２のうち小さい値、ｍａｘｙがｙ１とｙ２のうち大きい値である。この例では、照合対象概略領域推定部１０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする長方形を照合対象概略領域として推定すればよい。図３の照合対象概略領域Ｂは、この長方形である。
照合対象概略領域推定部１０４が２点の座標に基づいて推定した照合対象概略領域Ｂは、案内看板Ａの領域を過不足なく含んではいないが、案内看板Ａの概略の領域を含んでいる。ユーザが照合対象としたい領域が、図３の画像に含まれる案内看板Ａであると想定した場合、照合対象概略領域推定部１０４が推定した領域は、ユーザが照合対象としたい領域を過不足無く含む正確な領域ではなく、概略の領域である。
また、照合対象概略領域推定部１０４は、推定した照合対象概略領域と、画像取得部１０１が取得した画像とから、照合対象概略領域内の画像を表す情報を生成する。例えば、照合対象概略領域推定部１０４は、画像取得部１０１が取得した画像から照合対象概略領域を切り出して、照合対象概略領域内の画像を表す情報にすればよい。あるいは、照合対象概略領域推定部１０４は、画像取得部１０１が取得した画像および照合対象概略領域を表す情報の組み合わせを、照合対象概略領域内の画像を表す情報としてもよい。あるいは、照合対象概略領域推定部１０４は、画像取得部１０１が取得した画像の照合対象概略領域内の画像の特徴量（画像特徴量）を生成して、照合対象概略領域内の画像を表す情報にしてもよい。
画像照合部１０５は、照合対象概略領域内の画像を表す情報を取得して、照合する検索画像および登録画像のうち、少なくとも１つの画像を表す情報にする。すなわち、画像照合部１０５は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、検索画像を表す情報にすればよい。そして、画像照合部１０５、他の画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、登録画像を表す情報にすればよい。あるいは、画像照合部１０５は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、検索画像を表す情報にしてもよい。そして、画像照合部１０５は、画像取得部１０１が取得した画像の全領域を表す情報をそのまま取得して、取得した情報を、登録画像を表す情報にしてもよい。あるいは、画像照合部１０５は、画像取得部１０１が取得した画像の全領域を表す情報をそのまま取得して、取得した情報を、検索画像を表す情報にしてもよい。そして、画像照合部１０５は、ある画像の照合対象概略領域内の画像を表す情報を取得して、取得した情報を、登録画像を表す情報にしてもよい。あるいは、画像照合部１０５は、画像取得部１０１が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を取得して、取得した特徴量を、これらの検索画像および登録画像を表す情報にしてもよい。
そして、画像照合部１０５は、検索画像および登録画像における局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する。ここで、画像照合部１０５は、局所的な領域毎の照合結果に基づいて統合的な照合結果を算出する技術として、例えば、特許文献１に記載された技術を用いればよい。このとき、画像照合部１０５は、局所的な領域毎の照合結果に基づいて統合的な照合結果を算出するので、照合対象概略領域推定部１０４によって推定される照合対象概略領域に、照合対象としたい領域が、正確に過不足無く含まれていることを必要としない。
照合結果提示部１０６は、画像照合部１０５による検索画像および登録画像の統合的な照合結果を提示する。統合的な照合結果は、例えば、検索画像および登録画像における局所的な領域毎の一致数に基づく指標であればよい。
以上のように構成された画像照合装置１の動作について、図４および図５を参照して説明する。
まず、画像取得部１０１および照合対象概略領域推定部１０４は、検索画像を表す情報を取得する（ステップＳ１）。
例えば、画像照合装置１は、画像取得部１０１が取得する画像の全領域を表す情報を、そのまま検索画像を表す情報として取得してもよいし、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。
次に、画像取得部１０１および照合対象概略領域推定部１０４は、登録画像を表す情報を取得する（ステップＳ２）。
例えば、画像照合装置１は、画像取得部１０１が取得した画像の全領域を表す情報を、そのまま登録画像を表す情報として取得してもよいし、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。
ただし、ステップＳ１で、画像取得部１０１が取得した画像の全領域を表す情報を、そのまま検索画像を表す情報として取得した場合は、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得するようにする。
次に、画像照合部１０５は、検索画像および登録画像の、局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する（ステップＳ３）。このとき、前述のように、画像照合部１０５は、例えば、特許文献１に記載の技術を用いればよい。具体的には、画像照合部１０５は、検索画像または登録画像から各画像の画像特徴量を算出し、算出した画像特徴量に基づいて、検索画像および登録画像の統合的な照合結果を算出すればよい。あるいは、画像照合部１０５は、検索画像または登録画像を表す情報として各画像の画像特徴量を取得している場合、取得した画像特徴量に基づいて、検索画像および登録画像に関する統合的な照合結果を算出してもよい。
次に、照合結果提示部１０６は、ステップＳ５における統合的な照合結果を提示する（ステップＳ４）。
例えば、照合結果提示部１０６は、各照合対象概略領域内における局所的な領域の一致数に基づく指標を提示すればよい。
以上で、画像照合装置１は動作を終了する。
次に、ステップＳ１およびステップＳ２における照合対象概略領域推定処理について図５を参照して説明する。
まず、画像取得部１０１は、照合対象となる画像を取得する（ステップＳ１０）。
次に、画像表示部１０２は、画像取得部１０１によって取得された画像を表示する（ステップＳ１１）。
なお、ステップＳ１０で画像取得部１０１が取得した画像が動画像である場合、画像表示部１０２は、その動画像のある時点における静止画像を表示する。例えば、画像取得部１０１が動画像を継続的に取得している場合、画像表示部１０２は、ステップＳ１１の実行時点で画像取得部１０１が取得した画像を表示してもよい。あるいは、画像取得部１０１が既に動画像を構成する静止画像の列を取得している場合、画像表示部１０２は、初回のステップＳ１１の実行時には、列の先頭の静止画像を表示すればよい。そして、画像表示部１０２は、２回目以降のステップＳ１１の実行時には、前回表示した静止画像の次の静止画像を表示すればよい。
次に、入力位置パターン取得部１０３は、照合対象となる領域の概略位置を指定する概略位置指定操作が開始されたか否かを判断する（ステップＳ１２）。
例えば、入力位置パターン取得部１０３は、画像表示部１０２の画像領域におけるマウスドラッグ操作等が開始されたことを検知したときに、概略位置指定操作が開始されたと判断すればよい。あるいは、入力位置パターン取得部１０３は、画像表示部１０２に表示された操作開始ボタン領域に対する入力操作を検知したときに、概略位置指定操作が開始されたと判断してもよい。
ステップＳ１２において、概略位置指定操作が開始されたと入力位置パターン取得部１０３が判断しなかった場合、画像照合装置１の処理は、ステップＳ１１に戻る。
一方、ステップＳ１２において、概略位置指定操作が開始されたと入力位置パターン取得部１０３が判断した場合、入力位置パターン取得部１０３は、入力位置パターンを取得する（ステップＳ１３）。
例えば、入力位置パターン取得部１０３は、マウスドラッグ操作の開始点の座標およびその時点でのマウスポインタの座標の組み合わせを取得してもよい。入力位置パターン取得部１０３は、概略位置指定操作が終了したと判定するまで（ステップＳ１４でＹｅｓ）、ステップＳ１３の処理を繰り返し実行する。
ステップＳ１４において、入力位置パターン取得部１０３は、概略位置指定操作が終了したか否かを判断する（ステップＳ１４）。
例えば、入力位置パターン取得部１０３は、マウスドラッグ操作が終了した時点で概略位置指定操作が終了したと判断してもよい。あるいは、入力位置パターン取得部１０３は、画像表示部１０２に表示された操作終了ボタン領域に対する入力操作に基づいて、概略位置指定操作が終了したと判断してもよい。
次に、照合対象概略領域推定部１０４は、入力位置パターンに基づいて、この画像における照合対象概略領域を推定する（ステップＳ１５）。
例えば、入力位置パターンが２点の位置を表す座標で構成される場合、照合対象概略領域推定部１０４は、２点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定してもよい。
次に、照合対象概略領域推定部１０４は、この画像の照合対象概略領域内の画像を表す情報を生成する（ステップＳ１６）。
照合対象概略領域推定部１０４は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域の画像データを切り出してもよいし、この画像と照合対象概略領域を表す情報との組み合わせを生成してもよい。あるいは、照合対象概略領域推定部１０４は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域内の画像特徴量を生成してもよい。
以上で、画像照合装置１は、照合対象概略領域推定処理を終了する。
次に、本発明の第１の実施の形態の効果について述べる。
本発明の第１の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の、照合精度及び処理速度を向上させることができる。
その理由は、照合対象概略領域推定部が、照合対象となる画像において照合対象となる概略の領域を推定するからである。そして、画像照合部が、照合対象概略領域が推定された画像についてはその照合対象概略領域内の画像のみを対象として、局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるからである。すなわち、画像照合部は、照合対象概略領域以外の領域について照合処理を行う必要がない。そのため、照合対象概略領域以外の領域に含まれる局所的な領域の照合結果に統合的な照合結果が左右されることがなく、結果的に照合精度を向上させることができる。また、照合対象概略領域以外の領域について照合処理を行う必要がないので、処理速度を向上させることができる。
また、本発明の第１の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際に、照合対象となる画像において照合対象としたい領域を指定するユーザ負担を軽減することができる。
その理由は、照合対象概略領域推定部が、照合対象となる画像において照合対象となる領域の概略位置の指定操作に基づいて、照合対象概略領域を推定するからである。このため、本発明の第１の実施の形態としての画像照合装置では、照合対象となる画像において照合対象としたい領域を過不足なく含むような正確な領域指定操作をユーザが行う必要がないからである。
このようなユーザ負担を軽減することができる効果について、さらに詳細に説明する。
まず、上述のような照合対象概略領域を推定する技術に関連する技術として、例えば、特開２００４−２７２８３５号公報に記載された領域指定技術について説明する。
特開２００４−２７２８３５号公報に記載された技術では、ディスプレイ上でユーザが指定した表示希望領域を検出し、検出した表示希望領域に表示内容を表示する。
しかし、特開２００４−２７２８３５号公報に記載された技術では、表示希望領域を過不足なく含むよう正確な領域指定操作を必要とするため、本発明の第１の実施の形態のように、照合対象としたい領域を指定するユーザの負担を軽減することができない。
このように、本発明の第１の実施の形態としての画像照合装置は、照合対象となる画像において照合対象としたい領域を過不足なく含むような正確な領域指定操作をユーザが行う必要がない。従って、本発明の第１の実施の形態としての画像照合装置は、照合対象としたい領域を指定するユーザ負担を軽減することができる。本実施形態の画像照合装置には、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術に、特開２００４−２７２８３５号公報に記載された領域指定技術を適用した場合と比べても、上述の効果がある。
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第２の実施の形態としての画像照合装置２のハードウェア構成を図６に示す。
図６において、画像照合装置２は、本発明の第１の実施の形態としての画像照合装置１を構成するコンピュータ装置に対して、入力装置１００３および表示装置１００４に替えて座標入力機能付表示装置２００３を有する点が異なるコンピュータ装置によって構成されている。
座標入力機能付表示装置２００３は、ユーザの指やスタイラス等の接触を感知して接触されたデバイス上の位置に関する座標を獲得する機能を有する表示デバイスである。このような座標入力機能付表示装置２００３として代表的なものには、タッチパネル式ディスプレイ等がある。
次に、画像照合装置２の機能ブロック構成を図７に示す。
画像照合装置２は、本発明の第１の実施の形態としての画像照合装置１に対して、画像表示部１０２に替えて画像表示部２０２と、入力位置パターン取得部１０３に替えて接触パターン取得部２０３と、画像照合部１０５に替えて画像照合部２０５と、照合結果提示部１０６に替えて照合結果提示部２０６とを備え、さらに画像格納部２０７を備える点が異なる。なお、接触パターン取得部２０３は、本発明の入力位置パターン取得部の一実施形態を構成する。
画像表示部２０２および接触パターン取得部２０３は、制御部１００１、および、座標入力機能付表示装置２００３によって構成される。また、画像格納部２０７は、制御部１００１、および、記憶装置１００２によって構成される。なお、画像照合装置２の機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
画像表示部２０２は、画像取得部１０１によって取得された画像を、座標入力機能付表示装置２００３に表示する。
接触パターン取得部２０３は、座標入力機能付表示装置２００３に対する接触パターンを検知する機能を有する。接触パターンとは、典型的には、ユーザの指やスタイラス等が座標入力機能付表示装置２００３に対して接触した位置の組み合わせのパターンである。
また、接触パターン取得部２０３は、照合対象となる領域の概略位置を表す接触パターンを取得する。照合対象となる領域の概略位置を表す接触パターンとは、例えば、ほぼ同時に接触された２点を表す座標の組み合わせによって構成される接触パターンであってもよい。
画像格納部２０７は、登録画像を表す情報を格納している。
なお、画像格納部２０７は、登録画像を表す情報として、画像取得部１０１が取得した画像の全領域を表す情報を格納していてもよい。また、画像格納部２０７は、登録画像の元の画像から切り出しされた照合対象概略領域内の画像を格納していてもよい。また、画像格納部２０７は、登録画像の元の画像およびその照合対象概略領域を表す情報の組み合わせを格納していてもよい。また、画像格納部２０７は、画像取得部１０１が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像特徴量を、登録画像を表す情報として格納してもよい。また、画像格納部２０７は、画像取得部１０１が取得したものに限らず、あらかじめ登録された登録画像を表す情報を格納しておいてもよい。
また、画像格納部２０７は、各登録画像に関する関連情報を、各登録画像に関連づけて格納していてもよい。ここで、関連情報とは、登録画像の格納パス、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）等である。さらに、関連情報は、登録画像に関する画像特徴量を含んでいてもよい。
画像照合部２０５は、本発明の第１の実施の形態における画像照合部１０５と同様に構成されることにより、検索画像および各登録画像に関する局所的な領域毎の照合結果に基づく統合的な照合結果を求める。さらに、画像照合部２０５は、これらの統合的な照合結果に基づいて、画像格納部２０７に格納されている登録画像のうち、検索画像に対応する登録画像を特定する。例えば、画像照合部２０５は、検索画像との一致度が閾値以上の登録画像を特定してもよい。
ただし、検索画像に対応する登録画像が登録されていない場合も考慮すると、画像照合部２０５は、必ずしもすべての検索画像について、対応する登録画像を特定する必要はない。例えば、画像照合部２０５は、画像照合を行った結果、閾値以上の一致度を有する登録画像が無い場合には、登録画像を特定しなくてもよい。
また、画像照合部２０５は、登録画像および検索画像のそれぞれから特徴量を計算する機能を備え、計算した特徴量を用いて、局所的な領域毎の照合結果を算出してもよい。このとき、画像照合部２０５は、特許文献１に記載された技術を用いてもよい。
照合結果提示部２０６は、画像照合部２０５が特定した登録画像を表す情報を提示する。照合結果提示部２０６は、特定された登録画像に関連付けられた関連情報があれば、その関連情報を画像格納部２０７から取得し、取得した関連情報を提示してもよい。
以上のように構成された画像照合装置２の動作について、図面を参照して説明する。
ここでは、画像照合装置２があらかじめ登録画像を登録する登録処理と、検索画像に対応する登録画像を特定する検索処理と、登録画像または検索画像を取得する際の照合対象概略領域推定処理について説明する。
まず、画像照合装置２の登録処理について、図８を用いて説明する。
まず、画像照合装置２は、初期化処理を行う（ステップＳ２１）。具体的には、例えば、画像照合装置２は、座標入力機能付表示装置２００３を介して接触操作を受け付ける状態となるよう、接触パターン取得部２０３を制御する。
次に、画像取得部１０１および照合対象概略領域推定部１０４は、登録画像を表す情報を取得する（ステップＳ２２）。
このとき、画像取得部１０１は、登録画像に関連する関連情報として、格納パスやＵＲＬ等を併せて取得してもよい。
なお、画像照合装置２は、画像取得部１０１が取得した画像の全領域を表す情報を、そのまま登録画像を表す情報として取得してもよい。また、画像照合装置２は、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。また、画像照合装置２は、画像取得部１０１が取得した画像の全領域の画像特徴量、または、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報としての画像特徴量を、登録画像を表す情報として取得してもよい。
次に、画像格納部２０７は、ステップＳ２２で取得された登録画像を表す情報を格納する（ステップＳ２３）。
このとき、画像格納部２０７は、ステップＳ２２で関連情報を取得していれば、登録画像を表す情報に関連情報を関連づけて格納してもよい。
また、画像格納部２０７は、画像照合部２０５を用いて登録画像の特徴量を算出し、算出した特徴量を関連情報として格納してもよい。
また、画像格納部２０７は、登録画像を一意に識別する識別番号を付与する処理を行い、結果として得られる識別番号を関連情報として格納してもよい。
以上で、画像照合装置２は、登録処理を終了する。
なお、上述のように、画像格納部２０７は、この登録処理によって登録される登録画像の他、あらかじめ他の登録画像を格納しておいてもよい。
次に、画像照合装置２の検索処理について、図９を用いて説明する。
ここでは、まず、画像照合装置２は、初期化処理を行う（ステップＳ３１）。例えば、画像照合装置２は、接触パターン取得部２０３を、座標入力機能付表示装置２００３を介して接触操作を受け付ける状態となるよう制御する。
次に、画像取得部１０１および照合対象概略領域推定部１０４は、検索画像を表す情報を取得する（ステップＳ３２）。
なお、画像照合装置２は、画像取得部１０１が取得した画像の全領域を表す情報を、そのまま検索画像を表す情報として取得してもよいし、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。また、画像照合装置２は、画像取得部１０１が取得した画像の全領域の画像特徴量や、後述する照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報としての画像特徴量を、検索画像を表す情報として取得してもよい。
ただし、画像照合装置２は、前述の登録処理において、画像取得部１０１が取得した画像の全領域を表す情報をそのまま登録画像を表す情報として取得していた場合は、後述の照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得する。
次に、画像照合部２０５は、検索画像と、画像格納部２０７に格納された各登録画像の、局所的な領域毎の照合結果に基づいて、統合的な照合結果を算出する（ステップＳ３３）。
このとき、画像照合部２０５は、検索画像および登録画像から各画像の画像特徴量を算出し、算出した画像特徴量を用いて検索画像および登録画像の統合的な照合結果を算出してもよい。また、画像照合部２０５は、登録画像の関連情報に含まれる特徴量を利用して照合を行ってもよい。また、画像照合部２０５は、登録画像を表す情報として画像格納部２０７に画像特徴量が格納されている場合、格納された画像特徴量を利用して照合を行ってもよい。また、画像照合部２０５は、ステップＳ３２で、検索画像を表す情報として画像特徴量を取得している場合、取得した画像特徴量を用いて照合を行ってもよい。
次に、画像照合部２０５は、ステップＳ３３における検索画像と、各登録画像との照合結果に基づいて、検索画像に対応する登録画像を特定する（ステップＳ３４）。
次に、照合結果提示部２０６は、ステップＳ３４で特定された登録画像の関連情報を取得する。そして、照合結果提示部２０６は、ステップＳ３４で特定された登録画像を表す情報に、取得した関連情報を含めて提示する（ステップＳ３５）。
このとき、照合結果提示部２０６は、検索画像もしくは検索画像の元の画像において登録画像との一致度が高い領域に、特定された登録画像の対応する領域を重畳させて提示してもよい。また、この場合、照合結果提示部２０６は、検索画像上に重畳させた登録画像の対応する領域内またはその近傍に、さらに関連情報を重畳させて提示してもよい。
あるいは、照合結果提示部２０６は、特定した登録画像を表す情報として、関連情報としての格納パスやＵＲＬを提示してもよい。
なお、ステップＳ３４で検索画像に対応する登録画像が特定されなかった場合、照合結果提示部２０６は、「対応する登録画像が存在しない」旨を表すあらかじめ定められた情報を提示してもよい。
次に、ステップＳ２２およびステップＳ３２における照合対象概略領域推定処理について説明する。
まず、画像取得部１０１は、照合対象となる画像を取得する（ステップＳ４０）。
次に、画像表示部２０２は、画像取得部１０１が取得した画像を表示する（ステップＳ４１）。
なお、該当する画像が動画像である場合、画像表示部１０２は、その動画像のある時点における画像を表示する。例えば、画像取得部１０が動画像を継続的に取得している場合、画像表示部２０２は、ステップＳ４１の実行時点で画像取得部１０１が取得した静止画像を表示してもよい。あるいは、画像取得部１０１が既に動画像を構成する静止画像の列を取得している場合、画像表示部１０２は、初回のステップＳ４１の実行時には、列の先頭の静止画像を表示し、２回目以降のステップＳ４１の実行時には、前回表示した静止画像の次の静止画像を表示するようにしてもよい。
次に、接触パターン取得部２０３は、照合対象となる領域の概略位置を指定する概略位置指定操作が開始されたか否かを判断する（ステップＳ４２）。
例えば、接触パターン取得部２０３は、画像表示部２０２が表示する画像の領域に対する接触を検知したときに、概略位置指定操作が開始されたと判断してもよい。あるいは、接触パターン取得部２０３は、概略位置指定操作を開始することを表すものとしてあらかじめ定められた接触パターンを検知したときに、概略位置指定操作が開始されたと判断してもよい。
ステップＳ４２において、概略位置指定操作が開始されたと接触パターン取得部２０３が判断しなかった場合、画像照合装置２は、再度ステップＳ４１を実行する。
一方、接触パターン取得部２０３は、ステップＳ４２において、概略位置指定操作が開始されたと判断した場合、接触パターンを取得する（ステップＳ４３）。
接触パターン取得部２０３は、座標入力機能付表示装置２００３に対する接触位置を表す情報の履歴を保持することにより、接触パターンを取得してもよい。なお、接触パターン取得部２０３は、ステップＳ４２において概略位置指定操作の開始を表す接触パターンを利用して判断を行う場合には、概略位置指定操作の開始を表す接触パターンに含まれる接触位置を表す情報を履歴として保持しなくてよい。
接触パターン取得部２０３は、このステップＳ４３の処理を、概略位置指定操作が終了したと判定するまで（ステップＳ４４でＹｅｓ）繰り返し実行される。
ステップＳ４４において、接触パターン取得部２０３は、概略位置指定操作が終了したか否かを判断する（ステップＳ４４）。
例えば、接触パターン取得部２０３は、保持した接触位置の履歴を参照して、照合対象概略領域を推定するために必要な接触パターンを取得したと判定できる場合に、概略位置指定操作が終了したと判断すればよい。あるいは、接触パターン取得部２０３は、画像表示部２０２が表示する終了ボタン領域に対する接触を検知したときに、概略位置指定操作が終了したと判断してもよい。
次に、照合対象概略領域推定部１０４は、取得された接触パターンに基づいて、この画像における照合対象概略領域を推定する（ステップＳ４５）。
例えば、接触パターンが２点の座標で構成される場合、照合対象概略領域推定部１０４は、２点を結ぶ線分を対角線とする矩形を照合対象概略領域として推定すればよい。
次に、照合対象概略領域推定部１０４は、この画像の照合対象概略領域内の画像を表す情報を生成する（ステップＳ１６）。
このとき、照合対象概略領域推定部１０４は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域の画像データを切り出してもよいし、この画像と照合対象概略領域を表す情報との組み合わせを生成してもよい。あるいは、照合対象概略領域推定部１０４は、照合対象概略領域内の画像を表す情報として、推定した照合対象概略領域内の画像の画像特徴量を生成してもよい。
以上で、画像照合装置２は、照合対象概略領域を推定する処理を終了する。
次に、本発明の第２の実施の形態の効果について述べる。
本発明の第２の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を算出する技術を用いて検索画像に対応する登録画像を検索する際の、検索精度及び検索処理速度を向上させることができる。
その理由は、照合対象概略領域推定部が、取得した画像において照合対象となる概略の領域を推定し、画像照合部が、推定した照合対象概略領域内の画像を検索画像として、対応する登録画像を特定するからである。また、画像格納部が、照合対象概略領域推定部によって推定された照合対象概略領域内の画像を登録画像として格納しておき、画像照合部が、検索画像に対応する登録画像を検索するからである。
すなわち、本発明の第２の実施の形態としての画像照合装置は、画像照合部によって照合される検索画像および登録画像に、照合対象でない領域が含まれないので、不要な照合処理を行うことがなく検索処理速度の向上に貢献するからである。また、本発明の第２の実施の形態としての画像照合装置は、検索画像と各登録画像の照合精度を向上させるので、結果として、検索画像に対応する登録画像を特定する検索精度を向上させることができるからである。
また、本発明の第２の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合対象となる画像において照合対象としたい領域を指定するユーザ負担をさらに軽減することができる。
その理由は、照合対象概略領域推定部が、簡素な接触パターンに基づいて、照合対象概略領域を推定するからである。このため、本発明の第２の実施の形態としての画像照合装置では、照合対象としたい領域を囲むような正確な接触操作をユーザが行う必要がないからである。
このように、ユーザ負担をさらに軽減することができる効果について、さらに詳細に説明する。
まず、上述のような照合対象概略領域を接触パターンに基づいて推定する技術に関連する技術として、例えば、特開２００９−２８２６３４号公報に記載された領域指定技術について説明する。
特開２００９−２８２６３４号公報に記載された技術は、複数のタッチ入力位置を同時に検出し、同時に検出したタッチ入力位置の組み合わせに基づいて円形の指定領域を特定する。特開２００９−２８２６３４号公報に記載された技術は、特定した円形の指定領域に一定割合の表示面積が含まれるオブジェクトを選択する。
しかし、特開２００９−２８２６３４号公報に記載された技術は、円形の指定領域に一定割合以上の表示面積が含まれるオブジェクトを選択する。そのため、照合対象としたいオブジェクトを円形の指定領域で一定割合以上囲むようタッチ入力操作を行う必要がある。従って、特開２００９−２８２６３４号公報に記載された技術は、オブジェクトを選択するユーザの負担を軽減することができない。
このように、本発明の第２の実施の形態としての画像照合装置は、照合対象となる画像において照合対象としたい領域を円形の指定領域で囲むような接触操作をユーザが行う必要がない。従って、本発明の第２の実施の形態としての画像照合装置は、照合対象としたい領域を指定するユーザ負担をさらに軽減することができる。本発明の第２の実施の形態としての画像照合装置には、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術に特開２００９−２８２６３４号公報に記載された領域指定技術を適用した場合と比べても、前述の効果がある。
なお、本発明の第２の実施の形態において、画像格納部２０７は、登録画像から計算された画像特徴量を関連情報に含めて格納する場合、登録画像そのものの格納を省略することも可能である。なぜなら、画像照合部２０５は、画像特徴量を利用して、局所的な領域毎の照合結果に基づく統合的な照合結果を求めることが可能だからである。
また、本発明の第２の各実施の形態において、画像格納部２０７は、地点を表す位置情報または方位を表す方位情報を、各登録画像に関連する関連情報の中に含めて格納してもよい。なお、地点を表す位置情報は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）に代表される測位システムによって測定される情報であってもよい。また、方位情報は、電子コンパス等によって取得された情報であってもよい。
この場合、画像取得部１０１は、検索画像とともに位置情報または方位情報を取得してもよい。そして、画像照合部２０５は、検索画像とともに取得した位置情報または方位情報と類似する位置情報または方位情報を持つ登録画像のみを照合の対象として、検索画像に対応する登録画像を特定するようにしてもよい。
例えば、画像照合部２０５は、検索画像とともに取得した位置情報が地点Ｑを表し、登録画像に対応づけられた位置情報が地点Ｒを表す場合に、地点Ｑからあらかじめ定められた距離内にある地点Ｒに対応付けられた登録画像を照合の対象としてもよい。
また、例えば、画像照合部２０５は、検索画像とともに取得した方位情報が表す方位から、あらかじめ定められた一定の値以内の差である方位を表す方位情報に関連づけられた登録画像を照合の対象としてもよい。
このように構成することにより、本発明の第２の各実施の形態としての画像照合装置は、照合対象となる登録画像の数を絞り込むことができ、検索処理の高速化にさらに貢献することができる。
また、本発明の第２の実施の形態において、画像格納部２０７は、登録画像に関連する関連情報を多言語で格納しておいてもよい。これにより、照合結果提示部２０６は、検索画像に対応する登録画像を表す情報を、あらかじめ設定されたユーザの属性や選択操作に応じた言語で表示してもよい。
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第３の実施の形態としての画像照合装置３は、図６に示した本発明の第２の実施の形態としての画像照合装置２を構成するコンピュータ装置によって構成される。
次に、画像照合装置３の機能ブロック構成を図１１に示す。
画像照合装置３は、本発明の第２の実施の形態としての画像照合装置２に対して、接触パターン取得部２０３に替えて接触パターン取得部３０３と、照合対象概略領域推定部１０４に替えて照合対象概略領域推定部３０４とを備える点が異なる。
接触パターン取得部３０３は、本発明の第２の実施の形態における接触パターン取得部２０３と同様に構成されるが、照合対象となる領域の概略位置を表す接触パターンとして、１点を表す座標によって構成される接触パターンを取得する点が異なる。
照合対象概略領域推定部３０４は、接触パターンである１つの点から、それぞれ所定距離の４点を頂点とする矩形が、照合対象概略領域であると推定する。
例えば、接触パターンである１点の座標が（ｘ１、ｙ１）であれば、照合対象概略領域推定部３０４は、（ｘ１＋ｄｘ１Ｌ、ｙ１＋ｄｙ１Ｌ）、（ｘ１＋ｄｘ１Ｒ、ｙ１＋ｄｙ１Ｌ）、（ｘ１＋ｄｘ１Ｒ、ｙ１＋ｄｙ１Ｒ）、（ｘ１＋ｄｘ１Ｌ、ｙ１＋ｄｙ１Ｒ）の４点を頂点とする矩形が、照合対象概略領域であると推定する。
以上のように構成された画像照合装置３の動作について説明する。
画像照合装置３の動作は、本発明の第２の実施の形態としての画像照合装置２に対して、図１０に示した照合対象概略領域推定処理におけるＳ４３〜Ｓ４５における処理が異なる。
ステップＳ４３において、接触パターン取得部３０３は、概略位置指定操作が終了したと判断できるまで（ステップＳ４４でＹｅｓ）、１点の座標によって構成される接触パターンの取得処理を繰り返し実行する。なお、ステップＳ４４において、接触パターン取得部２０３は、本発明の第２の実施の形態と同様に、接触位置の履歴を参照して１点の座標を取得したと判断できたとき、概略位置指定操作が終了したと判断すればよい。また、接触パターン取得部２０３は、終了ボタン領域に対する接触を検知することにより、概略位置指定操作が終了したと判断してもよい。
ステップＳ４５において、照合対象概略領域推定部３０４は、接触パターンとして座標を取得した１点から、それぞれ所定距離にある４点を頂点とする矩形が、この画像における照合対象概略領域であると推定する。
画像照合装置３は、以降、本発明の第２の実施の形態としての画像照合装置２と同様に動作することにより、該当する画像の照合対象概略領域内の画像を表す情報を生成する。
以上で、画像照合装置３の照合対象概略領域推定処理の説明を終了する。
次に、本発明の第３の実施の形態としての画像照合装置の効果について述べる。
本発明の第３の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合対象となる画像における照合対象概略領域を指定するユーザ負担をさらに軽減することができる。
その理由は、照合対象概略領域推定部が、１点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するからである。このため、本発明の第３の実施の形態としての画像照合装置では、照合対象としたい領域を指定するための正確な接触操作をユーザが行う必要がないからである。
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。
本発明の第４の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、３点を表す座標によって構成される接触パターンを取得する。この場合、本実施の形態における接触パターン取得部３０３は、３点を表す座標を取得した順序を記憶しておくことが望ましい。
また、本実施の形態における照合対象概略領域推定部３０４は、接触パターンである３つの点を頂点に含む平行四辺形が、照合対象概略領域であると推定する。例えば、本実施の形態における照合対象概略領域推定部３０４は、３つの点がＰ１、Ｐ２、Ｐ３の順で取得された場合、Ｐ１とＰ２を結ぶ線分、および、Ｐ２とＰ３を結ぶ線分を２辺とする平行四辺形を照合対象概略領域にすればよい。
また、本実施の形態における照合対象概略領域推定部３０４は、接触パターン取得部３０３が３点Ｐ１、Ｐ２、Ｐ３の順序を取得していない場合、ランダムに順序を規定することにより照合対象概略領域を推定してもよい。なお、本実施の形態における照合対象概略領域推定部３０４は、接触パターンＰ１、Ｐ２、Ｐ３の順序が取得されている場合であっても、Ｐ１、Ｐ２、Ｐ３を頂点に含む上述の例以外の平行四辺形を照合対象概略領域としてもよい。
以上のように構成された本発明の第４の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第４の実施の形態の画像照合装置は、３点の座標によって構成される接触パターンを取得し、３点の座標を頂点に含む平行四辺形を照合対象概略領域として推定する。
次に、本発明の第４の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第４の実施の形態としての画像照合装置は、３点の座標から構成される簡素な接触パターンに基づいて照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
なお、本実施の形態における照合対象概略領域推定部３０４は、接触パターンである３つの点を頂点に含む平行四辺形の外接矩形が、照合対象概略領域であると推定してもよい。
例えば、照合対象概略領域推定部３０４が、上述のＰ１、Ｐ２、Ｐ３と、これらを含む平行四辺形の頂点Ｐ４（ｘ４、ｙ４）の、ｘ座標の最小値であるｍｉｎｘ、最大値であるｍａｘｘ、ｙ座標の最小値であるｍｉｎｙ、最大値であるｍａｘｙを算出すればよい。そして、照合対象概略領域推定部３０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする矩形が、照合対象概略領域であると推定すればよい。
これにより、本実施の画像照合装置は、３点を頂点に含む平行四辺形のみを照合対象概略領域とする場合より、照合対象とする概略の領域を広く推定することができる。したがって、本実施の画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
（第５の実施の形態）
次に、本発明の第５の実施の形態について説明する。
本発明の第５の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、ｎ点（ｎは３以上の整数）を表す座標によって構成される接触パターンを取得する。
本実施の形態における照合対象概略領域推定部３０４は、接触パターンであるｎ個の点が頂点である多角形が、照合対象概略領域であると推定する。
以上のように構成された本発明の第５の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第５の実施の形態の画像照合装置は、ｎ個の点の座標によって構成される接触パターンを取得し、ｎ個の点を頂点とする多角形が照合対象概略領域であると推定する。
次に、本発明の第５の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第５の実施の形態としての画像照合装置は、ｎ点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
（第６の実施の形態）
次に、本発明の第６の実施の形態について説明する。
本発明の第６の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、ｎ点（ｎは３以上の整数）を表す座標によって構成される接触パターンを取得する。なお、ｎ点を表す座標によって構成される接触パターンは、任意の線を構成する接触パターンを含む。任意の線を構成する接触パターンは、曲線か直線か、開曲線か閉曲線か等の形状に関わらず、空間的に連続する複数の点から構成されるとみなすことができる。
本実施の形態における照合対象概略領域推定部３０４は、接触パターンであるｎ個の点が頂点である多角形の外接矩形が、照合対象概略領域であると推定する。
例えば、本実施の形態における照合対象概略領域推定部３０４は、ｎ個の点のｘ座標のうち最小値であるｍｉｎｘ、最大値であるｍａｘｘ、ｎ個の点のｙ座標のうち最小値であるｍｉｎｙ、最大値であるｍａｘｙを算出すればよい。そして、本実施の形態における照合対象概略領域推定部３０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする矩形が、照合対象概略領域であると推定すればよい。
以上のように構成された本発明の第６の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第６の実施の形態の画像照合装置は、ｎ個の点の座標によって構成される接触パターンを取得し、ｎ個の点が頂点である多角形の外接矩形が、照合対象概略領域であると推定する。
次に、本発明の第６の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第６の実施の形態としての画像照合装置は、ｎ点の座標から構成される簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
また、本発明の第６の実施の形態としての画像照合装置は、本発明の第５の実施の形態と比較すると、照合対象とする概略の領域を広く推定することができる。本発明の第６の実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
（第７の実施の形態）
次に、本発明の第７の実施の形態について説明する。
本発明の第７の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Ａと記載する。
本実施の形態における照合対象概略領域推定部３０４は、接触パターンとして取得した曲線Ａと、曲線Ａの始点および終点の中点を中心に曲線Ａを所定量θだけ回転させた曲線Ｂとで囲まれる領域を、照合対象概略領域として推定する。
なお、所定量θは、０度≦θ＜３６０度を満たすようあらかじめ定められていればよい。回転角θの特に好適な例はθ＝１８０度である。この場合、曲線Ａと曲線Ｂとが連結された曲線が閉曲線となるため、本実施の形態における照合対象概略領域推定部３０４は、閉曲線内部の領域を照合対象概略領域として推定すればよい。
以上のように構成された本発明の第７の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第７の実施の形態の画像照合装置は、曲線Ａを表す接触パターンを取得し、曲線Ａと、曲線Ａの始点および終点の中点を中心に曲線Ａを所定量θだけ回転させた曲線Ｂとで囲まれる領域が、照合対象概略領域であると推定する。
なお、本実施の形態における接触パターン取得部３０３は、ステップＳ４２において概略位置指定操作が開始されたと判断した後、ステップＳ４４において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部３０３は、ステップＳ４４において、座標入力機能付表示装置２００３に対する連続した接触操作を検知しなくなったときに、概略位置指定操作が終了したと判断すればよい。
次に、本発明の第７の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第７の実施の形態としての画像照合装置は、１本の曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
なお、本実施の形態における照合対象概略領域推定部３０４は、接触パターンである曲線Ａと、曲線Ａの始点および終点の中点を中心に曲線Ａを所定量θだけ回転させた曲線Ｂとで囲まれる領域Ｒの外接矩形が、照合対象概略領域であると推定してもよい。
例えば、本実施の形態における照合対象概略領域推定部３０４は、領域Ｒが取りうるｘ座標の値のうち最小値であるｍｉｎｘ、最大値であるｍａｘｘ、領域Ｒが取りうるｙ座標の値のうち最小値であるｍｉｎｙ、最大値であるｍａｘｙを算出すればよい。そして、本実施の形態における照合対象概略領域推定部３０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする矩形が、照合対象概略領域であると推定すればよい。
これにより、本実施の形態としての画像照合装置は、領域Ｒのみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
（第８の実施の形態）
次に、本発明の第８の実施の形態について説明する。
本発明の第８の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Ａと記載する。
本実施の形態における照合対象概略領域推定部３０４は、取得した接触パターンである曲線Ａと、曲線Ａの始点および終点を結ぶ線を軸として曲線Ａに対して線対称な曲線Ｃとで囲まれる領域が、照合対象概略領域であると推定する。
曲線Ａと曲線Ｃとが連結された曲線は閉曲線となる。本実施の形態における照合対象概略領域推定部３０４は、閉曲線内部の領域が照合対象概略領域であると推定すればよい。
以上のように構成された本発明の第８の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第８の実施の形態の画像照合装置は、曲線Ａを表す接触パターンを取得し、曲線Ａと、曲線Ａの始点および終点を結ぶ線を軸として曲線Ａに対して線対称な曲線Ｃとで囲まれる領域が、照合対象概略領域であると推定する。
なお、本実施の形態における接触パターン取得部３０３は、ステップＳ４２において概略位置指定操作が開始されたと判断した後、ステップＳ４４において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部３０３は、ステップＳ４４において、座標入力機能付表示装置２００３に対する連続した接触操作を検知しなくなったときに、概略位置指定操作が終了したと判断すればよい。
次に、本発明の第８の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第８の実施の形態としての画像照合装置は、１本の曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
なお、本実施の形態における照合対象概略領域推定部３０４は、接触パターンである曲線Ａと、曲線Ａの始点および終点を結ぶ線を軸として曲線Ａに対して線対称な曲線Ｃとで囲まれる領域Ｒ２の外接矩形が、照合対象概略領域であると推定してもよい。
例えば、本実施の形態における照合対象概略領域推定部３０４は、領域Ｒ２が取りうるｘ座標の値のうち最小値であるｍｉｎｘ、最大値であるｍａｘｘ、領域Ｒが取りうるｙ座標の値のうち最小値であるｍｉｎｙ、最大値であるｍａｘｙを算出すればよい。そして、本実施の形態における照合対象概略領域推定部３０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする矩形が、照合対象概略領域であると推定すればよい。
これにより、本実施の形態としての画像照合装置は、領域Ｒ２のみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
（第９の実施の形態）
次に、本発明の第９の実施の形態について説明する。
本発明の第９の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、閉領域を構成する線を表す情報を取得する。
本実施の形態における照合対象概略領域推定部３０４は、取得した接触パターンである閉領域を構成する線の内部が、照合対象概略領域であると推定する。
以上のように構成された本発明の第９の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第９の実施の形態の画像照合装置は、閉領域を構成する線を表す接触パターンを取得し、その内部の閉領域が照合対象概略領域であると推定する。
なお、本実施の形態における接触パターン取得部３０３は、ステップＳ４２において概略位置指定操作が開始されたと判断した後、ステップＳ４４において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部３０３は、ステップＳ４４において、座標入力機能付表示装置２００３に対する連続した接触操作を検知している間に、接触位置の履歴に含まれる過去の接触位置と同一の接触位置を検出した場合に、概略位置指定操作が終了したと判断すればよい。
次に、本発明の第９の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第９の実施の形態としての画像照合装置は、閉領域を構成する線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
（第１０の実施の形態）
次に、本発明の第１０の実施の形態について説明する。
本発明の第１０の実施の形態としての画像照合装置は、本発明の第３の実施の形態としての画像照合装置３と同様に構成されるが、接触パターン取得部３０３および照合対象概略領域推定部３０４の構成が異なる。
本実施の形態における接触パターン取得部３０３は、照合対象となる領域の概略位置を表す接触パターンとして、曲線を表す情報を取得する。ここで、説明の簡略化のため、接触パターンとして取得した情報を曲線Ａと記載する。
本実施の形態における照合対象概略領域推定部３０４は、接触パターンとして取得した曲線Ａを２つの線分が連結したもの（Ｌ字型）とみなし、その２つの線分を２辺とする平行四辺形が照合対象概略領域であると推定する。
例えば、本実施の形態における照合対象概略領域推定部３０４は、曲線Ａの変曲点を検出すればよい。そして、照合対象概略領域推定部３０４は、曲線Ａを、始点と変曲点とを結ぶ線分と、変曲点と終点とを結ぶ線分との２つの線分が連結したＬ字型とみなせばよい。
この場合、本実施の形態における照合対象概略領域推定部３０４は、例えば、曲線Ａの曲率が最大となる点を変曲点として検出すればよい。
あるいは、本実施の形態における照合対象概略領域推定部３０４は、接触位置の履歴を時間的に解析し、一定時間中に接触位置の軌跡が変化する割合（接触パターンの入力速度）が最も小さい箇所を変曲点としてもよい。なぜなら、ユーザがＬ字型の接触操作を行う場合、Ｌ字型を構成する２つの線分の接点付近では、ユーザの指やスタイラス等による接触位置の移動速度が小さくなると考えられるからである。
以上のように構成された本発明の第１０の実施の形態の画像照合装置は、本発明の第３の実施の形態の画像照合装置３の照合対象概略領域推定処理に対して、ステップＳ４３〜Ｓ４５における動作が異なる。本発明の第１０の実施の形態の画像照合装置は、曲線Ａを表す接触パターンを取得し、曲線Ａを２つの線分が連結したもの（Ｌ字型）とみなすことにより、２つの線分を２辺とする平行四辺形を照合対象概略領域として推定する。
なお、本実施の形態における接触パターン取得部３０３は、ステップＳ４２において概略位置指定操作が開始されたと判断した後、ステップＳ４４において、概略位置指定操作が終了したか否かを判断する。接触パターン取得部３０３は、ステップＳ４４において、座標入力機能付表示装置２００３に対する連続した接触操作が検知されなくなったときに、概略位置指定操作が終了したと判断すればよい。
次に、本発明の第１０の実施の形態としての画像照合装置の効果について述べる。
このような本発明の第１０の実施の形態としての画像照合装置は、Ｌ字型とみなすことができる曲線を表す簡素な接触パターンに基づいて、照合対象概略領域を推定するため、照合対象としたい領域を指定するためのユーザ負担を軽減することができる。
なお、本実施の形態における照合対象概略領域推定部３０４は、接触パターンである曲線Ａを２つの線分が連結したもの（Ｌ字型）とみなし、その２つの線分を２辺とする平行四辺形の外接矩形が、照合対象概略領域であると推定してもよい。
例えば、本実施の形態における照合対象概略領域推定部３０４は、Ｌ字型を２辺とする平行四辺形の頂点Ｐ１、Ｐ２、Ｐ３、Ｐ４の、ｘ座標の最小値であるｍｉｎｘ、最大値であるｍａｘｘ、ｙ座標の最小値であるｍｉｎｙ、最大値であるｍａｘｙを算出すればよい。そして、本実施の形態における照合対象概略領域推定部３０４は、４つの点（ｍｉｎｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍｉｎｙ）、（ｍａｘｘ、ｍａｘｙ）、（ｍｉｎｘ、ｍａｘｙ）を頂点とする矩形を照合対象概略領域として推定すればよい。
これにより、本実施の形態としての画像照合装置は、Ｌ字型を２辺とする平行四辺形のみを照合対象概略領域とする場合と比較して、照合対象概略領域を広く推定することができる。従って、本実施の形態としての画像照合装置は、ユーザにとって照合対象としたい領域と実際の接触操作とに若干のずれがあった場合にも、照合精度を保つことができる。
（第１１の実施の形態）
次に、本発明の第１１の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第１１の実施の形態としての画像照合装置４は、図６に示した本発明の第２の実施の形態としての画像照合装置２を構成するコンピュータ装置によって構成される。
次に、画像照合装置４の機能ブロック構成を図１２に示す。
画像照合装置４は、本発明の第２の実施の形態としての画像照合装置２に対して、照合対象概略領域推定部１０４に替えて照合対象概略領域推定部４０４を備え、さらに接触パターン形状判別部４０８を備える点が異なる。ここで、接触パターン形状判別部４０８は、制御部１００１によって構成される。なお、画像照合装置４の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
接触パターン形状判別部４０８は、接触パターン取得部２０３が取得した接触パターンの形状を判別する。
例えば、接触パターン形状判別部４０８は、接触パターンが、１つ以上の点、あるいは、線のいずれであるかを判別すればよい。具体的には、例えば、接触パターン形状判別部４０８が、接触パターンに属す画素（座標）とそうでない画素（座標）とを識別する信号を各画素（座標）に割り当てる。そして、接触パターン形状判別部４０８は、接触パターンに属す画素で構成される連結領域を抽出し、連結領域の数、および、各連結領域内の画素数に基づいて、接触パターンが、１つ以上の点であるか、線であるかを判別してもよい。
さらに、接触パターン形状判別部４０８は、接触パターンが１つ以上の点によって構成されると判別した場合には、その点の個数を判別してもよい。具体的には、例えば、接触パターン形状判別部４０８は、上述の連結領域の個数を点の個数としてもよい。
また、接触パターン形状判別部４０８は、接触パターンが線によって構成されると判別した場合には、接触パターンが、閉曲線、Ｌ字型、および、それ以外の線のいずれであるかを判別してもよい。
照合対象概略領域推定部４０４は、接触パターン形状判別部４０８が判別した接触パターンの形状に基づいて、照合対象概略領域を推定する。
例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が１つの点である場合、１つの点からそれぞれ所定距離の４点を頂点とする矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が２つの点である場合、２点を結ぶ線分を対角線とする矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が３つの点である場合、３点を頂点に含む平行四辺形またはその外接矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が４つ以上の点である場合、各点を頂点とする多角形またはその外接矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が閉曲線である場合、閉曲線の内部またはその外接矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が、Ｌ字型とみなすことができる、閉曲線以外の線である場合、Ｌ字型を２辺とする平行四辺形またはその外接矩形が照合対象概略領域であると推定してもよい。
また、例えば、照合対象概略領域推定部４０４は、判別された接触パターンの形状が、Ｌ字型をみなすことができない、閉曲線でない線（曲線Ａ）である場合、曲線Ａの始点および終点の中点を中心に曲線Ａを所定量回転させた曲線Ｂを生成すればよい。そして、照合対象概略領域推定部４０４は、曲線Ａと曲線Ｂとで囲まれる領域が、照合対象概略領域であると推定すればよい。あるいは、この場合、照合対象概略領域推定部４０４は、曲線Ａと、曲線Ａの始点および終点を結ぶ線を軸として曲線Ａに対して線対称な曲線Ｃとで囲まれる領域が、照合対象概略領域であると推定してもよい。
以上のように構成される画像照合装置４の照合対象概略領域推定動作について、図１３を用いて説明する。なお、画像照合装置４の登録処理および検索処理は、本発明の第２の実施の形態としての画像照合装置２と同様であるため、本実施の形態における説明を省略する。
図１３において、画像照合装置４は、本発明の第２の実施の形態としての画像照合装置２と同様にステップＳ４０〜Ｓ４４の動作を行って、接触パターンを取得する。
なお、接触パターン取得部２０３は、領域指定操作の開始時に座標入力機能付表示装置２００３上に領域指定操作の終了ボタンを表示しておけばよい。そして、接触パターン取得部２０３は、ステップＳ４４において、終了ボタンの領域に対する接触操作を取得したときに領域指定操作が終了したと判断するのが好適である。
次に、接触パターン形状判別部４０８は、接触パターンの形状が１つ以上の点であるか線であるかを判別する（ステップＳ５１）。
例えば、接触パターン形状判別部４０８は、上述のように、接触パターンに属す画素に関する連結領域の数、および、各連結領域内の画素数に基づいて、１つ以上の点であるか、線であるかを判別すればよい。
接触パターン形状判別部４０８は、ステップＳ５１において、接触パターンが線であると判別した場合、接触パターンの形状が閉曲線であるか否かを判別する（ステップＳ５２）。
例えば、接触パターン形状判別部４０８は、接触パターンを構成している画素について輪郭追跡を行い、ループを検出した場合に閉曲線であると判別すればよい。
ステップＳ５２において、接触パターン形状判別部４０８が、接触パターンが閉曲線であると判別した場合、照合対象概略領域推定部４０４は、閉曲線の内部の閉領域または閉領域の外接矩形を照合対象概略領域として推定する（ステップＳ５３）。
一方、接触パターン形状判別部４０８は、ステップＳ５２において、接触パターンが閉曲線でないと判別した場合、接触パターンの形状がＬ字型であるかを判別する（ステップＳ５４）。
例えば、接触パターン形状判別部４０８は、本発明の第１０の実施形態において述べたような変曲点を検出できるか否かに基づいて、接触パターンの形状がＬ字型であるか否かを判別すればよい。
ステップＳ５４において、接触パターン形状判別部４０８が、接触パターンの形状がＬ字型であると判別した場合、照合対象概略領域推定部４０４は、Ｌ字型を構成する２つの線分を２辺とする平行四辺形またはその外接矩形が照合対象概略領域であると推定する（ステップＳ５５）。
一方、ステップＳ５４において、接触パターン形状判別部４０８が、接触パターンの形状がＬ字型でないと判別された場合、照合対象概略領域推定部４０４は、接触パターンの形状（曲線Ａ）から、上述の曲線Ｂまたは上述の曲線Ｃを生成する。そして、照合対象概略領域推定部４０４は、上述の、曲線Ａおよび曲線Ｂによって囲まれる領域、または、上述の、曲線Ａおよび曲線Ｃによって囲まれる領域が照合対象概略領域であると推定する（ステップＳ５６）。
また、接触パターン形状判別部４０８は、ステップＳ５１において、接触パターンの形状が１つ以上の点であると判別した場合、さらに、点の個数を算出する（ステップＳ５７）。
次に、照合対象概略領域推定部４０４は、ステップＳ５７で算出した点の個数に基づいて、照合対象概略領域を推定する（ステップＳ５８）。
例えば、照合対象概略領域推定部４０４は、ステップＳ５７で算出した点の個数が１つであれば、その１つの点からそれぞれ所定距離の４点を頂点とする矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、ステップＳ５７で算出した点の個数が２つであれば、その２点を結ぶ線分を対角線とする矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、ステップＳ５７で算出した点の個数が３つであれば、その３点を頂点に含む平行四辺形またはその外接矩形が照合対象概略領域であると推定すればよい。
また、例えば、照合対象概略領域推定部４０４は、ステップＳ５７で算出した点の個数が４つ以上であれば、それらの各点を頂点とする多角形またはその外接矩形が照合対象概略領域であると推定すればよい。
次に、照合対象概略領域推定部４０４は、推定した照合対象概略領域内の画像を表す情報を生成する（ステップＳ１６）。
以上で、画像照合装置４は、照合対象概略領域推定処理を終了する。
次に、本発明の第１１の実施の形態の画像照合装置の効果について述べる。
本発明の第１１の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める技術を用いて検索画像に対応する登録画像を検索する際に、照合精度および処理速度を向上することができる。さらに、本発明の第１１の実施の形態としての画像照合装置は、照合対象となる画像における照合対象概略領域を指定するユーザ負担をさらに軽減することができる。
その理由は、接触パターン形状判別部が、接触パターンの形状を判別し、照合対象概略領域推定部が、接触パターンの形状に基づいて照合対象概略領域を推定するからである。したがって、本発明の第１１の実施の形態としての画像照合装置は、照合対象としたい領域を指定するためのユーザの接触操作の自由度をより高くすることができるからである。
（第１２の実施の形態）
次に、本発明の第１２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第２の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第１２の実施の形態としての画像照合装置５は、図６に示した本発明の第２の実施の形態としての画像照合装置２を構成するコンピュータ装置によって構成される。
次に、画像照合装置５の機能ブロック構成を図１４に示す。
図１４において、画像照合装置５は、本発明の第２の実施の形態としての画像照合装置２に対して、画像表示部２０２に替えて画像表示部５０２と、接触パターン取得部２０３に替えて接触パターン取得部５０３とを備え、さらに照合対象概略領域修正部５０９を備える点が異なる。
ここで、照合対象概略領域修正部５０９は、制御部１００１によって構成される。なお、画像照合装置５の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
画像表示部５０２は、本発明の第２の実施の形態における画像表示部２０２と同一に構成されるのに加えて、照合対象概略領域推定部１０４によって推定された照合対象概略領域を、既に表示した画像に重畳して表示する。
画像表示部５０２が、画像に重畳して表示する照合対象概略領域の一例を図１５に示す。図１５において、画像表示部５０２は、照合対象概略領域を囲む４本の直線を画像に重畳して表示している。図８における画像の左下が原点である場合、横軸（右方向が正）がｘ軸、縦軸（上方向が正）がｙ軸である。画像表示部５０２は、４本の直線として、式ｘ＝ｍｉｎｘで表現されるｍｉｎｘ直線、式ｘ＝ｍａｘｘで表現されるｍａｘｘ直線、式ｙ＝ｍｉｎｙで表現されるｍｉｎｙ直線、式ｙ＝ｍａｘｙで表現されるｍａｘｙ直線を表示すればよい。なお、画像表示部５０２は、上述のような原点の位置および軸の方向等をあらかじめ任意に設定しておけばよい。
接触パターン取得部５０３は、本発明の第２の実施の形態における接触パターン取得部２０３と同様に構成されるのに加えて、照合対象概略領域を修正するための修正接触パターンを取得する。なお、修正接触パターンは、本発明における修正位置パターンの一実施形態を構成する。
例えば、接触パターン取得部５０３は、座標入力機能付表示装置２００３を介して取得する接触位置の軌跡を修正接触パターンとして取得してもよい。
照合対象概略領域修正部５０９は、接触パターン取得部５０３が取得した修正接触パターンに基づいて、照合対象概略領域を修正する。
例えば、照合対象概略領域修正部５０９は、画像表示部５０２が表示する４本の直線のうち、接触パターン取得部５０３が取得した修正接触パターンである軌跡の始点の近傍にある直線を選択すればよい。そして、この場合、照合対象概略領域修正部５０９は、軌跡の始点と終点とに基づいて移動量ベクトルを計算し、選択した直線の位置を移動量ベクトルに基づいて修正すればよい。
以上のように構成された画像照合装置５の照合対象概略領域推定動作について、図１６を用いて説明する。
なお、画像照合装置５の登録処理および検索処理は、本発明の第２の実施の形態としての画像照合装置２と同様であるため、本実施の形態における説明を省略する。
図１６において、画像照合装置５は、本発明の第２の実施の形態としての画像照合装置２と同様にステップＳ４０〜Ｓ４５まで動作することにより、接触パターンに基づいて照合対象概略領域を推定する。
次に、画像表示部５０２は、ステップＳ４５で照合対象概略領域推定部１０４が推定した照合対象概略領域を、既に表示している画像に重畳して表示する（ステップＳ６１）。
例えば、画像表示部５０２は、照合対象概略領域の輪郭を表す４本の直線を表示してもよい。
次に、接触パターン取得部５０３は、照合対象概略領域を修正するための修正接触パターンを取得する（ステップＳ６２）。
例えば、接触パターン取得部５０３は、接触位置の軌跡を修正接触パターンとして取得すればよい。
なお、接触パターン取得部５０３は、領域修正操作が終了したと判断できるまで、ステップＳ６２を繰り返し行う。このとき、接触パターン取得部５０３は、例えば、画像表示部５０２に表示された修正完了ボタン領域に対する接触操作を検知したときに、領域修正操作が終了したと判断すればよい。
次に、照合対象概略領域修正部５０９は、修正接触パターンに基づいて、照合対象概略領域を修正する（ステップＳ６３）。
例えば、照合対象概略領域修正部５０９は、修正接触パターンとしての軌跡に基づいて、４本の直線のうちの１本を選択すればよい。さらに、照合対象概略領域修正部５０９は、軌跡の始点と終点とに基づいて移動量ベクトルを計算し、計算した移動量ベクトルに基づいて選択した直線の位置を修正すればよい。
この後、画像照合装置５は、本発明の第２の実施の形態としての画像照合装置２と同様に動作して、修正した照合対象概略領域内の画像を表す情報を生成する。
以上で、画像照合装置５は、照合対象概略領域推定処理を終了する。
次に、本発明の第１２の実施の形態の効果について述べる。
本発明の第１２の実施の形態としての画像照合装置は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度を、さらに向上させることができる。
その理由は、照合対象概略領域修正部が、照合対象となる概略の領域として一旦推定した照合対象概略領域を修正するからである。これにより、本発明の第１２の実施の形態としての画像照合装置は、修正した照合対象概略領域を用いて局所的な領域毎の照合結果に基づく統合的な照合結果を求めることができ、さらに高精度な照合結果を得ることができるからである。
（第１３の実施の形態）
次に、本発明の第１３の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
まず、本発明の第１３の実施の形態としての画像照合システム６の構成について、図１７を参照して説明する。
図１７において、画像照合システム６は、端末６１と、サーバ６２とを備えている。また、端末６１およびサーバ６２は、インターネット、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、公衆回線網、無線通信網またはこれらの組合せ等によって構成されるネットワークによって通信可能に接続されている。
端末６１は、画像取得部１０１と、画像表示部１０２と、入力位置パターン取得部１０３と、照合対象概略領域推定部１０４と、照合対象概略領域画像情報送信部６１１と、照合結果提示部６０６とを備えている。
端末６１は、ＣＰＵ、ＲＡＭおよびＲＯＭを含む制御部と、ハードディスク等の記憶装置と、入力装置と、表示装置と、ネットワークインタフェースとを備えた汎用的なコンピュータ装置によって構成されている。なお、制御部は、ＲＯＭまたは記憶装置に記憶されたコンピュータ・プログラムをＣＰＵによりＲＡＭに読み込んで実行することにより、コンピュータ装置を端末６１として機能させる。
照合対象概略領域画像情報送信部６１１は、ネットワークインタフェース、および、制御部によって構成されている。また、照合結果提示部６０６は、表示装置、ネットワークインタフェース、および、制御部によって構成されている。
サーバ６２は、照合対象概略領域画像情報受信部６２１と、画像照合部６０５と、照合結果送信部６２２とを備えている。
サーバ６２は、ＣＰＵ、ＲＡＭおよびＲＯＭを含む制御部と、ハードディスク等の記憶装置と、ネットワークインタフェースとを備えた汎用的なコンピュータ装置によって構成されている。なお、制御部は、ＲＯＭまたは記憶装置に記憶されたコンピュータ・プログラムをＣＰＵによりＲＡＭに読み込んで実行することにより、コンピュータ装置をサーバ６２として機能させる。
照合対象概略領域画像情報受信部６２１および照合結果送信部６２２は、ネットワークインタフェース、および、制御部によって構成されている。
なお、端末６１およびサーバ６２の各機能ブロックを構成するハードウェア構成は上述の構成に限定されない。
端末６１の照合対象概略領域画像情報送信部６１１は、画像取得部１０１が取得した画像において、照合対象概略領域推定部１０４が推定した照合対象概略領域内の画像を表す情報を、サーバ６２に対して送信する。
例えば、照合対象概略領域画像情報送信部６１１は、画像取得部１０１が取得した画像の照合対象概略領域内を切り出したものを、照合対象概略領域内の画像を表す情報として送信すればよい。あるいは、照合対象概略領域画像情報送信部６１１は、画像取得部１０１が取得した画像の全領域および照合対象概略領域を表す情報の組み合わせを、照合対象概略領域内の画像を表す情報として送信してもよい。あるいは、照合対象概略領域画像情報送信部６１１は、画像取得部１０１が取得した画像の照合対象概略領域内の画像特徴量を、照合対象概略領域内の画像を表す情報として送信してもよい。
照合対象概略領域画像情報送信部６１１は、ある画像の照合対象概略領域内の画像を表す情報を、検索画像を表す情報として送信してもよい。さらに、照合対象概略領域画像情報送信部６１１は、他の画像の照合対象概略領域内の画像を表す情報を、登録画像を表す情報として送信してもよい。
照合結果提示部６０６は、サーバに送信した照合対象概略領域内の画像を表す情報に関する統合的な照合結果を、サーバから受信して提示する。
統合的な照合結果は、例えば、サーバに送信した検索画像および登録画像の一致度を表す指標であればよい。
サーバ６２の照合対象概略領域画像情報受信部６２１は、照合対象となる画像の照合対象概略領域内の画像を表す情報を、端末６１から受信する。
画像照合部６０５は、照合対象概略領域画像情報受信部６２１が受信した照合対象概略領域内の画像を表す情報を、検索画像および登録画像のうち少なくとも１つの画像を表す情報にする。
そして、画像照合部６０５は、検索画像および登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める。
なお、画像照合部６０５は、検索画像を表す情報および登録画像を表す情報のうちいずれか１つは、照合対象概略領域画像情報受信部６２１が受信した情報でなくてもよい。この場合は、画像照合部６０５は、検索画像を表す情報および登録画像を表す情報のうちいずれか１つとして、あらかじめ記憶装置やメモリに格納された他の画像の情報や、端末６１から受信する他の画像の全領域を表す情報を用いればよい。
照合結果送信部６２２は、画像照合部６０５による検索画像および登録画像の統合的な照合結果を、端末６１に対して送信する。
以上のように構成された画像照合システム６の動作について、図１８を参照して説明する。なお、図１８において、左図は端末６１の動作を表し、右図はサーバ６２の動作を表し、左右を結ぶ破線の矢印は、データの流れを表すものとする。
まず、端末６１の画像取得部１０１および照合対象概略領域推定部１０４は、検索画像を表す情報を取得する（ステップＳ７１）。
端末６１は、画像取得部１０１が取得した画像の全領域を表す情報を、検索画像を表す情報として取得すればよい。あるいは、端末６１は、図５を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、検索画像を表す情報として取得してもよい。また、端末６１は、画像取得部１０１が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を、検索画像を表す情報として取得してもよい。
次に、端末６１の画像取得部１０１および照合対象概略領域推定部１０４は、登録画像を表す情報を取得する（ステップＳ７２）。
端末６１は、画像取得部１０１が取得した画像の全領域を表す情報を、登録画像を表す情報として取得すればよい。あるいは、端末６１は、図５を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得してもよい。また、端末６１は、画像取得部１０１が取得した画像の全領域の画像特徴量または照合対象概略領域内の画像の特徴量を、登録画像を表す情報として取得してもよい。
ただし、ステップＳ７１で、画像取得部１０１が取得した画像の全領域を表す情報を、検索画像を表す情報として取得した場合は、図５を用いて説明した照合対象概略領域推定処理によって推定する照合対象概略領域内の画像を表す情報を、登録画像を表す情報として取得するようにする。
次に、端末６１の照合対象概略領域画像情報送信部６１１は、ステップＳ７１およびステップＳ７２で取得した検索画像および登録画像を表す情報をサーバ６２に送信する（ステップＳ７３）。
次に、サーバ６２の照合対象概略領域画像情報受信部６２１は、検索画像および登録画像を表す情報を端末６１から受信する（ステップＳ７４）。
次に、画像照合部１０５は、検索画像および登録画像に関して、局所的な領域毎の照合結果に基づく統合的な照合結果を算出する（ステップＳ７５）。
画像照合部１０５は、検索画像および登録画像から画像特徴量を算出することにより、算出した画像特徴量を用いて検索画像および登録画像に関する統合的な照合結果を算出すればよい。あるいは、画像照合部１０５は、ステップＳ７４において、検索画像および登録画像を表す情報として画像特徴量を取得している場合、取得した画像特徴量を用いて検索画像および登録画像に関する統合的な照合結果を算出してもよい。
次に、照合結果送信部６２２は、ステップＳ７５で算出した統合的な照合結果を端末６１に対して送信する（ステップＳ７６）。
次に、端末６１の照合結果提示部６０６は、受信した統合的な照合結果を提示する（ステップＳ７７）。
以上で、画像照合システム６は動作を終了する。
なお、上述の処理において、端末６１は、ステップＳ７１およびステップＳ７２のうちいずれか一方の処理を省略してもよい。この場合、サーバ６２は、ステップＳ７５において、、あらかじめ記憶装置やメモリに格納された他の画像の情報を、検索画像を表す情報および登録画像を表す情報のうちいずれか１つにする。
次に、本発明の第１３の実施の形態の効果について述べる。
本発明の第１３の実施の形態としての画像照合システムは、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度及び処理速度を向上させることができる。
その理由は、端末の照合対象概略領域推定部が、照合対象となる画像において照合対象となる概略の領域を推定するからである。そして、サーバの画像照合部が、照合対象概略領域が推定された画像についてはその照合対象概略領域内の画像のみを対象として、局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるからである。従って、画像照合部は、照合対象概略領域以外の領域について照合処理を行う必要がない。そのため、照合対象概略領域以外の領域に含まれる局所的な領域の照合結果に統合的な照合結果が左右されることがなく、結果的に照合精度を向上させることができる。また、照合対象概略領域以外の領域について照合処理を行う必要がないので、処理速度を向上させることができる。
なお、本発明の第１３の実施の形態において、サーバ６２は、さらに、登録画像を表す情報を格納した画像格納部を備えてもよい。
この場合、画像格納部は、端末６１が推定した照合対象概略領域内の画像を表す情報を、登録画像を表す情報として格納してもよい。あるいは、画像格納部は、端末６１が取得した画像の全領域を表す情報を、登録画像を表す情報としてそのまま格納してもよい。あるいは、画像格納部は、あらかじめ他の装置から取得した登録画像を表す情報を格納してもよい。あるいは、画像格納部は、これらの登録画像から算出される画像特徴量を、登録画像を表す情報として格納してもよい。
この場合、画像照合システム６は次のように動作する。
まず、端末６１の照合対象概略領域画像情報送信部６１１は、画像取得部１０１が取得した画像の照合対象概略領域内の画像を表す情報を、検索画像を表す情報としてサーバ６２に送信する。
そして、サーバ６２の画像照合部６０５は、照合対象概略領域画像情報受信部６２１が受信した検索画像に対応する登録画像を、画像格納部の中から特定する。
そして、照合結果送信部６２２は、特定された登録画像を表す情報を端末６１に送信する。
そして、端末６１の照合結果提示部６０６は、サーバ６２から受信した登録画像を表す情報を提示する。
また、本発明の第１３の実施の形態において、端末６１の表示装置および入力装置が表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成され得る。この場合、入力位置パターン取得部１０３は、接触位置のパターンを表す接触パターンを入力位置パターンとして取得してもよい。
また、本発明の第１３の実施の形態において、端末６１は、本発明の第１１の実施の形態における接触パターン形状判別部や本発明の第１２の実施の形態における照合対象概略領域修正部をさらに備えてもよい。
以上説明したように、本発明の第１３の実施の形態としての画像照合システム６は、本発明の各実施の形態としての画像照合装置の各機能ブロックを、端末とサーバとに分散配置させたものであるといえる。
通常、サーバは端末に比べて高い処理能力を持っているので、計算量が比較的多い画像照合部をサーバが有する本発明の第１３の実施の形態の構成は、サーバと端末とを連携させて一連の画像照合処理を行う上で好適である。また、通常、端末はサーバと比較して可搬性に優れているので、画像取得部、画像表示部および入力位置パターン取得部を端末が有する本発明の第１３の実施の形態の構成は、ユーザにとってさまざまな箇所で画像を撮像できる利点を有する。
なお、本発明の画像照合システムが備える各機能ブロックの配置構成は、本発明の第１３の実施の形態の配置構成に限らず、サーバおよび端末に任意に配置させることが可能である。
次に、本発明の他の実施形態について説明する。
本実施形態の画像照合装置は、照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合部と、前記統合的な照合結果を提示する照合結果提示部と、を備える。
また、本実施形態の画像照合システムは、端末と、サーバとを備え、前記端末は、照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信部と、前記照合対象となる画像に関する統合的な照合結果を前記サーバから受信することにより提示する照合結果提示部と、を有し、前記サーバは、前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信部と、検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域画像情報受信部によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める画像照合部と、前記統合的な照合結果を前記端末に送信する照合結果送信部と、を有する。
また、本実施形態の端末は、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末であって、前記照合対象となる画像を取得する画像取得部と、前記画像取得部によって取得された画像を表示する画像表示部と、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得部と、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定部と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信部と、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示部と、を備える。
また、本実施形態のサーバは、照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバであって、前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信部と、検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域画像情報受信部によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合部と、前記統合的な照合結果を前記端末に送信する照合結果送信部と、備える。
また、本実施形態の画像照合方法は、照合対象となる画像を取得し、前記画像を画像表示部に表示し、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、前記統合的な照合結果を提示する。
また、本実施形態の端末制御方法は、照合対象となる画像を取得し、前記画像を画像表示部に表示し、前記画像表示部に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、前記入力位置パターンに基づいて、前記画像表示部に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、前記照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに、前記照合対象概略領域内の画像を表す情報を送信し、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信する。
また、本実施形態のプログラム記録媒体は、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末が備えるコンピュータを、前記照合対象となる画像を取得する画像取得手段と、前記画像取得手段によって取得された画像を表示する画像表示手段と、前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段として機能させる端末制御プログラムを記憶する。
上述した本発明の各実施の形態において、各フローチャートを参照して説明した画像照合装置、サーバおよび端末の動作を各装置のＣＰＵに行わせるコンピュータ・プログラムを、各装置の記憶装置（記憶媒体）に格納しておいてもよい。格納しておいたコンピュータ・プログラムを、各装置のＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコード或いは記憶媒体によって構成される。
また、上述した本発明の各実施の形態において、各機能ブロックは、その機能の一部または全体をハードウェア回路によって構成してもよい。
また、上述した本発明の各実施の形態において、各機能ブロックは、その機能の一部または全体を、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサにコンピュータ・プログラムを実行させることにより構成してもよい。
また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
また、本発明は、上述した各実施の形態に限定されず、様々な態様で実施されることが可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
照合対象となる画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像の領域において、照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
前記統合的な照合結果を提示する照合結果提示手段と、
を備えた画像照合装置。
（付記２）
前記登録画像を表す情報を格納した画像格納手段をさらに備え、
前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする付記１に記載の画像照合装置。
（付記３）
前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成されるとき、
前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする付記１または付記２に記載の画像照合装置。
（付記４）
前記入力位置パターン取得手段は、前記入力位置パターンとして２点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記２点を結ぶ線分を対角線とする矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記３のいずれかに記載の画像照合装置。
（付記５）
前記入力位置パターン取得手段は、前記入力位置パターンとして１点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記１点からそれぞれ所定距離の４点を頂点とする矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記４のいずれかに記載の画像照合装置。
（付記６）
前記入力位置パターン取得手段は、前記入力位置パターンとして３点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記３点を頂点に含む平行四辺形を前記照合対象概略領域として推定することを特徴とする付記１から付記５のいずれかに記載の画像照合装置。
（付記７）
前記入力位置パターン取得手段は、前記入力位置パターンとして３点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記３点を頂点に含む平行四辺形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記５のいずれかに記載の画像照合装置。
（付記８）
前記入力位置パターン取得手段は、前記入力位置パターンとしてｎ（ｎは３以上の整数）個の点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記ｎ個の点を頂点とする多角形を前記照合対象概略領域として推定することを特徴とする付記１から付記７のいずれかに記載の画像照合装置。
（付記９）
前記入力位置パターン取得手段は、前記入力位置パターンとしてｎ（ｎは３以上の整数）個の点の位置を表す情報を取得し、
前記照合対象概略領域推定手段は、前記ｎ個の点を頂点とする多角形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記７のいずれかに記載の画像照合装置。
（付記１０）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点の中点を中心に前記曲線を所定量回転させた他の曲線とで囲まれる領域を前記照合対象概略領域として推定することを特徴とする付記１から付記９のいずれかに記載の画像照合装置。
（付記１１）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点の中点を中心に前記曲線を所定量回転させた他の曲線とで囲まれる領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記９のいずれかに記載の画像照合装置。
（付記１２）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点を結ぶ線を軸として前記曲線に対して線対称な他の曲線とで囲まれる領域を前記照合対象概略領域として推定することを特徴とする付記１から付記１１のいずれかに記載の画像照合装置。
（付記１３）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線と、前記曲線の始点および終点を結ぶ線を軸として前記曲線に対して線対称な他の曲線とで囲まれる領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記１１のいずれかに記載の画像照合装置。
（付記１４）
前記入力位置パターン取得手段は、前記入力位置パターンとして閉領域を構成する線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記閉領域を前記照合対象概略領域として推定することを特徴とする付記１から付記１３のいずれかに記載の画像照合装置。
（付記１５）
前記入力位置パターン取得手段は、前記入力位置パターンとして閉領域を構成する線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記閉領域の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記１３のいずれかに記載の画像照合装置。
（付記１６）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線を２つの線分が連結したものとみなすことにより、前記２つの線分を２辺に含む平行四辺形を前記照合対象概略領域として推定することを特徴とする付記１から付記１５のいずれかに記載の画像照合装置。
（付記１７）
前記入力位置パターン取得手段は、前記入力位置パターンとして曲線を表す情報を取得し、
前記照合対象概略領域推定手段は、前記曲線を２つの線分が連結したものとみなすことにより、前記２つの線分を２辺に含む平行四辺形の外接矩形を前記照合対象概略領域として推定することを特徴とする付記１から付記１５のいずれかに記載の画像照合装置。
（付記１８）
前記入力位置パターンの形状を判別する入力位置パターン形状判別手段をさらに備え、
前記照合対象概略領域推定手段は、前記入力位置パターン形状判別手段によって判別された形状に基づいて前記照合対象概略領域を推定することを特徴とする付記１から付記１７のいずれかに記載の画像照合装置。
（付記１９）
前記画像表示手段は、表示した画像に対して推定された前記照合対象概略領域を該画像に重畳して表示し、
前記入力位置パターン取得手段は、前記画像表示手段に表示された照合対象概略領域を修正するための修正位置パターンをさらに取得し、
前記修正位置パターンに基づいて、前記照合対象概略領域を修正する照合対象概略領域修正手段をさらに備えたことを特徴とする付記１から付記１８のいずれかに記載の画像照合装置。
（付記２０）
前記画像格納手段は、前記登録画像に対応付けて該登録画像に関連する関連情報を格納し、
前記照合結果提示手段は、前記画像照合手段によって特定された登録画像に関連する関連情報を取得することにより、取得した関連情報を提示することを特徴とする付記２から付記１９のいずれかに記載の画像照合装置。
（付記２１）
前記画像取得手段は、前記検索画像とともにその関連情報を取得し、
前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報が前記検索画像の関連情報に関連する登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記２０に記載の画像照合装置。
（付記２２）
前記関連情報は、画像に関連する地点の位置を表す位置情報を含み、
前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報に含まれる位置情報が表す位置と、前記検索画像の関連情報に含まれる位置情報が表す位置との距離が閾値以下の登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記２１に記載の画像照合装置。
（付記２３）
前記関連情報は、画像に関連する方位を表す方位情報を含み、
前記画像照合手段は、前記画像格納手段に格納された登録画像のうち、その関連情報に含まれる方位情報が表す方位と、前記検索画像の関連情報に含まれる方位情報が表す方位との差が閾値以下の登録画像の中から、前記検索画像に対応するものを特定することを特徴とする付記２１または付記２２に記載の画像照合装置。
（付記２４）
前記画像照合手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を取得することにより、取得した画像特徴量を用いて前記統合的な照合結果を求めることを特徴とする付記１から付記２３のいずれかに記載の画像照合装置。
（付記２５）
前記画像格納手段は、前記登録画像を表す情報として、前記登録画像の画像特徴量を格納することを特徴とする付記２から付記２４のいずれかに記載の画像照合装置。
（付記２６）
端末と、サーバとを備え、
前記端末は、
照合対象となる画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、
前記照合対象となる画像に関する統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段と、
を有し、
前記サーバは、
前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて前記統合的な照合結果を求める画像照合手段と、
前記統合的な照合結果を前記端末に送信する照合結果送信手段と、
を有する画像照合システム。
（付記２７）
前記サーバは、
前記登録画像を表す情報を格納した画像格納手段をさらに有し、
前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
前記照合結果送信手段は、前記検索画像に対応する前記登録画像を表す情報を前記端末に送信し、
前記端末の前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする付記２６に記載の画像照合システム。
（付記２８）
前記端末の照合対象概略領域画像情報送信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記サーバに送信することを特徴とする付記２６または付記２７に記載の画像照合システム。
（付記２９）
照合対象となる画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
前記照合対象概略領域内の画像を表す情報を、照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに送信する照合対象概略領域画像情報送信手段と、
前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段と、
を備えた端末。
（付記３０）
前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能なデバイスによって構成されるとき、
前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする付記２９に記載の端末。
（付記３１）
前記照合対象概略領域画像情報送信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記サーバに送信することを特徴とする付記２９または付記３０に記載の端末。
（付記３２）
照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバであって、
前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
前記統合的な照合結果を前記端末に送信する照合結果送信手段と、
備えたサーバ。
（付記３３）
前記登録画像を表す情報を格納した画像格納手段をさらに備え、
前記画像照合手段は、前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定することを特徴とする付記３２に記載のサーバ。
（付記３４）
前記照合対象概略領域画像情報受信手段は、前記照合対象概略領域内の画像を表す情報として、前記照合対象概略領域内の画像の画像特徴量を前記端末から受信することを特徴とする付記３２または付記３３に記載のサーバ。
（付記３５）
照合対象となる画像を取得し、
前記画像を画像表示手段に表示し、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
前記統合的な照合結果を提示する、画像照合方法。
（付記３６）
前記登録画像を表す情報を画像格納手段に格納し、
前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記検索画像に対応する登録画像を特定し、
前記検索画像に対応する登録画像を表す情報を提示することを特徴とする付記３５に記載の画像照合方法。
（付記３７）
端末と、サーバとを用いて、
前記端末は、
照合対象となる画像を取得し、
取得した画像を画像表示手段に表示し、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
前記照合対象概略領域内の画像を表す情報を前記サーバに送信し、
前記サーバは、
前記照合対象概略領域内の画像を表す情報を前記端末から受信し、
検索画像および登録画像のうち少なくとも１つの画像として、受信した前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
前記統合的な照合結果を前記端末に送信し、
前記端末は、
前記統合的な照合結果を前記サーバから受信することにより提示する、画像照合方法。
（付記３８）
前記サーバは、
前記登録画像を表す情報を画像格納手段に格納し、
前記検索画像および前記各登録画像に関する前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
前記検索画像に対応する前記登録画像を表す情報を前記統合的な照合結果として前記端末に送信し、
前記端末は、
前記検索画像に対応する前記登録画像を表す情報を前記統合的な照合結果として提示することを特徴とする付記３７に記載の画像照合方法。
（付記３９）
照合対象となる画像を取得し、
前記画像を画像表示手段に表示し、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得し、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
前記照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバに、前記照合対象概略領域内の画像を表す情報を送信し、
前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信する
端末制御方法。
（付記４０）
照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末から、前記照合対象概略領域内の画像を表す情報を受信し、
検索画像および登録画像のうち少なくとも１つの画像として、受信した前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求め、
前記統合的な照合結果を前記端末に送信する
サーバ制御方法。
（付記４１）
コンピュータを、
照合対象となる画像を取得する画像取得手段と、
前記画像を表示する画像表示手段と、
前記画像表示手段によって表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
前記統合的な照合結果を提示する照合結果提示手段、
として機能させる画像照合プログラムを記憶するプログラム記録媒体。
（付記４２）
前記登録画像を表す情報を格納する画像格納手段として前記コンピュータをさらに機能させ、
前記画像照合手段は、前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記検索画像に対応する登録画像を特定し、
前記照合結果提示手段は、前記検索画像に対応する登録画像を表す情報を前記統合的な照合結果として提示することを特徴とする画像照合プログラムを記憶する、付記４１に記載のプログラム記録媒体。
（付記４３）
照合対象となる画像に関して局所的な領域毎の照合結果に基づいて統合的な照合結果を求めるサーバと通信する端末が備えるコンピュータを、
前記照合対象となる画像を取得する画像取得手段と、
前記画像取得手段によって取得された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像の領域において照合対象となる領域の概略位置を表す入力位置パターンを取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段に表示された画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段と、
前記照合対象となる画像に関する前記統合的な照合結果を前記サーバから受信することにより提示する照合結果提示手段、
として機能させるための端末制御プログラムを記憶するプログラム記録媒体。
（付記４４）
前記画像表示手段が、表示領域に対する接触操作による接触位置を検出可能であるとき、
前記入力位置パターン取得手段は、前記接触位置のパターンを表す接触パターンを前記入力位置パターンとして取得することを特徴とする端末制御プログラムを記憶する、付記４３に記載のプログラム記録媒体。
（付記４５）
照合対象となる画像における照合対象となる概略の領域を表す照合対象概略領域を推定する端末と通信するサーバが備えるコンピュータを、
前記照合対象概略領域内の画像を表す情報を前記端末から受信する照合対象概略領域画像情報受信手段と、
検索画像および登録画像のうち少なくとも１つの画像として前記照合対象概略領域画像情報受信手段によって受信された前記照合対象概略領域内の画像を表す情報を取得することにより、前記検索画像および前記登録画像に関して、局所的な領域毎の照合結果に基づいて統合的な照合結果を求める画像照合手段と、
前記統合的な照合結果を前記端末に送信する照合結果送信手段、
として機能させるサーバ制御プログラムを記憶するプログラム記録媒体。
（付記４６）
前記登録画像を表す情報を格納する画像格納手段として前記コンピュータをさらに機能させ、
前記画像照合手段は、前記検索画像および前記各登録画像の前記統合的な照合結果に基づいて、前記登録画像のうち前記検索画像に対応する登録画像を特定することを特徴とするサーバ制御プログラムを記憶する、付記４５に記載のプログラム記録媒体。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年１０月２２日に出願された日本出願特願２０１０−２３７４６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０００９】
本発明は、局所的な領域に関する照合結果を利用して統合的な照合結果を求める際の照合精度及び処理速度を向上させる画像照合装置を提供することができる。本発明は、例えば、検索画像に部分的に含まれる看板等の領域と一致度が高い登録画像を検索し、検索した登録画像に部分的に含まれる解説文や他言語表示等の情報をユーザに対して提供するシステムに適用可能である。また、本発明は、検索した登録画像に関連する情報を検索画像に重畳表示することにより拡張現実的に情報を提示するシステムにも適用可能である。なお、看板等は、屋内外に設置されている一般的な看板だけでなく、建物の外壁、屋内外の案内版、文書一般、ポスター、メモ帳、付箋紙に記載されたメモ、広告チラシ、レストラン等のメニュー等であってもよい。
【符号の説明】
【００１０】
１、２、３、４、５    画像照合装置
６    画像照合システム
６１    端末
６２    サーバ
１０１    画像取得部
１０２、２０２、５０２    画像表示部
１０３    入力位置パターン取得部
１０４、３０４、４０４    照合対象概略領域推定部
１０５、２０５、６０５    画像照合部
１０６、２０６、６０６    照合結果提示部
２０３、３０３、５０３    接触パターン取得部
２０７    画像格納部
３０３    接触パターン取得部
４０８    接触パターン形状判別部
５０９    照合対象概略領域修正部
６１１    照合対象概略領域画像情報送信部
６２１    照合対象概略領域画像情報受信部
６２２    照合結果送信部
１００１    制御部
１００２    記憶装置
１００３    入力装置
１００４    表示装置
１００５    撮像装置
２００３    座標入力機能付表示装置
【図１】
2012053626.tif 000003
【図２】
2012053626.tif 000004
【図３】
2012053626.tif 000005
【図４】
2012053626.tif 000006
【図５】
2012053626.tif 000007
【図６】
2012053626.tif 000008
【図７】
2012053626.tif 000009
【図８】
2012053626.tif 000010
【図９】
2012053626.tif 000011
【図１０】
2012053626.tif 000012
【図１１】
2012053626.tif 000013
【図１２】
2012053626.tif 000014
【図１３】
2012053626.tif 000015
【図１４】
2012053626.tif 000016
【図１５】
2012053626.tif 000017
【図１６】
2012053626.tif 000018
【図１７】
2012053626.tif 000019
【図１８】
2012053626.tif 000020
【手続補正書】
【提出日】平成25年4月17日(2013.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段が取得した画像を座標入力機能付表示装置に表示する画像表示手段と、
前記画像表示手段が画像を表示する、接触を検知し前記接触の位置を獲得する前記座標入力機能付表示装置から、前記接触の位置のパターンを、照合対象となる領域の概略位置を表す入力位置パターンとして取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と、
を備える画像照合装置。
【請求項２】
前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段
を備える請求項１に記載の画像照合装置。
【請求項３】
１つ以上の前記登録画像を表す情報を格納した画像格納手段を備え、
前記画像照合手段は、前記検索画像と前記登録画像各々の前記照合結果各々から、前記登録画像のうち前記検索画像に対応する登録画像を特定し、
前記照合結果提示手段は、前記検索画像に対応する前記登録画像に関する情報を提示することを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記画像表示手段は、表示した画像に対して推定された前記照合対象概略領域を該画像に重畳して表示し、
前記入力位置パターン取得手段は、前記照合対象概略領域を修正するための修正位置パターンをさらに取得し、
前記修正位置パターンに基づいて、前記照合対象概略領域を修正する照合対象概略領域修正手段をさらに備えたことを特徴とする請求項１または請求項３に記載の画像照合装置。
【請求項５】
前記画像照合手段は、前記検索画像の画像特徴量と前記登録画像の画像特徴量を取得し、取得した前記画像特徴量各々を用いて前記照合結果を算出することを特徴とする請求項２から請求項４のいずれかに記載の画像照合装置。
【請求項６】
サーバと請求項１に記載の前記画像照合装置を含み、
前記画像照合装置は、
前記照合対象概略領域内の画像を表す情報を前記サーバに送信する照合対象概略領域画像情報送信手段を有し、
前記照合結果提示手段は、前記サーバから受信した前記照合結果を提示し、
前記サーバは、
前記照合対象概略領域内の画像を表す情報を前記画像照合装置から受信する照合対象概略領域画像情報受信手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である前記検索画像と前記登録画像の照合を行って、前記照合結果を算出する画像照合手段と、
前記照合結果を前記画像照合装置に送信する照合結果送信手段と、
を有する
画像照合システム。
【請求項７】
画像を取得し、
取得した画像を座標入力機能付表示装置に表示し、
画像を表示する、接触を検知し前記接触の位置を獲得する前記座標入力機能付表示装置から、前記接触の位置のパターンを、照合対象となる領域の概略位置を表す入力位置パターンとして取得し、
前記入力位置パターンに基づいて、前記画像表示手段に表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定し、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する
画像照合方法。
【請求項８】
コンピュータを、
画像を取得する画像取得手段と、
前記画像取得手段が取得した画像を座標入力機能付表示装置に表示する画像表示手段と、
前記画像表示手段が画像を表示する、接触を検知し前記接触の位置を獲得する前記座標入力機能付表示装置から、前記接触の位置のパターンを、照合対象となる領域の概略位置を表す入力位置パターンとして取得する入力位置パターン取得手段と、
前記入力位置パターンに基づいて、前記画像表示手段が表示する画像において照合対象となる概略の領域を表す照合対象概略領域を推定する照合対象概略領域推定手段と、
少なくともいずれか一方が前記照合対象概略領域内の画像である検索画像と登録画像の、照合結果を提示する照合結果提示手段と
して機能させる画像照合プログラム。
【請求項９】
コンピュータを、
前記検索画像と前記登録画像の照合を行って前記照合結果を算出する画像照合手段と
して機能させる請求項８に記載の画像照合プログラム。
【請求項１０】
コンピュータを、
１つ以上の前記登録画像を表す情報を格納した画像格納手段と、
前記検索画像および前記登録画像各々の照合結果から、前記登録画像のうち前記検索画像に対応する登録画像を特定する前記画像照合手段は、
前記検索画像に対応する前記登録画像に関する情報を提示する前記照合結果提示手段と
して機能させる請求項９に記載の画像照合プログラム。
【国際調査報告】
2012053626.tif 000021
2012053626.tif 000022
2012053626.tif 000023