(57)【要約】  解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度に位置合わせするため、本発明の情報処理装置は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成する特徴点サンプリング手段と、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する画像劣化手段と、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する信頼度算出手段を含む。
2016051707.tif 000002
【特許請求の範囲】
【請求項１】
処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成する特徴点サンプリング手段と、
前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する画像劣化手段と、
前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する信頼度算出手段と
を含む情報処理装置。
【請求項２】
前記信頼度算出手段が、
前記対象化画像において、前記特徴点仮説を対象の輪郭とした場合の輪郭信頼度を算出する輪郭信頼度算出手段と、
前記対象画像と、前記劣化画像とにおけるアピアランス相違度を算出するアピアランス相違度算出手段と、
前記特徴点の信頼度として、前記輪郭信頼度と、前記アピアランス相違度とを基に統合信頼度を算出する信頼度統合手段と、
を含む請求項１に記載の情報処理装置。
【請求項３】
前記統合信頼度が最も大きな１つ又は所定の数の特徴点仮説を選択し、前記選択した特徴点仮説を用いて、前記対象画像と、前記参照画像又は前記劣化画像との位置合わせを実行する特徴点推定手段
をさらに含む請求項１又は２に記載の情報処理装置。
【請求項４】
前記信頼度算出手段が、
前記統合信頼度が所定の上位の範囲に含まれる前記参照画像に対し、偏りの大きさを示すスコアを算出するスコア算出手段、
を含む請求項２に記載の情報処理装置。
【請求項５】
前記特徴点推定手段が、
前記スコアが最も大きな１つ又は所定の数の前記参照画像又は前記参照画像に対応する前記劣化画像を選択し、前記選択した画像を用いて前記画像の位置合わせを実行する
請求項４に記載の情報処理装置。
【請求項６】
前記特徴点推定手段が位置合わせした後の前記参照画像及び前記劣化画像から、前記特徴点推定手段が対応する小領域の組を切り出し、画像復元用の処理に前記小領域の組を登録する画像復元用辞書作成手段と、
前記辞書と前記対象画像とを基に、前記対象画像に対応する復元画像を生成する画像復元手段と
をさらに含む請求項３又は５に記載の画像処理装置。
【請求項７】
前記対象画像を受信する対象画像受信手段と、
前記参照画像を受信する参照画像受信手段と、
前記劣化パラメータの少なくとも一部を受信する劣化パラメータ受信手段と
をさらに含む請求項１ないし６のいずれか１項に記載の情報処理装置。
【請求項８】
前記参照画像を区別するための識別子を受信するＩＤ受信手段をさらに含み、
前記スコア算出手段が、
前記識別子を用いて前記スコアを算出する
請求項５に記載の情報処理装置。
【請求項９】
処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成し、
前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成し、
前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する
情報処理方法。
【請求項１０】
処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、前記対象画像において複数の特徴点の組である特徴点仮説を生成する処理と、
前記特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、前記対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する処理と、
前記対象画像と、前記劣化画像と、前記特徴点仮説とを基に、前記特徴点仮説の信頼度を算出する処理と
をコンピュータに実行させるプログラムをコンピュータ読み取り可能に記録する不揮発性の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、画像の位置合わせを処理する情報処理装置、情報処理方法、及び、記録媒体に関する。
【背景技術】
【０００２】
画像処理として、画像中の対象を認識する画像認識処理がある。ただし、画像の撮影処理には、撮影時におけるノイズなど劣化過程が含まれる。そのため、画像認識には、画像の復元処理が必要となる場合がある（例えば、特許文献１を参照）。復元処理の一つに、例えば、学習型超解像技術がある。【０００３】
画像中の対象に対する画像認識又は学習型超解像を行う場合、画像を処理する情報処理装置は、まず、入力画像における対象の姿勢と、参照画像に撮像されている対象の姿勢との幾何学的な変形を算出する。この処理は、一般的に、「画像位置合わせ（以下、単に「位置合わせ」とも呼ぶ）」と呼ばれている。画像位置合わせの方法として、Ｌｕｃａｓ−Ｋａｎａｄｅ法がある（例えば、非特許文献１を参照）。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、入力画像における対象の画素値と、位置合わせ後の参照画像における対応する画素値との差分の二乗和が最小となるように、画像の位置を合わせる方法である。Ｌｕｃａｓ−Ｋａｎａｄｅ法は、勾配法を用いて、最小となる位置を算出する。しかしながら、Ｌｕｃａｓ−Ｋａｎａｄｅ法は、例えば、ビデオ映像における前後フレームのように、入力画像と参照画像とがほぼ同じ画像であることを前提としている。そのため、Ｌｕｃａｓ−Ｋａｎａｄｅ法は、入力画像と参照画像とにおいて、解像度又はパターン（例えば、ナンバープレートにおける番号のバリエーション）が著しく異なる場合には、適用できない。【０００４】
このように、特許文献１及び非特許文献１に記載の技術は、監視カメラの画像のように、入力画像と参照画像とにおいてパターンのバリエーションが多様である場合には、適用できないという問題点があった。【０００５】
そこで、画像のパターンにバリエーションが存在する場合でも位置合わせが可能な方法として、ＡＡＭ（Active Appearance model）が、提案されている（例えば、特許文献２及び非特許文献２参照）。ＡＡＭは、主成分分析を用いて、複数の参照画像から、パターンのバリエーションの分布を学習する。そして、ＡＡＭは、バリエーションの分布を、例えば、非等方ガウス分布で近似する。このように、ＡＡＭは、参照画像と入力画像との位置合わせ、及び、パターンの推定を、同時に行う方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１１０３４９号公報
【特許文献２】特開２００９−０５３９１６号公報
【非特許文献】
【０００７】
【非特許文献１】B. D. Lucas and T. Kanade, "An iterative image registration technique with an application to stereo vision" Proceedings of DARPA Imaging Understanding Workshop, pp. 121-130, April 1981.
【非特許文献２】T. F. Cootes, C. J. Taylor, D.H. Cooper, and J. Graham, "Active Shape Models-Their Training and Application", Computer Vision and Image Understanding, Vol. 61, Issue 1, pp. 38-59, January 1995
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２及び非特許文献２に記載の技術は、例えば、監視カメラの画像のように、低解像画像、圧縮画像、ノイズが多い画像、又は、撮像対象のバリエーションが多様である場合には、高精度な位置合わせを実現できないという問題点があった。【０００９】
その理由は、ＡＡＭが、次の２つの条件を前提としているためである。
（１）パターンが、非等方ガウス分布で近似可能である。
（２）参照画像のパターン分布と入力画像のパターン分布とが、同一である。【００１０】
例えば、監視カメラで撮影された低解像画像は、上記の２つの条件を満たさない場合が多い。あるいは、ナンバープレート画像は、顔画像とは異なり、パターンのバリエーションを、非等方ガウス分布で近似できない。また、参照画像は、一般的に、高精細な画像である。そして、参照画像に対し、監視カメラが撮影した入力画像は、ぼけ又は圧縮ノイズなどを含む。そのため、参照画像と入力画像とでは、パターンの分布が、大きく異なる。したがって、特許文献２及び非特許文献２に記載のＡＡＭは、例えば、監視カメラの画像のように、低解像、圧縮、又はノイズが多く、撮影対象のパターンのバリエーションが多様である場合には、高精度な位置合わせを実現できないという問題点があった。【００１１】
本発明の目的は、上記問題点を解決し、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせが可能な情報処理装置、情報処理方法、及び記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一形態における情報処理装置は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成する特徴点サンプリング手段と、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する画像劣化手段と、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する信頼度算出手段とを含む。【００１３】
本発明の一形態におけるデータ処理方法は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成し、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成し、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する。【００１４】
本発明の一形態における記録媒体は、処理対象である対象画像に含まれる対象の位置合わせに用いる特徴点の初期値を基に、対象画像において複数の特徴点の組である特徴点仮説を生成する処理と、特徴点仮説と、画像を劣化させるためのパラメータである劣化パラメータとを基に、対象画像の処理に用いる参照画像を劣化させた画像である劣化画像を生成する処理と、対象画像と、劣化画像と、特徴点仮説とを基に、特徴点仮説の信頼度を算出する処理とをコンピュータに実行させるプログラムを記録する。
【発明の効果】
【００１５】
本発明に基づけば、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせを実現するという効果を奏することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、本発明における第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図２】図２は、第１の実施形態に係る信頼度算出部の構成の一例を示すブロック図である。
【図３】図３は、第１の実施形態に係る情報処理装置の動作の一例を示す流れ図である。
【図４】図４は、第２の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図５】図５は、第２の実施形態に係る信頼度算出部の構成の一例を示すブロック図である。
【図６】図６は、第２の実施形態に係る情報処理装置の動作の一例を示す流れ図である。
【図７】図７は、第３の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図８】図８は、第３の実施形態に係る情報処理装置の動作の一例を示す流れ図である。
【図９】図９は、第４の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【図１０】図１０は、サンプリング点の一例を示す図である。
【図１１】図１１は、特徴点仮説の一例を示す図である。
【図１２】図１２は、輪郭信頼度が低い場合の特徴点仮説の一例を示す図である。
【図１３】図１３は、輪郭信頼度が高い場合の特徴点仮説の一例を示す図である。
【図１４】図１４は、第５の実施形態に係る情報処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
次に、本発明の実施形態について図面を参照して説明する。
【００１８】
なお、各図面は、本発明の実施形態を説明するものである。ただし、本発明は、各図面の記載に限られるわけではない。また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明を、省略する場合がある。
【００１９】
また、以下の説明に用いる図面において、本発明の説明に関係しない部分の構成については、記載を省略し、図示しない場合もある。
【００２０】
まず、実施形態の説明における用語について整理する。
【００２１】
「対象画像」とは、各実施形態の説明において、処理対象となる画像である。対象画像は、例えば、監視カメラが撮影した低解像画像、圧縮画像、又はノイズが激しい画像である。
【００２２】
「参照画像」とは、各実施形態の処理において、参照として用いられる画像である。以下の説明において、本発明における実施形態は、複数の参照画像を用いる。ただし、これは、本発明における実施形態が、１つの参照画像を用いる場合を排除するものではない。
【００２３】
「劣化画像」とは、参照画像を劣化させた画像である。劣化の詳細については、後ほど説明する。
【００２４】
「特徴点」とは、位置合わせ処理において、対象画像と劣化画像（又は参照画像）とを用いた位置合わせの対象となる候補点のことである。位置合わせは、対象の外形（輪郭）又は対象に含まれる特徴的な形状を用いて実行される。そのため、特徴点は、例えば、多角形の頂点である。そこで、以下の説明では、一例として、各実施形態は、対象物の輪郭形状を多角形と仮定して、多角形の頂点を、特徴点として用いるとする。ただし、本発明における各実施形態は、特徴点として、多角形の頂点に限らず、他の点を用いてもよい。例えば、対象が人の顔又は人物の目の場合、本発明における実施形態は、対象の輪郭形状を円又は楕円を仮定して、特徴点として、円又は楕円の形状を決定する点を用いてもよい。例えば、楕円形状の場合、本発明における実施形態は、特徴点として、長軸と外周との２つの交点と、短軸と外周との２つの交点とを合わせた４点を用いてもよい。あるいは、対象が、回路基板の場合、本発明における実施形態は、特徴点として、対象（基板）に含まれる特徴的な素子の外形（輪郭）を用いてもよい。
【００２５】
「特徴点仮説」とは、仮説となる特徴点の組合せである。対象が、多角形の場合、特徴点の組合せは、多角形における位置合わせの対象となる候補点の組合せ（例えば、頂点の組合せ）となる。ここで、多角形の頂点の組合せは、対象の輪郭を示すものとなる。上記のとおり、本実施形態の説明は、多角形を用いて説明する。そのため、以下の説明において、特徴点仮説は、対象である多角形の輪郭における頂点となる。ただし、本実施形態のおける特徴点仮説は、多角形の輪郭における頂点に限る必要はない。
【００２６】
「クラス」とは、本実施形態の説明では、画像の分類である。つまり、対象画像などは、所定のクラスに分類されている。
【００２７】
「Ｌｐ距離」とは、ルベーグ空間のｐ乗平均ノルムである。例えば、ｎ次元の場合、Ｌｐ距離は、座標を（ｘ１,ｘ２，・・・,ｘｎ）とすると、（｜ｘ１｜ｐ＋｜ｘ２｜ｐ＋…＋｜ｘｎ｜ｐ）１／ｐとなる。
【００２８】
＜第１の実施形態＞
次に、本発明における第１の実施形態について図面を参照して説明する。
【００２９】
［構成の説明］
図１は、本発明における第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。
【００３０】
情報処理装置１００は、対象画像受信部１１０と、特徴点サンプリング部１２０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７０と、特徴点推定部１８０とを含む。
【００３１】
なお、情報処理装置１００は、図示しない記憶部を含んでもよい。この場合、情報処理装置１００に含まれる上記の各部は、図示しない記憶部に、以下で説明する情報（画像データ、バラメータなど）を保存し、又は、情報を記憶部から取り出してもよい。なお、以下の説明では、各部における記憶部への動作の説明を省略するが、記憶部への保存動作又は記憶部からの取り出し動作を排除するものではない。
【００３２】
対象画像受信部１１０は、特徴点を推定する動作の対象となる画像（対象画像）を受信する。なお、予め図示しない記憶部に記憶されている対象画像を処理する場合、情報処理装置１００は、対象画像受信部１１０を含まなくてもよい。
【００３３】
特徴点サンプリング部１２０は、対象画像に対応する特徴点（輪郭の頂点）の位置の初期値（以下、単に「初期値」とも呼ぶ）を、予め保持、又は、推定（決定）する。特徴点サンプリング部１２０は、初期値として、例えば、予め情報処理装置１００の利用者が設定した特徴点を保持してもよい。あるいは、特徴点サンプリング部１２０は、暫定的に、対象画像にＡＡＭのような一般的な技術を適用して、特徴点の初期値を推定（決定）してもよい。あるいは、特徴点サンプリング部１２０は、初期値として、予め、輪郭を形成するために必要な数より少ない数の特徴点を保持し、初期値として必要な残りの特徴点を推定してもよい。
【００３４】
以下の本実施形態の説明では、一例として、特徴点サンプリング部１２０は、予め、利用者が設定した特徴点の初期値を保持しているとする。
【００３５】
次に、特徴点サンプリング部１２０は、各頂点の特徴点として、特徴点の初期値を基に、各初期値の周辺の所定の位置及び数の複数の画素を、ピクセル（画素）の精度又はサブピクセルの精度（ピクセルより細かい精度）で、サンプリング（選択）する。以下、サンプリングされた特徴点を、「サンプリング点」と呼ぶ。そして、特徴点サンプリング部１２０は、仮説となる特徴点の組（特徴点仮説）として、所定の形状の輪郭となるように、その形状の頂点の特徴点を組み合わせた特徴点の組（特徴点仮説）を生成する。なお、以下の説明では、添え字「ｌ」を用いて、特徴点仮説を区別する。また、特徴点仮説の生成を、「特徴点仮説のサンプリング」とも呼ぶ。
【００３６】
図１０は、サンプリング点の一例を示す図である。
【００３７】
図１１は、特徴点仮説の一例を示す図である。
【００３８】
参照画像受信部１４０は、特徴点を推定するために使用する複数枚の参照画像を受信する。なお、予め図示しない記憶部に記憶されている参照画像を用いる場合、情報処理装置１００は、参照画像受信部１４０を含まなくてもよい。
【００３９】
劣化パラメータ受信部１５０は、後述する画像劣化部１６０が使用する劣化パラメータを受信する。劣化パラメータ受信部１５０は、受信する劣化パラメータの範囲に制限はない。例えば、画像劣化部１６０が、予め、使用する劣化パラメータの一部を保持する場合、劣化パラメータ受信部１５０は、残りの劣化パラメータを受信してもよい。あるいは、劣化パラメータ受信部１５０は、全ての劣化パラメータを受信し、画像劣化部１６０に送信してよい。なお、画像劣化部１６０が、予め、全ての劣化パラメータを保持する場合、情報処理装置１００は、劣化パラメータ受信部１５０を含まなくてもよい。
【００４０】
また、受信する劣化パラメータの種類は、特に制限はない。例えば、受信する劣化パラメータとしては、画像の解像度、画像の焦点ボケ若しくは動きブレの大きさを表す点拡がり関数、画像の圧縮量、又は画像のノイズ量が想定される。あるいは、劣化パラメータ受信部１５０は、上記の劣化パラメータに加え、インターレース処理などの画像圧縮の方式、又は、白飛び若しくは黒潰れなどの明度変化についての劣化パラメータを受信してもよい。
【００４１】
画像劣化部１６０は、特徴点サンプリング部１２０がサンプリングした特徴点仮説と、参照画像受信部１４０が受信した参照画像と、劣化パラメータ受信部１５０が受信した劣化パラメータとを基に、参照画像を劣化させた画像を生成する。以下、参照画像を劣化させた画像を、単に、「劣化画像」と呼ぶ。画像劣化部１６０は、劣化パラメータの組を用いて劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、各劣化パラメータを個別に用いて、劣化画像を生成してもよい。
【００４２】
また、画像劣化部１６０は、全ての参照画像に対して劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、一部の参照画像の劣化画像を生成しなくてもよい。例えば、対象画像と明らかに異なる参照画像が含まれる場合、画像劣化部１６０は、その参照画像に関する劣化画像を生成しなくてもよい。
【００４３】
また、画像劣化部１６０は、参照画像に対して、全ての劣化パラメータの組を用いた劣化画像を生成することが望ましい。ただし、画像劣化部１６０は、参照画像と、劣化パラメータの組との組合せの一部について、劣化画像を生成しなくてもよい。
【００４４】
また、画像劣化部１６０における劣化パラメータを用いた劣化画像を生成する方法は、特に制限はない。例えば、画像劣化部１６０は、劣化パラメータを基に、圧縮ノイズ、インターレース、及び明度変化を模擬（シミュレート：simulate）できるように、次に数式１で示す劣化過程モデルＹを用いてもよい。
【００４５】
［数式１］
2016051707.tif 000003
【００４６】
数式１において、ベクトルＸは、参照画像（高解像画像）の画素値（例えば、輝度値）をラスタスキャン順に並べた縦ベクトルである。
【００４７】
行列ＷＨ、及び行列Ｂσは、姿勢に基づく画像変形を表す行列、及びボケ（ブラー：blur）を表す行列である。例えば、画像劣化部１６０は、ブラーとして、標準偏差σ［単位は画素］の幅を持つガウスフィルタを用いて近似させる行列Ｂσを用いてもよい。また、画像劣化部１６０は、画像変形を表す行列ＷＨとして、各特徴点を基に算出された姿勢変換を表す射影変形（ホモグラフィ（Ｈ）：homography）を用いてもよい。ベクトルＮは、ノイズを表す縦ベクトルである。
【００４８】
また、関数Ｄｆ（・）、関数Ｃｃｒ（・）、及び関数Ｇｐ（・）は、それぞれ、インターレースを考慮したダウンサンプリング関数、圧縮（ｊｐｅｇ圧縮）を行う関数、及び明度を変化させる関数である。
【００４９】
各関数は、例えば、次のような関数である。
【００５０】
ダウンサンプリング関数Ｄｆ（・）は、劣化パラメータに応じた圧縮方式として、次に示すようなダウンサンプリングを実行する関数である。例えば、対象となる画像が、プログレッシブ映像から切り出された画像の場合、関数Ｄｆ（・）は、一般的なダウンサンプリングと同様の方式を用いてダウンサンプリングを実行する。また、対象となる映像がインターレース映像から切り出された画像の場合、関数Ｄｆ（・）は、次のように動作すれば良い。すなわち、関数Ｄｆ（・）は、奇数フィールドでは、一般的なダウンサンプリングを実行する。一方、関数Ｄｆ（・）は、偶数フィールドでは、奇数フィールド（偶数フィールドの上下の奇数フィールド）の画素を用いた線形補間を実行する。あるいは、反対に、関数Ｄｆ（・）は、偶数フィールドにおいて、一般的なダウンサンプリングを実行する。そして、関数Ｄｆ（・）は、奇数フィールドでは偶数フィールド（奇数フィールドの上下の偶数フィールド）の画素を用いた線形補間を実行してもよい。だたし、画像劣化部１６０における圧縮方法は、これらに限らず、別の方法でもよい。
【００５１】
圧縮関数Ｃｃｒ（・）は、添え字ｃｒの値に応じて、次の数式２に示す規格となる量子化行列Ｑの値を変換した量子化行列Ｑ’を生成し、量子化行列Ｑ及び量子化行列Ｑ’を用いて、画像を圧縮する関数である。なお、ｃｒは、圧縮量を表す値である。ｃｒの範囲は、−１から１（ｃｒ∈［−１，１］）である。
【００５２】
［数式２］
2016051707.tif 000004
【００５３】
数式２において、ｍａｘ［Ｑ，１］は、行列Ｑの各成分（各要素）について、１よりも小さい要素を、１に置き換える処理である。また、「Ｑ（１−ｃｒ）」は、行列Ｑの各要素に（１−ｃｒ）を掛けることを示す。つまり、ｃｒ＞０の場合、行列Ｑ’の要素は、行列Ｑの要素に（１−ｃｒ）を掛け、掛けた結果が１より小さい要素を１に置き換えた値である。
【００５４】
また、（２５５−Ｑ）は、「２５５」から行列Ｑの各要素を引いた値を示す。つまり、ｃｒ＞０でない場合、行列Ｑ’の要素は、「２５５」から行列Ｑの要素を引いた値に（１＋ｃｒ）を掛け、さらに、「２５５」から掛けた結果の値を引いた値である。
【００５５】
行列Ｑ’を生成後、関数Ｃｃｒ（・）は、引数であるベクトル（画素値のベクトル）に行列Ｑ’の逆行列を掛け合わせ、掛け合わせた結果であるベクトルにおける要素の少数点以下を四捨五入して整数化し、さらに、その結果のベクトルに行列Ｑを掛ける。
【００５６】
明度変化関数Ｇｐ（・）は、添え字ｐの値に応じて、引数のベクトルの成分毎に、γ補正を実行する。ここで、関数Ｇｐ（・）の添え字ｐは、アピアランス相違度を算出する領域を区別するための添え字である。つまり、ｐは、ｐ∈Ｐ（アピアランス相違度を算出する領域全体の集合）となる。例えば、具体的には、ベクトルの要素の値をｘ、添え字をｐ（領域ｐ）とした場合、関数Ｇｐ（・）を用いた変換後のベクトルの要素の値（ｙ）は、次に示す数式３のように算出される。
【００５７】
［数式３］
2016051707.tif 000005
【００５８】
なお、画像劣化部１６０は、特徴点仮説と参照画像との組合せの数の劣化画像を生成する。例えば、参照画像の枚数がＭ枚、特徴点仮説の数がＬ個の場合、画像劣化部１６０は、Ｍ×Ｌ枚の劣化画像を生成する。さらに、劣化パラメータの複数の組合せが存在する場合、画像劣化部１６０は、上記の組合せに加え、劣化パラメータとの組合せに対応する劣化画像を生成する。例えば、上記に加え、Ｕ組の劣化パラメータの組合せがある場合、画像劣化部１６０は、Ｍ×Ｌ×Ｕ枚の劣化画像を生成する。
【００５９】
ただし、画像劣化部１６０は、上記より少ない数の劣化画像を生成してもよい。
【００６０】
信頼度算出部１７０は、対象画像と劣化画像と特徴点仮説とを基に、特徴点仮説の信頼度（以下、「統合信頼度」と呼ぶ）を算出する。
【００６１】
図２は、信頼度算出部１７０の構成の一例を示すブロック図である。
【００６２】
信頼度算出部１７０は、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３とを含む。ただし、信頼度算出部１７０の構成は、これに限る必要はない。例えば、信頼度算出部１７０は、輪郭信頼度算出部１７１又はアピアランス相違度算出部１７２のいずれか一方を含んでもよい。つまり、信頼度算出部１７０は、以下で説明する輪郭信頼度又はアピアランス相違度を、統合信頼度として出力してもよい。
【００６３】
輪郭信頼度算出部１７１は、対象（オブジェクト）の特徴点仮説を輪郭（枠）とした場合の信頼度（以下、「輪郭信頼度」と呼ぶ）を算出する。ここで輪郭とは、対象画像に含まれる対象の輪郭である。例えば、対象画像に撮像されている対象が顔の場合、頬の輪郭又は目の縁などが、輪郭として定義される。あるいは、撮像されている対象がナンバープレートの場合、ナンバープレートの枠の部分が、輪郭として定義される。
【００６４】
また、輪郭信頼度算出部１７１が信頼度を算出する方法は、特に制限はない。例えば、輪郭信頼度算出部１７１は、次のような方法を用いてもよい。まず、輪郭信頼度算出部１７１は、受信した対象画像と劣化画像とにソーベルフィルタを適用してエッジを検出する。そして、輪郭信頼度算出部１７１は、検出したエッジを基にエッジ強度を算出する。そして、輪郭信頼度算出部１７１は、仮定した直線上でのエッジ強度を、輪郭に沿って積分する。そして、輪郭信頼度算出部１７１は、エッジ強度の積分値を輪郭の信頼度とすればよい。
【００６５】
例えば、撮像されている対象がナンバープレート画像の場合について、図面を参照して説明する。
【００６６】
図１２は、輪郭信頼度が低い場合の特徴点仮説の一例を示す図である。
【００６７】
図１３は、輪郭信頼度が高い場合の特徴点仮説の一例を示す図である。
【００６８】
図１２に示す場合、特徴点仮説、つまり、輪郭（例えば、ナンバープレートの枠）の輝度変化が少ない。つまり、輪郭上でのエッジ強度が、小さい。そのため、図１２に示す場合、エッジ強度の積分値は、小さい。
【００６９】
一方、図１３に示す場合、特徴点仮説、つまり、輪郭の輝度変化が大きい。つまり、輪郭上でのエッジ強度が、大きい。そのため、図１３に示す場合、エッジ強度の積分値は、大きい。
【００７０】
ここで、ｓを線素、対象画像のエッジ強度を表す関数を関数ｆ（ｓ）、輪郭上の微小線素をｄｓとした場合、特徴点仮説ｌに対応する積分値Ｔｌは、次に示す数式４のようになる。
【００７１】
［数式４］
2016051707.tif 000006
【００７２】
輪郭信頼度算出部１７１は、関数ｆ（ｓ）を積分して、積分値Ｔｌを算出すればよい。
【００７３】
なお、エッジ強度の算出方法として、輪郭信頼度算出部１７１は、ソーベルフィルタ以外の方法を用いてもよい。例えば、輪郭信頼度算出部１７１は、Ｃａｎｎｙの方法を用いてもよい。
【００７４】
そして、輪郭信頼度算出部１７１は、特徴点仮説の積分値Ｔｌを、Ｚ値（正規分布を用いるＺ検定）を用いて正規化した輪郭信頼度Ｓｌを算出する。輪郭信頼度Ｓｌは、次に示す数式５となる。
【００７５】
［数式５］
2016051707.tif 000007
【００７６】
アピアランス相違度算出部１７２は、劣化画像と対象画像とを基に、劣化画像と対象画像とにおける対象のアピアランスの信頼度を算出する。アピアランス相違度算出部１７２は、対象画像と、全ての劣化画像との組合せについて、アピアランス相違度を計算する。
【００７７】
アピアランス相違度算出部１７２について、さらに説明する。なお、以下の説明においても、対象画像は、ナンバープレートの画像とする。ただし、本実施形態は、これに限定されるわけではない。また、以下の説明において、参照画像を添え字「ｍ」を用いて区別する。
【００７８】
アピアランス相違度算出部１７２は、対象画像の所定の領域について、対象画像と劣化画像とのアピアランス相違度を算出する。アピアランス相違度は、見かけの相違度である。アピアランス相違度算出部１７２は、例えば、アピアランス相違度を、対象画像と劣化画像との所定の各領域から抽出した特徴ベクトルの差のＬ２距離を用いて、算出してもよい。あるいは、アピアランス相違度算出部１７２は、アピアランス相違度を、対象画像と劣化画像との所定の各領域から抽出した特徴ベクトルの差のＬ１距離又はＫＬ（カルバック・ライブラー）距離を用いて算出してもよい。
【００７９】
以下の説明では、アピアランス相違度を算出に使用する画像から抽出される特徴ベクトルの一例として、正規化相互相関を用いる。ただし、本実施形態は、これに限定されるわけではない。
【００８０】
また、以下の説明では、特徴ベクトルを算出する領域を区別するための添え字として、Ｒを用いる。また、アピアランス相違度算出部１７２が各領域から抽出した特徴ベクトルをＦｌｍＲと表す。この時、アピアランス相違度算出部１７２は、劣化画像における各領域に対して、全ての劣化画像の中から最小となる特徴ベクトルＦｌｍＲを選択する。そして、アピアランス相違度算出部１７２は、選択した特徴ベクトルＦｌｍＲの和を、各特徴点仮説ｌに対するアピアランス相違度Ｆｌとすれば良い。これは、次に示す数式６となる。
【００８１】
［数式６］
2016051707.tif 000008
【００８２】
数式６に示されている各ＤｌＲは、以下の数式７となる。
【００８３】
［数式７］
2016051707.tif 000009
【００８４】
信頼度統合部１７３は、輪郭信頼度算出部１７１が算出した輪郭信頼度Ｓｌと、アピアランス相違度算出部１７２が算出したアピアランス相違度Ｆｌとを線形結合し、特徴点の信頼度である統合信頼度Ｊｌを算出する。統合信頼部Ｊｌは、次の数式８となる。
【００８５】
［数式８］
2016051707.tif 000010
【００８６】
数式８におけるα及びβは、ナンバープレート内のアピアランスが鮮明であるほどαの値が大きく、輪郭が鮮明であるほどβの値が小さくなるように、予め、信頼度統合部１７３に設定されている定数である。例えば、情報処理装置１００の利用者が、予め、下記に示すαとβを、信頼度算出部１７０に設定しておけばよい。
【００８７】
クラスの相違度は、アピアランスが不鮮明な場合に比べ、アピアランスが鮮明である場合、より分散している。そのため、αは、例えば、数式９に示すように、分散が大きくなるほど、その値が大きくなればよい。
【００８８】
［数式９］
2016051707.tif 000011
【００８９】
数式９において、Ｄ０及びＤ１は、予め、定められた定数である。
【００９０】
一方、積分値Ｔｌの最大値が大きいほど、輪郭が鮮明である。そのため、βは、例えば、数式１０に示すように、Ｔｌの最大値が大きくなるほど、その値が小さくなればよい。
【００９１】
［数式１０］
2016051707.tif 000012
【００９２】
特徴点推定部１８０は、推定する特徴点（特徴点候補）として、特徴点仮説の中で、統合信頼度Ｊｌが最も大きな１つの特徴点仮説、又は、大きい方から所定の数の特徴点仮説を選択（推定）する。そして、特徴点推定部１８０は、選択された特徴点（特徴点候補）を用いて、劣化画像（又は参照画像）と対象画像との位置合わせを実行する。なお、特徴点推定部１８０における位置合わせの手法は、特に制限はない。例えば、特徴点推定部１８０は、特許文献２に記載の位置合わせの手法を用いてもよい。また、特徴点推定部１８０は、位置合わせの処理において、必要に応じて画像を変形してもよい。
【００９３】
上記のとおり、特徴点推定部１８０は、１つの特徴点の組（特徴点仮説）を選択してもよく、所定の複数の特徴点仮説を選択してもよい。複数の特徴点仮説を選択する場合、特徴点推定部１８０は、特徴点仮説毎に、位置合わせを実行する。
【００９４】
特徴点推定部１８０は、位置合わせの結果を、図示しない表示機器に表示、又は、図示しない装置に送信してもよい。
【００９５】
なお、例えば、情報処理装置１００は、信頼度算出部１７０が算出した統合信頼度を、図示しない対象画像を送信した装置に送信してもよい。この場合、情報処理装置１００は、特徴点推定部１８０を含まなくてもよい。
【００９６】
なお、本実施形態では、画像劣化部１６０は、特徴点サンプリング部１２０が生成した全ての特徴点仮説に対して、劣化画像を生成した。そして、信頼度算出部１７０は、全ての劣化画像に対して、信頼度を算出した。しかし、本実施形態は、これに限定されない。
【００９７】
例えば、信頼度算出部１７０は、特徴点サンプリング部１２０が生成した特徴点仮説の中で、信頼度が明らかに小さいと予測できる特徴点仮説を棄却して、信頼度算出の計算を省略してもよい。さらに、信頼度算出部１７０は、棄却する特徴点仮説を画像劣化部１６０に通知して、画像劣化部１６０における劣化画像の生成を省略してもよい。
【００９８】
例えば、特徴点仮説から算出された姿勢を撮影するために想定されるカメラ位置と、実際に撮影したカメラの位置とが大きく異なる場合、信頼度算出部１７０は、その特徴点仮説を棄却してもよい。より具体的な例として、遠方からナンバープレートなどの長方形の物体を撮像する場合について説明する。遠方から長方形の物体を撮像した場合、この物体は、画像上で平行四辺形に近い形状になる。そのため、特徴点仮説に基づいて得られた形状が、平行四辺形から大きく外れる場合、信頼度算出部１７０は、その特徴点仮説を棄却してもよい。
【００９９】
特徴点仮説を棄却する方法は、上記に限定されない。例えば、信頼度算出部１７０は、輪郭信頼度算出部１７１が算出した輪郭信頼度の値が著しく小さい場合、アピアランス相違度算出部１７２におけるアピアランス相違度を算出する前に、その特徴点仮説を棄却してもよい。
【０１００】
［動作の説明］
次に、図面を参照して、本実施形態の情報処理装置１００の動作について説明する。
【０１０１】
図３は、本実施形態に係る情報処理装置１００の動作の一例を示す流れ図である。
【０１０２】
まず、対象画像受信部１１０が、対象画像を受信する（ステップＳ３０１）。
【０１０３】
次に、特徴点サンプリング部１２０が、特徴点の初期値を受信し、初期値を基に特徴点仮説を生成する（ステップＳ３０２）。
【０１０４】
参照画像受信部１４０、及び劣化パラメータ受信部１５０が、それぞれ、参照画像、及び劣化パラメータを受信する（ステップＳ３０３）。
【０１０５】
次に、画像劣化部１６０が、特徴点仮説と、参照画像とを基に、劣化画像を生成する（ステップＳ３０４）。
【０１０６】
次に、輪郭信頼度算出部１７１が、輪郭信頼度を算出する（ステップＳ３０５）。
【０１０７】
アピアランス相違度算出部１７２が、アピアランス相違度を算出する（ステップＳ３０６）。
【０１０８】
そして、信頼度統合部１７３が、輪郭信頼度と、アピアランス相違度とを統合し、統合信頼度を算出する（ステップＳ３０７）。
【０１０９】
特徴点推定部１８０が、信頼度が高い特徴点仮説（特徴点の組）を選択する（ステップＳ３０８）。なお、この選択は、特徴点の推定に相当する。
【０１１０】
［効果の説明］
次に、第１の実施形態の効果について説明する。
【０１１１】
本実施形態の情報処理装置１００は、低解像、圧縮、又はノイズが多く、撮像対象のパターンのバリエーションが多様である場合でも、高精度な位置合わせを実現するとの効果を奏することができる。つまり、情報処理装置１００は、対象画像及び参照画像のパターンが複雑な場合でも、位置合わせを実現するとの効果を奏することができる。
【０１１２】
その理由は、次のとおりである。
【０１１３】
特徴点サンプリング部１２０が、特徴点の初期値と対象画像とを基に、特徴点仮説を生成する。画像劣化部１６０が、特徴点仮説と参照画像と劣化パラメータとを基に、参照画像を劣化させた劣化画像を生成する。そして、信頼度算出部１７０が、対象画像と特徴点仮説と劣化画像とを基に、各特徴点仮説の信頼度を算出する。そして、特徴点推定部１８０が、信頼度が高い特徴点仮説、つまり、特徴点候補を選択するためである。
【０１１４】
つまり、情報処理装置１００は、対象画像と、参照画像を劣化させた劣化画像とを用いる。そのため、情報処理装置１００は、対象画像と参照画像とのパターンの分布が大きく異なる場合でも、正確な信頼度を算出できるためである。つまり、情報処理装置１００は、パターンのバリエーションが多様な場合でも、高精度な位置合わせが可能である。
【０１１５】
また、情報処理装置１００は、必要な範囲の全ての参照画像の劣化画像と、必要な範囲の全ての（姿勢などの）劣化パラメータとの組合せを用いる。そのため、情報処理装置１００は、パターンにバリエーションが多い場合でも、対象画像の姿勢を見つけることができるためである。
【０１１６】
その結果、情報処理装置１００は、高精度な画像の位置合わせを実現できる。つまり、情報処理装置１００は、圧縮率が高い又はノイズが多い低解像な画像についても、高精度に位置合わせ可能である。
【０１１７】
＜第２の実施形態＞
第２の実施形態に係る情報処理装置１０１は、参照画像を識別する識別子（ＩＤ：Identifier）を用いる。以下、本実施形態について図面を参照して説明する。
【０１１８】
［構成の説明］
図４は、第２の実施形態に係る情報処理装置１０１の構成の一例を示すブロック図である。
【０１１９】
情報処理装置１０１は、第１の実施形態の情報処理装置１００の信頼度算出部１７０と特徴点推定部１８０に換えて、信頼度算出部１７５とＩＤ識別部１８１とを含み、さらに、ＩＤ受信部１３０を含む。以下の説明では、本構成を用いて説明するが、本実施形態の構成は、上記に限定されない。例えば、情報処理装置１０１は、特徴点推定部１８０を含んでもよい。
【０１２０】
以下、第１の実施形態と同様の構成及び動作の説明を適宜省略し、本実施形態に特有の構成及び動作を中心に説明する。
【０１２１】
ＩＤ受信部１３０は、参照画像を区別するためのＩＤ（識別子：Identifier）を受信する。本実施形態において、ＩＤは、特に制限はない。例えば、参照画像が人の顔の場合、ＩＤは、個人を識別するためのＩＤ（例えば、社員番号又は会員番号）でもよい。あるいは、参照画像がナンバープレートの場合、ＩＤは、ナンバープレートの数値でもよい。
【０１２２】
ＩＤ受信部１３０が受信したＩＤは、参照画像に関連付けられる。例えば、参照画像受信部１４０が、ＩＤを参照画像に関連付けてもよい。あるいは、ＩＤ受信部１３０が、参照画像受信部１４０が受信した参照画像に、ＩＤを関連付けてもよい。なお、参照画像受信部１４０が受信する参照画像が、ＩＤを含んでもよい。この場合、情報処理装置１０１は、ＩＤ受信部１３０を含まなくてもよい。
【０１２３】
信頼度算出部１７５は、第１の実施形態の信頼度算出部１７０と同様に、動作する。さらに、信頼度算出部１７５は、下記で説明するように、スコアＫ（ｎ）を算出する。
【０１２４】
図５は、第２の実施形態に係る信頼度算出部１７５の構成の一例を示すブロック図である。
【０１２５】
信頼度算出部１７５は、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３と、スコア算出部１７６とを含む。ただし、信頼度算出部１７５の構成は、これに限る必要はない。
【０１２６】
ここで、輪郭信頼度算出部１７１と、アピアランス相違度算出部１７２と、信頼度統合部１７３とは、第１に実施形態と同様に動作する。そのため、スコア算出部１７６について説明する。
【０１２７】
まず、スコア算出部１７６は、次の数式１１に示すように、アピアランス相違度をＦｌｍＲと輪郭信頼度Ｓｌとを線形結合したスコアＶｌｍＲを算出する。
【０１２８】
［数式１１］
2016051707.tif 000013
【０１２９】
数式１１のα及びβは、線形結合の定数であり、第１の実施形態の数式８で説明した定数と同様の定数である。なお、数式１１と、数式６ないし８とを比較から明らかなとおり、数式８の統合信頼度Ｊｌと数式１１のスコアＶｌｍＲとは、次の点で異なる。統合信頼度Ｊｌは、アピアランス相違度ＦｌｍＲの最小値を用いている。これに対し、スコアＶｌｍＲは、ＦｌｍＲを用いている。
【０１３０】
次に、スコア算出部１７６は、統合信頼度を線形結合したスコアＶｌｍＲの上位ｋ個（統合信頼度において、値の高い方からｋ個）の参照画像に対応するＩＤを用いて、スコアＫ（ｎ）を算出する。ここで、ｋは、予め情報処理装置１０１の利用者が設定しておく値である。また、スコアＫ（ｎ）は、上位に選択された参照画像に関連する（紐付く）ＩＤが偏っているほど（例えば、ある１つのＩＤに偏っているほど）、そのＩＤのスコアが高くなるように算出される値である。例えば、スコア算出部１７６は、次に示す数式１２を用いて、各参照画像のスコアＫ（ｎ）を算出してもよい。数式１２に示すＫ（ｎ）は、上位ｋ個の参照画像に関連するＩＤに対して、重みｗｊで重み付け投票を実行する。
【０１３１】
［数式１２］
2016051707.tif 000014
【０１３２】
数式１２において、ｎは、各参照画像のＩＤ（このＩＤは、クラスでもある）である。ｎｊは、ｊ位の参照画像のＩＤである。δ（・，・）は、２つの引数の値が一致するときは「１」を取り、それ以外のときは「０」を取る関数である。また、重み付投票に用いる重みｗｊは、ｊ位に設定された重みを与える係数である。ｗｊは、例えば、次に示す数式１３のように定義される。
【０１３３】
［数式１３］
2016051707.tif 000015
【０１３４】
このように、スコア算出部１７６は、統合信頼度が上位の参照画像に対し、偏りが多いほどその値が高くなるように、各参照画像のスコアを算出する。
【０１３５】
ＩＤ識別部１８１は、第１の実施形態の特徴点推定部１８０と同様に動作する。つまり、ＩＤ識別部１８１は、特徴点推定部の変形でもある。
【０１３６】
さらに、ＩＤ識別部１８１は、信頼度算出部１７５が算出したスコアＫ（ｎ）が最も大きいＩＤの参照画像を選択する。つまり、ＩＤ識別部１８１は、偏りが大きい参照画像を選択する。
【０１３７】
そして、ＩＤ識別部１８１は、対象画像と、選択した特徴点仮説と、選択した参照画像（又は、参照画像に対応する劣化画像）とを基に、位置合わせを実行する。
【０１３８】
［動作の説明］
次に、図面を参照して、本実施形態に係る情報処理装置１０１の動作について説明する。
【０１３９】
図６は、第２の実施形態に係る情報処理装置１０１の動作の一例を示す流れ図である。
【０１４０】
なお、適宜、第１の実施形態と同様の動作の詳細な説明を省略する。
【０１４１】
ステップＳ３０１からＳ３０２は、第１の実施形態と同様の動作である。
【０１４２】
ステップＳ４０３において、ＩＤ受信部１３０が、ＩＤを受信し、さらに、ステップＳ３０３と同様に、参照画像受信部１４０及び劣化パラメータ受信部１５０が、参照画像、及び劣化パラメータを受信する。
【０１４３】
ステップＳ３０４からＳ３０６は、第１の実施形態と同様の動作である。
【０１４４】
そして、信頼度算出部１７５は、統合信頼度を算出後、スコアＫ（ｎ）を算出する（ステップＳ４０７）。
【０１４５】
ＩＤ識別部１８１は、スコアが最も高いＩＤ（参照画像）を選択する（ステップＳ４０８）。
【０１４６】
［効果の説明］
次に、本実施形態の効果について説明する。
【０１４７】
本実施形態の情報処理装置１０１は、第１の実施形態の効果に加え、参照画像のパターンが複雑な場合でも、参照画像のＩＤを識別できるとの効果を奏することができる。
【０１４８】
これは、本実施形態の情報処理装置１０１が、参照画像にＩＤを関連付けるためである。
【０１４９】
さらに、情報処理装置１０１は、ＩＤの偏りに基づくスコアＫ（ｎ）を用いるためである。
【０１５０】
＜第３の実施形態＞
第３の実施形態に係る情報処理装置１０２は、対象画像に対応する画像（復元画像）を復元する。以下、本実施形態について図面を参照して説明する。
【０１５１】
［構成の説明］
図７は、第３の実施形態に係る情報処理装置１０２の構成の一例を示すブロック図である。
【０１５２】
情報処理装置１０２は、第１の実施形態の情報処理装置１００の構成に加え、画像復元用辞書作成部２１０と、画像復元部２２０と、画像出力部２３０とを含む。以下に説明では、本実施形態について、この構成を用いて説明する。ただし、本実施形態の構成は、上記に限定されない。例えば、情報処理装置１０２は、ＩＤ識別部１８１を含んでもよい。
【０１５３】
以下、第１の実施形態と同様の構成及び動作の説明を適宜省略し、本実施形態に特有の構成及び動作を中心に説明する。
【０１５４】
画像復元用辞書作成部２１０は、参照画像及び劣化画像から、対応する位置の小領域（パッチ）を切り出す。なお、小領域（パッチ）の大きさは、予め、画像復元用辞書作成部２１０に設定されている。例えば、情報処理装置１０２の利用者が、予め、小領域（パッチ）の大きさを、設定しておけばよい。なお、小領域は、「局所領域」とも呼ばれる。
【０１５５】
そして、画像復元用辞書作成部２１０は、参照画像と劣化画像とにおける各小領域の組（パッチペア）を辞書（図示せず）に登録する。例えば、画像復元用辞書作成部２１０は、辞書に登録する組の情報として、各小領域に対する特徴ベクトルのパッチペアを辞書に登録する。ただし、画像復元用辞書作成部２１０は、特徴点推定部１８０が選択（推定）した特徴点候補の領域内から、小領域を切り出す。つまり、画像復元用辞書作成部２１０は、特徴点候補の領域内の小領域（パッチ）を辞書に登録する。
【０１５６】
なお、画像復元用辞書作成部２１０は、参照画像について、大きさ及び明度を正規化してもよい。例えば、画像復元用辞書作成部２１０は、参照画素の縦横の画素数を、所定の値となるように、拡大又は縮小してもよい。あるいは、画像復元用辞書作成部２１０は、明度に関して、背景色の輝度値を基に、コントラストを補正してもよい。
【０１５７】
ここで、辞書に登録される特徴ベクトルは、特に制限はない。例えば、辞書に記憶する特徴ベクトルΨは、対応する小領域の輝度値をラスタスキャン順に並べたベクトルｖ＝（ｖ１，ｖ２，…，ｖｉ，…，ｖｎ）及び重みベクトルｗ＝（ｗ１，ｗ２，…，ｗｉ，…，ｗｎ）を用いて、数式１４のように定義されてもよい。なお、数式１４における「ｎ」は、特徴ベクトルΨの次元である。
【０１５８】
［数式１４］
2016051707.tif 000016
【０１５９】
数式１４において、小領域のｉ番目の画素における重みベクトルｗｉは、小領域を選択する際に、小領域の中心の明度が類似している小領域を優先的に選択するための重みである。重みｗｉは、画素ｉと小領域の中心からの距離ｒｉと重みの減衰率を決定するパラメータρを用いて、次に示す数式１５のように定義される。
【０１６０】
［数式１５］
2016051707.tif 000017
【０１６１】
画像復元部２２０は、対象画像の画素毎に、小領域に関連する（紐付く）特徴ベクトルの相違度に基づき、作成された辞書から復元に用いる小領域を探索する。そして、画像復元部２２０は、復元画像の各画素について、探索された対応する複数の小領域の重み付き平均を基に、画素値を合成して、対象画像に対応する復元画像を生成する。
【０１６２】
画像出力部２３０は、復元された復元画像を、図示しない装置（例えば、表示装置）に出力する。画像出力部２３０が、表示機器を含み、復元画像を表示してよい。
【０１６３】
［動作の説明］
次に、図面を参照して本実施形態の動作について説明する。
【０１６４】
図８は、第３の実施形態に係る情報処理装置１０２の動作の一例を示す流れ図である。
【０１６５】
なお、適宜、第１の実施形態と同様の動作の詳細な説明を省略する。
【０１６６】
情報処理装置１０２は、ステップＳ３０１からＳ３０８までの第１の実施形態と同様に動作する。
【０１６７】
そして、画像復元用辞書作成部２１０は、画像復元用辞書を作成する（ステップＳ５０９）。すなわち、画像復元用辞書作成部２１０は、前述した各小領域の組（パッチペア）を辞書に登録する。
【０１６８】
画像復元部２２０は、画像復元用の辞書を用いて、前述したように対象画像に対応する復元画像を復元する（ステップＳ５１０）。
【０１６９】
画像出力部２３０は、復元画像を出力する（ステップＳ５１１）。
【０１７０】
［効果の説明］
本実施形態の効果について説明する
本実施形態の情報処理装置１０２は、第１の実施形態の効果に加え、高精度な画像を復元するとの効果を奏することができる。
【０１７１】
その理由は、情報処理装置１０２は、第１の実施形態と同様に、高精度な画像の位置合わせが可能である。そして、情報処理装置１０２は、高精度の位置に応じた画像復元用の辞書を用いて画像を復元するからである。そのため、情報処理装置１０２は、高精度に画像を復元することができる。
【０１７２】
＜第４の実施形態＞
以上の説明した情報処理装置１００ないし情報処理装置１０２の構成について、第４の実施形態として説明する。情報処理装置１００ないし情報処理装置１０２は、次のように構成される。
【０１７３】
例えば、情報処理装置１００ないし情報処理装置１０２の各構成部は、ハードウェア回路で構成されても良い。
【０１７４】
また、情報処理装置１００ないし情報処理装置１０２は、各構成部をネットワーク又はバスなど（以下、「ネットワークなど」と呼ぶ）を介して接続した複数の情報処理装置を用いて構成されても良い。
【０１７５】
図９は、本実施形態に係る情報処理装置１０３の構成の一例を示すブロック図である。
【０１７６】
情報処理装置１０３は、特徴点サンプリング部１２０と、画像劣化部１６０と、信頼度算出部１７０とを含む。
【０１７７】
情報処理装置１０３の各構成は、情報処理装置１００の構成と同様に動作する。
【０１７８】
特徴点サンプリング部１２０は、特徴点仮説をサンプリングする。
【０１７９】
画像劣化部１６０は、特徴点仮説と劣化パラメータと参照画像とを基に、劣化画像を生成する。
【０１８０】
信頼度算出部１７０は、対象画像と劣化画像と特徴点仮説とを基に、特徴点仮説の信頼度を算出する。
【０１８１】
このように構成された情報処理装置１０３は、情報処理装置１００の効果を奏することができる。
【０１８２】
その理由は、上記のとおり、情報処理装置１０３の各構成が、情報処理装置１００の構成と同様に動作し、対象画像と参照画像の劣化画像とを基に、特徴点仮説の信頼度を、適切に算出できるためである。
【０１８３】
なお、本実施形態に係る情報処理装置１０３は、本発明の最小構成である。
【０１８４】
＜第５の実施形態＞
また、情報処理装置１００ないし情報処理装置１０３（以下、「情報処理装置１００など」と呼ぶ）の別の構成について、第５の実施形態として説明する。情報処理装置１００などは、複数の構成部を１つのハードウェアで構成されても良い。
【０１８５】
また、情報処理装置１００などは、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現されても良い。情報処理装置１００などは、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input / Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現されても良い。
【０１８６】
図１４は、情報処理装置１００などの変形例である第５の実施形態に係る情報処理装置６００の構成の一例を示すブロック図である。
【０１８７】
情報処理装置６００は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
【０１８８】
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。
【０１８９】
そして、ＣＰＵ６１０を含むコンピュータは、これらの構成を制御し、図１、図４、図７又は図９に示す各部としての各機能を実現する。図１に示す各部とは、対象画像受信部１１０と、特徴点サンプリング部１２０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７０と、特徴点推定部１８０とである。図４に示す各部とは、対象画像受信部１１０と、特徴点サンプリング部１２０と、ＩＤ受信部１３０と、参照画像受信部１４０と、劣化パラメータ受信部１５０と、画像劣化部１６０と、信頼度算出部１７５と、ＩＤ識別部１８１とである。図７に示す各部とは、図１に示す構成に加え、画像復元用辞書作成部２１０と、画像復元部２２０と、画像出力部２３０とである。図９に示す各部とは、特徴点サンプリング部１２０と、画像劣化部１６０と、信頼度算出部１７０とである。
【０１９０】
ＣＰＵ６１０は、各機能を実現する際に、ＲＡＭ６３０又は内部記憶装置６４０を、プログラムの一時記憶として使用しても良い。
【０１９１】
また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んでも良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取り、ＲＡＭ６３０に保存して、保存したプログラムを基に動作しても良い。
【０１９２】
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。
【０１９３】
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム及びデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。
【０１９４】
内部記憶装置６４０は、情報処理装置６００が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
【０１９５】
ここで、ＲＯＭ６２０と内部記憶装置６４０は、不揮発性の記憶媒体である。一方、ＲＡＭ６３０は、揮発性の記憶媒体である。そして、ＣＰＵ６１０は、ＲＯＭ６２０、内部記憶装置６４０、又は、ＲＡＭ６３０に記憶されているプログラムを基に動作可能である。つまり、ＣＰＵ６１０は、不揮発性記憶媒体又は揮発性記憶媒体を用いて動作可能である。
【０１９６】
ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
【０１９７】
入力機器６６０は、情報処理装置６００の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
【０１９８】
表示機器６７０は、情報処理装置６００の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。
【０１９９】
ＮＩＣ６８０は、ネットワークを介した図示しない外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。
【０２００】
このように構成された情報処理装置６００は、情報処理装置１００などと同様の効果を奏することができる。
【０２０１】
その理由は、情報処理装置６００のＣＰＵ６１０が、プログラムに基づいて、情報処理装置１００などと同様の機能を実現できるためである。
【０２０２】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成及び詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２０３】
この出願は、２０１４年１０月３日に出願された日本出願特願２０１４−２０５００７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０２０４】
１００    情報処理装置
１０１    情報処理装置
１０２    情報処理装置
１０３    情報処理装置
１１０    対象画像受信部
１２０    特徴点サンプリング部
１３０    ＩＤ受信部
１４０    参照画像受信部
１５０    劣化パラメータ受信部
１６０    画像劣化部
１７０    信頼度算出部
１７１    輪郭信頼度算出部
１７２    アピアランス相違度算出部
１７３    信頼度統合部
１７５    信頼度算出部
１７６    スコア算出部
１８０    特徴点推定部
１８１    ＩＤ識別部
２１０    画像復元用辞書作成部
２２０    画像復元部
２３０    画像出力部
６００    情報処理装置
６１０    ＣＰＵ
６２０    ＲＯＭ
６３０    ＲＡＭ
６４０    内部記憶装置
６５０    ＩＯＣ
６６０    入力機器
６７０    表示機器
６８０    ＮＩＣ
７００    記憶媒体
【図１】
2016051707.tif 000018
【図２】
2016051707.tif 000019
【図３】
2016051707.tif 000020
【図４】
2016051707.tif 000021
【図５】
2016051707.tif 000022
【図６】
2016051707.tif 000023
【図７】
2016051707.tif 000024
【図８】
2016051707.tif 000025
【図９】
2016051707.tif 000026
【図１０】
2016051707.tif 000027
【図１１】
2016051707.tif 000028
【図１２】
2016051707.tif 000029
【図１３】
2016051707.tif 000030
【図１４】
2016051707.tif 000031
【国際調査報告】
2016051707.tif 000032
2016051707.tif 000033
2016051707.tif 000034