(57)【要約】劣化した画像を適切に復元するため、本発明の情報処理装置は、学習画像を識別するための正解識別子を出力する正解識別子出力手段と、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、特徴ベクトルを基に、登録パッチに付与されるべき正解識別子を分類する類似度算出法を算出する探索類似度算出手段とを含む。
2014162690.tif 000002
【特許請求の範囲】
【請求項１】
学習画像を識別するための正解識別子を出力する正解識別子出力手段と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段と
を含む情報処理装置。
【請求項２】
前記学習画像を受信する学習用高解像度画像受信手段と、
前記学習画像の劣化画像を生成する劣化画像生成手段と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成するパッチ生成手段と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する登録手段と
をさらに含む請求項１に記載の情報処理装置。
【請求項３】
前記特徴ベクトル算出手段又は前記パッチ生成手段が、
前記登録パッチに前記正解識別子を付与する
請求項２に記載の情報処理装置。
【請求項４】
前記正解識別子出力手段が、
前記学習画像を基に前記正解識別子を算出する
請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記探索類似度算出手段が、
前記学習画像の所定の領域において前記類似度算出法を算出する
請求項２乃至請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記劣化画像生成手段が、
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
請求項２乃至請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
学習画像の画像認識用の特徴ベクトルを抽出する認識用特徴ベクトル抽出手段を
含む請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
【請求項８】
学習画像を識別するための正解識別子を出力し、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する
画像処理方法。
【請求項９】
前記学習画像を受信し、
前記学習画像の劣化画像を生成し、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成し、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する
請求項８に記載の画像処理方法。
【請求項１０】
前記登録パッチに前記正解識別子を付与する
請求項８又は請求項９に記載の画像処理方法。
【請求項１１】
前記学習画像を基に前記正解識別子を算出する
請求項８乃至請求項１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記学習画像の所定の領域において前記類似度算出法を算出する
請求項８乃至請求項１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
請求項８乃至請求項１２のいずれか１項に記載の画像処理方法。
【請求項１４】
学習画像の画像認識用の特徴ベクトルを抽出する
請求項８乃至請求項１３のいずれか１項に記載の画像処理方法。
【請求項１５】
学習画像を識別するための正解識別子を出力する処理と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理と
をコンピュータ装置に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】
前記学習画像を受信する処理と、
前記学習画像の劣化画像を生成する処理と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成する処理と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する処理と
をコンピュータ装置に実行させる請求項１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
前記登録パッチに前記正解識別子を付与する処理を
コンピュータ装置に実行させる請求項１５又は請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１８】
前記学習画像を基に前記正解識別子を算出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１７のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
前記学習画像の所定の領域において前記類似度算出法を算出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１８のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２０】
前記正解識別子を基に劣化画像を生成する劣化手法を選択する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１９のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２１】
学習画像の画像認識用の特徴ベクトルを抽出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項２０のいずれか１項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報の処理技術に関し、特に、劣化した画像の復元処理に関する。
【背景技術】
【０００２】
デジタル画像データを処理する画像処理技術が、広く用いられている。その画像技術の１つとして、劣化復元技術が、知られている。この劣化復元技術は、劣化した画像を復元する技術である。【０００３】
劣化復元技術として、例えば、ノイズ除去技術（デノイズ：denoise）、霧除去技術（デヘイズ：dehaze）及び超解像技術（super-resolution）がある（例えば、非特許文献１を参照）。以下、劣化復元技術の一例として、超解像技術について説明する。【０００４】
超解像技術は、画像データの解像度を高める画像処理技術である。超解像技術には、例えば、次のような２つの技術がある。【０００５】
第１の超解像技術は、複数枚超解像技術である。複数枚超解像技術は、動画を構成する又は連写を用いて生成される複数の画像データ（複数フレーム）を用いて、１枚の高解像度画像データを生成する技術である（例えば、特許文献１参照）。このように、複数枚超解像技術は、高解像度を実現するために複数枚の画像データが必要である。そのため、複数枚超解像技術は、１枚の画像データから高解像画像データを生成することはできない。【０００６】
第２の超解像技術は、学習型超解像技術である。学習型超解像技術は、予め、学習処理に基づいて辞書を作成し、その辞書を用いて１枚の画像データの解像度を高める技術である（例えば、特許文献２及び特許文献３参照）。学習型超解像技術は、辞書を用いるため、参照画像データ数が少ない複数枚超解像技術より高い超解像を実現できる。【０００７】
学習型超解像技術について、図面を参照して、更に説明する。学習型超解像技術は、一般的に、「学習フェーズ」と「超解像フェーズ」とを含む。「学習フェーズ」とは、超解像処理に用いる辞書を作成するフェーズである。「超解像フェーズ」とは、辞書を用いて、低解像度画像から高解像度画像を生成するフェーズである。【０００８】
学習型超解像技術において、１つの装置が、両フェーズを実行しても良い。あるいは、複数の装置が、個別に各フェーズを実行しても良い。【０００９】
以下、説明を明確にするため、各フェーズの装置を用いて説明する。【００１０】
図１０は、本発明に関連する超解像システム９００の構成の一例を示す図である。【００１１】
超解像システム９００は、辞書作成装置９１０と、辞書９２０と、超解像画像生成装置９３０とを含む。【００１２】
辞書作成装置９１０は、学習フェーズを実行する。具体的には、辞書作成装置９１０は、学習画像５１を基に、超解像フェーズで使用するパッチ（パッチペア５３１）を作成し、辞書９２０に保存する。【００１３】
辞書９２０は、辞書作成装置９１０が作成した超解像画像を作成するためのパッチペア５３１を保存する。【００１４】
超解像画像生成装置９３０は、超解像フェーズを実行する。具体的には、超解像画像生成装置９３０は、入力画像５４（低解像画像）と、辞書９２０に保存されたパッチペア５３１とを用いて、復元画像５５（高解像画像）を生成する。【００１５】
各フェーズについて更に説明する。【００１６】
図１１は、学習フェーズを説明するための図である。図１０と図１１とを併用して、学習フェーズでの処理を説明する。【００１７】
辞書作成装置９１０は、学習のための高解像画像（学習画像５１）を受け取る。そして、辞書作成装置９１０は、学習画像５１の解像度を落とした低解像画像（劣化画像５２）を生成する。【００１８】
また、辞書作成装置９１０は、学習画像５１から所定の範囲の画像部分（高解像パッチ５１１）を切り出す。さらに、辞書作成装置９１０は、切り出した高解像パッチ５１１に対応する画像部分（低解像パッチ５２１）を、劣化画像５２から切り出す。【００１９】
そして、辞書作成装置９１０は、高解像パッチ５１１と低解像パッチ５２１とを組み合わせたパッチペア５３１を生成する。辞書作成装置９１０は、パッチペア５３１を辞書９２０に保存する。【００２０】
図１２は、超解像フェーズを説明するための図である。【００２１】
超解像画像生成装置９３０は、入力画像５４を受け取る。【００２２】
超解像画像生成装置９３０は、入力画像５４を基に、パッチペア５３１の低解像パッチ５２１と比較するためのパッチ（入力パッチ５４１）を生成する。【００２３】
そして、超解像画像生成装置９３０は、生成した入力パッチ５４１を基に、辞書９２０を参照してパッチペア５３１を選択する。より具体的には、超解像画像生成装置９３０は、例えば、次の様に動作する。【００２４】
超解像画像生成装置９３０は、入力パッチ５４１とパッチペア５３１の全ての低解像パッチ５２１との類似度を算出する。そして、超解像画像生成装置９３０は、類似度を基に、最も類似する低解像パッチ５２１のパッチペア５３１を選択する。選択されたパッチペア５３１の高解像パッチ５１１は、合成に用いるパッチ（復元パッチ５５１）となる。【００２５】
超解像画像生成装置９３０は、全ての入力パッチ５４１に対応するパッチペア５３１を選択する。超解像画像生成装置９３０は、選択したパッチペア５３１の高解像パッチ５１１を復元パッチ５５１として用いて、復元画像５５（超解像画像）を生成する。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】特開２００９−１８１５０８号公報
【特許文献２】特開２０１１−１７０４５６号公報
【特許文献３】特開２０１２−０４３４３７号公報
【非特許文献】
【００２７】
【非特許文献１】A. Buades, B. Coll, and J.-M. Morel, "A non-local algorithm for image denoising", IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2005 (CVPR2005), Volume: 2, Page(s): 60 - 65, 20-25 June, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００２８】
学習画像５１は、多くの種類の画像を含む。従って、学習画像５１は、入力画像５４と同じ種類の画像及び異なる種類の画像を含む。つまり、辞書９２０が保持するパッチペア５３１は、多くの種類の学習画像５１から作成される。【００２９】
本発明に関連する上記特許文献１乃至特許文献３に記載の超解像技術は、超解像フェーズにおいて、パッチペア５３１を区別せず、入力パッチ５４１とパッチペア５３１との類似度を、全数比較する。そのため、特許文献１乃至特許文献３に記載の超解像技術は、入力画像５４と異なる種類の画像のパッチペア５３１を選択する場合がある。【００３０】
このように、特許文献１乃至特許文献３に記載の超解像技術は、適切なパッチペア５３１を選択できないという問題点があった。【００３１】
また、非特許文献１は、辞書を用いないため、上記問題点に対応できない。【００３２】
本発明の目的は、上記問題点を解決し、劣化した画像を適切に復元する情報処理装置、及び、画像処理方法を提供することにある。
【課題を解決するための手段】
【００３３】
本発明における一形態の情報処理装置は、学習画像を識別するための正解識別子を出力する正解識別子出力手段と、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段とを含む。【００３４】
また、本発明における一形態の画像処理方法は、学習画像を識別するための正解識別子を出力し、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する。【００３５】
また、本発明における一形態のプログラムを記録したコンピュータ読み取り可能な記録媒体は、学習画像を識別するための正解識別子を出力する処理と、復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理とを含むプログラムをコンピュータ装置に実行させる。
【発明の効果】
【００３６】
本発明によれば、劣化した画像を適切に復元することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明における第１の実施形態に係る情報処理装置を含む超解像システムの構成の一例を示すブロック図である。
【図２】図２は、第１の実施形態の情報処理装置が辞書に登録するデータの一例を示す図である。
【図３】図３は、第１の実施形態の分類を説明するための図である。
【図４】図４は、第１の実施形態の動作の一例を示すフローチャートである。
【図５】図５は、第１の実施形態の情報処理装置の変形例の一例を示すブロック図である。
【図６】図６は、第１の実施形態の情報処理装置の変形例の一例を示すブロック図である。
【図７】図７は、本発明の第２の実施形態の情報処理装置の構成の一例を示すブロック図である。
【図８】図８は、本発明の第３の実施形態の情報処理装置の構成の一例を示すブロック図である。
【図９】図９は、本発明の第４の実施形態の情報処理装置の構成の一例を示すブロック図である。
【図１０】図１０は、本発明に関連する超解像システムの構成の一例を説明するためのブロック図である。
【図１１】図１１は、本発明に関連する学習フェーズを説明するための図である。
【図１２】図１２は、本発明に関連する超解像フェーズを説明するための図である。
【発明を実施するための形態】
【００３８】
次に、本発明の実施形態について図面を参照して説明する。
【００３９】
なお、各図面は、本発明の実施形態を説明するためのものである。そのため、本発明は、各図面の記載に限られるわけではない。
【００４０】
また、各図面の同様の構成には、同じ番号を付し、その繰り返しの説明は、省略する場合がある。
【００４１】
（第１の実施形態）
まず、本発明における一実施形態である、第１の実施形態の情報処理装置１０について、説明する。
【００４２】
本実施形態の情報処理装置１０は、適応する劣化復元技術に、特に制限はない。そこで、以下の説明は、例示として、超解像技術を用いて説明する。
【００４３】
図１は、本発明における第１の実施形態に係る情報処理装置１０を含む超解像システム４０の構成の一例を示すブロック図である。
【００４４】
超解像システム４０は、情報処理装置１０と、辞書２０と、超解像画像生成装置３０とを含む。
【００４５】
本実施形態の情報処理装置１０は、超解像処理の学習フェーズを実施する。
【００４６】
そのため、情報処理装置１０は、学習用高解像度画像受信部１１０と、劣化画像生成部１２０と、正解ＩＤ（Identifier）出力部１３０と、パッチ生成部１４０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０と、登録部１７０とを含む。
【００４７】
図２は、本実施形態の情報処理装置１０が辞書２０に登録（格納）するデータの一例を示す図である。
【００４８】
以下、図２も参照して説明する。なお、図２において、図１１と同じ構成には同じ番号を付している。なお、以下の説明において、「データを辞書２０に登録（格納）する」ことを、「辞書２０を作成する」と言う。
【００４９】
学習用高解像度画像受信部１１０は、辞書２０を作成するため、学習用の高解像度画像（図２に示す学習画像５１）を受信する。学習画像５１の受信手法は、特に制限はない。例えば、超解像システム４０の操作者が、情報処理装置１０に学習画像５１を入力しても良い。また、情報処理装置１０は、超解像システム４０の図示しない入力機器から、学習画像５１の保存場所を示す情報を受け取り、指定された保存場所から学習画像５１を受信しても良い。
【００５０】
劣化画像生成部１２０は、学習画像５１の解像度を落とした低解像画像（図２に示す劣化画像５２）を生成する。なお、劣化画像生成部１２０は、複数の劣化手法を用いて、複数の劣化画像５２を生成しても良い。
【００５１】
正解ＩＤ出力部１３０は、後ほど説明する情報処理装置１０が辞書２０に登録する登録パッチ２００に割り当てる識別子（以下、「正解識別子」又は「正解ＩＤ（Identifier）」と言う。）を出力する。つまり、正解ＩＤ出力部１３０は、正解識別子出力部である。また、正解ＩＤ出力部１３０は、後ほど説明するとおり、何らかの手法を基に正解ＩＤを取得し、出力しても良い。つまり、正解ＩＤ出力部１３０は、正解識別子取得部でもよい。
【００５２】
以下の説明では、「正解ＩＤ」は、学習画像５１に割り当てられた識別子として説明する。ただし、正解ＩＤは、学習画像５１毎に割り当てられたＩＤである必要はない。正解ＩＤ出力部１３０は、例えば、学習画像５１の所定領域毎に割り当てられたＩＤを、正解ＩＤとして取得して、出力しても良い。あるいは、正解ＩＤ出力部１３０は、登録パッチ２００毎に割り当てられたＩＤを、正解ＩＤとして取得して、出力しても良い。
【００５３】
また、正解ＩＤの値及びデータ形式は、特に制限はない。例えば、人物画像及び顔画像の場合、正解ＩＤは、画像内の人物の識別子（ＩＤ）でも良い。
【００５４】
あるいは、正解ＩＤは、画像の種類に応じて割り当てられても良い。例えば、正解ＩＤは、人物画像の部分の種類（例えば、顔画像又は上半身画像）を分類できる識別子でも良い。また、正解ＩＤは、人物画像の部分の種類毎に、同じ種類内で分類可能な識別子でも良い。
【００５５】
また、画像が所定の数値を含む画像（例えば、ナンバープレート画像）の場合、正解ＩＤは、画像に含まれる番号でも良い。
【００５６】
また、正解ＩＤの取得手法は、特に制限はない。例えば、情報処理装置１０は、学習画像５１に対応する正解ＩＤを、操作者の入力操作を基に取得しても良い。あるいは、正解ＩＤ出力部１３０は、学習画像５１に順番に正解ＩＤを割り当てても良い。
【００５７】
パッチ生成部１４０は、学習画像５１と、劣化画像生成部１２０が生成した劣化画像５２とを基に、辞書２０に登録する登録パッチ２００に含まれるパッチ（例えば、図２の高解像パッチ５１１と低解像パッチ５２１）を生成（抽出）する。
【００５８】
なお、辞書２０は、パッチの保存方法に制限はない。また、後ほど説明するように、情報処理装置１０は、辞書２０に保存する情報として、高解像パッチ５１１及び低解像パッチ５２１に限らず、他の情報を保存する。そのため、以下の説明において、複数のパッチ（例えば、パッチペア）及びパッチ以外の情報を含めて、辞書２０に保存する情報を「登録パッチ２００」と言う。
【００５９】
さらに、パッチ生成部１４０は、作成したパッチを含む登録パッチ２００に、正解ＩＤ出力部１３０から受け取った「正解ＩＤ」を割り当てる。上記の通り、本実施形態の説明に用いる正解ＩＤは、学習画像５１毎に割り当てられた識別子である。つまり、正解ＩＤ出力部１３０は、学習画像５１の「正解ＩＤ」を、登録パッチ２００に割り当てる。
【００６０】
特徴ベクトル算出部１５０は、パッチ生成部１４０から登録パッチ２００に含まれる低解像パッチ５２１を受信する。さらに、特徴ベクトル算出部１５０は、登録パッチ２００に含まれる低解像パッチ５２１の「特徴ベクトル」を算出する。つまり、特徴ベクトル算出部１５０は、登録パッチ２００の少なくとも一部のパッチを用いて特徴ベクトルを算出する。
【００６１】
この特徴ベクトルは、超解像フェーズの探索で用いられるベクトルである。そのため、特徴ベクトル算出部１５０は、超解像フェーズに合わせて特徴ベクトルを算出することが望ましい。
【００６２】
例えば、特徴ベクトル算出部１５０は、特徴ベクトルとして、一般的な超解像フェーズで用いられる「輝度値のベクトル」を用いても良い。あるいは、特徴ベクトル算出部１５０は、バイナリ特徴である「ブリーフ（ＢＲＩＥＦ：Binary Robust Independent Elementary Feature）特徴」を用いても良い。
【００６３】
なお、パッチ生成部１４０の代わりに特徴ベクトル算出部１５０が、正解ＩＤ出力部１３０から正解ＩＤを受信し、登録パッチ２００に正解ＩＤを割り当てても良い。図１に示す破線は、この場合の正解ＩＤ出力部１３０から特徴ベクトル算出部１５０への接続を示す。
【００６４】
探索類似度算出部１６０は、特徴ベクトル算出部１５０が算出した特徴ベクトルを基に、登録パッチ２００に割り当てられた正解ＩＤを分類する「類似度算出法」を算出する。
【００６５】
ここで「類似度算出法」とは、後ほど説明する通り、超解像画像生成装置３０が、入力画像５４のパッチと、登録パッチ２００との類似度を算出するための方法である。そして、「類似度算出法」の算出とは、正解ＩＤを分類するために用いる「類似度算出法」を、正解ＩＤに「類似度算出法」を適用して算出した値に基づいて選択することである。
【００６６】
探索類似度算出部１６０の「類似度算出法」の算出は、例えば、次のような動作である。
【００６７】
まず、探索類似度算出部１６０は、特徴ベクトルの類似度を算出する手法に、特徴ベクトルを適用する。そして、探索類似度算出部１６０は、その結果を基に正解ＩＤを分類する。そして、探索類似度算出部１６０は、正解ＩＤの分類状態を算出する。ここで、分類状態とは、例えば、分類された正解ＩＤの分類後のグループ間の距離やグループ内の正解ＩＤ間の距離の平均値である。そして、探索類似度算出部１６０は、算出した分類状態を基に、正解ＩＤの最も適切に分類する類似度算出法（例えば、分類後のグループ間の距離が大きい手法）を選択する。
【００６８】
そして、「類似度算出法」とは、超解像画像生成装置３０が、入力画像５４のパッチと、登録パッチ２００との類似度を算出するための方法である。例えば、類似度算出法は、類似度の計算に用いる計算式の係数又は係数行列を含んでも良い。あるいは、類似度算出法は、類似度の判定方法、例えば、パッチ間の差分の判断方法、又は、判断に用いる距離の尺度を含んでも良い。
【００６９】
さらに、類似度算出法は、これら（係数、係数行列、判断方法、又は、距離の尺度）を複数含んでも良く、これら以外の類似度の算出に必要な情報を含んでも良い。
【００７０】
また、探索類似度算出部１６０は、複数の類似度算出法を算出しても良い。
【００７１】
図３を参照して、探索類似度算出部１６０の動作をさらに説明する。
【００７２】
図３は、特徴ベクトル空間上における、登録パッチ２００の特徴ベクトルの分布を模式的に示す図である。
【００７３】
図３において、四角は、「正解ＩＤ」に「ＩＤ１」が割り当てられた登録パッチ２００を示す。同様に、三角は、「正解ＩＤ」に「ＩＤ２」が割り当てられた登録パッチ２００を示す。丸は、「正解ＩＤ」に「ＩＤ３」が割り当てられた登録パッチ２００を示す。
【００７４】
探索類似度算出部１６０は、特徴ベクトル空間上において、各正解ＩＤを適切に分類するように、類似度算出法を算出する。
【００７５】
例えば、図３に示す破線は、正解ＩＤの分類の一例を示す。つまり、探索類似度算出部１６０は、正解ＩＤの分類が、図３に示す破線となるような類似度算出法を算出する。
【００７６】
具体的には、例えば、探索類似度算出部１６０は、次に示す手法を用いて、類似度算出法を算出すればよい。
【００７７】
（１）フィッシャー判別（Fisher Discriminant）
（２）サポートベクターマシン（ＳＶＭ：Support Vector Machine）
（３）部分空間法（Subspace Method）
（４）局所フィッシャー判別分析（ＬＦＤＡ：Local Fisher Discriminate Analysis）
また、探索類似度算出部１６０は、上記の処理の前に、次に示す手法を用いて、次元を削減しても良い。
【００７８】
（１）主成分分析（ＰＣＡ：Principal Component Analysis）
（２）カーネル主成分分析（ＫＰＣＡ：Kernel Principal Component Analysis）
（３）局所性保存射影（ＬＰＰ：Locality Preserving Projection）
あるいは、探索類似度算出部１６０は、準（半）教師付き局所フィッシャー判別分析（ＳＥＬＦ：Semi-Supervised LFDA）を用いても良い。
【００７９】
図１及び図２を参照した説明に戻る。
【００８０】
登録部１７０は、次に示すパッチなどを含む登録パッチ２００を、辞書２０に登録する。
【００８１】
（１）パッチ生成部１４０が生成した「パッチ（高解像パッチ５１１と低解像パッチ５２１）」
（２）正解ＩＤ出力部１３０が出力した「正解ＩＤ」
（３）探索類似度算出部１６０が算出した「類似度算出法」
次に、情報処理装置１０の動作について、図面を参照して説明する。
【００８２】
図４は、情報処理装置１０の動作の一例を示すフローチャートである。
【００８３】
情報処理装置１０の学習用高解像度画像受信部１１０は、学習画像５１を受信する（ステップＳ４００）。
【００８４】
次に、劣化画像生成部１２０は、学習画像５１を基に、劣化画像を生成する（ステップＳ４０１）。
【００８５】
正解ＩＤ出力部１３０は、正解ＩＤを出力する（ステップＳ４０２）。
【００８６】
パッチ生成部１４０は、学習画像５１と劣化画像５２とを基に、登録パッチ２００に含まれるパッチ（高解像パッチ５１１と低解像パッチ５２１）を生成する（ステップＳ４０３）。パッチ生成部１４０は、登録パッチ２００に正解ＩＤを設定しても良い。
【００８７】
特徴ベクトル算出部１５０は、登録パッチ２００に含まれる低解像パッチ５２１を基に、特徴ベクトルを算出する（ステップＳ４０４）。
【００８８】
探索類似度算出部１６０は、特徴ベクトルを基に、正解ＩＤを適切に分類する類似度算出法を算出する（ステップＳ４０５）。
【００８９】
登録部１７０は、正解ＩＤ出力部１３０が出力した「正解ＩＤ」と、パッチ生成部１４０が生成した「パッチ」と、探索類似度算出部１６０が算出した「類似度算出法」とを含む登録パッチ２００を、辞書２０に登録する（ステップＳ４０６）。
【００９０】
このように、本実施形態の情報処理装置１０は、正解ＩＤの分類に適した類似度算出法を含む登録パッチ２００を、辞書２０に登録する。
【００９１】
そのため、超解像画像生成装置３０は、本実施形態の情報処理装置１０が登録した辞書２０を用いるとき、類似度算出法を使用できる。
【００９２】
本実施形態の情報処理装置１０の理解を深めるため、本実施形態の情報処理装置１０が登録した辞書２０を用いる超解像画像生成装置３０の一例を説明する。
【００９３】
なお、以下、一例として、超解像画像生成装置３０が、正解ＩＤを用いて登録パッチ２００を選択する場合について説明する。ただし、超解像画像生成装置３０は、登録パッチ２００の選択に、正解ＩＤを用いなくても良い。
【００９４】
超解像画像生成装置３０は、超解像フェーズを実施する。
【００９５】
そのため、超解像画像生成装置３０は、例えば、低解像度画像受信部３１０と、パッチ生成部３２０と、特徴ベクトル算出部３３０と、選択部３４０と、合成部３５０とを含む。
【００９６】
低解像度画像受信部３１０は、入力画像５４を受信する。また、低解像度画像受信部３１０は、入力画像５４の正解ＩＤを取得する。
【００９７】
なお、低解像度画像受信部３１０は、正解ＩＤのどのように取得しても良い。例えば、低解像度画像受信部３１０は、入力画像５４を共に正解ＩＤを受信しても良い。あるいは、低解像度画像受信部３１０は、入力画像５４を基に、所定のデータベースから正解ＩＤを取得しても良い。
【００９８】
パッチ生成部３２０は、入力画像５４を基に、辞書２０の登録パッチ２００と比較するためのパッチ（例えば、図１２に示す入力パッチ５４１）を生成する。
【００９９】
なお、パッチ生成部３２０は、生成したパッチ（入力パッチ５４１）に、低解像度画像受信部３１０が取得した正解ＩＤを設定しても良い。
【０１００】
特徴ベクトル算出部３３０は、パッチ生成部３２０が作成したパッチの特徴ベクトルを算出する。
【０１０１】
選択部３４０は、特徴ベクトル算出部３３０が算出した特徴ベクトルと正解ＩＤとを基に、入力画像５４のパッチに対応する辞書２０に含まれる登録パッチ２００を選択する。
【０１０２】
例えば、選択部３４０は、まず、低解像度画像受信部３１０が取得した正解ＩＤと同じ正解ＩＤを含む登録パッチ２００を選択する。そして、選択部３４０は、選択した登録パッチ２００の中から、特徴ベクトルを基に、類似する登録パッチ２００を選択する。
【０１０３】
なお、既に説明したとおり、選択部３４０は、登録パッチ２００の選択に、正解ＩＤを用いなくても良い。
【０１０４】
そして、本実施形態の登録パッチ２００は、情報処理装置１０が算出した類似度算出法を含む。
【０１０５】
そのため、選択部３４０は、登録パッチ２００に含まれる類似度算出法を用いて、登録パッチ２００と入力画像５４のパッチとの類似度を算出し、類似度が近い登録パッチ２００を選択する。
【０１０６】
具体的な、例を用いて説明する。
【０１０７】
例えば、「ｉ」は、登録パッチ２００の番号、「ｊ」は、入力パッチ５４１の番号とする。さらに、「Ａｉ」は、「ｉ番目」の登録パッチ２００に含まれる低解像パッチ５２１の特徴ベクトルとする。また、「Ｄｉ（Ｘ、Ｙ）」は、登録パッチ２００に含まれる類似度算出法とする。ここで、「Ｄｉ（Ｘ、Ｙ）」は、ベクトルＸとＹとの類似度を算出する類似度算出法である。「Ｄｉ（Ｘ、Ｙ）」が算出する値が小さいほど、登録パッチ２００と入力パッチ５４１は、類似とする。また、「Ｂｊ」は、「ｊ番目」の入力パッチ５４１の特徴ベクトルとする。
【０１０８】
すると、選択部３４０は、類似度として「Ｄｉ（Ａｉ、Ｂｊ）」を算出する。選択部３４０は、類似度を算出する範囲のすべての登録パッチ２００について、同様に類似度を算出する。そして、選択部３４０は、所定の範囲（例えば、類似度が小さい方から所定の数）の登録パッチ２００を選択する。
【０１０９】
なお、選択部３４０は、１つの登録パッチ２００を選択しても良く、１つに限らず複数の登録パッチ２００を選択しても良い。
【０１１０】
合成部３５０は、選択部３４０が選択した登録パッチ２００の高解像パッチ５１１を用いて復元画像５５（超解像画像）を合成する。
【０１１１】
このように、超解像画像生成装置３０は、正解ＩＤを適切に分類する類似度算出法を用いて、復元画像５５（超過像画像）の合成に用いる登録パッチ２００を選択できる。
【０１１２】
つまり、情報処理装置１０は、学習画像５１の正解ＩＤを適切に分類する類似度算出法を辞書２０に登録し、超解像の処理を改善する。
【０１１３】
なお、情報処理装置１０は、劣化画像生成部１２０の劣化方法と正解ＩＤとを関連付けても良い。つまり、情報処理装置１０は、劣化画像生成部１２０で実施する複数の劣化方法毎に、正解ＩＤを割り当てても良い。
【０１１４】
本実施形態の情報処理装置１０の効果について説明する。
【０１１５】
本実施形態の情報処理装置１０は、超解像画像生成装置３０が適切な登録パッチ２００を選択できる辞書２０を生成する効果を得ることができる。
【０１１６】
つまり、情報処理装置１０は、超解像画像生成装置３０において、劣化した画像を適切に復元する効果を得ることができる。
【０１１７】
その理由は、次のとおりである。
【０１１８】
情報処理装置１０の正解ＩＤ出力部１３０は、学習画像５１（学習用高解像度画像）に対応する正解ＩＤを出力する。そして、情報処理装置１０の探索類似度算出部１６０は、学習画像５１に割り当てられた正解ＩＤが適切に分類されるように、登録パッチ２００の類似度算出法を算出する。そして、情報処理装置１０は、類似度算出法を含めて登録パッチ２００を、辞書２０に登録する。
【０１１９】
そのため、超解像画像生成装置３０は、本実施形態の情報処理装置１０が登録した辞書２０の登録パッチ２００が含む類似度算出法を用いて、入力画像５４に適した登録パッチ２００を選択し、適切な復元画像５５を合成（復元）できる。
【０１２０】
つまり、本実施形態の情報処理装置１０は、超解像画像生成装置３０が劣化した画像から、適切に合成画像を復元できる登録パッチ２００を、辞書２０に登録できる。
【０１２１】
＜変形例１＞
情報処理装置１０の構成は、これまでの説明の構成に限られない。
【０１２２】
情報処理装置１０は、各構成を複数の構成に分けても良い。
【０１２３】
さらに、情報処理装置１０は、１つの装置で構成される必要はない。例えば、情報処理装置１０は、パッチ生成部１４０を含むパッチを生成する装置と、探索類似度算出部１６０を含む類似度算出法を算出する装置とをネットワークを介して接続した情報処理システムとして構成されても良い。
【０１２４】
なお、情報処理装置１０は、辞書２０に登録された登録パッチ２００に、正解ＩＤを基に算出した類似度算出法を含めて保存すれば良い。そのため、情報処理装置１０は、辞書２０に登録パッチ２００を保存してから、類似度算出法を算出し、保存されている登録パッチ２００に類似度算出法を追加しても良い。あるいは、情報処理装置１０は、辞書２０に保存されている登録パッチ２００の類似度算出法を作成、又は、更新しても良い。
【０１２５】
図５は、情報処理装置１０の変形例の１つである情報処理装置１１の構成の一例を示すブロック図である。図５において、図１と同様の構成には同じ番号を付与し、その詳細な説明を省略する。なお、図５に示す情報処理装置１１は、登録パッチ２００に類似度算出法と正解ＩＤとを登録又は更新するが、登録パッチ２００に含まれる他の情報（例えば、高解像パッチ５１１及び低解像パッチ５２１）を登録しない。そのため、図５において、登録部１７０を省略した。
【０１２６】
情報処理装置１１は、正解ＩＤ出力部１３０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０とを含む。
【０１２７】
正解ＩＤ出力部１３０は、類似度算出法を算出する登録パッチ２００に割り当てる正解ＩＤを出力する。
【０１２８】
特徴ベクトル算出部１５０は、特徴ベクトルを算出する低解像パッチを辞書２０から取り出し、特徴ベクトルを算出する。
【０１２９】
探索類似度算出部１６０は、正解ＩＤが適切に分類できるように類似度算出法を算出し、算出した類似度算出法を辞書２０の登録パッチ２００に登録する。また、探索類似度算出部１６０は、正解ＩＤを登録パッチ２００に登録しても良い。
【０１３０】
なお、情報処理装置１１は、図示しない装置から登録パッチ２００を受け取っても良い。
【０１３１】
例えば、特徴ベクトル算出部１５０が、図示しない装置から登録パッチ２００を受け取り、特徴ベクトルを算出する。正解ＩＤ出力部１３０は、正解ＩＤを出力する。探索類似度算出部１６０は、正解ＩＤと特徴ベクトルとを基に、類似度算出法を算出する。そして、探索類似度算出部１６０が、登録パッチ２００として、特徴ベクトル算出部１５０が受け取ったパッチと、類似度算出法と、正解ＩＤとを、辞書２０に登録しても良い。
【０１３２】
このように構成された情報処理装置１１は、情報処理装置１０と同等の効果を得ることができる。
【０１３３】
その理由は、次のとおりである。
【０１３４】
情報処理装置１１は、情報処理装置１０と同様に、辞書２０の登録パッチ２００の特徴ベクトルを基に、正解ＩＤを適切に分類できるように登録パッチ２００の類似度算出法を算出し、算出した類似度算出法を辞書２０に登録できるためである。
【０１３５】
＜変形例２＞
また、情報処理装置１０は、複数の構成を１つの構成としても良い。
【０１３６】
例えば、情報処理装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）とを含むコンピュータ装置として実現しても良い。情報処理装置１０は、上記構成に加え、さらに、入出力接続回路（ＩＯＣ：Input Output Circuit）と、ネットワークインターフェース回路（ＮＩＣ：Network Interface Circuit）とを含むコンピュータ装置として実現しても良い。
【０１３７】
図６は、本実施形態の情報処理装置１０の変形例である情報処理装置６０の構成の一例を示すブロック図である。
【０１３８】
情報処理装置６０は、ＣＰＵ６１０と、ＲＯＭ６２０と、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを含み、コンピュータ装置を構成している。
【０１３９】
ＣＰＵ６１０は、ＲＯＭ６２０からプログラムを読み込む。そして、ＣＰＵ６１０は、読み込んだプログラムに基づいて、ＲＡＭ６３０と、内部記憶装置６４０と、ＩＯＣ６５０と、ＮＩＣ６８０とを制御する。そして、ＣＰＵ６１０は、これらの構成を制御し、図１に示す各構成の機能を実現する。ここで、各構成は、学習用高解像度画像受信部１１０と、劣化画像生成部１２０と、正解ＩＤ出力部１３０と、パッチ生成部１４０と、特徴ベクトル算出部１５０と、探索類似度算出部１６０と、登録部１７０とである。ＣＰＵ６１０は、各構成の機能を実現する際に、ＲＡＭ６３０をプログラムの一時記憶として使用しても良い。
【０１４０】
また、ＣＰＵ６１０は、コンピュータで読み取り可能にプログラムを記憶した記憶媒体７００が含むプログラムを、図示しない記憶媒体読み取り装置を用いて読み込んで、ＲＡＭ６３０に記憶し、記憶したプログラムを実行しても良い。あるいは、ＣＰＵ６１０は、ＮＩＣ６８０を介して、図示しない外部の装置からプログラムを受け取って、ＲＡＭ６３０に記憶し、記憶したプログラムを実行しても良い。
【０１４１】
ＲＯＭ６２０は、ＣＰＵ６１０が実行するプログラム及び固定的なデータを記憶する。ＲＯＭ６２０は、例えば、Ｐ−ＲＯＭ（Programmable-ROM）又はフラッシュＲＯＭである。
【０１４２】
ＲＡＭ６３０は、ＣＰＵ６１０が実行するプログラム又はデータを一時的に記憶する。ＲＡＭ６３０は、例えば、Ｄ−ＲＡＭ（Dynamic-RAM）である。
【０１４３】
内部記憶装置６４０は、情報処理装置６０が長期的に保存するデータ及びプログラムを記憶する。また、内部記憶装置６４０は、ＣＰＵ６１０の一時記憶装置として動作しても良い。あるいは、内部記憶装置６４０は、ＣＰＵ６１０が実行するプログラムを保存しても良い。内部記憶装置６４０は、例えば、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Solid State Drive）又はディスクアレイ装置である。
【０１４４】
ＩＯＣ６５０は、ＣＰＵ６１０と、入力機器６６０及び表示機器６７０とのデータを仲介する。ＩＯＣ６５０は、例えば、ＩＯインターフェースカード又はＵＳＢ（Universal Serial Bus）カードである。
【０１４５】
入力機器６６０は、情報処理装置６０の操作者からの入力指示を受け取る機器である。入力機器６６０は、例えば、キーボード、マウス又はタッチパネルである。
【０１４６】
表示機器６７０は、情報処理装置６０の操作者に情報を表示する機器である。表示機器６７０は、例えば、液晶ディスプレイである。
【０１４７】
ＮＩＣ６８０は、ネットワークを介した外部の装置とのデータのやり取りを中継する。ＮＩＣ６８０は、例えば、ＬＡＮ（Local Area Network）カードである。
【０１４８】
このように構成された情報処理装置６０は、情報処理装置１０と同様の効果を得ることができる。
【０１４９】
その理由は、次のとおりである。
【０１５０】
情報処理装置６０のＣＰＵ６１０は、プログラムに基づいて情報処理装置１０と同様の機能を実現できるためである。
【０１５１】
（第２の実施形態）
図７は、第２の実施形態に係る情報処理装置１２の構成の一例を示すブロック図である。
【０１５２】
図７において、図１と同様の構成には、同じ番号を付す。そのため、第１の実施形態の同様の構成及び動作の説明を省略し、本実施形態に特有の構成について説明する。
【０１５３】
なお、情報処理装置１２は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
【０１５４】
情報処理装置１２は、図１に示す情報処理装置１０が含む正解ＩＤ出力部１３０に換えて、正解ＩＤ出力部１３２を含む。
【０１５５】
正解ＩＤ出力部１３２は、直接的に正解ＩＤの値を取得するのではなく、学習用高解像度画像受信部１１０が受け取った学習画像５１を基に、正解ＩＤを算出し、出力する。そのため、正解ＩＤ出力部１３２は、正解ＩＤ出力部１３０の一形態とも言える。正解ＩＤ出力部１３２は、それ以外の動作において、正解ＩＤ出力部１３０と同様に動作する。
【０１５６】
なお、正解ＩＤ出力部１３２は、正解ＩＤを算出する手法として、特に制限はない。
【０１５７】
例えば、正解ＩＤ出力部１３２は、学習画像５１をクラスタリングし、各クラスの識別子（ＩＤ）を正解ＩＤとして算出しても良い。
【０１５８】
また、文字画像の場合、正解ＩＤ出力部１３２は、学習画像５１の勾配方向ヒストグラムを算出し、ヒストグラムの距離を基に画像をクラスタリングし、画像が属するクラスを基に正解ＩＤを算出しても良い。
【０１５９】
あるいは、正解ＩＤ出力部１３２は、勾配ヒストグラムに限らず、他のヒストグラム、例えば、線素ヒストグラムを用いても良い。
【０１６０】
また、顔画像の場合、正解ＩＤ出力部１３２は、ヒストグラムの代わりに、ガボール特徴（Gabor feature）を用いても良い。
【０１６１】
さらに、正解ＩＤ出力部１３２は、学習画像５１の全体を用いてクラスタリングしても良く、学習画像５１の所定の領域を用いてクラスタリングしても良い。
【０１６２】
このように、情報処理装置１２は、学習画像５１を基に正解ＩＤを算出する。そして、情報処理装置１２は、算出した正解ＩＤを基に類似度算出法を算出し、辞書２０の登録パッチ２００に登録する。
【０１６３】
なお、情報処理装置１２は、学習画像５１を基に正解ＩＤを算出する。つまり、正解ＩＤは、学習画像５１の分類に相当する。
【０１６４】
そのため、情報処理装置１２は、算出した正解ＩＤを基に、劣化画像生成部１２０の劣化方法を選択しても良い。つまり、情報処理装置１２は、正解ＩＤ出力部１３２が算出した学習画像５１の正解ＩＤの分類と、劣化画像生成部１２０で実施する劣化方法とを関連付けても良い。
【０１６５】
このように構成された第２の実施形態に係る情報処理装置１２は、第１の実施形態の効果に加え、利用者の操作を削減する効果を得ることができる。
【０１６６】
その理由は、次のとおりである。
【０１６７】
情報処理装置１２の正解ＩＤ出力部１３２は、学習画像５１を基に正解ＩＤを算出する。そのため、情報処理装置１２の操作者は、正解ＩＤの入力又は正解ＩＤの取得位置を指示する必要がないからである。
【０１６８】
（第３の実施形態）
図８は、第３の実施形態に係る情報処理装置１３の構成の一例を示すブロック図である。
【０１６９】
図８において、図１と同様の構成には、同じ番号を付し、その詳細な説明を省略する。
【０１７０】
なお、情報処理装置１３は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
【０１７１】
情報処理装置１３は、探索類似度算出部１６０に替えて、適応的探索類似度算出部１６３を備える点で、第１の実施形態と異なる。そのため、以下、適応的探索類似度算出部１６３について詳細に説明する。
【０１７２】
適応的探索類似度算出部１６３は、算出する登録パッチ２００の類似度算出法を、学習画像５１の全体を基に算出するのではなく、所定の局所的な領域において算出する。適応的探索類似度算出部１６３は、それ以外の動作において、探索類似度算出部１６０と同様に動作する。そのため、適応的探索類似度算出部１６３は、探索類似度算出部１６０の一形態である。
【０１７３】
ここで、「所定の領域」について説明する。
【０１７４】
本実施形態における「所定の領域」とは、学習画像５１に含まれる被写体（対象物）に対応する領域である。
【０１７５】
例えば、学習画像５１が、人の顔の画像の場合、適応的探索類似度算出部１６３は、顔の部分（目、鼻、口など）を含む領域を、局所的な領域として扱う。そして、適応的探索類似度算出部１６３は、学習画像５１の所定の領域（例えば、目の領域）のパッチを用いて、正解ＩＤを適切に分類する類似度算出法を算出する。
【０１７６】
あるいは、学習画像５１が、数字又は文字を含む画像の場合、適応的探索類似度算出部１６３は、所定の領域に含まれる文字部分又は数字部分を、局所的領域として、扱っても良い。
【０１７７】
このように構成された情報処理装置１３は、第１の実施形態に比べ、より高精度な超解像を作成可能な登録パッチ２００を辞書２０に登録できる効果を得ることができる。
【０１７８】
つまり、情報処理装置１３は、より高精度の復元を実現できる。
【０１７９】
その理由は、次のとおりである。
【０１８０】
情報処理装置１３は、学習画像５１における所定の部分（部位）の画像、つまり、学習画像５１に含まれる同様の対象物又は近似する対象物の画像を基に、登録パッチ２００の類似度算出法を算出する。
【０１８１】
そのため、情報処理装置１３は、所定の部分を適切に分類できる類似度算出法を用いて、その部位に適した類似度を算出できる。
【０１８２】
つまり、超解像画像生成装置３０は、情報処理装置１３が作成した辞書２０の各部分に適した類似度算出法を基に、登録パッチ２００を選択できる。その結果、超解像画像生成装置３０は、より精度の高い超解像画像を合成（復元）できる。
【０１８３】
このように、情報処理装置１３は、超解像画像生成装置３０が、劣化した画像を適切に復元できる辞書２０を作成できる。
【０１８４】
（第４の実施形態）
超解像画像は、画像認識に用いられる場合がある。
【０１８５】
図９は、第４の実施形態に係る情報処理装置１４を含む超解像システム４４の構成の一例を示すブロック図である。なお、図９において、図１と同様の構成には同じ番号を付し、その詳細な説明を省略する。
【０１８６】
超解像システム４４は、情報処理装置１４と、辞書２０と、超解像画像生成装置３４とを含む。超解像システム４４は、超解像画像の合成に限らず、画像認識処理にも好適なシステムである。
【０１８７】
情報処理装置１４は、第１の実施形態の情報処理装置１０の構成に加え、認識用特徴ベクトル抽出部１８０を含む。また、情報処理装置１４は、認識用特徴ベクトル抽出部１８０に関連し、正解ＩＤ出力部１３０と登録部１７０の代わりに、正解ＩＤ出力部１３４と登録部１７４とを含む点で、情報処理装置１０と異なる。
【０１８８】
また、超解像画像生成装置３４は、第１の実施形態の超解像画像生成装置３０に構成に加え、認識用特徴ベクトル復元部３６０を含む。
【０１８９】
その他の構成は、第１の実施形態と同様のため、本実施形態に特有の点について説明する。
【０１９０】
なお、情報処理装置１４は、情報処理装置１０と同様に、図６に示すコンピュータ装置で構成されても良い。
【０１９１】
認識用特徴ベクトル抽出部１８０は、学習画像５１を基に、画像認識処理に用いる認識用特徴ベクトルを抽出する。そして、認識用特徴ベクトル抽出部１８０は、抽出した認識用特徴ベクトルを正解ＩＤ出力部１３４と登録部１７４とに送る。
【０１９２】
正解ＩＤ出力部１３４は、認識用特徴ベクトルを基に、正解ＩＤを算出する。つまり、情報処理装置１４が算出する正解ＩＤは、画像認識に適した正解ＩＤである。
【０１９３】
そして、探索類似度算出部１６０は、画像認識に適した正解ＩＤを基に、類似度算出法を算出する。
【０１９４】
つまり、情報処理装置１４は、画像認識に適した類似度算出法を算出できる。
【０１９５】
登録部１７４は、類似度算出法を含む登録パッチ２００の登録に加え、認識用特徴ベクトルを辞書２０に登録する。
【０１９６】
認識用特徴ベクトル復元部３６０は、選択部３４０が選択した登録パッチ２００に関連する認識用特徴ベクトルを、辞書２０から復元する。そして、認識用特徴ベクトル復元部３６０は、復元した特徴ベクトルを、図示しない画像認識装置に、認識用情報５７として送信する。
【０１９７】
なお、図示しない画像認識装置は、超解像画像生成装置３４の超解像画像処理とは異なる画像認識を実施する。ただし、画像認識に用いられる特徴ベクトルは、超解像画像のために選択された登録パッチ２００に関連する特徴ベクトルである。そのため、画像認識装置は、認識用情報５７を基に、超解像画像の画像認識の精度を向上できる。
【０１９８】
なお、正解ＩＤ出力部１３４は、第１の実施形態の正解ＩＤ出力部１３０と同様に、正解ＩＤを出力しても良い。
【０１９９】
このように第４の実施形態に記載の情報処理装置１４は、第１の実施形態の効果に加え、画像認識を適切に実施できる効果を得ることができる。
【０２００】
その理由は、次のとおりである。
【０２０１】
情報処理装置１４は、学習画像５１を基に、画像認識用の特徴ベクトルを抽出し、辞書２０に登録する。また、情報処理装置１４は、画像認識に適した正解ＩＤを基に類似度算出法を算出する。
【０２０２】
そして、超解像画像生成装置３４は、超解像の合成に加え、認識用情報５７として、画像認識用の特徴ベクトルを、画像認識装置に送ることができる。
【０２０３】
そのため、画像認識装置は、超解像画像の画像認識において、特徴ベクトルを用いて、認識の精度を向上できる。
【０２０４】
また、超解像画像生成装置３４の選択部３４０は、画像認識に適した類似度算出法を基に、登録パッチ２００を選択できる。つまり、超解像画像生成装置３４が合成する復元画像５５（超解像画像）は、画像認識に適した画像である。
【０２０５】
そのため、画像認識装置は、画像認識に適した超解像画像を基に画像認識できるため、画像認識の精度を向上できる。
【０２０６】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０２０７】
この出願は、２０１３年  ４月  ５日に出願された日本出願特願２０１３−０７９３３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０２０８】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０２０９】
（付記１）
学習画像を識別するための正解識別子を出力する正解識別子出力手段と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段と
を含む情報処理装置。
【０２１０】
（付記２）
前記学習画像を受信する学習用高解像度画像受信手段と、
前記学習画像の劣化画像を生成する劣化画像生成手段と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成するパッチ生成手段と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する登録手段と
をさらに含む付記１に記載の情報処理装置。
【０２１１】
（付記３）
前記特徴ベクトル算出手段又は前記パッチ生成手段が、
前記登録パッチに前記正解識別子を付与する
付記２に記載の情報処理装置。
【０２１２】
（付記４）
前記正解識別子出力手段が、
前記学習画像を基に前記正解識別子を算出する
付記２又は付記３に記載の情報処理装置。
【０２１３】
（付記５）
前記探索類似度算出手段が、
前記学習画像の所定の領域において前記類似度算出法を算出する
付記２乃至付記４のいずれか１つに記載の情報処理装置。
【０２１４】
（付記６）
前記劣化画像生成手段が、
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
付記２乃至付記５のいずれか１つに記載の情報処理装置。
【０２１５】
（付記７）
学習画像の画像認識用の特徴ベクトルを抽出する認識用特徴ベクトル抽出手段を
含む付記１乃至付記６のいずれか１つに記載の情報処理装置。
【０２１６】
（付記８）
学習画像を識別するための正解識別子を出力し、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する
画像処理方法。
【０２１７】
（付記９）
前記学習画像を受信し、
前記学習画像の劣化画像を生成し、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成し、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する
付記８に記載の画像処理方法。
【０２１８】
（付記１０）
前記登録パッチに前記正解識別子を付与する
付記８又は付記９に記載の画像処理方法。
【０２１９】
（付記１１）
前記学習画像を基に前記正解識別子を算出する
付記８乃至付記１０のいずれか１つに記載の画像処理方法。
【０２２０】
（付記１２）
前記学習画像の所定の領域において前記類似度算出法を算出する
付記８乃至付記１１のいずれか１つに記載の画像処理方法。
【０２２１】
（付記１３）
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
付記８乃至付記１２のいずれか１つに記載の画像処理方法。
【０２２２】
（付記１４）
学習画像の画像認識用の特徴ベクトルを抽出する
付記８乃至付記１３のいずれか１つに記載の画像処理方法。
【０２２３】
（付記１５）
学習画像を識別するための正解識別子を出力する処理と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理と
をコンピュータ装置に実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２４】
（付記１６）
前記学習画像を受信する処理と、
前記学習画像の劣化画像を生成する処理と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成する処理と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する処理と
をコンピュータ装置に実行させる付記１５に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２５】
（付記１７）
前記登録パッチに前記正解識別子を付与する処理を
コンピュータ装置に実行させる付記１５又は付記１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２６】
（付記１８）
前記学習画像を基に前記正解識別子を算出する処理を
コンピュータ装置に実行させる付記１５乃至付記１７のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２７】
（付記１９）
前記学習画像の所定の領域において前記類似度算出法を算出する処理を
コンピュータ装置に実行させる付記１５乃至付記１８のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２８】
（付記２０）
前記正解識別子を基に劣化画像を生成する劣化手法を選択する処理を
コンピュータ装置に実行させる付記１５乃至付記１９のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０２２９】
（付記２１）
学習画像の画像認識用の特徴ベクトルを抽出する処理を
コンピュータ装置に実行させる付記１５乃至付記２０のいずれか１つに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【符号の説明】
【０２３０】
１０  情報処理装置
１１  情報処理装置
１２  情報処理装置
１３  情報処理装置
１４  情報処理装置
２０  辞書
３０  超解像画像生成装置
３４  超解像画像生成装置
４０  超解像システム
４４  超解像システム
５１  学習画像
５２  劣化画像
５４  入力画像
５５  復元画像
５７  認識用情報
６０  情報処理装置
１１０  学習用高解像度画像受信部
１２０  劣化画像生成部
１３０  正解ＩＤ出力部
１３２  正解ＩＤ出力部
１３４  正解ＩＤ出力部
１４０  パッチ生成部
１５０  特徴ベクトル算出部
１６０  探索類似度算出部
１６３  適応的探索類似度算出部
１７０  登録部
１７４  登録部
１８０  認識用特徴ベクトル抽出部
２００  登録パッチ
３１０  低解像度画像受信部
３２０  パッチ生成部
３３０  特徴ベクトル算出部
３４０  選択部
３５０  合成部
３６０  認識用特徴ベクトル復元部
５１１  高解像パッチ
５２１  低解像パッチ
５３１  パッチペア
５４１  入力パッチ
５５１  復元パッチ
６１０  ＣＰＵ
６２０  ＲＯＭ
６３０  ＲＡＭ
６４０  内部記憶装置
６５０  ＩＯＣ
６６０  入力機器
６７０  表示機器
６８０  ＮＩＣ
７００  記憶媒体
９００  超解像システム
９１０  辞書作成装置
９２０  辞書
９３０  超解像画像生成装置
【図１】
2014162690.tif 000003
【図２】
2014162690.tif 000004
【図３】
2014162690.tif 000005
【図４】
2014162690.tif 000006
【図５】
2014162690.tif 000007
【図６】
2014162690.tif 000008
【図７】
2014162690.tif 000009
【図８】
2014162690.tif 000010
【図９】
2014162690.tif 000011
【図１０】
2014162690.tif 000012
【図１１】
2014162690.tif 000013
【図１２】
2014162690.tif 000014
【手続補正書】
【提出日】平成27年9月17日(2015.9.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習画像を識別するための正解識別子を出力する正解識別子出力手段と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する探索類似度算出手段と
を含む情報処理装置。
【請求項２】
前記学習画像を受信する学習用高解像度画像受信手段と、
前記学習画像の劣化画像を生成する劣化画像生成手段と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成するパッチ生成手段と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する登録手段と
をさらに含む請求項１に記載の情報処理装置。
【請求項３】
前記特徴ベクトル算出手段又は前記パッチ生成手段が、
前記登録パッチに前記正解識別子を付与する
請求項２に記載の情報処理装置。
【請求項４】
前記正解識別子出力手段が、
前記学習画像を基に前記正解識別子を算出する
請求項２又は請求項３に記載の情報処理装置。
【請求項５】
前記探索類似度算出手段が、
前記学習画像の所定の領域において前記類似度算出法を算出する
請求項２乃至請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記劣化画像生成手段が、
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
請求項２乃至請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
学習画像の画像認識用の特徴ベクトルを抽出する認識用特徴ベクトル抽出手段を
含む請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
【請求項８】
学習画像を識別するための正解識別子を出力し、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出し、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する
画像処理方法。
【請求項９】
前記学習画像を受信し、
前記学習画像の劣化画像を生成し、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成し、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する
請求項８に記載の画像処理方法。
【請求項１０】
前記登録パッチに前記正解識別子を付与する
請求項８又は請求項９に記載の画像処理方法。
【請求項１１】
前記学習画像を基に前記正解識別子を算出する
請求項８乃至請求項１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記学習画像の所定の領域において前記類似度算出法を算出する
請求項８乃至請求項１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記正解識別子を基に劣化画像を生成する劣化手法を選択する
請求項８乃至請求項１２のいずれか１項に記載の画像処理方法。
【請求項１４】
学習画像の画像認識用の特徴ベクトルを抽出する
請求項８乃至請求項１３のいずれか１項に記載の画像処理方法。
【請求項１５】
学習画像を識別するための正解識別子を出力する処理と、
復元画像を合成するための辞書に登録される登録パッチに含まれる少なくとも一部のパッチの特徴ベクトルを算出する処理と、
前記特徴ベクトルを基に、前記登録パッチに付与されるべき前記正解識別子を分類する類似度算出法を算出する処理と
をコンピュータ装置に実行させるプログラム。
【請求項１６】
前記学習画像を受信する処理と、
前記学習画像の劣化画像を生成する処理と、
前記学習画像と前記劣化画像とを基に前記登録パッチに含まれるパッチを生成する処理と、
前記類似度算出法を含めて前記登録パッチを前記辞書に登録する処理と
をコンピュータ装置に実行させる請求項１５に記載のプログラム。
【請求項１７】
前記登録パッチに前記正解識別子を付与する処理を
コンピュータ装置に実行させる請求項１５又は請求項１６に記載のプログラム。
【請求項１８】
前記学習画像を基に前記正解識別子を算出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１７のいずれか１項に記載のプログラム。
【請求項１９】
前記学習画像の所定の領域において前記類似度算出法を算出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１８のいずれか１項に記載のプログラム。
【請求項２０】
前記正解識別子を基に劣化画像を生成する劣化手法を選択する処理を
コンピュータ装置に実行させる請求項１５乃至請求項１９のいずれか１項に記載のプログラム。
【請求項２１】
学習画像の画像認識用の特徴ベクトルを抽出する処理を
コンピュータ装置に実行させる請求項１５乃至請求項２０のいずれか１項に記載のプログラム。
【国際調査報告】
2014162690.tif 000015
2014162690.tif 000016