(57)【要約】【課題】復元精度と処理時間との好適な関係を維持することを課題とする。【解決手段】画像処理装置は、前処理部と、コーディング部とを有する。これらのうち、前処理部は、画像から、該画像の部分領域を抽出したパッチを取得する。コーディング部は、取得されたパッチに含まれる画素値の分布状態を表す情報量に応じて、パッチの処理に関わる設計パラメータの値を決定し、決定した設計パラメータの値を用いてパッチから高周波パッチを生成する。【選択図】図３
2015232869.tif 000002
【特許請求の範囲】
【請求項１】
画像から、該画像の部分領域を抽出したパッチを取得する前処理部と、
取得された前記パッチに含まれる画素値の分布状態を表す情報量に応じて、前記パッチの処理に関わる設計パラメータの値を決定し、決定した前記設計パラメータの値を用いて前記パッチから高周波パッチを生成するコーディング部と
を有することを特徴とする画像処理装置。
【請求項２】
前記前処理部は、画素の並び方、及び、画素値の変化量を定量化する特徴量の少なくとも一つを用いて、前記パッチに含まれる前記情報量を計測し、
前記コーディング部は、計測された前記情報量に応じて、画像の基底辞書から基底を選択する数を表すスパースレベル、前記部分領域を抽出するための抽出間隔、及び、前記パッチのサイズの少なくとも一つである前記設計パラメータの値を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記前処理部は、前記抽出間隔と前記パッチのサイズとにより前記部分領域を抽出し、
前記コーディング部は、パッチの前記情報量と前記スパースレベルとの対応関係を保持する対応表をもとに、前記部分領域を抽出した前記パッチの前記情報量に対する前記スパースレベルを決定し、決定した前記スパースレベルに相当する数の中周波基底及び高周波基底の組み合わせを前記基底辞書から選択して、選択した前記中周波基底それぞれに対する係数と、該中周波基底それぞれに対応する組み合わせの前記高周波基底との線形和により、前記高周波パッチを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記コーディング部は、前記部分領域を抽出した前記パッチの前記情報量と、該情報量の頻度との関係から、使用する前記対応表を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記前処理部は、前記抽出間隔と前記パッチのサイズとにより前記部分領域を抽出し、
前記コーディング部は、前記部分領域を抽出した前記パッチの前記情報量をもとに、該パッチについて、前記情報量が所定閾値未満である平坦パッチであるか、前記情報量が所定閾値以上である非平坦パッチであるかを判定し、前記平坦パッチのスパースレベルが前記非平坦パッチのスパースレベルよりも相対的に小さくなるように、前記パッチの前記スパースレベルを決定し、決定した前記スパースレベルに相当する数の中周波基底それぞれに対する係数と、該中周波基底それぞれに対応する組み合わせの前記高周波基底との線形和により、前記高周波パッチを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記コーディング部は、計測された前記情報量が所定閾値以上である場合に、所定値以下の抽出間隔を設定し、計測された前記情報量が所定閾値未満である場合に、所定値以上の抽出間隔を設定することを特徴とする請求項２〜５の何れか一つに記載の画像処理装置。
【請求項７】
前記前処理部は、前記部分領域と一部が重なる領域、前記部分領域と隣接する領域、又は、前記部分領域とは１画素以上離れている領域を表す周辺領域を抽出した周辺パッチを取得して、取得した前記周辺パッチの前記情報量をさらに計測し、
前記コーディング部は、計測された前記パッチ及び前記周辺パッチの前記情報量が所定閾値以上である場合に、所定値以下の抽出間隔を設定し、前記情報量が所定閾値未満である場合に、所定値以上の抽出間隔を設定することを特徴とする請求項２〜５の何れか一つに記載の画像処理装置。
【請求項８】
前記前処理部は、所定サイズの前記部分領域を抽出した前記パッチの前記情報量を計測し、計測した前記情報量が所定閾値以上である場合に、前記所定サイズ以下の前記部分領域を抽出し、計測した前記情報量が所定閾値未満である場合に、前記所定サイズ以上の前記部分領域を抽出し、
前記コーディング部は、前記部分領域を抽出した前記パッチとサイズが同一となる基底を蓄積した基底辞書を選択することを特徴とする請求項２〜７の何れか一つに記載の画像処理装置。
【請求項９】
前記コーディング部は、計測された前記情報量又は１以上の特徴量に応じて、複数の前記設計パラメータの値を決定することを特徴とする請求項２〜８の何れか一つに記載の画像処理装置。
【請求項１０】
生成された前記高周波パッチを用いて、前記画像を高解像度化する後処理部をさらに有することを特徴とする請求項１〜９の何れか一つに記載の画像処理装置。
【請求項１１】
画像から、該画像の部分領域を抽出したパッチを取得するステップと、
取得された前記パッチに含まれる画素値の分布状態を表す情報量に応じて、前記パッチの処理に関わる設計パラメータの値を決定し、決定した前記設計パラメータの値を用いて前記パッチから高周波パッチを生成するステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
画像から、該画像の部分領域を抽出したパッチを取得するステップと、
取得された前記パッチに含まれる画素値の分布状態を表す情報量に応じて、前記パッチの処理に関わる設計パラメータの値を決定し、決定した前記設計パラメータの値を用いて前記パッチから高周波パッチを生成するステップと
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像の解像度を向上させるための技術として、画像を拡大する際に、存在しない画素を、元画像の画素値を用いて算出する補間技術が知られている。但し、補間技術は、本来は存在しない画素を、複数の画素の平均値等から算出するため、より強い輝度変化が存在するエッジ部等がなまり、全体的にぼけた画像になる可能性がある。そこで、最近では、画像を拡大する際に、失われてしまう高周波成分を元画像とは異なる他の画像から抽出し、他の画像から抽出した高周波成分を元画像に内挿することで、画像の解像度を向上させる技術がある。かかる技術は、超解像と呼ばれ、超解像の技術のうち学習型超解像が注目されている。
【０００３】
例えば、学習型超解像では、高解像度画像と、該高解像度画像が生成される過程に基づいて劣化させた低解像度画像とをペアとする。そして、学習型超解像では、ペアとした２枚の画像の同位置から、部分領域を抽出して辞書を構築する。以下の説明では、部分領域をパッチと呼ぶ。なお、パッチは、任意の形状のものを使用することが可能である。以下の説明では、パッチの形状が矩形領域である場合を例に挙げる。辞書の構築では、抽出したパッチそれぞれを周波数解析して、高周波パッチ・中周波パッチに変換したうえで蓄積しておく。中周波パッチは、低解像度画像の中で相対的に高い周波数帯を抽出したものである。また、学習型超解像では、低解像度画像である入力画像を超解像する際に、入力画像から低解像度パッチを抽出し、抽出した低解像度パッチを周波数解析したうえで中周波パッチに変換し、構築しておいた辞書の各ペアと照合し、より適しているペアを選択して、選択されたペアの高周波パッチを低解像度画像である入力画像の同位置に内挿することで失われた成分を復元する。このような処理を全パッチに対して行なうことで、入力された低解像度画像を高解像度化できる。
【０００４】
また、特に、上述したパッチベースの手法よりも高い復元精度が得られることから、基底のスパースコーディングによる学習型超解像の手法が注目されている。かかる手法では、パッチをそのまま使用するのではなく、複数のパッチから基底と呼ばれる抽象パターンを生成して、パッチベースの手法よりも小規模の辞書を構築する。なお、パッチベースの手法と同様に、中周波基底と高周波基底とは対応関係にある。そして、超解像時には、中周波パッチを線形和で近似するために少数個の中周波基底と、それらにかかる係数とをコーディングアルゴリズムによって決定する。このような決定処理は、スパースコーディングと呼ばれる。最後に、中周波基底と高周波基底とは対応関係にあるので、選択された中周波基底に対応する高周波基底に係数を掛けて、それらの線形和によって高周波パッチを復元する。
【０００５】
最近では、処理時間の短縮のために、高解像度画像と、該高解像度画像を劣化させた低解像度画像のパッチのペア間の距離を計測し、設定した閾値によって情報量のより少ないフラットパッチ（平坦パッチ）と、フラットパッチ以外の非フラットパッチ（非平坦パッチ）とに分類し、非フラットパッチのみに対して処理を行なう技術もある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術は、復元精度と処理時間との好適な関係を維持することが困難であるという問題がある。具体的には、従来技術に係る学習型超解像では、パッチ単位で復元処理が行なわれるため、適した高解像度パッチが復元されない場合にはノイズを内挿してしまう可能性があり、パッチベースの学習型超解像では膨大な数のパッチのペアを蓄積した辞書が必要となる。また、基底を用いた学習型超解像では、辞書サイズはパッチベースよりも小さくなるものの、それでも膨大な数の基底ペアを蓄積した辞書が使用されることとなる。また、非フラットパッチのみに対して処理を行なう技術では、平坦領域と非平坦領域とが隣接する境界部分で、超解像されている領域とされていない領域とが隣接するため、不連続性が生じ、視覚的に不自然に成り得る。これらの結果、従来技術は、膨大な数のパッチのペアを蓄積した辞書を、ペアの照合のために探索する処理負荷が増大するとともに、より好適な復元精度を維持できているとは言い難い。つまり、復元精度と処理時間とはトレードオフの関係にあり、用途に応じてこれらを好適に制御できることが好ましい。
【０００７】
本発明は、上記に鑑みてなされたものであって、復元精度と処理時間との好適な関係を維持することが可能である画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置は、画像から、該画像の部分領域を抽出したパッチを取得する前処理部と、取得された前記パッチに含まれる画素値の分布状態を表す情報量に応じて、前記パッチの処理に関わる設計パラメータの値を決定し、決定した前記設計パラメータの値を用いて前記パッチから高周波パッチを生成するコーディング部とを有する。
【発明の効果】
【０００９】
本発明の一つの様態によれば、復元精度と処理時間との好適な関係を維持することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施の形態に係る基底のスパースコーディングによる学習型超解像の概要を説明する図である。
【図２】図２は、本実施の形態に係る基底辞書の構築例を説明する図である。
【図３】図３は、実施の形態１に係る画像処理装置の機能構成例を示すブロック図である。
【図４】図４は、中周波パッチの特徴量と、高解像度パッチ及び低解像度パッチ間の類似度との対応関係を例示した図である。
【図５】図５は、中周波パッチの特徴量とスパースレベルとの対応表の例を示す図である。
【図６】図６は、実施の形態１に係る画像処理の流れの例を示すフローチャートである。
【図７】図７は、実施の形態２に係る画像処理装置の機能構成例を示すブロック図である。
【図８】図８は、中周波パッチの特徴量と頻度との関係の例を示す図である。
【図９Ａ】図９Ａは、復元精度を優先する場合のスパースレベルの設定例を示す図である。
【図９Ｂ】図９Ｂは、処理時間を優先する場合のスパースレベルの設定例を示す図である。
【図９Ｃ】図９Ｃは、図９Ａに示した復元精度と、図９Ｂに示した処理時間との中間をとった場合のスパースレベルの設定例を示す図である。
【図１０】図１０は、実施の形態２に係る画像処理の流れの例を示すフローチャートである。
【図１１】図１１は、実施の形態３に係る画像処理装置の機能構成例を示すブロック図である。
【図１２】図１２は、実施の形態３に係る画像処理の流れの例を示すフローチャートである。
【図１３】図１３は、実施の形態４に係る画像処理装置の機能構成例を示すブロック図である。
【図１４Ａ】図１４Ａは、抽出間隔をより狭くする場合の中周波パッチの抽出例を説明する図である。
【図１４Ｂ】図１４Ｂは、抽出間隔をより広くする場合の中周波パッチの抽出例を説明する図である。
【図１５】図１５は、抽出用サブウィンドウを配置する場合の中周波パッチの抽出例を説明する図である。
【図１６】図１６は、実施の形態４に係る画像処理の流れの例を示すフローチャートである。
【図１７】図１７は、実施の形態５に係る画像処理装置の機能構成例を示すブロック図である。
【図１８Ａ】図１８Ａは、所定閾値以上の情報量を含むパッチの例を示す図である。
【図１８Ｂ】図１８Ｂは、所定閾値よりも情報量が少ないパッチの例を示す図である。
【図１９】図１９は、実施の形態５に係る画像処理の流れの例を示すフローチャートである。
【図２０】図２０は、実施の形態６に係る画像処理装置の機能構成例を示すブロック図である。
【図２１Ａ】図２１Ａは、実施の形態６に係る抽出間隔の設定例を説明する図である。
【図２１Ｂ】図２１Ｂは、実施の形態６に係る抽出間隔の設定例を説明する図である。
【図２２Ａ】図２２Ａは、実施の形態６に係る抽出間隔の設定例を説明する図である。
【図２２Ｂ】図２２Ｂは、実施の形態６に係る抽出間隔の設定例を説明する図である。
【図２３】図２３は、実施の形態６に係る画像処理の流れの例を示すフローチャートである。
【図２４】図２４は、複数の設計パラメータの値を同時に決定する対応表の例を示す図である。
【図２５】図２５は、画像処理装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照して、本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、各実施の形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。
【００１２】
（実施の形態１）
［本実施の形態に係るスパースコーディングの概要］
図１を用いて、本実施の形態に係る基底のスパースコーディングによる学習型超解像の概要を説明する。図１は、本実施の形態に係る基底のスパースコーディングによる学習型超解像の概要を説明する図である。なお、本実施の形態に係る基底のスパースコーディングによる学習型超解像は、基底辞書を構築する学習段（図１の（１）〜（６）に対応）と、入力画像を超解像する超解像段（図１の（７）〜（１３）に対応）とに分けることができる。
【００１３】
図１に示すように、基底辞書を構築するためには、一枚以上の高解像度画像を事前に用意しておく。そして、事前に用意した高解像度画像を前処理する（図１の（１）〜（５）参照）。例えば、前処理では、色形式の変換、入力画像の生成、低解像度画像の生成、高周波画像の生成、中周波画像の生成、パッチの抽出等の処理が順に行なわれる。これらにより、高解像度画像に対する低解像度画像を生成する。これらのうち、色形式の変換と、中周波画像の生成とは、任意に行なわれれば良い。
【００１４】
色形式の変換について説明する。ＲＧＢ画像のように多数のチャネルを持つ画像が入力されたときは、グレースケール等の色形式に変換して使用することができる。但し、学習段と超解像段とで処理対象となる画像の色形式は同様にすることが好ましい。例えば、色形式を変換する場合は、明度成分のみを抽出して処理する（１チャネルのみの処理）方法を用いる。色形式としては、ＹＩＱやＹＵＶ、Ｌ＊ａ＊ｂ＊等が考えられ、各形式に変換したうえで、それぞれの明度成分のみを抽出する。また、チャネルごとに別々に超解像処理を行なったうえで、それぞれを統合しても構わない。
【００１５】
入力画像の生成について説明する（図１の（１）参照）。色形式の変換によって得られた高解像度画像から、ユーザが入力する画像と同等の解像度を持った入力画像を生成する。一般に、デジタル画像は、カメラ等のＣＣＤやＣＭＯＳ等の撮像素子を通して計測された光量の強弱で画素値がサンプリングされて生成されている。このとき、デジタル画像は、実世界の情景に対して、手ぶれ等によるぼけや、サンプリング間隔による情報の欠落、また、ノイズの混入等の過程を経て生成されていると仮定できる。このように生成される過程をモデル化したものを、画像の観測モデルと呼び、ぼけのフィルタ関数や画素の間引き等の解像度変換処理を用いて模擬される。高解像度画像を実世界に例えた場合、平滑化フィルタの一つであるガウシアンフィルタをかけてぼけを模擬し、バイキュービック補間で情報の欠落を模擬することで入力画像を生成する。これらにより、実画像が得られる過程を良好にモデル化することができる。なお、上記観測モデルは一例であり、より正確に模擬できるものであれば他のフィルタ関数や間引き処理を使用しても良い。
【００１６】
低解像度画像の生成について説明する（図１の（２）参照）。高解像度画像を観測モデルに従って劣化させることによって生成した入力画像を元の高解像度画像と同等のサイズになるように拡大し、低解像度画像を生成する。一般に、サイズの変換には、補間技術が用いられる。補間技術のうち、例えばバイキュービック補間等を用いることにより、エッジの滑らかさを維持することができる。なお、バイキュービック補間の他にも、最近傍補間、バイリニア補間等の手法を採用しても良い。
【００１７】
高周波画像の生成について説明する（図１の（３）参照）。色形式の変換によって生成された高解像度画像と、低解像度画像との差分を計算し、高周波成分のみを抽出した高周波画像を生成する。ここで、高解像度画像と低解像度画像との差分とは、同サイズの２枚の画像の同位置の画素値の差を指す。これにより、両方の画像に共通する画素に関しては値が０になり、エッジ周辺等の画素値が異なる画素に関してはその差が算出される。つまり、高解像度画像において、平坦領域では周波情報が抽出されないので、より周波数が高い成分（超解像処理に有効な成分）のみを抽出することができる。
【００１８】
中周波画像の生成について説明する（図１の（４）参照）。低解像度画像の生成によって得られた低解像度画像から中周波成分を抽出し、中周波画像を生成する。ここで、中周波成分とは、低解像度画像に残っている周波数成分の中で相対的に周波数が高い成分を指す。低解像度画像の状態で使用しても良いが、低解像度画像の中でも比較的周波数が高いエッジ等の中周波成分を抽出することで、不要な情報を除去する。例えば、平坦領域は中周波情報を含んでいないため、超解像しても変化することがなくなる。このようにすることで、平坦領域にノイズが内挿されてしまう問題を回避できる。但し、学習段と超解像段とで処理対象となる画像の種類は同様にすることが好ましい。以下では、低解像度画像を中周波画像に、高解像度画像を高周波画像に変換したことを前提に説明する。
【００１９】
例えば、中周波画像は、フーリエ変換等の周波数解析を行ない、相対的に高い周波成分を抽出する方法や、ある画素に対して、該画素の垂直方向及び水平方向に存在する周辺画素との一次微分・二次微分を計算することにより生成される。このほかにも、低解像度画像と、該低解像度画像を劣化させて生成したより低品質な画像との差分画像を使用する等の方法もある。
【００２０】
パッチの抽出について説明する（図１の（５）参照）。高周波画像の生成、中周波画像の生成によって生成された高周波画像と中周波画像とからパッチのペアを抽出する。かかるパッチは、任意のサイズの矩形領域とする。例えば、パッチは、５×５ピクセル程度の小矩形領域を用いても良い。これらのパッチは、同サイズでなくても良く、両方のパッチの中心位置（画像中の中心位置）が同様の座標になるように抽出することも可能である。なお、このようなパッチの抽出後に、色形式の変換や、周波数解析による特定周波成分の抽出を行なうようにしても良い。中周波画像のパッチは中周波パッチと呼び、高周波画像のパッチは高周波パッチと呼ぶ。そして、中周波画像と高周波画像との対応する位置から抽出した、中周波パッチと高周波パッチとが、一つのペアになるように蓄積していく。
【００２１】
続いて、基底辞書を構築する（図１の（６）参照）。例えば、前処理によって生成された中周波パッチと高周波パッチとのペアを用いて、基底辞書を構築する。図２は、本実施の形態に係る基底辞書の構築例を説明する図である。図２では、中周波パッチと高周波パッチとが対応関係を保持した状態で生成されていることを前提として説明する。
【００２２】
図２の右辺に示す中周波パッチと高周波パッチとの行列は、行数Ｎを高周波パッチの次元とし、列数Ｍを抽出したパッチ数としている。また、Ｋは、構築すべき基底数を表している。本実施の形態に係る基底のスパースコーディングによる学習型超解像では、中周波パッチをベースに係数行列を決定し、決定した係数行列を高周波基底の構築に使用することで、中周波基底と高周波基底とが対応関係を担保した状態で構築される。基底の構築は、以下のアルゴリズム（中周波基底を初期化する、係数のコーディングを行なう、基底の更新を行なう、係数のコーディングと基底の更新を繰り返す、高周波基底を構築する）に従って行われる。
【００２３】
中周波基底の初期化について説明する。例えば、Ｎ次元の中周波基底（図２の左方上段に示す中周波基底）に関し、０〜２５５の範囲の値をランダムに決定したうえで、各基底を単位ベクトルに変換することで、中周波基底を初期化する。基底の初期化では、ランダムに生成する方法の他にも適当な中周波パッチを初期値に使用しても良い。超解像する対象が事前に決定している場合には、超解像する対象と同カテゴリの画像から抽出した中周波パッチを初期値に使用しても良い。
【００２４】
係数のコーディングについて説明する。例えば、初期化した中周波基底と中周波パッチとをもとに、係数行列（図２の中央上段に示す係数行列）を構築する。本実施の形態において、コーディングアルゴリズムは、直交マッチング追跡を用いる。直交マッチング追跡では、ある中周波パッチに対して、初期残差をこのパッチ自身として初期化される。そして、残差と基底との内積が最大となる、すなわち残差ベクトル長が最小になるような基底を探索する。続いて、このときの残差を新たな残差として更新する。これらの処理を繰り返し行ない、複数の基底を探索する。このような基底を選択する数をスパースレベルと呼ぶ。直交マッチング追跡は、距離が近いといった好適だと考えられる要素を優先的に選択する貪欲法ではあるが、良好な結果が得られるアルゴリズムとして知られている。この処理を中周波パッチごとに行ない、係数行列を決定する。つまり、パッチ数がＭである場合には、Ｍ回の処理を独立して行なう。
【００２５】
基底の更新について説明する。例えば、決定した係数行列と中周波パッチとをもとに、基底（行列）の更新を行なう。基底の更新は、例えばＫ−ＳＶＤ法により実現する。Ｋ−ＳＶＤ法は、ある基底を更新するときに、まず、直交マッチング追跡でコーディングしたときに、線形和で表現するためにこの基底を用いていた中周波パッチを収集する。つまり、収集されたこれらの中周波パッチは、スパースコーディングしたときに、この基底を選択していることになる。そして、直交マッチング追跡でコーディングされた中周波基底のうち、この基底を使用せずに近似表現（線形和）したときの残差を、中周波パッチごとに計算する。例えば、直交マッチング追跡で３つの基底を使用してコーディングしていた場合には、更新対象の基底以外の２つの基底を用いて表現した近似ベクトルと、元の中周波パッチとの残差ベクトルとを、中周波パッチごとに算出することになる。その後、これらのパッチごとに算出した残差ベクトル長が最小になるような基底を特異値分解によって算出し直す。この処理を全ての基底に対して行なうことで、収集された中周波パッチを表現するための基底が構築される。図２では、Ｋ個の基底として表している。
【００２６】
係数のコーディングと基底の更新を繰り返す処理について説明する。例えば、上述した係数行列の構築と、基底（行列）の更新とは、交互に行なわれ、収束するまで繰り返される。初期値をランダムにとった場合、序盤は基底を更新する度に、各中周波パッチが使用する基底が変動する。その後、数十回処理を繰り返していくと、中周波パッチが使用する基底に変動がなくなるため、基底の更新も行われなくなる。すなわち、中周波パッチが使用する基底は、一定のものに収束する。
【００２７】
高周波基底の構築について説明する。例えば、上記により構築された係数行列と、高周波パッチとから、高周波基底（図２の左方下段に示す高周波基底）を構築する。学習型超解像で用いる辞書を構築する場合は、中周波と高周波のパッチや基底等の要素は対応関係を保持していることが好ましい。そこで、中周波基底の構築で用いられた係数行列を高周波基底の構築に使用する（図２の中央下段に示す係数行列）ことで、対応関係を保持した高周波基底を構築する。このような処理は、単純な行列計算によって実施することができる。例えば、図２に示した高周波基底が未知の状態で、他の２項が既知であるため、疑似逆行列を計算すれば良い。係数行列を決定することで、ある中周波基底に対して、該中周波基底を構築する際に使用された複数の中周波パッチ（係数が０ではないパッチ）が記憶されている。従って、疑似逆行列の計算の直観的解釈は、これらの中周波パッチに対応する高周波パッチを収集して、共通する成分を抽出することで、対応した高周波基底を構築していることになる。これらにより、中周波基底と、該中周波基底に対応する高周波基底が生成される。
【００２８】
また、構築された基底辞書をもとに、入力画像を処理に適した形式に変換する処理（図１の（７）〜（９）参照）、中周波パッチを超解像する処理（図１の（１０）〜（１２）参照）、入力画像に対応する高解像度画像を復元する処理（図１の（１３）参照）が順次行われる。これらの処理（入力画像を超解像する超解像段）の詳細については後述する。
【００２９】
［実施の形態１に係る機能構成］
次に、図３を用いて、実施の形態１に係る画像処理装置の機能構成を説明する。図３は、実施の形態１に係る画像処理装置の機能構成例を示すブロック図である。
【００３０】
図３に示すように、画像処理装置１００は、画像入力部１１０と、基底辞書入力部１２０と、前処理部１３０と、コーディング部１４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００３１】
画像入力部１１０は、処理対象となる入力画像を読み込む。入力画像は、ＣＤやＤＶＤ等の記録メディアや、ＨＤＤ等のネットワークストレージに予め保存されているものを読み出しても良いし、カメラ等のデバイスによって生成されたものを使用しても良い。なお、入力画像は低解像度画像であっても良い。入力画像が低解像度画像である場合、画像サイズは変わらないテクスチャ・エッジ復元技術となる。以下では、補間拡大を伴う入力を想定して説明する。
【００３２】
基底辞書入力部１２０は、中周波基底と高周波基底とのペアが蓄積された基底辞書を読み込む。基底辞書は、テキストファイル等に予め記述しておき、入力画像と同様に、ＣＤやＤＶＤ、ＨＤＤ等から読み出しても良い。
【００３３】
前処理部１３０は、画像入力部１１０によって読み込まれた入力画像の色形式を変換し、既存の補間技術を用いて拡大し、低解像度画像を生成する（図１の（７）参照）。上述したように、色形式は変換されなくても良いが、変換する場合は、ＹＩＱやＬ＊ａ＊ｂ＊等に変換してＹ成分のみを超解像する方法が考えられる。また、各チャネルを別々に処理して、最後に統合するようにしても良い。例えば、補間技術は、最近傍補間、バイリニア補間、バイキュービック補間等が挙げられる。また、前処理部１３０は、低解像度画像に任意の前処理を施し、中周波画像を生成する（図１の（８）参照）。中周波画像の生成は、複数の方法が存在するが、基底辞書の構築時に適用したものと同様の処理を実施する。
【００３４】
そして、前処理部１３０は、生成した中周波画像から中周波パッチを抽出する（図１の（９）参照）。抽出するパッチサイズは任意で良いが、中周波基底と同サイズとする。例えば、抽出は、ラスタスキャンで行なう。このとき、パッチ間は、数ピクセルをオーバーラップさせて抽出しても良いし、オーバーラップさせずに抽出しても良い。但し、境界部分の不連続性が生じ得ることから、少なくとも１ピクセルはオーバーラップさせることが望ましい。また、中周波パッチは、全て抽出してから処理を行なっても良いし、抽出したものから順に超解像するようにしても良い。
【００３５】
続いて、前処理部１３０は、抽出した中周波パッチに対して特徴量を計測する。特徴量は、パッチに含まれている情報量を定量化できるものであれば、任意のものが使用可能である。本発明における情報量とは、パッチに含まれている画素値の分布状態を表すものである。一般に、情報量は、平坦なパッチよりも画素値の変化が大きいパッチの方が多いと考えることができる。但し、情報量と情報量の多少を判断する閾値等は、任意の基準でユーザが定義することができる。以下では、特徴量は情報量を計測するために使用し、情報量は平坦なパッチよりも画素値の変化が大きなパッチの方が多いものとして説明する。特徴量の例としては、パッチ内のばらつきを計測するために、分散や標準偏差のような統計的尺度や、画像特徴として知られているＳＩＦＴ等の局所特徴量や、ＣａｎｎｙＥｄｇｅＤｅｔｅｃｔｏｒによって抽出されたエッジ特徴等が考えられる。このように、特徴量として標準偏差のような統計的尺度を使用することで、パッチ内の高周波成分の量等を算出することができる。また、複数の特徴量を組み合わせて用いても良い。但し、後述する対応表を作成する際に使用された特徴量と同様のものを使用する。
【００３６】
コーディング部１４０は、前処理部１３０によって抽出された中周波パッチの特徴量と、スパースレベルとを対応付けた対応表を読み込む。スパースレベルとは、基底辞書に蓄積された基底の選択数を表す処理強度である。つまり、スパースレベルが高いほど、復元精度はより高くなるが、辞書内の基底ペアとの照合回数が増えるため、処理時間はより遅くなる。対応表は、テキストファイル等に予め記述しておき、入力画像と同様に、ＣＤやＤＶＤ、ＨＤＤ等から読み出しても良い。そして、コーディング部１４０は、前処理部１３０によって計測された特徴量をもとに、対応表を参照してスパースレベルを各パッチに設定する。
【００３７】
ここで、図４及び図５を用いて、実施の形態１に係る対応表の生成について説明する。図４は、中周波パッチの特徴量と、高解像度パッチ及び低解像度パッチ間の類似度との対応関係を例示した図である。図５は、中周波パッチの特徴量とスパースレベルとの対応表の例を示す図である。
【００３８】
前処理部１３０によって中周波パッチから計測された特徴量により、その大小を比較することができる。また、学習段において、高解像度パッチと低解像度パッチとのペアが得られるため、ＰＳＮＲ（Peak  Signal‐to‐Noise  Ratio）やＳＳＩＭ（Structural  SIMilarity）等により各パッチ間の類似度が計測できる。例えば、パッチごとに特徴量と類似度とを計測して２次元のグラフにプロットした結果が図４である。ここで、領域を１０等分（Ａ〜Ｊ）にして各領域について考える。領域Ａや領域Ｂでは、類似度が高い。つまり、高解像度画像と低解像度画像との間で劣化が少ない領域（例えば、元から平坦な領域）であることが確認できる。一方、領域Ｉや領域Ｊでは、類似度が低い。つまり、高解像度画像と低解像度画像との間で劣化が多い領域（例えば、エッジやテクスチャ）であることが確認できる。
【００３９】
これらをもとに、図５に示す対応表を生成することができる。例えば、図５に示すように、スパースレベルの上限を１０とし、特徴量に応じて、スパースレベル１と７以外のレベルに各領域を振り分けた。スパースレベルは基底の選択数であるため、離散的に与える。図５に示した例では、特徴量のより少ないパッチに関してはスパースレベルをより小さくし、特徴量のより多いパッチに関してはスパースレベルをより大きくしている。つまり、特徴量が少ないパッチは、基底辞書の照合回数が減るため処理時間の短縮に繋がり、特徴量が少ないことからスパースレベルを下げても復元精度には大きく影響はしない。一方、特徴量が多いパッチは、スパースレベルをより大きくするため、好適な復元精度を担保できる。つまり、従来のようにスパースレベルを固定するよりも、特徴量に応じて無駄な照合を回避できる最適なスパースレベルを選択することができる。なお、図５に示す対応表はあくまで一例である。例えば、平坦パッチ、平坦パッチに比べて情報量が相対的に多い非平坦パッチの２種類を定義し、平坦パッチに比べて相対的に高いスパースレベルを非平坦パッチに設定するような対応表を作成しても良い。また、対応表は、２次元ではなく３次元以上の多次元であっても良い。かかる場合には、複数の特徴量によってスパースレベルを決定することができるので、より正確な値を設定することができる。また、上記の説明では、特徴量を対応表の横軸に使用しているが、特徴量を使って計測する対象が情報量であるため、情報量を横軸にしても構わない。
【００４０】
図３の説明に戻り、コーディング部１４０は、対応表をもとに設定したスパースレベルにより、中周波パッチをコーディングする（図１の（１０）〜（１２）参照）。中周波パッチは、既存のコーディングアルゴリズムを用いて、中周波基底の線形和で近似表現される。既存のコーディングアルゴリズムとしては、マッチング追跡や直交マッチング追跡等が挙げられる。また、コーディング部１４０は、コーディングした係数と選択された中周波基底に対応する高周波基底を用いて、高周波パッチを、これらの線形和で生成する。コーディング部１４０は、上記処理を、全ての中周波パッチに対して行なう。
【００４１】
後処理部１５０は、コーディング部１４０によって生成された高周波パッチをもとに、入力画像に対する高解像度画像を生成する（図１の（１３）参照）。より具体的には、後処理部１５０は、コーディング部１４０によって生成された高周波パッチを貼り合わせて一枚の高周波画像を復元する。中周波パッチは任意の抽出間隔により抽出されるため、オーバーラップする場合がある。複数の値がオーバーラップする領域が存在する場合、オーバーラップする領域の最終的な画素値は、重なった値を平均しても良いし、任意の方法で重み付けをしても良い。高周波パッチは、抽出された中周波パッチと同位置に埋め込まれる。
【００４２】
そして、後処理部１５０は、前処理部１３０によって生成された低解像度画像に、生成した高周波画像を加算することにより、入力画像に対する高解像度画像を生成する。入力画像を劣化させた低解像度画像に高周波画像を加算することによって、失われた高周波成分を復元することができる。つまり、ぼけたエッジ部をよりシャープに修正でき、欠損した微細構造を作り出すことができる。また、復元した高周波パッチを貼り合わせて１枚の高周波画像を復元するのではなく、復元した高周波パッチを低解像度画像に直接加算していっても良い。また、後処理部１５０は、前処理部１３０によって入力画像の色形式の変換が行なわれた場合に、復元した高解像度画像の色形式を元の形式に逆変換する。例えば、ＲＧＢ画像をＹＩＱに変換して、Ｙ成分のみを処理していた場合は、３チャネルを統合したうえで、３チャネルのカラー画像に逆変換すれば良い。なお、グレースケール画像（１チャネル）を対象としていた場合は、逆変換は不要である。
【００４３】
画像出力部１６０は、後処理部１５０によって復元された高解像度画像を出力する。例えば、画像出力部１６０は、出力先として、ＣＤやＤＶＤ、ＨＤＤ等の記憶媒体や、ディスプレイ等に直接出力することができる。
【００４４】
［実施の形態１に係る画像処理フロー］
次に、図６を用いて、実施の形態１に係る画像処理の流れを説明する。図６は、実施の形態１に係る画像処理の流れの例を示すフローチャートである。
【００４５】
図６に示すように、画像入力部１１０は、処理対象となる入力画像を入力し、基底辞書入力部１２０は、中周波基底と高周波基底とのペアが蓄積された基底辞書を入力する（ステップＳ１０１）。前処理部１３０は、画像入力部１１０によって入力された入力画像を補間技術により拡大して低解像度画像を生成して、低解像度画像に任意の前処理を施して中周波画像を生成する（ステップＳ１０２）。そして、前処理部１３０は、生成した中周波画像から中周波パッチを抽出し、抽出した中周波パッチに対して特徴量を計測する（ステップＳ１０３）。
【００４６】
コーディング部１４０は、対応表を入力し（ステップＳ１０４）、前処理部１３０によって計測された特徴量をもとに、対応表を参照して、スパースレベルを設定する（ステップＳ１０５）。そして、コーディング部１４０は、設定したスパースレベルで中周波パッチをコーディング（超解像）して、高周波パッチを生成する（ステップＳ１０６）。後処理部１５０は、コーディング部１４０によって生成された高周波パッチを貼り合わせて高周波画像を復元し、低解像度画像に高周波画像を加算することで、高解像度画像を復元する（ステップＳ１０７）。画像出力部１６０は、後処理部１５０によって復元された高解像度画像を出力する（ステップＳ１０８）。
【００４７】
［実施の形態１による効果］
画像処理装置１００は、中周波パッチの特徴量とスパースレベルとの対応表をもとに、好適にスパースレベルを設定するので、復元精度と処理時間との好適な関係を維持することができる。換言すると、画像処理装置１００は、対応表をもとに好適なスパースレベルを設定できるので、スパースレベルを固定する従来技術と比較して、復元精度と処理時間との好適な関係を維持することができる。
【００４８】
（実施の形態２）
［実施の形態２に係る機能構成］
図７を用いて、実施の形態２に係る画像処理装置の機能構成を説明する。図７は、実施の形態２に係る画像処理装置の機能構成例を示すブロック図である。実施の形態２では、実施の形態１に係る画像処理装置１００と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。
【００４９】
図７に示すように、画像処理装置２００は、画像入力部１１０と、基底辞書入力部１２０と、前処理部１３０と、コーディング部２４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００５０】
コーディング部２４０は、前処理部１３０によって抽出された中周波パッチの特徴量をカウントし、該特徴量の頻度分布を作成する。頻度分布は、実施の形態１と同様に、一つ又は複数の特徴量を用いて作成する。また、頻度分布は、画像中の全ての中周波パッチから作成しても良いし、ランダムに選択した一部の中周波パッチから作成しても良い。そして、コーディング部２４０は、頻度分布に対して、目的に応じて特徴量に対するスパースレベルを設定する。つまり、対応表は、頻度分布の形状と、処理速度の優先や復元精度の優先等の目的とに応じて作られると考えれば良い。
【００５１】
図８は、中周波パッチの特徴量と頻度との関係の例を示す図である。また、図９Ａは、復元精度を優先する場合のスパースレベルの設定例を示す図である。図９Ｂは、処理時間を優先する場合のスパースレベルの設定例を示す図である。図９Ｃは、図９Ａに示した復元精度と、図９Ｂに示した処理時間との中間をとった場合のスパースレベルの設定例を示す図である。
【００５２】
ここでは、特徴量が大きい方が超解像の強度を高くすることが好ましいことを前提とする。ある画像の中周波パッチの特徴量を計測し、特徴量の頻度分布を作成したものが図８である。最も高いスパースレベルを１０としたとき、特徴量に対するスパースレベルを目的や用途に応じて与える。例えば、復元精度を優先する場合には、図９Ａに示すように、領域Ｊ等の頻度が多く、超解像の強度をより高く設定した方が好ましいパッチのスパースレベルは極力低くせずに、領域Ａや領域Ｂ等の頻度が少なく、超解像の強度をより低く設定した方が好ましいパッチのスパースレベルをより低くする。つまり、図９Ａでは、頻度が比較的少ない領域のスパースレベルをより低くするため、好適な復元精度が担保される。
【００５３】
また、処理時間を優先する場合には、図９Ｂに示すように、領域Ｊ等の頻度がより多い領域のスパースレベルを極力低くする。つまり、図９Ｂでは、頻度が比較的多い領域のスパースレベルをより低くするため、処理時間の短縮をはかれる。また、復元精度と処理時間とのトレードオフを考慮する場合には、図９Ｃに示すように、領域Ｅや領域Ｆあたりの超解像の強度をより高く設定することで、復元精度と処理時間とのバランスを担保する。コーディング部２４０は、目的や用途に応じて、図９Ａ〜図９Ｃに示した対応表を用いる。目的や用途については、例えば復元精度や処理時間の優先度合い等を表すパラメータを事前にユーザが入力させ、このパラメータに応じて対応表におけるスパースレベルを設定すれば良い。コーディング部２４０によるその他の処理は、実施の形態１に係るコーディング部１４０による処理と同様である。なお、図９Ａ〜図９Ｃに示した対応表はあくまで一例である。
【００５４】
一般に、処理時間は、１パッチあたりに要する処理時間と、パッチ数とを掛けたものとなる。また、１パッチあたりに要する処理時間は、スパースレベル、すなわち復元精度に比例する。つまり、実施の形態２では、目的や用途に応じて、トレードオフの関係にある処理時間と復元精度とを好適に制御することができる。
【００５５】
［実施の形態２に係る画像処理フロー］
次に、図１０を用いて、実施の形態２に係る画像処理の流れを説明する。図１０は、実施の形態２に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ２０１〜ステップＳ２０３は、ステップＳ１０１〜ステップＳ１０３における処理と同様である。また、ステップＳ２０６〜ステップＳ２０８は、ステップＳ１０６〜ステップＳ１０８における処理と同様である。
【００５６】
図１０に示すように、コーディング部２４０は、前処理部１３０によって計測された特徴量をカウントし、該特徴量の頻度分布を作成する（ステップＳ２０４）。そして、コーディング部２４０は、目的や用途に応じて、特徴量に対するスパースレベルを、作成した頻度分布に従って設定する（ステップＳ２０５）。
【００５７】
［実施の形態２による効果］
画像処理装置２００は、中周波パッチの特徴量の頻度分布をもとに対応表を作成し、対応表をもとに、好適にスパースレベルを設定するので、スパースレベルを低く設定した中周波パッチに対しては処理コストを削減できるので、全体として処理時間を短縮することができる。また、特徴量の大きな領域を高いスパースレベルで処理することもできるため、復元精度を向上させることも可能となる。
【００５８】
（実施の形態３）
［実施の形態３に係る機能構成］
図１１を用いて、実施の形態３に係る画像処理装置の機能構成を説明する。図１１は、実施の形態３に係る画像処理装置の機能構成例を示すブロック図である。実施の形態３では、実施の形態１に係る画像処理装置１００と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。
【００５９】
図１１に示すように、画像処理装置３００は、画像入力部１１０と、基底辞書入力部１２０と、前処理部１３０と、コーディング部３４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００６０】
コーディング部３４０は、前処理部１３０によって抽出された中周波パッチの特徴量の変化をもとに、平坦パッチであるか又は平坦パッチ以外であるかを判定する。特徴量の変化がない場合は平坦パッチであり、特徴量の変化がある場合は非平坦パッチである。平坦パッチ又は非平坦パッチの何れであるかについては、事前に設定した閾値を用いて判定すれば良い。なお、平坦パッチであるか又は非平坦パッチであるかを判定するだけであるため、画素値の変化量を計測するだけでも良い。そして、コーディング部３４０は、平坦パッチ又は非平坦パッチの判定に応じて、それぞれ異なるスパースレベルを設定する。例えば、コーディング部３４０は、平坦パッチである場合に、任意のスパースレベル（例えば、予め設定しておいたデフォルト値より低い値）を設定する。一方、コーディング部３４０は、非平坦パッチである場合に、予め設定しておいたデフォルト値であるスパースレベル（平坦パッチに付与した値よりも高い値であっても構わない）を設定する。
【００６１】
［実施の形態３に係る画像処理フロー］
次に、図１２を用いて、実施の形態３に係る画像処理の流れを説明する。図１２は、実施の形態３に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ３０１〜ステップＳ３０３は、ステップＳ１０１〜ステップＳ１０３における処理と同様である。また、ステップＳ３０６〜ステップＳ３０８は、ステップＳ１０６〜ステップＳ１０８における処理と同様である。
【００６２】
図１２に示すように、コーディング部３４０は、前処理部１３０によって計測された特徴量の変化をもとに、平坦パッチであるか又は非平坦パッチであるかを判定する（ステップＳ３０４）。平坦パッチ又は非平坦パッチの何れであるかの判定は、事前に設定しておいた閾値を使用すれば良い。例えば、この閾値以下の標準偏差を持つパッチを平坦パッチとする。そして、コーディング部３４０は、平坦パッチである場合に、より低いスパースレベルを設定し、非平坦パッチである場合に、平坦パッチに付与した値よりも高いスパースレベルを設定する（ステップＳ３０５）。
【００６３】
［実施の形態３による効果］
画像処理装置３００は、中周波パッチの特徴量の変化をもとに平坦パッチであるか又は非平坦パッチであるかを判定し、平坦パッチである場合により低い値のスパースレベルを設定し、非平坦パッチである場合に平坦パッチに付与した値よりも高い値のスパースレベルを設定する。この結果、画像処理装置３００は、好ましくないスパースレベルを付与する確率を削減できるので、好ましくないスパースレベルが付与されない分だけ復元精度を向上させることができるし、処理時間を短縮することもできる。
【００６４】
（実施の形態４）
［実施の形態４に係る機能構成］
図１３を用いて、実施の形態４に係る画像処理装置の機能構成を説明する。図１３は、実施の形態４に係る画像処理装置の機能構成例を示すブロック図である。実施の形態４では、実施の形態１に係る画像処理装置１００と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。
【００６５】
図１３に示すように、画像処理装置４００は、画像入力部１１０と、基底辞書入力部１２０と、前処理部４３０と、コーディング部１４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００６６】
前処理部４３０は、中周波画像から中周波パッチを抽出するための２つの抽出用ウィンドウを、中周波画像に配置し、各抽出用ウィンドウに含まれる領域を中周波パッチとみなして特徴量を計測する。そして、前処理部４３０は、目的や用途に応じて、以下で説明する抽出間隔により中周波パッチを抽出する。ここで、特徴量が大きいほど、より情報量が多いものとする。
【００６７】
例えば、前処理部４３０は、処理時間を優先する場合、２つの抽出用ウィンドウ内の特徴量が予め定めた閾値よりも小さいときに、これらの抽出用ウィンドウから中周波パッチを抽出する。つまり、パッチの抽出間隔はより広くなる。一方、前処理部４３０は、復元精度を優先する場合、２つの抽出用ウィンドウ内の特徴量が予め定めた閾値以上であるときに、これら２つの抽出用ウィンドウに含まれるように、任意の個数の抽出用サブウィンドウを配置し、抽出用サブウィンドウを含む全てのウィンドウから中周波パッチを抽出する。なお、上述してきた実施の形態で記載したパッチについてもウィンドウを配置し、その中から抽出されていると考えて良い。処理をわかりやすくするために、ここではあえて抽出する座標にウィンドウを配置し、その中から画素値を抽出するような２段の処理で説明している。
【００６８】
図１４Ａは、抽出間隔をより狭くする場合の中周波パッチの抽出例を説明する図である。図１４Ｂは、抽出間隔をより広くする場合の中周波パッチの抽出例を説明する図である。図１５は、抽出用サブウィンドウを配置する場合の中周波パッチの抽出例を説明する図である。
【００６９】
図１４Ａ、図１４Ｂ及び図１５では、パッチサイズ＝３（３×３）、抽出間隔＝２とする場合を例に挙げる。図１４Ａ、図１４Ｂ及び図１５において、抽出用ウィンドウのパッチは実線で表しており、点線の矩形は１つのパッチを表しており、黒い矩形は情報があることを表している。また、パッチサイズ「３」に対して抽出間隔を「２」としているため、抽出用ウィンドウのパッチが矩形全体の中央付近で重なっている。また、抽出用サブウィンドウのパッチは太い実線で表している。
【００７０】
一般に、パッチの抽出間隔を狭くして超解像すると、多くの高周波成分がオーバーラップするため、ノイズの影響を緩和することができる。図１４Ａに示す例では、隣接するパッチ内に含まれている情報量が多いため、超解像すると、ノイズが含まれる可能性も高くなる。一方、図１４Ｂに示す例では、隣接するパッチは平坦パッチであるため、超解像すると、ノイズが含まれる可能性は低くなる。これらにより、図１４Ａの例では、抽出間隔を狭くすることで一画素に重なる高周波成分の数が多くなるので、最終的に平均したときに、ノイズの影響を緩和することができ、より正確な高周波成分を復元することができる。また、図１４Ｂの例では、抽出間隔を広くすることで無駄なパッチの抽出を回避することができるため、全体として処理時間を短縮することができる。
【００７１】
また、オーバーラップ数が小さくなるように２つの抽出用ウィンドウを配置し、２つの抽出用ウィンドウ内の特徴量を計測し、計測した特徴量の値が予め定められた閾値よりも低いときに情報量が少ない領域として、これらの位置から中周波パッチを抽出する。なお、オーバーラップさせないように、２つの抽出用ウィンドウを配置しても良い。一方、計測した特徴量の値が予め定められた閾値以上であるときに、図１５に示すように、２つの抽出用ウィンドウに含まれるように、抽出用サブウィンドウを配置する。図１５に示す抽出用サブウィンドウを配置する場合には、合計３つのパッチ（黒い矩形が３つ）が抽出されることになる。
【００７２】
なお、情報量の有無を決定する閾値は、任意の値を設定することができる。例えば、２つの抽出用ウィンドウのうち、１つでも閾値以上である場合に抽出用サブウィンドウを配置しても良いし、２つとも閾値以上である場合に抽出用サブウィンドウを配置するようにしても良い。また、画像全体にウィンドウを敷き詰めた後に、特徴量の大小を判定しても良い。また、配置する抽出用サブウィンドウの数は、任意に決定することができる。中周波パッチの抽出方法については、複数の方法が考えられる。例えば、画像は２次元であるため、水平・垂直方向において、２つ以上のウィンドウを配置したうえで、上述した抽出方法と同様に抽出する。また、１つの抽出用ウィンドウを使用しても良い。１つの抽出用ウィンドウを使用する場合は、予め設定した抽出間隔で抽出用ウィンドウを動かして、情報量が少ない場合はパッチの抽出をスキップし、次の位置に抽出用ウィンドウを動かすことで繰り返し処理しても良い。
【００７３】
［実施の形態４に係る画像処理フロー］
次に、図１６を用いて、実施の形態４に係る画像処理の流れを説明する。図１６は、実施の形態４に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ４０１及びステップＳ４０２は、ステップＳ１０１及びステップＳ１０２における処理と同様である。また、ステップＳ４０４〜ステップＳ４０６は、ステップＳ１０６〜ステップＳ１０８における処理と同様である。
【００７４】
図１６に示すように、前処理部４３０は、生成した中周波画像に、隣接する２つの抽出用ウィンドウを配置し、それぞれに含まれる特徴量に応じて抽出間隔を設定し、中周波パッチを抽出する（ステップＳ４０３）。
【００７５】
［実施の形態４による効果］
画像処理装置４００は、特徴量がより少ない領域に対して抽出間隔をより広げて処理することで、抽出されるパッチ数を削減できるため、処理時間を短縮することができる。また、画像処理装置４００は、特徴量が多い領域に対して抽出間隔をより狭くして処理することで、ノイズの影響を緩和できるため、復元精度を向上させることができる。
【００７６】
（実施の形態５）
［実施の形態５に係る機能構成］
図１７を用いて、実施の形態５に係る画像処理装置の機能構成を説明する。図１７は、実施の形態５に係る画像処理装置の機能構成例を示すブロック図である。実施の形態５では、実施の形態１に係る画像処理装置１００と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。
【００７７】
図１７に示すように、画像処理装置５００は、画像入力部１１０と、基底辞書入力部５２０と、前処理部５３０と、コーディング部５４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００７８】
基底辞書入力部５２０は、基底のサイズが異なる辞書を読み込む。読み込む辞書の数は１つ以上であり、後段で使用されるパッチサイズの種類の数だけ用意する。但し、基底辞書は、一つのテキストファイルにまとめて記述しておいても良いし、複数のテキストファイルに分けて記述しておいても良い。これらの他にも、基底辞書は、バイナリファイル等、コンピュータ上で読み取れるものであれば、その形式は問わない。
【００７９】
前処理部５３０は、以下の目的や用途に応じて、異なるパッチサイズで中周波パッチを抽出する。例えば、前処理部５３０は、処理時間を優先する場合に、情報量が少ない領域（情報量が所定閾値未満の領域）に関しては、所定サイズ以上のパッチサイズで中周波パッチを抽出する。また、前処理部５３０は、復元精度を優先する場合に、情報量が多い領域（情報量が所定閾値以上の領域）に関しては、所定サイズ以下のパッチサイズで中周波パッチを抽出する。これらは、両方を組み合わせて使用しても良いし、目的に応じて何れかを使用しても良い。また、対応表を用いて、特徴量に応じて一意にパッチサイズが決まるようにしても良い。また、前処理部５３０は、中周波パッチを抽出した後、該中周波パッチ中に含まれるより小さなパッチを抽出する処理を繰り返し行なっても良い。
【００８０】
コーディング部５４０は、前処理部５３０によって抽出された中周波パッチをもとに、超解像を行なう。このとき、コーディング部５４０は、前処理部５３０によって使用された中周波パッチのパッチサイズに従って、該中周波パッチとサイズが同一となる基底を蓄積した基底辞書を選択して使用する。
【００８１】
図１８Ａは、所定閾値以上の情報量を含むパッチの例を示す図である。図１８Ｂは、所定閾値よりも情報量が少ないパッチの例を示す図である。図１８Ａに示すパッチは、より複雑な形状であるため、太い実線で示すようにパッチサイズを小さくし、その構造を単純化したうえで超解像処理する。例えば、図１８Ａの例では、パッチサイズを「４」から「３」にしている。パッチサイズを小さくすることにより、微細な構造をより単純化できるので正確に復元することができる。
【００８２】
また、図１８Ｂに示すパッチは、情報を含まない平坦パッチであるため、そのままのパッチサイズ、又は、より大きいパッチサイズにしたうえで超解像処理する。例えば、図１８Ｂの例では、パッチサイズを「４」から「１５」等のより大きなサイズに設定して使用すれば良い。つまり、情報量が多いパッチのサイズを小さくすることで復元精度をより高くするとともに、情報量が少ないパッチのサイズを大きくすることで処理時間を短縮することができる。なお、上述したように、パッチサイズに対応する基底辞書は使用するパッチサイズの分だけ事前に準備しておく。
【００８３】
上記実施の形態で説明したように、処理時間は、１パッチあたりに要する処理時間と、パッチ数とを掛けたものとなる。また、１パッチあたりに要する処理時間は、スパースレベル、すなわち復元精度に比例する。これらに加えて、パッチ数は、パッチサイズと抽出間隔とにより決まるものである。つまり、実施の形態５では、目的や用途に応じて、トレードオフの関係にある処理時間と復元精度とを好適に制御することができる。
【００８４】
［実施の形態５に係る画像処理フロー］
次に、図１９を用いて、実施の形態５に係る画像処理の流れを説明する。図１９は、実施の形態５に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ５０２及びステップＳ５０３は、ステップＳ１０２及びステップＳ１０３における処理と同様である。また、ステップＳ５０６及びステップＳ５０７は、ステップＳ１０７及びステップＳ１０８における処理と同様である。
【００８５】
図１９に示すように、基底辞書入力部５２０は、後段で使用されるパッチサイズの種類の数だけ、基底のサイズが異なる辞書を読み込む（ステップＳ５０１）。また、前処理部５３０は、特徴量に応じて、パッチサイズを変化させ、中周波画像から中周波パッチを抽出する（ステップＳ５０４）。コーディング部５４０は、前処理部５３０によって使用されたパッチサイズに対応する基底辞書をもとに、中周波パッチを超解像する（ステップＳ５０５）。
【００８６】
［実施の形態５による効果］
画像処理装置５００は、情報量がより少ない領域に対し、パッチサイズをより大きくして抽出間隔を広げて処理することで、抽出されるパッチ数を削減できるので、処理時間を短縮することができる。また、画像処理装置５００は、情報量がより多い領域に対し、より小さいパッチを使用して処理することで、微細構造をより単純化できるので正確な復元が可能となり、復元精度を向上させることができる。
【００８７】
（実施の形態６）
［実施の形態６に係る機能構成］
図２０を用いて、実施の形態６に係る画像処理装置の機能構成を説明する。図２０は、実施の形態６に係る画像処理装置の機能構成例を示すブロック図である。実施の形態６では、実施の形態１に係る画像処理装置１００と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。
【００８８】
図２０に示すように、画像処理装置６００は、画像入力部１１０と、基底辞書入力部１２０と、前処理部６３０と、コーディング部６４０と、後処理部１５０と、画像出力部１６０とを有する。また、上記各部は、バスによって接続されており、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。
【００８９】
前処理部６３０は、コーディング部６４０によって設定された抽出間隔をもとに、中周波パッチを抽出する。例えば、前処理部６３０は、情報量が少ない領域（情報量が所定閾値未満の領域）に関しては、所定値以上の抽出間隔で中周波パッチを抽出する。一方、前処理部６３０は、情報量が多い領域（情報量が所定閾値以上の領域）に関しては、所定値以下の抽出間隔で中周波パッチを抽出する。このように、抽出間隔は、情報量の多少に応じて、所定値をベースに増減させる。なお、前回に抽出した中周波パッチの情報量に応じて設定された抽出間隔をベースに、今回の中周波パッチの抽出間隔を設定しても良い。例えば、前回に設定された抽出間隔が「３」である状況において、今回抽出された中周波パッチの情報量が多い場合には「３」以下の抽出間隔を設定し、今回抽出された中周波パッチの情報量が少ない場合には「３」以上の抽出間隔を設定することができる。以下の説明では、前回に設定された抽出間隔をベースにするのではなく、所定値をベースに抽出間隔を増減させることを前提にする。
【００９０】
コーディング部６４０は、計測された情報量が所定閾値以上である場合に、所定値以下の抽出間隔に設定し、計測された情報量が所定閾値未満である場合に、所定値以上の抽出間隔に設定する。例えば、コーディング部６４０は、前処理部６３０によって計測された中周波パッチの情報量が所定閾値以上である（情報量が多い）場合に、より細かく超解像すべきものであるとして、所定値以下の抽出間隔に設定する。一方、コーディング部６４０は、前処理部６３０によって計測された中周波パッチの情報量が所定閾値未満である（情報量が少ない）場合に、より細かな超解像は必要ないものとして、所定値以上の抽出間隔に設定する。なお、抽出間隔を大きく又は小さくする程度は、予め決定しておいても良いし、情報量の多少に応じて決定しても良い。
【００９１】
図２１Ａ及び図２１Ｂは、実施の形態６に係る抽出間隔の設定例を説明する図である。なお、図２１Ａ及び図２１Ｂでは、抽出された中周波パッチを破線の矩形領域で表わし、該中周波パッチの情報量の多少に応じて設定された抽出間隔で抽出される中周波パッチを実線の矩形領域で表わしている。
【００９２】
図２１Ａに示す方法では、中周波パッチの情報量が所定閾値未満である場合に、情報量が少ないパッチであると判断し、抽出間隔を所定値以上に設定する。例えば、抽出間隔の所定値が「２」であった場合に、上記の条件に該当したときには抽出間隔を「３」に設定する。このとき、抽出間隔の増加分は任意の値で良いが、隣接するパッチ間の処理結果が不連続にならないように、オーバーラップを伴うように決定することが望ましい。パッチのサイズが「３×３」である図２１Ａの例で説明すると、抽出間隔の所定値が「２」であった場合に、上記の条件に該当したときにはオーバーラップを伴うように抽出間隔を「２」に設定する。これらの後は、設定された抽出間隔だけ動かした位置から中周波パッチを抽出して超解像処理が実行される。
【００９３】
図２１Ｂに示す方法では、中周波パッチの情報量が所定閾値以上である場合に、情報量が多いパッチであると判断し、抽出間隔を所定値以下に設定する。例えば、抽出間隔の所定値が「２」であった場合に、上記の条件に該当したときには抽出間隔を「１」に設定する。このとき、抽出間隔の減少分は、抽出間隔がその最小値「１」以上になる限りで任意の値で良いが、所定閾値以上である情報量の多さに応じて決定しても良い。パッチのサイズが「３×３」である図２１Ｂの例で説明すると、抽出間隔の所定値が「２」であった場合に、上記の条件に該当したときには、情報量が「３」であれば抽出間隔を「２」に設定して、情報量が「６」であれば抽出間隔を「１」に設定する。これらの後は、設定された抽出間隔だけ動かした位置から中周波パッチを抽出して超解像処理が実行される。抽出間隔は、実施の形態１と同様に、対応表を用いて、情報量に応じて任意に設定されても良い。かかる場合には、情報量を横軸とし、抽出間隔を縦軸とした対応表を作成しておけば良い。なお、情報量については、任意のものを複数組み合わせて使用することも可能である。
【００９４】
また、前処理部６３０は、画像の部分領域と一部が重なる領域、部分領域と隣接する領域、又は、部分領域とは一画素以上離れている領域を表す周辺領域を抽出した周辺中周波パッチの情報量をさらに計測する。そして、前処理部６３０は、コーディング部６４０によって設定された抽出間隔をもとに、中周波パッチを抽出する。前処理部６３０は、中周波パッチの抽出対象となる領域と一部が重なる領域、隣接する領域、又は、一画素以上離れている領域を表す周辺中周波パッチを少なくとも一つ設定し、中周波パッチと、少なくとも一つの周辺中周波パッチとの情報量を計測する。
【００９５】
そして、前処理部６３０は、情報量が少ない領域に関しては、所定値以上の抽出間隔で中周波パッチを抽出し、情報量が多い領域に関しては、所定値以下の抽出間隔で中周波パッチを抽出する。抽出間隔は、前処理部６３０によって計測された中周波パッチ及び周辺中周波パッチの情報量に応じて設定される。また、抽出間隔は、情報量の多少に応じて、所定値をベースに増減させる。なお、前回に抽出した中周波パッチ及び周辺中周波パッチの情報量に応じて設定された抽出間隔をベースに、今回の中周波パッチの抽出間隔を設定しても良い。
【００９６】
また、コーディング部６４０は、計測された中周波パッチ及び周辺中周波パッチの情報量が所定閾値以上である場合に、所定値以下の抽出間隔に設定し、計測された情報量が所定閾値未満である場合に、所定値以上の抽出間隔に設定する。例えば、コーディング部６４０は、前処理部６３０によって計測された中周波パッチ及び周辺中周波パッチの情報量が所定閾値以上である（情報量が多い）場合に、より細かく超解像すべきものであるとして、所定値以下の抽出間隔に設定する。一方、コーディング部６４０は、前処理部６３０によって計測された中周波パッチ及び周辺中周波パッチの情報量が所定閾値未満である（情報量が少ない）場合に、より細かな超解像は必要ないものとして、所定値以上の抽出間隔に設定する。なお、２つ以上のパッチを用いる場合には、全てのパッチの情報量をもとに抽出間隔を設定するようにしても良いし、任意の数のパッチの情報量をもとに抽出間隔を設定するようにしても良い。また、抽出間隔を大きく又は小さくする程度は、予め決定しておいても良いし、情報量の多少に応じて決定しても良い。
【００９７】
図２２Ａ及び図２２Ｂは、実施の形態６に係る抽出間隔の設定例を説明する図である。なお、図２２Ａ及び図２２Ｂでは、中周波パッチと１画素だけ離れた位置に周辺中周波パッチを設定する場合（オーバーラップする場合）を例に挙げる。また、図２２Ａ及び図２２Ｂでは、抽出された中周波パッチ及び周辺中周波パッチを破線の矩形領域で表わし、設定された抽出間隔で抽出される中周波パッチを実線の矩形領域で表わしている。なお、抽出された中周波パッチは、より左方に表わされた破線の矩形領域であるものとする。
【００９８】
図２２Ａに示す方法では、中周波パッチ及び周辺中周波パッチの情報量が所定閾値未満である場合に、情報量が少ないパッチであると判断し、抽出間隔を所定値以上に設定する。例えば、抽出間隔の所定値が「３」であった場合に、上記の条件に該当したときには抽出間隔を「４」に設定する。これらの後は、設定された抽出間隔だけ動かした位置から中周波パッチを抽出して超解像処理が実行される。
【００９９】
図２２Ｂに示す方法では、中周波パッチ及び周辺中周波パッチの情報量が所定閾値以上である場合に、情報量が多いパッチであると判断し、抽出間隔を所定値以下に設定する。例えば、抽出間隔の所定値が「３」であった場合に、上記の条件に該当したときには抽出間隔を「２」に設定する。これらの後は、設定された抽出間隔だけ動かした位置から中周波パッチを抽出して超解像処理が実行される。また、図２２Ｂに示す例では、エッジ部を跨ぐ位置にパッチがある場合に、含まれる情報量が少ないために抽出間隔を所定値以上に設定しまうことを防ぐ効果を得られる。具体的には、図２２Ｂに示す例は、中周波パッチの情報量は「２」であるため、中周波パッチのみの情報量だけであれば、情報量が少ないと判断され、抽出間隔が所定値以上に設定される可能性がある。ここで、周辺中周波パッチの情報量「５」も加味すれば、情報量が多いと判断され、抽出間隔が所定値以上に設定されてしまうことを防ぐことができる。これにより、エッジ部を跨ぐ位置にパッチがある場合であっても、超解像を実行すべき箇所を漏れなく判断することができる。なお、周辺中周波パッチについては、中周波パッチに対して左右方向に配置するだけではなく、任意の方向（例えば、上下方向等）に配置されても良い。
【０１００】
［実施の形態６に係る画像処理フロー］
次に、図２３を用いて、実施の形態６に係る画像処理の流れを説明する。図２３は、実施の形態６に係る画像処理の流れの例を示すフローチャートである。なお、実施の形態１に係る画像処理の流れと同様のステップについては説明を省略する場合がある。具体的には、ステップＳ６０１及びステップＳ６０２は、ステップＳ１０１及びステップＳ１０２における処理と同様である。また、ステップＳ６０４〜ステップＳ６０６は、ステップＳ１０６〜ステップＳ１０８における処理と同様である。
【０１０１】
図２３に示すように、前処理部６３０は、設定された抽出間隔で中周波パッチを抽出し、コーディング部６４０は、中周波パッチの情報量、又は、中周波パッチの情報量に加えてさらに周辺中周波パッチの情報量に基づいて抽出間隔を設定する（ステップＳ６０３）。
【０１０２】
［実施の形態６による効果］
画像処理装置６００は、中周波パッチの情報量に応じて、次に抽出される中周波パッチの抽出間隔を設定するので、情報量が少ない領域に対して抽出間隔を大きくして処理することで処理すべきパッチ数を削減できるので、処理を高速化することができる。また、画像処理装置６００は、情報量が多い領域に対して抽出間隔を小さくして処理することでノイズの影響を緩和できるので、微細構造をより正確に復元することができる。また、画像処理装置６００は、中周波パッチと、周辺中周波パッチとの情報量に応じて、次に抽出される中周波パッチの抽出間隔を設定するので、エッジ部を跨ぐ位置にパッチがある場合に、誤って抽出間隔を大きく設定しまうことを防ぎ、より有用な抽出間隔の設定を行なうことができる。
【０１０３】
（実施の形態７）
さて、これまで本発明に係る画像処理装置の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）設計パラメータの決定、（２）構成、（３）プログラム、について異なる実施の形態を説明する。
【０１０４】
（１）設計パラメータの決定
上記実施の形態では、スパースレベルや抽出間隔、パッチのサイズ等の設計パラメータの値を個々に決定する場合を説明した。かかる設計パラメータについては、計測された情報量又は１以上の特徴量に応じて、１以上の設計パラメータの値を同時に決定することもできる。
【０１０５】
図２４は、複数の設計パラメータの値を同時に決定する対応表の例を示す図である。図２４に示すように、特徴量の範囲（図２４の（１）〜（１０））に対して、各設計パラメータの値を定義した対応表を使用することで、複数の設計パラメータの値を同時に決定することができる。但し、同時に決定する必要があるパラメータの対応表を作成しておけば良いので、必ずしも３種類が必要となるわけではない。また、特徴量の範囲に関しても、任意の範囲をユーザが定義可能であり、特徴量に関しても、複数個を組み合わせて使用することが可能である。なお、設計パラメータの値は、対応表ではなく関数を用いて決定されても良い。つまり、１以上の特徴量に対して、１以上のパラメータが一意に決まる方法であれば、任意の方法を使用可能である。
【０１０６】
（２）構成
上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメータ等を含む情報は、特記する場合を除いて任意に変更することができる。また、図示した装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に、分散又は統合することができる。
【０１０７】
図２５を用いて、画像処理装置１００のハードウェア構成を説明する。図２５は、画像処理装置１００のハードウェア構成例を示す図である。図２５に示すように、画像処理装置１００は、バス１０１に接続された、ＣＰＵ（Central  Processing  Unit）１０２と、ＲＡＭ（Random  Access  Memory）１０３と、ＲＯＭ（Read  Only  Memory）１０４とを有する。ＣＰＵ１０２は、画像処理装置１００の動作を統括的に制御する。ＣＰＵ１０２は、ＲＡＭ１０３をワークエリア（作業領域）として、ＲＯＭ１０４等に格納されたプログラムを実行することで、画像処理装置１００全体の動作を制御する。
【０１０８】
（３）プログラム
また、画像処理装置１００で実行される画像処理プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、画像処理装置１００で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしても良い。また、画像処理装置１００で実行される画像処理プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、画像処理装置１００で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【０１０９】
画像処理装置１００で実行される画像処理プログラムは、上述した各部（画像入力部１１０、基底辞書入力部１２０、前処理部１３０、コーディング部１４０、後処理部１５０、画像出力部１６０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から画像処理プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、画像入力部１１０、基底辞書入力部１２０、前処理部１３０、コーディング部１４０、後処理部１５０、画像出力部１６０が主記憶装置上に生成されるようになっている。
【符号の説明】
【０１１０】
１００  画像処理装置
１１０  画像入力部
１２０  基底辞書入力部
１３０  前処理部
１４０  コーディング部
１５０  後処理部
１６０  画像出力部
【先行技術文献】
【特許文献】
【０１１１】
【特許文献１】特開２０１０−２７３３２８号公報
【特許文献２】特表２００９−５０６３９３号公報
【図１】
2015232869.tif 000003
【図２】
2015232869.tif 000004
【図３】
2015232869.tif 000005
【図４】
2015232869.tif 000006
【図５】
2015232869.tif 000007
【図６】
2015232869.tif 000008
【図７】
2015232869.tif 000009
【図８】
2015232869.tif 000010
【図９Ａ】
2015232869.tif 000011
【図９Ｂ】
2015232869.tif 000012
【図９Ｃ】
2015232869.tif 000013
【図１０】
2015232869.tif 000014
【図１１】
2015232869.tif 000015
【図１２】
2015232869.tif 000016
【図１３】
2015232869.tif 000017
【図１４Ａ】
2015232869.tif 000018
【図１４Ｂ】
2015232869.tif 000019
【図１５】
2015232869.tif 000020
【図１６】
2015232869.tif 000021
【図１７】
2015232869.tif 000022
【図１８Ａ】
2015232869.tif 000023
【図１８Ｂ】
2015232869.tif 000024
【図１９】
2015232869.tif 000025
【図２０】
2015232869.tif 000026
【図２１Ａ】
2015232869.tif 000027
【図２１Ｂ】
2015232869.tif 000028
【図２２Ａ】
2015232869.tif 000029
【図２２Ｂ】
2015232869.tif 000030
【図２３】
2015232869.tif 000031
【図２４】
2015232869.tif 000032
【図２５】
2015232869.tif 000033