(57)【特許請求の範囲】
【請求項１】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムであって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、
前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、
すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトルの主成分係数を算出し、この主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトルを算出する予測処理と
を実行することを特徴とする情報予測システム。
【請求項２】
前記結合主成分基底ベクトルと前記第１の特徴ベクトルの成分とを直交化して、前記学習結果記憶部に記録することを特徴とする請求項１に記載の情報予測システム。
【請求項３】
算出した第２の特徴ベクトルを圧縮して、前記処理対象との差分を比較し、
前記差分が基準値より大きい場合には、前記差分を拡大して、前記第２の特徴ベクトルから差し引くポスト処理を実行することを特徴とする請求項１又は２に記載の情報予測システム。
【請求項４】
前記第１、第２の特徴ベクトルのばらつきを表わす指標として、それぞれ前記第１、第２の特徴ベクトルの主成分係数の標準偏差を用いることを特徴とする請求項１〜３のいずれか一項に記載の情報予測システム。
【請求項５】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なう方法であって、
前記制御部が、
前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、
前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、
すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトルの主成分係数を算出し、この主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトルを算出する予測処理と
を実行すること特徴とする情報予測方法。
【請求項６】
学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備えた情報予測システムを用いて、情報予測を行なうプログラムであって、
前記制御部を、
前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、
前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、
すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、
前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトルの主成分係数を算出し、この主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトルを算出する予測処理と
を実行する手段として機能させることを特徴とする情報予測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１の特徴ベクトルに基づいて、第２の特徴ベクトルを予測するための情報予測システム、情報予測方法及び情報予測プログラムに関する。
【背景技術】
【０００２】
二つの情報の関係を学習し、処理対象情報に対して、この学習結果を利用して、新たな情報を予測する場合がある。例えば、超解像技術においては、低解像度の原画像から高解像度の画像を生成する。この超解像技術は、ディスプレイ装置の高解像度化に伴って注目されており、各種機器等で採用されつつある。この超解像技術においては、失われた高周波成分を類推することになる。例えば、ある画像データのピクセルサイズを縦横に拡大する場合、隣り合う二つのピクセルの中間値を算出して、間のピクセルを埋める。この算出方法では失われた高周波成分が再現されず、拡大画像の境界線が曖昧な画像になる。一方、超解像技術では、ピクセルのパターンを解析して、適切と思われるピクセルを算出し、元画像の隣接するピクセル同士の間に埋めることで、高周波成分を類推する。
【０００３】
超解像技術においては、パッチ超解像と、高周波成分予測とを組み合わせる（例えば、非特許文献１参照）。この文献に記載された技術では、低周波成分から高周波成分を予測する手法として、低周波と高周波をＰＣＡで次元を削減し、高解像画像を回帰分析で予測する。この場合、ポスト処理としてバイラテラルフィルタを用いている。
【０００４】
また、少ないハードウェアリソースで高速に処理する技術も検討されている（例えば、特許文献１参照）。この文献に記載された技術では、まず、処理対象とする画像をシーンに分ける。そして、シーンに適合する辞書テーブルを用いて、失われた高周波成分を辞書に対するツリー検索にて類推する。そして、辞書テーブルの検索を高速化するため、主成分分析を用いて、検索キーとなるインデックスビットマップをスカラ値である第一主成分及び第二主成分に変換すると共に、第一主成分と第二主成分とでグルーピングを行ない、その平均値を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２６６５９号公報
【非特許文献】
【０００６】
【非特許文献１】Columbia University,Wei Liu1,他「Hallucinating Faces:TensorPatch Super-Resolution and Coupled Residue Compensation」、［online］、Columbia University、［平成２６年９月２３日検索］、インターネット＜http://www.ee.columbia.edu/~wliu/CVPR05_LiuWei1.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述のように、超解像技術において、高速化、高画質化のための各種試行が行われている。しかしながら、非特許文献１に記載の技術においては、主成分分析が行なわれているが、高解像画像は回帰分析により予測している。この場合、低解像と高解像との関係を、主成分係数毎に独立に回帰学習すると、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。
【０００８】
また、特許文献１に記載の技術においては、辞書データのデータ量削減と、検索高速化のために主成分分析を行なっているが、主成分係数の分散は考慮されていない。
本発明は、上記問題点を解決するためになされたものであり、第１の情報に基づいて、第２の情報を効率的に予測するための情報予測システム、情報予測方法及び情報予測プログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）上記課題を解決する情報予測システムは、学習対象を記録する学習対象記憶部と、学習結果を記録する学習結果記憶部と、入力部に接続された制御部とを備える。そして、前記制御部が、前記学習対象記憶部に記録された学習対象毎に、第１の特徴ベクトル及び第２の特徴ベクトルを算出し、前記第１の特徴ベクトルから、前記第１の特徴ベクトルの平均値を減算して生成された値を、前記第１の特徴ベクトルのばらつきを表わす指標で除算した第１の行ベクトルを生成するとともに、前記第２の特徴ベクトルから前記第２の特徴ベクトルの平均値を減算して生成された値を、前記第２の特徴ベクトルのばらつきを表わす指標で除算した第２の行ベクトルとを生成し、前記第１の行ベクトルと前記第２の行ベクトルとを結合することにより結合行ベクトルを生成し、すべての学習対象の前記結合行ベクトルを用いて、主成分分析を行なうことにより、結合主成分基底ベクトルを生成し、前記結合行ベクトルの平均ベクトルとともに前記学習結果記憶部に記録する学習処理と、前記入力部により指定された処理対象の第１の特徴ベクトルを算出し、前記第１の特徴ベクトの主成分係数を算出し、該主成分係数と、前記学習結果記憶部に記録された前記結合行ベクトルの平均ベクトル及び前記結合主成分基底ベクトルを用いて、処理対象の第２の特徴ベクトルを算出する予測処理とを実行する。これにより、効率的かつ的確に第２の特徴ベクトルを予測することができる。
【００１０】
（２）上記情報予測システムにおいては、前記結合主成分基底ベクトルと前記第１の特徴ベクトルの成分とを直交化して、前記学習結果記憶部に記録することが好ましい。これにより、直交化を利用して、計算の高速化を行なうことができる。
【００１１】
（３）上記情報予測システムにおいては、算出した高解像情報を圧縮して、前記処理対象との差分を比較し、前記差分が基準値より大きい場合には、前記差分を拡大して、前記高解像情報から差し引くポスト処理を実行することが好ましい。これにより、予測時に生じた誤差を是正することができる。
【００１２】
（４）上記情報予測システムにおいては、前記第１、第２の特徴ベクトルのばらつきを表わす指標として、それぞれ前記第１、第２の特徴ベクトルの主成分係数の標準偏差を用いることが好ましい。これにより、各係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
【発明の効果】
【００１３】
本発明によれば、第１の特徴ベクトルに基づいて、第２の特徴ベクトルを効率的に予測することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の画像処理システムの説明図。
【図２】本実施形態の処理手順の説明図であって、（ａ）は第１の学習処理、（ｂ）は第２の学習処理の説明図。
【図３】本実施形態の処理手順の説明図。
【図４】本実施形態の処理手順の説明図。
【図５】本実施形態の超解像処理の処理手順の概要の説明図。
【図６】本実施形態の処理手順の説明図。
【図７】本実施形態の処理手順の説明図。
【図８】本実施形態の処理手順の説明図。
【図９】本実施形態の処理手順の説明図。
【図１０】本実施形態の効果の説明図。
【図１１】本実施形態の効果の説明図。
【図１２】本実施形態の効果の説明図。
【図１３】本実施形態の効果の説明図。
【図１４】本実施形態の効果の説明図。
【発明を実施するための形態】
【００１５】
以下、本発明を具体化した情報予測システムの一実施形態を図１〜図１４に従って説明する。本実施形態では、顔画像の解像度を上げる超解像技術に適用する場合を説明する。
図１に示すように、本実施形態では、画像処理システム２０を用いる。この画像処理システム２０には、入力部１０、出力部１５が接続されている。入力部１０は、キーボードやポインティングデバイスにより構成され、担当者によって入力された情報を取得する。出力部１５は、ディスプレイにより構成され、各種情報の出力を行なう。
【００１６】
画像処理システム２０は、超解像処理を行なうためのコンピュータシステムである。この画像処理システム２０は、制御部２１、学習対象記憶部としての顔画像記憶部２２、学習結果記憶部２３を備えている。
【００１７】
制御部２１は、制御手段（ＣＰＵ、ＲＡＭ、ＲＯＭ等）を備え、後述する処理（学習段階、超解像段階、第１予測段階、第２予測段階、ポスト処理段階、特徴点抽出段階、メッシュ分割段階、正規化段階、特徴画像抽出段階、主成分分析段階等の各処理等）を行なう。そのための情報予測プログラムを実行することにより、制御部２１は、図１に示すように、学習部２１０、超解像部２１５、第１予測部２１６、第２予測部２１７、ポスト処理部２１８、特徴点抽出部２１ａ、メッシュ分割部２１ｂ、正規化部２１ｃ、特徴画像抽出部２１ｄ、主成分分析部２１ｅとして機能する。
【００１８】
学習部２１０は、高解像画像と、この高解像画像に対応した低解像画像とを用いて、超解像処理に必要な情報を生成する処理を実行する。
超解像部２１５は、処理対象画像（入力画像）の解像度を上げる超解像処理を実行する。超解像部２１５は、処理対象画像及び計算途中の画像を記憶するメモリを備えている。
【００１９】
第１予測部２１６は、主成分ベクトルが直交化されている場合に、高解像パッチの最適解を算出する処理を実行する。
第２予測部２１７は、主成分ベクトルが直交化されていない場合に、高解像パッチの最適解を検索する処理を実行する。第２予測部２１７は、主成分係数の最適解の検索時に微小移動させる振れ幅に関するデータを保持している。
【００２０】
ポスト処理部２１８は、生成した超解像画像を用いて、誤差を調整する処理を実行する。本実施形態では、ＩＢＰ（iterative back projection）法を用いる。このポスト処理部２１８は、超解像結果の妥当性を判定するための閾値に関するデータを保持している。
【００２１】
特徴点抽出部２１ａは、処理対象画像において、特徴点を抽出する処理を実行する。本実施形態では、パターン認識により、顔画像を代表する特徴点（例えば、顔の輪郭や顔のパーツ位置）を抽出する。
【００２２】
メッシュ分割部２１ｂは、抽出した特徴点に基づいて、処理対象画像を所定形状のメッシュに分割する処理を実行する。本実施形態では、Delaunay法を用いて、三角形状のメッシュを生成する。このDelaunay法は、空間内の点を連結して三角形のグループを生成し、その三角形のすべての角に対する最小角度が最大になるようにする手法である。
【００２３】
正規化部２１ｃは、処理対象画像における特徴点が、予め定められた位置に配置されるようにメッシュを変形する処理を実行する。本実施形態では、予め定められた位置として平均顔の配置を用いる。このため、正規化部２１ｃには、平均顔の配置パターンに関するデータを保持させておく。更に、正規化部２１ｃは、変形させたメッシュを元に戻す処理を実行する。このため、正規化部２１ｃには、正規化のために変形させたときの変換情報を記憶する。
【００２４】
特徴画像抽出部２１ｄは、正規化した処理対象画像から超解像画像を生成するために必要な特徴量を抽出する処理を実行する。本実施形態では、特徴量として、画像の高周波成分を用いる。なお、後述するように、処理対象画像そのもの（元画像）を特徴量として用いることも可能である。
【００２５】
主成分分析部２１ｅは、複数のデータにおいて、分散の大きい方向順に直交ベクトルを求める主成分分析処理を実行する。主成分分析部２１ｅは、主成分分析処理により、固有値と固有ベクトル（基底ベクトル）とを算出する。ここで、固有値は分散を示す。また、基底ベクトルは、分散の大きな方向順に並べられる。下位の主成分ほど情報が少ないので、一定の累積寄与率（正規化固有値の累積）に達した時点で足切りすることにより、次元を限定して計算負荷を軽減することができる。
【００２６】
次に、各記憶部に記録されている情報を説明する。
顔画像記憶部２２には、学習に用いる顔画像（学習対象）に関する学習用画像データが記録されている。この学習画像データは、超解像処理のための学習に用いるデータが登録された場合に記録される。この顔画像データには、データ番号に関連付けられて、複数の顔画像が記録されている。
【００２７】
学習結果記憶部２３には、カップリング学習によって生成された主成分基底ベクトルと平均ベクトルとが記録される。ここで、ｉ番目の結合パッチベクトルの平均ベクトルは以下のように表現することができる。
【００２８】
【数１】
0005937661.tif 000002
【００２９】
また、ｉ番目の結合パッチベクトルの、ｎ番目の主成分の主成分基底ベクトルは、以下のように表現することができる。
【００３０】
【数２】
0005937661.tif 000003
【００３１】
以下、上記画像処理システム２０において、超解像画像を生成する場合の処理を説明する。この処理は、学習処理と超解像処理とから構成される。
（学習処理）
まず、図２を用いて、学習処理を説明する。この学習処理は、第１の学習処理と第２の学習処理とを含む。第１の学習処理においては、サイズや顔パーツの位置を合わせるように正規化した高解像と低解像との顔画像のペアを生成する。第２の学習処理においては、高解像と低解像との顔画像のペアを、それぞれ所定形状（例えば、四角形）の要素（パッチ）に分割する。そして、パッチ単位で「低解像、高解像」の関係を、主成分分析によりカップリング学習する。
【００３２】
（第１の学習処理）
まず、図２（ａ）を用いて、第１の学習処理を説明する。
ここでは、画像処理システム２０の制御部２１は、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
【００３３】
まず、画像処理システム２０の制御部２１は、特徴点抽出処理を実行する（ステップＳ１−１）。具体的には、制御部２１の学習部２１０は、特徴点抽出部２１ａを用いて、顔の輪郭や顔パーツの特徴点を特定する。本実施形態では、顔の表情のトラッキングや顔の認識などに主に使われているＡＡＭ（Active Appearance Models）法による自動抽出を用いる。このＡＡＭ法では、対象物体（人の顔）を有限個の頂点でモデル化し、このモデルを入力画像に対してフィッティングすることで対象物体の特徴点の抽出を行なう。
【００３４】
次に、画像処理システム２０の制御部２１は、メッシュ分割処理を実行する（ステップＳ１−２）。具体的には、制御部２１の学習部２１０は、メッシュ分割部２１ｂを用いて、抽出した特徴点が配置された顔画像をメッシュ分割する。
【００３５】
次に、画像処理システム２０の制御部２１は、正規化処理を実行する（ステップＳ１−３）。具体的には、制御部２１の学習部２１０は、正規化部２１ｃを用いて、各メッシュのグリッドを、予め定められたメッシュ位置（例えば、平均顔）に移動させて、メッシュにより構成される三角形を変形する。これにより、すべての顔画像の特徴点の位置が揃った顔画像データを生成することができる。
以上、顔画像記憶部２２に記録されたすべての顔画像データについて終了するまで繰り返す。
【００３６】
（第２の学習処理）
次に、図２（ｂ）を用いて、第２の学習処理を説明する。
【００３７】
ここでは、まず、画像処理システム２０の制御部２１は、処理対象の解像度（低解像、高解像）を特定し、解像度毎に以下の処理を繰り返す。
ここでは、顔画像記憶部２２に記録された顔画像データにおいて、順次、処理対象のデータを特定し、以下の処理を繰り返す。
【００３８】
まず、画像処理システム２０の制御部２１は、ターゲット画像にリサイズ処理を実行する（ステップＳ２−１）。具体的には、制御部２１は、後述するカップリング学習に用いる画像サイズ（低解像画像、高解像画像）に変換する。
【００３９】
次に、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ２−２）。具体的には、制御部２１の学習部２１０は、特徴画像抽出部２１ｄにより、正規化したターゲット画像から超解像に必要な特徴量を抽出する。この処理の詳細は、後述する。
【００４０】
次に、画像処理システム２０の制御部２１は、パッチ分割処理を実行する（ステップＳ２−３）。具体的には、制御部２１の学習部２１０は、ターゲット画像を、予め定められた数（所定数）のパッチに分割する。本実施形態では、例えば、（２５＊２５）画素のパッチを生成する。
【００４１】
次に、画像処理システム２０の制御部２１は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム２０の制御部２１は、行列の作成処理を実行する（ステップＳ２−４）。具体的には、制御部２１の学習部２１０は、処理対象のパッチについて、２次元パッチデータを生成する。ここでは、処理対象パッチにおけるＲＧＢ値を画素毎に並べた２次元パッチデータを生成する。そして、学習部２１０は、生成した２次元パッチデータを１次元行パッチベクトル（ｐij）に変換する。ここで、「ｉ」はパッチ位置、「ｊ」は顔画像データを特定する変数である。そして、学習部２１０は、１次元行パッチベクトル（ｐij）を行列Ｄｉに格納する。
【００４２】
ここで、低解像パッチに関するデータ行列Ｄliは以下のように表現できる。
【００４３】
【数３】
0005937661.tif 000004
【００４４】
また、高解像パッチに関するデータ行列Ｄｈｉは以下のように表現できる。
【００４５】
【数４】
0005937661.tif 000005
【００４６】
そして、処理対象の顔画像データにおけるすべてのパッチについての処理を終了するまで繰り返す。
以上を、すべての顔画像データについての処理を終了するまで繰り返す。
【００４７】
次に、画像処理システム２０の制御部２１は、主成分分析処理を実行する（ステップＳ２−５）。具体的には、制御部２１の学習部２１０は、主成分分析部２１ｅを用いて、パッチ毎に、データ行列（Ｄｌｉ、データ行列Ｄｈｉ）を用いて、主成分分析を行なう。
【００４８】
この場合、低解像については、以下の主成分係数、主成分基底ベクトルが算出される。
【００４９】
【数５】
0005937661.tif 000006
【００５０】
【数６】
0005937661.tif 000007
【００５１】
また、高解像については、以下の主成分係数、主成分基底ベクトルが算出される。
【００５２】
【数７】
0005937661.tif 000008
【００５３】
【数８】
0005937661.tif 000009
【００５４】
ここで、パッチベクトルの平均ベクトルを以下のように表現する。
【００５５】
【数９】
0005937661.tif 000010
【００５６】
【数１０】
0005937661.tif 000011
【００５７】
この場合、低解像の顔画像データ「ｊ」の「ｉ」番目のパッチベクトルは、以下のように表現できる。
【００５８】
【数１１】
0005937661.tif 000012
【００５９】
また、高解像の顔画像データ「ｊ」の「ｉ」番目のパッチベクトルは、以下のように表現できる。
【００６０】
【数１２】
0005937661.tif 000013
【００６１】
なお、ｎmax(i)は、累積寄与率９８％程度の主成分に制限することで、次元数を１００程度に削減することができる。
そして、すべての解像度（低解像画像、高解像画像）についての処理を終了するまで繰り返す。
【００６２】
次に、画像処理システム２０の制御部２１は、カップリング学習処理を実行する（ステップＳ２−６）。具体的には、制御部２１の学習部２１０は、低解像パッチと高解像パッチの主成分係数をマージしたベクトルを再度、パッチ毎に主成分分析することで相関を学習する。この処理の詳細は、後述する。
【００６３】
（特徴量抽出処理）
次に、図３を用いて、特徴量抽出処理（ステップＳ２−２）を説明する。
まず、画像処理システム２０の制御部２１は、元画像の縮小処理を実行する（ステップＳ３−１）。具体的には、制御部２１の特徴画像抽出部２１ｄは、処理対象の顔画像を圧縮してサイズの縮小化を行なう。これにより、顔画像の高周波成分が切り捨てられる。
【００６４】
次に、画像処理システム２０の制御部２１は、低周波成分の算出処理を実行する（ステップＳ３−２）。具体的には、制御部２１の特徴画像抽出部２１ｄは、縮小化した顔画像データを、元のサイズに拡大する。この場合、元のサイズで、低周波成分からなる画像データ（低周波成分画像）が生成される。
【００６５】
次に、画像処理システム２０の制御部２１は、高周波成分の算出処理を実行する（ステップＳ３−３）。具体的には、制御部２１の特徴画像抽出部２１ｄは、元の顔画像から低周波成分画像を差し引くことにより、高周波成分を抜き出す。
【００６６】
（カップリング学習処理）
次に、図４を用いて、カップリング学習処理を説明する。ここでは、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合して一つの行ベクトル（１次元ベクトル）を生成する。そして、行列に格納し、再度、主成分分析を行なう。低解像パッチの情報と高解像パッチの情報を結合して主成分分析することで、低解像パッチと高解像パッチの関係を学習する。
【００６７】
まず、画像処理システム２０の制御部２１は、行ベクトルの生成処理を実行する（ステップＳ４−１）。具体的には、制御部２１の学習部２１０は、低解像パッチの主成分係数と、高解像パッチの主成分係数を結合したベクトルＰ(m)ijを生成する。
【００６８】
【数１３】
0005937661.tif 000014
【００６９】
ここで、「Ｓin」は、以下のスケーリングファクターである。
【００７０】
【数１４】
0005937661.tif 000015
【００７１】
【数１５】
0005937661.tif 000016
【００７２】
このスケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。
次に、画像処理システム２０の制御部２１は、行列の生成処理を実行する（ステップＳ４−２）。具体的には、制御部２１の学習部２１０は、１次元行パッチベクトルＰijを用いて、結合パッチベクトルのデータ行列Ｄmiを生成する。このデータ行列Ｄmiは、以下のように表現できる。
【００７３】
【数１６】
0005937661.tif 000017
【００７４】
次に、画像処理システム２０の制御部２１は、パッチ毎の主成分分析処理を実行する（ステップＳ４−３）。具体的には、制御部２１の主成分分析部２１ｅは、データ行列Ｄmiを用いて、主成分分析を行なう。
【００７５】
この場合、以下の主成分係数、主成分基底ベクトルが算出される。
【００７６】
【数１７】
0005937661.tif 000018
【００７７】
【数１８】
0005937661.tif 000019
【００７８】
ここで、主成分基底ベクトルＵinは、以下のように表現できる。
【００７９】
【数１９】
0005937661.tif 000020
【００８０】
【数２０】
0005937661.tif 000021
【００８１】
【数２１】
0005937661.tif 000022
【００８２】
次に、画像処理システム２０の制御部２１は、直交化処理を実行する（ステップＳ４−４）。具体的には、制御部２１の学習部２１０は、グラムシュミット法で低解像成分（〔数２０〕）の直交化を行なう。この場合、高解像成分（〔数２１〕）も、低解像成分における直交化係数を用いて変換する。
【００８３】
次に、画像処理システム２０の制御部２１は、直交化ベクトルを利用可能かどうかについての判定処理を実行する（ステップＳ４−５）。具体的には、制御部２１の学習部２１０は、直交化して、主成分ベクトルの数を「ｎmax(l,i)」個に制限しても、精度上、問題かないかどうかを確認する。具体的には、主成分ベクトルの数を「ｎmax(l,i)」個に制限した場合における、高解像主成分ベクトルの累積寄与率を算出する。この累積寄与率が所定値（例えば、９８％）に達している場合には、直交化ベクトルを利用可能と判定する。
【００８４】
精度上の問題がなく、直交化ベクトルを利用可能と判定した場合（ステップＳ４−５において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、直交化した結合ベクトル、平均ベクトルの記録処理を実行する（ステップＳ４−６）。具体的には、制御部２１の学習部２１０は、直交化した結合ベクトル、平均ベクトルを、学習結果記憶部２３に記録する。
【００８５】
一方、精度上の問題があり、直交化ベクトルを利用不可と判定した場合（ステップＳ４−５において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、元の結合ベクトル、平均ベクトルの記録処理を実行する（ステップＳ４−７）。具体的には、制御部２１の学習部２１０は、元の結合ベクトル、平均ベクトルを、学習結果記憶部２３に記録する。
【００８６】
ここで、結合パッチベクトルの平均ベクトルを以下のように表現する。
【００８７】
【数２２】
0005937661.tif 000023
【００８８】
この場合、データ「ｊ」の「ｉ」番目の１次元行パッチベクトルＰijは、以下のように表現できる。
【００８９】
【数２３】
0005937661.tif 000024
【００９０】
【数２４】
0005937661.tif 000025
【００９１】
（超解像処理）
次に、図５〜図９を用いて、超解像処理を説明する。
まず、図５を用いて、超解像処理の概要を説明する。
【００９２】
入力画像から、低解像パッチの主成分係数からなるパッチベクトルＶ１０を取得する。そして、学習結果記憶部２３から、結合パッチベクトルの主成分基底ベクトルの低解像部分Ｖ２１と、結合パッチベクトルの平均ベクトルの低解像部分Ｖ２２とを取得する。そして、パッチベクトルＶ１０を、平均ベクトルの低解像部分Ｖ２２、主成分基底ベクトルの低解像部分Ｖ２１で表現するための主成分係数Ｃijを算出する。
【００９３】
そして、学習結果記憶部２３から、結合パッチベクトルの主成分基底ベクトルの高解像部分Ｖ３１と、結合パッチベクトルの平均ベクトルの高解像部分Ｖ３２とを取得する。そして、算出した主成分係数Ｃij、主成分基底ベクトルの高解像部分Ｖ３１、平均ベクトルの高解像部分Ｖ３２を用いて、入力画像の超解像を生成する。
【００９４】
次に、図６を用いて、具体的に超解像処理を説明する。
まず、画像処理システム２０の制御部２１は、顔画像入力処理を実行する（ステップＳ５−１）。具体的には、制御部２１の超解像部２１５は、入力部１０によって指定された入力画像を取得する。
【００９５】
次に、画像処理システム２０の制御部２１は、顔特徴点抽出処理を実行する（ステップＳ５−２）。具体的には、制御部２１の超解像部２１５は、特徴画像抽出部２１ｄを用いて、ステップＳ１−１と同様に、特徴点の抽出を行なう。
【００９６】
次に、画像処理システム２０の制御部２１は、メッシュ分割処理を実行する（ステップＳ５−３）。具体的には、制御部２１の超解像部２１５は、メッシュ分割部２１ｂを用いて、ステップＳ１−２と同様に、顔画像をメッシュ分割する。
【００９７】
次に、画像処理システム２０の制御部２１は、正規化処理を実行する（ステップＳ５−４）。具体的には、制御部２１の超解像部２１５は、ステップＳ１−３と同様に、各メッシュのグリッドを、予め定められたメッシュ位置（例えば、平均顔）に移動させて、メッシュにより構成される三角形を変形する。
【００９８】
次に、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ５−５）。具体的には、制御部２１の超解像部２１５は、特徴画像抽出部２１ｄにより、ステップＳ２−２と同様に、正規化した入力画像から超解像に必要な特徴量を抽出する。
【００９９】
次に、画像処理システム２０の制御部２１は、パッチ分割処理を実行する（ステップＳ５−６）。具体的には、制御部２１の超解像部２１５は、ステップＳ２−３と同様に、予め定められた数（所定数）のパッチに分割する。
【０１００】
次に、画像処理システム２０の制御部２１は、処理対象のパッチを特定し、パッチ毎に以下の処理を繰り返す。
ここでは、画像処理システム２０の制御部２１は、超解像パッチの予測処理を実行する（ステップＳ５−７）。具体的には、制御部２１の超解像部２１５は、超解像パッチについて、第１予測処理又は第２の予測処理を行なう。ここでは、主成分ベクトルが直交化されている場合には、第１予測処理を行ない、主成分ベクトルが直交化されていない場合には、第２の予測処理を行なう。この処理の詳細は後述する。
以上、処理対象画像のすべてのパッチの処理を終了するまで繰り返す。
【０１０１】
次に、画像処理システム２０の制御部２１は、ポスト処理を実行する（ステップＳ５−８）。この処理の詳細は後述する。
【０１０２】
次に、画像処理システム２０の制御部２１は、正規化画像を元画像の形状に戻す処理を実行する（ステップＳ５−９）。具体的には、制御部２１の超解像部２１５は、各メッシュのグリッドを、ステップＳ５−４の移動方向とは逆方向に移動させることにより、各メッシュのグリッドの配置を元に戻す。
【０１０３】
（第１の予測処理）
図７を用いて、超解像パッチについて、第１の予測処理を説明する。この処理は、主成分ベクトルが直交化されており、より高速に処理したい場合に行なわれる。
【０１０４】
まず、画像処理システム２０の制御部２１は、内積処理を実行する（ステップＳ６−１）。具体的には、制御部２１の第１予測部２１６は、以下の式を用いて、内積を算出する。
【０１０５】
【数２５】
0005937661.tif 000026
【０１０６】
ここで、Ｕin、Ｐitは、以下のとおりである。
【０１０７】
【数２６】
0005937661.tif 000027
【０１０８】
【数２７】
0005937661.tif 000028
【０１０９】
次に、画像処理システム２０の制御部２１は、高解像パッチの計算処理を実行する（ステップＳ６−２）。具体的には、制御部２１の第１予測部２１６は、以下の式を用いて、各パッチにおいて高解像パッチ係数ベクトルを生成し、超解像部２１５のメモリに記憶する。
【０１１０】
【数２８】
0005937661.tif 000029
【０１１１】
（第２の予測処理）
図８を用いて、超解像パッチについて、第２の予測処理を説明する。この処理は、主成分ベクトルが直交化されていない場合や、ｎmax(l,i)以上の主成分ベクトルを考慮したい場合に行なわれる。
【０１１２】
まず、主成分分析による低解像パッチ係数ベクトルの算出処理を実行する（ステップＳ７−１）。具体的には、制御部２１の超解像部２１５は、主成分分析部２１ｅを用いて、低解像パッチ係数ベクトルを算出する。
【０１１３】
【数２９】
0005937661.tif 000030
【０１１４】
次に、画像処理システム２０の制御部２１は、主成分係数の仮設定処理を実行する（ステップＳ７−２）。具体的には、制御部２１の第２予測部２１７は、ステップＳ６−１と同様に、内積を算出することにより、入力画像（データ番号：ｔ）の主成分係数Ｃi,t,nを算出する。なお、主成分ベクトルが直交化されていないため、算出した主成分係数Ｃi,t,nを初期値として仮設定し、後述する最適解検索を行なう。
【０１１５】
次に、画像処理システム２０の制御部２１は、仮設定した主成分係数による低解像パッチ係数ベクトルの算出処理を実行する（ステップＳ７−３）。具体的には、制御部２１の第２予測部２１７は、学習結果記憶部２３から、以下の平均ベクトル、主成分基底ベクトルを取得する。
【０１１６】
【数３０】
0005937661.tif 000031
【０１１７】
【数３１】
0005937661.tif 000032
【０１１８】
この場合、入力画像（データ番号：ｔ）の低解像画像の各パッチにおける結合ベクトルの低解像成分（低解像パッチ係数ベクトル）は、仮設定された主成分係数Ｃi,t,nを用いて、以下のように表現される。
【０１１９】
【数３２】
0005937661.tif 000033
【０１２０】
【数３３】
0005937661.tif 000034
【０１２１】
次に、画像処理システム２０の制御部２１は、差分の算出処理を実行する（ステップＳ７−４）。具体的には、制御部２１の第２予測部２１７は、ステップＳ７−１において算出した低解像パッチ係数ベクトルと、ステップＳ７−３において算出した低解像パッチ係数ベクトルとの差分を、以下の式を用いて算出する。
【０１２２】
【数３４】
0005937661.tif 000035
【０１２３】
そして、第２予測部２１７は、算出した差分を、仮設定した低解像パッチ係数ベクトルに関連付けて、メモリに仮記憶する。
次に、画像処理システム２０の制御部２１は、繰り返し終了かどうかについての判定処理を実行する（ステップＳ７−５）。具体的には、制御部２１の第２予測部２１７は、差分が最小値となった場合、繰り返し終了と判定する。
【０１２４】
まだ、差分が未だ減少傾向にあり、繰り返し終了でないと判定した場合（ステップＳ７−５において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、仮設定された主成分係数を勾配の低い方向に微小な振れ幅で位置移動させて、ステップＳ７−３以降の処理を繰り返す。
【０１２５】
一方、差分が増加傾向に反転し、繰り返し終了と判定した場合（ステップＳ７−５において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、差分の最小値の主成分係数の特定処理を実行する（ステップＳ７−６）。具体的には、制御部２１の第２予測部２１７は、差分が最小値となる主成分係数を特定する。
【０１２６】
次に、画像処理システム２０の制御部２１は、高解像パッチの計算処理を実行する（ステップＳ７−７）。具体的には、制御部２１の第２予測部２１７は、学習結果記憶部２３から、以下の平均ベクトル、主成分基底ベクトルを取得する。
【０１２７】
【数３５】
0005937661.tif 000036
【０１２８】
【数３６】
0005937661.tif 000037
【０１２９】
そして、第２予測部２１７は、差分が最小値となる主成分係数を、以下の式に適用して、高解像パッチ係数ベクトルを算出し、超解像部２１５のメモリに記憶する。
【０１３０】
【数３７】
0005937661.tif 000038
【０１３１】
（ポスト処理）
図９を用いて、ポスト処理を説明する。ここでは、ＩＢＰ（iterative back projection）法を用いることにより、算出した超解像を入力画像のサイズに縮小した場合の画像と、入力画像との誤差を小さくする。
【０１３２】
まず、画像処理システム２０の制御部２１は、超解像結果の取得処理を実行する（ステップＳ８−１）。具体的には、制御部２１の超解像部２１５は、ポスト処理部２１８により、超解像部２１５のメモリに記憶された高解像パッチ係数ベクトルからなる画像を呼び出す。
【０１３３】
次に、画像処理システム２０の制御部２１は、超解像結果の縮小処理を実行する（ステップＳ８−２）。具体的には、制御部２１のポスト処理部２１８は、呼び出した超解像画像を、入力画像のサイズに縮小した圧縮画像を生成する。
【０１３４】
次に、画像処理システム２０の制御部２１は、元画像との差分の算出処理を実行する（ステップＳ８−３）。具体的には、制御部２１のポスト処理部２１８は、圧縮画像と入力画像とを比較して差分を算出する。
【０１３５】
次に、画像処理システム２０の制御部２１は、差分は閾値以下かどうかについての判定処理を実行する（ステップＳ８−４）。具体的には、制御部２１のポスト処理部２１８は、算出した差分と許容できる閾値とを比較する。
【０１３６】
差分は閾値以下と判定した場合（ステップＳ８−４において「ＹＥＳ」の場合）、画像処理システム２０の制御部２１は、超解像結果の出力処理を実行する（ステップＳ８−５）。具体的には、制御部２１のポスト処理部２１８は、メモリに記録された超解像画像を、超解像処理結果として出力する。
【０１３７】
一方、差分は閾値以下でないと判定した場合（ステップＳ８−４において「ＮＯ」の場合）、画像処理システム２０の制御部２１は、差分の拡大処理を実行する（ステップＳ８−６）。具体的には、制御部２１のポスト処理部２１８は、算出した差分を、超解像画像の解像度に拡大した差分画像を生成する。
【０１３８】
次に、画像処理システム２０の制御部２１は、超解像結果の補正処理を実行する（ステップＳ８−７）。具体的には、制御部２１のポスト処理部２１８は、メモリに記憶された画像から差分画像を差し引いた画像を生成し、メモリに記録して更新する。
【０１３９】
そして、画像処理システム２０の制御部２１は、超解像結果の縮小処理（ステップＳ８−２）以降の処理を繰り返す。
【０１４０】
以上、本実施形態によれば、以下に示す効果を得ることができる。
（１）本実施形態では、低解像画像と高解像画像とを用いて、主成分分析によるカップリング学習を行なう。低解像と高解像との関係を、主成分係数毎に独立に回帰分析により学習した場合には、精度のよい主成分係数と悪い主成分係数とが混在してしまうため、全体的な精度に課題が生じる場合がある。一方、本実施形態では、係数ベクトル単位で学習するため、主成分係数全体の精度が一致し、全体的な精度の向上を図ることができる。
【０１４１】
画像データベース検索を行なう手法に比べて、累積寄与率が低い主成分ベクトルを足切りして、次元を小さくすることにより、高速に高解像画像を生成することができる。更に、画像データベース検索を行なう手法よりも、データ容量を格段に少なくすることができる。また、複数の画像を用いて学習処理を行なうため、高画質な高解像画像を生成することができる。
【０１４２】
図１０に示すように、入力画像を拡大した場合、ジャギーが生じているが、本実施形態の超解像処理を行なった超解像結果では、高解像を再現できている。低解像の入力画像の元画像（高解像）である「正解」に近い解像を実現できる。
【０１４３】
（２）本実施形態では、画像処理システム２０の制御部２１は、特徴量抽出処理を実行する（ステップＳ２−２）。ここでは、高周波成分を用いて、特徴量を算出し、比較的良好な超解像を実現することができる。
【０１４４】
図１１に示すように、特徴量を抽出する場合に用いる画像を、「元画像」、「高周波成分」を用いた場合を比較する。低解像度特徴量、高解像特徴量の算出において、いずれにも「元画像」を用いた場合には、輪郭部分にブロックノイズが生じている。一方、低解像度特徴量、高解像特徴量の算出において、いずれかに「高周波成分」を用いた場合には、良好な超解像を実現できている。
【０１４５】
（３）本実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。通常、異なる２つの特徴ベクトルを結合して主成分分析を行なう場合、結合前の２つの特徴ベクトルの次元の違い（スケールの違い）を多く吸収するため、一方の特徴ベクトルにスケーリングファクターを乗算する。ここで、固定値のスケーリングファクターを用いて主成分分析を行なうと、番号の大きな高周波成分の主成分係数Ｃijnは、番号の小さな低周波成分の主成分係数Ｃijnの分散にかき消されてしまう。一方、標準偏差で除算してから主成分分析を行なうことにより、各主成分係数のスケールが同等になり、主成分分析のメリットを活かすことができる。
図１２に示すように、スケーリングファクターを用いない従来法では、超解像画像の劣化が生じているが、本実施形態では、良好な超解像を実現できている。
【０１４６】
（４）本実施形態では、画像処理システム２０の制御部２１は、超解像パッチについて、第１の予測処理又は第２の予測処理を実行する。これにより、直交化の状況により、二つの予測処理を使い分けることができる。
【０１４７】
図１３には、第１の予測処理（最適解検索）を用いた場合と、第２の予測処理（直交化）を用いた場合との比較例を示す。両者において、正解画像と超解像画像の差異は、殆ど生じていない。一方、計算時間は、直交化により短縮され、回帰分析と同等な高速処理を実現できる。
【０１４８】
（５）本実施形態では、画像処理システム２０の制御部２１は、ポスト処理を実行する。これにより、誤差を抑制することができる。
図１４に示すように、ブロックノイズが生じた場合にも、ポスト処理により、影響を小さくすることができる。
【０１４９】
なお、上記実施形態は、以下の態様に変更してもよい。
・上記実施形態では、第１の特徴ベクトルとして低解像ベクトル、第２の特徴ベクトルとして高解像ベクトルを用いて、顔画像の超解像を行なう。超解像処理の対象は、顔画像に限定されるものではなく、形状にパターンを有する対象物を高画質に変換する超解像に適用することができる。この場合には、特定のパターンを有する低解像画像と高解像画像とを用いて、学習処理を行なう。
【０１５０】
更に、本発明の情報予測方法は、超解像だけではなく、第１のベクトルデータから第２のベクトルデータを推定する各種用途に適用することができる。例えば、セグメンテーションにおいては、顕在化された情報から潜在化された情報を抽出する。
【０１５１】
２次元画像特徴点認識においては、第１の特徴ベクトルとして対象２次元画像、第２の特徴ベクトルとして対象画像の特徴点を用いる。
２次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象２次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
【０１５２】
３次元画像特徴点認識においては、第１の特徴ベクトルとして対象３次元画像、第２の特徴ベクトルとして対象画像の特徴点を用いる。
３次元画像のセグメンテーションにおいては、第１の特徴ベクトルとして対象３次元画像、第２の特徴ベクトルとして対象画像のセグメンテーションを用いる。
【０１５３】
以下、情報予測の具体例を挙げる。
例えば、画像のボケ・ブレ除去においては、第１特徴ベクトルとして「ブレ・ボケを含む画像ベクトル」、第２特徴ベクトルとして「ブレ・ボケを除去した画像ベクトル」を用いる。
【０１５４】
また、防犯カメラ動画解析（アクション予測）においては、第１特徴ベクトルとして「予測開始時までの時系列の人物アクションデータ」、第２特徴ベクトルとして「予測開始後の人物の時系列の人物アクションデータ」を用いる。
【０１５５】
また、画像以外の情報予測にも応用できる。
例えば、音声の高音質化においては、第１特徴ベクトルとして「低音質の音信号」、第２特徴ベクトルとして「高音質の音信号」を用いる。ここでは、音信号の信号そのもの、或いは高周波成分を要素とするベクトルを用いる。
【０１５６】
また、気象予測においては、第１特徴ベクトルとして「予測開始時までの時系列の気象データ」、第２特徴ベクトルとして「予測開始後の時系列の気象データ」を用いる。ここでは、各種気象データ（天候、気圧、気温、湿度、風向き、風速等）を要素とするベクトルを用いる。
【０１５７】
また、経済予測においては、第１特徴ベクトルとして「予測開始時までの時系列の株価・経済指標データ」、第２特徴ベクトルとして「予測開始後の時系列の株価・経済指標データ」を用いる。ここでは、株価・経済指標データ（各種銘柄の株価、金利、景気、雇用統計、物価上昇率、貿易等）を要素とするベクトルを用いる。
【０１５８】
また、健康予測においては、第１特徴ベクトルとして「予測開始時までの時系列の生体指標データ」、第２特徴ベクトルとして「予測開始後の時系列の生体指標データ」を用いる。ここでは、各種生体指標（体重、身長、各健康診断値速等）を要素とするベクトルを用いる。
【０１５９】
また、交通量予測においては、第１特徴ベクトルとして「予測開始時までの時系列の交通量に関する指標データ」、第２特徴ベクトルとして「予測開始後の時系列の交通量データ」を用いる。ここでは、各交通量データ（計測地、車両数、車種、車速、行き先等）を要素とするベクトルを用いる。
【０１６０】
また、消費行動予測においては、第１特徴ベクトルとして「予測開始時までの時系列の消費行動データ」、第２特徴ベクトルとして「予測開始後の人物の時系列の消費行動データ」を用いる。ここでは、人物アクションデータ（品名、消費量、各種経済指標等）を要素とするベクトルを用いる。
【０１６１】
・上記実施形態では、線形の主成分分析を行なうが、非線形なカーネル主成分分析を行なうことも可能である。
・上記実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。スケーリングファクターＳinは標準偏差に限定されるものではなく、主成分係数Ｃijnのばらつきを表わす指標を用いることが可能である。
【０１６２】
・上記実施形態では、スケーリングファクターＳinには、ｉ番目の低解像パッチベクトルのｎ番目の主成分係数Ｃijnの標準偏差を用いる。ここで、スケーリングファクターＳinは標準偏差に限定されるものではなく、主成分係数Ｃijnの分散を表わす統計的変数を用いることが可能である。
【符号の説明】
【０１６３】
１０…入力部、１５…出力部、２０…画像処理システム、２１…制御部、２１０…学習部、２１５…超解像部、２１６…第１予測部、２１７…第２予測部、２１８…ポスト処理部、２１ａ…特徴点抽出部、２１ｂ…メッシュ分割部、２１ｃ…正規化部、２１ｄ…特徴画像抽出部、２１ｅ…主成分分析部、２２…顔画像記憶部、２３…学習結果記憶部。
【図１】
0005937661.tif 000039
【図２】
0005937661.tif 000040
【図３】
0005937661.tif 000041
【図４】
0005937661.tif 000042
【図５】
0005937661.tif 000043
【図６】
0005937661.tif 000044
【図７】
0005937661.tif 000045
【図８】
0005937661.tif 000046
【図９】
0005937661.tif 000047
【図１０】
0005937661.tif 000048
【図１１】
0005937661.tif 000049
【図１２】
0005937661.tif 000050
【図１３】
0005937661.tif 000051
【図１４】
0005937661.tif 000052