(57)【要約】【課題】画像処理の学習に用いるデータセットをラベリング不要でクラスタリングするとともに、各分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行う画像処理学習プログラム及び当該プログラムにより学習された画像処理プログラム、並びに情報処理装置及び画像処理システムを提供する。【解決手段】端末１は、複数の超解像手段１０２０、１０２１…と、学習対象の集団に含まれる分類ドメインのうち最も多くの低解像画像を有するｋ番目の分類ドメインに対応するｋ番目の超解像手段１０２ｋと、ｉ番目の超解像手段１０２ｉとに前記ｋ番目の分類ドメインが有する低解像画像を入力し、出力する超解像画像の精度が高い超解像手段１０２ｋ又は超解像手段１０２ｉの分類ラベルを付与するとともに、当該低解像画像で精度の高い一方の超解像手段１０２ｋ又は超解像手段１０２ｉを学習させる学習手段１０４を有する。【選択図】図２
2020149471.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる前記学習手段として機能させるための画像処理学習プログラム。
【請求項２】
前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する請求項１に記載の画像処理学習プログラム。
【請求項３】
コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる請求項１又は２に記載の画像処理学習プログラム。
【請求項４】
コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。
【請求項５】
コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。
【請求項６】
前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する請求項５に記載の画像処理プログラム。
【請求項７】
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる前記学習手段とを有する情報処理装置。
【請求項８】
画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。
【請求項９】
前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである請求項８に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システムに関する。
【背景技術】
【０００２】
従来の技術として、データセットを事前にクラスタリングして超解像の学習を行う画像処理学習プログラムが提案されている（例えば、非特許文献１参照）。
【０００３】
非特許文献１に開示された画像処理学習プログラムは、単一の低解像度画像から単一の高解像度画像を復元する単画像超解像において、データセットとして複数の低解像度の画像を用意し、当該データセットをｋ平均法により事前にクラスタリングして分類ドメインに分割するとともに、分類ドメイン数と同数のＣＮＮ（Convolutional Neural Network）モデルを用意し、ＣＮＮモデルに入力される画像とクラスタ中心との距離を用いて学習を行って超解像手段とする。また、超解像手段である学習されたＣＮＮモデルについて、入力される画像とクラスタ中心との距離を用いて推論を行う。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Zhen Li、他５名、“Clustering based multiple branches deep networks for single image super‐resolution”、Multimedia Tools and Applications、Springer Science + Business Media、2018年12月14日
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記した非特許文献１の画像処理学習プログラムによると、データセットを事前にクラスタリングするため学習の効率は向上するものの、クラスタリングは例えば画像の色や明暗等の特徴量に基づいて行われることもあるため、必ずしも超解像の精度の向上には結びつかない、という問題がある。
【０００６】
従って、本発明の目的は、画像処理の学習に用いるデータセットをラベリング不要でクラスタリングするとともに、各分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行う画像処理学習プログラム及び当該プログラムにより学習された画像処理プログラム、並びに情報処理装置及び画像処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、上記目的を達成するため、以下の画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システムを提供する。
【０００８】
［１］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる前記学習手段として機能させるための画像処理学習プログラム。
［２］前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する前記［１］に記載の画像処理学習プログラム。
［３］コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる前記［１］又は［２］に記載の画像処理学習プログラム。
［４］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。
［５］コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
前記［１］〜［４］のいずれかに記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。
［６］前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する前記［５］に記載の画像処理プログラム。
［７］単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる前記学習手段とを有する情報処理装置。
［８］画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、前記［１］〜［４］のいずれかに記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。
［９］前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである前記［８］に記載の画像処理システム。
【発明の効果】
【０００９】
請求項１、４、７、８に係る発明によれば、分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行うことができる。
請求項２に係る発明によれば、複数の画像処理手段の全てが学習済みとなった場合に学習を完了する、又は集団の最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、ｉ番目又はｋ番目のいずれかのみになる場合、学習を完了することができる。
請求項３に係る発明によれば、画像処理の学習に用いるデータセットをラベリング不要でクラスタリングすることができる。
請求項５に係る発明によれば、画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段で画像処理を行う対象となる画像を画像処理することができる。
請求項６に係る発明によれば、画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類することができる。
請求項９に係る発明によれば、サーバ装置が配信する画像処理を行う対象となる画像に最適化された画像処理を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施の形態に係る画像処理システムの構成の一例を示す概略図である。
【図２】図２は、第１の実施の形態に係る端末の構成例を示すブロック図である。
【図３】図３は、端末の超解像動作を説明するための概略図である。
【図４】図４は、第１の実施の形態の端末の超解像動作の一例を示すフローチャートである。
【図５Ａ】図５Ａは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｂ】図５Ｂは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｃ】図５Ｃは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｄ】図５Ｄは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｅ】図５Ｅは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｆ】図５Ｆは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図５Ｇ】図５Ｇは、第１の実施の形態の端末の学習動作を説明するための概略図である。
【図６】図６は、第１の実施の形態の端末の学習動作の一例を示すフローチャートである。
【図７Ａ】図７Ａは、第２の実施の形態の端末の学習動作を説明するための概略図である。
【図７Ｂ】図７Ｂは、第２の実施の形態の端末の学習動作を説明するための概略図である。
【図７Ｃ】図７Ｃは、第２の実施の形態の端末の学習動作を説明するための概略図である。
【図８】図８は、第２の実施の形態の端末の学習動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
［第１の実施の形態］
（画像処理システムの構成）
図１は、第１の実施の形態に係る画像処理システムの構成の一例を示す概略図である。
【００１２】
この画像処理システムの一例としての超解像システム５は、情報処理装置としての端末１と、ウェブサーバ２とをネットワーク３によって互いに通信可能に接続することで構成される。
【００１３】
端末１は、例えば、ノートＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォン、タブレット端末等の携帯型の情報処理装置であって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やフラッシュメモリ等の電子部品を備える。なお、端末１は、携帯型の情報処理装置に限らず据え置き型のＰＣであってもよい。
【００１４】
ウェブサーバ２は、サーバ型の情報処理装置であり、端末１の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するＣＰＵやフラッシュメモリ等の電子部品を備える。
【００１５】
ネットワーク３は、高速通信が可能な通信ネットワークであり、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の有線又は無線の通信網である。
【００１６】
端末１は、一例として、ウェブページを閲覧するためウェブサーバ２に要求を送信する。ウェブサーバ２は要求に応じてウェブページに表示される配信用画像２００を含むウェブページを構成するウェブページ情報２０を端末１に送信する。端末１は、ウェブページ情報２０及び配信用画像２００を受信し、入力画像である配信用画像２００をカテゴリに分類し、画像処理の一例として、当該カテゴリに適した超解像手段を用いて配信用画像２００を高解像度化して（超解像して）ウェブページ情報２０に基づいて表示画像１３０を表示部（１３、図２参照。）に表示する。なお、ここで超解像とは、単一の低解像度画像から単一の高解像度画像を復元する単画像超解像のことを言う（以降、同様。）。端末１は、複数のカテゴリにそれぞれ適した複数の超解像手段を有し、複数の超解像手段を使い分けることで単一の超解像手段で処理する場合に比べて超解像の精度を向上する。なお、配信用画像２００は、表示画像１３０に比べて低解像度の画像情報であり、データ量の少ない情報である。また、複数の超解像手段は、後述する方法で学習され、学習段階で分類するための手段を学習するためのクラスタリングが行われる。
【００１７】
（情報処理装置の構成）
図２は、第１の実施の形態に係る端末１の構成例を示すブロック図である。
【００１８】
端末１は、ＣＰＵ、ＧＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワーク３を介して外部と通信する通信部１２と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等から構成され、文字や画像を表示する表示部１３と、表示部１３上に配された接触操作可能なタッチパネルやキーボード、スイッチ等から構成され、利用者の操作を受け付ける操作部１４と備える。
【００１９】
制御部１０は、後述するウェブブラウザプログラム１１０を実行することで、ウェブページ情報受信手段１００、ウェブページ表示制御手段１０３等として機能する。また、後述する画像処理プログラムとしての超解像プログラム１１１を実行することで、画像分類手段１０１、複数の超解像手段１０２０、１０２１…等として機能する。また、後述する画像処理学習プログラムとしての超解像学習プログラム１１４を実行することで、画像分類手段１０１、複数の超解像手段１０２０、１０２１…等を学習するための学習手段１０４等として機能する。
【００２０】
ウェブページ情報受信手段１００は、通信部１２を介してウェブサーバ２から配信用画像２００を含むウェブページ情報２０を受信して、記憶部１１にウェブページ情報１１２として格納する。なお、ウェブページ情報１１２の記憶は一時的なものであってもよい。
【００２１】
画像分類手段１０１は、ウェブページ情報受信手段１００が受信した配信用画像２００をカテゴリに分類し、複数の超解像手段１０２０、１０２１…のうち当該配信用画像２００のカテゴリに適した超解像手段を選択する。なお、画像分類手段１０１は、例えば、ＣＮＮ（Convolutional Neural Network）を学習したものであるが、ロジスティック回帰、サポートベクターマシン、決定木、ランダムフォレスト、ＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ  Ｇｒａｄｉｅｎｔ  Ｄｅｓｃｅｎｔ）、カーネル密度推定、ｋ近傍法、パーセプトロン等を学習したものであってもよい。
【００２２】
画像処理手段としての複数の超解像手段１０２０、１０２１…は、それぞれ異なるカテゴリの画像の超解像に特化した超解像手段であり、画像分類手段１０１によって分類された入力画像としての配信用画像２００を超解像し、出力画像としての高解像度の超解像画像情報１１３を生成して記憶部１１に格納する。なお、超解像手段１０２０、１０２１…は、例えば、ＣＮＮを学習したものであるが、同等のアルゴリズムを学習したものであってもよい。
【００２３】
ウェブページ表示制御手段１０３は、ウェブページ情報１１２に基づいて、配信用画像２００の代わりに超解像画像情報１１３を用いてウェブページの表示画像１３０を表示部１３に表示する。
【００２４】
学習手段１０４は、画像分類手段１０１、複数の超解像手段１０２０、１０２１…を学習させる。学習方法の詳細は後述する。なお、学習手段１０４及び超解像学習プログラム１１４は、端末１に必須の構成ではなく、異なる装置で実行及び格納することが一般的であり、説明の便宜上構成に含めたものである。つまり、学習手段１０４及び超解像学習プログラム１１４は異なる装置で実行すればよく、異なる装置で学習した結果としての画像分類手段１０１、複数の超解像手段１０２０、１０２１…及び超解像プログラム１１１を端末１に備えていればよい。
【００２５】
記憶部１１は、制御部１０を上述した各手段１００、１０３として動作させるウェブブラウザプログラム１１０、制御部１０を上述した各手段１０１、１０２０、１０２１…として動作させる超解像プログラム１１１、ウェブページ情報１１２、超解像画像情報１１３及び制御部１０を上述した学習手段１０４として動作させる超解像学習プログラム１１４等を記憶する。
【００２６】
（超解像システムの動作）
次に、本実施の形態の作用を、（１）超解像動作、（２）学習動作に分けて説明する。「（１）超解像動作」において、「（２）学習動作」によって学習済みの超解像プログラム１１１を実行し、配信用画像２００を超解像する動作を説明する。また、「（２）学習動作」において、超解像学習プログラム１１４を実行することで、画像分類手段１０１、複数の超解像手段１０２０、１０２１…を学習させる動作を説明する。
【００２７】
（１）超解像動作
図３は、端末１の超解像動作を説明するための概略図である。また、図４は、端末１の超解像動作の一例を示すフローチャートである。
【００２８】
まず、端末１のウェブページ情報受信手段１００は、通信部１２を介してウェブサーバ２から配信用画像２００を含むウェブページ情報２０を受信して、記憶部１１にウェブページ情報１１２として格納する（Ｓ１０）。
【００２９】
次に、端末１の画像分類手段１０１は、ウェブページ情報受信手段１００が受信したウェブページ情報２０から配信用画像２００を抽出する（Ｓ１１）。
【００３０】
次に、画像分類手段１０１は、抽出した配信用画像２００から、複数のパッチ２００１、２００２、２００３…を部分領域として抽出する。画像分類手段１０１は、複数のパッチ２００１、２００２、２００３…をバッチ処理し、複数のパッチ２００１、２００２、２００３…のに対する出力を得る。画像分類手段１０１は、学習結果としての超解像プログラム１１１に基づいて動作し、複数のパッチ２００１、２００２、２００３…に対する出力を平均化して得られた値から当該配信用画像２００をカテゴリに分類し（Ｓ１２）、複数の超解像手段１０２０、１０２１…のうち、分類結果のカテゴリに対応した、当該配信用画像２００の超解像に適した超解像手段１０２１を選択する（Ｓ１３）。
【００３１】
次に、画像分類手段１０１が選択した超解像手段１０２１は、配信用画像２００を超解像し（Ｓ１４）、高解像度の超解像画像情報１１３を生成して記憶部１１に格納する。
【００３２】
次に、端末１のウェブページ表示制御手段１０３は、ウェブページ情報１１２に基づいて、配信用画像２００の代わりに超解像画像情報１１３を用いてウェブページの表示画像１３０を表示部１３に表示する（Ｓ１５）。
【００３３】
（２）学習動作
図５Ａ〜図５Ｇは、第１の実施の形態の端末１の学習動作を説明するための概略図である。また、図６は、第１の実施の形態の端末１の学習動作の一例を示すフローチャートである。
【００３４】
まず、図５Ａに示すように、端末１の学習手段１０４は、未学習の０番目の超解像手段である超解像手段１０２０で、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の全体を学習する（Ｓ２０）。学習方法を以下に説明する。
【００３５】
超解像手段１０２０は、学習用低解像画像５００ｌ０〜５００ｌ７のｊ番目の学習用低解像画像５００ｌｊを超解像し、超解像画像５００ｓｒ０ｊを得る。次に、学習手段１０４は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７より高解像度である目標画像としての元画像５００ｈ０〜５００ｈ７のｊ番目の元画像５００ｈｊと比較し、差分を算出する。差分には、例えば、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅｄ  ｅｒｒｏｒ）やＭＡＥ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｅｒｒｏｒ）等を用いるが、差分算出について学習済みのＣＮＮを用いて算出してもよい。学習手段１０４は、当該差分をフィードバックして、当該差分が小さくなるように学習用低解像画像５００ｌ０〜５００ｌ７全体について超解像手段１０２０を学習する。以降、当該差分が小さいことを超解像の「精度が良い」ということがある。
【００３６】
次に、図５Ｂに示すように、端末１の学習手段１０４は、未学習の１番目の超解像手段である超解像手段１０２１で（Ｓ２２）、集団５０全体に含まれる分類ドメインのうち最も大きい分類ドメイン、つまり、図５Ｂの場合はまだ分類されていないので、学習用低解像画像５００ｌ０〜５００ｌ７の全体を学習する（Ｓ２３）。学習方法は以下に説明するように０番目の超解像手段の学習と同様である。
【００３７】
超解像手段１０２１は、学習用低解像画像５００ｌ０〜５００ｌ７のｊ番目の学習用低解像画像５００ｌｊを超解像し、超解像画像５００ｓｒ１ｊを得る。次に、学習手段１０４は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７の高解像度の元画像５００ｈ０〜５００ｈ７のｊ番目の元画像５００ｈｊと比較し、差分を算出する。学習手段１０４は、当該差分をフィードバックして、当該差分が小さくなるように学習用低解像画像５００ｌ０〜５００ｌ７全体について超解像手段１０２１を学習する。
【００３８】
なお、学習手段１０４は、学習済みの超解像手段１０２０をコピーして超解像手段１０２１とし、学習に要する時間や処理のコストを抑制してもよい。
【００３９】
次に、図５Ｃに示すように、端末１の学習手段１０４は、最も大きい分類ドメインに対応するｋ番目の超解像手段、つまり、図５Ｃの場合はｋ＝０番目の超解像手段である超解像手段１０２０と、ｉ＝１番目の超解像手段である超解像手段１０２１とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインである集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の分類ラベルを付与し直して分類ドメインを分割する（Ｓ２４）とともに、当該分類ラベルに基づいて精度の良い一方の超解像手段１０２０又は超解像手段１０２１を学習させる（Ｓ２５）。分割方法及び学習方法の詳細を以下に説明する。
【００４０】
超解像手段１０２０及び超解像手段１０２１は、学習用低解像画像５００ｌ０〜５００ｌ７のｊ番目の学習用低解像画像５００ｌｊを超解像し、超解像画像５００ｓｒ０ｊ及び超解像画像５００ｓｒ１ｊを得る。次に、学習手段１０４は、高解像度の元画像５００ｈｊとそれぞれ比較し、それぞれ差分を算出する。学習手段１０４は、当該差分の小さい方の超解像画像５００ｓｒ０ｊ又は超解像画像５００ｓｒ１ｊを出力した超解像手段１０２０又は超解像手段１０２１の分類ラベル（０又は１）を学習用低解像画像５００ｌｊに付与して集団５０をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌｊについて差分が小さい方の超解像手段１０２０又は超解像手段１０２１についてフィードバックして学習させる。なお、学習手段１０４は、超解像手段１０２０及び超解像手段１０２１について差分が一致した場合、超解像手段１０２０又は超解像手段１０２１のいずれか一方を選択し分類ラベル（０又は１）を学習用低解像画像５００ｌｊに付与して集団５０をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌｊについて選択した方の超解像手段１０２０又は超解像手段１０２１についてフィードバックして学習させる。また、フィードバックして学習させるのは必ずしも超解像手段１０２０又は超解像手段１０２１の一方である必要はなく、それぞれの精度に基づいて重み付けをして学習させるようにしてもよい。つまり、差分の小さい方の超解像手段１０２０又は超解像手段１０２１についてフィードバックして学習させる重み付けを大きくし、差分の大きい方の超解像手段１０２０又は超解像手段１０２１についてフィードバックして学習させる重み付けを小さくするようにしてもよい。
【００４１】
上記クラスタリングの結果、図５Ｄに示すように、集団５０が超解像手段１０２０のラベル０が付与された集団５００と、超解像手段１０２１のラベル１が付与された集団５０１とに分割される。また、超解像手段１０２０及び超解像手段１０２１は、学習の結果、それぞれ集団５００及び集団５０１について他の超解像手段１０２１及び超解像手段１０２０で超解像する場合に比べて精度が良いように学習される、つまり、それぞれ集団５００及び集団５０１について超解像の精度が最適化される。
【００４２】
ドメインが分割されれば（Ｓ２６；Ｙｅｓ）、次の未学習の超解像手段についてステップＳ２３〜Ｓ２５を実行する（Ｓ２７；Ｎｏ、Ｓ２８）。
【００４３】
次に、図５Ｅに示すように、端末１の学習手段１０４は、未学習の２番目の超解像手段である超解像手段１０２２で（Ｓ２２）、集団５０全体に含まれる分類ドメインのうち最も大きい分類ドメイン、つまり、図５Ｅの場合は集団５００に含まれる学習用低解像画像５００ｌ０〜５００ｌ４の全体を学習する（Ｓ２３）。なお、学習手段１０４は、学習済みの超解像手段１０２０をコピーして超解像手段１０２２とし、学習に要する時間や処理のコストを抑制してもよい。
【００４４】
次に、図５Ｆに示すように、端末１の学習手段１０４は、最も大きい分類ドメインに対応するｋ番目の超解像手段、つまり、図５Ｆの場合はｋ＝０番目の超解像手段である超解像手段１０２０と、ｉ＝２番目の超解像手段である超解像手段１０２２とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインである集団５００全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ４の分類ラベルを付与し直して分類ドメインを分割する（Ｓ２４）とともに、当該分類ラベルに基づいて一方の超解像手段１０２０又は超解像手段１０２２を学習させる（Ｓ２５）。
【００４５】
超解像手段１０２０及び超解像手段１０２２は、学習用低解像画像５００ｌ０〜５００ｌ４のｊ番目の学習用低解像画像５００ｌｊを超解像し、超解像画像５００ｓｒ０ｊ及び超解像画像５００ｓｒ２ｊを得る。次に、学習手段１０４は、高解像度の元画像５００ｈｊとそれぞれ比較し、それぞれ差分を算出する。学習手段１０４は、当該差分の小さい方の超解像手段１０２０又は超解像手段１０２２の分類ラベル（０又は２）を学習用低解像画像５００ｌｊに付与して集団５００をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌｊについて差分が小さい方の超解像手段１０２０又は超解像手段１０２２についてフィードバックして学習させる。また、フィードバックして学習させるのは必ずしも超解像手段１０２０又は超解像手段１０２２の一方である必要はなく、それぞれの精度に基づいて重み付けをして学習させるようにしてもよい。
【００４６】
また、上記のように最も大きい分類ドメインに対応するｋ番目の超解像手段と、単一のｉ番目の超解像手段とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインを分割するとともに、超解像の精度に基づいて超解像手段の学習を行うようにしたが、最も大きい分類ドメインに対応するｋ番目の超解像手段と、ｉ番目、ｉ＋１番目、ｉ＋２番目…の複数の超解像手段とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインを分割するとともに、超解像の精度に基づいて超解像手段の学習を行うようにしてもよい。
【００４７】
上記クラスタリングの結果、図５Ｇに示すように、集団５００が超解像手段１０２０のラベル０が付与された集団５００と、超解像手段１０２２のラベル２が付与された集団５０２とに分割される。また、超解像手段１０２０、超解像手段１０２１及び超解像手段１０２２は、学習の結果、それぞれ集団５００、集団５０１及び集団５０２について超解像の精度が最適化される。
【００４８】
用意したすべての超解像手段についてステップＳ２３〜Ｓ２５を実行し終えたら（Ｓ２７；Ｙｅｓ）、動作を終了する。また、用意したすべての超解像手段について上記動作を実行していない場合であっても、ドメインが分割されなくなったら（Ｓ２６；Ｎｏ）、動作を終了して学習していない超解像手段を使用しないようにする。
【００４９】
また、学習手段１０４は、上記ステップが全て終了してすべての超解像手段１０２０、１０２１…の学習が完了し、集団５０の分類ドメインが分割されると、当該集団５０の分類ラベルが付与された学習用低解像画像５００ｌｊについて画像分類手段１０１を学習する。なお、画像分類手段１０１の学習は、図３で示した場合と同様に、学習用低解像画像５００ｌｊから複数のパッチを抽出してバッチ処理して学習してもよいし、学習用低解像画像５００ｌｊを１つのパッチとしてそのまま処理して学習してもよい。
【００５０】
（第１の実施の形態の効果）
上記した第１の実施の形態によれば、単画像超解像において、複数の超解像手段１０２０、１０２１…を学習させる際に、超解像の学習に用いるデータセット（集団５０）のうち大きな分類ドメイン５０ｋに対応する超解像手段１０２ｋと新たに学習する超解像手段１０２ｉとを競合して学習させ、分類ドメイン５０ｋに含まれる画像の超解像の精度が良い超解像手段１０２ｋ又は１０２ｉのラベルを付与してクラスタリングするとともに、精度が良い結果を出す超解像手段１０２ｋ又は１０２ｉを当該画像で学習させて分割された分類ドメイン５０ｋ及び５０ｉに最適化した超解像手段１０２ｋ及び１０２ｉとするようにしたため、超解像の学習に用いるデータセット（集団５０）を予めラベリングする必要なくクラスタリングが可能となり、各分類ドメイン５０ｋ及び５０ｉの超解像手段１０２ｋ及び１０２ｉの最適化を効率的に行うことができる。また、超解像手段の学習によりデータセットを自発的にクラスタリングすることができるため、ラベリング不要で画像分類手段１０１の学習のためのデータセットを用意でき、画像分類手段１０１を効率的に学習することができる。
【００５１】
また、超解像手段１０２０、１０２１…を複数用意し、画像のカテゴリに合わせて特化させることで、全体として精度を向上することができるとともに、超解像手段１０２０、１０２１…それぞれを軽量なモデルにすることができる。また、端末１において学習済みの複数の超解像手段１０２０、１０２１…と画像分類手段１０１とを機能させることにより、配信用画像２００の容量を減少させて、ネットワーク３の通信量を減少させることができる。
【００５２】
［第２の実施の形態］
第２の実施の形態は、学習動作におけるクラスタリングにおいて分類ラベルを付与しない点で第１の実施の形態と異なる。なお、構成及び超解像動作については第１の実施の形態と同様であるため説明を省略する。
【００５３】
（３）学習動作
図７Ａ〜図７Ｃは、第２の実施の形態の端末１の学習動作を説明するための概略図である。また、図８は、第２の実施の形態の端末１の学習動作の一例を示すフローチャートである。
【００５４】
まず、端末１の学習手段１０４は、未学習の０番目及び１番目の超解像手段である超解像手段１０２０及び超解像手段１０２１で、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の全体を学習する（Ｓ３０）。なお、学習方法は、第１の実施の形態と同様であるため説明を省略する。
【００５５】
次に、変数ｌ＝２とし（Ｓ３１）、図７Ａ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の全体を、学習済みの超解像手段１０２０及び超解像手段１０２１に入力し、ｉ番目の学習用低解像画像５００ｌｉを超解像し、超解像画像５００ｓｒ０ｉ及び５００ｓｒ１ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７の高解像度の元画像５００ｈ０〜５００ｈ７のｉ番目の元画像５００ｈｉと比較し、差分の小さい超解像手段、つまり精度の良い超解像手段を図７Ａ（ｂ）に示すように精度情報１０１ａ１として記録し、精度の最も良い画像数が最も多いモデルｋ特定する（Ｓ３２）。図７Ａの場合はｋ＝０である。なお、精度情報１０１ａ１の記録は一時的な記憶であってもよい。この状態において、概念上は集団５０が、超解像手段１０２０が精度良く超解像する集団５００と、超解像手段１０２１が精度良く超解像する集団５０１とに分割されることとなる。
【００５６】
次に、図７Ｂ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の全体を、学習済みの超解像手段１０２０及び超解像手段１０２１に入力し、ｉ番目の学習用低解像画像５００ｌｉを超解像し、超解像画像５００ｓｒ０ｉ及び５００ｓｒ１ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７の高解像度の元画像５００ｈ０〜５００ｈ７のｉ番目の元画像５００ｈｉと比較し、超解像画像５００ｓｒ０ｉとの差分が最も小さいｉ番目の学習用低解像画像５００ｌｉ及び元画像５００ｈｉの学習セットを用いて未学習のｌ番目の超解像手段、つまり超解像手段１０２ｌを学習させる（Ｓ３３）。超解像手段１０２ｌの学習は、超解像手段１０２０と同程度の精度となるまで行うものとする。この状態において、図７Ｂ（ｂ）に示すように、概念上は集団５０が、超解像手段１０２０が精度良く超解像する集団５００と、超解像手段１０２１が精度良く超解像する集団５０１と、超解像手段１０２２が精度良く超解像する集団５０２とに分割されることとなる。つまり、図７Ａ（ｂ）の状態と比較して、超解像手段１０２１が精度良く超解像する集団が２つに分割された状態となる。
【００５７】
次に、図７Ｃ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ０〜５００ｌ７の全体を、学習済みの超解像手段１０２０、超解像手段１０２１及び超解像手段１０２２に入力し、ｉ番目の学習用低解像画像５００ｌｉを超解像し、超解像画像５００ｓｒ０ｉ、５００ｓｒ１ｉ及び５００ｓｒ２ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７の高解像度の元画像５００ｈ０〜５００ｈ７のｉ番目の元画像５００ｈｉと比較し、最も差分の小さい超解像手段、つまり最も精度の良い超解像手段を、ｉ番目の学習用低解像画像５００ｌｉ及び元画像５００ｈｉの学習セットをフィードバックして学習する（Ｓ３４）。
【００５８】
この状態において、図７Ｃ（ｂ）に示すように、概念上は集団５０が、超解像手段１０２０が精度良く超解像する集団５００と、超解像手段１０２１が精度良く超解像する集団５０１と、超解像手段１０２２が精度良く超解像する集団５０２とに分割されることとなる。なお、図７Ｂ（ｂ）の状態と比較して、必ずしも分割結果が一致しないのは、フィードバック学習を行った結果、超解像手段１０２０、超解像手段１０２１、超解像手段１０２２に変化が生じたためである。
【００５９】
また、図７Ｃ（ｂ）に示すように、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ０〜５００ｌ７の高解像度の元画像５００ｈ０〜５００ｈ７のｉ番目の元画像５００ｈｉと比較し、差分の小さい超解像手段、つまり精度の良い超解像手段を精度情報１０１ａ２として記録し、精度の最も良い画像数が最も多いモデルｋ特定する（Ｓ３２）。図７Ｃの場合はｋ＝０又は１である。
【００６０】
このようにステップＳ３２〜Ｓ３４をすべての未学習モデルについて実行する（Ｓ３５、Ｓ３６）。
【００６１】
また、学習手段１０４は、上記ステップが全て終了してすべての超解像手段１０２０、１０２１…の学習が完了すると、最終的に得られた精度情報１０１ａｌを用いて当該集団５０について画像分類手段１０１を学習する。
【００６２】
（第２の実施の形態の効果）
上記した第２の実施の形態によれば、単画像超解像において、複数の超解像手段１０２０、１０２１…を学習させる際に、精度の良い超解像手段をカウントするようにして、超解像の学習に用いるデータセット（集団５０）のうち大きな分類ドメイン５０ｋに対応する超解像手段１０２ｋと新たに学習する超解像手段１０２ｉとを競合して学習させるようにしたため、超解像の学習に用いるデータセット（集団５０）を予めラベリングする必要なく、かつ、学習途中におけるラベリングが不要で、クラスタリングが可能となり、超解像手段１０２ｋ及び１０２ｉの最適化を効率的に行うことができる。
【００６３】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。
【００６４】
上記実施の形態では、ウェブサーバ２から配信用画像２００を含むウェブページ情報２０を、ネットワーク３を介して配信し、端末１で配信用画像２００を超解像する例を説明したが、低解像画像を配信して端末１で超解像する構成であればよく、ウェブページ情報２０に含めて配信する必要がないのはもちろんである。つまり、ウェブブラウザに限らず、端末１に含まれる任意のアプリケーションプログラムに画像分類手段１０１及び超解像手段１０２０、１０２１…を動作させるための超解像プログラム１１１を組み合わせることができる。
【００６５】
なお、学習に用いる画像の集団５０と、配信用画像２００は、それぞれ異なるものであってもよいし、同一のものであってもよい。異なる場合は、集団５０から一般的なモデルである超解像手段１０２０、１０２１…が作成可能である。また、同一のものである場合は、配信用画像２００に最適な超解像手段１０２０、１０２１…が作成可能である。
【００６６】
上記実施の形態では、画像処理の例として超解像を挙げて説明したが、その他の例として、画像のノイズ除去、ぼけの除去、鮮明化等の画像処理についての学習についても本願発明を適用可能であり、画像処理の内容については特に限定されない。また、当該学習方法を用いて学習された画像処理についても同様に画像処理の内容は超解像に限定されない。
【００６７】
上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ‐ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００６８】
１              ：端末
２              ：ウェブサーバ
３              ：ネットワーク
５              ：超解像システム
１０            ：制御部
１１            ：記憶部
１２            ：通信部
１３            ：表示部
１４            ：操作部
２０            ：ウェブページ情報
５０            ：集団
１００          ：ウェブページ情報受信手段
１０１          ：画像分類手段
１０２０、１０２１…：超解像手段
１０３          ：ウェブページ表示制御手段
１０４          ：学習手段
１１０          ：ウェブブラウザプログラム
１１１          ：超解像プログラム
１１２          ：ウェブページ情報
１１３          ：超解像画像情報
１１４          ：超解像学習プログラム
１３０          ：表示画像
２００          ：配信用画像
【図１】
2020149471.tif 000003
【図２】
2020149471.tif 000004
【図３】
2020149471.tif 000005
【図４】
2020149471.tif 000006
【図５Ａ】
2020149471.tif 000007
【図５Ｂ】
2020149471.tif 000008
【図５Ｃ】
2020149471.tif 000009
【図５Ｄ】
2020149471.tif 000010
【図５Ｅ】
2020149471.tif 000011
【図５Ｆ】
2020149471.tif 000012
【図５Ｇ】
2020149471.tif 000013
【図６】
2020149471.tif 000014
【図７Ａ】
2020149471.tif 000015
【図７Ｂ】
2020149471.tif 000016
【図７Ｃ】
2020149471.tif 000017
【図８】
2020149471.tif 000018
【手続補正書】
【提出日】令和2年6月10日(2020.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段として機能させるための画像処理学習プログラム。
【請求項２】
前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する請求項１に記載の画像処理学習プログラム。
【請求項３】
コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる請求項１又は２に記載の画像処理学習プログラム。
【請求項４】
コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。
【請求項５】
コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。
【請求項６】
前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する請求項５に記載の画像処理プログラム。
【請求項７】
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段とを有する情報処理装置。
【請求項８】
画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。
【請求項９】
前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである請求項８に記載の画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
［１］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段として機能させるための画像処理学習プログラム。
［２］前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する前記［１］に記載の画像処理学習プログラム。
［３］コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる前記［１］又は［２］に記載の画像処理学習プログラム。
［４］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。
［５］コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
前記［１］〜［４］のいずれかに記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。
［６］前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する前記［５］に記載の画像処理プログラム。
［７］単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段とを有する情報処理装置。
［８］画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。
［９］前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである前記［８］に記載の画像処理システム。