(57)【要約】【課題】画像データを変換処理する際に使用する変換パラメータを学習するためのデータセットが切り替わることで生じる画像変換の処理結果の不連続性を軽減すること。【解決手段】画像処理装置１０６は、取得された入力画像データに対して所定の画像変換を行う。具体的には、入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値と、第１の部分データに隣接する、複数の部分データのうちの第２の部分データが有する第１の属性値とは異なる第２の属性値とに基づき生成された第１の属性値及び第２の属性値と関連付けられた変換パラメータに基づいて、第１の部分データ及び第２の部分データの少なくとも一部に対して所定の画像変換を行う。【選択図】図５
2020197926.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
入力画像データを取得する取得手段と、
前記取得手段により取得された前記入力画像データに対して所定の画像変換を行う変換手段と、
を有し、
前記変換手段は、前記入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値と、前記第１の部分データに隣接する、前記複数の部分データのうちの第２の部分データが有する前記第１の属性値とは異なる第２の属性値とに基づき生成された前記第１の属性値及び前記第２の属性値と関連付けられた変換パラメータに基づいて、前記第１の部分データ及び前記第２の部分データの少なくとも一部に対して前記所定の画像変換を行う
ことを特徴とする画像処理装置。
【請求項２】
前記変換手段は、前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータに加え、前記第１の属性値のみに基づき生成された前記第１の属性値に関連付けられた変換パラメータ、及び前記第２の属性値にのみ基づき生成された前記第２の属性値に関連付けられた変換パラメータに基づき、前記第１の部分データ及び前記第２の部分データの一部に対して前記所定の画像変換を行う場合、前記第１の部分データ及び前記第２の部分データのうち、前記第１の属性値のみに関連付けられた変換パラメータを適用する部分データと前記第２の属性値のみに関連付けられた変換パラメータを適用する部分データとの間の部分データに対して前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを適用する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の部分データ及び前記第２の部分データのうち、前記第１の属性値に関する第１の基準値と前記第２の属性値に関する第２の基準値との間を属性値が変化している連続する部分データからなる変化領域データを検出する検出手段と、
をさらに備え、
前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータは、検出された前記変化領域データを分割した分割部分データの数と、前記分割部分データの間の位置関係とに応じて前記分割部分データごとに決定された、前記第１の属性値と前記第２の属性値との混合比率に従って、前記第１の属性値及び前記第２の属性値に基づき生成された複数の異なる変換パラメータを含み、
前記変換手段は、前記複数の異なる変換パラメータをそれぞれ対応する前記分割部分データに適用する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
ユーザが、前記属性値、前記変化領域データの範囲、及び前記変化領域データの分割数のうちの少なくとも１つを変更するための変更手段
をさらに備えたことを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータは、前記第１の属性値に対応付けられた第１のデータセットの少なくとも一部を用いた学習の結果と、前記第２の属性値に対応付けられた第２のデータセットの少なくとも一部を用いた学習の結果とに基づき生成されたことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第１の属性値のみに関連付けられた変換パラメータは、前記第１のデータセットを用いた学習の結果のみに基づき生成され、
前記第２の属性値のみに関連付けられた変換パラメータは、前記第２のデータセットを用いた学習の結果のみに基づき生成されたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
入力画像データを取得する第２の取得手段と、
前記入力画像データの属性値を判定する判定手段と、
をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記変換手段による前記所定の画像変換の結果を表示する表示手段
をさらに備えたことを特徴とする、請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
複数の撮像装置による撮像に基づく複数の画像データと、指定された仮想視点からの見えを表す仮想視点画像データを生成する生成手段、
をさらに備え、
前記入力画像データは、前記仮想視点画像データであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
画像処理装置であって、
入力画像データを構成する部分データが有する属性値に対応付けられた教師画像データを含むデータセットを取得する第１の取得手段と、
取得した前記データセットを用いた学習結果に基づき、前記入力画像データに対して所定の画像変換を行うための変換パラメータを生成する生成手段と、
を備え、
前記生成手段は、前記入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値に対応付けられた第１のデータセットの少なくとも一部を用いた学習の結果と、前記第１の部分データに隣接する、前記複数の部分データのうちの第２の部分データが有する第２の属性値に対応付けられた第２のデータセットの少なくとも一部を用いた学習の結果とに基づき生成された第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成する
ことを特徴とする画像処理装置。
【請求項１１】
前記生成手段は、前記第１のデータセットを用いた学習の結果のみに基づき生成された前記第１の属性値のみに関連付けられた変換パラメータを生成し、前記第２のデータセットを用いた学習の結果のみに基づき生成された前記第２の属性値のみに関連付けられた変換パラメータを生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
画像処理装置であって、
入力画像データを構成する部分データが有する属性値に対応付けられた教師画像データを含むデータセットを取得する第１の取得手段と、
取得した前記データセットを用いた学習結果に基づき、前記入力画像データに対して所定の画像変換を行うための変換パラメータを生成する生成手段と、
前記変換パラメータを、前記変換パラメータの学習に用いた前記データセットに対応付けられた前記属性値を有する前記部分データに適用することで、前記入力画像データに対して前記所定の画像変換を行う変換手段と、
を備え、
前記生成手段は、前記入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値に対応付けられた第１のデータセットの少なくとも一部と、前記第１の部分データに隣接する、前記複数の部分データのうちの第２の部分データが有する前記第１の属性値とは異なる第２の属性値に対応付けられた第２のデータセットの少なくとも一部とを用いた学習結果に基づき第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成し、
前記変換手段は、前記第１の属性値及び前記第２の属性値と関連付けられた変換パラメータに基づいて、前記第１の部分データ及び前記第２の部分データの少なくとも一部に対して前記所定の画像変換を行う
ことを特徴とする画像処理装置。
【請求項１３】
前記生成手段は、前記第１のデータセットのみを用いた学習結果に基づき第１の属性値のみに関連付けられた変換パラメータを生成し、前記第２のデータセットのみを用いた学習結果に基づき第２の属性値のみに関連付けられた変換パラメータを生成し、
前記変換手段は、前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータに加え、前記第１の属性値のみに関連付けられた変換パラメータ、及び前記第２の属性値のみに関連付けられた変換パラメータに基づき、前記第１の部分データ及び前記第２の部分データの一部に対して前記所定の画像変換を行う場合、前記第１の部分データ及び前記第２の部分データのうち、前記第１の属性値のみに関連付けられた変換パラメータを適用する部分データと前記第２の属性値のみに関連付けられた変換パラメータを適用する部分データとの間の部分データに対して前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを適用する
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第１の部分データ及び前記第２の部分データのうち、前記第１の属性値に関する第１の基準値と前記第２の属性値に関する第２の基準値との間を前記属性値が変化している連続する部分データからなる変化領域データを検出する検出手段と、
検出された前記変化領域データを複数の分割部分データに分割し、前記変化領域データの分割数と、前記分割部分データの間の位置関係とに応じて、前記分割部分データごとに前記第１のデータセットと前記第２のデータセットとの混合比率を決定する決定手段と、
をさらに備え、
前記生成手段は、前記分割部分データごとに、対応する前記混合比率に従って混合した前記第１のデータセットの少なくとも一部を用いた学習結果及び前記第２のデータセットの少なくとも一部を用いた学習結果に基づき、前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータの生成を行う
ことを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記生成手段は、前記混合比率に基づき前記第１のデータセットと前記第２のデータセットとの学習回数をそれぞれ決定し、前記学習回数に従って前記第１のデータセットと前記第２のデータセットとを交互に用いた学習結果に基づき前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータの学習を行うことを特徴とする、請求項１４に記載の画像処理装置。
【請求項１６】
前記生成手段は、前記混合比率に基づき前記第１のデータセットの第１の学習率及び前記第２のデータセットの第２の学習率をそれぞれ決定し、前記第１のデータセットを用いた前記第１の学習率での学習結果及び前記第２のデータセットを用いた前記第２の学習率での学習結果に基づき前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成することを特徴とする、請求項１４に記載の画像処理装置。
【請求項１７】
前記生成手段は、前記混合比率の確率で前記第１のデータセットと前記第２のデータセットとから前記教師画像データを選択して学習用バッチを生成し、前記学習用バッチを用いた学習結果に基づき前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータの生成を行うことを特徴とする、請求項１４に記載の画像処理装置。
【請求項１８】
前記第１のデータセットに含まれる教師画像と前記第２のデータセットに含まれる教師画像とを前記混合比率で混合した第３のデータセットを構築する構築手段
をさらに備え、
前記生成手段は、前記第３のデータセットを用いた学習結果に基づき前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１９】
前記生成手段は、前記第１の属性値のみに関連付けられた変換パラメータと前記第２の属性値のみに関連付けられた変換パラメータとを前記混合比率で混合することで前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項２０】
ユーザが、前記属性値、前記変化領域データの範囲、及び前記変化領域データの分割数のうちの少なくとも１つを変更するための変更手段
をさらに備えたことを特徴とする、請求項１４乃至１９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記変更手段での変更の履歴を記憶する記憶手段
をさらに備え、
前記生成手段は、前記変更の履歴に従って前記第１の属性値及び前記第２の属性値に関連付けられた変換パラメータの生成を行う
ことを特徴とする、請求項２０に記載の画像処理装置。
【請求項２２】
複数の撮像装置による撮像に基づく複数の画像データと、指定された仮想視点とに基づいて、前記仮想視点からの見えを表す仮想視点画像データを生成する生成手段、
をさらに備え、
前記入力画像データは、前記仮想視点画像データであり、
前記データセットは、前記複数の画像データのうち前記仮想視点画像データの生成に用いなかった画像データを前記教師画像データとして含むことを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
【請求項２３】
前記入力画像データは動画データであり、前記部分データは前記動画データを構成するフレーム画像データであり、
前記第１の部分データに隣接する前記第２の部分データとは、前記第１の部分データのフレーム画像データに対して時間的に連続するフレーム画像データであることを特徴とする請求項１乃至２２のいずれか１項に記載の画像処理装置。
【請求項２４】
前記入力画像データは静止画データであり、前記部分データは前記静止画データが表す画像を構成する領域ごとの部分画像を表す部分画像データであり、
前記第１の部分データに隣接する前記第２の部分データとは、前記静止画データが表す画像において、前記第１の部分データの部分画像データが表す部分画像と隣り合う部分画像を表す部分画像データであることを特徴とする請求項１乃至２２のいずれか１項に記載の画像処理装置。
【請求項２５】
入力画像データを取得する第２の取得手段と、
前記入力画像データの属性値を判定する判定手段と、
をさらに備えたことを特徴とする請求項１乃至２４のいずれか１項に記載の画像処理装置。
【請求項２６】
前記入力画像データの属性値は、前記入力画像データの撮像時刻、撮像場所、撮像対象、撮像対象の状態、撮像時の環境、撮像装置の機種、及び撮像時の撮像装置の撮像パラメータのうちの少なくとも１つに関する値を含むことを特徴とする、請求項１乃至２５のいずれか１項に記載の画像処理装置。
【請求項２７】
前記入力画像データにおいて撮像された被写体の３次元位置に基づく属性値を取得し、前記３次元位置に対応する前記部分データに前記属性値のタグ付けを行うタグ付け手段
をさらに備えることを特徴とする、請求項１乃至２６のいずれか１項に記載の画像処理装置。
【請求項２８】
画像処理方法であって、
入力画像データを取得する取得ステップと、
前記取得ステップにより取得された前記入力画像データに対して所定の画像変換を行う変換ステップと、
を有し、
前記変換ステップは、前記入力画像データを構成する第１の部分データが有する第１の属性値と、前記第１の部分データに隣接する、前記入力画像データを構成する第２の部分データが有する前記第１の属性値とは異なる第２の属性値とに基づき生成された前記第１の属性値及び前記第２の属性値と関連付けられた変換パラメータに基づいて、前記第１の部分データ及び前記第２の部分データの少なくとも一部に対して前記所定の画像変換を行う
ことを特徴とする画像処理方法。
【請求項２９】
画像処理方法であって、
入力画像データを構成する部分データが有する所定の属性の属性値に対応付けられた教師画像データを含むデータセットを取得する第１の取得ステップと、
取得した前記データセットを用いた学習結果に基づき、前記入力画像データに対して所定の画像変換を行うための変換パラメータを生成する生成ステップと、
を備え、
前記生成ステップは、前記入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値に対応付けられた第１のデータセットの少なくとも一部を用いた学習の結果と、前記第１の部分データに隣接する、前記複数の部分データのうちの第２の部分データが有する第２の属性値に対応付けられた第２のデータセットの少なくとも一部を用いた学習の結果とに基づき生成された第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成する
ことを特徴とする画像処理方法。
【請求項３０】
画像処理方法であって、
入力画像データを構成する部分データが有する所定の属性の属性値に対応付けられた教師画像データを含むデータセットを取得する第１の取得ステップと、
取得した前記データセットを用いた学習結果に基づき、前記入力画像データに対して所定の画像変換を行うための変換パラメータを生成する生成ステップと、
前記変換パラメータを、前記変換パラメータの学習に用いた前記データセットに対応付けられた前記属性値を有する前記部分データに適用することで、前記入力画像データに対して前記所定の画像変換を行う変換ステップと、
を備え、
前記生成ステップは、前記入力画像データを構成する第１の部分データが有する第１の属性値に対応付けられた第１のデータセットの少なくとも一部と、前記第１の部分データに隣接する、前記入力画像データを構成する第２の部分データが有する前記第１の属性値とは異なる第２の属性値に対応付けられた第２のデータセットの少なくとも一部とを用いた学習結果に基づき第１の属性値及び前記第２の属性値に関連付けられた変換パラメータを生成し、
前記変換ステップは、前記第１の属性値及び前記第２の属性値と関連付けられた変換パラメータに基づいて、前記第１の部分データ及び前記第２の部分データの少なくとも一部に対して前記所定の画像変換を行う
ことを特徴とする画像処理方法。
【請求項３１】
コンピュータを請求項１乃至２７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示による技術は、画像処理技術に関する。
【背景技術】
【０００２】
ノイズ除去、ボケ除去、領域分割、高解像度化などの画像変換技術において、学習を利用した手法が知られている。この学習を用いた手法では、画像変換前の第１の画像データを画像変換後の第２の画像データに変換する変換パラメータを、予め用意した教師画像データ群を含むデータセットによる学習によって事前に求めておく。ここで、画像変換とは、入力した第１の画像データに対応する第２の画像データを出力する技術の総称である。
【０００３】
この画像変換において用いる変換パラメータを学習によって精度良く求めるための工夫として、画像の撮像条件や撮像対象といった、入力画像データの属性情報に応じて選択されたデータセットで学習を行う手法が知られている。例えば、画像認識の分野では、入力画像データの撮像時刻・撮像場所等の属性情報に応じて選択されたデータセットで学習を行うことにより、計算コストを削減し認識精度を向上させるという手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０５９８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記画像変換技術を適用する場合において、時間の経過によって天気やカメラの露出などが変化すると、それに応じて画像データの特定の属性の属性値、例えば輝度値も経時変化しうる。特許文献１の学習手法では、映像データを構成する一連のフレーム画像データの属性情報が変化した場合、属性情報の変化に応じて学習で用いるデータセットを切り替える。データセットを変えて学習すると、複数の異なる変換パラメータが得られる。推論段階では、学習結果として得られた異なる変換パラメータそれぞれに基づいて画像処理されたフレーム画像データでは、その画質が異なる。その結果、映像データのうち、カット割りされていない１つのショットの途中で変換パラメータの切り替えが生じると、画質が途中で突然大きく変化するなどして、不連続的で違和感のある映像データとなる。
【０００６】
そこで本開示の技術は、画像データを変換処理する際に使用する変換パラメータが切り替わることで生じる画像変換の処理結果の不連続性を軽減することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の技術は、画像処理装置であって、入力画像データを取得する取得手段と、前記取得手段により取得された前記入力画像データに対して所定の画像変換を行う変換手段と、を有し、前記変換手段は、前記入力画像データを構成する複数の部分データのうちの第１の部分データが有する第１の属性値と、前記第１の部分データに隣接する、前記複数の部分データのうちの第２の部分データが有する前記第１の属性値とは異なる第２の属性値とに基づき生成された前記第１の属性値及び前記第２の属性値と関連付けられた変換パラメータに基づいて、前記第１の部分データ及び前記第２の部分データの少なくとも一部に対して前記所定の画像変換を行うことを特徴とする画像処理装置である。
【発明の効果】
【０００８】
本開示によれば、画像データを変換処理する際に使用する変換パラメータが切り替わることで生じる画像変換の処理結果の不連続性を軽減することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１を適用しうる撮像システムの模式図。
【図２】画像処理装置のハードウェア構成を示すブロック図。
【図３】実施形態１の課題を説明する図。
【図４】実施形態１における画像変換処理の概要を説明する図。
【図５】実施形態１における画像処理装置の機能構成を示すブロック図。
【図６】実施形態１における画像変換処理の流れを示すフローチャート。
【図７】実施形態１におけるデータセット構成比の決定法を説明する図。
【図８】実施形態３における画像変換処理の概要を説明する図。
【図９】データセット構築を支援するユーザインタフェースの構成例。
【図１０】被写体の変化に本開示の技術を適用する例を示した図。
【発明を実施するための形態】
【００１０】
以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【実施形態１】
【００１１】
＜撮像システムの全体構成＞
実施形態１では、画像変換技術の１つである高解像度化を行う画像処理装置の例について説明する。具体的には、スポーツ選手を被写体として撮像し、得られた高解像度な画像データを含むデータセットで変換パラメータに関して学習を行う。学習結果に基づき生成された変換パラメータを用いて、低解像度な画像データを高解像度な画像データに変換して出力する。
【００１２】
以下、本実施形態の構成を述べる。図１は、本開示の技術を適用し得る撮像システムの一例を示した模式図である。撮像システムは、仮想視点画像データの生成のために用いられるものである。撮像システムは、複数の撮像装置による撮像に基づく複数の画像データと、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像データが生成されるステムである。本実施形態における仮想視点画像データは、自由視点映像データとも呼ばれるものである。なお、この仮想視点画像データは、ユーザが自由に（任意に）指定した視点に対応する画像データに限定されず、例えば複数の候補からユーザが選択した視点に対応する画像データなども仮想視点画像データに含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像データが動画データである場合を中心に説明するが、仮想視点画像データは静止画データであってもよい。
【００１３】
図１で示すように、スタジアムには撮像装置１０１が配置されており、注目する被写体である選手１０５が撮像され、画像データ１０８が得られる。一方、スタジアムには撮像装置１０２も配置され、撮像装置１０２は、例えば撮像装置１０１に比べて長い焦点距離のレンズを有し、画像データ１０８に比べ画角は狭いものの、より高解像度で被写体が描写された画像データ１０９を得ることができる。
【００１４】
撮像装置１０１で得られた画像データ１０８の少なくとも一部分を、画像データ１０９と同程度の高解像度な画像データにするための画像処理装置１０６、また表示装置１０７も撮像システムに含まれる。なお、画像処理装置１０６において、仮想視点画像が生成されてもよい。
【００１５】
撮像装置１０１と同じく低解像度で被写体を撮像する撮像装置１０３、撮像装置１０２と同じく高解像度で被写体を撮像する撮像装置１０４が他に複数存在しても良い。また、図１ではスポーツシーンを例にとって説明したが、異なる解像度で同一の被写体を撮像する一般的なシーンにも適用可能である。また、高解像度化される部分としては、被写体である選手全体や、選手の顔や四肢であってもよいし、それ以外であってもよい。
【００１６】
なお、画像データ１０９は、画像データ１０８の被写体部分を高解像度化するための教師画像データとして、学習段階で用いられてもよい。
【００１７】
図２は、本実施形態の画像処理装置１０６の構成を示す図である。
【００１８】
画像処理装置１０６は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、記憶部２０４と、入力インターフェース２０５と、出力インターフェース２０６と、システムバス２０７とから構成される。外部メモリ２０８は入力インターフェース２０５と出力インターフェース２０６に接続されており、表示装置１０３出力インターフェース２０６に接続されている。
【００１９】
ＣＰＵ２０１は、画像処理装置１０６の各構成を統括的に制御するプロセッサであり、ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリアとして機能するメモリである。そして、ＲＯＭ２０３は画像処理装置１０６内の処理に用いられるプログラム等を格納するメモリである。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとしてＲＯＭ２０３に格納されたプログラムを実行することで、後述する様々な処理を実行する。記憶部２０４は、画像処理装置１０６での処理に用いる画像データや、処理のためのパラメータなどを記憶する記憶デバイスである。記憶部２０４としてはＨＤＤや光ディスクドライブ、フラッシュメモリなどを用いることができる。
【００２０】
入力インターフェース２０５は、例えばＵＳＢやＩＥＥＥ１３９４などのシリアルバスインターフェースである。画像処理装置１０６は、この入力インターフェース２０５を介して、外部メモリ２０８（例えば、ＨＤＤ、ＣＦカードやＳＤカードなどのメモリカード、ＵＳＢメモリなど）から処理対象の画像データ等を取得することができる。
【００２１】
出力インターフェース２０６は、例えばＤＶＩやＨＤＭＩ（登録商標）などの映像出力端子である。画像処理装置１０６は、この出力インターフェース２０６を介して、表示装置１０３（液晶ディスプレイなどの画像表示デバイス）に、画像処理装置１０６で処理した画像データを出力することができる。なお、画像処理装置１０６の構成要素は上記のもの以外にも存在するが、本開示の技術の主眼ではないため、説明を省略する。
【００２２】
＜課題と解決手段の概要＞
図３は、本開示の技術における課題を説明する図である。
【００２３】
高解像度化の対象である選手の顔を含む映像データ３０１が、撮像装置１０１を用いて撮像されている。図３では、映像データ３０１の各フレーム画像データを、時刻が進む順に並べて表示している。映像データ３０１の前半のフレーム画像データは、雲がかかるなど照度が低くい環境下で撮像され、低輝度な画像データとなっている。一方、映像データ３０１の後半のフレーム画像データは、雲がとれて日が差すなど照度が高い環境下で撮像され、輝度高めな画像データとなっている。なお、ここで低輝度（露出アンダー）な画像データ、高輝度（露出オーバー）な画像データとは、比較対象となる他の画像データに対して低輝度な画像データ又は高輝度な画像データであることを意味する。すなわち、低輝度、高輝度とは、画像データの相対的な輝度レベルを表すものである。
【００２４】
撮像された画像データを高精度に高解像度化するためには、画像データの撮像条件や撮像対象といった、画像データの特定の属性の属性値に対応付けられたデータセットで学習を行う必要がある。従って、属性値が曇り（低輝度）の画像データに対しては、曇りの属性値に対応付けられた画像データで構築したデータセット３０２で学習を行って得られた変換パラメータを用いて高解像度化を行う。これにより、曇りの低解像度な画像データ３０４は、高解像度な画像データ３０５に変換される。同様に、属性値が晴れ（高輝度）の画像データ３０６に関しても、晴れの属性値に対応付けられた画像データで構築したデータセット３０３で学習を行って得られた変換パラメータを用いて高解像度化を行い、高解像度な画像データ３０７に変換する。
【００２５】
このとき、学習用データセットを切り替える直前・直後のフレーム画像データを画像データ３０８・画像データ３０９とする。教師画像データとなる画像データ群に基づき学習を行う機械学習を用いた画像変換では、出力画像データは、学習に用いた教師画像データの画像データ群と特性が類似する。そのため、中間的な輝度の画像データ３０８は、低輝度の画像データからなるデータセット３０２の特性に影響を受け、低輝度な高解像度画像データ３０９に変換される。同様に、中間的な輝度値の画像データ３１０は、高輝度な高解像度画像データ３１１に変換される。
【００２６】
結果として、高解像度化された画像データを時刻順に繋げて映像データとした場合、隣接する２フレーム画像データである画像データ３０９と画像データ３１１の間に大きな輝度の差が発生する。これにより、違和感のある映像データが生成される。以下では、隣接するフレーム画像データ間で画像データの特性が大きく変化するという性質を不連続性と表現する。
【００２７】
また、本開示では、映像データ（動画データ）におけるフレーム画像データを、画像データにおける部分データとし、フレーム画像データ群を画像データにおける部分データ群とする。同様に、静止画データが表す画像を構成する領域ごとの部分画像を表す部分画像データを、画像データにおける部分データ又は部分データ群とする。
【００２８】
以上の課題に対し、本開示の技術では学習用データセットを段階的に変化させる。図４に、本開示の実施形態１に係る画像変換処理の概要を示す。画像データの属性値が曇りから晴れに切り替わる時刻の周辺の画像データに対しては、曇りの画像データと晴れの画像データとを混合したデータセット４０１、４０２を用いてそれぞれ変換パラメータを求め、それらを用いて高解像度化を行う。このデータセット４０１、４０２を用いて得られた変換パラメータは、曇りおよび晴れの属性値の両方に関連付けられた変換パラメータとなるため、曇りの画像データと晴れの画像データとの両方の属性値の特徴を併せ持った高解像度画像データが出力される。その結果、中間的な輝度の画像データ４０３、４０４が生成され、輝度の変化がより滑らかになる。ここで、データセット４０１は曇りの画像データと晴れの画像データとを２対１の割合で含み、データセット４０２はそれらを１対２の割合で含むように構築されている。
【００２９】
なお、上記の例では天気による画像データの輝度の差異について説明したが、他にも天気によって反射特性や色温度や影の差異など他の属性値が存在し、それらがもたらす不連続性にも本実施形態を適用可能である。また、日照の強度差、昼夜の差、撮像場所による画像特性の差、被写体の変化、撮像装置の撮像パラメータの変化といった、天気以外の属性変化にも適用可能である。
【００３０】
＜画像処理装置の構成と処理の流れ＞
以下、実施形態１の画像処理装置１０６で行われる処理について、図５及び図６を参照して説明する。図５は、画像処理装置１０６の機能構成を示すブロック図である。画像処理装置１０６は、ＲＯＭ２０３に格納されたプログラムをＣＰＵ２０１がＲＡＭ２０２をワークメモリとして実行することで、図５に示す各構成部として機能し、図６のフローチャートに示す処理を実行する。なお、以下に示す処理の全てがＣＰＵ２０１によって実行される必要はなく、処理の一部又は全部が、ＣＰＵ２０１以外の１つ又は複数の処理回路によって行われるように画像処理装置１０６が構成されてもよい。以下、各構成部により行われる処理の流れを説明する。
【００３１】
まず、学習段階での処理を説明する。
【００３２】
ステップＳ６０１において、教師画像取得部５０１は、高解像度で注目する被写体、ここでは選手の顔を撮像する撮像装置１０２から、又は記憶部２０４から教師画像データを取得する。すなわち、本実施形態における教師画像データは、注目する被写体である選手の顔が高解像度で映っている画像データである。教師画像データとして用いる画像データに、注目する被写体以外の被写体が映っている領域を多く含む場合、データ量を抑えるために、注目する被写体である選手の顔部分以外の領域を省いた画像データを生成し、それを教師画像データとすることが望ましい。取得された教師画像データは、属性判定部５０２に出力される。
【００３３】
ステップＳ６０２において、属性判定部５０２は、受け取った教師画像データの属性及び属性値を判定する。属性として用いるのは、撮像時の環境の情報、被写体（撮像対象）の情報、撮像パラメータの情報、撮像装置の情報といった事項である。撮像時の環境の情報における属性値としては、天気、昼夜、撮像時刻、撮像場所などがある。被写体の情報における属性値としては、人物か物体かといったクラスラベル、人物ＩＤ、性別、国籍、身体部位などがある。撮像パラメータの情報における属性値としは、露出値、絞り値、シャッター速度、撮像距離などがある。撮像装置の情報における属性値としては、機種、個体ＩＤなどがある。これらの中から、学習精度の向上に寄与するものを選択して用いる。
【００３４】
撮像装置から撮像時のパラメータを受け取るか、教師画像データから解析・認識を行うことにより、上記の属性及び属性値の少なくとも一部を算出又は推定する。顔画像データにおいて天気に関する属性の属性値を推定する例では、顔中心部の輝度値の平均値が所定の閾値以上であれば晴れ、閾値未満であれば曇りと判定する。得られた属性情報は、タグとして教師画像データに付与され、データセット取得部５０６に出力される。なお、既存のデータセットから、属性値タグ付きの教師画像データを取得しても構わない。
【００３５】
ステップＳ６０３において、入力画像取得部５０３は、低解像度で注目する被写体を撮像する撮像装置１０１から、又は記憶部２０４から入力画像データを取得する。ここで、入力画像データとは、画像変換を施して高解像度化する対象となる画像データを指す。入力画像データは注目する被写体である選手の顔が映っている画像データであり、教師画像データと同様に、必要に応じて注目する被写体である選手の顔部分を切り抜いて生成する。取得された入力画像データは、属性値変化検出部５０４に出力される。また、入力画像データは、教師画像データに対してフィルタ処理を行って低解像度化したものを用いてもよい。
【００３６】
ステップＳ６０４において、属性値変化検出部５０４は、受け取った入力画像データに対し、ステップＳ６０２と同様の手段により属性値タグを付与する。加えて、その属性値の経時変化を検出し、属性値が切り替わる時刻である属性値変化時刻Ｔを算出する。顔画像データの曇りから晴れへの属性値の変化を検出する例においては、顔の輝度値を測定して判定を行う。ある注目する時刻における顔の輝度値は、予め計測されたフレーム画像データ毎の顔領域の輝度値の平均を、注目する時刻前後の所定の時間（例えば０．５〜１．０秒程度）内に存在するフレーム画像データについて平均した値とする。時間方向の平均をとることで、フリッカーなどによる輝度値の変動の影響を抑制することができる。この注目する時刻における顔の輝度値が、曇りと晴れとを区別する基準となる所定の輝度レベルを超えた又は割った場合に属性値に変化ありと判定する。この属性値に変化ありと判定された時刻を属性値変化時刻Ｔとする。属性値変化時刻Ｔと属性値変化時刻Ｔ前後の所定の時間内のフレーム画像データの属性値の情報は、混合比率決定部５０５に出力される。
【００３７】
ステップＳ６０５において、混合比率決定部５０５は、受け取った情報に基づき、データセットの教師画像データの混合比率を決定する。混合比率は、属性値変化時間幅Ｗと比率変更段階数Ｍとに応じて決定される。属性値変化時間幅Ｗは、属性値が一定以上変化している変化領域データの開始から終了までの時間である。比率変更段階数Ｍは、属性値の異なるデータセットの混合比率を何段階に変化させるかを決める値であり、変化領域データの分割数、すなわち変化領域データを分割してできた分割部分データの数である。
【００３８】
曇りから晴れへの属性値変化を検出する例では、上記顔の輝度値が、曇りの基準値から、例えば曇りの時間帯の平均的な輝度値から所定の閾値以上乖離した時点を属性値変化の開始点とする。そして、上記顔の輝度値が、晴れの基準値から、例えば晴れの時間帯の平均的な輝度値から所定の閾値以内の値に達した時点を終了点とする。これら開始点と終了点との両時刻の差分から属性値変化時間幅Ｗを算出する。
【００３９】
比率変更段階数Ｍは、曇りと晴れの輝度値の差に比例する値、例えば、所定の１段階の変更量で曇りと晴れの輝度値の差を割ったときの商に設定する。なお、属性値変化時間幅Ｗと比率変更段階数Ｍは、事前に求めた所与の値にするなど、別の方法で設定しても構わない。
【００４０】
この決定の処理を、図７を用いて説明する。図７では、選手の顔の映像データ３０１が第１の属性値（曇り）から第２の属性値（晴れ）に切り替わる瞬間を表している。時刻７０１が属性値変化時刻Ｔ、幅７０２が属性値変化時間幅Ｗを表す。この属性値変化時間幅Ｗの変化領域データをＭ個の区域７０３に分割し、各区域についてデータセットを構築する。図７ではＭ＝４の例を示している。そして、各区域における属性値の異なる教師画像データの混合比率を決定する。混合比率は、第ｋ番目（ｋ＝１、２、・・・、Ｍ）の区域Ｒkにおいて、第１の属性値の教師画像データと第２の属性値の教師画像データとを（Ｍ−ｋ＋１）対ｋの割合で混合するように決定される。例えば、データセット７０４はｋ＝２の区域Ｒ2に位置するため、混合比率は３対２となる。決定された混合比率は、データセット取得部５０６に出力される。
【００４１】
ステップＳ６０６において、データセット取得部５０６は、受け取った混合比率に基づいて区域毎の学習用データセットを構築する。属性判定部５０２から入力された教師画像データの集合から、受け取った混合比率に基づき属性値１のタグが付与された画像データをｎk1枚と、属性値２のタグが付与された画像データをｎk2枚とを抽出し、それらを混合して各区域のデータセットとする。ここで上記ｎk1、ｎk2は、それぞれ
【００４２】
【数１】
2020197926.tif 000003
【００４３】
【数２】
2020197926.tif 000004
【００４４】
であり、ｎは学習に必要な画像データ数である。構築された各区域のデータセットは、学習部５０７に出力される。なお、受け取った混合比率のデータセットが既に存在する場合、既存のデータセットを取得し、それを学習用データセットとして学習部５０７に出力しても構わない。
【００４５】
ステップＳ６０７において、学習部５０７は、受け取った区域毎の学習用データセットに基づき、低解像度な画像データを高解像度な画像データに変換するための変換パラメータを区域毎に学習する。ここでは既存のよく知られている画像変換ニューラルネットワークを学習器として用いる。得られた区域毎の変換パラメータは、画像変換部５０８に出力される。
【００４６】
ステップＳ６０８は、推論段階である。ステップＳ６０８において、画像変換部５０８は、学習部５０７から区域毎の変換パラメータを取得し、属性値変化検出部５０４から入力画像データを取得する。そして、学習部５０７で用いたものと同じニューラルネットワークと、受け取った区域毎の変換パラメータに基づき、対応する区域に属する低解像度な入力画像データに対して変換処理を行い、高解像度化された画像データを出力する。すなわち、入力画像データが第ｋ番目の小区域に属する場合、同じく第ｋ番目の小区域の学習用データセットで学習された変換パラメータに基づいて画像変換を行う。なお、ステップＳ６０７と６０８においては、画像変換ニューラルネットワークに代えて、ＳＶＭやランダムフォレストといった、別の学習器を用いても構わない。
【００４７】
また、画像変換部５０８は、学習部５０７を兼ねてもよい。また、画像処理装置１０６は、入力画像取得部５０３と、属性変化検出部５０４と画像変換部５０８とを有し、画像変換部５０８は、事前に学習された学習部５０７である構成であってもよい。つまり、図６におけるＳ６０１〜Ｓ６０７は、別の装置で行われてもよく、Ｓ６０８が画像処理装置１０６で行われる構成であってもよい。
【００４８】
なお、本実施形態では高解像度な教師画像データを獲得するために焦点距離がより長い撮像装置を利用したが、焦点距離の長さは同じままでより高画素の撮像素子を備えた撮像装置を利用してもよい。
【００４９】
また、奥行方向に距離のある複数の被写体を被写界深度内におさめて撮像した場合、１つの画像データ内において、手前に位置する被写が、奥に位置する被写体よりも大きく、高解像度に映る。そのため、被写界深度を深く取って、被写界深度の後端側（奥側）に注目する被写体を配置して撮像し、被写界深度の前端側（手前側）に位置した被写体の画像データを教師画像データとして利用してもよい。
【００５０】
また、本実施形態では画像変換のタスクとして高解像度化の例を示したが、入力画像データに対応する別ドメインの画像データ、すなわち別の特性を有する画像データを出力する画像変換技術一般に適用できる。画像変換技術としては、例えばノイズ除去、ブラー除去、領域分割、色相付与、テクスチャ変換、デプスマップ推定などが挙げられる。
【００５１】
以上、本実施形態によれば、入力画像データの属性が経時変化した際にも、画像変換結果の不連続性を低減できる。
【実施形態２】
【００５２】
実施形態１では、学習用データセットにおける属性値の異なる教師画像データの構成比を、区域毎に段階的に変更する方法を示した。この方法では、区域ごとに学習用データセットを保持する必要があるため、大きな記憶容量が必要となる。これに対し、実施形態２では、学習用データセットの属性値の異なる教師画像データの構成比は一定とし、学習回数を段階的に変更する。以下で、実施形態２について説明するが、本実施形態の基本的な構成は実施形態１と同様であるため、その説明は割愛する。
【００５３】
図５に示すデータセット取得部５０６は、第１の属性値の教師画像データのみから構成される第１の学習用データセットと、第２の属性値の教師画像データのみから構成される第２の学習用データセットを構築し、学習部５０７に出力する。
【００５４】
学習部５０７は、混合比率決定部５０５から混合比率を受け取り、ある単一の学習モデルにおいて、第１の学習用データセットと第２の学習用データセットとを受け取った混合比率で交互に用いて学習を行う。すなわち、第１の学習用データセットでｍk1回、第２の学習用データセットでｍk2回の学習を行う。ｍk1、ｍk2は、式（１−１）、（１−２）に基づき、ｍk1＝ｍ（Ｍ−ｋ＋１）／（Ｍ＋１）、ｍk2＝ｍｋ／（Ｍ＋１）であり、ｍは学習に必要な学習回数である。このようにｋの値が大きくなる毎にｍk1の値は小さく、ｍk2は大きくなるため、段階的に変換結果の画像データの特性が変化する。
【００５５】
これにより、第１の属性値の教師画像データと第２の属性値の教師画像データとの中間的な特徴を持った画像データへの画像変換ができる。
【００５６】
なお、学習回数に替えて、学習率を段階的に変更してもよい。学習回数を第１の学習用データセットと第２の学習用データセットとで一律とし、それぞれのデータセットで学習する際の学習率を学習回数ｍk1、ｍk2に比例するようにする。
【００５７】
また、学習用データセットでなく、学習用バッチの構成比を段階的に変化させてもよい。ニューラルネットワークを学習させる際には、小規模な画像データ集合である学習用バッチを用意し、その学習用バッチで学習を行う、という事を繰り返す。学習用バッチ内の画像データ数をｎとし、属性値の異なる画像データ数の比率を式（１−１）、（１−２）に従うように学習用バッチを構成してもよい。又は、第１の学習用データセットと第２の学習用データセットとからそれぞれ確率ｐk1とｐk2とで教師画像データを選んで学習用バッチを構成してもよい。ここに、
【００５８】
【数３】
2020197926.tif 000005
【００５９】
【数４】
2020197926.tif 000006
【００６０】
というように、学習回数ｍk1、ｍk2に比例するように確率ｐk1、ｐk2を設定する。なお、関数ｆを、比例式のみならず、多項式や指数関数としてもよい。また、関数ｆを任意の関数とし、その入出力の対応関係をルックアップテーブルとして保持してもよい。
【００６１】
また、学習後に、求めた変換パラメータを混合比率に基づいて混合しても構わない。すなわち、第１の学習用データセットのみで学習を行って得られた変換パラメータθk1と、第２の学習用データセットのみで学習を行って得られた変換パラメータθk2とが求まっているとき、
【００６２】
【数５】
2020197926.tif 000007
【００６３】
として変換パラメータθkを算出し、画像変換部５０８に出力する。
【００６４】
以上のように、本実施形態によれば、比率変更段階数Ｍに依らず、１回の属性値変化につき学習用データセットを２個保持すれば良いため、記憶容量を節減できる。
【実施形態３】
【００６５】
実施形態１、２では、時間的に属性値の変化を検出し、画像変換結果の不連続性を低減した。本実施形態では、領域による属性値の変化から引き起こされる不連続性、即ち領域不連続性を低減する例を示す。本実施形態の基本的な構成は実施形態１と同様であるため、その説明は割愛する。
【００６６】
本実施形態の処理を、図８を用いて説明する。ここでは、競技場（スタジアム）に設置された看板を撮像する状況を例にとって説明する。撮像画像データ８０１は、日向と日陰にまたがって配置されている看板を撮像して得られた画像データである。看板の左側には日光が当たっているが、右側は屋根等により日光が遮られて日陰となっている。スタジアムの屋根とグラウンドに置かれた看板のように被写体と光を遮る物との距離が長い場合、光が回り込んで日向の領域と日陰の領域との間では照度が連続的に変化する。そのため、撮像画像データ８０１は、日向の領域と日陰の領域との間で連続的に輝度値が変化する画像データとなっている。
【００６７】
日向の領域の画像データ８０２を高解像度化する際には、日向の領域の画像データで構成した学習用データセット８０３で学習を行う。同様に、日陰の画像データ８０６を高解像度化する際には、日陰の領域の画像データで構成したデータセット８０７で学習を行う。
【００６８】
日向と日陰との境界は、予め記憶されたスタジアムの３次元形状と、ステレオ画像データなどから算出した看板の３次元形状と、スタジアム、看板、及び太陽などの光源の相対的な位置関係とに基づくシミュレーション結果に基づき算出することができる。シミュレーション結果から日向と判定された３次元位置に対応する部分画像データに対して日向の属性値をタグ付けし、日陰に判定された３次元位置に対応する部分画像データに対して日陰の属性値をタグ付けする。このようにタグ付けされた属性値に基づき、属性値変化の検出を行う。
【００６９】
但し、これだけでは、画像データ８０８のように、日向と日陰の切り替わり領域において輝度値が大きく変化し、輝度値に関して領域不連続性が増大する。そこで、日向と日陰とが切り替わる領域（属性値が変化する境界線から所定の距離までの領域）の画像データ８０４を高解像度化する際には、日向の画像データと日陰の画像データとを混合して構成した学習用データセット８０５を用いて学習を行う。
【００７０】
これにより、日向と日陰という属性値の異なる画像データの特徴を併せ持った変換結果が出力される。実施形態１と同様、画像変換する部分画像データを細分化し、学習用データセットにおける属性値の異なる教師画像データの構成比を細分化された部分画像データ毎に段階的に変化させることで、領域不連続性を低減することができる。
【００７１】
なお、上記では被写体として看板を、属性値として日向と日陰を例にとって説明したが、その他の被写体や属性値変化にも本実施形態を適用可能である。
【００７２】
以上、本実施形態によれば、画像変換処理において単一画像データ内の領域不連続性を低減することができる。
【実施形態４】
【００７３】
実施形態４では、適切な学習用データセット構築と不連続性の低減とを支援するＵＩについて記載する。
【００７４】
図９は、画像変換結果の確認と、学習用データセット構築方法の指定とを行うＵＩの構成例である。ウインドウ９０１は表示装置１０７に表示される表示画面であり、ウインドウ９０２は画像変換結果を動画として表示するものである。画像処理装置１０６は、最初に、実施形態１乃至３のいずれかの方法に従って変換パラメータの学習と学習して得られた変換パラメータに基づく画像変換とを行い、画像変換した動画を表示する。ユーザは、再生ボタン及びシークバー９０３を操作し、動画に違和感や画像データの特性に大きな不連続性がないかを確認する。画像処理装置が判定した属性値変化の概要は、区域バー９０４に表示される。図９の例では、３回の属性値変化が検出されており、動画全体が４つの区域に分割されている。特定の区域を選択することで、属性情報ウインドウ９０５を閲覧することができ、その区域の属性と、属性値がどう変化したかを確認できる。
【００７５】
また、ユーザは学習用データセット構築のハイパーパラメータである属性値変化時刻Ｔ、比率変更段階数Ｍ、属性値変化時間幅Ｗの値を再設定し、画像変換結果を更新させることができる。スライドバー９０６、９０７、９０８を操作することで、属性値変化時刻Ｔ、比率変更段階数Ｍ、属性値変化時間幅Ｗのそれぞれの値を増減させることができる。ここで、属性値変化時刻Ｔを変更するとは、データセットの切り替えの基準となる属性値、例えば輝度レベルを変更することであり、属性値変化時間幅Ｗを変更するとは、変化領域データの範囲を変更することである。
【００７６】
また、区域バー９０４で１つの区域が選択された状態でボタン９０９が押下された場合には、１つの区域が複数の区域に分割される。この区域の分割は、データセットの切り替えの基準となる属性値の１つ、例えば輝度レベルを新たに設定することである。逆に区域バー９０４で複数の区域が選択された状態でボタン９１０が押下された場合には、複数の区域が１つの区域に結合される。この区域の結合は、データセットの切り替えの基準となる属性値の１つ、例えば輝度レベルの１つを削除することである。
【００７７】
以上の変更を行った後に再学習ボタン９１１が押下されると、設定されたハイパーパラメータや条件に基づいて学習が再度行われ、その結果が反映された映像データがウインドウ９０２に表示される。このとき、最初は少ない学習時間での画像変換結果をプレビューし、バックグラウンドで残りの学習を継続しつつ、プレビューを随時更新する。
【００７８】
保存ボタン９１２が押下されると、変換結果の動画が保存される。同時に、動画に付与された属性情報、属性値変化の情報、学習用データセットの構成が追加の履歴データとしてファイルに保存される。次回以降の画像変換を行う時に、この履歴データを参照することにより、過去に構築したものと同様のデータセットを構築することができる。
【００７９】
以上により、本実施形態によれば、ユーザは画像変換結果を確認しつつ、適切なデータセット構築と画像変換を行うことができる。
【実施形態５】
【００８０】
本開示の技術は、天気や日照といった環境の属性が変化した場合だけでなく、被写体の属性に変化が起こった場合にも適用できる。その例を、図１０を用いて説明する。
【００８１】
図１０は、カメラの向きや焦点距離の変化により、カメラの被写体が変化する例である。ある時点では画像データ１００１のように複数の異なる属性値を有する人物を含むシーンが撮像され、その後画像データ１００２のように特定の人物のみがズームして撮像されている。
【００８２】
画像データ１００１、１００２において撮像された被写体の顔画像データを、学習用データセットを用いて高解像度化する場合、含まれる被写体の顔画像データの属性値の変化に応じて学習用データセットを変更することで変換精度を向上させることができる。すなわち、画像データ１００１のように特定の属性に関して異なる属性値を有する人物群の顔画像データすべてを同時に処理するには、そこに含まれる複数の属性値を有する複数の人物群の画像データを混合したデータセット１００３を用いて学習を行えばよい。
【００８３】
一方、画像データ１００２のように特定の人物のみが映った画像データを高解像度化する場合には、その人物が有する属性値を有する人物群の画像データのみのデータセット１００４を構築して学習を行う。そして、属性の切り替わり時、すなわちズーム中は、両データセットを一定の比率で混合したデータセットで学習と画像変換を行う。
【００８４】
なお、ズームに伴い映り込む人物（被写体）構成の変化を検出する方法としては、画像データから検出可能な被写体の特徴量に基づき判定してもよいし、ＧＰＳなどを用いて取得した各被写体の３次元位置に基づき判定してもよい。
【００８５】
このように、本開示の技術は、被写体の属性値に基づいて学習用データセットを使い分ける場合においても適用可能である。
【００８６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８７】
１０６  画像処理装置
５０５  混合比率決定部
５０７  学習部
５０８  画像変換部
【図１】
2020197926.tif 000008
【図２】
2020197926.tif 000009
【図３】
2020197926.tif 000010
【図４】
2020197926.tif 000011
【図５】
2020197926.tif 000012
【図６】
2020197926.tif 000013
【図７】
2020197926.tif 000014
【図８】
2020197926.tif 000015
【図９】
2020197926.tif 000016
【図１０】
2020197926.tif 000017