(57)【要約】  ダウンスケール画像を表す画像データから、ダウンスケール画像よりも高解像度である、オリジナル画像により類似する画像を生成できる画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラムを提供する。エンコード処理部（２４）は、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する。付加データ生成部（２６）は、オリジナル画像に基づいて、画像データのみからは特定不能な付加データを生成する。データ送信部（２８）は、画像データ及び付加データを送信する。データ受信部（３０）は、画像データ及び付加データを受信する。アップスケール部（３４）は、画像データ及び付加データに基づいて、ダウンスケール画像よりも高解像度であるアップスケール画像を生成する。表示制御部（３６）は、アップスケール画像を表示させる。
2020179205.tif 000002
【特許請求の範囲】
【請求項１】
画像送信装置と、画像受信装置と、を含み、
前記画像送信装置は、
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、
前記画像データ及び前記付加データを送信するデータ送信部と、を含み、
前記画像受信装置は、
前記画像データ及び前記付加データを受信するデータ受信部と、
前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像送受信システム。
【請求項２】
前記付加データ生成部は、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部、を含み、
前記データ送信部は、前記特徴量データを含む前記付加データを送信し、
前記アップスケール部は、前記画像データ及び前記特徴量データに基づいて、前記アップスケール画像を生成する、
ことを特徴とする請求項１に記載の画像送受信システム。
【請求項３】
前記付加データ生成部は、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、を含み、
前記データ送信部は、前記超解像処理方式データを含む前記付加データを送信し、
前記アップスケール部は、前記画像データ及び前記超解像処理方式データに基づいて、前記アップスケール画像を生成する、
ことを特徴とする請求項１に記載の画像送受信システム。
【請求項４】
前記アップスケール部は、前記画像データに基づいて生成される画像及び前記超解像処理方式データの入力に応じて、前記アップスケール画像を出力する学習済の機械学習モデルを含む、
ことを特徴とする請求項３に記載の画像送受信システム。
【請求項５】
前記特徴量データには、前記オリジナル画像の特徴点、エッジ強度、前記オリジナル画像に含まれる各画素の奥行き、前記オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれる、
ことを特徴とする請求項２から４のいずれか一項に記載の画像送受信システム。
【請求項６】
前記データ送信部は、前記付加データを、前記画像データよりも優先して前記画像受信装置に送信する、
ことを特徴とする請求項１から５のいずれか一項に記載の画像送受信システム。
【請求項７】
前記アップスケール部は、前記画像データの時系列及び前記付加データの時系列に基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する、
ことを特徴とする請求項１に記載の画像送受信システム。
【請求項８】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、
前記画像データ及び前記付加データを、当該画像データ及び当該付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信するデータ送信部と、
を含むことを特徴とする画像送信装置。
【請求項９】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを送信するデータ送信部と、を含む画像送信装置から、前記画像データ及び前記付加データを受信するデータ受信部と、
前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像受信装置。
【請求項１０】
画像送信装置が、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成するステップと、
前記画像送信装置が、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成するステップと、
前記画像送信装置が、前記画像データ及び前記付加データを送信するステップと、
画像受信装置が、前記画像データ及び前記付加データを受信するステップと、
前記画像受信装置が、前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するステップと、
前記画像受信装置が、前記アップスケール画像を表示させるステップと、
を含むことを特徴とする画像送受信方法。
【請求項１１】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する手順、
前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する手順、
前記画像データ及び前記付加データを、当該画像データ及び当該付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信する手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを送信するデータ送信部と、を含む画像送信装置から、前記画像データ及び前記付加データを受信する手順、
前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する手順、
前記アップスケール画像を表示させる手順、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラムに関する。
【背景技術】
【０００２】
近年注目されているクラウドゲーミングサービスの技術においては、ゲームのプログラムが実行されるクラウドサーバと通信可能な端末に対して当該ゲームをプレイするユーザが操作を行うと、当該操作に応じた操作信号が端末からクラウドサーバに送信される。そしてクラウドサーバにおいて当該操作信号に応じた処理などを含むゲーム処理が実行され、当該ゲームのプレイ状況を表すプレイ画像が生成される。そして、当該プレイ画像がクラウドサーバから端末に送信され、端末において当該プレイ画像が表示される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
発明者らは、クラウドサーバにおいて生成される画像をダウンスケールした画像を表す画像データがクラウドサーバから端末に送信されるようにすることで、クラウドサーバと端末との間の通信量を削減することを検討している。以下、クラウドサーバにおいて生成される画像を、オリジナル画像と呼び、オリジナル画像をダウンスケールした画像を、ダウンスケール画像と呼ぶこととする。【０００４】
この場合、もともとクラウドサーバにおいて生成されていたオリジナル画像に類似する、ダウンスケール画像よりも高解像度である画像（例えばオリジナル画像と同程度の解像度の画像）が端末において表示されるようにすることが望ましい。ここで例えば、画像データを受信する端末が、当該画像データに基づいて、超解像技術などを用いてオリジナル画像に類似する画像を生成することが考えられる。【０００５】
しかし、ダウンスケール画像を表す画像データのみに基づいて上述のようにして生成される画像がオリジナル画像に類似しないことがあった。【０００６】
なおこのことはクラウドゲーミングサービスが提供される状況のみならず、上述のクラウドサーバに相当する画像送信装置からオリジナル画像をダウンスケールした画像が送信され、上述の端末に相当する画像受信装置がオリジナル画像をダウンスケールした画像を受信する状況において一般的にあてはまる。【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ダウンスケール画像を表す画像データから、ダウンスケール画像よりも高解像度である、オリジナル画像により類似する画像を生成できる画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像送受信システムは、画像送信装置と、画像受信装置と、を含み、前記画像送信装置は、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを送信するデータ送信部と、を含み、前記画像受信装置は、前記画像データ及び前記付加データを受信するデータ受信部と、前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む。【０００９】
本発明の一態様では、前記付加データ生成部は、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部、を含み、前記データ送信部は、前記特徴量データを含む前記付加データを送信し、前記アップスケール部は、前記画像データ及び前記特徴量データに基づいて、前記アップスケール画像を生成する。【００１０】
あるいは、前記付加データ生成部は、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、を含み、前記データ送信部は、前記超解像処理方式データを含む前記付加データを送信し、前記アップスケール部は、前記画像データ及び前記超解像処理方式データに基づいて、前記アップスケール画像を生成する。【００１１】
この態様では、前記アップスケール部は、前記画像データに基づいて生成される画像及び前記超解像処理方式データの入力に応じて、前記アップスケール画像を出力する学習済の機械学習モデルを含んでいてもよい。【００１２】
また、前記特徴量データには、前記オリジナル画像の特徴点、エッジ強度、前記オリジナル画像に含まれる各画素の奥行き、前記オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれていてもよい。【００１３】
また、本発明の一態様では、前記データ送信部は、前記付加データを、前記画像データよりも優先して前記画像受信装置に送信する。【００１４】
また、本発明の一態様では、前記アップスケール部は、前記画像データの時系列及び前記付加データの時系列に基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する。【００１５】
また、本発明に係る画像送信装置は、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを、当該画像データ及び当該付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信するデータ送信部と、を含む。【００１６】
また、本発明に係る画像受信装置は、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを送信するデータ送信部と、を含む画像送信装置から、前記画像データ及び前記付加データを受信するデータ受信部と、前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む。【００１７】
また、本発明に係る画像送受信方法は、画像送信装置が、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成するステップと、前記画像送信装置が、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成するステップと、前記画像送信装置が、前記画像データ及び前記付加データを送信するステップと、画像受信装置が、前記画像データ及び前記付加データを受信するステップと、前記画像受信装置が、前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するステップと、前記画像受信装置が、前記アップスケール画像を表示させるステップと、を含む。【００１８】
また、本発明に係るプログラムは、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する手順、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する手順、前記画像データ及び前記付加データを、当該画像データ及び当該付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信する手順、をコンピュータに実行させる。【００１９】
また、本発明に係る別のプログラムは、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、前記画像データのみからは特定不能な付加データを生成する付加データ生成部と、前記画像データ及び前記付加データを送信するデータ送信部と、を含む画像送信装置から、前記画像データ及び前記付加データを受信する手順、前記画像データ及び前記付加データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する手順、前記アップスケール画像を表示させる手順、をコンピュータに実行させる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。
【図２】本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。
【図３】付加データ生成部の構成の一例を示す図である。
【図４】本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。
【図５】本発明の一実施形態に係る端末において行われる処理の流れの一例を示すフロー図である。
【図６】入力判定関数用辞書の一例を模式的に示す図である。
【図７】図６に示す入力判定関数用辞書の学習の一例を模式的に示す図である。
【図８】出力生成関数用辞書の一例を模式的に示す図である。
【図９】図８に示す出力生成関数用辞書の学習の一例を模式的に示す図である。
【図１０】本発明の一実施形態に係る端末において行われる処理の流れの別の一例を示すフロー図である。
【図１１】アップスケールモデルの一例を模式的に示す図である。
【図１２】図１０に示すアップスケールモデルの学習の一例を模式的に示す図である。
【図１３】付加データ生成部の構成の別の一例を示す図である。
【図１４】超解像処理方式データ生成モデルの一例を模式的に示す図である。
【図１５】図１４に示す超解像処理方式データ生成モデルの学習の一例を模式的に示す図である。
【図１６】アップスケールモデルの別の一例を模式的に示す図である。
【図１７】図１６に示すアップスケールモデルの学習の一例を模式的に示す図である。
【発明を実施するための形態】
【００２１】
図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。
【００２２】
本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。
【００２３】
図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。
【００２４】
プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００２５】
記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００２６】
通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。
【００２７】
エンコード・デコード部１０ｄは、例えば画像をエンコードして画像データを生成するエンコーダと画像データをデコードして画像を生成するデコーダとを含む。
【００２８】
本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。
【００２９】
図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。
【００３０】
プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００３１】
記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００３２】
通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。
【００３３】
エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
【００３４】
操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。
【００３５】
表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。
【００３６】
本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すプレイ画像が生成される。本実施形態では、所定のフレームレート（例えば６０ｆｐｓ）で、ゲーム処理及びプレイ画像の生成が実行される。なお、本実施形態において、可変のフレームレートで、ゲーム処理及びプレイ画像の生成が実行されてもよい。
【００３７】
ここで本実施形態では当該プレイ画像を表す画像データではなく、当該プレイ画像をダウンスケールした画像を表す画像データが、クラウドサーバ１０から端末１２に送信される。以下、ダウンスケールされる前のプレイ画像をオリジナル画像と呼び、オリジナル画像をダウンスケールした画像をダウンスケール画像と呼ぶこととする。ここで、オリジナル画像が４Ｋ画像であり、ダウンスケール画像が２Ｋ画像であってもよい。
【００３８】
そして端末１２は、クラウドサーバ１０から受信する画像データに基づいて、上述のダウンスケール画像よりも高解像度である画像を生成する。以下、このようにして生成される、ダウンスケール画像よりも高解像度である画像を、アップスケール画像と呼ぶこととする。そして、端末１２の表示部１２ｆにアップスケール画像が表示される。
【００３９】
ここでアップスケール画像は、できるだけオリジナル画像に類似する画像であることが望ましい。ところがダウンスケール画像を表す画像データのみからアップスケール画像を生成する場合には、オリジナル画像に類似する画像が生成されないことがあった。
【００４０】
そこで本実施形態では以下のようにして、ダウンスケール画像を表す画像データから、ダウンスケール画像よりも高解像度である、オリジナル画像により類似する画像を生成できるようにした。
【００４１】
以下、アップスケール画像の生成を中心に、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドゲーミングシステム１で実行される処理について、さらに説明する。
【００４２】
図２は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図２に示す機能のすべてが実装される必要はなく、また、図２に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の機能など）が実装されていても構わない。
【００４３】
図２に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、オリジナル画像生成部２０、ダウンスケール部２２、エンコード処理部２４、付加データ生成部２６、データ送信部２８、が含まれる。クラウドサーバ１０は、本実施形態において、画像データを送信する画像送信装置としての役割を担うこととなる。
【００４４】
オリジナル画像生成部２０、ダウンスケール部２２、付加データ生成部２６は、プロセッサ１０ａを主として実装される。エンコード処理部２４は、エンコード・デコード部１０ｄを主として実装される。データ送信部２８は、通信部１０ｃを主として実装される。
【００４５】
そして以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
【００４６】
また、図２に示すように、本実施形態に係る端末１２には、機能的には例えば、データ受信部３０、デコード処理部３２、アップスケール部３４、表示制御部３６、が含まれる。データ受信部３０は、通信部１２ｃを主として実装される。デコード処理部３２は、エンコード・デコード部１２ｄを主として実装される。アップスケール部３４は、プロセッサ１２ａ及び記憶部１２ｂを主として実装される。表示制御部３６は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。端末１２は、本実施形態において、画像データを受信する画像受信装置としての役割を担うこととなる。
【００４７】
そして以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
【００４８】
オリジナル画像生成部２０は、本実施形態では例えば、上述のオリジナル画像を生成する。上述の通り、オリジナル画像は、例えば、ゲームのプレイ状況を表すプレイ画像である。
【００４９】
ダウンスケール部２２は、本実施形態では例えば、オリジナル画像生成部２０が生成するオリジナル画像をダウンスケールしたダウンスケール画像を生成する。
【００５０】
エンコード処理部２４は、本実施形態では例えば、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する。例えば、エンコード処理部２４は、ダウンスケール部２２により生成されるダウンスケール画像をエンコードすることで、当該ダウンスケール画像を表す画像データを生成する。ここでダウンスケール画像をエンコードすることで、当該ダウンスケール画像が圧縮され、当該ダウンスケール画像よりもサイズが小さな画像データが生成されてもよい。ダウンスケール画像のエンコードに用いられるエンコード方式として、ＭＰＥＧ−４  ＡＶＣ(Advanced Video Coding)／Ｈ.２６４／やＨＥＶＣ(High Efficiency Video Coding)／Ｈ２６５などが挙げられる。
【００５１】
付加データ生成部２６は、本実施形態では例えば、オリジナル画像生成部２０により生成されるオリジナル画像に基づいて、ダウンスケール画像を表す画像データのみからは特定不能な付加データを生成する。
【００５２】
ここで、図３に示すように、付加データ生成部２６が、オリジナル画像の特徴量、及び、ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部２６ａを含んでいてもよい。
【００５３】
ここで特徴量データには、オリジナル画像の特徴点、エッジ強度、オリジナル画像に含まれる各画素の奥行き、及び、オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示すMotion Estimation（ＭＥ）情報のうちの少なくとも１つを示すデータが含まれていてもよい。例えば、特徴量データ生成部２６ａが、オリジナル画像の特徴量を抽出し、抽出される特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、オリジナル画像のテクスチャの種類を示すデータ（例えば、edge領域、flat領域、high density領域、detail領域、crowd領域の位置を示すデータ）が含まれていてもよい。また当該特徴量データには、オリジナル画像におけるハリス・コーナー特徴点の位置や、エッジ強度を示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像におけるオプティカル・フローを示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像に含まれる各画素の奥行きを示すデプスデータが含まれていてもよい。
【００５４】
また特徴量データ生成部２６ａは、オリジナル画像に対して物体認識処理を実行してもよい。そして、物体認識処理により特定されたオリジナル画像が表す物体を示すデータが、特徴量データに含まれていてもよい。
【００５５】
また、特徴量データ生成部２６ａは、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、画像内の矩形領域がどの方向にどの速度で動いているかを示すMotion Estimation（ＭＥ）情報のデータが含まれていてもよい。また、当該特徴量データには、ＣＵユニットの大きさ毎の、当該大きさのＣＵユニットが割り当てられた位置を示すＣＵユニット割り当て情報のデータが含まれていてもよい。また、当該特徴量データには、高画質化のために高ビットレートが割り当てられた領域であるResion of Interesting（ＲＯＩ）領域を示すデータが含まれていてもよい。また、当該特徴量データには、量子化パラメータの値を示すデータが含まれていてもよい。また当該特徴量データには、シーンが切り替わったか否かを示すデータや、キーフレーム（Ｉフレーム）であるか否かを示すデータが含まれていてもよい。
【００５６】
また例えば、特徴量データ生成部２６ａは、オリジナル画像の特徴量と、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量と、を示す特徴量データを生成してもよい。また例えば、オリジナル画像の特徴量を示すデータとエンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータとに基づいて生成されるデータを含む特徴量データが生成されてもよい。例えば、特徴量データ生成部２６ａが、オリジナル画像の特徴量を示すデータと、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータと、に基づいて、超解像処理の実行要否を決定してもよい。そして、特徴量データ生成部２６ａが、超解像処理の実行要否を示すデータを含む特徴量データを生成してもよい。
【００５７】
そして、付加データ生成部２６は、特徴量データ生成部２６ａが生成する上述の特徴量データを含む付加データを生成してもよい。
【００５８】
データ送信部２８は、本実施形態では例えば、画像データと、当該画像データに対応する付加データと、互いに関連付けて端末１２に送信する。ここで例えば、オリジナル画像をダウンスケールしたダウンスケール画像に基づいて生成される画像データと、当該オリジナル画像に基づいて生成される付加データとが、互いに関連付けられた状態で端末１２に送信されてもよい。また付加データは、画像データのサイドバンド情報として、クラウドサーバ１０から端末１２に送信されてもよい。
【００５９】
ここでクラウドサーバ１０と端末１２との間の通信量を削減するために、付加データ生成部２６が生成する付加データのサイズはできるだけ小さいことが望ましい。
【００６０】
データ受信部３０は、本実施形態では例えば、クラウドサーバ１０から送信される、上述の画像データ及び上述の付加データを受信する。
【００６１】
デコード処理部３２は、本実施形態では例えば、データ受信部３０が受信する画像データをデコードすることにより画像を生成する。以下、このようにして生成される画像をデコード画像と呼ぶこととする。本実施形態では、デコード画像は、ダウンスケール画像と同じ解像度の画像（例えば２Ｋ画像）である。ダウンスケール画像のエンコード方式が不可逆方式である場合は、通常、デコード画像はダウンスケール画像とは完全には同じではない。
【００６２】
アップスケール部３４は、本実施形態では例えば、データ受信部３０が受信する画像データ及び付加データに基づいて、ダウンスケール部２２により生成されるダウンスケール画像よりも高解像度であるアップスケール画像を生成する。ここで例えば、アップスケール部３４が、データ受信部３０が受信する画像データ、及び、データ受信部３０が受信する付加データに含まれる特徴量データに基づいて、アップスケール画像を生成してもよい。アップスケール画像は、オリジナル画像と同じ解像度の画像（例えば４Ｋ画像）であってもよい。アップスケール画像の生成処理の詳細については後述する。
【００６３】
表示制御部３６は、本実施形態では例えば、アップスケール部３４により生成されるアップスケール画像を表示させる。ここでは例えば、表示制御部３６は、端末１２の表示部１２ｆにアップスケール画像を表示させる。
【００６４】
ここで、本実施形態に係るクラウドサーバ１０において実行される、画像データの生成処理及び送信処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。図４に示すＳ１０１〜Ｓ１０５に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ１０１〜Ｓ１０５に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【００６５】
まず、オリジナル画像生成部２０が、当該フレームにおけるオリジナル画像を生成する（Ｓ１０１）。ここで上述のように、当該フレームにおいて端末１２から受け付ける操作信号の影響を受けた当該ゲームのプレイ状況を表すオリジナル画像が生成されてもよい。
【００６６】
そして、ダウンスケール部２２が、Ｓ１０１に示す処理で生成されたオリジナル画像に対してダウンスケール処理を実行することにより、ダウンスケール画像を生成する（Ｓ１０２）。
【００６７】
そして、エンコード処理部２４が、Ｓ１０２に示す処理で生成されたダウンスケール画像に対してエンコード処理を実行することにより、画像データを生成する（Ｓ１０３）。
【００６８】
そして、付加データ生成部２６が、付加データを生成する（Ｓ１０４）。Ｓ１０４に示す処理では、例えば、特徴量データ生成部２６ａが、Ｓ１０１に示す処理で生成されたオリジナル画像の特徴量を示す特徴量データを生成してもよい。ここで例えば、Ｓ１０１に示す処理で生成されたオリジナル画像から抽出される特徴量を示す特徴量データが生成されてもよい。また例えば、特徴量データ生成部２６ａが、Ｓ１０３に示すエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。また例えば、特徴量データ生成部２６ａが、Ｓ１０１に示す処理で生成されたオリジナル画像から抽出される特徴量と、Ｓ１０３に示すエンコードに用いられるパラメータである特徴量の両方を示す特徴量データを生成してもよい。そして付加データ生成部２６が、特徴量データ生成部２６ａにより生成される特徴量データを含む付加データを生成してもよい。
【００６９】
そして、データ送信部２８が、Ｓ１０３に示す処理で生成された画像データ、及び、Ｓ１０４に示す処理で生成された付加データを、端末１２に送信し（Ｓ１０５）、Ｓ１０１に示す処理に戻る。
【００７０】
次に、本実施形態に係る端末１２において実行される、アップスケール画像の生成処理及び表示制御処理の流れの一例を、図５に例示するフロー図を参照しながら説明する。図５に示すＳ２０１〜Ｓ２０６に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ２０１〜Ｓ２０６に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【００７１】
まず、データ受信部３０が、Ｓ１０５に示す処理でクラウドサーバ１０から送信された画像データ、及び、付加データを受信する（Ｓ２０１）。
【００７２】
そして、デコード処理部３２が、Ｓ２０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ２０２）。
【００７３】
そして、アップスケール部３４が、当該デコード画像が超解像に向いているか否か、超解像処理で用いられる補間アルゴリズムの種類、重み付けの種類、調整パラメータ群などを示すアルゴリズムデータを生成する（Ｓ２０３）。補間アルゴリズムの種類としては、例えば、線形補間や、ＦＣＢＩ（Fast Curvature Based Interpolation）や、ＩＣＢＩ（Iterative Curve Based Interpolation）などが挙げられる。ここで、Ｓ２０２に示す処理で生成されたデコード画像とＳ２０１に示す処理で受信された付加データに含まれる特徴量データとに基づいて、アルゴリズムデータが生成されてもよい。
【００７４】
Ｓ２０３に示す処理では、例えば、超解像処理に用いられる公知の入力判定関数、あるいは、公知ではない新たに創作された入力判定関数に基づいて、アルゴリズムデータが生成されてもよい。また例えば、図６に示す入力判定関数用辞書４０を用いてアルゴリズムデータが生成されてもよい。
【００７５】
図６に示す入力判定関数用辞書４０は、例えば、学習済の機械学習モデルにより実装されている。ここで当該学習済の機械学習モデルが、深層学習の技術を用いたものであってもよい。また、入力判定関数用辞書４０は、例えば、アップスケール部３４に含まれる。
【００７６】
図６に示す入力判定関数用辞書４０には、例えば、Ｓ２０２に示す処理で生成されたデコード画像とＳ２０１に示す処理で受信された付加データに含まれる特徴量データとが入力される。そして入力判定関数用辞書４０は、当該入力に応じてアルゴリズムデータを出力する。
【００７７】
図７は、図６に示す入力判定関数用辞書４０の学習の一例を模式的に示す図である。入力判定関数用辞書４０では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、入力判定関数用辞書４０の出力であるアルゴリズムデータと比較される教師データであるアルゴリズム教師データと、が含まれる。
【００７８】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【００７９】
そして当該学習入力画像から当該高解像度画像を生成するのに適したアルゴリズムデータであるアルゴリズム教師データが、例えば、経験則、ユーザによる目視による確認、様々な種類のアルゴリズムデータを用いた実験などによって特定されてもよい。
【００８０】
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと上述のアルゴリズム教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、入力判定関数用辞書４０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが入力判定関数用辞書４０に入力された際の出力であるアルゴリズムデータと、当該学習データに含まれるアルゴリズム教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により入力判定関数用辞書４０のパラメータが更新されることにより、入力判定関数用辞書４０の学習が実行されてもよい。
【００８１】
なお、入力判定関数用辞書４０の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって入力判定関数用辞書４０の学習が実行されてもよい。
【００８２】
またアルゴリズムデータに含まれる一部の要素については、入力判定関数による計算により、デコード画像に基づいて、あるいは、デコード画像及び特徴量データに基づいて、特定されてもよい。そして残りの要素について、入力判定関数用辞書４０から出力されるようにしてもよい。この場合は、当該残りの要素に対応する教師データを用いて入力判定関数用辞書４０の学習が実行されてもよい。
【００８３】
Ｓ２０３に示す処理が終了すると、アップスケール部３４が、画素の補間において当該画素の周辺のどの画素の画素値に基づいてどの比率でどの補間計算式を用いて当該画素の画素値を決定するか、などを示す生成パラメータデータを生成する（Ｓ２０４）。ここで、Ｓ２０３に示す処理で生成されたアルゴリズムデータとＳ２０２に示す処理で生成されたデコード画像とＳ２０１に示す処理で受信された特徴量データとに基づいて、生成パラメータデータが生成されてもよい。
【００８４】
Ｓ２０４に示す処理では、例えば、超解像処理に用いられる公知の出力生成関数に基づいて、あるいは、公知ではない新たに創作された出力生成関数に基づいて、生成パラメータデータが生成されてもよい。また例えば、図８に示す出力生成関数用辞書４２を用いて生成パラメータデータが生成されてもよい。
【００８５】
図８に示す出力生成関数用辞書４２は、例えば、学習済の機械学習モデルにより実装されている。ここで当該学習済の機械学習モデルが、深層学習の技術を用いたものであってもよい。また、出力生成関数用辞書４２は、例えば、アップスケール部３４に含まれる。
【００８６】
図８に示す出力生成関数用辞書４２には、例えば、Ｓ２０３に示す処理で生成されたアルゴリズムデータとＳ２０２に示す処理で生成されたデコード画像とＳ２０１に示す処理で受信された特徴量データとが入力される。そして出力生成関数用辞書４２は、当該入力に応じて生成パラメータデータを出力する。
【００８７】
図９は、図８に示す出力生成関数用辞書４２の学習の一例を模式的に示す図である。出力生成関数用辞書４２では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力アルゴリズムデータと学習入力画像と学習入力特徴量データとを含む学習入力データと、出力生成関数用辞書４２の出力である生成パラメータデータと比較される教師データである生成パラメータ教師データと、が含まれる。
【００８８】
例えば高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理を実行することで、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【００８９】
そして、当該学習入力画像から当該高解像度画像を生成するのに適したアルゴリズムデータである学習入力アルゴリズムデータの値が、例えば、経験則、目視による確認、様々な種類のアルゴリズムデータを用いた実験などによってユーザにより特定されてもよい。なおここで、学習済の機械学習モデルである入力判定関数用辞書４０に、学習入力画像と学習入力特徴量データとが入力された際の出力が、学習入力アルゴリズムデータとして特定されてもよい。
【００９０】
そして、当該学習入力画像から当該高解像度画像を生成するのに適した生成パラメータデータである生成パラメータ教師データが、例えば、経験則、ユーザによる目視による確認、様々な種類の生成パラメータデータを用いた実験などによって特定されてもよい。
【００９１】
そして、上述の学習入力アルゴリズムデータと上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと生成パラメータ教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、出力生成関数用辞書４２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが出力生成関数用辞書４２に入力された際の出力である生成パラメータデータと、当該学習データに含まれる生成パラメータ教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により出力生成関数用辞書４２のパラメータが更新されることにより、出力生成関数用辞書４２の学習が実行されてもよい。
【００９２】
なお、出力生成関数用辞書４２の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって出力生成関数用辞書４２の学習が実行されてもよい。
【００９３】
Ｓ２０４に示す処理が終了すると、アップスケール部３４が、超解像処理を実行して、Ｓ２０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ２０５）。Ｓ２０５に示す処理では、公知の超解像処理が実行されてもよいし、公知ではない新たに創作された超解像処理が実行されてもよい。ここでは例えば、Ｓ２０３に示す処理で生成されたアルゴリズムデータとＳ２０４に示す処理で生成された生成パラメータデータとに基づく超解像処理が実行される。
【００９４】
そして、表示制御部３６が、Ｓ２０５に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ２０６）、Ｓ２０１に示す処理に戻る。
【００９５】
次に、本実施形態に係る端末１２において実行される、アップスケール画像の生成処理及び表示制御処理の流れの別の一例を、図１０に例示するフロー図を参照しながら説明する。図１０に示すＳ３０１〜Ｓ３０４に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ３０１〜Ｓ３０４に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【００９６】
まず、データ受信部３０が、Ｓ１０５に示す処理でクラウドサーバ１０から送信された画像データ、及び、付加データを受信する（Ｓ３０１）。
【００９７】
そして、デコード処理部３２が、Ｓ２０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ３０２）。
【００９８】
そして、アップスケール部３４が、Ｓ３０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ３０３）。ここでは、図１１に例示する学習済の機械学習モデルであるアップスケールモデル４４を用いたアップスケール処理が実行される。ここでアップスケールモデル４４が、深層学習の技術を用いたものであってもよい。アップスケールモデル４４には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【００９９】
Ｓ３０３に示す処理では例えば、Ｓ３０２に示す処理で生成されたデコード画像及びＳ３０１に示す処理で受信された付加データに含まれる特徴量データがアップスケールモデル４４に入力される。そして、アップスケールモデル４４から、当該入力に応じたアップスケール画像が出力される。ここでアップスケールモデル４４は、例えば、アップスケール部３４に含まれる。
【０１００】
図１２は、図１１に示すアップスケールモデル４４の学習の一例を模式的に示す図である。アップスケールモデル４４では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、アップスケールモデル４４の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
【０１０１】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【０１０２】
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル４４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル４４に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル４４のパラメータが更新されることにより、アップスケールモデル４４の学習が実行されてもよい。
【０１０３】
なお、アップスケールモデル４４の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによってアップスケールモデル４４の学習が実行されてもよい。
【０１０４】
Ｓ３０３に示す処理が終了すると、表示制御部３６が、Ｓ３０３に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ３０４）、Ｓ３０１に示す処理に戻る。
【０１０５】
本実施形態では、図５に示すように、超解像処理を実行するによりアップスケール画像が生成されてもよいし、図１０に示すように超解像処理を実行することなくアップスケールモデル４４を用いることによりアップスケール画像が生成されてもよい。
【０１０６】
また本実施形態において、図１３に示すように、付加データ生成部２６に、特徴量データ生成部２６ａに加え、超解像処理方式データ生成部２６ｂが含まれていてもよい。
【０１０７】
超解像処理方式データ生成部２６ｂは、本実施形態では例えば、特徴量データ生成部２６ａが生成する特徴量データに基づいて、超解像処理に用いられるパラメータを含む超解像処理方式データを生成する。ここで、超解像処理方式データは、例えば、上述のアルゴリズムデータと上述の生成パラメータデータとを含むデータであってもよい。
【０１０８】
また、超解像処理方式データ生成部２６ｂが、図１４に例示する学習済の機械学習モデルである超解像処理方式データ生成モデル４６を用いて、超解像処理方式データを生成してもよい。ここで超解像処理方式データ生成モデル４６が、深層学習の技術を用いたものであってもよい。また、超解像処理方式データ生成モデル４６は、例えば、超解像処理方式データ生成部２６ｂに含まれる。超解像処理方式データ生成モデル４６には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１０９】
ここでは例えば、特徴量データ生成部２６ａが生成する特徴量データが超解像処理方式データ生成モデル４６に入力される。そして、超解像処理方式データ生成モデル４６が当該入力に応じて、超解像処理方式データを出力する。
【０１１０】
図１５は、図１４に示す超解像処理方式データ生成モデル４６の学習の一例を模式的に示す図である。超解像処理方式データ生成モデル４６では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力特徴量データである学習入力データと、超解像処理方式データ生成モデル４６の出力である超解像処理方式データと比較される教師データである超解像処理方式教師データと、が含まれる。
【０１１１】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【０１１２】
そして、当該学習入力画像から当該高解像度画像を生成するのに適した超解像処理方式データである超解像処理方式教師データの値が、例えば、経験則、目視による確認、様々な種類の超解像処理方式データを用いた実験などによってユーザにより特定されてもよい。
【０１１３】
そして、上述の学習入力特徴量データである学習入力データと超解像処理方式教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、超解像処理方式データ生成モデル４６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが超解像処理方式データ生成モデル４６に入力された際の出力である超解像処理方式データと、当該学習データに含まれる超解像処理方式教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により超解像処理方式データ生成モデル４６のパラメータが更新されることにより、超解像処理方式データ生成モデル４６の学習が実行されてもよい。
【０１１４】
付加データ生成部２６に超解像処理方式データ生成部２６ｂが含まれる場合は、図４のＳ１０４に示す処理において、特徴量データ生成部２６ａが特徴量データを生成した後に、超解像処理方式データ生成部２６ｂが、超解像処理方式データを生成してもよい。そして、付加データ生成部２６が、超解像処理方式データ生成部２６ｂにより生成される超解像処理方式データを含む付加データを生成してもよい。そして、Ｓ１０５に示す処理において、データ送信部２８が、Ｓ１０３に示す処理で生成された画像データ、及び、Ｓ１０４に示す処理で生成された、超解像処理方式データを含む付加データを、端末１２に送信してもよい。
【０１１５】
そしてこの場合、図５に示す処理例でのＳ２０３〜Ｓ２０５に示す処理の代わりに、Ｓ２０１に示す処理で受信した付加データに含まれる超解像処理方式データを用いた公知の超解像処理、あるいは、公知ではない新たに創作された超解像処理が実行されてもよい。そして、このことによって、Ｓ２０２に示す処理で生成されたデコード画像をアップスケールしたアップスケール画像が生成されるようにしてもよい。
【０１１６】
あるいは、図１０に示す処理例でのＳ３０３に示す処理において、図１６に例示する学習済の機械学習モデルであるアップスケールモデル４８を用いて、Ｓ３０２に示す処理で生成されたデコード画像をアップスケールしたアップスケール画像が生成されてもよい。アップスケールモデル４８には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１１７】
ここでは例えば、Ｓ３０２に示す処理で生成されたデコード画像及びＳ３０１に示す処理で受信された付加データに含まれる超解像処理方式データがアップスケールモデル４８に入力される。そして、当該入力に応じたアップスケールモデル４８から、当該デコード画像をアップスケールしたアップスケール画像が出力される。ここでアップスケールモデル４８が、深層学習の技術を用いたものであってもよい。また、アップスケールモデル４８は、例えば、アップスケール部３４に含まれる。
【０１１８】
図１７は、図１６に示すアップスケールモデル４８の学習の一例を模式的に示す図である。アップスケールモデル４８では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力超解像処理方式データとを含む学習入力データと、アップスケールモデル４８の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
【０１１９】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する超解像処理方式データである学習入力超解像処理方式データが生成されてもよい。なお、後述のように当該高解像度画像は、アップスケール教師画像として用いられる。
【０１２０】
そして、上述の学習入力画像と上述の学習入力超解像処理方式データとを含む学習入力データと上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル４８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル４８に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル４８のパラメータが更新されることにより、アップスケールモデル４８の学習が実行されてもよい。
【０１２１】
本実施形態において、データ送信部２８が、付加データを画像データよりも優先して端末１２に送信してもよい。例えば、ＱｏＳ（Quality of Service）やプライオリティ制御の技術を用いて、付加データが画像データよりも優先して端末１２に送信されるようにしてもよい。また、データ送信部２８が、特徴量データを画像データよりも優先して端末１２に送信してもよい。
【０１２２】
本実施形態によれば、クラウドサーバ１０から端末１２に送信される画像データだけでなく、クラウドサーバ１０から端末１２に送信される付加データにも基づいて、アップスケール画像の生成が行われる。そのため、本実施形態によれば、画像データのみからアップスケール画像を生成する場合よりもオリジナル画像により類似するアップスケール画像が生成できることになる。
【０１２３】
なお、本発明は上述の実施形態に限定されるものではない。
【０１２４】
例えば以下で説明するようにして、アップスケール部３４が、データ受信部３０が受信する画像データの時系列及び付加データの時系列に基づいて、ダウンスケール画像よりも高解像度であるアップスケール画像を生成してもよい。
【０１２５】
例えば、入力判定関数用辞書４０が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ２０２に示す処理で生成されたデコード画像及びＳ２０１に示す処理で受信された付加データに含まれる特徴量データを記憶するようにしてもよい。
【０１２６】
そしてこの場合に、Ｓ２０３に示す処理において、入力判定関数用辞書４０に、最新のデコード画像を含む、アップスケール部３４に記憶されているデコード画像の時系列と、最新の特徴量データを含む、特徴量データの時系列と、が入力されるようにしてもよい。そして入力判定関数用辞書４０が、当該入力に応じてアルゴリズムデータを出力してもよい。
【０１２７】
ここで入力判定関数用辞書４０の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
【０１２８】
そして当該学習入力画像の時系列における最後の画像から当該一連の高解像度画像の最後の画像を生成するのに適したアルゴリズムデータであるアルゴリズム教師データが、例えば、経験則、ユーザによる目視による確認、様々な種類のアルゴリズムデータを用いた実験などによって特定されてもよい。
【０１２９】
そして、上述の学習入力画像の時系列と上述の学習入力特徴量データの時系列とを含む学習入力データと上述のアルゴリズム教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、入力判定関数用辞書４０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが入力判定関数用辞書４０に入力された際の出力であるアルゴリズムデータと、当該学習データに含まれるアルゴリズム教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により入力判定関数用辞書４０のパラメータが更新されることにより、入力判定関数用辞書４０の学習が実行されてもよい。
【０１３０】
また例えば、出力生成関数用辞書４２が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ２０２に示す処理で生成されたデコード画像、及び、Ｓ２０１に示す処理で受信された付加データに含まれる特徴量データを記憶するようにしてもよい。
【０１３１】
そしてこの場合に、Ｓ２０４に示す処理において、出力生成関数用辞書４２に、Ｓ２０３に示す処理で生成されたアルゴリズムデータと、最新のデコード画像を含む、アップスケール部３４に記憶されているデコード画像の時系列と、最新の特徴量データを含む、特徴量データの時系列と、が入力されるようにしてもよい。そして出力生成関数用辞書４２が、当該入力に応じて生成パラメータデータを出力してもよい。
【０１３２】
ここで出力生成関数用辞書４２の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
【０１３３】
そして、当該学習入力画像の時系列における最後の画像から当該高解像度画像の時系列における最後の画像を生成するのに適したアルゴリズムデータである学習入力アルゴリズムデータの値が、例えば、経験則、目視による確認、様々な種類のアルゴリズムデータを用いた実験などによってユーザにより特定されてもよい。なおここで、学習済の機械学習モデルである入力判定関数用辞書４０に、学習入力画像の時系列と学習入力特徴量データの時系列とが入力された際の出力が、学習入力アルゴリズムデータとして特定されてもよい。
【０１３４】
そして、当該学習入力画像の時系列における最後の画像から当該高解像度画像の時系列における最後の画像を生成するのに適した生成パラメータデータである生成パラメータ教師データが、例えば、経験則、ユーザによる目視による確認、様々な種類の生成パラメータデータを用いた実験などによって特定されてもよい。
【０１３５】
そして、上述の学習入力アルゴリズムデータと上述の学習入力画像の時系列と上述の学習入力特徴量データの時系列とを含む学習入力データと生成パラメータ教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、出力生成関数用辞書４２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが出力生成関数用辞書４２に入力された際の出力である生成パラメータデータと、当該学習データに含まれる生成パラメータ教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により出力生成関数用辞書４２のパラメータが更新されることにより、出力生成関数用辞書４２の学習が実行されてもよい。
【０１３６】
また例えば、アップスケールモデル４４が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ３０２に示す処理で生成されたデコード画像及びＳ３０１に示す処理で受信された付加データに含まれる特徴量データを記憶するようにしてもよい。
【０１３７】
そしてこの場合に、Ｓ３０３に示す処理で、アップスケールモデル４４に、最新のデコード画像を含む、デコード画像の時系列、及び、最新の特徴量データを含む、特徴量データの時系列が、アップスケールモデル４４に入力されてもよい。そして、アップスケールモデル４４から、当該入力に応じたアップスケール画像が出力されてもよい。
【０１３８】
ここでアップスケールモデル４４の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
【０１３９】
そして、上述の学習入力画像の時系列と上述の学習入力特徴量データの時系列とを含む学習入力データと上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル４４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル４４に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル４４のパラメータが更新されることにより、アップスケールモデル４４の学習が実行されてもよい。
【０１４０】
また例えば、超解像処理方式データ生成モデル４６が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、超解像処理方式データ生成モデル４６が、特徴量データ生成部２６ａが生成する特徴量データを記憶するようにしてもよい。
【０１４１】
そしてこの場合に、最新の特徴量データを含む特徴量データの時系列が超解像処理方式データ生成モデル４６に入力されてもよい。そして、超解像処理方式データ生成モデル４６が当該入力に応じて、超解像処理方式データを出力してもよい。
【０１４２】
ここで超解像処理方式データ生成モデル４６の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
【０１４３】
そして、当該学習入力画像の時系列における最後の画像から当該高解像度画像の時系列における最後の画像を生成するのに適した超解像処理方式データである超解像処理方式教師データの値が、例えば、経験則、目視による確認、様々な種類の超解像処理方式データを用いた実験などによってユーザにより特定されてもよい。
【０１４４】
そして、上述の学習入力特徴量データの時系列である学習入力データと超解像処理方式教師データとを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、超解像処理方式データ生成モデル４６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが超解像処理方式データ生成モデル４６に入力された際の出力である超解像処理方式データと、当該学習データに含まれる超解像処理方式教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により超解像処理方式データ生成モデル４６のパラメータが更新されることにより、超解像処理方式データ生成モデル４６の学習が実行されてもよい。
【０１４５】
また例えば、アップスケールモデル４８が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ３０２に示す処理で生成されたデコード画像及びＳ３０１に示す処理で受信された付加データに含まれる超解像処理方式データを記憶するようにしてもよい。
【０１４６】
そしてこの場合に、最新のデコード画像を含む、デコード画像の時系列、及び、最新の超解像処理方式データを含む、超解像処理方式データの時系列が、アップスケールモデル４８に入力されてもよい。そして、当該入力に応じたアップスケールモデル４８から、当該デコード画像をアップスケールしたアップスケール画像が出力されてもよい。
【０１４７】
ここでアップスケールモデル４８の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する超解像処理方式データの時系列である学習入力超解像処理方式データの時系列が生成されてもよい。
【０１４８】
そして、上述の学習入力画像の時系列と上述の学習入力超解像処理方式データの時系列とを含む学習入力データと上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル４８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル４８に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル４８のパラメータが更新されることにより、アップスケールモデル４８の学習が実行されてもよい。
【０１４９】
以上のように本実施形態においてデータの時系列が入力される機械学習モデルを用いることで、過去のフレームのデータの時系列に基づいて当該フレームで起こる変化の予測を加味したデータが機械学習モデルから出力される。そのため機械学習モデルの出力結果の精度をより向上させることができる。
【０１５０】
また本実施形態において例えば、入力判定関数用辞書４０が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、出力生成関数用辞書４２が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、アップスケールモデル４４が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、超解像処理方式データ生成モデル４６が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、アップスケールモデル４８が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。
【０１５１】
また例えば、上述した方法とは異なる方法で、アップスケール部３４が、画像データ及び付加データに基づいて、アップスケール画像を生成してもよい。例えば、アップスケール部３４が、付加データの値と、超解像処理のアルゴリズムの種類等を示すデータの値と、が関連付けられた所与のテーブルを記憶していてもよい。そして、アップスケール部３４が、当該テーブルを参照して、付加データの値に基づいて、超解像処理の種類を特定してもよい。そして、アップスケール部３４が、特定された種類の超解像処理を実行することで、上述のアップスケール処理を実行してもよい。
【０１５２】
また例えば、端末１２のアップスケール部３４が、特徴量データに含まれる、超解像処理の実行要否を示すデータに基づいて、超解像処理の実行要否を決定してもよい。あるいは、端末１２のアップスケール部３４が、生成されるアルゴリズムデータに含まれる、超解像処理の実行要否を示すデータに基づいて、超解像処理の実行要否を決定してもよい。そして、超解像処理を実行しないことが決定された場合に、アップスケール部３４によるアップスケール処理が実行されることなく、表示制御部３６が、デコード画像を表示部１２ｆに表示させてもよい。
【０１５３】
また例えば、ダウンスケールされる前のプレイ画像が複数の部分画像に分割されてもよい。ここで例えば、プレイ画像が、８×８ピクセル、あるいは、３２×３２ピクセルなどのサイズの矩形領域を占める複数の部分画像に分割されてもよい。また例えば、プレイ画像を横方向に分割することにより、プレイ画像が、複数のライン（例えば３２ライン）を束ねたスライス状（ストライプ状）の複数の部分画像に分割されてもよい。この場合、当該部分画像が上述のオリジナル画像に相当する。そして当該部分画像である当該オリジナル画像に対して、図４に示すＳ１０２〜Ｓ１０５、及び、図５に示すＳ２０１〜Ｓ２０６に示す一連の処理が実行されるようにしてもよい。あるいは、当該部分画像である当該オリジナル画像に対して、図４に示すＳ１０２〜Ｓ１０５、及び、図１０に示すＳ３０１〜Ｓ３０４に示す一連の処理が実行されるようにしてもよい。
【０１５４】
また、プレイ画像がオリジナル画像に相当する場合であっても、部分画像がオリジナル画像に相当する場合であっても、Ｓ２０３及びＳ２０４に示す処理が、オリジナル画像よりも小さな粒度で実行されてもよい。例えば、８×８ピクセルの画像毎、あるいは、３２×３２ピクセルなどの画像毎にＳ２０３及びＳ２０４に示す処理が実行されてもよい。ここで、デコード画像の解像度が１９２０×１０８８ピクセルであって、３２×３２ピクセルの画像毎にＳ２０３及びＳ２０４に示す処理が実行される際には、Ｓ２０３及びＳ２０４に示す処理が６０×２４回実行されることとなる。この場合、入力判定関数用辞書４０や出力生成関数用辞書４２の学習に用いられる学習入力画像は、Ｓ２０３及びＳ２０４に示す処理に用いられる画像と同形同サイズの画像であってもよい。
【０１５５】
また、プレイ画像がオリジナル画像に相当する場合であっても、部分画像がオリジナル画像に相当する場合であっても、Ｓ３０３に示す処理が、オリジナル画像よりも小さな粒度で実行されてもよい。例えば、８×８ピクセルの画像毎、あるいは、３２×３２ピクセルなどの画像毎にＳ３０３に示す処理が実行されてもよい。ここで、デコード画像の解像度が１９２０×１０８８ピクセルであって、３２×３２ピクセルの画像毎にＳ３０３に示す処理が実行される際には、Ｓ３０３に示す処理が６０×２４回実行されることとなる。この場合、アップスケールモデル４４の学習に用いられる学習入力画像は、Ｓ３０３に示す処理に用いられる画像と同形同サイズの画像であってもよい。
【０１５６】
また、上述した各種の機械学習モデルは、オフライン学習により、継続的に適宜アップデートされてもよい。
【０１５７】
また本発明の適用範囲は、クラウドゲーミングサービスが提供される状況に限定されない。本発明は、クラウドサーバ１０に相当する画像送信装置からオリジナル画像をダウンスケールした画像が送信され、端末１２に相当する画像受信装置がオリジナル画像をダウンスケールした画像を受信する状況については一般的に適用可能である。
【０１５８】
ここで例えば、ゲームのプレイ状況を表す動画像を配信する配信サーバに、クラウドサーバ１０から、画像データ及び付加データが繰り返し送信されるようにしてもよい。そして配信サーバが、一連のプレイ画像に相当する、それぞれ順序が関連付けられた、画像データ及び付加データを記憶するようにしてもよい。そして事後的に、ゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末からの要求に応じて、配信サーバが、配信サーバに記憶された画像データ及び付加データを、関連付けられている順序に従って当該端末に順次送信するようにしてもよい。そして当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
【０１５９】
また、ゲーム実況が行われる状況において、上述の配信サーバが、画像データ及び付加データの受信に応じて、リアルタイムで、当該画像データ及び当該付加データをゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末に送信してもよい。そして、当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
【０１６０】
ここでクラウドサーバ１０が画像データ及び付加データを端末に送信する上述の配信サーバの役割を兼ねていてもよい。また、端末１２において図１に示すクラウドサーバ１０と同様の処理が実行され、一連のプレイ画像に相当する、画像データ及び付加データが端末１２から配信サーバに繰り返し送信されるようにしてもよい。
【０１６１】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2020179205.tif 000003
【図２】
2020179205.tif 000004
【図３】
2020179205.tif 000005
【図４】
2020179205.tif 000006
【図５】
2020179205.tif 000007
【図６】
2020179205.tif 000008
【図７】
2020179205.tif 000009
【図８】
2020179205.tif 000010
【図９】
2020179205.tif 000011
【図１０】
2020179205.tif 000012
【図１１】
2020179205.tif 000013
【図１２】
2020179205.tif 000014
【図１３】
2020179205.tif 000015
【図１４】
2020179205.tif 000016
【図１５】
2020179205.tif 000017
【図１６】
2020179205.tif 000018
【図１７】
2020179205.tif 000019
【手続補正書】
【提出日】令和3年4月21日(2021.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像送信装置と、画像受信装置と、を含み、
前記画像送信装置は、
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成する付加データ生成部と、
前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含み、
前記画像受信装置は、
前記付加データに関連付けられた前記画像データを受信するデータ受信部と、
前記画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像送受信システム。
【請求項２】
画像送信装置と、画像受信装置と、を含み、
前記画像送信装置は、
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、
前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、
前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含み、
前記画像受信装置は、
前記付加データに関連付けられた前記画像データを受信するデータ受信部と、
前記画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像送受信システム。
【請求項３】
前記アップスケール部は、前記画像データに基づいて生成される画像及び前記超解像処理方式データの入力に応じて、前記アップスケール画像を出力する学習済の機械学習モデルを含む、
ことを特徴とする請求項２に記載の画像送受信システム。
【請求項４】
前記特徴量データには、前記オリジナル画像の特徴点、前記オリジナル画像に含まれる各画素の奥行き、前記オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれる、
ことを特徴とする請求項１から３のいずれか一項に記載の画像送受信システム。
【請求項５】
前記データ送信部は、前記付加データを、前記画像データよりも優先して前記画像受信装置に送信する、
ことを特徴とする請求項１から４のいずれか一項に記載の画像送受信システム。
【請求項６】
前記オリジナル画像は、ゲームのプレイ状況を表すプレイ画像を分割した部分画像である、
ことを特徴とする請求項１から５のいずれか一項に記載の画像送受信システム。
【請求項７】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成する付加データ生成部と、
前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを、当該画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信するデータ送信部と、
を含むことを特徴とする画像送信装置。
【請求項８】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、
前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、
前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを、当該画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信するデータ送信部と、
を含むことを特徴とする画像送信装置。
【請求項９】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成する付加データ生成部と、前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含む画像送信装置から、前記付加データに関連付けられた前記画像データを受信するデータ受信部と、
前記画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像受信装置。
【請求項１０】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含む画像送信装置から、前記付加データに関連付けられた前記画像データを受信するデータ受信部と、
前記画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、
前記アップスケール画像を表示させる表示制御部と、
を含むことを特徴とする画像受信装置。
【請求項１１】
画像送信装置が、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成するステップと、
前記画像送信装置が、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成するステップと、
前記画像送信装置が、前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するステップと、
画像受信装置が、前記付加データに関連付けられた前記画像データを受信するステップと、
前記画像受信装置が、前記画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するステップと、
前記画像受信装置が、前記アップスケール画像を表示させるステップと、
を含むことを特徴とする画像送受信方法。
【請求項１２】
画像送信装置が、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成するステップと、
前記画像送信装置が、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成するステップと、
前記画像送信装置が、前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成するステップと、
前記画像送信装置が、前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するステップと、
画像受信装置が、前記付加データに関連付けられた前記画像データを受信するステップと、
前記画像受信装置が、前記画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するステップと、
前記画像受信装置が、前記アップスケール画像を表示させるステップと、
を含むことを特徴とする画像送受信方法。
【請求項１３】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する手順、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成する手順、
前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを、当該画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信する手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する手順、
前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する手順、
前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する手順、
前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを、当該画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成するアップスケール部と、前記アップスケール画像を表示させる表示制御部と、を含む画像受信装置に送信する手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを含む付加データを生成する付加データ生成部と、前記特徴量データを含む前記付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含む画像送信装置から、前記付加データに関連付けられた前記画像データを受信する手順、
前記画像データ及び当該画像データに関連付けられている前記特徴量データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する手順、
前記アップスケール画像を表示させる手順、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記オリジナル画像に基づいて、当該オリジナル画像の特徴量、及び、当該オリジナル画像をダウンスケールした前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する特徴量データ生成部と、前記特徴量データに基づいて超解像処理に用いられるパラメータを含む超解像処理方式データを生成する超解像処理方式データ生成部と、前記超解像処理方式データを含む付加データに関連付けられた、当該ダウンスケール画像を表す前記画像データを送信するデータ送信部と、を含む画像送信装置から、前記付加データに関連付けられた前記画像データを受信する手順、
前記画像データ及び当該画像データに関連付けられている前記超解像処理方式データに基づいて、前記ダウンスケール画像よりも高解像度であるアップスケール画像を生成する手順、
前記アップスケール画像を表示させる手順、
をコンピュータに実行させることを特徴とするプログラム。
【国際調査報告】
2020179205.tif 000020
2020179205.tif 000021
2020179205.tif 000022
2020179205.tif 000023