(57)【要約】  画像に基づくデータの受信の失敗が確認されてから当該データの再送信を開始したのでは表示されるべきタイミングまでに当該データを受信できないおそれを低減できる画像表示制御装置、送信装置、画像表示制御方法及びプログラムを提供する。アップスケール部（３４）は、画像データに基づいて、表示対象画像を生成する。代替画像生成部（３８）は、第１画像データに基づいて、第２画像データに対応する代替画像を生成する。表示制御部（４０）は、第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される表示対象画像、又は、第１画像データに基づいて生成される代替画像のいずれか一方を表示させる。代替画像生成部（３８）は、第２画像データの受信成否が確認されるよりも前に、第１画像データに基づく第２画像データに対応する代替画像の生成を開始する。
2020194958.tif 000002
【特許請求の範囲】
【請求項１】
画像データを繰り返し受信する画像データ受信部と、
前記画像データに基づいて、表示対象画像を生成する表示対象画像生成部と、
第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成する代替画像生成部と、
前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる表示制御部と、を含み、
前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記第２画像データに対応する前記代替画像の生成を開始する、
ことを特徴とする画像表示制御装置。
【請求項２】
前記画像データ受信部は、オリジナル画像をダウンスケールしたダウンスケール画像を表す前記画像データを受信し、
前記表示対象画像生成部は、前記ダウンスケール画像よりも高解像度である前記表示対象画像を生成し、前記代替画像生成部は、前記ダウンスケール画像よりも高解像度である前記代替画像を生成する、
ことを特徴とする請求項１に記載の画像表示制御装置。
【請求項３】
前記代替画像生成部は、前記第２画像データの一部を受信した場合は、当該一部にさらに基づいて、前記代替画像を生成する、
ことを特徴とする請求項１又は２に記載の画像表示制御装置。
【請求項４】
前記画像データ受信部は、さらに、前記画像データに関連付けられている、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを受信し、
前記表示対象画像生成部は、前記画像データ、及び、当該画像データに関連付けられている前記特徴量データに基づいて、前記表示対象画像を生成する、
ことを特徴とする請求項２に記載の画像表示制御装置。
【請求項５】
前記代替画像生成部は、前記第１画像データ及び当該第１画像データに関連付けられている前記特徴量データに基づいて、前記代替画像を生成する、
ことを特徴とする請求項４に記載の画像表示制御装置。
【請求項６】
前記代替画像生成部は、前記第１画像データ及び前記第２画像データに関連付けられている前記特徴量データに基づいて、前記代替画像を生成する、
ことを特徴とする請求項４に記載の画像表示制御装置。
【請求項７】
前記代替画像生成部は、前記第２画像データ及び当該第２画像データに関連付けられている前記特徴量データのうちの一部を受信した場合は、当該一部にさらに基づいて、前記代替画像を生成する、
ことを特徴とする請求項４に記載の画像表示制御装置。
【請求項８】
前記特徴量データには、前記オリジナル画像の特徴点、エッジ強度、前記オリジナル画像に含まれる各画素の奥行き、前記オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれる、
ことを特徴とする請求項４から７のいずれか一項に記載の画像表示制御装置。
【請求項９】
前記代替画像生成部は、受信した前記画像データの時系列に基づいて、前記代替画像を生成する、
ことを特徴とする請求項１から８のいずれか一項に記載の画像表示制御装置。
【請求項１０】
オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、
前記画像データを繰り返し受信する画像データ受信部と、前記画像データに基づいて、前記ダウンスケール画像よりも高解像度である表示対象画像を生成する表示対象画像生成部と、第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する、前記ダウンスケール画像よりも高解像度である代替画像を生成する代替画像生成部と、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる表示制御部と、を含み、前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記第２画像データに対応する前記代替画像の生成を開始する画像表示制御装置に、前記画像データ生成部により生成される画像データを送信する送信部と、
を含むことを特徴とする送信装置。
【請求項１１】
前記送信部は、さらに、前記画像データに関連付けられている、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを送信し、
前記送信部は、前記特徴量データを、当該特徴量データに関連付けられている前記画像データよりも優先して前記画像表示制御装置に送信する、
ことを特徴とする請求項１０に記載の送信装置。
【請求項１２】
画像データを繰り返し受信するステップと、
前記画像データに基づいて、表示対象画像を生成するステップと、
第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成するステップと、
前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させるステップと、を含み、
前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づいて前記第２画像データに対応する前記代替画像を生成するステップが開始される、
ことを特徴とする画像表示制御方法。
【請求項１３】
画像データを繰り返し受信する手順、
前記画像データに基づいて、表示対象画像を生成する手順、
第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成する手順、
前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる手順、をコンピュータに実行させ、
前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づいて前記第２画像データに対応する前記代替画像を生成する手順が開始される、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示制御装置、送信装置、画像表示制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年注目されているクラウドゲーミングサービスの技術においては、ゲームのプログラムが実行されるクラウドサーバと通信可能な端末に対して当該ゲームをプレイするユーザが操作を行うと、当該操作に応じた操作信号が端末からクラウドサーバに送信される。そしてクラウドサーバにおいて当該操作信号に応じた処理などを含むゲーム処理が実行され、当該ゲームのプレイ状況を表すプレイ画像が生成される。そして、当該プレイ画像に基づくデータがクラウドサーバから端末に送信され、端末において当該データに基づいて生成される画像が表示される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
サーバやネットワークの過負荷や接続不安定性の影響によって、データが端末に届かない、あるいは、端末が受信したデータの一部又は全部が破損している、などのように、端末がデータの受信に失敗することがある。【０００４】
ここで、データの受信の失敗が確認されてから当該データの再送信を開始したのでは、表示されるべきタイミングまでに当該データを受信できないおそれがある。クラウドゲーミングサービスなどのような低レイテンシが要求される状況においては特にこのようになる可能性が高い。なおこのことはクラウドゲーミングサービスが提供される状況のみならず、画像に基づくデータが通信される状況において一般的にあてはまる。【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、画像に基づくデータの受信の失敗が確認されてから当該データの再送信を開始したのでは表示されるべきタイミングまでに当該データを受信できないおそれを低減できる画像表示制御装置、送信装置、画像表示制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像表示制御装置は、画像データを繰り返し受信する画像データ受信部と、前記画像データに基づいて、表示対象画像を生成する表示対象画像生成部と、第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成する代替画像生成部と、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる表示制御部と、を含み、前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記第２画像データに対応する前記代替画像の生成を開始する。【０００７】
本発明の一態様では、前記画像データ受信部は、オリジナル画像をダウンスケールしたダウンスケール画像を表す前記画像データを受信し、前記表示対象画像生成部は、前記ダウンスケール画像よりも高解像度である前記表示対象画像を生成し、前記代替画像生成部は、前記ダウンスケール画像よりも高解像度である前記代替画像を生成する。【０００８】
また、本発明の一態様では、前記代替画像生成部は、前記第２画像データの一部を受信した場合は、当該一部にさらに基づいて、前記代替画像を生成する。【０００９】
あるいは、前記画像データ受信部は、さらに、前記画像データに関連付けられている、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを受信し、前記表示対象画像生成部は、前記画像データ、及び、当該画像データに関連付けられている前記特徴量データに基づいて、前記表示対象画像を生成する。【００１０】
この場合に、前記代替画像生成部は、前記第１画像データ及び当該第１画像データに関連付けられている前記特徴量データに基づいて、前記代替画像を生成してもよい。【００１１】
あるいは、前記代替画像生成部は、前記第１画像データ及び前記第２画像データに関連付けられている前記特徴量データに基づいて、前記代替画像を生成してもよい。【００１２】
あるいは、前記代替画像生成部は、前記第２画像データ及び当該第２画像データに関連付けられている前記特徴量データのうちの一部を受信した場合は、当該一部にさらに基づいて、前記代替画像を生成する。【００１３】
ここで、前記特徴量データには、前記オリジナル画像の特徴点、エッジ強度、前記オリジナル画像に含まれる各画素の奥行き、前記オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれていてもよい。【００１４】
また、本発明の一態様では、前記代替画像生成部は、受信した前記画像データの時系列に基づいて、前記代替画像を生成する。【００１５】
また、本発明に係る送信装置は、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する画像データ生成部と、前記画像データを繰り返し受信する画像データ受信部と、前記画像データに基づいて、前記ダウンスケール画像よりも高解像度である表示対象画像を生成する表示対象画像生成部と、第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する、前記ダウンスケール画像よりも高解像度である代替画像を生成する代替画像生成部と、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる表示制御部と、を含み、前記代替画像生成部は、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づく前記第２画像データに対応する前記代替画像の生成を開始する画像表示制御装置に、前記画像データ生成部により生成される画像データを送信する送信部と、を含む。【００１６】
本発明の一態様では、前記送信部は、さらに、前記画像データに関連付けられている、前記オリジナル画像の特徴量、及び、前記ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを送信し、前記送信部は、前記特徴量データを、当該特徴量データに関連付けられている前記画像データよりも優先して前記画像表示制御装置に送信する。【００１７】
また、本発明に係る画像表示制御方法は、画像データを繰り返し受信するステップと、前記画像データに基づいて、表示対象画像を生成するステップと、第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成するステップと、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させるステップと、を含み、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づいて前記第２画像データに対応する前記代替画像を生成するステップが開始される。【００１８】
また、本発明に係るプログラムは、画像データを繰り返し受信する手順、前記画像データに基づいて、表示対象画像を生成する手順、第１のタイミングに受信した前記画像データである第１画像データに基づいて、当該第１画像データに基づいて生成される前記表示対象画像とは異なる画像であり、当該第１のタイミングよりも後である第２のタイミングに受信する予定の前記画像データである第２画像データに対応する代替画像を生成する手順、前記第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される前記表示対象画像、又は、前記第１画像データに基づいて生成される前記代替画像のいずれか一方を表示させる手順、をコンピュータに実行させ、前記第２画像データの受信成否が確認されるよりも前に、前記第１画像データに基づいて前記第２画像データに対応する前記代替画像を生成する手順が開始される。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。
【図２】本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。
【図３】本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの一例を示すフロー図である。
【図４】本発明の一実施形態に係る端末において行われる処理の流れの一例を示すフロー図である。
【図５】アップスケールモデルの一例を模式的に示す図である。
【図６】図５に示すアップスケールモデルの学習の一例を模式的に示す図である。
【図７】代替画像生成モデルの一例を模式的に示す図である。
【図８】図７に示す代替画像生成モデルの学習の一例を模式的に示す図である。
【図９】代替画像更新モデルの一例を模式的に示す図である。
【図１０】図９に示す代替画像更新モデルの学習の一例を模式的に示す図である。
【図１１】本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の別の一例を示す機能ブロック図である。
【図１２】本発明の一実施形態に係るクラウドサーバにおいて行われる処理の流れの別の一例を示すフロー図である。
【図１３】本発明の一実施形態に係る端末において行われる処理の流れの別の一例を示すフロー図である。
【図１４】アップスケールモデルの別の一例を模式的に示す図である。
【図１５】図１４に示すアップスケールモデルの学習の一例を模式的に示す図である。
【図１６】代替画像生成モデルの別の一例を模式的に示す図である。
【図１７】図１６に示す代替画像生成モデルの学習の一例を模式的に示す図である。
【図１８】特徴量データ更新モデルの一例を模式的に示す図である。
【図１９】図１８に示す特徴量データ更新モデルの学習の一例を模式的に示す図である。
【図２０】代替画像更新モデルの別の一例を模式的に示す図である。
【図２１】図２０に示す代替画像更新モデルの学習の一例を模式的に示す図である。
【発明を実施するための形態】
【００２０】
図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。
【００２１】
本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。
【００２２】
図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。
【００２３】
プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００２４】
記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００２５】
通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。
【００２６】
エンコード・デコード部１０ｄは、例えば画像をエンコードして画像データを生成するエンコーダと画像データをデコードして画像を生成するデコーダとを含む。
【００２７】
本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。
【００２８】
図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。
【００２９】
プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
【００３０】
記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
【００３１】
通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。
【００３２】
エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。
【００３３】
操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。
【００３４】
表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。
【００３５】
本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すプレイ画像が生成される。本実施形態では、所定のフレームレート（例えば６０ｆｐｓ）で、ゲーム処理及びプレイ画像の生成が実行される。なお、本実施形態において、可変のフレームレートで、ゲーム処理及びプレイ画像の生成が実行されてもよい。
【００３６】
ここで本実施形態では当該プレイ画像を表す画像データではなく、当該プレイ画像をダウンスケールした画像を表す画像データが、クラウドサーバ１０から端末１２に送信される。以下、ダウンスケールされる前のプレイ画像をオリジナル画像と呼び、オリジナル画像をダウンスケールした画像をダウンスケール画像と呼ぶこととする。ここで、オリジナル画像が４Ｋ画像であり、ダウンスケール画像が２Ｋ画像であってもよい。
【００３７】
そして端末１２は、クラウドサーバ１０から受信する画像データに基づいて、上述のダウンスケール画像よりも高解像度である画像を生成する。以下、このようにして生成される、ダウンスケール画像よりも高解像度である画像を、アップスケール画像と呼ぶこととする。そして、端末１２の表示部１２ｆにアップスケール画像が表示される。
【００３８】
サーバやネットワークの過負荷や接続不安定性によって、画像データが端末１２に届かない、あるいは、端末１２が受信した画像データの一部又は全部が破損している、などのように、端末１２が画像データの受信に失敗することがある。
【００３９】
ここで、例えばクラウドゲーミングサービスなどのような低レイテンシが要求される状況においては、画像データの受信の失敗が確認されてから当該画像データの再送信を開始したのでは、表示されるべきタイミングまでに当該画像データを受信できないおそれがある。
【００４０】
そこで本実施形態では以下のようにして、画像データの受信の失敗が確認されてから当該データの再送信を開始したのでは表示されるべきタイミングまでに当該画像データを受信できないおそれを低減できるようにした。
【００４１】
以下、画像データの受信の失敗が確認されてから当該データの再送信を開始したのでは表示されるべきタイミングまでに当該画像データを受信できないおそれを低減するための処理を中心に、本実施形態に係るクラウドゲーミングシステム１の機能、及び、クラウドゲーミングシステム１で実行される処理について、さらに説明する。
【００４２】
図２は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図２に示す機能のすべてが実装される必要はなく、また、図２に示す機能以外の機能（例えば、操作信号等に基づくゲーム処理の機能など）が実装されていても構わない。
【００４３】
図２に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、オリジナル画像生成部２０、ダウンスケール部２２、エンコード処理部２４、データ送信部２６、が含まれる。
【００４４】
オリジナル画像生成部２０、ダウンスケール部２２、は、プロセッサ１０ａを主として実装される。エンコード処理部２４は、エンコード・デコード部１０ｄを主として実装される。データ送信部２６は、通信部１０ｃを主として実装される。
【００４５】
そして以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
【００４６】
また、図２に示すように、本実施形態に係る端末１２には、機能的には例えば、データ受信部３０、デコード処理部３２、アップスケール部３４、画像記憶部３６、代替画像生成部３８、表示制御部４０、が含まれる。データ受信部３０は、通信部１２ｃを主として実装される。デコード処理部３２は、エンコード・デコード部１２ｄを主として実装される。アップスケール部３４、代替画像生成部３８は、プロセッサ１２ａ及び記憶部１２ｂを主として実装される。画像記憶部３６は、記憶部１２ｂを主として実装される。表示制御部４０は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。端末１２は、本実施形態において、画像の表示制御を行う画像表示制御装置としての役割を担うこととなる。
【００４７】
そして以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
【００４８】
オリジナル画像生成部２０は、本実施形態では例えば、上述のオリジナル画像を生成する。上述の通り、オリジナル画像は、例えば、ゲームのプレイ状況を表すプレイ画像である。
【００４９】
ダウンスケール部２２は、本実施形態では例えば、オリジナル画像生成部２０が生成するオリジナル画像をダウンスケールしたダウンスケール画像を生成する。
【００５０】
エンコード処理部２４は、本実施形態では例えば、オリジナル画像をダウンスケールしたダウンスケール画像を表す画像データを生成する。例えば、エンコード処理部２４は、ダウンスケール部２２により生成されるダウンスケール画像をエンコードすることで、当該ダウンスケール画像を表す画像データを生成する。ここでダウンスケール画像をエンコードすることで、当該ダウンスケール画像が圧縮され、当該ダウンスケール画像よりもサイズが小さな画像データが生成されてもよい。ダウンスケール画像のエンコードに用いられるエンコード方式として、ＭＰＥＧ−４  ＡＶＣ(Advanced Video Coding)／Ｈ.２６４／やＨＥＶＣ(High Efficiency Video Coding)／Ｈ２６５などが挙げられる。
【００５１】
データ送信部２６は、エンコード処理部２４が生成する画像データを端末１２に送信する。
【００５２】
データ受信部３０は、本実施形態では例えば、クラウドサーバ１０から送信される、上述の画像データを受信する。
【００５３】
本実施形態では、データ送信部２６による画像データの送信、及び、データ受信部３０による画像データの受信は、例えば所定の時間間隔で、繰り返し実行される。
【００５４】
デコード処理部３２は、本実施形態では例えば、データ受信部３０が受信する画像データをデコードすることにより画像を生成する。以下、このようにして生成される画像をデコード画像と呼ぶこととする。本実施形態では、デコード画像は、ダウンスケール画像と同じ解像度の画像（例えば２Ｋ画像）である。ダウンスケール画像のエンコード方式が不可逆方式である場合は、通常、デコード画像はダウンスケール画像とは完全には同じではない。
【００５５】
アップスケール部３４は、本実施形態では例えば、データ受信部３０が受信する画像データに基づいて、表示部１２ｆに表示される表示対象画像を生成する。ここでは例えば、表示対象画像として、ダウンスケール部２２により生成されるダウンスケール画像よりも高解像度であるアップスケール画像が生成される。アップスケール画像は、オリジナル画像と同じ解像度の画像（例えば４Ｋ画像）であってもよい。アップスケール画像の生成処理の詳細については後述する。
【００５６】
画像記憶部３６は、本実施形態では例えば、端末１２において生成される画像を記憶する。ここで画像記憶部３６が、アップスケール部３４が生成したアップスケール画像を記憶してもよい。また、画像記憶部３６が、代替画像生成部３８が生成する後述の代替画像を記憶してもよい。
【００５７】
代替画像生成部３８は、本実施形態では例えば、第１のタイミングに受信した画像データである第１画像データに基づいて、当該第１のタイミングよりも後である第２のタイミングに受信する予定の画像データである第２画像データに対応する代替画像を生成する。ここで第１画像データに基づいて生成される代替画像は、第１画像データに基づいて生成される表示対象画像とは異なる画像である。そして、代替画像生成部３８は、本実施形態では例えば、第２画像データの受信成否が確認されるよりも前に、第１画像データに基づく第２画像データに対応する代替画像の生成を開始する。ここで例えば、受信した第１画像データに基づいて、第１画像データの次に受信する予定である第２画像データに対応する代替画像が生成されてもよい。代替画像は、ダウンスケール画像よりも高解像度である画像（例えば、アップスケール画像と同じ解像度の画像（例えば４Ｋ画像））であってもよい。また、代替画像生成部３８は、第２画像データの一部を受信した場合は、当該一部にさらに基づいて、代替画像を生成してもよい。代替画像の生成処理の詳細については後述する。
【００５８】
表示制御部４０は、本実施形態では例えば、第２画像データの受信成否に応じて、当該第２画像データに基づいて生成される表示対象画像、又は、上述の第１画像データに基づいて生成される代替画像のいずれか一方を表示させる。ここでは例えば、表示制御部４０は、端末１２の表示部１２ｆにアップスケール画像又は代替画像のいずれか一方を表示させる。
【００５９】
ここで、本実施形態に係るクラウドサーバ１０において実行される、画像データの生成処理及び送信処理の流れの一例を、図３に例示するフロー図を参照しながら説明する。図３に示すＳ１０１〜Ｓ１０４に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ１０１〜Ｓ１０４に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【００６０】
まず、オリジナル画像生成部２０が、当該フレームにおけるオリジナル画像を生成する（Ｓ１０１）。ここで上述のように、当該フレームにおいて端末１２から受け付ける操作信号の影響を受けた当該ゲームのプレイ状況を表すオリジナル画像が生成されてもよい。
【００６１】
そして、ダウンスケール部２２が、Ｓ１０１に示す処理で生成されたオリジナル画像に対してダウンスケール処理を実行することにより、ダウンスケール画像を生成する（Ｓ１０２）。
【００６２】
そして、エンコード処理部２４が、Ｓ１０２に示す処理で生成されたダウンスケール画像に対してエンコード処理を実行することにより、画像データを生成する（Ｓ１０３）。
【００６３】
そして、データ送信部２６が、Ｓ１０３に示す処理で生成された画像データを、端末１２に送信し（Ｓ１０４）、Ｓ１０１に示す処理に戻る。
【００６４】
次に、本実施形態に係る端末１２において実行される、アップスケール画像、又は、代替画像の表示制御処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。図４に示すＳ２０１〜Ｓ２１２に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ２０１〜Ｓ２１２に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【００６５】
まず、データ受信部３０が、Ｓ１０４に示す処理でクラウドサーバ１０から送信された画像データを受信する（Ｓ２０１）。
【００６６】
そして、デコード処理部３２が、Ｓ２０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ２０２）。
【００６７】
そして、アップスケール部３４が、当該フレームにおける画像データの全部の受信に成功したか否かを確認する（Ｓ２０３）。画像データが端末１２に届かない場合や、端末１２が受信した画像データの全部が破損している場合は、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認される。またＳ２０２に示す処理でデコード画像の全部が生成されなかった場合は、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。またここで、データ受信部３０が、画像データの全部の受信に失敗した場合に、その旨をアップスケール部３４に通知してもよい。そして、アップスケール部３４が当該通知を受信した際に、Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。
【００６８】
Ｓ２０３に示す処理で当該フレームにおける画像データの全部の受信に成功したことが確認されたとする（Ｓ２０３：Ｙ）。この場合は、アップスケール部３４が、Ｓ２０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ２０４）。ここでは、図５に例示する学習済の機械学習モデルであるアップスケールモデル５０を用いたアップスケール処理が実行される。ここでアップスケールモデル５０が、深層学習の技術を用いたものであってもよい。アップスケールモデル５０には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【００６９】
Ｓ２０４に示す処理では例えば、Ｓ２０２に示す処理で生成された当該フレームにおけるデコード画像がアップスケールモデル５０に入力される。そして、アップスケールモデル５０から、当該入力に応じたアップスケール画像が出力される。ここでアップスケールモデル５０は、例えば、アップスケール部３４に含まれる。
【００７０】
図６は、図５に示すアップスケールモデル５０の学習の一例を模式的に示す図である。アップスケールモデル５０では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像を含む学習入力データと、アップスケールモデル５０の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
【００７１】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。
【００７２】
そして、上述の学習入力画像と上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル５０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル５０に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル５０のパラメータが更新されることにより、アップスケールモデル５０の学習が実行されてもよい。
【００７３】
なお、アップスケールモデル５０の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによってアップスケールモデル５０の学習が実行されてもよい。
【００７４】
Ｓ２０４に示す処理が終了すると、代替画像生成部３８が、Ｓ２０１に示す処理に受信した画像データに基づいて生成された画像であって、代替画像の生成に用いられる基礎画像に基づく、次フレーム用の代替画像の生成を開始する（Ｓ２０５）。ここで例えば、アップスケール部３４が、Ｓ２０４に示す処理で生成されたアップスケール画像を基礎画像として画像記憶部３６に記憶させてもよい。また例えば、アップスケール部３４が、Ｓ２０２に示す処理で生成されたデコード画像を基礎画像として画像記憶部３６に記憶させてもよい。そして、代替画像生成部３８が、画像記憶部３６に記憶された基礎画像に基づく代替画像の生成を開始してもよい。
【００７５】
ここでは、図７に例示する学習済の機械学習モデルである代替画像生成モデル５２を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル５２が、深層学習の技術を用いたものであってもよい。代替画像生成モデル５２には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【００７６】
Ｓ２０５に示す処理では例えば、当該フレームにおいて画像記憶部３６に記憶された基礎画像が代替画像生成モデル５２に入力される。そして、代替画像生成モデル５２から、当該入力に応じた代替画像が出力される。ここで代替画像生成モデル５２は、例えば、代替画像生成部３８に含まれる。
【００７７】
図８は、図７に示す代替画像生成モデル５２の学習の一例を模式的に示す図である。代替画像生成モデル５２では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像を含む学習入力データと、代替画像生成モデル５２の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
【００７８】
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
【００７９】
そして、上述の学習入力画像を含む学習入力データと、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル５２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル５２に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル５２のパラメータが更新されることにより、代替画像生成モデル５２の学習が実行されてもよい。
【００８０】
なお、代替画像生成モデル５２の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像生成モデル５２の学習が実行されてもよい。
【００８１】
そして、代替画像生成部３８が、Ｓ２０５に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部３６に記憶させる（Ｓ２０６）。
【００８２】
そして、表示制御部４０が、Ｓ２０４に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ２０７）、Ｓ２０１に示す処理に戻る。
【００８３】
Ｓ２０３に示す処理において、当該フレームにおける画像データの全部の受信に失敗したことが確認されたとする（Ｓ２０３：Ｎ）。この場合は、代替画像生成部３８が、当該フレームにおける画像データの一部の受信に成功したか否かを確認する（Ｓ２０８）。端末１２が受信した画像データの一部が破損している場合は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認される。またＳ２０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部３０が、画像データの一部の受信に失敗した場合に、その旨を代替画像生成部３８に通知してもよい。そして、代替画像生成部３８が当該通知を受信した際に、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。
【００８４】
Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ２０８：Ｙ）。この場合は、代替画像生成部３８が、当該フレームにおいて受信した画像データの一部に基づいて、当該フレーム用の代替画像を更新する（Ｓ２０９）。Ｓ２０９に示す処理では、当該フレーム用の代替画像に当該フレームにおいて受信した画像データの一部が反映される。ここでは、図９に例示する学習済の機械学習モデルである代替画像更新モデル５４を用いた代替画像の更新処理が実行される。ここで代替画像更新モデル５４が、深層学習の技術を用いたものであってもよい。代替画像更新モデル５４には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【００８５】
Ｓ２０８に示す処理では例えば、直前のフレームのＳ２０６に示す処理で記憶された第１代替画像と、当該フレームにおいて受信した画像データの一部である部分画像データと、が代替画像更新モデル５４に入力される。そして、代替画像更新モデル５４から、当該入力に応じた第２代替画像が出力される。このようにして、直前のフレームのＳ２０６に示す処理で記憶された第１代替画像は第２代替画像に更新される。ここで代替画像更新モデル５４は、例えば、代替画像生成部３８に含まれる。
【００８６】
図１０は、図９に示す代替画像更新モデル５４の学習の一例を模式的に示す図である。代替画像更新モデル５４では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力部分画像データを含む学習入力データと、代替画像更新モデル５４の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
【００８７】
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
【００８８】
そして、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
【００８９】
そして、上述の学習入力画像と上述の学習入力部分画像データとを含む学習入力データ、及び、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル５４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル５４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル５４のパラメータが更新されることにより、代替画像更新モデル５４の学習が実行されてもよい。
【００９０】
なお、代替画像更新モデル５４の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像更新モデル５４の学習が実行されてもよい。
【００９１】
Ｓ２０９に示す処理が終了した場合、又は、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功しなかったことが確認された場合は（Ｓ２０８：Ｎ）、代替画像生成部３８が、次フレーム用の代替画像の生成を開始する（Ｓ２１０）。ここで、Ｓ２０９に示す処理が終了した場合は、代替画像生成部３８が、Ｓ２０９に示す処理で更新された代替画像を基礎画像として画像記憶部３６に記憶させてもよい。そして、代替画像生成部３８が、当該基礎画像に基づいて、次フレーム用の代替画像の生成を開始してもよい。また、Ｓ２０８に示す処理で当該フレームにおける画像データの一部の受信に成功しなかった場合は、直前のフレームのＳ２０６に示す処理で記憶された代替画像を基礎画像として画像記憶部３６に記憶させてもよい。そして、代替画像生成部３８が、当該基礎画像に基づいて、次フレーム用の代替画像の生成を開始してもよい。
【００９２】
ここでは、図７に例示する学習済の機械学習モデルである代替画像生成モデル５２を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル５２が、深層学習の技術を用いたものであってもよい。
【００９３】
そして、代替画像生成部３８が、Ｓ２１０に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部３６に記憶させる（Ｓ２１１）。
【００９４】
そして、表示制御部４０が、当該フレーム用の代替画像を表示部１２ｆに表示させて（Ｓ２１２）、Ｓ２０１に示す処理に戻る。
【００９５】
本処理例において、ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に成功したことが確認されたとする（Ｓ２０３：Ｙ）。この場合は、ｎ番目のフレームにおいて受信した画像データに基づいて生成されるアップスケール画像が表示される（Ｓ２０７）。またこの場合は、ｎ番目のフレームにおいて、当該アップスケール画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２０５、Ｓ２０６）。
【００９６】
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗し、ｎ番目のフレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ２０３：Ｎ、Ｓ２０８：Ｙ）。この場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が更新される（Ｓ２０９）。そして更新後のｎ番目のフレーム用の代替画像が表示される（Ｓ２１２）。またこの場合は、ｎ番目のフレームにおいて、更新後のｎ番目のフレーム用の代替画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２１０、Ｓ２１１）。
【００９７】
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗し、ｎ番目のフレームにおける画像データの一部の受信に成功しなかったことが確認されたとする（Ｓ２０３：Ｎ、Ｓ２０８：Ｎ）。この場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が表示される（Ｓ２１２）。またこの場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成されたｎ番目のフレーム用の代替画像に基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ２１０、Ｓ２１１）。
【００９８】
また、本処理例において、次フレーム用の代替画像の生成の開始、及び、次フレーム用の代替画像の記憶の終了を待つことなく、アップスケール画像の表示、あるいは、当該フレーム用の代替画像の表示が実行されてもよい。
【００９９】
また、代替画像更新モデル５４が、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が第２代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像更新モデル５４が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像更新モデル５４の学習が実行されてもよい。この場合、Ｓ２０９に示す処理で、代替画像更新モデル５４から当該判定値が併せて出力されてもよい。
【０１００】
そして当該判定値に基づいて、Ｓ２１２に示す処理で、表示制御部４０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像更新モデル５４から判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。また、代替画像更新モデル５４から判定値「０」が出力された場合は、表示制御部４０は、代替画像が表示されるよう制御してもよい。
【０１０１】
また、代替画像生成モデル５２についても同様に、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像生成モデル５２が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像生成モデル５２の学習が実行されてもよい。この場合、Ｓ２０５、又は、Ｓ２１０に示す処理で、代替画像生成モデル５２から当該判定値が併せて出力されてもよい。
【０１０２】
そして当該判定値に基づいて、次のフレームのＳ２１２に示す処理で、表示制御部４０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像生成モデル５２から判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。また、代替画像生成モデル５２から判定値「０」が出力された場合は、表示制御部４０は、代替画像が表示されるよう制御してもよい。
【０１０３】
ここで例えば、代替画像生成モデル５２と代替画像更新モデル５４のいずれかから判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。
【０１０４】
図１１は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の別の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図１１に示す機能のすべてが実装される必要はなく、また、図１１に示す機能以外の機能が実装されていても構わない。
【０１０５】
図１１の例では、図２の例と同様に、クラウドサーバ１０には、機能的には例えば、オリジナル画像生成部２０、ダウンスケール部２２、エンコード処理部２４、データ送信部２６、が含まれる。そして、図１１の例では、クラウドサーバ１０に、さらに、特徴量データ生成部６０が含まれる。特徴量データ生成部６０は、例えば、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。
【０１０６】
以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。
【０１０７】
また、図１１の例では、図２の例と同様に、端末１２には、機能的には例えば、データ受信部３０、デコード処理部３２、アップスケール部３４、画像記憶部３６、代替画像生成部３８、表示制御部４０、が含まれる。
【０１０８】
以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。
【０１０９】
オリジナル画像生成部２０、ダウンスケール部２２、エンコード処理部２４、デコード処理部３２、表示制御部４０の機能は、図２を参照して説明した内容と同様であるので、その説明を省略する。
【０１１０】
特徴量データ生成部６０は、本実施形態では例えば、オリジナル画像生成部２０により生成されるオリジナル画像の特徴量、及び、ダウンスケール画像のエンコードに用いられるパラメータである特徴量の少なくとも一方を示す特徴量データを生成する。特徴量データは、ダウンスケール画像を表す画像データのみからは特定不能なデータである。
【０１１１】
ここで、特徴量データには、オリジナル画像の特徴点、エッジ強度、オリジナル画像に含まれる各画素の奥行き、オリジナル画像のテクスチャの種類、オプティカル・フロー、及び、画像内の矩形領域がどの方向にどの速度で動いているかを示す情報のうちの少なくとも１つを示すデータが含まれていてもよい。例えば、特徴量データ生成部６０が、オリジナル画像の特徴量を抽出し、抽出される特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、オリジナル画像のテクスチャの種類を示すデータ（例えば、edge領域、flat領域、high density領域、detail領域、crowd領域の位置を示すデータ）が含まれていてもよい。また当該特徴量データには、オリジナル画像におけるハリス・コーナー特徴点の位置や、エッジ強度を示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像におけるオプティカル・フローを示すデータが含まれていてもよい。また当該特徴量データには、オリジナル画像に含まれる各画素の奥行きを示すデプスデータが含まれていてもよい。
【０１１２】
また特徴量データ生成部６０は、オリジナル画像に対して物体認識処理を実行してもよい。そして、物体認識処理により特定されたオリジナル画像が表す物体を示すデータが、特徴量データに含まれていてもよい。
【０１１３】
また、特徴量データ生成部６０は、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。当該特徴量データには、例えば、画像内の矩形領域がどの方向にどの速度で動いているかを示すMotion Estimation（ＭＥ）情報のデータが含まれていてもよい。また、当該特徴量データには、ＣＵユニットの大きさ毎の、当該大きさのＣＵユニットが割り当てられた位置を示すＣＵユニット割り当て情報のデータが含まれていてもよい。また、当該特徴量データには、高画質化のために高ビットレートが割り当てられた領域であるResion of Interesting（ＲＯＩ）領域を示すデータが含まれていてもよい。また、当該特徴量データには、量子化パラメータの値を示すデータが含まれていてもよい。また当該特徴量データには、シーンが切り替わったか否かを示すデータや、キーフレーム（Ｉフレーム）であるか否かを示すデータが含まれていてもよい。
【０１１４】
また例えば、特徴量データ生成部６０は、オリジナル画像の特徴量と、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量と、を示す特徴量データを生成してもよい。また例えば、オリジナル画像の特徴量を示すデータとエンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータとに基づいて生成されるデータを含む特徴量データが生成されてもよい。例えば、特徴量データ生成部６０が、オリジナル画像の特徴量を示すデータと、エンコード処理部２４によるエンコードに用いられるパラメータである特徴量を示すデータと、に基づいて、超解像処理の実行要否を決定してもよい。そして、特徴量データ生成部６０が、超解像処理の実行要否を示すデータを含む特徴量データを生成してもよい。
【０１１５】
そして、図１１の例では、データ送信部２６は、画像データと、当該画像データに対応する特徴量データと、互いに関連付けて端末１２に送信する。ここで例えば、オリジナル画像をダウンスケールしたダウンスケール画像に基づいて生成される画像データと、当該オリジナル画像に基づいて生成される特徴量データとが、互いに関連付けられた状態で端末１２に送信されてもよい。また特徴量データは、画像データのサイドバンド情報として、クラウドサーバ１０から端末１２に送信されてもよい。
【０１１６】
ここでクラウドサーバ１０と端末１２との間の通信量を削減するために、特徴量データ生成部６０が生成する特徴量データのサイズはできるだけ小さいことが望ましい。
【０１１７】
そして、図１１の例では、データ受信部３０は、クラウドサーバ１０から送信される、上述の画像データ及び当該画像データに関連付けられている上述の特徴量データを受信する。
【０１１８】
そして、図１１の例では、アップスケール部３４が、データ受信部３０が受信する画像データ、及び、当該画像データに関連付けられている特徴量データに基づいて、表示対象画像を生成する。ここでは例えば、ダウンスケール部２２により生成されるダウンスケール画像よりも高解像度であるアップスケール画像が生成される。
【０１１９】
そして、図１１の例では、代替画像生成部３８は、上述の第１画像データ及び当該第１画像データに関連付けられている特徴量データに基づいて、上述の第２画像データに対応する代替画像を生成する。ここで、代替画像生成部３８は、第２画像データ及び当該第２画像データに関連付けられている特徴量データのうちの一部を受信した場合は、当該一部にさらに基づいて、代替画像を生成してもよい。
【０１２０】
ここで、図１１に例示するクラウドサーバ１０において実行される、画像データの生成処理及び送信処理の流れの一例を、図１２に例示するフロー図を参照しながら説明する。図１２に示すＳ３０１〜Ｓ３０５に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ３０１〜Ｓ３０５に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【０１２１】
Ｓ３０１〜Ｓ３０３に示す処理は、Ｓ１０１〜Ｓ１０３に示す処理と同様であるので、説明を省略する。
【０１２２】
Ｓ３０３に示す処理が終了すると、特徴量データ生成部６０が、特徴量データを生成する（Ｓ３０４）。Ｓ３０４に示す処理では、例えば、特徴量データ生成部６０が、Ｓ３０１に示す処理で生成されたオリジナル画像の特徴量を示す特徴量データを生成してもよい。ここで例えば、Ｓ３０１に示す処理で生成されたオリジナル画像から抽出される特徴量を示す特徴量データが生成されてもよい。また例えば、特徴量データ生成部６０が、Ｓ３０３に示すエンコードに用いられるパラメータである特徴量を示す特徴量データを生成してもよい。また例えば、特徴量データ生成部６０が、Ｓ３０１に示す処理で生成されたオリジナル画像から抽出される特徴量と、Ｓ３０３に示すエンコードに用いられるパラメータである特徴量の両方を示す特徴量データを生成してもよい。
【０１２３】
そして、データ送信部２６が、Ｓ３０３に示す処理で生成された画像データ、及び、当該画像データに関連付けられた、Ｓ３０４に示す処理で生成された特徴量データを、端末１２に送信し（Ｓ３０５）、Ｓ３０１に示す処理に戻る。
【０１２４】
本処理例において、データ送信部２６が、特徴量データを画像データよりも優先して端末１２に送信してもよい。例えば、ＱｏＳ（Quality of Service）やプライオリティ制御の技術を用いて、特徴量データが画像データよりも優先して端末１２に送信されるようにしてもよい。
【０１２５】
次に、図１１に例示する端末１２において実行される、アップスケール画像、又は、代替画像の表示制御処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。図１３に示すＳ４０１〜Ｓ４１４に示す処理は、所定のフレームレートで（例えば６０ｆｐｓで）繰り返し実行される。なお、Ｓ４０１〜Ｓ４１４に示す処理が、可変のフレームレートで繰り返し実行されてもよい。
【０１２６】
まず、データ受信部３０が、Ｓ３０５に示す処理でクラウドサーバ１０から送信された画像データ及び当該画像データに関連付けられている特徴量データを受信する（Ｓ４０１）。
【０１２７】
そして、デコード処理部３２が、Ｓ４０１に示す処理で受信した画像データに対してデコード処理を実行することにより、デコード画像を生成する（Ｓ４０２）。
【０１２８】
そして、アップスケール部３４が、当該フレームにおける画像データ及び特徴量データの全部の受信に成功したか否かを確認する（Ｓ４０３）。画像データ及び特徴量データが端末１２に届かない場合や、端末１２が受信した画像データ及び特徴量データの全部が破損している場合は、Ｓ４０３に示す処理で当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認される。またＳ４０２に示す処理でデコード画像の全部が生成されなかった場合は、Ｓ４０３に示す処理で当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認されてもよい。またここで、データ受信部３０が、画像データ及び特徴量データの全部の受信に失敗した場合に、その旨をアップスケール部３４に通知してもよい。そして、アップスケール部３４が当該通知を受信した際に、Ｓ４０３に示す処理で当該フレームにおける画像データの全部の受信に失敗したことが確認されてもよい。
【０１２９】
Ｓ４０３に示す処理において、当該フレームにおける画像データ及び特徴量データの全部の受信に成功したことが確認されたとする（Ｓ４０３：Ｙ）。この場合は、アップスケール部３４が、Ｓ４０２に示す処理で生成されたデコード画像に対するアップスケール処理を実行することにより、アップスケール画像を生成する（Ｓ４０４）。ここでは、図１４に例示する学習済の機械学習モデルであるアップスケールモデル６２を用いたアップスケール処理が実行される。ここでアップスケールモデル６２が、深層学習の技術を用いたものであってもよい。アップスケールモデル６２には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１３０】
Ｓ４０４に示す処理では例えば、Ｓ４０２に示す処理で生成されたデコード画像及びＳ４０１に示す処理で受信された特徴量データがアップスケールモデル６２に入力される。そして、アップスケールモデル６２から、当該入力に応じたアップスケール画像が出力される。ここでアップスケールモデル６２は、例えば、アップスケール部３４に含まれる。
【０１３１】
図１５は、図１４に示すアップスケールモデル６２の学習の一例を模式的に示す図である。アップスケールモデル６２では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、アップスケールモデル６２の出力であるアップスケール画像と比較される教師データであるアップスケール教師画像と、が含まれる。
【０１３２】
例えば、高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【０１３３】
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと上述の高解像度画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６２に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６２のパラメータが更新されることにより、アップスケールモデル６２の学習が実行されてもよい。
【０１３４】
なお、アップスケールモデル６２の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによってアップスケールモデル６２の学習が実行されてもよい。
【０１３５】
Ｓ４０４に示す処理が終了すると、代替画像生成部３８が、基礎画像、及び、当該基礎画像に対応する特徴量データに基づく、次フレーム用の代替画像の生成を開始する（Ｓ４０５）。ここで例えば、アップスケール部３４が、基礎画像、及び、当該基礎画像に対応する、特徴量データを、互いに関連付けて画像記憶部３６に記憶させてもよい。ここで当該基礎画像は、例えば、Ｓ４０１に示す処理に受信した画像データに基づいて生成された画像であって、代替画像の生成に用いられる画像である。ここで例えば、Ｓ４０４に示す処理で生成されたアップスケール画像が基礎画像として画像記憶部３６に記憶されてもよい。また例えば、Ｓ４０２に示す処理で生成されたデコード画像が基礎画像として画像記憶部３６に記憶されてもよい。また、画像記憶部３６に記憶される特徴量データは、例えば、Ｓ４０１に示す処理に受信した画像データに関連付けられている特徴量データであってもよい。そして、代替画像生成部３８が、画像記憶部３６に記憶された基礎画像、及び、当該基礎画像に対応する特徴量データに基づく代替画像の生成を開始してもよい。
【０１３６】
ここでは、図１６に例示する学習済の機械学習モデルである代替画像生成モデル６４を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル６４が、深層学習の技術を用いたものであってもよい。代替画像生成モデル６４には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１３７】
Ｓ４０５に示す処理では例えば、当該フレームにおいて画像記憶部３６に記憶された基礎画像、及び、当該基礎画像に関連付けられている、当該フレームに送信された特徴量データが代替画像生成モデル６４に入力される。そして、代替画像生成モデル６４から、当該入力に応じた代替画像が出力される。ここで代替画像生成モデル６４は、例えば、代替画像生成部３８に含まれる。
【０１３８】
図１７は、図１６に示す代替画像生成モデル６４の学習の一例を模式的に示す図である。代替画像生成モデル６４では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力特徴量データとを含む学習入力データと、代替画像生成モデル６４の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
【０１３９】
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。
【０１４０】
そして、上述の学習入力画像と上述の学習入力特徴量データとを含む学習入力データと、上述の所与の動画像における当該学習入力画像に対応するフレーム画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル６４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル６４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル６４のパラメータが更新されることにより、代替画像生成モデル６４の学習が実行されてもよい。
【０１４１】
なお、代替画像生成モデル６４の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像生成モデル６４の学習が実行されてもよい。
【０１４２】
そして、代替画像生成部３８が、Ｓ４０５に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部３６に記憶させる（Ｓ４０６）。また、Ｓ４０６に示す処理では、代替画像生成部３８が、Ｓ４０５に示す処理での代替画像の生成に用いられた特徴量データを、次フレーム用の特徴量データとして画像記憶部３６に併せて記憶させる。
【０１４３】
そして、表示制御部４０が、Ｓ４０４に示す処理で生成されたアップスケール画像を表示部１２ｆに表示させて（Ｓ４０７）、Ｓ４０１に示す処理に戻る。
【０１４４】
Ｓ４０３に示す処理において、当該フレームにおける画像データ及び特徴量データの全部の受信に失敗したことが確認されたとする（Ｓ４０３：Ｎ）。この場合は、代替画像生成部３８が、当該フレームにおける特徴量データの一部の受信に成功したか否かを確認する（Ｓ４０８）。端末１２が受信した特徴量データの一部が破損している場合は、Ｓ４０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認される。またＳ４０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ４０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部３０が、特徴量データの一部の受信に失敗した場合に、その旨を代替画像生成部３８に通知してもよい。そして、代替画像生成部３８が当該通知を受信した際に、Ｓ４０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されてもよい。
【０１４５】
Ｓ４０８に示す処理で当該フレームにおける特徴量データの一部の受信に成功したことが確認されたとする（Ｓ４０８：Ｙ）。この場合は、代替画像生成部３８が、当該フレームにおいて受信した特徴量データの一部に基づいて、当該フレーム用の特徴量データを更新する（Ｓ４０９）。Ｓ４０９に示す処理では、当該フレーム用の特徴量データに当該フレームにおいて受信した特徴量データが反映される。ここでは、図１８に例示する学習済の機械学習モデルである特徴量データ更新モデル６６を用いた特徴量データの更新処理が実行される。ここで特徴量データ更新モデル６６が、深層学習の技術を用いたものであってもよい。特徴量データ更新モデル６６には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１４６】
Ｓ４０９に示す処理では例えば、直前のフレームのＳ４０６に示す処理で記憶された第１特徴量データと、当該フレームにおいて受信した特徴量データの一部である部分特徴量データと、が特徴量データ更新モデル６６に入力される。そして、特徴量データ更新モデル６６から、当該入力に応じた第２特徴量データが出力される。このようにして、直前のフレームのＳ４０６に示す処理で記憶された第１特徴量データは第２特徴量データに更新される。ここで特徴量データ更新モデル６６は、例えば、代替画像生成部３８に含まれる。
【０１４７】
図１９は、図１８に示す特徴量データ更新モデル６６の学習の一例を模式的に示す図である。特徴量データ更新モデル６６では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力特徴量データと学習入力部分特徴量データを含む学習入力データと、特徴量データ更新モデル６６の出力である特徴量データと比較される教師データである特徴量教師データと、が含まれる。
【０１４８】
例えば、上述した処理と同様の処理により、所与の動画像に含まれる第１フレーム画像である高解像度画像（例えば４Ｋ画像）に対応する特徴量データである学習入力特徴量データが生成されてもよい。そして、上述した処理と同様の処理により、上述の所与の動画像における第１フレーム画像の次のフレームのフレーム画像である第２フレーム画像に対応する特徴量データの一部である学習入力部分特徴量データが生成されてもよい。
【０１４９】
そして、上述の学習入力特徴量データと上述の学習入力部分特徴量データとを含む学習入力データ、及び、上述した処理と同様の処理により生成される第２フレーム画像に対応する特徴量データである特徴量教師データとを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、特徴量データ更新モデル６６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが特徴量データ更新モデル６６に入力された際の出力である特徴量データと、当該学習データに含まれる特徴量教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により特徴量データ更新モデル６６のパラメータが更新されることにより、特徴量データ更新モデル６６の学習が実行されてもよい。
【０１５０】
なお、特徴量データ更新モデル６６の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって特徴量データ更新モデル６６の学習が実行されてもよい。
【０１５１】
Ｓ４０９に示す処理が終了した、あるいは、Ｓ４０８に示す処理で当該フレームにおける特徴量データの一部の受信に失敗したことが確認されたとする（Ｓ４０８：Ｎ）。これらの場合は、代替画像生成部３８が、当該フレームにおける画像データの一部の受信に成功したか否かを確認する（Ｓ４１０）。端末１２が受信した画像データの一部が破損している場合は、Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認される。またＳ４０２に示す処理でデコード画像の一部が生成されなかった場合は、Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。またここで、データ受信部３０が、画像データの一部の受信に失敗した場合に、その旨を代替画像生成部３８に通知してもよい。そして、代替画像生成部３８が当該通知を受信した際に、Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に失敗したことが確認されてもよい。
【０１５２】
Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ４１０：Ｙ）。この場合は、代替画像生成部３８が、当該フレームにおいて受信した画像データの一部に基づいて、当該フレーム用の代替画像を更新する（Ｓ４１１）。ここでは例えば、当該フレーム用の代替画像に当該フレームにおいて受信した画像データの一部が反映される。ここでは、図２０に例示する学習済の機械学習モデルである代替画像更新モデル６８を用いた代替画像の更新処理が実行される。ここで代替画像更新モデル６８が、深層学習の技術を用いたものであってもよい。代替画像更新モデル６８には、ニューラルネットワークに含まれる各ノードの結合トポロジの情報、及び、結合強度のパラメータの情報が含まれていてもよい。
【０１５３】
Ｓ４１１に示す処理では例えば、直前のフレームのＳ４０６に示す処理で記憶された第１代替画像と、当該フレームにおいて受信した画像データの一部である部分画像データと、特徴量データと、が代替画像更新モデル６８に入力される。ここで、Ｓ４０９に示す処理が実行された場合は、更新後の当該フレーム用の特徴量データが代替画像更新モデル６８に入力される。一方で、Ｓ４０９に示す処理が実行されていない場合は、直前のフレームで記憶された当該フレーム用の特徴量データが代替画像更新モデル６８に入力される。そして、代替画像更新モデル６８から、当該入力に応じた第２代替画像が出力される。このようにして、直前のフレームのＳ４０６に示す処理で記憶された第１代替画像は第２代替画像に更新される。ここで代替画像更新モデル６８は、例えば、代替画像生成部３８に含まれる。
【０１５４】
図２１は、図２０に示す代替画像更新モデル６８の学習の一例を模式的に示す図である。代替画像更新モデル６８では、例えば複数の学習データを用いた学習が実行される。当該学習データには、例えば、学習入力画像と学習入力部分画像データと学習入力特徴量データとを含む学習入力データと、代替画像更新モデル６８の出力である代替画像と比較される教師データである代替教師画像と、が含まれる。
【０１５５】
例えば基礎画像がデコード画像であるとする。この場合、所与の動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されてもよい。そしてこのことによって、低解像度画像（例えば２Ｋ画像）である学習入力画像が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、動画像に含まれるフレーム画像である高解像度画像（例えば４Ｋ画像）に対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像が生成されてもよい。
【０１５６】
そして、上述の所与の動画像における当該学習入力画像に対応する第１フレーム画像の次のフレームのフレーム画像である第２フレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。そして、上述した処理と同様の処理により、第１フレーム画像に対応する特徴量データである学習入力特徴量データが生成されてもよい。なお第１フレーム画像に対応する特徴量データを第２フレーム画像に対応する特徴量データに基づいて更新した特徴量データが、学習入力特徴量データとして用いられてもよい。
【０１５７】
そして、上述の学習入力画像と上述の学習入力部分画像データと上述の学習入力特徴量データを含む学習入力データ、及び、上述の第２フレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル６８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル６８に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル６８のパラメータが更新されることにより、代替画像更新モデル６８の学習が実行されてもよい。
【０１５８】
なお、代替画像更新モデル６８の学習は上述の方法には限定されない。例えば教師なし学習や強化学習などによって代替画像更新モデル６８の学習が実行されてもよい。
【０１５９】
Ｓ４１１に示す処理が終了した場合、又は、Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に成功しなかったことが確認された場合は（Ｓ４１０：Ｎ）、代替画像生成部３８が、次フレーム用の代替画像の生成を開始する（Ｓ４１２）。ここで、Ｓ４１１に示す処理が終了した場合は、代替画像生成部３８が、Ｓ４１１に示す処理で更新された代替画像を基礎画像として画像記憶部３６に記憶させてもよい。また、Ｓ４１０に示す処理で当該フレームにおける画像データの一部の受信に成功しなかった場合は、直前のフレームのＳ４０６に示す処理で記憶された代替画像を基礎画像として画像記憶部３６に記憶させてもよい。また、Ｓ４０９に示す処理が実行された場合は、代替画像生成部３８は、更新後の特徴量データを当該基礎画像に関連付けて画像記憶部３６に記憶させてもよい。また、Ｓ４０９に示す処理が実行されていない場合は、代替画像生成部３８は、当該フレーム用の特徴量データを当該基礎画像に関連付けて画像記憶部３６に記憶させてもよい。そして、代替画像生成部３８が、当該基礎画像、及び、当該基礎画像に関連付けられている特徴量データに基づいて、次フレーム用の代替画像の生成を開始してもよい。
【０１６０】
ここでは、図１６に例示する学習済の機械学習モデルである代替画像生成モデル６４を用いた代替画像生成処理の実行が開始される。ここで代替画像生成モデル６４が、深層学習の技術を用いたものであってもよい。
【０１６１】
そして、代替画像生成部３８が、Ｓ４１２に示す処理で生成が開始され、当該生成が終了した、次フレーム用の代替画像を画像記憶部３６に記憶させる（Ｓ４１３）。ここで、Ｓ４０９に示す処理が実行された場合は、代替画像生成部３８は、更新後の特徴量データを次フレーム用の特徴量データとして当該代替画像に関連付けて画像記憶部３６に記憶させる。また、Ｓ４０９に示す処理が実行されていない場合は、代替画像生成部３８は、当該フレーム用の特徴量データを次フレーム用の特徴量データとして当該代替画像に関連付けて画像記憶部３６に記憶させる。
【０１６２】
そして、表示制御部４０が、当該フレームで生成された代替画像を表示部１２ｆに表示させて（Ｓ４１４）、Ｓ４０１に示す処理に戻る。
【０１６３】
本処理例において、ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データ及び特徴量データの全部の受信に成功したことが確認されたとする（Ｓ４０３：Ｙ）。この場合は、ｎ番目のフレームにおいて受信した画像データ及び特徴量データに基づいて生成されるアップスケール画像が表示される（Ｓ４０７）。またこの場合は、ｎ番目のフレームにおいて、当該アップスケール画像及び当該特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ４０５、Ｓ４０６）。
【０１６４】
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗したとする（Ｓ４０３：Ｎ）。この場合であって、ｎ番目のフレームにおける画像データの一部の受信に成功したことが確認されたとする（Ｓ４１０：Ｙ）。この場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が更新される（Ｓ４１１）。そして更新後のｎ番目のフレーム用の代替画像が表示される（Ｓ４１４）。またこの場合は、ｎ番目のフレームにおいて、更新後のｎ番目のフレーム用の代替画像、及び、ｎ番目のフレーム用の特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ４１２、Ｓ４１３）。
【０１６５】
ｎ番目のフレームにおいて、ｎ番目のフレームにおける画像データの全部の受信に失敗したとする（Ｓ４０３：Ｎ）。この場合であって、ｎ番目のフレームにおける画像データの一部の受信に成功しなかったことが確認されたとする（Ｓ４１０：Ｎ）。この場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成された、ｎ番目のフレーム用の代替画像が表示される（Ｓ４１４）。またこの場合は、ｎ番目のフレームにおいて、（ｎ−１）番目のフレームで生成されたｎ番目のフレーム用の代替画像、及び、ｎ番目のフレーム用の特徴量データに基づいて、（ｎ＋１）番目のフレーム用の代替画像が生成される（Ｓ４１２、Ｓ４１３）。
【０１６６】
また、ｎ番目のフレームにおいて、特徴量データの一部の受信に成功した場合は（Ｓ４０８：Ｙ）、（ｎ−１）番目のフレームで生成された、ｎ番目のフレーム用の特徴量データが更新される（Ｓ４０９）。
【０１６７】
部分特徴量データにＭＥ情報のデータやオプティカル・フローを示すデータなどが含まれている場合、画像に示されているオブジェクトの動きを予想した代替画像の生成が可能となる。このとき、部分特徴量データが示す他の特徴量も予想の精度を上げるために活用される。部分特徴量データは、アップスケール画像の品質の向上のみならず、代替画像についての直前のフレームからの時間方向でのオブジェクトの画像内変化の再現性向上にも活用できる。
【０１６８】
また、本処理例において、次フレーム用の代替画像の生成の開始、及び、次フレーム用の代替画像の記憶の終了を待つことなく、アップスケール画像の表示、あるいは、当該フレーム用の代替画像の表示が実行されてもよい。
【０１６９】
また、受信に失敗した画像データに関連付けられている特徴量データの全部の受信に成功する場合がある。例えばこのような場合に、代替画像生成部３８が、第１画像データ、及び、第２画像データに関連付けられている特徴量データに基づいて、代替画像を生成してもよい。また、特徴量データの受信には失敗したが画像データの全部の受信に成功した場合は、当該画像データに基づいて生成されるアップスケール画像が表示されるようにしてもよい。
【０１７０】
また、代替画像更新モデル６８が、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が第２代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が第２代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像更新モデル６８が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像更新モデル６８の学習が実行されてもよい。この場合、Ｓ４１１に示す処理で、代替画像更新モデル６８から当該判定値が併せて出力されてもよい。
【０１７１】
そして当該判定値に基づいて、Ｓ４１４に示す処理で、表示制御部４０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像更新モデル６８から判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。また、代替画像更新モデル６８から判定値「０」が出力された場合は、表示制御部４０は、代替画像が表示されるよう制御してもよい。
【０１７２】
また、代替画像生成モデル６４についても同様に、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力されるか否かを示す判定値を出力するものであってもよい。例えば、本来表示されるべき画像とは異なる虚構の画像が代替画像として出力される場合は、判定値「１」が出力され、本来表示されるべき画像が代替画像として出力される場合は、判定値「０」が出力されてもよい。この場合、学習入力データの入力に応じて代替画像生成モデル６４が出力する判定値と比較される、当該学習入力データに応じた所与の学習判定値を含む教師データを用いた代替画像生成モデル６４の学習が実行されてもよい。この場合、Ｓ４０５、又は、Ｓ４１２に示す処理で、代替画像生成モデル６４から当該判定値が併せて出力されてもよい。
【０１７３】
そして当該判定値に基づいて、次のフレームのＳ４１４に示す処理で、表示制御部４０が、当該フレームで生成された代替画像を表示部１２ｆに表示させるか否かを制御してもよい。例えば、代替画像生成モデル６４から判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。また、代替画像生成モデル６４から判定値「０」が出力された場合は、表示制御部４０は、代替画像が表示されるよう制御してもよい。
【０１７４】
ここで例えば、代替画像生成モデル６４と代替画像更新モデル６８のいずれかから判定値「１」が出力された場合は、表示制御部４０は、代替画像が表示されないよう制御してもよい。
【０１７５】
本実施形態によれば、画像データの受信の失敗が確認されてから当該データの再送信を開始したのでは表示されるべきタイミングまでに当該画像データを受信できないおそれを低減できることとなる。
【０１７６】
なお、本発明は上述の実施形態に限定されるものではない。
【０１７７】
例えば、アップスケールモデル５０が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ２０２に示す処理で生成されたデコード画像を記憶するようにしてもよい。
【０１７８】
そしてこの場合に、Ｓ２０４に示す処理で、最新のデコード画像を含む、デコード画像の時系列が、アップスケールモデル５０に入力されてもよい。そして、アップスケールモデル５０から、当該入力に応じたアップスケール画像が出力されてもよい。
【０１７９】
ここでアップスケールモデル５０の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。
【０１８０】
そして、上述の学習入力画像の時系列を含む学習入力データと上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像とを含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル５０の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル５０に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル５０のパラメータが更新されることにより、アップスケールモデル５０の学習が実行されてもよい。
【０１８１】
また例えば、代替画像生成部３８が、端末１２が受信した画像データの時系列に基づいて、代替画像を生成してもよい。
【０１８２】
ここで例えば、代替画像生成モデル５２が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部３８が、基礎画像を記憶するようにしてもよい。
【０１８３】
そしてこの場合に、Ｓ２０５、又は、Ｓ２１０に示す処理で、最新の基礎画像を含む、基礎画像の時系列が、代替画像生成モデル５２に入力されてもよい。そして、代替画像生成モデル５２から、当該入力に応じた代替画像が出力されてもよい。
【０１８４】
例えば基礎画像がデコード画像であるとする。この場合、代替画像生成モデル５２の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像生成モデル５２の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。
【０１８５】
そして、上述の学習入力画像の時系列を含む学習入力データと、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像と、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル５２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル５２に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル５２のパラメータが更新されることにより、代替画像生成モデル５２の学習が実行されてもよい。
【０１８６】
また例えば、代替画像更新モデル５４が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部３８が、代替画像を記憶するようにしてもよい。
【０１８７】
そしてこの場合に、代替画像更新モデル５４に、直前のフレームの代替画像を含む代替画像の時系列、及び、当該フレームにおいて受信した画像データの一部である部分画像データが、代替画像更新モデル５４に入力されてもよい。そして、代替画像更新モデル５４から、当該入力に応じた第２代替画像が出力されてもよい。
【０１８８】
例えば基礎画像がデコード画像であるとする。この場合、代替画像更新モデル５４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像更新モデル５４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。
【０１８９】
そして、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
【０１９０】
そして、上述の学習入力画像の時系列、及び、学習入力部分画像データを含む学習入力データと、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル５４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル５４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル５４のパラメータが更新されることにより、代替画像更新モデル５４の学習が実行されてもよい。
【０１９１】
また例えば、アップスケールモデル６２が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２のアップスケール部３４が、Ｓ４０２に示す処理で生成されたデコード画像、及び、Ｓ４０１に示す処理で受信された特徴量データを記憶するようにしてもよい。
【０１９２】
そしてこの場合に、Ｓ４０４に示す処理で、アップスケールモデル６２に、最新のデコード画像を含む、デコード画像の時系列、及び、最新の特徴量データを含む、特徴量データの時系列が、アップスケールモデル６２に入力されてもよい。そして、アップスケールモデル６２から、当該入力に応じたアップスケール画像が出力されてもよい。
【０１９３】
ここでアップスケールモデル６２の学習において、一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該一連の高解像度画像に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。
【０１９４】
そして、上述の学習入力画像の時系列と上述の学習入力特徴量データの時系列とを含む学習入力データと、上述の高解像度画像の時系列における最後の画像であるアップスケール教師画像と、を含む学習データが生成されてもよい。そして、多くの高解像度画像の時系列に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、アップスケールモデル６２の学習が実行されてもよい。例えば、学習データに含まれる学習入力データがアップスケールモデル６２に入力された際の出力であるアップスケール画像と、当該学習データに含まれるアップスケール教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）によりアップスケールモデル６２のパラメータが更新されることにより、アップスケールモデル６２の学習が実行されてもよい。
【０１９５】
また例えば、代替画像生成モデル６４が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部３８が、基礎画像及び基礎画像に関連付けられている特徴量データを記憶するようにしてもよい。
【０１９６】
そしてこの場合に、代替画像生成モデル６４に、最新の基礎画像を含む、基礎画像の時系列、及び、最新の特徴量データを含む、特徴量データの時系列が、代替画像生成モデル６４に入力されてもよい。そして、代替画像生成モデル６４から、当該入力に応じた代替画像が出力されてもよい。
【０１９７】
例えば基礎画像がデコード画像であるとする。この場合、代替画像生成モデル６４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像生成モデル６４の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。そして、上述した処理と同様の処理により、当該高解像度画像の時系列に対応する学習入力特徴量データの時系列が生成されてもよい。
【０１９８】
そして、上述の学習入力画像の時系列、及び、上述の学習入力特徴量データの時系列を含む学習入力データと、一連の高解像度画像の次のフレームのフレーム画像である代替教師画像と、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像生成モデル６４の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像生成モデル６４に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像生成モデル６４のパラメータが更新されることにより、代替画像生成モデル６４の学習が実行されてもよい。
【０１９９】
また例えば、特徴量データ更新モデル６６が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部３８が、特徴量データを記憶するようにしてもよい。
【０２００】
そしてこの場合に、特徴量データ更新モデル６６に、直前のフレームの特量量データを含む特徴量データの時系列、及び、当該フレームにおいて受信した特徴量データの一部である部分特徴量データが、特徴量データ更新モデル６６に入力されてもよい。そして、特徴量データ更新モデル６６から、当該入力に応じた第２特徴量データが出力されてもよい。
【０２０１】
特徴量データ更新モデル６６の学習において、上述した処理と同様の処理により、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）に対応する特徴量データの時系列である学習入力特徴量データの時系列が生成されてもよい。そして、上述した処理と同様の処理により、一連の高解像度画像の次のフレームのフレーム画像である第２フレーム画像に対応する特徴量データの一部である学習入力部分特徴量データが生成されてもよい。
【０２０２】
そして、上述の学習入力特徴量データの時系列、及び、上述の学習入力部分特徴量データを含む学習入力データと、上述の第２フレーム画像に対応する特徴量データである特徴量教師データと、を含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、特徴量データ更新モデル６６の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが特徴量データ更新モデル６６に入力された際の出力である特徴量データと、当該学習データに含まれる特徴量教師データと、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により特徴量データ更新モデル６６のパラメータが更新されることにより、特徴量データ更新モデル６６の学習が実行されてもよい。
【０２０３】
また例えば、代替画像更新モデル６８が、再帰型ニューラルネットワーク（ＲＮＮ）によって実装されていてもよい。そしてこの場合、端末１２の代替画像生成部３８が、代替画像、及び、特徴量データを記憶するようにしてもよい。
【０２０４】
そしてこの場合に、代替画像更新モデル６８に、直前のフレームの代替画像を含む代替画像の時系列、直前のフレームの代替画像を含む代替画像の時系列に対応する特徴量データの時系列、及び、当該フレームにおいて受信した画像データの一部である部分画像データが、代替画像更新モデル６８に入力されてもよい。そして、代替画像更新モデル６８から、当該入力に応じた第２代替画像が出力されてもよい。
【０２０５】
例えば基礎画像がデコード画像であるとする。この場合、代替画像更新モデル６８の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）（高解像度画像の時系列）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理が実行されることにより、低解像度画像（例えば２Ｋ画像）である学習入力画像の時系列が生成されてもよい。また例えば基礎画像がアップスケール画像であるとする。この場合、代替画像更新モデル６８の学習において、所与の動画像に含まれる一連の高解像度画像（例えば４Ｋ画像）のそれぞれに対して、上述のダウンスケール処理、上述のエンコード処理、及び、上述のデコード処理、上述のアップスケール処理が実行されてもよい。そしてこのことによって、高解像度画像である学習入力画像の時系列が生成されてもよい。また、上述の処理と同様の処理により、当該高解像度画像の時系列に対応する学習入力特徴量データの時系列が生成されてもよい。
【０２０６】
そして、上述の所与の動画像における上述の一連の高解像度画像の次のフレームのフレーム画像に対して上述のダウンスケール処理、及び、上述のエンコード処理が実行されることにより生成される画像データの一部である学習入力部分画像データが生成されてもよい。
【０２０７】
そして、上述の学習入力画像の時系列、上述の学習入力特徴量データの時系列、及び、学習入力部分画像データを含む学習入力データと、上述の一連の高解像度画像の次のフレームのフレーム画像である代替教師画像とを含む学習データが生成されてもよい。そして、多くの動画像や多くのフレーム画像に基づいてこのようにして生成される複数の学習データを用いた教師あり学習により、代替画像更新モデル６８の学習が実行されてもよい。例えば、学習データに含まれる学習入力データが代替画像更新モデル６８に入力された際の出力である代替画像と、当該学習データに含まれる代替教師画像と、が比較されてもよい。そして当該比較の結果に基づいて、誤差逆伝搬法（バックプロパゲーション）により代替画像更新モデル６８のパラメータが更新されることにより、代替画像更新モデル６８の学習が実行されてもよい。
【０２０８】
以上のように本実施形態においてデータの時系列が入力される機械学習モデルを用いることで、過去のフレームのデータの時系列に基づいて当該フレームで起こる変化の予測を加味したデータが機械学習モデルから出力される。そのため機械学習モデルの出力結果の精度をより向上させることができる。
【０２０９】
また本実施形態において例えば、アップスケールモデル５０が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像生成モデル５２が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像更新モデル５４が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、アップスケールモデル６２が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像生成モデル６４が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、特徴量データ更新モデル６６が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。また例えば、代替画像更新モデル６８が、敵対的生成ネットワーク（ＧＡＮ）によって実装されていてもよい。
【０２１０】
また例えば、端末１２のアップスケール部３４が、特徴量データに含まれる、超解像処理の実行要否を示すデータに基づいて、超解像処理の実行要否を決定してもよい。そして、超解像処理を実行しないことが決定された場合に、アップスケール部３４は、アップスケール処理を実行しないよう制御してもよい。また、超解像処理を実行しないことが決定された場合に、アップスケール部３４は、代替画像の生成処理を実行しないよう代替画像生成部３８を制御してもよい。そしてこの場合に、表示制御部４０が、デコード画像、又は、直前のフレームで表示された画像を、表示部１２ｆに表示させてもよい。
【０２１１】
また例えば、端末１２の代替画像生成部３８が、基礎画像に基づいて、代替画像を生成するか否かを決定してもよい。ここで上述した方法と同様の方法による学習が実行された、代替画像を生成するか否かを示す情報を出力する学習済の代替画像生成モデル５２を用いて代替画像を生成するか否かが決定されてもよい。また、代替画像生成部３８が、基礎画像、及び、当該基礎画像に関連付けられている特徴量データに基づいて、代替画像を生成するか否かを決定してもよい。ここで上述した方法と同様の方法による学習が実行された、代替画像を生成するか否かを示す情報を出力する学習済の代替画像生成モデル６４を用いて代替画像を生成するか否かが決定されてもよい。そして、代替画像を生成しないことが決定された際に、表示制御部４０が、デコード画像、又は、直前のフレームで表示された画像を、表示部１２ｆに表示させてもよい。
【０２１２】
また例えば、ダウンスケールされる前のプレイ画像が複数の部分画像に分割されてもよい。ここで例えば、プレイ画像が、８×８ピクセル、あるいは、３２×３２ピクセルなどのサイズの矩形領域を占める複数の部分画像に分割されてもよい。また例えば、プレイ画像を横方向に分割することにより、プレイ画像が、複数のライン（例えば３２ライン）を束ねたスライス状（ストライプ状）の複数の部分画像に分割されてもよい。この場合、当該部分画像が上述のオリジナル画像に相当する。そして当該部分画像である当該オリジナル画像に対して、図３に示すＳ１０２〜Ｓ１０４、及び、図４に示すＳ２０１〜Ｓ２１２に示す一連の処理が実行されるようにしてもよい。あるいは、当該部分画像である当該オリジナル画像に対して、図１２に示すＳ３０２〜Ｓ３０５、及び、図１３に示すＳ４０１〜Ｓ４１４に示す一連の処理が実行されるようにしてもよい。
【０２１３】
また、プレイ画像がオリジナル画像に相当する場合であっても、部分画像がオリジナル画像に相当する場合であっても、Ｓ２０４、Ｓ２０６、Ｓ２０９、Ｓ２１１、Ｓ４０４、Ｓ４０６、Ｓ４１１、Ｓ４１３に示す処理が、オリジナル画像よりも小さな粒度で実行されてもよい。例えば、８×８ピクセルの画像毎、あるいは、３２×３２ピクセルなどの画像毎にＳ２０４、Ｓ２０６、Ｓ４０４、及び、Ｓ４０６に示す処理が実行されてもよい。ここで、デコード画像の解像度が１９２０×１０８８ピクセルであって、３２×３２ピクセルの画像毎に上述の処理が実行される際には、当該処理が６０×２４回実行されることとなる。この場合、機械学習モデルの学習に用いられる学習入力画像は、当該処理において当該機械学習モデルに入力される画像と同形同サイズの画像であってもよい。
【０２１４】
また、Ｓ４０４、Ｓ４０９、Ｓ４１１、Ｓ４１３に示す処理が、特徴量データよりも小さな粒度で実行されてもよい。この場合、機械学習モデルの学習に用いられる学習入力部分特徴量データや学習入力特徴量データは、当該処理において当該機械学習モデルに入力されるデータと同サイズのデータであってもよい。
【０２１５】
また、アップスケール部３４が、超解像処理や外挿を実行することによりアップスケール画像を生成してもよい。また、代替画像生成部３８が、外挿を実行することにより代替画像を生成してもよい。
【０２１６】
また、アップスケールモデル５０、代替画像生成モデル５２、代替画像更新モデル５４、アップスケールモデル６２、代替画像生成モデル６４、特徴量データ更新モデル６６、代替画像更新モデル６８は、それぞれ別の機械学習モデルであってもよいし、一部又は全部について一体化された一体型の機械学習モデルであってもよい。
【０２１７】
また本発明の適用範囲は、クラウドゲーミングサービスが提供される状況に限定されない。本発明は、端末１２において、画像記憶部３６に記憶されている基礎画像に基づいて代替画像が生成される状況については一般的に適用可能である。
【０２１８】
ここで例えば、ゲームのプレイ状況を表す動画像を配信する配信サーバに、クラウドサーバ１０から、画像データ、あるいは、画像データ及び特徴量データが、繰り返し送信されるようにしてもよい。そして配信サーバが、一連のプレイ画像に相当する、それぞれ順序が関連付けられた、画像データ、あるいは、画像データ及び特徴量データを記憶するようにしてもよい。そして事後的に、ゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末からの要求に応じて、配信サーバが、配信サーバに記憶された画像データ、あるいは、画像データ及び特徴量データを、関連付けられている順序に従って当該端末に順次送信するようにしてもよい。そして当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
【０２１９】
また、ゲーム実況が行われる状況において、上述の配信サーバが、画像データ、あるいは、画像データ及び特徴量データの受信に応じて、リアルタイムで、画像データ、あるいは、画像データ及び特徴量データをゲームのプレイ状況を表す動画像を視聴するユーザが使用する端末に送信してもよい。そして、当該端末において、図１に示す端末１２と同様の処理が実行されてもよい。
【０２２０】
ここでクラウドサーバ１０が、画像データ、あるいは、画像データ及び特徴量データを端末に送信する上述の配信サーバの役割を兼ねていてもよい。また、端末１２において図１に示すクラウドサーバ１０と同様の処理が実行され、一連のプレイ画像に相当する、画像データ、あるいは、画像データ及び特徴量データが端末１２から配信サーバに繰り返し送信されるようにしてもよい。
【０２２１】
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。
【図１】
2020194958.tif 000003
【図２】
2020194958.tif 000004
【図３】
2020194958.tif 000005
【図４】
2020194958.tif 000006
【図５】
2020194958.tif 000007
【図６】
2020194958.tif 000008
【図７】
2020194958.tif 000009
【図８】
2020194958.tif 000010
【図９】
2020194958.tif 000011
【図１０】
2020194958.tif 000012
【図１１】
2020194958.tif 000013
【図１２】
2020194958.tif 000014
【図１３】
2020194958.tif 000015
【図１４】
2020194958.tif 000016
【図１５】
2020194958.tif 000017
【図１６】
2020194958.tif 000018
【図１７】
2020194958.tif 000019
【図１８】
2020194958.tif 000020
【図１９】
2020194958.tif 000021
【図２０】
2020194958.tif 000022
【図２１】
2020194958.tif 000023
【国際調査報告】
2020194958.tif 000024
2020194958.tif 000025
2020194958.tif 000026
2020194958.tif 000027