(57)【要約】      （修正有）【課題】静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量の増加を抑制する。【解決手段】送信側の情報処理装置１００は、フレーム内を動画領域と静止画領域に判定する更新領域判定部１１０と、フレーム内に動画領域がある場合、フレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部１２０と、フレーム内に動画領域から静止画領域に切り替わった領域がある場合、静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部１４０と、動画領域を、動画ストリームを復号して生成した動画復号画像から抽出して画像バッファ部１６０に格納する第１動画復号部１３０と、静止画領域に切り替わった領域の画像を静止画ストリームを復号して画像バッファ部に格納する第１静止画復号部１５０と、領域情報、動画ストリーム、静止画ストリームを送信する送信部１７０を有する。【選択図】図１
2019083396.tif 000002
【特許請求の範囲】
【請求項１】
画像を符号化して送信する送信側の情報処理装置と、前記送信側の情報処理装置から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置とを有し、
前記送信側の情報処理装置は、
画像を保持する第１画像バッファ部と、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定する更新領域判定部と、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部と、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部と、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第１画像バッファ部に格納する第１動画復号部と、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する第１静止画復号部と、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームとを前記受信側の情報処理装置に送信する送信部とを有し、
前記受信側の情報処理装置は、
前記表示画面に表示する画像を保持する第２画像バッファ部と、
前記送信側の情報処理装置から受ける前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける前記領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納する第２動画復号部と、
前記送信側の情報処理装置から受ける前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する第２静止画復号部とを有する
ことを特徴とする情報処理システム。
【請求項２】
請求項１に記載の情報処理システムにおいて、
前記静止画符号化部は、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、前記第１画像バッファ部に保持された画像から動画領域から静止画領域に切り替わった領域に対応する領域の画像を第１参照画像として取得し、前記第１参照画像と動画領域から静止画領域に切り替わった領域の画像との差分を符号化して前記静止画ストリームを生成し、
前記第１静止画復号部は、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、前記静止画ストリームを復号した画像を前記第１参照画像に加算して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
【請求項３】
請求項１または請求項２に記載の情報処理システムにおいて、
前記第２静止画復号部は、前記静止画ストリームを前記送信側の情報処理装置から受けた場合、前記第２画像バッファ部に保持された画像から動画領域から静止画領域に切り替わった領域に対応する領域の画像を第２参照画像として取得し、前記静止画ストリームを復号した画像を前記第２参照画像に加算して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
ことを特徴とする情報処理システム。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の情報処理システムにおいて、
前記送信側の情報処理装置により符号化される符号化対象の画像の色差フォーマットは、色差成分を間引かない４：４：４フォーマットであり、
前記静止画符号化部は、４：４：４フォーマットの前記符号化対象の画像における動画領域から静止画領域に切り替わった領域を符号化して前記静止画ストリームを生成し、
前記動画符号化部は、４：４：４フォーマットの前記符号化対象の画像を色差成分を間引いた画像に変換し、色差成分を間引いた画像のフレームを動画符号化方式で符号化して前記動画ストリームを生成し、
前記第１動画復号部は、前記動画ストリームを復号して生成した動画復号画像のうち、動画領域に対応する領域の画像を抽出し、抽出した画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
【請求項５】
請求項４に記載の情報処理システムにおいて、
前記送信側の情報処理装置が、前記受信側の情報処理装置に最初に表示させる画像を送信する場合、
前記第１動画復号部は、前記動画ストリームを復号して生成した動画復号画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した動画復号画像を前記第１画像バッファ部に格納し、
前記静止画符号化部は、前記第１画像バッファ部に保持された動画復号画像を第３参照画像として取得し、前記第３参照画像と前記符号化対象の画像との差分を符号化して前記静止画ストリームを生成し、
前記第１静止画復号部は、前記静止画ストリームを復号した画像を前記第３参照画像に加算して静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
【請求項６】
請求項５に記載の情報処理システムにおいて、
前記受信側の情報処理装置が画像を最初に表示する場合、
前記第２動画復号部は、前記送信側の情報処理装置から受ける前記動画ストリームを復号して生成した動画復号画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した動画復号画像を前記第２画像バッファ部に格納し、
前記第２静止画復号部は、前記第２画像バッファ部に保持された動画復号画像を第４参照画像として取得し、前記送信側の情報処理装置から受ける前記静止画ストリームを復号した画像を前記第４参照画像に加算して静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
ことを特徴とする情報処理システム。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の情報処理システムにおいて、
前記送信側の情報処理装置は、動画のフレームの画像を保持する第１動画フレームバッファ部をさらに有し、
前記第１動画復号部は、前記動画符号化部が前記動画ストリームを生成する度に、前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像を前記第１動画フレームバッファ部に格納し、
前記受信側の情報処理装置は、動画のフレームの画像を保持する第２動画フレームバッファ部をさらに有し、
前記第２動画復号部は、前記動画ストリームを前記送信側の情報処理装置から受ける度に、前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像を前記第２動画フレームバッファ部に格納する
ことを特徴とする情報処理システム。
【請求項８】
画像を符号化して受信側の情報処理装置に送信する送信側の情報処理装置において、
画像を保持する第１画像バッファ部と、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定する更新領域判定部と、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部と、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部と、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第１画像バッファ部に格納する第１動画復号部と、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する第１静止画復号部と、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームとを前記受信側の情報処理装置に送信する送信部とを有する
ことを特徴とする情報処理装置。
【請求項９】
送信側の情報処理装置から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置において、
前記表示画面に表示する画像を保持する第２画像バッファ部と、
前記送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける情報であり、動画領域を示す領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納する第２動画復号部と、
前記送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する第２静止画復号部とを有する
ことを特徴とする情報処理装置。
【請求項１０】
画像を符号化して受信側の情報処理装置に送信する送信側の情報処理装置の動作を制御する情報処理プログラムにおいて、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定し、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成し、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成し、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記送信側の情報処理装置が有する第１画像バッファ部に格納し、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納し、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームを前記受信側の情報処理装置に送信する
処理を前記送信側の情報処理装置に実行させるための情報処理プログラム。
【請求項１１】
表示画面に表示する画像を保持する第２画像バッファ部を有し、送信側の情報処理装置から受ける符号化された画像を復号して前記表示画面に表示する受信側の情報処理装置の動作を制御する情報処理プログラムにおいて、
前記送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける情報であり、動画領域を示す領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納し、
前記送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
処理を前記受信側の情報処理装置に実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置および情報処理プログラムに関する。
【背景技術】
【０００２】
近年、クライアント装置に表示する画面を、ネットワークを介してクライアント装置に接続されるサーバ装置に制御させるシンクライアントシステム等の情報処理システムが普及している（例えば、特許文献１参照）。シンクライアントシステムは、例えば、サーバ装置でアプリケーションを実行し、アプリケーションの実行結果をクライアント装置に表示する。この種のシンクライアントシステムでは、サーバ装置は、画像を符号化してクライアント装置に送信する。
【０００３】
例えば、サーバ装置は、クライアント装置に送信する画像を符号化する場合、画像を静止画として符号化する静止画符号化と画像を動画として符号化する動画符号化とをネットワーク帯域の変化等に応じて切り替えて実行する。動画符号化では、最初のフレームは、画面内予測により符号化される。このため、動画符号化における最初のフレームの符号化後の情報量は、画面間予測により符号化される他のフレームに比べて増加する。
【０００４】
ここで、例えば、静止画符号化から切り替わった後の動画符号化における最初のフレームが、動画符号化に切り替わる前の静止画のフレームと似ている場合でも、動画符号化における最初のフレームは、画面内予測により符号化される。この場合、静止画符号化から切り替わった後の動画符号化における最初のフレームと動画符号化に切り替わる前の静止画のフレームとで、重複したデータの転送が発生する。このため、静止画符号化から動画符号化に切り替わる場合に動画符号化に切り替わる前の静止画のフレームを参照画像として、動画符号化における最初のフレームを画面間予測で符号化する方法が提案されている（例えば、特許文献２、３参照）。
【０００５】
また、画像を表示する表示装置にネットワークを介して接続する通信装置では、表示内容が更新された差分領域の面積が閾値を超えた場合に動画符号化のフレームレートを下げる通信方法が提案されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１４５３３号公報
【特許文献２】特開２０１２−１９５６２９号公報
【特許文献３】特開２０１６−１８４８９４号公報
【特許文献４】特開２０１０−１１８９７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
動画符号化における最初のフレームを画面間予測で符号化する場合、サーバ装置に搭載される動画符号化装置は、最初のフレームで使用する参照画像を外部から取得する。すなわち、サーバ装置に搭載される動画符号化装置は、参照画像を動画符号化装置の外部から取得して最初のフレームを画面間予測で符号化可能に設計される。なお、汎用的な動画符号化装置では、静止画符号化により符号化されるフレームを参照画像として取得することが困難であるため、最初のフレームを画面間予測で符号化することは困難である。この場合、動画符号化における最初のフレームが画面内予測で符号化されるため、最初のフレームを画面間予測で符号化する場合に比べて、符号化後のフレームの情報量は増加する。すなわち、静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量は増加する。
【０００８】
１つの側面では、本発明は、静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量の増加を抑制することを目的とする。
【課題を解決するための手段】
【０００９】
１つの実施態様では、情報処理システムは、画像を符号化して送信する送信側の情報処理装置と、送信側の情報処理装置から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置とを有する。送信側の情報処理装置は、画像を保持する第１画像バッファ部と、画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと判定対象のフレームの前のフレームとの差分に基づいて判定し、更新領域に基づいて判定対象のフレーム内を動画領域と静止画領域に判定する更新領域判定部と、判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部と、判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部と、動画ストリームを復号して動画復号画像を生成し、判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を第１画像バッファ部に格納する第１動画復号部と、静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を第１画像バッファ部に格納する第１静止画復号部と、判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と動画ストリームとを受信側の情報処理装置に送信し、判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と静止画ストリームとを受信側の情報処理装置に送信する送信部とを有する。受信側の情報処理装置は、表示画面に表示する画像を保持する第２画像バッファ部と、送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、判定対象のフレーム内に動画領域がある場合、送信側の情報処理装置から受ける領域情報に基づいて、動画領域に対応する領域を、動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を第２画像バッファ部に格納する第２動画復号部と、送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を第２画像バッファ部に格納する第２静止画復号部とを有する。
【発明の効果】
【００１０】
１つの側面では、本発明は、静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。
【図面の簡単な説明】
【００１１】
【図１】情報処理システム、情報処理装置および情報処理プログラムの一実施形態を示す図である。
【図２】図１に示した送信側の情報処理装置の動作の一例を示す図である。
【図３】図１に示した受信側の情報処理装置の動作の一例を示す図である。
【図４】情報処理システム、情報処理装置および情報処理プログラムの別の実施形態を示す図である。
【図５】図４に示した送信側の情報処理装置の一例を示す図である。
【図６】図４に示した受信側の情報処理装置の一例を示す図である。
【図７】図４に示した情報処理システムの動作の一例を示す図である。
【図８】図４に示した情報処理システムの動作の別の例を示す図である。
【図９】図４に示した情報処理システムの動作の別の例を示す図である。
【図１０】図４に示した情報処理システムの動作の比較例を示す図である。
【図１１】図４に示した送信側の情報処理装置の動作の一例を示す図である。
【図１２】図１１に示した画面転送開始処理の一例を示す図である。
【図１３】図４に示した受信側の情報処理装置の動作の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、実施形態について、図面を用いて説明する。
【００１３】
図１は、情報処理システム、情報処理装置および情報処理プログラムの一実施形態を示す。図１に示す情報処理システム１０は、例えば、シンクライアントシステム等である。なお、情報処理システム１０は、シンクライアントシステムに限定されない。情報処理システム１０は、画像ＩＭＧｉを符号化して送信する送信側の情報処理装置１００と、送信側の情報処理装置１００から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置２００とを有する。情報処理装置２００は、例えば、ネットワークを介して情報処理装置１００に接続される。例えば、シンクライアントシステムの場合、図１に示す画像ＩＭＧｉは、情報処理装置１００上の仮想マシーンに構築された仮想的なデスクトップ環境のデスクトップ画面の画像であり、情報処理装置１００で生成される。また、図１に示す画像ＩＭＧｏは、情報処理装置２００の表示画面に表示される画像である。
【００１４】
情報処理装置１００は、サーバ等である。例えば、情報処理装置１００は、更新領域判定部１１０、動画符号化部１２０、動画復号部１３０、静止画符号化部１４０、静止画復号部１５０、画像バッファ部１６０および送信部１７０を有する。なお、更新領域判定部１１０、動画符号化部１２０、動画復号部１３０、静止画符号化部１４０、静止画復号部１５０および送信部１７０は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、更新領域判定部１１０、動画符号化部１２０、動画復号部１３０、静止画符号化部１４０、静止画復号部１５０および送信部１７０は、情報処理装置１００に含まれる図示しないプロセッサが情報処理プログラム等を実行することにより、実現されてもよい。なお、情報処理プログラムは、情報処理装置１００内の図示しないメモリ等の記憶装置に格納されてもよく、情報処理装置１００の外部の記憶装置に格納されてもよい。また、情報処理プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等のコンピュータにより読み取り可能な記録媒体ＲＥＣに格納されてもよい。この場合、記録媒体ＲＥＣに格納された情報処理プログラムは、情報処理装置１００に設けられる図示しない入出力インタフェースを介して記録媒体ＲＥＣからメモリ等に転送される。なお、情報処理装置１００は、記録媒体ＲＥＣから図示しないハードディスクに転送された後、ハードディスクからメモリに転送されてもよい。
【００１５】
更新領域判定部１１０は、画像ＩＭＧｉをフレーム毎に受ける。そして、更新領域判定部１１０は、画像ＩＭＧｉのフレーム毎に、情報処理装置２００の表示画面に表示する表示内容が更新された更新領域が画像ＩＭＧｉ内に存在するかを判定対象のフレームと判定対象のフレームの前のフレームとの差分に基づいて判定する。また、更新領域判定部１１０は、フレーム内を動画領域と静止画領域に判定する。例えば、更新領域判定部１１０は、画像が更新された領域、または、領域が連続して所定の回数以上更新された領域を動画領域と判定し、領域が連続して所定の回数以上更新されない場合、領域を静止画領域であると判定する。例えば、所定の回数が３回の場合、連続して３回以上更新された領域は、動画領域と判定され、連続して３回以上更新されない領域（連続して２回だけ更新された領域、１回だけ更新された領域、更新されない領域等）は、静止画領域と判定される。また、更新領域判定部１１０は、動画領域から静止画領域に切り替わった領域を検出する。そして、更新領域判定部１１０は、動画領域の位置および動画領域から静止画領域に切り替わった領域の位置を示す領域情報ＵＡＩＮＦを、動画符号化部１２０、動画復号部１３０、静止画符号化部１４０および静止画復号部１５０に転送する。
【００１６】
動画符号化部１２０は、例えば、画像ＩＭＧｉをフレーム毎に受ける。そして、動画符号化部１２０は、動画領域が検出された場合、画像ＩＭＧｉの全画面（フレーム全体）を動画として符号化して動画ストリームＳＴＭｍを生成する。例えば、動画符号化部１２０は、動画領域が画像ＩＭＧｉから検出された場合、動画領域が検出された画像ＩＭＧｉのフレーム（全画面）を動画符号化方式で符号化して動画ストリームＳＴＭｍを生成する。動画符号化方式は、例えば、Ｈ．２６４、ＨＥＶＣ（High Efficiency Video Coding）等の動画像用の符号化の規格に準拠した符号化方法である。なお、動画符号化部１２０が実行する動画符号化方式は、Ｈ．２６４またはＨＥＶＣに限定されない。また、動画符号化部１２０は、動画ストリームＳＴＭｍを動画復号部１３０および送信部１７０に転送する。さらに、動画符号化部１２０は、更新領域判定部１１０から受ける領域情報ＵＡＩＮＦを動画ストリームＳＴＭｍとともに送信部１７０に転送する。送信部１７０に転送された動画ストリームＳＴＭｍおよび領域情報ＵＡＩＮＦは、受信側の情報処理装置２００に転送される。なお、領域情報ＵＡＩＮＦは、更新領域判定部１１０から送信部１７０に転送されてもよい。
【００１７】
動画復号部１３０は、動画符号化部１２０から受ける動画ストリームＳＴＭｍを復号して動画復号画像を生成する。また、動画復号部１３０は、動画領域がある場合、更新領域判定部１１０から受ける領域情報ＵＡＩＮＦに基づいて、動画領域に対応する領域を、動画ストリームＳＴＭｍを復号して生成した動画復号画像から抽出する。そして、動画復号部１３０は、動画復号画像から抽出した領域の画像を画像バッファ部１６０に格納する。動画復号部１３０は、第１動画復号部の一例である。
【００１８】
静止画符号化部１４０は、例えば、画像ＩＭＧｉをフレーム毎に受ける。そして、静止画符号化部１４０は、動画領域から静止画領域に切り替わった領域がある場合、画像ＩＭＧｉ内の動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームＳＴＭｓを生成する。例えば、静止画符号化部１４０は、画像バッファ部１６０に保持された画像の動画領域から静止画領域に切り替わった領域に対応する領域と画像ＩＭＧｉ内の動画領域から静止画領域に切り替わった領域との差分を符号化して静止画ストリームＳＴＭｓを生成する。そして、静止画符号化部１４０は、静止画ストリームＳＴＭｓを静止画復号部１５０および送信部１７０に転送する。送信部１７０に転送された静止画ストリームＳＴＭｓは、受信側の情報処理装置２００に転送される。なお、静止画符号化部１４０は、画像ＩＭＧｉ内の動画領域から静止画領域に切り替わった領域と画像バッファ部１６０に保持された画像の差分を符号化する代わりに、画像ＩＭＧｉ内の更新領域をＪＰＥＧ（Joint Photographic Experts Group）方式等の静止画用の標準化された方式で符号化してもよい。
【００１９】
静止画復号部１５０は、静止画符号化部１４０から受ける静止画ストリームＳＴＭｓを復号して更新領域の静止画復号画像を生成し、生成した静止画復号画像を画像バッファ部１６０に格納する。静止画復号部１５０は、第１静止画復号部の一例である。
【００２０】
このように、画像バッファ部１６０は、受信側の情報処理装置２００に送信する符号化後の画像（動画ストリームＳＴＭｍ、静止画ストリームＳＴＭｓ）を復号して生成される画像を保持する。すなわち、画像バッファ部１６０は、受信側の情報処理装置２００に表示させる画像ＩＭＧｏと同一の画像を保持する。画像バッファ部１６０は、第１画像バッファ部の一例である。
【００２１】
送信部１７０は、動画領域がある場合、動画領域を示す領域情報ＵＡＩＮＦと動画ストリームＳＴＭｍとを受信側の情報処理装置２００に送信する。また、送信部１７０は、動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報ＵＡＩＮＦと静止画ストリームＳＴＭｓとを受信側の情報処理装置２００に送信する。
【００２２】
このように、動画ストリームＳＴＭｍは、動画領域がある場合、受信側の情報処理装置２００に送信される。また、動画領域から静止画領域に切り替わった領域がある場合、静止画ストリームＳＴＭｓが受信側の情報処理装置２００に送信される。また、動画領域と、動画領域から静止画領域に切り替わった領域の両方がある場合、動画ストリームＳＴＭｍと静止画ストリームＳＴＭｓとの両方が受信側の情報処理装置２００に送信される。
【００２３】
これにより、情報処理装置２００に表示させる画像ＩＭＧｏが、静止画ストリームＳＴＭｓを復号して生成される画像から、動画ストリームＳＴＭｍを復号して生成される画像に切り替わる場合でも、情報処理装置１００は、画面間予測を実行できる。すなわち、情報処理装置１００は、更新領域が静止画領域から動画領域に切り替わる場合でも、動画領域に切り替わる最初のフレームを画面間予測で符号化できる。
【００２４】
ここで、画像ＩＭＧｉのフレーム全体（全画面）を動画符号化方式で符号化する場合、更新領域を画面間予測で符号化することにより発生する情報量（符号量）は、更新領域を画面内予測で符号化する場合に比べて小さい。また、更新領域以外では、前のフレームとの差分がないため、符号化により発生する情報量は、更新領域を符号化する場合に比べて無視できるほど小さい。すなわち、画像ＩＭＧｉのフレーム全体を画面間予測で符号化することにより発生する情報量は、更新領域のみを画面間予測で符号化する場合とほぼ同じであり、更新領域のみを画面内予測で符号化する場合に比べて小さい。したがって、情報処理装置１００は、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。
【００２５】
情報処理装置２００は、クライアント等である。例えば、情報処理装置２００は、動画復号部２３０、静止画復号部２５０および画像バッファ部２６０を有する。なお、動画復号部２３０および静止画復号部２５０は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、動画復号部２３０および静止画復号部２５０は、情報処理装置２００に含まれる図示しないプロセッサが情報処理プログラム等を実行することにより、実現されてもよい。なお、情報処理プログラムは、情報処理装置２００内の図示しないメモリ等の記憶装置に格納されてもよく、情報処理装置２００の外部の記憶装置に格納されてもよい。また、情報処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ等のコンピュータにより読み取り可能な記録媒体ＲＥＣに格納されてもよい。この場合、記録媒体ＲＥＣに格納された情報処理プログラムは、情報処理装置２００に設けられる図示しない入出力インタフェースを介して記録媒体ＲＥＣからメモリ等に転送される。なお、情報処理装置２００は、記録媒体ＲＥＣから図示しないハードディスクに転送された後、ハードディスクからメモリに転送されてもよい。
【００２６】
動画復号部２３０は、動画復号部１３０と同一または同様である。例えば、動画復号部２３０は、送信側の情報処理装置１００から受ける動画ストリームＳＴＭｍを復号して動画復号画像を生成する。また、動画復号部２３０は、動画領域がある場合、送信側の情報処理装置１００から受ける領域情報ＵＡＩＮＦに基づいて、動画領域に対応する領域を、動画ストリームＳＴＭｍを復号して生成した動画復号画像から抽出する。そして、動画復号部２３０は、動画復号画像から抽出した領域の画像を画像バッファ部２６０に格納する。これにより、動画領域の画面が更新される。動画復号部２３０は、第２動画復号部の一例であり、画像バッファ部２６０は、第２画像バッファ部の一例である。また、後述する静止画復号部２５０は、第２静止画復号部の一例である。
【００２７】
静止画復号部２５０は、静止画復号部１５０と同一または同様である。静止画復号部２５０は、静止画ストリームＳＴＭｓを情報処理装置２００が送信側の情報処理装置１００から受けた場合、静止画ストリームＳＴＭｓを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を画像バッファ部２６０に格納する。これにより、静止画領域の画面が更新される。
【００２８】
情報処理装置２００は、画像バッファ部２６０に保持された画像ＩＭＧｏを図示しない表示画面に表示する。このように、画像バッファ部２６０は、情報処理装置２００が表示画面に表示する画像ＩＭＧｏを、保持する。なお、情報処理システム１０、情報処理装置１００、２００の構成および動作は、図１に示す例に限定されない。
【００２９】
図２は、図１に示した送信側の情報処理装置１００の動作の一例を示す。なお、図２に示す動作を情報処理装置１００に実行させるためのプログラムは、情報処理プログラムの一例である。
【００３０】
ステップＳ１０では、更新領域判定部１１０は、表示内容が更新された更新領域をフレーム（画像ＩＭＧｉ）から検出する。例えば、更新領域判定部１１０は、判定対象のフレームと判定対象のフレームの前のフレームとの間で画素値が異なる領域を検出した場合、検出した領域を画像ＩＭＧｉ内の更新領域と判定する。この場合、更新領域判定部１１０は、更新領域を検出したと判定する。なお、更新領域判定部１１０は、２つのフレーム間における画素値の差が所定値以下の領域（画素）に対しては表示内容が更新されていない領域と判定してもよい。また、更新領域判定部１１０は、２つのフレーム間で画素値が異なる領域（画素）が所定の画素数以下の場合、更新領域が存在しないと判定してもよい。
【００３１】
次に、ステップＳ１２では、更新領域判定部１１０は、更新領域の検出結果に基づいて、フレーム内を動画領域と静止画領域とに判定する。例えば、更新領域判定部１１０は、画像が更新された領域、または、領域が連続して所定の回数以上更新された領域を動画領域と判定し、更新領域が連続して所定の回数以上更新されない場合、更新領域を静止画領域であると判定する。
【００３２】
次に、ステップＳ１４では、更新領域判定部１１０は、フレーム内に動画領域があるか否かを判定する。動画領域がある場合、情報処理装置１００の動作は、ステップＳ１６に移る。一方、動画領域がない場合、情報処理装置１００の動作は、ステップＳ２４に移る。
【００３３】
ステップＳ１６では、動画符号化部１２０は、更新領域が検出された画像ＩＭＧｉのフレーム全体を動画として符号化して、動画ストリームＳＴＭｍを生成する。例えば、動画符号化部１２０は、動画領域が検出された画像ＩＭＧｉのフレーム全体を、画面間予測で符号化して動画ストリームＳＴＭｍを生成する。
【００３４】
次に、ステップＳ１８では、送信部１７０は、ステップＳ１２で検出された動画領域を示す領域情報ＵＡＩＮＦとステップＳ１６で生成された動画ストリームＳＴＭｍとを受信側の情報処理装置２００に送信する。
【００３５】
次に、ステップＳ２０では、動画復号部１３０は、ステップＳ１６で生成された動画ストリームＳＴＭｍを復号して動画復号画像を生成する。これにより、フレーム全体の動画復号画像が生成される。
【００３６】
次に、ステップＳ２２では、動画復号部１３０は、ステップＳ１２で検出された動画領域をステップＳ２０で生成した動画復号画像から抽出して画像バッファ部１６０に格納する。これにより、画像バッファ部１６０に保持された画像内の動画領域が更新される。なお、動画領域がない場合、上述したように、ステップＳ２４の処理が実行される。
【００３７】
次に、ステップＳ２４では、更新領域判定部１１０は、動画領域から静止画領域に切り替わった領域があるか否かを判定する。例えば、更新領域判定部１１０は、動画領域が連続して所定の回数以上更新されなかった場合、動画領域が静止画領域に変化したと判定する。動画領域から静止画領域に切り替わった領域がある場合、情報処理装置１００の動作は、ステップＳ２６に移る。一方、動画領域から静止画領域に切り替わった領域がない場合、情報処理装置１００は動作を終了する。
【００３８】
ステップＳ２６では、静止画符号化部１４０は、ステップＳ２４で検出された動画領域から静止画領域に切り替わった領域を静止画として符号化して、静止画ストリームＳＴＭｓを生成する。例えば、静止画符号化部１４０は、画像バッファ部１６０に保持された画像の動画領域から静止画領域に切り替わった領域に対応する領域と画像ＩＭＧｉの更新領域との差分を符号化して静止画ストリームＳＴＭｓを生成する。
【００３９】
次に、ステップＳ２８では、送信部１７０は、ステップＳ２６で生成された静止画ストリームＳＴＭｓを受信側の情報処理装置２００に送信する。なお、送信部１７０は、ステップＳ１８と同様に、ステップＳ２４で検出された動画領域から静止画領域に切り替わった領域を示す領域情報ＵＡＩＮＦも、静止画ストリームＳＴＭｓとともに受信側の情報処理装置２００に送信する。
【００４０】
次に、ステップＳ３０では、静止画復号部１５０は、ステップＳ２６で生成された静止画ストリームＳＴＭｓを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成する。例えば、静止画復号部１５０は、静止画ストリームＳＴＭｓを復号した画像と画像バッファ部１６０に保持された画像の動画領域から静止画領域に切り替わった領域に対応する領域とを加算する。これにより、動画領域から静止画領域に切り替わった領域の静止画復号画像が生成される。
【００４１】
次に、ステップＳ３２では、静止画復号部１５０は、ステップＳ３０で生成した静止画復号画像を画像バッファ部１６０に格納する。これにより、画像バッファ部１６０に保持された画像内の静止画領域が更新され、動画領域から静止画領域に切り替わった領域を符号化する処理が終了する。
【００４２】
このように、情報処理装置１００は、画像ＩＭＧｉに動画領域がある場合、画像ＩＭＧｉの画面全体（フレーム全体）を動画として符号化して動画ストリームＳＴＭｍを生成し、生成した動画ストリームＳＴＭｍを受信側の情報処理装置２００に送信し、画像ＩＭＧｉに動画領域がない場合には符号化動作を一時的に停止する。したがって、情報処理装置１００は、フレーム内に動画領域が再び発生した場合でも、符号化動作を再開すればよいので、動画領域に切り替わる最初のフレームを画面間予測で符号化できる。また、動画符号化部１２０および動画復号部１３０が内部に保持している、符号化動作を停止する前の符号化画像と、符号化動作を再開したときの入力画像ＩＭＧｉは、静止画領域から動画領域に切り替わった領域以外の領域は静止画領域であるため画像の差分は小さい。このため、動画領域のみ符号化した場合と画面全体を符号化した場合とでの情報量の差は小さい。これにより、情報処理装置１００は、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。また、動画符号化部１２０および動画復号部１３０は、静止画領域になる前の動画領域の最後の符号化画像を内部の画像バッファに保持しているため、動画領域に切り替わる最初のフレームの参照画像を参照することが可能となる。このため、動画符号化部１２０および動画復号部１３０を、内部動作を変更できない汎用的な動画符号化装置を使用して実現することができる。
【００４３】
なお、情報処理装置１００の動作は、図２に示す例に限定されない。例えば、ステップＳ１８の処理は、ステップＳ２０の処理の後に実行されてもよい。また、ステップＳ２８の処理は、ステップＳ３０の処理の後に実行されてもよいし、ステップＳ３２の処理の後に実行されてもよい。
【００４４】
図３は、図１に示した受信側の情報処理装置２００の動作の一例を示す。なお、図３に示す動作を情報処理装置２００に実行させるためのプログラムは、情報処理プログラムの一例である。
【００４５】
ステップＳ３４では、情報処理装置２００は、送信側の情報処理装置１００から動画ストリームＳＴＭｍを受信したか否かを判定する。情報処理装置２００は、動画ストリームＳＴＭｍを受信しない場合、動作をステップＳ４０に移す。一方、情報処理装置２００は、動画ストリームＳＴＭｍを受信した場合、動作をステップＳ３６に移す。すなわち、情報処理装置２００は、動画ストリームＳＴＭｍを受信する度に、ステップＳ３６の処理を実行する。
【００４６】
ステップＳ３６では、動画復号部２３０は、送信側の情報処理装置１００から受信した動画ストリームＳＴＭｍを復号して動画復号画像を生成する。これにより、フレーム全体の動画復号画像が生成される。
【００４７】
次に、ステップＳ３８では、動画復号部２３０は、情報処理装置１００から受ける領域情報ＵＡＩＮＦが示す動画領域を、ステップＳ３６で生成した動画復号画像から抽出して画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像内の動画領域が更新される。
【００４８】
次に、ステップＳ４０では、情報処理装置２００は、送信側の情報処理装置１００から静止画ストリームＳＴＭｓを受信したか否かを判定する。情報処理装置２００は、静止画ストリームＳＴＭｓを受信していない場合、動作をステップＳ４６に移す。一方、情報処理装置２００は、静止画ストリームＳＴＭｓを受信した場合、動作をステップＳ４２に移す。
【００４９】
ステップＳ４２では、静止画復号部２５０は、送信側の情報処理装置１００から受信した静止画ストリームＳＴＭｓを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成する。例えば、静止画復号部２５０は、静止画ストリームＳＴＭｓを復号した画像と画像バッファ部２６０に保持された画像の動画領域から静止画領域に切り替わった領域に対応する領域とを加算する。これにより、動画領域から静止画領域に切り替わった領域の静止画復号画像が生成される。
【００５０】
次に、ステップＳ４４では、静止画復号部２５０は、ステップＳ４２で生成した静止画復号画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像内の静止画領域が更新される。ステップＳ４４の処理が実行された後、情報処理装置２００の動作は、ステップＳ４６に移る。
【００５１】
ステップＳ４６では、情報処理装置２００は、画像バッファ部２６０に保持された画像ＩＭＧｏを表示画面に表示する。このように、情報処理装置２００は、動画ストリームＳＴＭｍ、静止画ストリームＳＴＭｓを受信して情報処理装置１００により更新された表示内容（動画領域、動画領域から静止画領域に切り替わった領域）を含む画像ＩＭＧｏを表示する。
【００５２】
このように、情報処理装置２００は、表示画面に表示する画像ＩＭＧｏの表示内容が更新された場合、送信側の情報処理装置１００から動画ストリームＳＴＭｍを受け、動画ストリームＳＴＭｍを復号して動画復号画像を生成する。このため、動画復号部２３０を、内部動作を変更できない汎用的な動画復号装置を使用して実現することができる。なお、情報処理装置２００の動作は、図３に示す例に限定されない。
【００５３】
以上、図１から図３に示す実施形態では、静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。例えば、情報処理装置１００は、画像ＩＭＧｉから動画領域を検出した場合、動画領域が検出された画像ＩＭＧｉのフレーム全体を動画として符号化して動画ストリームＳＴＭｍを生成し、動画ストリームＳＴＭｍを受信側の情報処理装置２００に送信する。また、情報処理装置１００は、動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームＳＴＭｓを生成し、静止画ストリームＳＴＭｓを受信側の情報処理装置２００に送信する。
【００５４】
このように、情報処理装置１００は、画像ＩＭＧｉに動画領域がある場合にフレーム全体を動画として符号化し、静止画領域から動画領域に切り替わる場合でも、動画領域に切り替わる最初のフレームを画面間予測で符号化できる。これにより、情報処理装置１００は、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。また、更新領域が動画領域に切り替わる前の静止画領域を動画としても符号化しているため、動画領域に切り替わる最初のフレームの参照画像を、静止画領域を動画として符号化した画像を復号することにより生成することができる。このため、動画符号化部１２０および動画復号部１３０を、内部動作を変更できない汎用的な動画符号化装置を使用して実現することができる。すなわち、内部動作を変更できない汎用的な動画符号化装置を情報処理装置１００に搭載した場合でも、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。同様に、動画復号部２３０を、内部動作を変更できない汎用的な動画復号装置を使用して実現することができる。
【００５５】
図４は、情報処理システム、情報処理装置および情報処理プログラムの別の実施形態を示す。図１から図３で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図４に示す情報処理システム１２は、例えば、シンクライアントシステム等である。なお、情報処理システム１２は、シンクライアントシステムに限定されない。
【００５６】
情報処理システム１２は、図１に示した情報処理装置１００、２００の代わりに、情報処理装置１０２、２０２を有する。
【００５７】
情報処理装置１０２は、画像ＩＭＧｉを符号化して送信する送信側のサーバ等の情報処理装置である。例えば、情報処理装置１０２は、更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２、画像バッファ部１６０および送信部１７０を有する。なお、更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２および送信部１７０は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２および送信部１７０は、情報処理装置１０２に含まれる図示しないプロセッサが情報処理プログラム等を実行することにより、実現されてもよい。
【００５８】
更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２は、図１に示した動画符号化部１２０、動画復号部１３０、静止画符号化部１４０、静止画復号部１５０と同一または同様である。動画復号部１３２は、第１動画復号部の一例であり、静止画復号部１５２は、第１静止画復号部の一例である。なお、更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２の詳細は、図５で説明する。画像バッファ部１６０および送信部１７０は、図１に示した画像バッファ部１６０および送信部１７０と同一または同様である。
【００５９】
情報処理装置２０２は、送信側の情報処理装置１０２から受ける符号化された画像を復号して表示する受信側のクライアント等の情報処理装置である。例えば、情報処理装置２０２では、受信部２１０、更新領域特定部２１２および静止画参照画像取得部２４５が図１に示した情報処理装置２００に追加される。また、情報処理装置２０２は、図１に示した動画復号部２３０および静止画復号部２５０の代わりに、動画復号部２３２および静止画復号部２５２を有する。情報処理装置２０２のその他の構成は、図１に示した情報処理装置２００と同一または同様である。
【００６０】
例えば、情報処理装置２０２は、受信部２１０、更新領域特定部２１２、動画復号部２３２、静止画参照画像取得部２４５、静止画復号部２５２および画像バッファ部２６０を有する。なお、受信部２１０、更新領域特定部２１２、動画復号部２３２、静止画参照画像取得部２４５、静止画復号部２５２は、ハードウェアのみで実現されてもよく、ハードウェアをソフトウェアで制御することにより実現されてもよい。例えば、受信部２１０、更新領域特定部２１２、動画復号部２３２、静止画参照画像取得部２４５、静止画復号部２５２は、情報処理装置２０２に含まれる図示しないプロセッサが情報処理プログラム等を実行することにより、実現されてもよい。
【００６１】
受信部２１０は、送信側の情報処理装置１０２から転送される動画ストリームＳＴＭｍ、領域情報ＵＡＩＮＦ等を受け、情報処理装置１０２から受けた動画ストリームＳＴＭｍ等を図示しない受信バッファ部等に格納する。そして、受信部２１０は、情報処理装置１０２から受けた動画ストリームＳＴＭｍを動画復号部２３２に転送し、情報処理装置１０２から受けた領域情報ＵＡＩＮＦを更新領域特定部２１２に転送する。また、受信部２１０は、情報処理装置１０２から静止画ストリームＳＴＭｓを受けた場合、静止画ストリームＳＴＭｓを静止画復号部２５２に転送する。
【００６２】
更新領域特定部２１２は、動画領域の位置、動画領域から静止画領域に切り替わった領域の位置等を領域情報ＵＡＩＮＦに基づいて特定する。そして、更新領域特定部２１２は、動画領域の位置等を動画復号部２３２等に通知する。例えば、更新領域特定部２１２は、動画領域がある場合、動画領域の位置等を示す情報を、動画復号部２３２に出力する。また、例えば、更新領域特定部２１２は、動画領域から静止画領域に切り替わった領域がある場合、静止画領域（動画領域から静止画領域に切り替わった領域）の位置等を示す情報を、静止画参照画像取得部２４５および静止画復号部２５２に出力する。
【００６３】
静止画参照画像取得部２４５は、更新領域特定部２１２から受ける情報（静止画領域の位置等を示す情報）に基づいて、画像バッファ部２６０に保持された画像から静止画領域（動画領域から静止画領域に切り替わった領域）に対応する領域の画像を参照画像ＲＩＭＧ２として取得する。そして、静止画参照画像取得部２４５は、画像バッファ部２６０に保持された画像から取得した参照画像ＲＩＭＧ２を、静止画復号部２５２に転送する。参照画像ＲＩＭＧ２は、第２参照画像の一例である。
【００６４】
動画復号部２３２、静止画復号部２５２および画像バッファ部２６０は、図１に示した動画復号部２３０、静止画復号部２５０および画像バッファ部２６０と同一または同様である。動画復号部２３２は、第２動画復号部の一例であり、静止画復号部２５２は、第２静止画復号部の一例である。動画復号部２３２および静止画復号部２５２の詳細は、図６で説明する。なお、情報処理システム１２、情報処理装置１０２、２０２の構成は、図４に示す例に限定されない。
【００６５】
図５は、図４に示した送信側の情報処理装置１０２の一例を示す。情報処理装置１０２は、図４で説明したように、更新領域判定部１１２、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２、静止画復号部１５２、画像バッファ部１６０および送信部１７０を有する。図５に示す例では、符号化対象の画像ＩＭＧｉの色差フォーマットは、色差成分を間引かない４：４：４フォーマットである。
【００６６】
更新領域判定部１１２は、更新頻度判定部１１４および更新領域識別部１１６を有する。例えば、更新頻度判定部１１４は、予め決められた一定の時間毎（例えば、フレーム毎）に、画像ＩＭＧｉの領域毎（画素毎）の更新頻度を判定する。そして、更新頻度判定部１１４は、領域毎の更新頻度を示す情報を更新領域識別部１１６に出力する。更新領域識別部１１６は、画像ＩＭＧｉの領域毎の更新頻度に基づいて、画像ＩＭＧｉの画面を動画領域と静止画領域とに識別する。例えば、更新領域識別部１１６は、更新頻度が所定値以上の領域を動画領域と判定する。また、更新領域識別部１１６は、更新されない頻度が所定値以上の領域を静止画領域と判定する。そして、更新領域識別部１１６は、動画領域の位置および動画領域から静止画領域に切り替わった領域の位置を示す領域情報ＵＡＩＮＦを、動画符号化部１２２、動画復号部１３２、静止画符号化部１４２および静止画復号部１５２に転送する。
【００６７】
動画符号化部１２２は、色差変換部１２４および全画面動画符号化部１２６を有する。色差変換部１２４は、画像ＩＭＧｉの色差フォーマットを４：４：４フォーマットから４：２：０フォーマットに変換し、４：２：０フォーマットに変換した画像ＩＭＧｉを全画面動画符号化部１２６に転送する。なお、色差変換部１２４は、画像ＩＭＧｉの色差フォーマットを４：２：２フォーマットに変換して全画面動画符号化部１２６に転送してもよい。４：２：０フォーマットおよび４：２：２フォーマットの画像ＩＭＧｉは、色差成分を間引いた画像である。
【００６８】
全画面動画符号化部１２６は、画像ＩＭＧｉ内に動画領域が存在する場合、色差変換部１２４から受ける画像ＩＭＧｉの全画面（フレーム全体）を動画として符号化して動画ストリームＳＴＭｍを生成する。例えば、全画面動画符号化部１２６は、後述する動画フレームバッファ部１３５から参照画像を取得し、４：２：０フォーマットに変換された画像ＩＭＧｉのフレーム（全画面）を動画符号化方式で符号化して動画ストリームＳＴＭｍを生成する。全画面動画符号化部１２６が実行する動画符号化方式は、例えば、Ｈ．２６４、ＨＥＶＣ等の動画像用の符号化の規格に準拠した符号化方法である。なお、全画面動画符号化部１２６が実行する動画符号化方式は、Ｈ．２６４またはＨＥＶＣに限定されない。
【００６９】
全画面動画符号化部１２６で生成された動画ストリームＳＴＭｍは、動画復号部１３２および送信部１７０に転送される。また、全画面動画符号化部１２６は、更新領域識別部１１６から受ける領域情報ＵＡＩＮＦを動画ストリームＳＴＭｍとともに送信部１７０に転送する。送信部１７０に転送された動画ストリームＳＴＭｍおよび領域情報ＵＡＩＮＦは、受信側の情報処理装置２０２に転送される。なお、領域情報ＵＡＩＮＦは、更新領域識別部１１６から送信部１７０に転送されてもよい。
【００７０】
このように、動画符号化部１２２は、４：４：４フォーマットの符号化対象の画像ＩＭＧｉを色差成分を間引いた画像に変換し、色差成分を間引いた画像ＩＭＧｉのフレームを動画符号化方式で符号化して動画ストリームＳＴＭｍを生成する。
【００７１】
動画復号部１３２は、全画面動画復号部１３４、動画フレームバッファ部１３５、動画領域抽出部１３６および色差変換部１３８を有する。全画面動画復号部１３４は、動画フレームバッファ部１３５から参照画像を取得し、全画面動画符号化部１２６から受ける動画ストリームＳＴＭｍを復号して動画復号画像ＩＭＧｄｍ１を生成する。そして、全画面動画復号部１３４は、動画復号画像ＩＭＧｄｍ１を動画フレームバッファ部１３５に格納する。動画フレームバッファ部１３５に保持される動画復号画像ＩＭＧｄｍ１は、後続のフレームを復号する場合に参照画像として使用可能である。
【００７２】
動画領域抽出部１３６は、更新領域識別部１１６から受ける領域情報ＵＡＩＮＦが示す動画領域に対応する領域を、動画フレームバッファ部１３５に保持された動画復号画像ＩＭＧｄｍ１から抽出する。そして、動画領域抽出部１３６は、動画復号画像ＩＭＧｄｍ１から抽出した領域の画像を、色差変換部１３８に転送する。
【００７３】
色差変換部１３８は、動画領域抽出部１３６から受ける画像（動画復号画像ＩＭＧｄｍ１内の更新領域の画像）の色差フォーマットを４：２：０フォーマットから４：４：４フォーマットに変換する。そして、色差変換部１３８は、４：４：４フォーマットに変換した画像（動画復号画像ＩＭＧｄｍ１内の動画領域の画像）を画像バッファ部１６０に格納する。これにより、画像バッファ部１６０に保持された画像内の動画領域が更新される。
【００７４】
このように、動画復号部１３２は、動画領域に対応する領域を、動画ストリームＳＴＭｍを復号して生成した動画復号画像ＩＭＧｄｍ１から抽出し、抽出した領域の画像の色差フォーマットを４：４：４フォーマットに変換する。そして、動画復号部１３２は、４：４：４フォーマットに変換した画像を画像バッファ部１６０に格納する。
【００７５】
静止画符号化部１４２は、４：４：４フォーマットの符号化対象の画像ＩＭＧｉにおける符号化対象の静止画領域（動画領域から静止画領域に切り替わった領域）ＳＡＲＥ１を符号化して静止画ストリームＳＴＭｓを生成する。例えば、静止画符号化部１４２は、静止画領域抽出部１４４、静止画参照画像取得部１４５、静止画差分算出部１４６および静止画領域符号化部１４８を有する。
【００７６】
静止画領域抽出部１４４は、更新領域識別部１１６から受ける領域情報ＵＡＩＮＦが示す符号化対象の静止画領域（動画領域から静止画領域に切り替わった領域）ＳＡＲＥ１を、４：４：４フォーマットの画像ＩＭＧｉから抽出する。そして、静止画領域抽出部１４４は、画像ＩＭＧｉから抽出した静止画領域ＳＡＲＥ１の画像を静止画差分算出部１４６に転送する。
【００７７】
静止画参照画像取得部１４５は、更新領域識別部１１６から受ける領域情報ＵＡＩＮＦに基づいて、画像バッファ部１６０に保持された画像から符号化対象の静止画領域（動画領域から静止画領域に切り替わった領域）ＳＡＲＥ１に対応する領域の画像を参照画像ＲＩＭＧ１として取得する。そして、静止画参照画像取得部１４５は、画像バッファ部１６０に保持された画像から取得した参照画像ＲＩＭＧ１を、静止画差分算出部１４６に転送する。参照画像ＲＩＭＧ１は、第１参照画像の一例である。
【００７８】
静止画差分算出部１４６は、静止画領域抽出部１４４から受ける符号化対象の静止画領域ＳＡＲＥ１の画像と静止画参照画像取得部１４５から受ける参照画像ＲＩＭＧ１との差分を算出して差分画像ＤＩＭＧ１を生成する。そして、静止画差分算出部１４６は、差分画像ＤＩＭＧ１を静止画領域符号化部１４８に転送する。
【００７９】
静止画領域符号化部１４８は、差分画像ＤＩＭＧ１を符号化して静止画ストリームＳＴＭｓを生成する。そして、静止画領域符号化部１４８は、静止画ストリームＳＴＭｓを静止画復号部１５２および送信部１７０に転送する。
【００８０】
静止画復号部１５２は、静止画領域符号化部１４８から受ける静止画ストリームＳＴＭｓを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を画像バッファ部１６０に格納する。例えば、静止画復号部１５２は、静止画ストリームＳＴＭｓを復号した画像に静止画参照画像取得部１４５から受ける参照画像ＲＩＭＧ１を加算して、更新領域の静止画復号画像を生成する。
【００８１】
送信部１７０は、全画面動画符号化部１２６から受ける領域情報ＵＡＩＮＦ、動画領域がある場合は動画ストリームＳＴＭｍ、動画領域から静止画領域に切り替わった領域がある場合は静止画ストリームＳＴＭｓ、を受信側の情報処理装置２０２に送信する。
【００８２】
情報処理装置１０２は、動画領域が検出された場合、全画面動画符号化部１２６の内部にある動画フレームバッファから取得する参照画像（前のフレームの動画復号画像ＩＭＧｄｍ１と同一の画像）（汎用的な動画符号化装置では、符号化した画像を装置内部で復号して、参照画像として数フレーム分保持している）を用いて画像ＩＭＧｉを動画として符号化し、動画フレームバッファ部１３５から取得する参照画像（前のフレームの動画復号画像ＩＭＧｄｍ１）を用いて動画ストリームＳＴＭｍを復号する。このため、情報処理装置１０２は、汎用的な動画符号化装置を用いて、全画面動画符号化部１２６および全画面動画復号部１３４を実現できる。
【００８３】
なお、情報処理装置１０２の構成は、図５に示す例に限定されない。例えば、色差変換部１３８は、動画領域抽出部１３６が更新領域に対応する領域を４：２：０フォーマットの動画復号画像ＩＭＧｄｍ１から抽出する前に、動画復号画像ＩＭＧｄｍ１の色差フォーマットを４：４：４フォーマットに変換してもよい。この場合、動画領域抽出部１３６は、４：２：０フォーマットから４：４：４フォーマットに変換された動画復号画像ＩＭＧｄｍ１から、更新領域に対応する領域を抽出し、抽出した領域の画像を画像バッファ部１６０に格納してもよい。
【００８４】
図６は、図４に示した受信側の情報処理装置２０２の一例を示す。情報処理装置２０２は、図４で説明したように、受信部２１０、更新領域特定部２１２、動画復号部２３２、静止画参照画像取得部２４５、静止画復号部２５２および画像バッファ部２６０を有する。図６では、図４で説明を省略した動画復号部２３２および静止画復号部２５２について説明する。
【００８５】
動画復号部２３２は、送信側の情報処理装置１０２の動画復号部１３２と同一または同様である。例えば、動画復号部２３２は、全画面動画復号部２３４、動画フレームバッファ部２３５、動画領域抽出部２３６および色差変換部２３８を有する。
【００８６】
全画面動画復号部２３４は、動画フレームバッファ部２３５から参照画像を取得し、受信部２１０から受ける動画ストリームＳＴＭｍを復号して動画復号画像ＩＭＧｄｍ２を生成する。そして、全画面動画復号部２３４は、動画復号画像ＩＭＧｄｍ２を動画フレームバッファ部２３５に格納する。動画復号画像ＩＭＧｄｍ２の色差フォーマットは、動画ストリームＳＴＭｍが４：２：０フォーマットの画像ＩＭＧｉを符号化して生成された場合、４：２：０フォーマットである。また、動画フレームバッファ部２３５に保持される動画復号画像ＩＭＧｄｍ２は、後続のフレームを復号する場合に参照画像として使用可能である。
【００８７】
動画領域抽出部２３６は、更新領域特定部２１２から受ける情報が示す動画領域ＭＡＲＥ２を、動画フレームバッファ部２３５に保持された動画復号画像ＩＭＧｄｍ２から抽出する。そして、動画領域抽出部２３６は、動画復号画像ＩＭＧｄｍ２から抽出した動画領域ＭＡＲＥ２の画像を、色差変換部２３８に転送する。
【００８８】
色差変換部２３８は、動画領域抽出部２３６から受ける動画領域ＭＡＲＥ２の画像の色差フォーマットを４：２：０フォーマットから４：４：４フォーマットに変換する。そして、色差変換部２３８は、４：４：４フォーマットに変換した動画領域ＭＡＲＥ２の画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像内の動画領域が更新される。
【００８９】
このように、動画復号部２３２は、更新領域に対応する領域を、動画ストリームＳＴＭｍを復号して生成した動画復号画像ＩＭＧｄｍ２から抽出し、抽出した領域の画像の色差フォーマットを４：４：４フォーマットに変換する。そして、動画復号部２３２は、４：４：４フォーマットに変換した画像を画像バッファ部２６０に格納する。
【００９０】
静止画復号部２５２は、受信部２１０から受ける静止画ストリームＳＴＭｓを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を画像バッファ部２６０に格納する。例えば、静止画復号部２５２は、静止画ストリームＳＴＭｓを復号した画像に静止画参照画像取得部２４５から受ける参照画像ＲＩＭＧ２を加算して、動画領域から静止画領域に切り替わった領域の静止画復号画像を生成する。
【００９１】
情報処理装置２０２は、動画ストリームＳＴＭｍを情報処理装置１０２から受信する度に、動画フレームバッファ部２３５から取得する参照画像（前のフレームの動画復号画像ＩＭＧｄｍ２）を用いて動画ストリームＳＴＭｍを復号する。このため、情報処理装置２０２は、汎用的な動画復号装置を用いて、全画面動画復号部２３４を実現できる。
【００９２】
なお、情報処理装置２０２の構成は、図６に示す例に限定されない。例えば、色差変換部２３８は、動画領域抽出部２３６が動画領域ＭＡＲＥ２を４：２：０フォーマットの動画復号画像ＩＭＧｄｍ２から抽出する前に、動画復号画像ＩＭＧｄｍ２の色差フォーマットを４：４：４フォーマットに変換してもよい。この場合、動画領域抽出部２３６は、４：２：０フォーマットから４：４：４フォーマットに変換された動画復号画像ＩＭＧｄｍ２から、動画領域ＭＡＲＥ２を抽出し、抽出した動画領域ＭＡＲＥ２の画像を画像バッファ部２６０に格納してもよい。
【００９３】
図７は、図４に示した情報処理システム１２の動作の一例を示す。図７に示す動作は、情報処理システム１２の画面転送開始時の動作である。図７に示す括弧内の“４：４：４”、“４：２：０”は、処理対象の画像の色差フォーマットを示す。
【００９４】
送信側の情報処理装置１０２は、受信側の情報処理装置２０２に最初に表示させる画像を送信する場合、先ず、４：４：４フォーマットの画像ＩＭＧｉを４：２：０フォーマットの画像ＩＭＧｉに変換して、変換後の画像ＩＭＧｉのフレームを動画として符号化する。例えば、色差変換部１２４は、符号化対象の画像ＩＭＧｉの色差フォーマットを４：４：４フォーマットから４：２：０フォーマットに変換する。そして、４：２：０フォーマットに変換した画像ＩＭＧｉの全画面を動画符号化の対象画像として全画面動画符号化部１２６に入力する。全画面動画符号化部１２６は、４：２：０フォーマットに変換した画像ＩＭＧｉのフレーム（全画面）を画面内予測で符号化して動画ストリームＳＴＭｍを生成する。そして、全画面動画符号化部１２６は、動画ストリームＳＴＭｍを全画面動画復号部１３４に転送するとともに、動画ストリームＳＴＭｍを送信部１７０を介して受信側の情報処理装置２０２に転送する。
【００９５】
全画面動画復号部１３４は、動画ストリームＳＴＭｍを復号して、４：２：０フォーマットの動画復号画像ＩＭＧｄｍ１を生成する。そして、動画領域抽出部１３６は、４：２：０フォーマットの動画復号画像ＩＭＧｄｍ１の全領域（全画面）を色差変換部１３８に転送する。色差変換部１３８は、動画復号画像ＩＭＧｄｍ１の色差フォーマットを４：２：０フォーマットから４：４：４フォーマットに変換し、４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１を画像バッファ部１６０に格納する。
【００９６】
また、静止画参照画像取得部１４５は、画像バッファ部１６０に保持された４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１を取得し、取得した動画復号画像ＩＭＧｄｍ１を参照画像として静止画差分算出部１４６に転送する。静止画参照画像取得部１４５により画像バッファ部１６０から取得される４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１は、第３参照画像の一例である。
【００９７】
静止画差分算出部１４６は、静止画領域抽出部１４４から受ける４：４：４フォーマットの画像ＩＭＧｉと静止画参照画像取得部１４５から受ける４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１との差分を算出して差分画像を生成する。画面転送開始時に静止画領域抽出部１４４により抽出される領域は、画像ＩＭＧｉの全領域（全画面）である。したがって、画面転送開始時では、４：４：４フォーマットの画像ＩＭＧｉの全画面と４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１との差分画像が生成される。
【００９８】
そして、静止画領域符号化部１４８は、４：４：４フォーマットの画像ＩＭＧｉの全画面と４：４：４フォーマットの動画復号画像ＩＭＧｄｍ１との差分画像を符号化して静止画ストリームＳＴＭｓを生成する。静止画領域符号化部１４８は、静止画ストリームＳＴＭｓを送信部１７０を介して受信側の情報処理装置２０２に転送する。
【００９９】
これにより、情報処理装置１０２は、画面転送開始時の動画ストリームＳＴＭｍおよび静止画ストリームＳＴＭｓの情報量（情報処理装置２０２に転送する情報の量）が増加することを抑制できる。
【０１００】
受信側の情報処理装置２０２は、送信側の情報処理装置１０２による動画ストリームＳＴＭｍの動画復号処理と同一または同様な動画復号処理を、情報処理装置１０２から受ける動画ストリームＳＴＭｍに対して実行する。これにより、４：２：０フォーマットの動画復号画像ＩＭＧｄｍ２が生成され、生成された動画復号画像ＩＭＧｄｍ２は、色差フォーマットが４：２：０フォーマットから４：４：４フォーマットに変換された後、画像バッファ部２６０に格納される。
【０１０１】
静止画参照画像取得部２４５は、画像バッファ部２６０に保持された４：４：４フォーマットの動画復号画像ＩＭＧｄｍ２を取得し、取得した動画復号画像ＩＭＧｄｍ２を参照画像として静止画復号部２５２に転送する。静止画参照画像取得部２４５により画像バッファ部２６０から取得される４：４：４フォーマットの動画復号画像ＩＭＧｄｍ２は、第４参照画像の一例である。
【０１０２】
静止画復号部２５２は、情報処理装置１０２から受ける静止画ストリームＳＴＭｓを復号した差分画像に静止画参照画像取得部２４５から受ける動画復号画像ＩＭＧｄｍ２を加算して、４：４：４フォーマットの全画面の静止画復号画像を生成する。そして、静止画復号部２５２は、４：４：４フォーマットの全画面の静止画復号画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された４：４：４フォーマットの全画面の静止画復号画像が画像ＩＭＧｏとして情報処理装置２０２の表示画面に表示される。なお、情報処理システム１２の画面転送開始時の動作は、図７に示す例に限定されない。
【０１０３】
図８は、図４に示した情報処理システム１２の動作の別の例を示す。図８に示す動作は、更新領域が静止画領域から動画領域に切り替わる場合の情報処理システム１２の動作である。図８に示す括弧内の“４：４：４”、“４：２：０”は、処理対象の画像の色差フォーマットを示す。
【０１０４】
送信側の情報処理装置１０２の色差変換部１２４は、符号化対象の画像ＩＭＧｉの色差フォーマットを４：４：４フォーマットから４：２：０フォーマットに変換する。そして、４：２：０フォーマットに変換した画像ＩＭＧｉの全画面を動画符号化の対象画像として全画面動画符号化部１２６に入力する。全画面動画符号化部１２６は、４：２：０フォーマットに変換した画像ＩＭＧｉのフレーム（全画面）を画面間予測で符号化して動画ストリームＳＴＭｍを生成する。そして、全画面動画符号化部１２６は、動画領域ＭＡＲＥ１の位置等を示す領域情報ＵＡＩＮＦと動画ストリームＳＴＭｍとを送信部１７０を介して受信側の情報処理装置２０２に転送する。情報処理装置１０２は、更新領域が静止画領域から動画領域に切り替わる場合でも、動画領域を画面間予測で符号化できるため、動画ストリームＳＴＭｍの情報量の増加を抑制できる。
【０１０５】
なお、図示していないが、動画ストリームＳＴＭｍは動画復号部１３２にも転送され、後述する情報処理装置２０２による動画復号処理と同一または同様な動画復号処理が動画ストリームＳＴＭｍに対して実行される。
【０１０６】
受信側の情報処理装置２０２の全画面動画復号部２３４は、送信側の情報処理装置１０２から受ける動画ストリームＳＴＭｍを復号して、４：２：０フォーマットの動画復号画像ＩＭＧｄｍ２を生成する。そして、全画面動画復号部２３４は、４：２：０フォーマットの動画復号画像ＩＭＧｄｍ２を、動画フレームバッファ部２３５に格納する。
【０１０７】
また、動画領域抽出部２３６は、領域情報ＵＡＩＮＦに基づいて特定される動画領域ＭＡＲＥ２を、動画フレームバッファ部２３５に保持された動画復号画像ＩＭＧｄｍ２から抽出する。そして、動画領域抽出部２３６は、動画復号画像ＩＭＧｄｍ２から抽出した動画領域ＭＡＲＥ２の画像を、色差変換部２３８に転送する。
【０１０８】
色差変換部２３８は、動画領域抽出部２３６から受ける動画領域ＭＡＲＥ２の画像の色差フォーマットを４：２：０フォーマットから４：４：４フォーマットに変換する。そして、色差変換部２３８は、４：４：４フォーマットに変換した動画領域ＭＡＲＥ２の画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像に動画復号画像ＩＭＧｄｍ２内の動画領域ＭＡＲＥ２が上書きされ、画像バッファ部２６０に保持された画像内の動画領域ＭＡＲＥ２が更新される。すなわち、画像ＩＭＧｏ内の動画領域ＭＡＲＥ２が更新される。なお、更新領域が静止画領域から動画領域に切り替わる場合の情報処理システム１２の動作は、図８に示す例に限定されない。
【０１０９】
図９は、図４に示した情報処理システム１２の動作の別の例を示す。図９に示す動作は、領域が動画領域から静止画領域に切り替わった場合の情報処理システム１２の動作である。
【０１１０】
送信側の情報処理装置１０２の静止画領域抽出部１４４は、動画領域から静止画領域に切り替わった領域ＳＡＲＥ１を画像ＩＭＧｉから抽出して静止画差分算出部１４６に転送する。また、静止画参照画像取得部１４５は、画像バッファ部１６０に保持された画像から、動画領域から静止画領域に切り替わった領域ＳＡＲＥ１に対応する領域の画像を参照画像ＲＩＭＧ１として取得する。そして、静止画参照画像取得部１４５は、参照画像ＲＩＭＧ１を静止画差分算出部１４６に転送する。なお、参照画像ＲＩＭＧ１は、４：２：０の動画で伝送された画像を４：４：４に変換した画像であり、４：４：４で伝送された画像と比較して色差成分が劣化している画像である。
【０１１１】
静止画差分算出部１４６は、静止画領域抽出部１４４から受ける静止画領域ＳＡＲＥ１と静止画参照画像取得部１４５から受ける参照画像ＲＩＭＧ１との差分を算出して差分画像ＤＩＭＧ１を生成し、差分画像ＤＩＭＧ１を静止画領域符号化部１４８に転送する。
【０１１２】
そして、静止画領域符号化部１４８は、差分画像ＤＩＭＧ１を符号化して静止画ストリームＳＴＭｓを生成し、静止画ストリームＳＴＭｓを送信部１７０を介して受信側の情報処理装置２０２に転送する。また、静止画ストリームＳＴＭｓとともに、動画領域から静止画領域に切り替わった領域ＳＡＲＥ１の位置等を示す領域情報ＵＡＩＮＦも情報処理装置１０２から情報処理装置２０２に転送される。
【０１１３】
受信側の情報処理装置２０２の静止画復号部２５２は、情報処理装置１０２から受ける静止画ストリームＳＴＭｓを復号して差分画像ＤＩＭＧ２を生成する。また、静止画参照画像取得部２４５は、画像バッファ部２６０に保持された画像から、動画領域から静止画領域に切り替わった領域ＳＡＲＥ１に対応する領域の画像を参照画像ＲＩＭＧ２として取得する。そして、静止画参照画像取得部２４５は、参照画像ＲＩＭＧ２を静止画復号部２５２に転送する。静止画復号部２５２は、静止画ストリームＳＴＭｓを復号した差分画像ＤＩＭＧ２と静止画参照画像取得部２４５から受ける参照画像ＲＩＭＧ２とを加算して、静止画領域ＳＡＲＥ１に対応する静止画領域ＳＡＲＥ２の静止画復号画像を生成する。そして、静止画復号部２５２は、静止画領域ＳＡＲＥ２の静止画復号画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像に動画領域から静止画領域に切り替わった領域ＳＡＲＥ２の静止画復号画像が上書きされ、画像バッファ部２６０に保持された画像内の動画領域から静止画領域に切り替わった領域ＳＡＲＥ２が更新される。すなわち、画像ＩＭＧｏ内の動画領域から静止画領域に切り替わった領域ＳＡＲＥ２が更新され、４：４：４と４：２：０の色差成分の差分が伝送されるため、色差成分の画質が向上する。なお、領域が動画領域から静止画領域に切り替わった場合の情報処理システム１２の動作は、図９に示す例に限定されない。
【０１１４】
図１０は、図４に示した情報処理システム１２の動作の比較例を示す。図１０に示す動作は、領域が静止画領域から動画領域に切り替わった場合の情報処理システムの動作である。図１０に示す動作では、情報処理システムに用いられる動画符号化装置は、参照画像を動画符号化装置の外部から取得して最初のフレームを画面間予測で符号化可能に設計される。また、情報処理システムに用いられる動画復号装置は、参照画像を動画復号装置の外部から取得して最初のフレームを復号可能に設計される。
【０１１５】
例えば、送信側の情報処理装置は、画像ＩＭＧｉから動画領域ＭＡＲＥ１を抽出し、抽出した動画領域ＭＡＲＥ１を符号化対象の画像として動画符号化装置に入力する。さらに、送信側の情報処理装置は、画像バッファ部１６０に保持された画像（動画符号化における最初のフレームより前のフレームの画像）から、動画領域ＭＡＲＥ１に対応する領域を抽出し、抽出した領域を動画符号化の参照画像として動画符号化装置に入力する。これにより、動画符号化装置は、動画符号化における最初のフレームより前のフレームの画像を参照画像として、動画領域ＭＡＲＥ１を画面間予測で符号化して動画ストリームＳＴＭｍを生成する。そして、動画符号化装置は、動画領域ＭＡＲＥ１を画面間予測で符号化して生成した動画ストリームＳＴＭｍと領域情報ＵＡＩＮＦとを、受信側の情報処理装置に転送する。
【０１１６】
受信側の情報処理装置は、画像バッファ部２６０に保持された画像（動画符号化における最初のフレームより前のフレームの画像）から、動画領域ＭＡＲＥ１に対応する領域を抽出し、抽出した領域を動画復号の参照画像として動画復号装置に入力する。そして、動画復号装置は、動画符号化における最初のフレームより前のフレームの画像を参照画像として、送信側の情報処理装置から受ける動画ストリームＳＴＭｍを復号する。これにより、動画領域ＭＡＲＥ１に対応する動画領域ＭＡＲＥ２の動画復号画像が生成される。そして、動画復号装置は、画像バッファ部２６０に保持された画像に動画領域ＭＡＲＥ２の動画復号画像を上書きすることにより、画像ＩＭＧｏ内の動画領域ＭＡＲＥ２を更新する。
【０１１７】
このように、比較例では、太い破線で示したように、動画符号化における最初のフレームにおいて、動画符号化装置の外部から参照画像を取得して画面間予測で符号化を行うことが可能な動画符号化装置と、動画復号装置の外部から参照画像を取得して画面間予測符号化画像を復号することが可能な動画復号装置とが用いられる。汎用的な動画符号化装置および動画復号装置では、最初のフレームを画面間予測で行うこと、および、動画符号化における最初のフレームより前のフレームの画像を参照画像として取得することは困難である。
【０１１８】
これに対し、図４に示した情報処理装置１０２は、画面転送開始時に画像ＩＭＧｉの最初のフレームを画面内予測で符号化した後、動画領域を検出する度に画像ＩＭＧｉのフレームを画面間予測で符号化する。このため、汎用的な動画符号化装置を用いて動画符号化を実行することができ、汎用的な動画復号装置を用いて動画ストリームＳＴＭｍの復号を実行することができる。
【０１１９】
図１１は、図４に示した送信側の情報処理装置１０２の動作の一例を示す。図１１に示す動作は、送信側の情報処理装置１０２の動作を制御する情報処理プログラムの一例である。
【０１２０】
ステップＳ１００では、更新頻度判定部１１４は、画像ＩＭＧｉが最初のフレームか否かを判定する。すなわち、更新頻度判定部１１４は、画像ＩＭＧｉが受信側の情報処理装置２０２に最初に表示させる画像か否かを判定する。画像ＩＭＧｉが最初のフレームの場合、情報処理装置１０２の動作は、ステップＳ１２０に移る。一方、画像ＩＭＧｉが最初のフレームでない場合、情報処理装置１０２の動作は、ステップＳ１４０に移る。
【０１２１】
ステップＳ１２０では、情報処理装置１０２は、画面転送開始処理を実行する。画面転送開始処理は、図７で説明した処理のうちの情報処理装置１０２の処理である。画面転送開始処理の詳細は、図１２で説明する。画面転送開始処理が実行された後、情報処理装置１０２の動作は、ステップＳ１６０に移る。
【０１２２】
ステップＳ１４０では、更新頻度判定部１１４は、図５で説明したように、一定時間毎に画像ＩＭＧｉの領域毎の更新頻度を判定する。
【０１２３】
ステップＳ１４２では、更新領域識別部１１６は、図５で説明したように、更新領域が動画領域か静止画領域かを更新頻度に基づいて判定する。
【０１２４】
次に、ステップＳ１４４では、更新領域識別部１１６は、動画領域が存在するか否かを判定する。動画領域が存在する場合、情報処理装置１０２の動作は、ステップＳ１４６に移る。一方、動画領域が存在しない場合、情報処理装置１０２の動作は、ステップＳ１５２に移る。
【０１２５】
ステップＳ１４６では、色差変換部１２４は、図５で説明したように、画像ＩＭＧｉの色差フォーマットを４：２：０フォーマットに変換する。そして、全画面動画符号化部１２６は、４：２：０フォーマットに変換した画像ＩＭＧｉの全画面を動画符号化して動画ストリームＳＴＭｍを生成する。また、全画面動画符号化部１２６は、生成した動画ストリームＳＴＭｍを、送信部１７０を介して受信側の情報処理装置２０２に送信する。ステップＳ１４６の処理は、図８で説明した処理のうちの情報処理装置１０２の処理に対応する。
【０１２６】
次に、ステップＳ１４８では、全画面動画復号部１３４は、図５で説明したように、全画面動画符号化部１２６から受ける動画ストリームＳＴＭｍを復号して全画面の動画復号画像を生成し、生成した動画復号画像を動画フレームバッファ部１３５に格納する。
【０１２７】
次に、ステップＳ１５０では、動画領域抽出部１３６は、図５で説明したように、動画フレームバッファ部１３５に保持された動画復号画像から、動画領域を抽出し、抽出した更新領域を色差変換部１３８に転送する。そして、色差変換部１３８は、動画領域抽出部１３６から受ける更新領域の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した更新領域の画像を画像バッファ部１６０に格納する。これにより、画像バッファ部１６０に保持された画像内の動画領域が更新される。ステップＳ１５０の処理が実行された後、情報処理装置１０２の動作は、ステップＳ１５２に移る。
【０１２８】
ステップＳ１５２では、更新領域識別部１１６は、動画領域から静止画領域に切り替わった更新領域が存在するか否かを判定する。動画領域から静止画領域に切り替わった更新領域が存在する場合、情報処理装置１０２の動作は、ステップＳ１５４に移る。一方、動画領域から静止画領域に切り替わった更新領域が存在しない場合、情報処理装置１０２の動作は、ステップＳ１６０に移る。
【０１２９】
ステップＳ１５４では、静止画差分算出部１４６は、図５で説明したように、画像バッファ部１６０から静止画参照画像取得部１４５を介して取得した静止画の参照画像ＲＩＭＧ１と符号化対象の静止画領域ＳＡＲＥ１との差分画像ＤＩＭＧ１を生成する。なお、符号化対象の静止画領域ＳＡＲＥ１は、静止画領域抽出部１４４により、画像ＩＭＧｉから抽出され、静止画差分算出部１４６に転送される。
【０１３０】
次に、ステップＳ１５６では、静止画領域符号化部１４８は、図５で説明したように、差分画像ＤＩＭＧ１を静止画符号化して静止画ストリームＳＴＭｓを生成し、生成した静止画ストリームＳＴＭｓを送信部１７０を介して受信側の情報処理装置２０２に送信する。ステップＳ１５４、Ｓ１５６の一連の処理は、図８で説明した処理のうちの情報処理装置１０２の処理に対応する。
【０１３１】
次に、ステップＳ１５８では、静止画復号部１５２は、図５で説明したように、静止画領域符号化部１４８から受ける静止画ストリームＳＴＭｓを復号した画像に静止画の参照画像ＲＩＭＧ１を加算して静止画復号画像を生成する。そして、静止画復号部１５２は、生成した静止画復号画像を画像バッファ部１６０に格納する。これにより、画像バッファ部１６０に保持された画像内の静止画領域が更新される。ステップＳ１５８の処理が実行された後、情報処理装置１０２の動作は、ステップＳ１６０に移る。
【０１３２】
ステップＳ１６０では、情報処理装置１０２は、情報処理装置２０２への画面転送が終了したか否かを判定する。情報処理装置２０２への画面転送が終了していない場合、情報処理装置１０２の動作は、ステップＳ１４０に戻る。一方、情報処理装置２０２への画面転送が終了した場合、情報処理装置１０２の動作は終了する。なお、情報処理装置１０２の動作は、図１１に示す例に限定されない。
【０１３３】
図１２は、図１１に示した画面転送開始処理の一例を示す。図１２に示すステップＳ１２２の処理は、図１１に示したステップＳ１００の判定において、画像ＩＭＧｉが最初のフレームであると判定された場合に実行される。
【０１３４】
ステップＳ１２２では、色差変換部１２４は、図７で説明したように、画像ＩＭＧｉの色差フォーマットを４：２：０フォーマットに変換する。そして、全画面動画符号化部１２６は、４：２：０フォーマットに変換した画像ＩＭＧｉの全画面を動画符号化して動画ストリームＳＴＭｍを生成する。また、全画面動画符号化部１２６は、生成した動画ストリームＳＴＭｍを、送信部１７０を介して受信側の情報処理装置２０２に送信する。
【０１３５】
次に、ステップＳ１２４では、全画面動画復号部１３４は、図７で説明したように、全画面動画符号化部１２６から受ける動画ストリームＳＴＭｍを復号して全画面の動画復号画像ＩＭＧｄｍ１を生成する。そして、全画面動画復号部１３４は、動画ストリームＳＴＭｍを復号して生成した動画復号画像ＩＭＧｄｍ１を動画フレームバッファ部１３５に格納する。
【０１３６】
次に、ステップＳ１２６では、色差変換部１３８は、図７で説明したように、動画フレームバッファ部１３５から取得した動画復号画像ＩＭＧｄｍ１の色差フォーマットを４：４：４フォーマットに変換する。そして、色差変換部１３８は、４：４：４フォーマットに変換した全画面の動画復号画像ＩＭＧｄｍ１を画像バッファ部１６０に格納する。
【０１３７】
次に、ステップＳ１２８では、静止画参照画像取得部１４５は、図７で説明したように、画像バッファ部１６０に保持された動画復号画像ＩＭＧｄｍ１を静止画の参照画像として取得する。そして、静止画差分算出部１４６は、静止画の参照画像として静止画参照画像取得部１４５から受ける動画復号画像ＩＭＧｄｍ１と静止画領域抽出部１４４から受ける符号化対象の画像ＩＭＧｉの全画面との差分を算出して差分画像を生成する。
【０１３８】
次に、ステップＳ１３０では、静止画領域符号化部１４８は、図７で説明したように、ステップＳ１２８で生成された差分画像を静止画符号化して静止画ストリームＳＴＭｓを生成する。そして、静止画領域符号化部１４８は、静止画ストリームＳＴＭｓを、送信部１７０を介して受信側の情報処理装置２０２に送信する。
【０１３９】
次に、ステップＳ１３２では、静止画復号部１５２は、静止画領域符号化部１４８から受ける静止画ストリームＳＴＭｓを復号した差分画像に静止画の参照画像を加算して静止画復号画像を生成する。そして、静止画復号部１５２は、生成した静止画復号画像を画像バッファ部１６０に格納する。これにより、画像バッファ部１６０は、受信側の情報処理装置２０２に最初に表示させる画像と同じ画像を保持する。ステップＳ１３２の処理が終了することにより、画面転送開始処理が終了し、情報処理装置１０２の動作は、図１１に示したステップＳ１６０に移る。なお、画面転送開始処理は、図１２に示す例に限定されない。
【０１４０】
図１３は、図４に示した受信側の情報処理装置２０２の動作の一例を示す。図１３に示す動作は、受信側の情報処理装置２０２の動作を制御する情報処理プログラムの一例である。
【０１４１】
ステップＳ２００では、受信部２１０は、動画ストリームＳＴＭｍ、静止画ストリームＳＴＭｓ等のストリームを送信側の情報処理装置１０２から受信したか否かを判定する。例えば、受信部２１０は、受信部２１０が有する受信バッファ部（図４、図６等に図示せず）に動画ストリームＳＴＭｍ、静止画ストリームＳＴＭｓ等のストリームが保持されているか確認することにより、ストリームを受信したか否かを判定する。情報処理装置２０２は、ストリームを受信した場合、動作をステップＳ２１０に移す。一方、情報処理装置２０２は、ストリームを受信していない場合、動作をステップＳ２００に戻す。すなわち、情報処理装置２０２は、ストリームを受信するまで、ステップＳ２１０以降の処理を待機する。
【０１４２】
ステップＳ２１０では、受信部２１０は、情報処理装置１０２から受信したストリーム（動画ストリームＳＴＭｍ、静止画ストリームＳＴＭｓ）が最初のフレーム（情報処理装置２０２に最初に表示する画像）のストリームか否かを判定する。情報処理装置１０２から受信したストリームが最初のフレームのストリームの場合、情報処理装置２０２の動作は、ステップＳ２２０に移る。一方、情報処理装置１０２から受信したストリームが最初のフレームのストリームでない場合、すなわち、情報処理装置２０２に既に表示した画像ＩＭＧｏの表示内容を更新するストリームの場合、情報処理装置２０２の動作は、ステップＳ２３０に移る。
【０１４３】
ステップＳ２２０では、全画面動画復号部２３４は、受信部２１０から受ける動画ストリームＳＴＭｍを復号して全画面の動画復号画像ＩＭＧｄｍ２を生成する。そして、全画面動画復号部２３４は、動画ストリームＳＴＭｍを復号して生成した動画復号画像ＩＭＧｄｍ２を動画フレームバッファ部２３５に格納する。また、色差変換部２３８は、動画フレームバッファ部２３５から動画領域抽出部２３６を介して取得した動画復号画像ＩＭＧｄｍ２の色差フォーマットを４：４：４フォーマットに変換する。そして、色差変換部２３８は、４：４：４フォーマットに変換した全画面の動画復号画像ＩＭＧｄｍ２を画像バッファ部２６０に格納する。
【０１４４】
次に、ステップＳ２２２では、静止画参照画像取得部２４５は、図７で説明したように、画像バッファ部２６０に保持された動画復号画像ＩＭＧｄｍ２を静止画の参照画像として取得する。
【０１４５】
次に、ステップＳ２２４では、静止画復号部２５２は、受信部２１０から受ける静止画ストリームＳＴＭｓを復号した画像に、参照画像として静止画参照画像取得部２４５から受ける動画復号画像ＩＭＧｄｍ２を加算して静止画復号画像を生成する。そして、静止画復号部２５２は、最初のフレームの静止画ストリームＳＴＭｓを復号して生成した静止画復号画像を画像バッファ部２６０に格納する。これにより、情報処理装置２０２に最初の画像ＩＭＧｏが表示される。ステップＳ２２４の処理が実行された後、情報処理装置２０２の動作は、ステップＳ２４４に移る。なお、後続のフレームのストリームに対しては、上述したように、ステップＳ２３０の処理が実行される。
【０１４６】
ステップＳ２３０では、更新領域特定部２１２は、図４で説明したように、動画領域の位置、および、動画領域から静止画領域に切り替わった領域の位置等を領域情報ＵＡＩＮＦに基づいて特定する。
【０１４７】
次に、ステップＳ２３２では、受信部２１０は、情報処理装置１０２から動画ストリームＳＴＭｍを受信したか否かを判定する。情報処理装置２０２は、動画ストリームＳＴＭｍを受信した場合、動作をステップＳ２３４に移す。一方、情報処理装置２０２は、動画ストリームＳＴＭｍを受信していない場合、動作をステップＳ２３８に移す。
【０１４８】
ステップＳ２３４では、全画面動画復号部２３４は、図６で説明したように、受信部２１０から受ける動画ストリームＳＴＭｍを復号して全画面の動画復号画像ＩＭＧｄｍ２を生成し、生成した動画復号画像ＩＭＧｄｍ２を動画フレームバッファ部２３５に格納する。
【０１４９】
次に、ステップＳ２３６では、動画領域抽出部２３６は、図６で説明したように、動画フレームバッファ部２３５に保持された動画復号画像ＩＭＧｄｍ２から、動画領域ＭＡＲＥ２（ステップＳ２３０で特定した領域）を抽出する。そして、動画領域抽出部２３６は、動画復号画像ＩＭＧｄｍ２から抽出した動画領域ＭＡＲＥ２を色差変換部２３８に転送する。また、色差変換部２３８は、動画領域抽出部２３６から受ける動画領域ＭＡＲＥ２の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した動画領域ＭＡＲＥ２の画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像内の動画領域ＭＡＲＥ２が更新される。ステップＳ２３６の処理が実行された後、情報処理装置２０２の動作は、ステップＳ２３８に移る。
【０１５０】
ステップＳ２３８では、受信部２１０は、情報処理装置１０２から静止画ストリームＳＴＭｓを受信したか否かを判定する。情報処理装置２０２は、静止画ストリームＳＴＭｓを受信した場合、動作をステップＳ２４０に移す。一方、情報処理装置２０２は、静止画ストリームＳＴＭｓを受信していない場合、動作をステップＳ２４４に移す。
【０１５１】
ステップＳ２４０では、静止画参照画像取得部２４５は、図９で説明したように、画像バッファ部２６０に保持された画像から、静止画領域ＳＡＲＥ１に対応する領域（ステップＳ２３０で特定した領域）の画像を静止画の参照画像ＲＩＭＧ２として取得する。
【０１５２】
ステップＳ２４２では、静止画復号部２５２は、受信部２１０から受ける静止画ストリームＳＴＭｓを復号した画像に、静止画参照画像取得部２４５から受ける参照画像ＲＩＭＧ２を加算して、静止画領域ＳＡＲＥ２の静止画復号画像を生成する。そして、静止画復号部２５２は、静止画領域ＳＡＲＥ２の静止画復号画像を画像バッファ部２６０に格納する。これにより、画像バッファ部２６０に保持された画像に静止画領域ＳＡＲＥ２の静止画復号画像が上書きされ、画像バッファ部２６０に保持された画像内の静止画領域ＳＡＲＥ２が更新される。すなわち、画像ＩＭＧｏ内の静止画領域ＳＡＲＥ２が更新される。ステップＳ２４２の処理が実行された後、情報処理装置２０２の動作は、ステップＳ２４４に移る。
【０１５３】
ステップＳ２４４では、情報処理装置２０２は、情報処理装置１０２からの画面転送が終了したか否かを判定する。情報処理装置１０２からの画面転送が終了していない場合、情報処理装置２０２の動作は、ステップＳ２００に戻る。一方、情報処理装置１０２からの画面転送が終了した場合、情報処理装置２０２の動作は終了する。なお、情報処理装置２０２の動作は、図１３に示す例に限定されない。
【０１５４】
以上、図４から図１３に示す実施形態においても、図１から図３に示した実施形態と同様の効果を得ることができる。例えば、情報処理装置１０２は、画像ＩＭＧｉに動画領域がある場合、画像ＩＭＧｉの全画面（フレーム全体）を動画として符号化して動画ストリームＳＴＭｍを生成し、動画ストリームＳＴＭｍを受信側の情報処理装置２０２に送信する。また、情報処理装置１０２は、動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームＳＴＭｓを生成し、静止画ストリームＳＴＭｓを受信側の情報処理装置２０２に送信する。
【０１５５】
このように、情報処理装置１０２は、画像ＩＭＧｉに動画領域がある場合に画像ＩＭＧｉの全画面（フレーム全体）を動画として符号化し、動画領域がない場合に符号化を一時停止しているので、静止画領域から動画領域に切り替わった場合でも、符号化動作を再開すればよいので、動画領域に切り替わる最初のフレームを画面間予測で符号化できる。また、フレーム内で動画領域以外の領域は前のフレーム（または、符号化装置内部の参照画像）との差分が小さいため、動画領域だけ符号化した場合と全画面を符号化した場合とでの情報量の差は小さい。これにより、情報処理装置１０２は、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。すなわち、静止画符号化から動画符号化に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。
【０１５６】
また、静止画領域から動画領域に切り替わった領域を、静止画領域になる直前まで動画領域として符号化しているため、動画領域に切り替わる最初のフレームの参照画像を、動画符号化装置の内部の画像バッファに保持している。このため、内部動作を変更できない汎用的な動画符号化装置を全画面動画符号化部１２６および全画面動画復号部１３４に使用することができる。すなわち、内部動作を変更できない汎用的な動画符号化装置を全画面動画符号化部１２６に使用した場合でも、更新領域が静止画領域から動画領域に切り替わる場合、画像の符号化により生成される情報量の増加を抑制できる。
【０１５７】
さらに、情報処理装置１０２では、受信側の情報処理装置２０２に最初に表示させる画像ＩＭＧｏを送信する場合、動画符号化部１２２は、４：２：０フォーマットに変換した画像ＩＭＧｉの全画面を画面内予測で符号化して動画ストリームＳＴＭｍを生成する。そして、静止画符号化部１４２は、動画ストリームＳＴＭｍを復号した動画復号画像ＩＭＧｄｍ１を４：４：４フォーマットに変換した画像を参照画像として、画像ＩＭＧｉを静止画符号化して静止画ストリームＳＴＭｓを生成する。これにより、情報処理装置１０２は、画面転送開始時の動画ストリームＳＴＭｍおよび静止画ストリームＳＴＭｓの情報量（情報処理装置２０２に転送する情報の量）が増加することを抑制できる。
【０１５８】
以上の実施形態において説明した発明を整理して、付記として以下の通り開示する。
（付記１）
画像を符号化して送信する送信側の情報処理装置と、前記送信側の情報処理装置から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置とを有し、
前記送信側の情報処理装置は、
画像を保持する第１画像バッファ部と、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定する更新領域判定部と、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部と、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部と、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第１画像バッファ部に格納する第１動画復号部と、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する第１静止画復号部と、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームとを前記受信側の情報処理装置に送信する送信部とを有し、
前記受信側の情報処理装置は、
前記表示画面に表示する画像を保持する第２画像バッファ部と、
前記送信側の情報処理装置から受ける前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける前記領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納する第２動画復号部と、
前記送信側の情報処理装置から受ける前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する第２静止画復号部とを有する
ことを特徴とする情報処理システム。
（付記２）
付記１に記載の情報処理システムにおいて、
前記静止画符号化部は、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、前記第１画像バッファ部に保持された画像から動画領域から静止画領域に切り替わった領域に対応する領域の画像を第１参照画像として取得し、前記第１参照画像と動画領域から静止画領域に切り替わった領域の画像との差分を符号化して前記静止画ストリームを生成し、
前記第１静止画復号部は、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、前記静止画ストリームを復号した画像を前記第１参照画像に加算して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
（付記３）
付記１または付記２に記載の情報処理システムにおいて、
前記第２静止画復号部は、前記静止画ストリームを前記送信側の情報処理装置から受けた場合、前記第２画像バッファ部に保持された画像から動画領域から静止画領域に切り替わった領域に対応する領域の画像を第２参照画像として取得し、前記静止画ストリームを復号した画像を前記第２参照画像に加算して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
ことを特徴とする情報処理システム。
（付記４）
付記１ないし付記３のいずれか１項に記載の情報処理システムにおいて、
前記送信側の情報処理装置により符号化される符号化対象の画像の色差フォーマットは、色差成分を間引かない４：４：４フォーマットであり、
前記静止画符号化部は、４：４：４フォーマットの前記符号化対象の画像における動画領域から静止画領域に切り替わった領域を符号化して前記静止画ストリームを生成し、
前記動画符号化部は、４：４：４フォーマットの前記符号化対象の画像を色差成分を間引いた画像に変換し、色差成分を間引いた画像のフレームを動画符号化方式で符号化して前記動画ストリームを生成し、
前記第１動画復号部は、前記動画ストリームを復号して生成した動画復号画像のうち、動画領域に対応する領域の画像を抽出し、抽出した画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
（付記５）
付記４に記載の情報処理システムにおいて、
前記送信側の情報処理装置が、前記受信側の情報処理装置に最初に表示させる画像を送信する場合、
前記第１動画復号部は、前記動画ストリームを復号して生成した動画復号画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した動画復号画像を前記第１画像バッファ部に格納し、
前記静止画符号化部は、前記第１画像バッファ部に保持された動画復号画像を第３参照画像として取得し、前記第３参照画像と前記符号化対象の画像との差分を符号化して前記静止画ストリームを生成し、
前記第１静止画復号部は、前記静止画ストリームを復号した画像を前記第３参照画像に加算して静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する
ことを特徴とする情報処理システム。
（付記６）
付記５に記載の情報処理システムにおいて、
前記受信側の情報処理装置が画像を最初に表示する場合、
前記第２動画復号部は、前記送信側の情報処理装置から受ける前記動画ストリームを復号して生成した動画復号画像の色差フォーマットを４：４：４フォーマットに変換し、４：４：４フォーマットに変換した動画復号画像を前記第２画像バッファ部に格納し、
前記第２静止画復号部は、前記第２画像バッファ部に保持された動画復号画像を第４参照画像として取得し、前記送信側の情報処理装置から受ける前記静止画ストリームを復号した画像を前記第４参照画像に加算して静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
ことを特徴とする情報処理システム。
（付記７）
付記１ないし付記６のいずれか１項に記載の情報処理システムにおいて、
前記送信側の情報処理装置は、動画のフレームの画像を保持する第１動画フレームバッファ部をさらに有し、
前記第１動画復号部は、前記動画符号化部が前記動画ストリームを生成する度に、前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像を前記第１動画フレームバッファ部に格納し、
前記受信側の情報処理装置は、動画のフレームの画像を保持する第２動画フレームバッファ部をさらに有し、
前記第２動画復号部は、前記動画ストリームを前記送信側の情報処理装置から受ける度に、前記動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像を前記第２動画フレームバッファ部に格納する
ことを特徴とする情報処理システム。
（付記８）
画像を符号化して受信側の情報処理装置に送信する送信側の情報処理装置において、
画像を保持する第１画像バッファ部と、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定する更新領域判定部と、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成する動画符号化部と、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成する静止画符号化部と、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第１画像バッファ部に格納する第１動画復号部と、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納する第１静止画復号部と、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームとを前記受信側の情報処理装置に送信する送信部とを有する
ことを特徴とする情報処理装置。
（付記９）
送信側の情報処理装置から受ける符号化された画像を復号して表示画面に表示する受信側の情報処理装置において、
前記表示画面に表示する画像を保持する第２画像バッファ部と、
前記送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける情報であり、動画領域を示す領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納する第２動画復号部と、
前記送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する第２静止画復号部とを有する
ことを特徴とする情報処理装置。
（付記１０）
画像を符号化して受信側の情報処理装置に送信する送信側の情報処理装置の動作を制御する情報処理プログラムにおいて、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定し、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成し、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成し、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記送信側の情報処理装置が有する第１画像バッファ部に格納し、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納し、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームを前記受信側の情報処理装置に送信する
処理を前記送信側の情報処理装置に実行させるための情報処理プログラム。
（付記１１）
表示画面に表示する画像を保持する第２画像バッファ部を有し、送信側の情報処理装置から受ける符号化された画像を復号して前記表示画面に表示する受信側の情報処理装置の動作を制御する情報処理プログラムにおいて、
前記送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける情報であり、動画領域を示す領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納し、
前記送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
処理を前記受信側の情報処理装置に実行させるための情報処理プログラム。
（付記１２）
画像を符号化して受信側の情報処理装置に送信する送信側の情報処理装置の動作を制御する情報処理プログラムを記録した記録媒体において、
画像のフレーム毎に、表示内容が更新された更新領域が画像内に存在するかを判定対象のフレームと前記判定対象のフレームの前のフレームとの差分に基づいて判定し、前記更新領域に基づいて前記判定対象のフレーム内を動画領域と静止画領域に判定し、
前記判定対象のフレーム内に動画領域がある場合、画像のフレームを動画符号化方式で符号化して動画ストリームを生成し、
前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を符号化して静止画ストリームを生成し、
前記動画ストリームを復号して動画復号画像を生成し、前記判定対象のフレーム内に動画領域がある場合、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記送信側の情報処理装置が有する第１画像バッファ部に格納し、
前記静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第１画像バッファ部に格納し、
前記判定対象のフレーム内に動画領域がある場合、動画領域を示す領域情報と前記動画ストリームとを前記受信側の情報処理装置に送信し、前記判定対象のフレーム内に動画領域から静止画領域に切り替わった領域がある場合、動画領域から静止画領域に切り替わった領域を示す領域情報と前記静止画ストリームを前記受信側の情報処理装置に送信する
処理を前記送信側の情報処理装置に実行させるための情報処理プログラムを記録したことを特徴とする前記送信側の情報処理装置が読み取り可能な記録媒体。
（付記１３）
表示画面に表示する画像を保持する第２画像バッファ部を有し、送信側の情報処理装置から受ける符号化された画像を復号して前記表示画面に表示する受信側の情報処理装置の動作を制御する情報処理プログラムを記録した記録媒体において、
前記送信側の情報処理装置から受ける動画ストリームを復号して動画復号画像を生成し、生成した動画復号画像内に動画領域がある場合、前記送信側の情報処理装置から受ける情報であり、動画領域を示す領域情報に基づいて、動画領域に対応する領域を、前記動画ストリームを復号して生成した動画復号画像から抽出し、抽出した領域の画像を前記第２画像バッファ部に格納し、
前記送信側の情報処理装置から受ける静止画ストリームを復号して動画領域から静止画領域に切り替わった領域の静止画復号画像を生成し、生成した静止画復号画像を前記第２画像バッファ部に格納する
処理を前記受信側の情報処理装置に実行させるための情報処理プログラムを記録したことを特徴とする前記受信側の情報処理装置が読み取り可能な記録媒体。
【０１５９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１６０】
１０、１２‥情報処理システム；１００、１０２、２００、２０２‥情報処理装置；１１０、１１２‥更新領域判定部；１２０、１２２‥動画符号化部；１２４、１３８、２３８‥色差変換部；１２６‥全画面動画符号化部；１３０、１３２、２３０、２３２‥動画復号部；１３４‥全画面動画復号部；１３５、２３５‥動画フレームバッファ部；１３６、２３６‥動画領域抽出部；１４０、１４２‥静止画符号化部；１４４‥静止画領域抽出部；１４５‥静止画参照画像取得部；１４６‥静止画差分算出部；１４８‥静止画領域符号化部；１５０、１５２、２５０、２５２‥静止画復号部；１６０、２６０‥画像バッファ部；１７０‥送信部；２１０‥受信部；２１２‥更新領域特定部；２４５‥静止画参照画像取得部；２３４‥全画面動画復号部
【図１】
2019083396.tif 000003
【図２】
2019083396.tif 000004
【図３】
2019083396.tif 000005
【図４】
2019083396.tif 000006
【図５】
2019083396.tif 000007
【図６】
2019083396.tif 000008
【図７】
2019083396.tif 000009
【図８】
2019083396.tif 000010
【図９】
2019083396.tif 000011
【図１０】
2019083396.tif 000012
【図１１】
2019083396.tif 000013
【図１２】
2019083396.tif 000014
【図１３】
2019083396.tif 000015