(57)【要約】【課題】ユーザーの操作を反映した画像を表示する際に、メモリの使用量を抑えて低遅延表示できるようにする。【解決手段】ユーザー操作部から操作コマンドを受信すると、フレーム生成部１０２は、操作コマンドに従ってフレームの描画命令を生成する。そして、描画命令に従ってフレームを生成するとともに、描画命令からフレーム情報を抽出する。次に、抽出したフレーム情報を前のフレームのフレーム情報と比較し、シーンチェンジ有りと判定された場合には、メモリ帯域の不足を回避するために、圧縮フレームのサイズが最小になる量子化テーブルへ変更する。【選択図】図１
2015171041.tif 000002
【特許請求の範囲】
【請求項１】
フレームを生成する指示を入力する入力手段と、
前記入力手段によって入力された指示に基づいてフレームを生成するフレーム生成手段と、
前記入力手段によって入力された指示に基づいて生成するフレームのフレーム情報を抽出する抽出手段と、
前記抽出手段によって抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定手段と、
前記判定手段の判定結果に応じて、前記フレーム生成手段によって生成されたフレームの圧縮率を制御する圧縮率制御手段と、
前記フレーム生成手段によって生成されたフレームを圧縮する圧縮手段と、
前記圧縮手段によって圧縮されたフレームに基づく画像を表示手段に表示する表示制御手段とを有し、
前記圧縮率制御手段は、前記判定手段によってシーンチェンジが有りと判定された場合に、前記圧縮手段により前記フレームの圧縮を開始する前に前記圧縮手段の圧縮率を大きくすることを特徴とする映像表示装置。
【請求項２】
前記入力手段によって入力された指示に基づいて前記フレームの描画命令を生成する描画命令生成手段をさらに有し、
前記フレーム生成手段は、前記描画命令生成手段によって生成された描画命令に応じて前記フレームを生成し、
前記抽出手段は、前記描画命令生成手段によって生成された描画命令から前記フレーム情報を抽出することを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記判定手段は、前記フレーム情報に基づいて時間的に前のフレームとの差異を比較することによってシーンチェンジの有無を判定することを特徴とする請求項１又は２に記載の映像表示装置。
【請求項４】
前記抽出手段は、前記フレーム情報として前記フレームに含まれるオブジェクトの種類及び数の情報を抽出し、
前記判定手段は、前記オブジェクトの種類及び数を比較することによってシーンチェンジの有無を判定することを特徴とする請求項３に記載の映像表示装置。
【請求項５】
フレームを生成する指示を入力し、前記入力された指示に基づいてフレームを生成するとともに、前記入力された指示に基づいて生成するフレームのフレーム情報を抽出し、前記フレーム及び前記フレーム情報を送信する映像送信装置とネットワークを介して接続された映像受信装置であって、
前記映像送信装置から前記フレームを受信するとともに、前記フレーム情報を受信する受信手段と、
前記受信手段によって受信されたフレーム情報に基づいてシーンチェンジの有無を判定する判定手段と、
前記判定手段の判定結果に応じて、前記受信手段によって受信されるフレームの圧縮率を制御する圧縮率制御手段と、
前記受信手段によって受信されたフレームを圧縮する圧縮手段と、
前記圧縮手段によって圧縮されたフレームに基づく画像を表示手段に表示する表示制御手段とを有し、
前記圧縮率制御手段は、前記判定手段によってシーンチェンジが有りと判定された場合に、前記圧縮手段により前記フレームの圧縮を開始する前に前記圧縮手段の圧縮率を大きくすることを特徴とする映像受信装置。
【請求項６】
フレーム及び前記フレームにおけるシーンチェンジの有無の判定結果を受信し、前記受信した判定結果がシーンチェンジ有りである場合に、前記フレームを受信して前記フレームの圧縮を開始する前に前記フレームの圧縮率を大きくする映像受信装置とネットワークを介して接続された映像送信装置であって、
前記フレームを生成する指示を入力する入力手段と、
前記入力手段によって入力された指示に基づいて前記フレームを生成するフレーム生成手段と、
前記入力手段によって入力された指示に基づいて生成する前記フレームのフレーム情報を抽出する抽出手段と、
前記抽出手段によって抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定手段と、
前記フレーム生成手段によって生成されたフレーム及び前記判定手段による判定結果を前記映像受信装置に送信する送信手段とを有することを特徴とする映像送信装置。
【請求項７】
フレームを生成する指示を入力する入力工程と、
前記入力工程において入力された指示に基づいてフレームを生成するフレーム生成工程と、
前記入力工程において入力された指示に基づいて生成するフレームのフレーム情報を抽出する抽出工程と、
前記抽出工程において抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記判定工程の判定結果に応じて、前記フレーム生成工程において生成されたフレームの圧縮率を制御する圧縮率制御工程と、
前記フレーム生成工程において生成されたフレームを圧縮する圧縮工程と、
前記圧縮工程において圧縮されたフレームに基づく画像を表示手段に表示する表示制御工程とを有し、
前記圧縮率制御工程においては、前記判定工程においてシーンチェンジが有りと判定された場合に、前記圧縮工程において前記フレームの圧縮を開始する前に前記圧縮工程の圧縮率を大きくすることを特徴とする映像表示装置の制御方法。
【請求項８】
フレームを生成する指示を入力し、前記入力された指示に基づいてフレームを生成するとともに、前記入力された指示に基づいて生成するフレームのフレーム情報を抽出し、前記フレーム及び前記フレーム情報を送信する映像送信装置とネットワークを介して接続された映像受信装置の制御方法であって、
前記映像送信装置から前記フレームを受信するとともに、前記フレーム情報を受信する受信工程と、
前記受信工程において受信されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記判定工程の判定結果に応じて、前記受信工程において受信されるフレームの圧縮率を制御する圧縮率制御工程と、
前記受信工程において受信されたフレームを圧縮する圧縮工程と、
前記圧縮工程において圧縮されたフレームに基づく画像を表示手段に表示する表示制御工程とを有し、
前記圧縮率制御工程においては、前記判定工程においてシーンチェンジが有りと判定された場合に、前記圧縮工程において前記フレームの圧縮を開始する前に前記圧縮工程の圧縮率を大きくすることを特徴とする映像受信装置の制御方法。
【請求項９】
フレーム及び前記フレームにおけるシーンチェンジの有無の判定結果を受信し、前記受信した判定結果がシーンチェンジ有りである場合に、前記フレームを受信して前記フレームの圧縮を開始する前に前記フレームの圧縮率を大きくする映像受信装置とネットワークを介して接続された映像送信装置の制御方法であって、
前記フレームを生成する指示を入力する入力工程と、
前記入力工程において入力された指示に基づいて前記フレームを生成するフレーム生成工程と、
前記入力工程において入力された指示に基づいて生成する前記フレームのフレーム情報を抽出する抽出工程と、
前記抽出工程において抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記フレーム生成工程において生成されたフレーム及び前記判定工程における判定結果を前記映像受信装置に送信する送信工程とを有することを特徴とする映像送信装置の制御方法。
【請求項１０】
フレームを生成する指示を入力する入力工程と、
前記入力工程において入力された指示に基づいてフレームを生成するフレーム生成工程と、
前記入力工程において入力された指示に基づいて生成するフレームのフレーム情報を抽出する抽出工程と、
前記抽出工程において抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記判定工程の判定結果に応じて、前記フレーム生成工程において生成されたフレームの圧縮率を制御する圧縮率制御工程と、
前記フレーム生成工程において生成されたフレームを圧縮する圧縮工程と、
前記圧縮工程において圧縮されたフレームに基づく画像を表示手段に表示する表示制御工程とをコンピュータに実行させ、
前記圧縮率制御工程においては、前記判定工程においてシーンチェンジが有りと判定された場合に、前記圧縮工程において前記フレームの圧縮を開始する前に前記圧縮工程の圧縮率を大きくすることを特徴とするプログラム。
【請求項１１】
フレームを生成する指示を入力し、前記入力された指示に基づいてフレームを生成するとともに、前記入力された指示に基づいて生成するフレームのフレーム情報を抽出し、前記フレーム及び前記フレーム情報を送信する映像送信装置とネットワークを介して接続された映像受信装置を制御するためのプログラムであって、
前記映像送信装置から前記フレームを受信するとともに、前記フレーム情報を受信する受信工程と、
前記受信工程において受信されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記判定工程の判定結果に応じて、前記受信工程において受信されるフレームの圧縮率を制御する圧縮率制御工程と、
前記受信工程において受信されたフレームを圧縮する圧縮工程と、
前記圧縮工程において圧縮されたフレームに基づく画像を表示手段に表示する表示制御工程とをコンピュータに実行させ、
前記圧縮率制御工程においては、前記判定工程においてシーンチェンジが有りと判定された場合に、前記圧縮工程において前記フレームの圧縮を開始する前に前記圧縮工程の圧縮率を大きくすることを特徴とするプログラム。
【請求項１２】
フレーム及び前記フレームにおけるシーンチェンジの有無の判定結果を受信し、前記受信した判定結果がシーンチェンジ有りである場合に、前記フレームを受信して前記フレームの圧縮を開始する前に前記フレームの圧縮率を大きくする映像受信装置とネットワークを介して接続された映像送信装置を制御するためのプログラムであって、
前記フレームを生成する指示を入力する入力工程と、
前記入力工程において入力された指示に基づいて前記フレームを生成するフレーム生成工程と、
前記入力工程において入力された指示に基づいて生成する前記フレームのフレーム情報を抽出する抽出工程と、
前記抽出工程において抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定工程と、
前記フレーム生成工程において生成されたフレーム及び前記判定工程における判定結果を前記映像受信装置に送信する送信工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、ユーザーの操作を反映した画像を表示するために用いて好適な映像表示装置、映像受信装置、映像送信装置、映像表示装置の制御方法、映像受信装置の制御方法、映像送信装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、４Ｋ２Ｋ、８Ｋ４Ｋなどの画像を高解像化、倍速駆動、超解像など、フレーム間処理の高機能化が進んでいる。一般的な映像表示装置は、送信装置が生成する画像データを受信装置のメモリに書き込み、その画像データを読み出して画像処理を行い、表示する。ところが、画像が高解像化したり画像処理が進化したりすることによって処理するフレームサイズや参照フレーム数などが増加すると、メモリアクセスが増加し、メモリ帯域が不足しやすくなる。そのため、近年では、メモリの書き込み時に画像データを圧縮し、読み出し時に圧縮データを伸長して、メモリ帯域を削減する装置が提案されている。特許文献１は、画像の圧縮伸長処理部に異なる圧縮率の圧縮器を備えた装置が開示されている。この装置では、入力時及び画像処理を行った後の書き込み時に、画像処理装置の負荷状況に応じて圧縮器を切り替えて圧縮率を変更し、帯域を制御するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、フライトシミュレータやゲームなど、ユーザーの操作を反映して画像を表示する装置では、ユーザー操作を反映したフレームを受信してから表示するまでの遅延時間を、０．１〜１フレーム以内にしている。以下、このように遅延時間を小さくする表示を低遅延表示と称す。ここで、特許文献１に記載の画像処理装置に、ＪＰＥＧなどの可変長符号化を適用して低遅延表示を行うケースを想定する。
【０００５】
可変長符号化の場合、入力フレームの圧縮データのサイズは、フレーム全体を圧縮するまで識別することができない。そのため、ユーザーの操作によってシーンチェンジが発生すると、入力フレームの圧縮データのサイズが規定値を超え、メモリ帯域が不足する場合がある。特許文献１に記載の方法によれば、圧縮器を切り替えることによって圧縮率を制御し、メモリ帯域の不足を回避しようとする。しかしながら、入力フレームの圧縮率の情報を取得した後に、圧縮器を切り替えてフレームの再圧縮を行うと、１フレームの遅延が生じるため、低遅延表示を行うことができないという課題がある。
【０００６】
本発明は前述の問題点に鑑み、ユーザーの操作を反映した画像を表示する際に、メモリの使用量を抑えて低遅延表示できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る映像表示装置は、フレームを生成する指示を入力する入力手段と、前記入力手段によって入力された指示に基づいてフレームを生成するフレーム生成手段と、前記入力手段によって入力された指示に基づいて生成するフレームのフレーム情報を抽出する抽出手段と、前記抽出手段によって抽出されたフレーム情報に基づいてシーンチェンジの有無を判定する判定手段と、前記判定手段の判定結果に応じて、前記フレーム生成手段によって生成されたフレームの圧縮率を制御する圧縮率制御手段と、前記フレーム生成手段によって生成されたフレームを圧縮する圧縮手段と、前記圧縮手段によって圧縮されたフレームに基づく画像を表示手段に表示する表示制御手段とを有し、前記圧縮率制御手段は、前記判定手段によってシーンチェンジが有りと判定された場合に、前記圧縮手段により前記フレームの圧縮を開始する前に前記圧縮手段の圧縮率を大きくすることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザーの操作を反映した画像を表示する際に、メモリの使用量を抑えて低遅延表示することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における映像表示装置の内部構成例を示すブロック図である。
【図２】映像表示装置におけるフレーム生成部の詳細な構成例を示すブロック図である。
【図３】第１の実施形態におけるユーザーの操作に基づいたフレームを表示する処理手順の一例を示すフローチャートである。
【図４】第１の実施形態におけるユーザーの操作の種類に応じた処理の概要を説明するためのタイミングチャートである。
【図５】実施形態に係るシミュレータシステムの構成例を示す図である。
【図６】第２の実施形態における映像表示装置の内部構成例を示すブロック図である。
【図７】第２の実施形態におけるユーザーの操作に基づいたフレームを表示する処理手順の一例を示すフローチャートである。
【図８】第２の実施形態におけるユーザーの操作の種類に応じた処理の概要を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図５は、本実施形態に係るシミュレータシステムの構成例を示す図である。図５に示す例では、映像表示装置をコントローラ５０２と、パーソナルコンピュータ（ＰＣ）５００と、プロジェクタ５０１とで構成されるシミュレータシステムに適用した場合を想定している。
【００１１】
図５において、ＰＣ５００及びプロジェクタ５０１は、ＬＡＮ５０３を介して接続されている。ユーザーにより操作されるコントローラ５０２は、ＰＣ５００へ信号を入力する。ユーザーがコントローラ５０２を操作することによってＰＣ５００はその操作に基づいてフレームを生成する。そして、ＰＣ５００は生成したフレームを、ＬＡＮ５０３を介してプロジェクタ５０１に送信する。プロジェクタ５０１は、受信したフレームを画像処理して低遅延表示する。なお、本実施形態では、図５に示す例に限らず、ＰＣ５００とプロジェクタ５０１とが一体となった映像表示装置にも適用することができる。
【００１２】
図１は、本実施形態における映像表示装置１０の内部構成例を示すブロック図である。図１において、映像送信部１００はＰＣ５００に相当するものあり、映像受信部１０１はプロジェクタ５０１に相当するものである。以下、映像表示システムにおける各構成と、フレームのデータフローとについて説明する。
【００１３】
映像送信部１００のフレーム生成部１０２は、ユーザー操作部（コントローラ５０２）から入力された指示に従い、フレームを生成してメモリ１０３に格納する。
【００１４】
図２は、フレーム生成部１０２の詳細な構成例を示すブロック図である。
図２において、ユーザー指示受信部２００は、ユーザー操作部から受信した操作コマンドを、メモリ１０３に書き込む。描画命令生成部２０１は、メモリ１０３から読み出した操作コマンドに従ってフレームの描画命令を生成し、メモリ１０３に書き込む。フレーム描画部２０３は、メモリ１０３から描画命令を読み出し、描画命令に従ってフレームを描画し、メモリ１０３に書き込む。なお、フレーム情報抽出部２０２については後述する。
【００１５】
図１の説明に戻り、フレーム送信部１０４は、送信同期信号に従ってメモリ１０３からフレームを読み出し、映像受信部１０１へ送信する。
【００１６】
映像受信部１０１では、フレーム受信部１０６が、受信したフレームを第１の圧縮部１０７に送る。第１の圧縮部１０７は、受信したフレームを圧縮し、圧縮フレームをメモリ１０８に書き込む。第１の伸長部１０９は、メモリ１０８から圧縮フレームを読み出して伸長し、画像処理部１１０に送る。画像処理部１１０は、ＩＰ変換や台形補正などの処理を行い、処理後のフレームを第２の圧縮部１１１に送る。第２の圧縮部１１１は、処理後のフレームを圧縮し、処理後の圧縮フレームをメモリ１０８に書き込む。第２の伸長部１１２は、メモリ１０８から処理後の圧縮フレームを読み出して伸長し、フレーム出力部１１３に入力する。フレーム出力部１１３は、出力同期信号に従って、フレームを表示部１１７に出力して表示制御を行う。
【００１７】
なお、第１の圧縮部１０７及び第２の圧縮部１１１は、少なくとも１つのＪＰＥＧ圧縮器を有するものとする。また、第１の伸長部１０９及び第２の伸長部１１２は、少なくとも１つのＪＰＥＧ伸長器を有するものとする。なお、圧縮方式は、可変長符号化方式であればよく、ＪＰＥＧに限定するものではない。
【００１８】
次に、フレーム情報のデータフローについて説明する。
フレーム情報抽出部２０２は、メモリ１０３から描画命令を読み出し、描画命令からフレームを構成するオブジェクトなどのフレーム情報を抽出し、フレーム情報送信部１０５に送る。本実施形態では、例えば、描画命令からオブジェクトの種類と数とをフレーム情報として抽出する。また、フレーム情報は、オブジェクトの描画命令に与えられる描画座標値などのパラメータや描画命令そのものであってもよく、オブジェクトの種類や数に限定するものではない。そして、フレーム情報送信部１０５は、フレーム情報を映像受信部１０１に送信する。
【００１９】
映像受信部１０１のフレーム情報受信部１１４は、受信したフレーム情報をフレーム情報解析部１１５に送る。フレーム情報解析部１１５は、入力されたフレーム情報より時間的に前のフレーム情報を少なくとも１つ保持しており、保持しているフレーム情報と入力されたフレーム情報とを比較する。そして比較の結果、差分が閾値を超えた場合に、入力されたフレーム情報に該当するフレームでシーンチェンジが発生したものと判定する。本実施形態では、例えば、３種類以上のオブジェクトの有無が変更された場合にシーンチェンジしたものと判定する。
【００２０】
なお、シーンチェンジの有無の判定は、オブジェクトの有無に限定するものではない。例えば、オブジェクトの配置座標の差分を比較し、オブジェクトの動き量の差分でシーンチェンジの有無を判定してもよい。フレーム情報解析部１１５は、シーンチェンジの有無の判定結果を圧縮率制御部１１６に送る。
【００２１】
圧縮率制御部１１６は、第１の圧縮部１０７及び第２の圧縮部１１１の各圧縮器の量子化テーブルを変更して圧縮率を制御する。シーンチェンジ有りという判定結果が入力された場合には、メモリ帯域の不足を回避するために、圧縮フレームのサイズが最小になる（すなわち、圧縮率が最大になる）量子化テーブルへ変更する。
【００２２】
次に、図３及び図４を用いて、映像表示装置の動作フローと動作タイミングを説明する。図３は、本実施形態におけるユーザーの操作に基づいたフレームを表示する処理手順の一例を示すフローチャートである。また、図４は、本実施形態におけるユーザーの操作の種類に応じた処理の概要を説明するためのタイミングチャートである。なお、図４に示す例では、メニューの表示画面から、ユーザーの操作によりメニューボタンを押下する指示がされ、メニューが消去されて背景画像の表示に戻る操作を想定している。
【００２３】
図４において、Ｎ−１番目の出力フレーム（Ｎ−１）４００は、メニュー表示画面であり、Ｎ番目の出力フレーム（Ｎ）４０１は、メニューボタン押下画面である。また、Ｎ＋１番目の出力フレーム（Ｎ＋１）は、背景画像の表示画面である。図４に示す例では、映像送信部１００から映像受信部１０１への送信遅延を垂直同期期間で２フレームとし、受信から表示までを垂直同期期間で１／３フレームとしている。
【００２４】
まず、Ｎ番目の出力フレーム（Ｎ）４０１の処理に注目して、処理のタイミングについて図３及び図４を参照しながら説明する。以下、Ｎ番目の出力フレーム（Ｎ）に対応する信号については、「（Ｎ）」という記載を付して説明する。また、Ｎ−１、Ｎ＋１についても同様である。
【００２５】
ユーザーによりメニュー画面のボタンＢを選択する操作が行われると、フレーム生成部１０２のユーザー指示受信部２００は、ユーザー操作コマンド（Ｎ）を受信する（Ｓ３０１）。図４のタイミングチャートには、ユーザー操作受信「ボタン押下」（Ｎ）４０４のタイミングを示している。そして、描画命令生成部２０１は、ユーザー操作コマンド（Ｎ）に従って、フレーム（Ｎ）の描画命令を生成する（Ｓ３０２）。図４のタイミングチャートには、描画命令生成（Ｎ）４０５のタイミングが示されている。
【００２６】
描画命令が生成されると、フレーム描画部２０３は、描画命令に従ってフレーム（Ｎ）を描画する（Ｓ３０３）。そして、フレーム送信部１０４は、フレーム送信時の垂直同期信号に従って、描画したフレーム（Ｎ）を映像受信部１０１に送信する（Ｓ３０４）。図４のタイミングチャートには、描画（Ｎ）４０８と、フレーム送信（Ｎ）４０９とのタイミングが示されている。
【００２７】
一方、描画命令が生成されると、フレーム情報抽出部２０２は、描画命令からフレーム情報（Ｎ）を抽出する（Ｓ３０５）。そして、フレーム情報送信部１０５は、フレーム情報（Ｎ）を映像受信部１０１に送信する（Ｓ３０６）。本実施形態では、フレーム情報（Ｎ）の抽出及び送信は、描画命令の生成後から実行し、描画したフレーム（Ｎ）を送信する前に、映像受信部１０１に送信する。このように本実施形態では、フレーム（Ｎ）の送信タイミングと独立してフレーム情報（Ｎ）を送信する。なお、フレーム情報（Ｎ）の送信タイミングは、フレーム（Ｎ）の送信より前であればよく、フレーム送信のブランキング期間にフレーム情報を送信してもよい。図４のタイミングチャートには、フレーム情報抽出（Ｎ）４０６、及びフレーム情報送信（Ｎ）４０７のタイミングが示されている。
【００２８】
次に、映像受信部１０１側では、フレーム情報受信部１１４は、フレーム情報を受信する（Ｓ３０７）。そして、フレーム情報解析部１１５は、フレーム情報（Ｎ）と保持しているその前のフレーム情報（Ｎ−１）とを比較し、シーンチェンジの有無の判定結果を圧縮率制御部１１６に送る（Ｓ３０８）。圧縮率制御部１１６は、シーンチェンジの有無を確認する（Ｓ３０９）。図４に示すように、フレーム（Ｎ）は、メニューウィンドウオブジェクトと、ボタンＡ〜Ｄのボタンオブジェクトとで構成されており、フレーム（Ｎ−１）との差分は、ボタンＢのボタンオブジェクトである。この場合、オブジェクトの変更数は閾値を超えないため、フレーム情報解析部１１５によりフレーム（Ｎ）はシーンチェンジが無いと判定されている。したがって、圧縮率制御部１１６は、第１の圧縮部１０７及び第２の圧縮部１１１の圧縮率を変更しないようにする。
【００２９】
その後、フレーム受信部１０６はフレーム（Ｎ）を受信し、第１の圧縮部１０７は、受信したフレーム（Ｎ）を圧縮してメモリ１０８に書き込む（Ｓ３１１）。次に、第１の伸長部１０９は、メモリ１０８から圧縮されたフレーム（Ｎ）を読み出して伸長し、画像処理部１１０はフレーム（Ｎ）の画像処理を実施する。そして、第２の圧縮部１１１は、画像処理後のフレーム（Ｎ）を圧縮してメモリ１０８に書き込む（Ｓ３１２）。次に、第２の伸長部１０９は、メモリ１０８から圧縮された画像処理後のフレーム（Ｎ）を読み出して伸長し、フレーム出力部１１３は、出力フレーム（Ｎ）４０１を表示部１１７に出力する（Ｓ３１３）。図４のタイミングチャートには、フレーム情報受信（Ｎ）４２１と、シーンチェンジ無しの判定（Ｎ）４２２と、フレーム受信（Ｎ）４２０と、フレーム出力（Ｎ）４２４とのタイミングが示されている。そして、Ｓ３１４の判定で次のフレーム（Ｎ＋１）について処理を行うため、Ｓ３０１に戻る。
【００３０】
次に、Ｎ＋１番目の出力フレーム（Ｎ＋１）４０２の処理に注目して、処理のタイミングについて説明する。
フレーム生成部１０２のユーザー指示受信部２００は、ユーザーにより操作がないことを示すユーザー操作コマンド（Ｎ＋１）を受信する（Ｓ３０１）。図４のタイミングチャートには、ユーザー操作受信「操作無し」（Ｎ＋１）４１０のタイミングが示されている。以下、図３のＳ３０２〜Ｓ３０８までの処理は、フレーム（Ｎ）と同様である。図４のタイミングチャートには、描画命令生成（Ｎ＋１）４１１と、描画（Ｎ＋１）４１４と、フレーム送信（Ｎ＋１）４１５と、フレーム情報抽出（Ｎ＋１）４１２と、フレーム情報送信（Ｎ＋１）４１３とのタイミングが示されている。さらに、図４のタイミングチャートには、映像受信部１０１側のフレーム情報受信（Ｎ＋１）４２３のタイミングが示されている。
【００３１】
続いて、圧縮率制御部１１６は、シーンチェンジの有無を確認する（Ｓ３０９）。図４に示すように、フレーム（Ｎ）は、メニューウィンドウオブジェクトと、ボタンＡ〜Ｄのボタンオブジェクトとで構成されるが、フレーム（Ｎ＋１）は、メニュー消去後の背景画像となっている。すなわち、フレーム（Ｎ＋１）は、メニューウィンドウオブジェクト及びボタンＡ〜Ｄのボタンオブジェクトの数は０となる。この場合、変更オブジェクト数は５であり、閾値を超えるため、フレーム情報解析部１１５によりフレーム（Ｎ＋１）はシーンチェンジ有りと判定されている。
【００３２】
そして、圧縮率制御部１１６は、圧縮フレームのサイズが最小になるように、第１の圧縮部１０７及び第２の圧縮部１１１の量子化テーブルを変更する（Ｓ３１０）。圧縮率の変更は、フレーム（Ｎ）の圧縮を行った後から、フレーム（Ｎ＋１）の圧縮を開始する前に行われる。図４のタイミングチャートには、シーンチェンジ有りの判定（Ｎ＋１）４２５と、圧縮率変更４２６、４２７とのタイミングが示されている。
【００３３】
シーンチェンジ有りと判定された場合、第１の圧縮部１０７によるフレーム（Ｎ）の圧縮が完了すると、圧縮率制御部１１６は、フレーム（Ｎ＋１）に備えて、第１の圧縮部１０７の圧縮率を変更する。なお、この時点では、第２の圧縮部１１１によるフレーム（Ｎ）の圧縮中または圧縮前である。そして、第２の圧縮部１１１によりフレーム（Ｎ）の圧縮が完了すると、圧縮率制御部１１６は、第２の圧縮部１１１の圧縮率を変更する。
【００３４】
圧縮率が変更されると、フレーム受信部１０６は、フレーム（Ｎ＋１）を受信し、第１の圧縮部１０７は、受信したフレーム（Ｎ＋１）を圧縮してメモリ１０８に書き込む（Ｓ３１１）。このとき、フレーム（Ｎ＋１）は変更後の圧縮率で圧縮される。その後、同様に、第２の圧縮部１１１による圧縮も変更後の圧縮率で行われ、出力フレーム（Ｎ＋１）４０２の表示を行う。図４のタイミングチャートには、第１の圧縮部１０７の圧縮（Ｎ）４２８と、第２の圧縮部１１１の圧縮（Ｎ）４２９と、第１の圧縮部１０７の圧縮（Ｎ＋１）４３０と、第２の圧縮部１１１の圧縮（Ｎ＋１）４３１とのタイミングが示されている。
【００３５】
以上のように本実施形態によれば、映像受信部１０１では、現在の受信フレームより後に受信するフレームの情報を、前もって受信する。そして、フレーム情報の差分をとることによって、フレームを受信する前にそのフレームでシーンチェンジするか否かを判定するようにした。これにより、シーンチェンジが有るフレームを受信し、圧縮を開始する前に、圧縮後のフレームのサイズが最小になる量子化テーブルを選択し、第１の圧縮部１０７及び第２の圧縮部１１１の圧縮率を最大にすることができる。その結果、シーンチェンジするフレームでも規定の圧縮サイズを超えないため、メモリ帯域が不足することを回避でき、フレームの再圧縮が発生せず、低遅延表示を行うことができる。
【００３６】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。以下、第１の実施形態と異なる点を中心に説明する。
図６は、本実施形態における映像表示装置６０の内部構成例を示すブロック図である。図１に示した構成と比較して構成上２点の差異がある。１点目は、フレーム情報解析部６１５が映像受信部６０１ではなく、映像送信部６００に存在する点である。２点目は、フレーム情報送信部６０５及びフレーム情報受信部６１４が、フレーム情報ではなく、シーンチェンジの有無の判定結果を送受信する点である。それ以外の構成は、図１と同様である。また、フレーム生成部１０２の詳細な構成も、図２と同様である。以下、第１の実施形態と異なる処理について説明する。
【００３７】
映像送信部６００のフレーム情報抽出部２０２は、メモリ１０３から描画命令を読み出し、描画命令からフレームを構成するオブジェクトなどのフレーム情報を抽出して、フレーム情報解析部６１５に送る。フレーム情報の内容は、第１の実施形態と同様である。フレーム情報解析部６１５は、入力されたフレーム情報より前のフレーム情報を少なくとも１つ保持しており、保持しているフレーム情報と入力されたフレーム情報とを比較する。そして、比較の結果、差分が閾値を超えた場合に、入力されたフレーム情報に該当するフレームでシーンチェンジが発生したものと判定する。そして、フレーム情報解析部６１５は、シーンチェンジの有無の判定結果をフレーム情報送信部６０５に送る。
【００３８】
フレーム情報送信部６０５は、シーンチェンジの有無の判定結果を映像受信部６０１に送信する。そして、映像受信部６０１のフレーム情報受信部６１４は、受信したシーンチェンジの有無の判定結果を圧縮率制御部６１６に送る。圧縮率制御部６１６は、シーンチェンジ有りという判定結果が入力された場合に、メモリ帯域の不足を回避するために、第１の圧縮部１０７及び第２の圧縮部１１１の量子化テーブルを圧縮フレームのサイズが最小になるテーブルへ変更する。
【００３９】
次に、図７及び図８を参照しながら、映像表示装置６０の動作フローと動作タイミングとについて説明する。以下、第１の実施形態と同じ操作を想定し、第１の実施形態との差分についてのみ説明する。
【００４０】
まず、図８に示すＮ番目の出力フレーム（Ｎ）８０１の処理に注目して、処理のタイミングについて説明する。なお、図７のＳ３０１〜Ｓ３０４の処理は、図３と同様である。図８のタイミングチャートには、ユーザー操作受信「ボタン押下」（Ｎ）８０４と、描画命令生成（Ｎ）８０５と、描画（Ｎ）８０８と、フレーム送信（Ｎ）８０９とのタイミングが示されている。
【００４１】
一方、描画命令が生成されると、フレーム情報抽出部２０２は、描画命令からフレーム情報（Ｎ）を抽出し、フレーム情報（Ｎ）をフレーム情報解析部６１５に送る（Ｓ７０１）。フレーム情報解析部６１５は、フレーム情報（Ｎ）と保持しているその前のフレーム情報（Ｎ−１）とを比較する。第１の実施形態と同様に、フレーム（Ｎ）はシーンチェンジが無いという判定結果が得られる。そして、フレーム情報解析部６１５は、シーンチェンジの有無の判定結果をフレーム情報送信部６０５に送る（Ｓ７０２）。
【００４２】
次に、フレーム情報送信部６０５は、シーンチェンジの有無の判定結果を映像受信部６０１に送信する（Ｓ７０３）。なお、フレーム情報（Ｎ）を抽出してからシーンチェンジの有無の判定結果を送信するまでの処理は、描画命令の生成後から描画したフレーム（Ｎ）を送信する前までに行われる。図８のタイミングチャートには、フレーム情報抽出（Ｎ）８０６と、シーンチェンジ無しの判定（Ｎ）８２２と、シーンチェンジの有無の判定結果の送信（Ｎ）８０７とのタイミングが示されている。
【００４３】
次に、フレーム情報受信部６１４は、シーンチェンジの有無の判定結果を受信する（Ｓ７０４）。そして、圧縮率制御部１１６は、シーンチェンジの有無を確認する（Ｓ３０９）。シーンチェンジは無いと判定されているため、圧縮率制御部１１６は、第１の圧縮部１０７及び第２の圧縮部１１１の圧縮率を変更しないようにする。以下、Ｓ３１１〜Ｓ３１４の処理は、図３と同様である。図８のタイミングチャートには、シーンチェンジの有無の判定結果の受信（Ｎ）８２１と、フレーム受信（Ｎ）８２０と、フレーム出力（Ｎ）８２４とのタイミングが示されている。
【００４４】
次に、Ｎ＋１番目の出力フレーム（Ｎ＋１）８０２の処理に注目して、処理のタイミングについて説明する。なお、Ｓ３０１〜Ｓ３０４及びＳ７０１〜Ｓ７０３の処理については、第１の実施形態または本実施形態のフレーム（Ｎ）の場合と同様である。ただしこの場合は、第１の実施形態と同様に、シーンチェンジ有りと判定される。図８のタイミングチャートには、ユーザー操作受信「操作無し」（Ｎ＋１）８１０と、描画命令生成（Ｎ＋１）８１１と、描画（Ｎ＋１）８１４と、フレーム送信（Ｎ＋１）８１５とのタイミングが示されている。さらに図８のタイミングチャートには、フレーム情報抽出（Ｎ＋１）８１２と、シーンチェンジ有りの判定（Ｎ＋１）８２５と、シーンチェンジの有無の判定結果の送信（Ｎ＋１）８１３とのタイミングが示されている。
【００４５】
続いて、フレーム情報受信部６１４は、シーンチェンジの有無の判定結果を受信する（Ｓ７０４）。そして、圧縮率制御部１１６は、シーンチェンジの有無を確認する（Ｓ３０９）。そして、シーンチェンジが有りと判定されているため、圧縮率制御部１１６は、圧縮フレームのサイズが最小になるように、第１の圧縮部１０７及び第２の圧縮部１１１の量子化テーブルを変更する（Ｓ３１０）。圧縮率を変更するタイミングは第１の実施形態と同様である。以下、Ｓ３１１〜Ｓ３１４の処理は、図３と同様である。図８のタイミングチャートには、シーンチェンジの有無の判定結果の受信（Ｎ＋１）８２３と、圧縮率の変更８２６、８２７と、第１の圧縮部１０７の圧縮（Ｎ＋１）８３０と、第２の圧縮部１１１の圧縮（Ｎ＋１）８３１とのタイミングが示されている。
【００４６】
以上のように本実施形態によれば、映像送信部１００において、フレーム情報の差分をとることによって、映像受信部１０１でフレームを受信する前にそのフレームでシーンチェンジするか否かを判定する。そして、その判定結果を映像受信部１０１に送信するようにした。これにより、シーンチェンジが有るフレームを受信し、圧縮を開始する前に、圧縮後のフレームのサイズが最小になる量子化テーブルを選択し、第１の圧縮部１０７及び第２の圧縮部１１１の圧縮率を最大にすることができる。その結果、シーンチェンジするフレームでも規定の圧縮サイズを超えないため、メモリ帯域が不足することを回避でき、フレームの再圧縮が発生せず、低遅延表示を行うことができる。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１００  映像送信部
１０１  映像受信部
１０２  フレーム生成部
１０７  第１の圧縮部
１１１  第２の圧縮部
１１３  フレーム出力部
１１５  フレーム情報解析部
１１６  圧縮率制御部
【図１】
2015171041.tif 000003
【図２】
2015171041.tif 000004
【図３】
2015171041.tif 000005
【図４】
2015171041.tif 000006
【図５】
2015171041.tif 000007
【図６】
2015171041.tif 000008
【図７】
2015171041.tif 000009
【図８】
2015171041.tif 000010