(57)【要約】      （修正有）【課題】電子機器から表示装置に送信した画像データの復号中に復号化エラーが発生した場合に、エラー状態から復帰させる電子機器及び制御方法を提供する。【解決手段】複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成手段１０４と、スライス画像データを圧縮符号化する符号化手段１０５と、圧縮符号化されたスライス画像データを表示装置に送信する送信手段１０６と、スライス画像データに復号化エラーが発生した場合に、第１のスライス領域を示す情報を含む再送要求を表示装置から受信する受信手段１０７と、再送要求が受信された場合は、第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが表示装置に送信されるように制御する制御手段１０９とを有する。【選択図】図２
2016122964.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成手段と、
前記スライス画像データを圧縮符号化する符号化手段と、
前記圧縮符号化されたスライス画像データを表示装置に送信する送信手段と、
前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信手段と、
前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御手段と
を有することを特徴とする電子機器。
【請求項２】
前記差分に基づいて決定された差分領域と前記第１のスライス領域とに基づいて、前記第２のスライス領域を決定する領域決定手段を有することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記差分領域と前記第１のスライス領域とを含む領域が所定のサイズよりも大きくない場合、前記領域決定手段は、前記差分領域と前記第１のスライス領域とを含む領域を前記第２のスライス領域に決定し、
前記差分領域と前記第１のスライス領域とを含む領域が前記所定のサイズよりも大きい場合、前記領域決定手段は、前記第１のスライス領域を含む前記所定のサイズの領域を前記第２のスライス領域に決定することを特徴とする請求項２に記載の電子機器。
【請求項４】
前記再送要求に前記第１のスライス領域を示す情報が含まれていない場合、前記領域決定手段は、前記第２のフレームの全ての領域を前記第２のスライス領域に決定することを特徴とする請求項２または３のいずれか１項に記載の電子機器。
【請求項５】
前記再送要求に前記第１のスライス領域を示す情報が含まれていない場合、前記制御手段は、前記第２のフレームの複数の分割領域に対応する複数の画像データを所定の順序で送信するように制御することを特徴とする請求項４に記載の電子機器。
【請求項６】
コンピュータを、
複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成手段と、
前記スライス画像データを圧縮符号化する符号化手段と、
前記圧縮符号化されたスライス画像データを表示装置に送信する送信手段と、
前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信手段と、
前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御手段
として機能させるためのプログラム。
【請求項７】
複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成ステップと、
前記スライス画像データを圧縮符号化する符号化ステップと、
前記圧縮符号化されたスライス画像データを表示装置に送信する送信ステップと、
前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信ステップと、
前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御ステップと
を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に表示させる映像を処理する電子機器及び制御方法に関する。
【背景技術】
【０００２】
特許文献１には、映像データをＭＰＥＧ方式で圧縮符号化してから送信する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２６６５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
パーソナルコンピュータ等の電子機器から表示装置に映像データを伝送する場合、伝送路において映像データにデータ誤りが発生し、表示装置が受信した映像データの復号中に復号不能となり、復号化エラーが発生する場合がある。例えば、表示装置は、映像データの復号中に復号化エラーが発生した場合は、電子機器に対して１フレーム分の画像データの再送を要求する。この場合、表示装置は、電子機器から再送された１フレーム分の画像データから映像データの表示を再開することにより、復号化エラーが生じた映像データの表示を再開することができる。
【０００５】
しかしながら、この場合、表示装置は、電子機器から再送された１フレーム分の画像データを受信するまでの間、表示中の映像データを静止させ、電子機器から再送された１フレーム分の画像データを受信してから映像データの表示を再開することになる。そのため、表示装置が映像データの表示を再開するタイミングが遅延するという問題があった。映像データの表示を再開するタイミングが遅延した場合、ユーザは、表示画像の変化が遅いと感じてしまう。そのため、電子機器から表示装置に送信された映像データの復号中に復号化エラーが発生した場合は、できるだけ早くエラー状態から復帰できるようにすることが求められる。
【０００６】
そこで、本発明は、電子機器から表示装置に送信した画像データの復号中に復号化エラーが発生した場合に、エラー状態から復帰できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明に係る電子機器は、複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成手段と、前記スライス画像データを圧縮符号化する符号化手段と、前記圧縮符号化されたスライス画像データを表示装置に送信する送信手段と、前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信手段と、前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御手段とを有することを特徴とする。
本発明に係るプログラムは、コンピュータを、複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成手段と、前記スライス画像データを圧縮符号化する符号化手段と、前記圧縮符号化されたスライス画像データを表示装置に送信する送信手段と、前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信手段と、前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御手段として機能させるためのプログラムである。
本発明に係る制御方法は、複数のフレームの画像データの差分に基づいて決定された第１のスライス領域内の画像データであるスライス画像データを生成する生成ステップと、前記スライス画像データを圧縮符号化する符号化ステップと、前記圧縮符号化されたスライス画像データを表示装置に送信する送信ステップと、前記スライス画像データに復号化エラーが発生した場合に、前記第１のスライス領域を示す情報を含む再送要求を前記表示装置から受信する受信ステップと、前記再送要求が受信された場合は、前記第１のスライス領域に対応する第１のフレームの後の第２のフレームにおける前記第１のスライス領域に対応する領域を含む第２のスライス領域内の画像データが前記表示装置に送信されるように制御する制御ステップとを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、電子機器から表示装置に送信した画像データの復号中に復号化エラーが発生した場合に、エラー状態から復帰することができる。
【図面の簡単な説明】
【０００９】
【図１】（ａ）は、実施形態１における表示システム１の構成を説明するための図であり、（ｂ）は、復号化エラーが発生した場合の動作の概要を説明するための図である。
【図２】電子機器１００の構成を説明するための図である。
【図３】差分領域の例を説明するための図である。
【図４】表示装置２００の構成を説明するための図である。
【図５】１フレームの全ての領域内の画像データを含むスライス画像データＡの構成を説明するための図である。
【図６】スライス画像データＡと表示画面との関係を説明するための図である。
【図７】１フレームの一部の領域内の画像データを含むスライス画像データＢの構成を説明するための図である。
【図８】スライス画像データＢと表示画面との関係を説明するための図である。
【図９】復号化エラーが発生した場合に電子機器１００及び表示装置２００で行われる処理を説明するためのフローチャートである。
【図１０】表示装置２００における表示画像の遷移の例を説明するための図である。
【図１１】実施形態２における電子機器１００及び表示装置２００で行われる処理を説明するためのフローチャートである。
【図１２】出力解像度及び出力フレームレートと所定のサイズとの関係を説明するための表である。
【図１３】表示装置２００における表示画像の遷移の例を説明するための図である。
【図１４】実施形態３における電子機器３００の構成を説明するための図である。
【図１５】合成差分領域を特定する処理を説明するためのフローチャートである。
【図１６】実施形態３における復号化エラー復帰処理を説明するためのフローチャートである。
【図１７】実施形態４における表示装置４００の構成を説明するための図である。
【図１８】表示装置４００における復号化エラー復帰処理を説明するためのフローチャートである。
【図１９】表示装置４００における表示画像の遷移の例を説明するための図である。
【図２０】実施形態５における復号化エラー復帰処理を説明するためのフローチャートである。
【図２１】分割領域の例を説明するための図である。
【図２２】実施形態５における表示画像の遷移の例を説明するための図である。
【発明を実施するための形態】
【００１０】
［実施形態１］
図１（ａ）は、実施形態１における表示システム１の構成を説明するための図である。表示システム１は、電子機器１００及び表示装置２００を有する。電子機器１００と表示装置２００とは、例えば、ＤｉｓｐｌａｙＰｏｒｔ規格に対応したケーブル１５０を介して接続される。ケーブル１５０は、電子機器１００から表示装置２００に送信される映像データの解像度に応じた本数の信号線を含む。
【００１１】
電子機器１００は、例えば、パーソナルコンピュータ、携帯電話或いは撮像装置であり、表示装置２００に表示させる映像データを表示装置２００に送信する。電子機器１００は、例えば、解像度が４０９６×２１６０（４Ｋ２Ｋ）の映像データ、解像度が８１９２×４３２０（８Ｋ４Ｋ）の映像データを表示装置２００に送信することができる。
【００１２】
以下の実施形態１〜６では、電子機器１００が、ＤＳＣ（Display Stream Compression）方式を用いて、映像データを圧縮符号化して転送する場合を説明する。ＤＳＣ方式は、ＶＥＳＡ（Video Electronics Standards Association）で規定された方式である。以下の実施形態１〜６において、電子機器１００は、映像データの最初のフレームの全ての領域をスライス領域とし、当該スライス領域内の画像データであるスライス画像データを生成する。そして、電子機器１００は、当該スライス画像データを所定の圧縮符号化方式（可逆圧縮符号化方式又は非可逆圧縮符号化方式）に従って圧縮符号化し、圧縮符号化されたスライス画像データを表示装置２００にケーブル１５０を介して送信する。その後、電子機器１００は、新たなフレームの画像データと１つ前のフレームの画像データとの間で差分が生じた領域を含むスライス領域を当該新たなフレームから取り出し、当該スライス領域内の画像データであるスライス画像データを生成する。そして、電子機器１００は、スライス画像データを所定の圧縮符号化方式（可逆圧縮符号化方式又は非可逆圧縮符号化方式）で圧縮符号化し、圧縮符号化されたスライス画像データを表示装置２００にケーブル１５０を介して送信する。以下、スライス領域内の画像データをスライス画像データと呼び、スライス画像データの送信をスライス転送と呼ぶ。
【００１３】
１フレームの一部の領域内の画像データがスライス転送される場合、電子機器１００は、１フレームの全ての領域内の画像データが転送される場合に比べて、転送される画像データの量を低減することができる。したがって、１フレームの一部の領域内の画像データがスライス転送される場合、１フレームの全ての領域内の画像データが転送される場合よりも圧縮率を下げることができる。その結果、１フレームの一部の領域内の画像データについてのスライス転送が実行されることにより、表示装置２００に表示する画像の画質を向上させることができる。
【００１４】
ここで、電子機器１００から表示装置２００へのスライス画像データの伝送中にデータ誤りが生じると、表示装置２００では、復号不能による復号化エラーが発生し、圧縮符号化されたスライス画像データを正しく復号化することができないことがある。このような復号化エラーが発生した場合に、表示装置２００は、復号化エラーが発生したスライス画像データを再送する要求を電子機器１００に送信する。電子機器１００は、表示装置２００から再送要求を受信した場合は、復号化エラーが発生したスライス画像データに対応するスライス領域であるエラースライス領域を特定する。その後、電子機器１００は、新たなフレームの画像データから、少なくともエラースライス領域を含む領域内の画像データであるスライス画像データを生成する。電子機器１００は、生成されたスライス画像データを圧縮符号化して表示装置２００に送信する。
【００１５】
図１（ｂ）は、復号化エラーが発生した場合の動作の概要を説明するための図である。電子機器１００は、映像データから所定の間隔でフレームＦ１、Ｆ２、Ｆ３、Ｆ４を順次生成する。フレームＦ１、Ｆ２、Ｆ３、Ｆ４には、移動する物体ａの画像が含まれている。電子機器１００は、隣接する第１及び第２のフレームの画像データ間に差分が生じている領域を含む矩形領域を、スライス領域として第２のフレームから切り出すことにより、当該スライス領域内の画像データであるスライス画像データを生成する。
【００１６】
電子機器１００は、フレームＦ１において、物体ａの画像領域を含むスライス領域Ａ１のスライス画像データＶ１を表示装置２００に送信する。表示装置２００は、スライス画像データＶ１を受信した場合に表示されていたフレームにおけるスライス領域Ａ１にスライス画像データＶ１を入れた画像Ｅ１を表示する。
【００１７】
電子機器１００は、フレームＦ２において、フレームＦ１との差分領域をスライス領域Ａ２として取り出す。図１（ｂ）に示す例において、スライス領域Ａ２は、スライス領域Ａ１と物体ａが含まれている領域とを合わせた領域である。電子機器１００は、フレームＦ２からスライス領域Ａ２を取り出し、当該スライス領域Ａ２内の画像データであるスライス画像データＶ２を生成し、生成されたスライス画像データＶ２を表示装置２００に送信する。
【００１８】
スライス画像データＶ２の伝送中にデータ誤りが生じて、表示装置２００における復号化中に復号化エラーが生じた場合、表示装置２００は、スライス画像データＶ２に基づく画像を表示することができず、例えば、画像Ｅ１と同じ状態の画像Ｅ２を表示する。そして、表示装置２００は、復号化エラーが発生したスライス画像データＶ２の再送要求を電子機器１００に送信する。
【００１９】
図１（ｂ）に示す例において、電子機器１００は、フレームＦ３を送信した後に再送要求を受信している。そこで、電子機器１００は、再送要求に対する処理の画像データであるスライス画像データＶ３を送信する。表示装置２００は、スライス画像データＶ３を受信した場合は、画像Ｅ２におけるスライス領域Ａ３をスライス画像データＶ３に入れ替えた画像Ｅ３を表示する。スライス領域Ａ３は、スライス領域Ａ１の一部の領域を含んでいないので、図１（ｂ）に示す例における画像Ｅ３には、スライス領域Ａ１の一部が更新されないまま残っている。
【００２０】
続いて、電子機器１００は、再送要求を受信した後のフレームＦ４において、エラースライス領域に対応するスライス領域Ａ２と、フレームＦ３とフレームＦ４との差分領域に対応するスライス領域Ａ４とを含む合成スライス領域を生成する。電子機器１００は、フレームＦ４から合成スライス領域を取り出し、当該合成スライス領域内の画像データであるスライス画像データＶ４を生成し、生成されたスライス画像データＶ４を表示装置２００に送信する。
【００２１】
表示装置２００は、スライス画像データＶ４を受信した場合は、画像Ｅ３における合成スライス領域をスライス画像データＶ４に入れ替えた画像Ｅ４を表示する。画像Ｅ４においては、復号化エラーが生じていたスライス画像データＶ２に含まれていたスライス領域Ａ２に、新たなフレームＦ４から取り出されたスライス画像データＶ４が反映される。合成スライス領域には、スライス領域Ａ１も含まれているので、画像Ｅ３に残っていたスライス領域Ａ１の一部の画像も更新されている。
【００２２】
このように、表示システム１は、電子機器１００から表示装置２００に転送するデータの量を小さくすることにより、転送するスライス画像データの圧縮率を高くする必要がないので、高画質の画像を表示させることができる。そして、表示システム１は、伝送したスライス画像データにデータ誤りが生じて表示装置２００における復号化中に復号化エラーが発生した場合であっても、短時間で復号化エラーから復帰することができる。
以下、電子機器１００及び表示装置２００の構成及び動作の詳細を説明する。
【００２３】
図２は、電子機器１００の構成を説明するための図である。電子機器１００は、それぞれ内部バスに接続された記憶装置１０１と、差分抽出部１０２と、領域決定部１０３と、スライス画像データ生成部１０４と、符号化部１０５と、送信部１０６と、受信部１０７と、操作部１０８と、制御部１０９とを有する。
【００２４】
記憶装置１０１は、電子機器１００が表示装置２００に送信する映像データを記憶する。記憶装置１０１は、例えば、ハードディスク装置、半導体メモリ等である。記憶装置１０１は、電子機器１００と着脱可能な形態の記憶媒体により構成されてもよい。なお、電子機器１００は、記憶装置１０１を内蔵することなく、ネットワークに接続された記憶装置を記憶装置１０１としてもよい。
【００２５】
差分抽出部１０２は、記憶装置１０１からフレーム単位で画像データを読み出し、隣接する複数のフレームの画像データの差分を抽出し、差分が生じている画素を全て含む矩形領域である差分領域を示す差分情報を生成する。差分抽出部１０２は、隣接する複数のフレームの画像データを比較するために、２つ以上のフレームの画像データを記憶できるバッファを有する。
【００２６】
図３は、差分領域の例を説明するための図である。１フレーム分の画像データの水平方向をｘ軸、垂直方向をｙ軸、左上の位置を原点（０、０）とした場合に、差分情報は、差分領域の１つの頂点の座標（ｘ１、ｙ１）、差分領域のｘ軸方向の長さｗ、ｙ軸方向の長さｈにより構成される。
【００２７】
差分抽出部１０２は、生成した差分情報を領域決定部１０３に出力する。また、差分抽出部１０２は、記憶装置１０１から読み出したフレームの画像データをスライス画像データ生成部１０４に順次出力する。なお、差分抽出部１０２は、記憶装置１０１から読み出したフレームの解像度と、表示装置２００が表示可能な画像の解像度とが異なる場合、記憶装置１０１から読み出したフレームの解像度を変換する。このようにして、差分抽出部１０２は、表示装置２００が表示可能な画像の解像度と等しい解像度に対応する映像データに変換し、変換後の映像データをバッファに格納する。
【００２８】
領域決定部１０３は、差分抽出部１０２から入力された差分情報と、受信部１０７を介して表示装置２００から受信した再送要求に含まれるエラースライス領域を示す情報とに基づいて、新たなフレームから切り出す合成スライス領域を決定する。領域決定部１０３は、合成スライス領域を示す情報をスライス画像データ生成部１０４に出力する。なお、電子機器１００が表示装置２００から再送要求を受信していない場合、合成スライス領域は、差分領域と等しい。映像データの最初のフレームを表示装置２００に送信する場合、領域決定部１０３は、映像データの最初のフレームの全て領域を合成スライス領域に決定する。
【００２９】
スライス画像データ生成部１０４は、領域決定部１０３から入力された合成スライス領域を示す情報に基づいて、差分抽出部１０２から入力された新たなフレームの画像データから、合成スライス領域内の画像データであるスライス画像データを生成する。表示装置２００において復号化エラーが発生していない場合、合成スライス領域は差分領域と等しいので、スライス画像データ生成部１０４は、複数のフレームの画像データの差分に基づいて決定されたスライス領域内の画像データであるスライス画像データを生成する。映像データの最初のフレームを表示装置２００に送信する場合、スライス画像データ生成部１０４は、映像データの最初のフレームの全ての領域内の画像データをスライス画像データとする。スライス画像データ生成部１０４は、生成したスライス画像データを符号化部１０５に出力する。
【００３０】
符号化部１０５は、スライス画像データ生成部１０４から入力されたスライス画像データを符号化する。例えば、符号化部１０５は、所定の圧縮符号化方式（可逆圧縮符号化方式又は非可逆圧縮符号化方式）に従ってスライス画像データを符号化することにより、スライス画像データを圧縮符号化する。符号化部１０５は、圧縮符号化後のスライス画像データを送信部１０６に出力する。
【００３１】
送信部１０６は、符号化部１０５から入力されたスライス画像データを、ケーブル１５０を介して表示装置２００に送信する。例えば、送信部１０６は、ケーブル１５０内のメインデータチャネル線を介して、スライス画像データを送信する。送信部１０６は、スライス画像データとともに、スライス領域を特定するための座標データを含む特定情報を送信する。
【００３２】
送信部１０６は、複数のフレームの画像データの差分に基づいて決定されたスライス領域内の画像データであるスライス画像データを送信する。送信部１０６は、受信部１０７が表示装置２００から再送要求を受信した場合は、復号化エラーが発生したスライス画像データに対応するフレームよりも後のフレームにおけるエラースライス領域を含むスライス画像データを送信する。
【００３３】
受信部１０７は、ケーブル１５０内のＡＵＸチャネル線（補助チャネル線）を介して、表示装置２００が送信する再送要求を受信する。再送要求には、復号化エラーが発生したスライス画像データにおけるエラースライス領域を特定するための特定情報が含まれている。なお、エラースライス領域を特定するための情報とは、例えば、送信部１０６がスライス画像データとともに表示装置２００に送信した、スライス画像データの領域を示す情報である。
【００３４】
操作部１０８は、例えばキーボード及びマウスであり、ユーザからの指示を受け付ける。操作部１０８は、例えば、映像データの再生指示、スライス転送の実行の可否に関する指示、出力設定に関する指示を受け付ける。出力設定に関する指示は、例えば、表示装置２００に表示する画像の解像度及びフレームレートの設定に関する指示である。
【００３５】
制御部１０９は、例えばＣＰＵ（Central Processing Unit）であり、記憶媒体（ハードディスク装置、半導体メモリ等）に格納されたプログラムを実行することにより、電子機器１００の各構成要素を制御する。制御部１０９は、操作部１０８を介して入力されたユーザの指示に応じて、電子機器１００の各部を制御する。
【００３６】
例えば、制御部１０９は、操作部１０８を介して映像データの再生指示を受けると、差分抽出部１０２に対して、再生指示により指定された映像データの読み出しの開始を指示する。また、制御部１０９は、スライス転送の実行の可否に関する指示を受けると、差分抽出部１０２に対して、差分抽出を行うか、差分抽出を行わないスルー処理を行うかを指示する。また、制御部１０９は、スライス画像データ生成部１０４に対して、スライス領域の切り出しを行うか、切り出しを行わないでスルー処理を行うかを指示する。さらに、制御部１０９は、符号化部１０５に対して、符号化処理を行うか、符号化処理を行わないでスルー処理を行うかを指示する。
【００３７】
また、制御部１０９は、表示装置２００から取得したデバイス情報と、操作部１０８を介してユーザから受けた出力設定に関する指示とに基づいて、表示装置２００に送信すべき映像データの解像度及びフレームレートを決定する。表示装置２００のデバイス情報は、例えば、表示装置２００が有するＥＤＩＤ（Extended Display Identification Data）から取得することができる。表示装置２００が有するＥＤＩＤは、例えば、表示装置２００が対応している解像度に関する情報を含む。決定された解像度及びフレームレートは、スライス画像データ生成部１０４及び送信部１０６に通知される。
【００３８】
続いて、表示装置２００の構成について説明する。
図４は、表示装置２００の構成を説明するための図である。表示装置２００は、それぞれ内部バスにより接続された受信部２０１と、復号化部２０２と、画像合成部２０３と、表示部２０４と、送信部２０５と、操作部２０６と、制御部２０７とを有する。
【００３９】
受信部２０１は、電子機器１００が送信したスライス画像データを、ケーブル１５０内のメインデータチャネル線を介して受信する。受信部２０１は、受信したスライス画像データを、フレーム単位で復号化部２０２に出力する。
【００４０】
復号化部２０２は、受信部２０１から入力されたスライス画像データを復号化する。復号化部２０２は、復号化した後のスライス画像データを画像合成部２０３に出力する。復号化部２０２は、復号化中に復号不能による復号化エラーが発生し、復号化処理を継続することができなくなった場合、復号化エラーが発生したスライス画像データを破棄するとともに、復号化エラーの発生を示す情報を送信部２０５に通知する。
【００４１】
復号化部２０２は、復号化したスライス画像データに付随している、スライス領域を特定するための特定情報を、画像合成部２０３に出力する。また、復号化部２０２は、復号化中に復号化エラーが発生した場合、復号化エラーが発生したスライス画像データを含むフレームに付随している特定情報を、送信部２０５に出力する。
【００４２】
画像合成部２０３は、復号化部２０２から入力されたスライス画像データと、復号化部２０２から当該スライス画像データの入力を受けた際に表示していた表示画像データとの合成を行う。画像合成部２０３は、スライス画像データと表示画像データとを合成するためのバッファを有する。
【００４３】
例えば、画像合成部２０３は、復号化部２０２から入力された特定情報に基づいて、表示画像の領域におけるスライス領域を特定する。画像合成部２０３は、表示画像におけるスライス領域のみを更新することで合成を行う。なお、画像合成部２０３は、合成後の画像データに対して、輝度、コントラスト、階調、及び色度の調整による画像処理を行う。画像合成部２０３は、合成後の画像データ又は画像処理後の画像データに基づく画像を表示部２０４に出力する。
【００４４】
表示部２０４は、フレームバッファ及び表示パネルを有し、画像合成部２０３から入力された画像データをフレームバッファに格納する。そして、所定のリフレッシュレートで画像データを読み出して表示パネルに表示する。表示パネルは、例えば、液晶パネル、有機ＥＬパネル等を有する。
【００４５】
送信部２０５は、復号化部２０２における復号化処理において復号化エラーが発生した場合に、ケーブル１５０内のＡＵＸチャネル線を介して、電子機器１００に、復号化エラーを起こしたスライス画像データの再送要求を出力する。送信部２０５は、復号化部２０２から入力された特定情報を含む再送要求を出力する。
【００４６】
操作部２０６は、ユーザからの操作を受けるスイッチである。
制御部２０７は、操作部２０６が受けたユーザ指示に応じて、表示装置２００の各構成要素を制御する。ユーザ指示は、例えば画像処理に関する指示である。制御部２０７は、画像処理に関する指示を受けると、画像合成部２０３に対して、合成した画像に対する画像処理を指示する。
【００４７】
図５から図８を参照して、電子機器１００から表示装置２００に送信されるスライス画像データの構成について説明する。図５は、１フレームの全ての領域内の画像データを含むスライス画像データＡの構成を説明するための図である。図６は、スライス画像データＡと表示画面との関係を説明するための図である。図７は、１フレームの一部の領域内の画像データを含むスライス画像データＢの構成を説明するための図である。図８は、スライス画像データＢと表示画面との関係を説明するための図である。
【００４８】
図５〜図８におけるＶＦＰは、垂直フレーム期間である。ＶＢＰは、垂直ブランキング期間である。ＡＬＰは、アクティブライン期間である。ＨＬＰは、水平ライン期間である。ＨＢＰは、水平ブランキング期間である。ＡＰＰは、アクティブピクセル期間である。
【００４９】
図５に示すように、スライス画像データＡは、ブランキング期間の開始を示すＢＳ信号５６０、ブランキング期間の終了を示すＢＥ信号５７０、画像データ５８０及び特定情報５９０から構成されている。特定情報５９０は、画像データ５８０の解像度、開始ライン番号、終了ライン番号、開始ピクセル番号、終了ピクセル番号、ＤＳＣ符号化の有無、スライス転送の有無を示す情報を少なくとも含んでいる。
【００５０】
画像データ５８０が４Ｋ２Ｋの映像データに対応している場合、解像度は４０９６×２１６０である。また、図６に示すように、画像データ５８０が表示装置２００の表示画面の全領域に対応する場合、特定情報５９０に含まれる画像データ５８０の開始ライン番号は「０」、画像データ５８０の終了ライン番号は「２１５９」である。同様に、開始ピクセル番号は「０」、終了ピクセル番号は「４０９５」、ＤＳＣ符号化は「無」、スライス転送は「無」である。
【００５１】
図７に示すスライス画像データＢも、図５に示したスライス画像データＡと同様に、ブランキング期間の開始を示すＢＳ信号５６１、ブランキング期間の終了を示すＢＥ信号５７１、画像データ５８１及び特定情報５９１から構成されている。特定情報５９１は、画像データ５８１の解像度、開始ライン番号、終了ライン番号、開始ピクセル番号、終了ピクセル番号、ＤＳＣ符号化の有無、スライス転送の有無を示す情報を少なくとも含んでいる。特定情報５９１は、スライス画像データＢに対応するスライス領域を特定するための特定情報として用いられる。
【００５２】
図７に示したスライス画像データＢにおける画像データ５８１の位置は、図５に示したスライス画像データＡにおける画像データ５８０の位置と異なっている。例えば、画像データ５８０が、ＢＥ信号５７０とＢＳ信号５６０との間の期間を占めていたのに対して、画像データ５８１は、ＢＥ信号５７１とＢＳ信号５６１との間の期間の一部の期間にのみ含まれている。
【００５３】
図８には、スライス画像データＡにおける画像データ５８０の領域（破線で囲まれた領域）と、スライス画像データＢにおける画像データ５８１の領域とを示している。画像データ５８１が、表示装置２００の表示画面の一部の領域に対応していることがわかる。
【００５４】
画像データ５８１が４Ｋ２Ｋの映像データに対応している場合、解像度は４０９６×２１６０である。また、画像データ５８１が、図８に示すように表示画面の一部の領域に対応する場合、例えば、特定情報５９１に含まれる画像データ５８１の開始ライン番号は「４００」、 画像データ５８１の終了ライン番号は「１４７９」である。同様に、開始ピクセル番号は「２０４８」、終了ピクセル番号は「３９６７」、ＤＳＣ符号化は「有」、スライス転送は「有」である。
【００５５】
続いて、実施形態１における復号化エラー復帰処理について説明する。
図９は、スライス画像データの復号化中に復号化エラーが発生した場合に電子機器１００及び表示装置２００で行われる処理を説明するためのフローチャートである。
【００５６】
表示装置２００の復号化部２０２は、受信部２０１から入力されたスライス画像データの復号化中に復号不能による復号化エラーが発生したことを検知した場合は、復号化中のスライス画像データを破棄する（Ｓ１００）。その後、復号化部２０２は、特定情報５９１に含まれる情報に基づいて、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含むかどうかを判定する（Ｓ１０１）。ここで、復号化部２０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含む場合（Ｓ１０１でＹｅｓ）、送信部２０５を介して、１フレーム分の画像データの再送を要求する。復号化部２０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含まない場合（Ｓ１０１でＮｏ）、特定情報５９１と復号化エラーの発生を検知したことを示す情報とを送信部２０５に通知する。
【００５７】
送信部２０５は、特定情報５９１と復号化エラーの発生を検知したことを示す情報とを受け取った場合、電子機器１００に対して、復号化エラーが発生したスライス画像データのスライス領域を特定するための特定情報を含んだ再送要求を送信する（Ｓ１０２）。送信部２０５は、例えば、特定情報として特定情報５９１を含む再送要求を送信する。
【００５８】
電子機器１００の受信部１０７は、送信部２０５から再送要求を受信した場合は、特定情報により特定されたスライス領域を示すエラースライス領域情報を、領域決定部１０３に入力する（Ｓ１０３）。その後、領域決定部１０３は、差分抽出部１０２から、次に転送するフレームの差分情報を取得する（Ｓ１０４）。領域決定部１０３は、Ｓ１０３において取得したエラースライス領域情報が示すエラースライス領域と、Ｓ１０４で取得した差分情報が示す差分領域との両方の領域を包含する領域を、新たなフレームから切り出す合成スライス領域に決定する（Ｓ１０５）。
【００５９】
スライス画像データ生成部１０４は、領域決定部１０３から入力された合成スライス領域を示す情報に基づいて、差分抽出部１０２から入力されたフレームの画像データから、合成スライス領域内の画像データであるスライス画像データを生成する。スライス画像データ生成部１０４が生成したスライス画像データは、符号化部１０５で符号化され、送信部１０６を介して表示装置２００へと送信される（Ｓ１０６）。領域決定部１０３は、Ｓ１０３において、再送要求に伴うエラースライス領域情報を取得しない場合、Ｓ１０４で取得した差分情報に基づく差分領域を合成スライス領域として、スライス画像データを生成する。なお、隣接するフレーム間に差分がない場合、合成スライス領域には、エラースライス領域のみが含まれる。
【００６０】
続いて、表示装置２００の受信部２０１は、送信部１０６が送信したスライス画像データを受信する（Ｓ１０７）。表示装置２００は、受信したスライス画像データを復号化して表示部２０４に表示することで、エラースライス領域の画像を新たなフレームにおける画像に更新することができる。
【００６１】
図１０は、表示装置２００における表示画像の遷移の例を説明するための図である。図１０（ａ）は、復号化エラーが発生していない場合の表示画像の遷移の例を示しており、図１０（ｂ）は、復号化エラーが発生した場合の表示画像の遷移の例を示している。
【００６２】
図１０（ａ）は、表示画像がＴ１００からＴ１０３まで遷移する間に、自動車の画像が右向きに移動している様子を示している。これに対して、図１０（ｂ）においては、Ｔ１１１で表示させるスライス画像データＶ１０１の復号化中に復号化エラーが発生したことにより、表示画像Ｔ１１１には、表示画像Ｔ１１０と同じスライス画像データＶ１００が表示されている。
【００６３】
続いて、表示画像Ｔ１１２においては、表示装置２００が新たに受信したスライス画像データＶ１０２が表示されている。スライス画像データＶ１０２は、図１０（ａ）における表示画像Ｔ１１１と表示画像Ｔ１１２との間で差分がない領域を含まない。したがって、表示画像Ｔ１１２の左端には、スライス画像データＶ１０１の一部が消えないで残留したまま表示されている。
【００６４】
その後、表示装置２００が、エラースライス領域と差分領域とが合成された領域を含むスライス画像データＶ１０４を受信した場合は、表示画像Ｔ１１３に示すように、表示画像Ｔ１１２に残留していたスライス画像データＶ１０１の一部が上書きされる。その結果、図１０（ｂ）における表示画像Ｔ１１３には、図１０（ａ）における表示画像Ｔ１０３と同じ画像が表示される。
【００６５】
以上説明したように、実施形態１における電子機器１００は、隣接するフレーム間の差分に基づいて決定されたスライス領域に対応するスライス画像データを圧縮符号化して、表示装置２００にスライス転送する。そして、圧縮符号化されたスライス画像データの復号化中に復号化エラーが発生しても、電子機器１００が、復号化エラーが発生したスライス画像データに対応するスライス領域を含む新たなスライス画像データを転送することができる。これにより、復号化エラー発生時の表示遅延を短時間で解消して復帰することができる。このように、実施形態１における表示システム１は、高画質の画像を表示させるとともに、復号化エラー発生時の表示遅延を抑制することができる。
【００６６】
［実施形態２］
実施形態１においては、表示装置２００が受信したスライス画像データの復号化中に復号化エラーが発生した場合、電子機器１００は、合成スライス領域に対応するスライス画像データを表示装置２００に対して送信した。ここで、合成スライス領域は、新たなフレームと直前のフレームとの間の差分領域と、エラースライス領域とを含む。しかしながら、合成スライス領域が大き過ぎると、圧縮率を高くする必要があるので、画質の劣化が許容範囲を超えてしまう場合がある。そこで、実施形態２においては、電子機器１００が、合成スライス領域のサイズに基づいて異なる処理を行う点で実施形態１と異なる。ここで、実施形態２における「スライス領域のサイズ」として、例えば「スライス領域に含まれる画素数」を用いることができる。
【００６７】
例えば、合成スライス領域のサイズが、画質の劣化が許容される所定のサイズ以下である場合、領域決定部１０３は、合成スライス領域を、新たなフレームから切り出す領域に決定する。スライス画像データ生成部１０４は、合成スライス領域内の画像データであるスライス画像データを生成する。他方で、合成スライス領域が、画質の劣化が許容される所定のサイズよりも大きい場合、領域決定部１０３は、合成スライス領域のうち、エラースライス領域の少なくとも一部を含む所定のサイズの領域を、新たなフレームから切り出す領域に決定する。スライス画像データ生成部１０４は、レームの画像データから、所定のサイズの領域内の画像データであるスライス画像データを生成する。
【００６８】
領域決定部１０３は、所定のサイズの領域を、新たなフレームから切り出す領域に決定した場合、合成スライス領域のうち、所定のサイズの領域に含まれなかった領域（以下、残スライス領域という）を求める。そして、領域決定部１０３は、残スライス領域に含まれる差分領域を包含する矩形領域を、新たな合成スライス領域に決定する。領域決定部１０３は、新たな合成スライス領域が所定のサイズ以下になるまでこの処理を繰り返すことにより、復号化エラー復帰時の処理において再送するエラースライス領域を含むスライス画像データの画質の劣化を抑制することができる。
【００６９】
図１１は、実施形態２における電子機器１００及び表示装置２００で行われる処理を説明するためのフローチャートである。図１１におけるＳ２００〜Ｓ２０４は、図９におけるＳ１００〜Ｓ１０４と同様の処理である。そこで、ここではＳ２０５以降の処理を説明する。
【００７０】
Ｓ２０５において、領域決定部１０３は、Ｓ２０３で取得したエラースライス領域と、Ｓ２０４で取得した差分領域とを包含する領域を、新たな合成スライス領域として仮に決定する。また、後述のＳ２１１の処理が実行されている場合、領域決定部１０３は、Ｓ２１１で求めた残スライス領域と、Ｓ２０４で取得した差分領域とを包含する領域を、新たな合成スライス領域として仮に決定する（Ｓ２０５）。
【００７１】
続いて、領域決定部１０３は、Ｓ２０５で求めた仮の合成スライス領域と、所定のサイズとの比較を行う（Ｓ２０６）。所定のサイズは、出力解像度及び出力フレームレート毎に予め設定されており、圧縮符号化による画質劣化が許容できるサイズである。
【００７２】
図１２は、出力解像度及び出力フレームレートと所定のサイズとの関係を説明するための表である。解像度が８Ｋ４Ｋであり、フレームレートが６０Ｈｚである場合、所定のサイズがＤ１である。解像度が８Ｋ４Ｋであり、フレームレートが５０Ｈｚである場合、所定のサイズがＤ２である。解像度が４Ｋ２Ｋであり、フレームレートが６０Ｈｚである場合、所定のサイズがＤ３である。
【００７３】
所定のサイズは、出力解像度及び出力フレームレートに加えて、信号フォーマット（ＲＧＢもしくはＹＵＶ）やサンプリングレート（４：４：４もしくは４：２：２）等の組合せによって、さらに細分化してもよい。また、所定のサイズは、操作部１０８からのユーザ指示を受けて、変更可能にしてもよい。
【００７４】
図１１に戻り、Ｓ２０６において、合成スライス領域が所定のサイズ以下の場合（Ｓ２０６でＹｅｓ）、領域決定部１０３は、Ｓ２０５で仮決定した合成スライス領域を、新たなフレームから切り出す領域に決定する。そして、領域決定部１０３は、当該合成スライス領域を特定するための合成領域情報をスライス画像データ生成部１０４に通知する（Ｓ２０７）。スライス画像データ生成部１０４は、領域決定部１０３から入力された合成領域情報に基づいて、差分抽出部１０２から入力されたフレームの画像データから、合成スライス領域内の画像データであるスライス画像データを生成する。生成されたスライス画像データは、符号化部１０５で符号化され、送信部１０６を介して表示装置２００へと送信される（Ｓ２０８）。
【００７５】
Ｓ２０６において、仮のスライス領域が所定のサイズよりも大きい場合（Ｓ２０６でＮｏ）、領域決定部１０３は、仮の合成スライス領域のうち、エラースライス領域を含む所定のサイズの領域を新たな合成スライス領域に決定する。領域決定部１０３は、決定した領域を特定するための情報をスライス画像データ生成部１０４に通知する（Ｓ２０９）。
【００７６】
スライス画像データ生成部１０４は、領域決定部１０３から入力された合成スライス領域情報に基づいて、差分抽出部１０２から入力されたフレームの画像データから、所定のサイズの領域内の画像データであるスライス画像データを生成する。生成されたスライス画像データは、符号化部１０５で符号化され、送信部１０６を介して表示装置２００に送信される（Ｓ２１０）。
【００７７】
その後、領域決定部１０３は、仮のスライス領域から所定のサイズを差し引いた残スライス領域を求める（Ｓ２１１）。領域決定部１０３が残スライス領域を求めると、Ｓ２０４に戻って、Ｓ２０４以降の処理を継続する。
【００７８】
図１３は、表示装置２００における表示画像の遷移の例を説明するための図である。図１３（ａ）は、合成スライス領域のサイズが所定のサイズ以下である場合の表示画像の遷移を示している。図１３（ｂ）は、合成スライス領域のサイズが所定のサイズより大きい場合の表示画像の遷移を示している。
【００７９】
図１３（ａ）及び図１３（ｂ）における表示画像Ｔ２００には、復号化後のスライス画像データＶ２００が表示されている。その後、表示画像Ｔ２０１に表示されるべきスライス画像データＶ２０１を復号化中に復号化エラーが発生したとする。この場合、スライス画像データＶ２０１は破棄され、表示画像Ｔ２０１にはスライス画像データＶ２０１が表示されず、表示画像Ｔ２００と同じくスライス画像データＶ２００が表示される。
【００８０】
スライス画像データＶ２０１の復号化中に復号化エラーが発生した後の処理は、後続のフレームにおける差分領域の大きさによって異なってくる。図１３（ａ）に示すように、画像の動きが小さく、仮の合成スライス領域が所定のサイズより小さい場合、実施形態１と同様に、電子機器１００は、合成スライス領域に対応するスライス画像データＶ２０２を表示装置２００に送信する。表示装置２００は、表示画像Ｔ２０２に示すように、スライス画像データＶ２０２を表示することにより、スライス画像データＶ２００の残像が消える。
【００８１】
他方、図１３（ｂ）においては、表示画像Ｔ２１２に示すように、図１３（ａ）に比べて画像の動きが大きく、仮の合成スライス領域に対応するスライス画像データＶ２１２のサイズが、所定のサイズよりも大きい。このような場合、電子機器１００は、表示画像Ｔ２１３に示すように、エラースライス領域を含む所定のサイズの領域を合成スライス領域として、所定のサイズの合成スライス領域を含むスライス画像データＶ２１３を表示装置２００に送信する。
【００８２】
その後、電子機器１００は、スライス画像データＶ２１２からスライス画像データＶ２１３を取り除いた後の逆Ｌ字型の残スライス領域に含まれる、直前のフレームとの間で差分が生じていた差分領域を包含する矩形領域を特定する。電子機器１００は、特定した矩形領域を、最新画像に復帰するために必要な合成スライス領域に決定し、当該合成スライス領域のサイズを所定のサイズと比較する。合成スライス領域が所定のサイズ以下である場合、電子機器１００は、当該合成スライス領域に基づいてスライス画像データＶ２１４を生成する。表示装置２００は、表示画像Ｔ２１３及び表示画像Ｔ２１４に示すように、スライス画像データＶ２１３を表示した後にスライス画像データＶ２１４を表示することにより、画像の表示遅延が解消される。
【００８３】
以上説明したように、実施形態２における表示システム１は、復号化エラー復帰のためのスライス画像データを電子機器１００から表示装置２００に送信する際に、スライス画像データのサイズを所定のサイズ以下に制限する。したがって、表示システム１は、動きが速い画像を表示する場合であっても、圧縮符号化に伴う画質の劣化を低減することができる。
【００８４】
［実施形態３］
図１４は、実施形態３における電子機器３００の構成を説明するための図である。実施形態１における電子機器１００は、スライス画像データの復号化中に復号化エラーが発生した場合に、エラースライス領域を含むスライス画像データを送信した。これに対して、電子機器３００は、復号化エラー発生後に再生する予定の所定数のフレームにおいてエラースライス領域が全て更新される場合に、復号化エラー復帰のための再送要求に対する処理を実施しないという点で、電子機器１００と異なる。以下、実施形態１と相違する点について説明する。
【００８５】
電子機器３００は、電子機器１００の構成に加え、新たに映像データを一時的に記憶する第１のメモリ３１０、及び差分情報を一時的に記憶する第２のメモリ３１１を有する。記憶装置３０１、符号化部３０５、送信部３０６、受信部３０７、操作部３０８及び制御部３０９は、それぞれ記憶装置１０１、符号化部１０５、送信部１０６、受信部１０７、操作部１０８及び制御部１０９と同等の機能を有する。
【００８６】
差分抽出部３０２は、差分抽出部１０２と同様に、記憶装置３０１からフレーム単位で映像データを読み出し、隣接するフレーム間の差分を抽出する。差分抽出部３０２は、記憶装置３０１から読み出したフレームを、第１のメモリ３１０に順次出力する。また、差分抽出部３０２は、出力する予定のフレームの直後の所定数のフレームを先読みして、所定数のフレームに対応する差分情報を予め抽出して、第２のメモリ３１１に出力する。
【００８７】
第１のメモリ３１０は、差分抽出部３０２が出力した所定数以上のフレームの画像データを記憶する。第１のメモリ３１０は、記憶装置３０１と同様に、ハードディスク装置、半導体メモリ等である。
第２のメモリ３１１は、差分抽出部３０２が出力した所定数のフレームに対応する差分情報を記憶する。第２のメモリ３１１は、記憶装置３０１と同様に、ハードディスク装置、半導体メモリ等である。
【００８８】
領域決定部３０３は、第２のメモリ３１１に記憶されている所定数のフレームに対応する差分情報と、受信部３０７から取得した再送要求内の特定情報に含まれるエラースライス領域を示す情報とに基づいて、最終的なスライス領域を決定する。例えば、領域決定部３０３は、受信部３０７が再送要求を受信した後に送信部３０６から送信される予定の所定数のフレームに対応する複数のスライス領域を合わせた領域に、エラースライス領域の全てが含まれるか否かを判定する。領域決定部３０３は、決定したスライス領域を特定するためのスライス領域情報をスライス画像データ生成部３０４に通知する。
【００８９】
領域決定部３０３が領域決定部１０３と異なる点は、エラースライス領域の全てが、複数のフレームの画像データに対応する複数の差分領域を合成した領域（以下、合成差分領域という）の中に包含されるかどうかを判定する点である。ここで、合成差分領域は、複数の差分領域のいずれかに含まれている全ての画素を含む領域である。合成差分領域は、例えば、複数の差分領域のいずれかに含まれている全ての画素を含む矩形の領域である。
【００９０】
領域決定部３０３は、エラースライス領域の少なくとも一部が、合成差分領域に含まれない場合、エラースライス領域と差分領域とを含む合成スライス領域を、フレームから切り出すスライス領域に決定する。領域決定部３０３は、エラースライス領域の全てが合成差分領域に含まれる場合、合成スライス領域を、フレームから切り出すスライス領域に決定しない。なお、映像データの最初のフレームを表示装置２００に送信する場合、領域決定部３０３は、映像データの最初のフレームの全て領域をスライス領域に決定する。
【００９１】
スライス画像データ生成部３０４は、領域決定部３０３から入力されたスライス領域情報に基づいて、第１のメモリ３１０から入力されたフレームの画像データから、スライス領域内の画像データを生成する。
【００９２】
図１５は、出力する予定のフレームの直後の所定数のフレームに基づいて合成差分領域を特定する処理を説明するためのフローチャートである。差分抽出部３０２は、送信部３０６から出力する予定のフレームの直後の所定数のフレームを、事前に記憶装置３０１から読み出して、各々隣接するフレーム間の差分に基づいて決定された差分領域を抽出する（Ｓ３００）。そして、差分抽出部３０２は、抽出した差分領域を特定するための差分情報を第２のメモリ３１１に出力する。
【００９３】
また、差分抽出部３０２は、差分を抽出したフレームを、第１のメモリ３１０に出力する（Ｓ３０１）。その後、差分抽出部３０２は、送信部３０６からフレームが出力されるまで待機し（Ｓ３０２）、Ｓ３０２においてフレームが出力された後、再びＳ３００に戻って処理を継続する。差分抽出部３０２が、上記のＳ３００からＳ３０２までの動作を実行することにより、スライス画像データを出力したフレームの直後の所定数のフレーム間の差分情報が、第２のメモリ３１１に記憶される。
【００９４】
図１６は、実施形態３における復号化エラー復帰処理を説明するためのフローチャートである。図１６におけるＳ４００〜Ｓ４０３は、図９におけるＳ１００〜Ｓ１０３と同様の処理である。また、Ｓ４０７及びＳ４０８は、図９におけるＳ１０５及びＳ１０６と同様の処理である。ここではＳ４０４以降の処理を説明する。
【００９５】
領域決定部３０３は、第２のメモリ３１１から、次に転送するフレームから所定数のフレームに対応する差分情報を取得する（Ｓ４０４）。その後、領域決定部３０３は、Ｓ４０４で取得した所定数のフレーム間の差分領域を合成した領域が、Ｓ４０３で取得した再送要求に含まれている特定情報が示すエラースライス領域を全て包含しているかどうかを比較する（Ｓ４０５）。領域決定部３０３は、比較した結果に基づいて、エラースライス領域が、後続の所定数のフレームにより更新されるか否かを判定する（Ｓ４０６）。
【００９６】
ここで、エラースライス領域の全てが、所定数の差分領域を合成した領域に包含されていない場合、領域決定部３０３は、図９のＳ１０５と同様の処理を行う（Ｓ４０７）。他方、エラースライス領域の全てが、所定数の差分領域を合成した領域に包含されている場合、領域決定部３０３は、次に転送するフレームの差分領域を、そのまま合成スライス領域として決定する（Ｓ４０９）。
【００９７】
以上説明したように、実施形態３における表示システム１は、スライス画像データの復号化中に復号化エラーが発生した場合、復号化エラー発生後に再生する予定の所定数のフレームにより、エラースライス領域が更新されるか否かを判定する。そして、電子機器１００は、エラースライス領域が、所定数のフレームにより更新される場合は、復号化エラー復帰のための再送要求に対する処理を実施しないようにする。また、電子機器１００は、エラースライス領域が、所定数のフレームにより更新されない場合は、実施形態１と同様の処理を実施する。したがって、実施形態１に比べて、復号化エラー復帰の際の画質劣化を軽減することができる。なお、実施形態３は、既に録画されている映像データを再生する場合に有効である。
【００９８】
［実施形態４］
図１７は、実施形態４における表示装置４００の構成を説明するための図である。実施形態１における表示装置２００は、スライス画像データの復号化中に復号化エラーが発生した場合に、電子機器１００に対して再送要求を送信した。これに対して、表示装置４００は、復号化エラー発生後に再生する予定の所定数のフレームにおいてエラースライス領域が全て更新される場合に、再送要求を電子機器１００に送信しないという点で、表示装置２００と異なる。以下、実施形態１と相違する点について説明する。
【００９９】
表示装置４００は、表示装置２００の構成に加え、エラー領域監視部４０８を有する。受信部４０１、画像合成部４０３、表示部４０４、操作部４０６及び制御部４０７は、それぞれ受信部２０１、画像合成部２０３、表示部２０４、操作部２０６及び制御部２０７と同等の機能を有する。
【０１００】
復号化部４０２は、受信部４０１から入力されたスライス画像データが圧縮符号化されている場合、圧縮符号化されたスライス画像データの復号化を行う。復号化部４０２は、復号化したスライス画像データを画像合成部４０３に出力する。また、復号化部４０２は、復号化したスライス画像データのスライス領域を示す情報を、エラー領域監視部４０８に通知する。復号化部４０２は、復号化中に復号不能による復号化エラーが発生し、復号化処理を継続することができなくなった場合、復号化エラーが発生したスライス画像データを破棄するとともに、復号化エラーの発生を示す情報を、エラー領域監視部４０８に通知する。
【０１０１】
エラー領域監視部４０８は、スライス画像データに付随して送信された特定情報に基づいて、復号化部４０２が復号化したスライス画像データのスライス領域を示すスライス領域情報を取得する。エラー領域監視部４０８は、復号化部４０２における復号化中に復号化エラーが発生した場合、復号化エラーの発生を示す情報を受け取る。エラー領域監視部４０８は、復号化エラーの発生を示す情報を受け取った後、所定数のフレームのスライス領域情報を監視する。
【０１０２】
例えば、エラー領域監視部４０８は、所定数のフレームに対応する複数のスライス領域を合成した領域の中に、復号化エラーが発生したスライス画像データのスライス領域であるエラースライス領域が包含されるかを判定する。エラー領域監視部４０８は、エラースライス領域が、所定数のフレームに対応する複数のスライス領域を合成した領域に包含されない場合に、復号化エラーの発生を示す情報を送信部４０５に通知する。
【０１０３】
送信部４０５は、復号化エラーの発生を示す情報をエラー領域監視部４０８から受けると、ケーブル１５０内のＡＵＸチャネル線を介して、復号化エラーが発生したスライス画像データの再送要求を電子機器１００へと出力する。例えば、送信部４０５は、復号化エラーが発生したスライス画像データの後に伝送された所定数のスライス画像データに対応する複数のスライス領域にエラースライス領域の全てが含まれない場合に、再送要求を送信する。送信部４０５は、上記の複数のスライス領域にエラースライス領域の全てが含まれる場合に、再送要求を送信しない。
【０１０４】
図１８は、表示装置４００における復号化エラー復帰処理を説明するためのフローチャートである。
表示装置４００の復号化部４０２は、復号化中に復号不能による復号化エラーが発生したことを検知した場合は、復号化中のスライス画像データを破棄する（Ｓ５００）。その後、復号化部４０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含むか否かを判定する（Ｓ５０１）。
【０１０５】
復号化部４０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含む場合（Ｓ５０１でＹｅｓ）、送信部４０５を介して、１フレーム分の画像データの再送を要求する。復号化部４０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含まない場合（Ｓ５０１でＮｏ）、特定情報５９１と復号化エラーの発生を検知したことを示す情報とをエラー領域監視部４０８に通知する。この場合、復号化部４０２は、復号化エラーが発生したスライス画像データの特定情報に含まれているスライス領域情報もエラー領域監視部４０８に通知する。その後、復号化部４０２は、後続のフレームのスライス画像データを受信して、復号化を継続する（Ｓ５０２）。
【０１０６】
エラー領域監視部４０８は、復号化エラーの発生を検知したことを示す情報を復号化部４０２から受け取った場合、それ以後、復号化部４０２が復号化した後続のフレームのスライス領域情報を受け取る。エラー領域監視部４０８は、復号化エラーが発生したフレームの特定情報に含まれているスライス領域情報に基づいて、エラースライス領域を特定する。エラー領域監視部４０８は、特定したエラースライス領域と、後続の所定数のフレームの複数のスライス領域とを比較する（Ｓ５０３）。
【０１０７】
後続の所定数のフレームの複数のスライス領域を合成した合成領域の中に、復号化エラーが発生したスライス画像データのエラースライス領域が全て包含されている場合（Ｓ５０４でＹｅｓ）、エラー領域監視部４０８は、何もしないで処理を終了する。この場合、送信部４０５は、再送要求を電子機器１００に送信しない。
【０１０８】
Ｓ５０４でＮｏの場合、エラー領域監視部４０８は、復号化エラー発生後に、復号化部４０２から所定数のフレームのスライス領域情報を受け取ったか否かを判定する（Ｓ５０５）。エラー領域監視部４０８は、所定数のフレームのスライス領域情報を受け取っていない場合は、Ｓ５０２に戻って処理を行う。
【０１０９】
エラー領域監視部４０８は、所定数のフレームのスライス領域情報を受け取った場合、送信部４０５に、復号化エラーの発生を示す情報を送信部２０５に通知するとともに、復号化エラーが発生したフレームの特定情報を通知する。送信部２０５は、復号化エラーの発生を示す情報と特定情報とを受け取ると、電子機器１００に対して、復号化エラーを起こしたスライス画像データのスライス領域の情報を含んだ再送要求を送信する（Ｓ５０６）。以後、電子機器１００側の処理は、実施形態１における図９のＳ１０３〜Ｓ１０６と同様であるため、説明を割愛する。
【０１１０】
図１９は、表示装置４００における表示画像の遷移の例を説明するための図である。表示画像Ｔ４０１に表示されるべきスライス画像データＶ４０１の復号化中に復号化エラーが発生したとする。後続の表示画像Ｔ４０２に表示されるスライスデータＶ４０２には、スライス画像データＶ４０１のスライス領域が含まれていない。しかし、その後、図１９（ａ）に示す表示画像Ｔ４０３ａにおいては、新たな物体が現れたことにより、スライス画像データＶ４０３ａのスライス領域が、スライス画像データＶ４０１のスライス領域を包含している。
【０１１１】
このように、図１９（ａ）においては、復号化エラーが発生したスライス画像データＶ４０１のスライス領域が、後続の所定数のフレーム内のスライス画像データＶ４０３ａに包含されるので、表示装置４００は、再送要求を電子機器１００に送信しない。他方、図１９（ｂ）の表示画像Ｔ４０３ｂに示すスライス画像データＶ４０３ｂのスライス領域においては、後続の所定数のフレーム内のスライス画像データのスライス領域を合成した領域に、スライス画像データＶ４０１のスライス領域が包含されない。したがって、表示装置４００は、再送要求を電子機器１００に送信する。
【０１１２】
以上説明したように、実施形態４における表示装置４００は、スライス画像データを復号化中に復号化エラーが発生した場合、その後に受信して復号化した所定数のフレームを監視する。表示装置４００は、復号化エラーが発生したスライス画像データのスライス領域が、所定数のフレームにより更新される場合は、復号化エラー復帰のための再送要求を電子機器１００に送信しない。また、表示装置４００は、復号化エラーが発生したスライス画像データのスライス領域の少なくとも一部が更新されない場合に、実施形態１と同様に再送要求を電子機器１００に送信する。したがって、表示装置４００は、実施形態３と同様に、復号化エラー復帰の際の画質劣化を軽減することができる。
【０１１３】
［実施形態５］
実施形態１においては、復号化中に復号化エラーが発生したことが検知された場合は、電子機器１００が、再送要求に含まれる情報に基づいてエラースライス領域を特定し、エラースライス領域を含むスライス画像データを表示装置２００に送信した。これに対して、実施形態５における電子機器は、電子機器３００と同等の構成を有し、電子機器３００がエラースライス領域を特定することができない場合に、復号化エラーが発生したフレームの全領域を再送する点で異なる。
【０１１４】
例えば、領域決定部３０３は、復号化エラーが発生したフレームの全領域を、新たなフレームから切り出すスライス領域に決定する。実施形態５における電子機器３００は、１フレームを分割して分割領域を生成し、複数の分割領域のうち、それまでに送信した所定数のフレームのスライス領域を含む分割領域を優先的に表示装置２００に送信する。電子機器３００は、出力する予定のフレームの直前の所定数のフレームに対応する複数の差分領域に基づいて、優先的に送信する分割領域を決定する。複数の差分領域を特定する処理は、実施形態３において図１５に基づいて説明した処理と同様である。
【０１１５】
図２０は、実施形態５における復号化エラー復帰処理を説明するためのフローチャートである。
まず、表示装置２００の動作（Ｓ６００〜Ｓ６０４）を説明する。表示装置２００の復号化部２０２は、スライス画像データの復号化中に復号不能による復号化エラーが発生したことを検知した場合は、復号化中のスライス画像データを破棄する（Ｓ６００）。その後、復号化部２０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含むかどうかを判定する（Ｓ６０１）。
【０１１６】
復号化部２０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含む場合（Ｓ６０１でＹｅｓ）、送信部２０５を介して、１フレーム分の画像データの再送を要求する。復号化部２０２は、復号化エラーが発生したスライス画像データが１フレーム分の画像データを含まない場合（Ｓ６０１でＮｏ）、当該スライス画像データのスライス領域の特定が可能か否かを判定する（Ｓ６０２）。復号化部２０２は、図７及び図８で示した特定情報５９１を取得することができない場合に、スライス領域を特定できないと判定する。復号化部２０２は、Ｓ６０２において、特定情報５９１を取得できた場合は、スライス領域を特定できると判定する。
【０１１７】
復号化部２０２は、Ｓ６０２において、スライス領域を特定できると判定した場合は、送信部２０５に対して、復号化エラーの発生を示す情報を通知するとともに、該当するフレームの特定情報５９１を通知する。送信部２０５は、復号化エラーの発生を示す情報と特定情報５９１とを受け取ると、電子機器１００に対して、復号化エラーを起こしたスライス画像データのスライス領域を特定するための特定情報５９１を含んだ再送要求を送信する（Ｓ６０３）。
【０１１８】
復号化部２０２は、Ｓ６０２において、スライス領域を特定できないと判定した場合は、送信部２０５に対して、復号化エラーの発生を示す情報を通知するとともに、該当するフレームの特定情報５９１が「不明」又は「無い」と通知する。送信部２０５は、復号化エラーの発生を示す情報と特定情報５９１とを受け取ると、電子機器１００に対して、復号化エラーが発生したスライス画像データにおけるスライス領域を特定するための特定情報５９１を含まない再送要求を送信する（Ｓ６０４）。
【０１１９】
続いて、電子機器３００の動作（Ｓ６０５〜Ｓ６１２）を説明する。電子機器３００の受信部３０７は、送信部２０５から再送要求を受信した場合は、再送要求にエラースライス領域を特定するための特定情報５９１が含まれるか否かを確認し、その結果を領域決定部３０３に出力する（Ｓ６０６）。ここで、再送要求に特定情報５９１が含まれている場合、領域決定部３０３は、差分抽出部３０２から、次に転送するフレームの差分情報を取得する（Ｓ６０７）。領域決定部３０３は、Ｓ６０６で取得した特定情報５９１により特定されるエラースライス領域と、Ｓ６０７で取得した差分情報に対応する差分領域とを包含する領域を、新たな合成スライス領域として決定する（Ｓ６０８）。
【０１２０】
スライス画像データ生成部３０４は、領域決定部３０３から入力された合成スライス領域情報に基づいて、差分抽出部３０２から入力したフレームの画像データから、合成スライス領域内の画像データを生成する。生成されたスライス画像データは、符号化部３０５において符号化され、送信部３０６を介して表示装置２００へと送信される（Ｓ６０９）。
【０１２１】
Ｓ６０６において、再送要求に特定情報５９１が含まれておらず、領域決定部３０３がエラースライス領域を特定することができない場合、領域決定部３０３は、差分抽出部３０２から、既に送信済みのフレームの差分情報を所定数取得する（Ｓ６１０）。ここで、所定数とは、復号化エラーが発生したスライス画像データに対応するスライス領域を概略的に特定するために必要な数である。例えば、所定数は、電子機器３００がスライス画像データを送信してから、当該スライス画像データに対する再送要求を受信するまでに要する期間内に、電子機器３００から出力されるスライス画像データの数である。
【０１２２】
領域決定部３０３は、差分抽出部３０２から取得した複数の差分情報に基づいて、受信部３０７が再送要求を受信した時点よりも前の所定数のフレームに対応する差分領域を特定する。領域決定部３０３は、フレームを予め決められた分割領域に分け、それぞれの分割領域において、特定した差分領域が占める割合が大きい順に、複数の分割領域の優先度を決定する（Ｓ６１１）。
【０１２３】
図２１は、分割領域の例を説明するための図である。図２１は、フレームをＹ軸方向に４つの領域に分けた例を示している。領域決定部３０３は、例えば、分割領域Ｒ１、Ｒ２、Ｒ３、Ｒ４の順に、差分領域が占める割合が大きい場合、分割領域Ｒ１、Ｒ２、Ｒ３、Ｒ４の順に優先度が高いとする。その後、スライス画像データ生成部３０４は、差分抽出部３０２から入力されたフレームと、領域決定部３０３から入力された分割領域に関する情報とに基づいて、入力されたフレームを分割する。分割されたフレームは、優先度の順に符号化部３０５において符号化され、送信部３０６を介して表示装置２００へと順次送信される（Ｓ６１２）。
【０１２４】
図２２は、実施形態５における表示画像の遷移の例を説明するための図である。表示画像Ｔ５０１に表示されるべきスライス画像データＶ５０１の復号化中に復号化エラーが発生したとする。その後、電子機器３００が再送要求を受信するまでの間に、表示画像Ｔ５０２の実線に示す領域Ｐに含まれるスライス画像データが送信されたものとする。
【０１２５】
表示画像Ｔ５０３から表示画像Ｔ５０６には、それぞれ分割領域Ｒ１、Ｒ２、Ｒ３及びＲ４が示されている。領域Ｐを含む面積が比較的大きい分割領域Ｒ１、Ｒ２は、領域Ｐを含む面積が比較的小さい分割領域Ｒ３よりも優先度が高い。領域Ｐを含まない分割領域Ｒ４は、最も優先度が低い。したがって、電子機器３００は、再送要求を受信した場合は、まず、分割領域Ｒ１をスライス領域とするスライス画像データを表示装置２００に送信する。続いて、電子機器３００は、分割領域Ｒ２、Ｒ３、Ｒ４に対応するスライス画像データを、順次表示装置２００に送信する。
【０１２６】
以上説明したように、実施形態５によれば、電子機器３００は、スライス画像データを復号化中に復号化エラーが発生したスライス領域を特定することができない場合であっても、複数の領域に分割されたフレームを所定の順序で送信することができる。このようにすることで、圧縮率を高くすることなく画質劣化を低減した状態で、復号化エラーが発生した領域の画像データを更新することができる。また、電子機器３００は、分割領域に優先度を付けることで、復号化エラーが生じた箇所をより早く復帰させることもできる。
【０１２７】
［実施形態６］
実施形態１〜５で説明した様々な機能、処理及び方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵなどがプログラムを用いて実現することもできる。以下、実施形態６では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵなどを「コンピュータＸ」と呼ぶ。また、実施形態６では、コンピュータＸを制御するためのプログラムであって、実施形態１〜５で説明した様々な機能、処理及び方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。
実施形態１〜５で説明した様々な機能、処理及び方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態６におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、ＲＯＭ、ＲＡＭなどの少なくとも一つを含む。実施形態６におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ（非一時的）な記憶媒体である。
【符号の説明】
【０１２８】
１００  電子機器
１０２  差分抽出部
１０４  スライス画像データ生成部
１０６  送信部
１０７  受信部
【図１】
2016122964.tif 000003
【図２】
2016122964.tif 000004
【図３】
2016122964.tif 000005
【図４】
2016122964.tif 000006
【図５】
2016122964.tif 000007
【図６】
2016122964.tif 000008
【図７】
2016122964.tif 000009
【図８】
2016122964.tif 000010
【図９】
2016122964.tif 000011
【図１１】
2016122964.tif 000012
【図１２】
2016122964.tif 000013
【図１４】
2016122964.tif 000014
【図１５】
2016122964.tif 000015
【図１６】
2016122964.tif 000016
【図１７】
2016122964.tif 000017
【図１８】
2016122964.tif 000018
【図２０】
2016122964.tif 000019
【図２１】
2016122964.tif 000020
【図１０】
2016122964.tif 000021
【図１３】
2016122964.tif 000022
【図１９】
2016122964.tif 000023
【図２２】
2016122964.tif 000024