(57)【要約】【課題】  ネットワークを経由して動画データを配信するシステムにおいて、ネットワークの経路上で伝送する一部のパケットの到着が遅延する場合がある。リアルタイム性が要求されるシステムでは遅延したパケットも損失パケットとして扱われ、表示画像の画質の低下が起こる。【解決手段】  注目領域の画像データがネットワーク経路で損失してしまった場合には、高画質な補間処理を行い、５０３、５０２などの周辺領域が損失してしまった場合には、簡易な補間処理を施す。簡易な補間処理を施す場合には、補間処理が短時間で済むために、遅延パケットを長く待つように構成する。【選択図】  図２
2007060531.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク経由で配信される動画像データを受信する受信手段と、
圧縮された画像データを復号する復号手段と、
動画を表示する表示手段と、
前記受信手段により受信した画像データのうち、欠損している領域を検出する欠損領域検出手段と、
画像データの欠損した領域を補間する複数の補間方式を有する画像補間手段とを有する動画像表示装置において、
前記表示手段の更新タイミングを基準として処理時間の異なる前記補間手段の各補間処理にかかる最大時間にタイミング出力を行うタイミング出力手段と、
前記タイミング出力手段の出力タイミングで出力されたタイミングの種類と前記欠損領域検出手段の検出出力とを対応させて補間処理を選択する補間処理選択手段を有することを特徴とする動画像表示装置。
【請求項２】
前記欠損領域検出手段は、少なくとも注目領域を検出するように検出領域を分割し、前記補間処理選択手段は、注目領域が欠損している場合に、前記補間処理のうち高画質な補間処理を選択することを特徴とする請求項１に記載の動画像表示装置。
【請求項３】
前記欠損領域検出手段は、１フレーム画像内の欠損割合に対応した出力値を出力することを特徴とする請求項１に記載の動画表示装置。
【請求項４】
前記画像補間処理は、動きベクトルを元に補間処理を行う補間処理方式を有し、
前記受信手段により受信した動画像データから動きベクトルを検出する動きベクトル検出手段を有することを特徴とする請求項１に記載の動画表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して配信された動画を表示する表示装置に関するものである。
【背景技術】
【０００２】
ネットワークで動画データを配信するシステムでは、ネットワークの経路上で伝送するデータパケットの損失や遅延などが起こり、それによって配信した画像が正しく再生できずに画像劣化が発生していた。
【０００３】
特に、リアルタイム性が要求されるシステムでは、配送遅延が起きた場合に表示タイミングに間に合わない遅延パケットは損失データとみなして表示処理を開始しなければならない。その対策として、エラー訂正（ＦＥＣ）技術などにより、冗長なデータ送信して損失したパケットを復元するなどの手法が知られている。
【０００４】
また、損失や遅延したパケットに対する対策として、ネットワーク上のデータ損失した場合に表示タイミングに間に合わせる様に再送要求を行う機能を有したものがある（例えば、特許文献１参照。）。
【０００５】
一方、一部を損失してしまった画像データを表示するために、画像の欠損部を補間する手法がとられる。欠損部を補間する画像補間方式には、前フレームのデータを欠損部のデータとするものや、欠損部の周辺のデータから欠損部のデータを生成するなどの様々な方法がある。
【０００６】
例えば、欠損部に対して複数の補間方式を適用し周囲の画像と最も類似性の高いデータを選択して欠損部の補間データとしているものがある（例えば、特許文献２参照）。
【特許文献１】特開２００３−１６９０４０号公報
【特許文献２】特開平７−１１１６５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、再送要求を行うシステムでは、動画データの送信側にも再送要求に応える機能が必要であり、送信側のシステムが限定されてしまう。また、配信する動画データのフレームレートが高いデータの場合には、表示の更新間隔が短いので、再送にかかる時間を考慮すると再送によるパケットロス補償の効果が充分に見込めないことが考えられる。
【０００８】
また、従来の欠損した画像データを補間する方法では、高画質な補間処理を行った場合に補間処理にかかる時間が長くなってしまう。このため、画像表示タイミングに間に合わせる様に補間処理開始のタイミングを早くする必要があり、その結果、遅延が原因となるパケット損失を増やすことになってしまう。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、請求項第１に記載の発明は、ネットワーク経由で配信される動画像データを受信する受信手段と、圧縮された画像データを復号する復号手段と、動画を表示する表示手段と、前記受信手段により受信した画像データのうち、欠損している領域を検出する欠損領域検出手段と、画像データの欠損した領域を補間する複数の補間方式を有する画像補間手段とを有する動画像表示装置において、前記表示手段の更新タイミングを基準として処理時間の異なる前記補間手段の各補間処理にかかる最大時間にタイミング出力を行うタイミング出力手段と、前記タイミング出力手段の出力タイミングで出力されたタイミングの種類と前記欠損領域検出手段の検出出力とを対応させて補間処理を選択する補間処理選択手段を有するように構成した。
【００１０】
請求項第２に記載の発明は、請求項１に記載の動画表示装置において、前記欠損領域検出手段は、少なくとも注目領域を検出するように検出領域を分割し、前記補間処理選択手段は、注目領域が欠損している場合に、前記補間処理のうち高画質な補間処理を選択するように構成した。
【００１１】
請求項第３に記載の発明は、請求項１に記載の動画表示装置において、前記欠損領域検出手段は、１フレーム画像内の欠損割合に対応した出力値を出力する様に構成した。
【００１２】
請求項第４に記載の発明は、請求項１に記載の動画表示装置において、前記画像補間処理は、動きベクトルを元に補間処理を行う補間処理方式を有し、前記受信手段により受信した動画像データから動きベクトルを検出する動きベクトル検出手段を有するように構成した。
【発明の効果】
【００１３】
本発明の動画受信装置では、パケットが遅延、損失した場合でも重要な領域は常に高画質な補間処理を施すことができる。重要度の低い領域には、遅延パケットの受信を長く待つことができるので、遅延による画像データのロスを低減することが可能であり、常に高画質な動画データを表示することが可能となる。
【発明を実施するための最良の形態】
【００１４】
（第１実施例）
図１は、第１実施例の動画表示装置の概略構成を示すブロック図である。図１において１０１はＣＰＵであり、第１実施例の動画表示装置の制御はＣＰＵ１０１により制御される。ＣＰＵ１０１には、ＤＭＡコントローラ（ＤＭＡＣ）１０２、メモリーコントローラー１０３、通信部１０７、デコード部１０８、画像補間処理部１０９、表示制御部１１０がバス１０６を介して接続されている。また、ＣＰＵ１０１には、通信部１０７から動画データの受信状態を示す信号線１２２が接続されている。また、画像補間処理部１０９からは、画像補間処理の動作状態を示す信号線１２０が接続され補間処理信号が入力される。ＣＰＵ１０１からは、重要度により分割された画像領域のうち、重要度が高い領域から画像データを既に受信したかの状態を出力する信号線１２１が、画像補間処理部１０９に接続されている。
【００１５】
メモリーコントローラ１０３には、ＲＯＭ１０４、ＲＡＭ１０５が接続されており、ＣＰＵ１０１はメモリーコントローラ１０３を介して、ＲＯＭ１０４、ＲＡＭ１０５にアクセスする。また、ＣＰＵ１０１は、ＲＯＭ１０４に格納されている制御プログラムに基づいて各種制御を行う。これらの制御の中には、通信部１０７が受信した画像データをデコード部１０８へ転送する制御、デコード部１０８がデコードした画像データを画像補間処理部１０９へ転送する制御、画像補間処理部１０９により補間処理された画像データをＶＲＡＭ１、２（１０５ａ、ｂ）に格納する制御、表示制御部１１０を動作させＶＲＡＭ１、２に格納された画像データを表示部１１０に表示する制御などが含まれる。
【００１６】
ＤＭＡＣ１０２は、ＣＰＵ１０１によって行われる設定に従い各モジュール間のデータ転送を実行する。
【００１７】
ＲＡＭ１０５は、１０５ａ〜１０５ｅの領域に分けられる。１０５ａ、１０５ｂの領域は、表示制御部１１０により一定周期で表示部１１１へ表示する画像データが格納されるＶＲＡＭ領域である。第１実施例では、ダブルバッファ構成をとりＶＲＡＭ１（１０５ａ）、ＶＲＡＭ２（１０５ｂ）に格納された画像データを交互に切り換えて表示部１１１に表示する。１０５ｃ(バッファ１)の領域は、通信部１０７が受信したパケットを一時格納するバッファ領域であり、デコード部１０８がデコードできる様に通信ヘッダーなどの情報を削除した圧縮画像データが格納される。１０５ｄの領域は、各種プログラムのワークエリアや各種データを一時退避させる領域として使われる。
【００１８】
通信部１０７は、ネットワークを介して送信される動画データを受信し、データを受信すると、信号線１２２を介してＣＰＵ１０１にデータの受信を通知する。
【００１９】
デコード部１０８は、圧縮された動画データをデコードし、デコードした画像データを画像補間処理部へ転送する。
【００２０】
表示制御部１１０は、ＶＲＡＭ１（１０５ａ）、ＶＲＡＭ２（１０５ｂ）に格納された画像データをフレーム毎に切り換えて読み出し、表示部１１１（ＣＲＴやＬＣＤなど）に対して一定周期で転送する。また、画像補間処理部１０９にＶｓｙｎｃ信号を信号線１２３により出力する。
【００２１】
表示部１１１は、表示制御部１１０に接続されており、表示制御部から転送された画像データの表示を行う。
【００２２】
画像補間処理部１０９は、デコードされた画像データの欠損領域を補間してＶＲＡＭへ格納する処理を行う。以下、画像補間処理部１０９の詳細構成、動作について図２を用いて説明する。
【００２３】
図２において、２０１（フレームバッファ１）は、画像データを１フレーム格納するバッファであり、デコード部１０８がデコードした画像データ及び、動きベクトル情報、画像デコード情報などがデータ線２２０を介して格納される。ここで、デコード情報とは、デコード部１０８がデコードした画像データの領域を示す情報であり、補間処理時に欠損している領域をデコード情報から特定する。第１実施例ではマクロブロック単位のデコード情報である。動きベクトル情報はデコード部１０８のデコード時にハイブリット符号化方式などによりエンコードされたデータから抽出した値を格納するが、動き検出部を追加しフレーム間の動き情報を検出しても良い。
【００２４】
また、２０５（フレームバッファ２）も、画像データを１フレーム格納するバッファであり、後述する２０２〜２０４の補間処理部により欠損部が補間された画像データが格納される。更に、補間処理中は前フレームの画像データ参照のためのバッファとして使われる。また、フレームバッファ２（２０５）に格納された画像データは、２２１のデータ線を介してＤＭＡＣ１０２によりＲＡＭ１０５のＶＲＡＭ領域に転送される。
【００２５】
２０２の補間処理部Ａは、フレームバッファ１（２０１）、フレームバッファ２（２０５）に接続され、フレームバッファ内のデータの読み書きが可能である。更に、補間処理選択部２０６から動作のオンオフを制御するイネイブル信号（ＥＮ）が接続されている。
【００２６】
補間処理部Ａ２０２は、イネイブル信号（ＥＮ）がオンされると、フレームバッファ１（２０１）内に格納されているデコード情報から欠損領域を検出し、動きベクトル情報を元にして画像データの補間処理を行い、処理後の画像データを含む１フレーム分の画像データをフレームバッファ２（２０５）に転送する。
【００２７】
補間処理部Ａ２０２の補間処理は、動き適応型補間処理であり、欠損したマクロブロックの動きベクトルが残っている場合はそのベクトル値を用いて、残っていない場合は、欠損したマクロブロックの周囲のベクトル値から計算した値を用いて補間処理を行う。この時、フレームバッファ２（２０５）に格納されている前フレーム画像から、動きベクトル求められる値だけずらした領域の画像をコピーすることで補間を行う。また、高画質化処理のためブロック境界にフィルタ処理を施すなどの処理も行う。
【００２８】
２０３の補間処理部Ｂも、フレームバッファ１（２０１）、フレームバッファ２（２０５）に接続され、フレームバッファ内のデータの読み書きが可能である。更に、補間処理選択部２０６から動作のオンオフを制御するイネイブル信号（ＥＮ）が接続されている。
【００２９】
補間処理部Ｂ２０３は、イネイブル信号（ＥＮ）がオンされると、フレームバッファ１（２０１）内に格納されているデコード情報を元にして画像データの補間処理を行い、補間処理後の画像データを含む１フレーム分の画像データをフレームバッファ２（２０５）に転送する。
【００３０】
補間処理部Ｂ２０３の補間処理は、フレーム内補間処理であり、欠損したマクロブロックの上下の画像データを参照し補間処理を行う。
【００３１】
２０４の補間処理部Ｃは、フレームバッファ１（２０１）、フレームバッファ２（２０５）に接続され、フレームバッファ内のデータの読み書きが可能である。更に、補間処理選択部２０６から動作のオンオフを制御するイネイブル信号（ＥＮ）が接続されている。
【００３２】
補間処理部Ｃ２０２は、イネイブル信号（ＥＮ）がオンされると、フレームバッファ１（２０１）内に格納されているデコード情報を元にして格納されている画像データの補間処理を行い、補間処理後の画像データを含む１フレーム分の画像データをフレームバッファ２（２０５）に転送する。
【００３３】
補間処理部Ｃ２０４は、欠損画像領域に対してフレームバッファ２（２０５）に格納されている前フレームの画像データから同じ領域の画像データを欠損部にコピーすることで補間処理を行う。尚、第１実施例では画像の欠損がない場合には、補間処理部Ｃ２０４を動作させる。この時補間処理部Ｃ２０４は、デコード情報から補間すべき領域無いことを判断すると補間処理を実行せずに画像データをフレームバッファ２（２０５）に転送する。
【００３４】
また、補間処理Ａ、Ｂ、Ｃのそれぞれの処理時間ｔａ、ｔｂ、ｔｃは、欠損領域が同じ面積である場合には、次式に示す関係が成り立つ。
【００３５】
「ｔａ  ＞  ｔｂ  ＞  ｔｃ」  ---  （１）
次に、補間処理選択部２０６の動作を図３のタイミング図を用いて説明する。
【００３６】
図３は、表示タイミングＶｓｙｎｃと補間処理開始の関係を示したタイミング図である。
【００３７】
図３において、第１実施例の表示装置では、３０ｆｐｓのタイミングで表示制御部１１０がＶＲＡＭ１（１０５ａ）、ＶＲＡＭ２（１０５ｂ）に格納された画像データを交互に表示部１１１へ出力し表示を行う。
【００３８】
従って、ＶＲＡＭ１（１０５ａ）、ＶＲＡＭ２（１０５ｂ）には、次のＶｓｙｎｃのタイミング（３０４）までに更新された画像データが格納される必要がある。ここで、補間処理Ａにより画像データを補間した場合に補間処理にかかる最大時間（Ｔａ）とすると、タイミング図３の点線３０１で示された時間は、補間処理Ａを行いＶＲＡＭ領域に画像データを書き込む処理を行った場合の補間処理開始期限を示すタイミングとなる。同様に３０２で示すタイミングは補間処理Ｂを施した場合の補間処理を開始する期限であり、３０３で示すタイミングは補間処理Ｃを施した場合の補間処理を開始する期限である。
【００３９】
また、最大時間Ｔａは、予め設定した欠損領域の割合（マクロブロック数）の最大値に対して補間処理Ａを実行した場合（ＶＲＡＭへの書き込み時間を含む）の処理時間の合計である。同様にＴｂは補間処理部Ｂを実行した場合の最大処理時間であり、Ｔｃは補間処理部Ｃを実行した場合の最大処理時間である。
【００４０】
補間処理選択部２０６にはタイミング制御部２０７から図３に示した３０１、３０２、３０３のタイミングで信号が入力される。タイミング制御部２０７は、表示制御部１１０から出力されるＶｓｙｎｃ信号２２４及びタイマー２０８の信号出力により３０１〜３０３のタイミングを作り出し補間処理選択部２０６に出力する。
【００４１】
補間処理選択部２０６は、タイミング制御部２０７からタイミング信号２２５が入力されるとＣＰＵ１０１から出力される領域情報信号１２０に基づき補間処理方式を選択した後、補間処理の開始を指示するために各補間処理部（２０２〜２０４）に接続されたイネイブル信号（ＥＮ）をオンする。補間処理開始の条件が揃っていない場合には、次のタイミングまで補間処理を開始しない。
【００４２】
第１実施例ではタイミング信号２２５（Ｔａ、Ｔｂ、Ｔｃを識別可能な３ｂｉｔの信号）の入力時に領域情報信号１２０と合わせて補間処理の開始を決定する。この時、領域情報信号１２０には、受信した画像データ内の領域毎にデコードが完了したかの情報が出力されている。第１実施例では、受信した画像データを図５（２）に示す領域に分割しており、以下に領域情報の値と図５（２）の関係を示す。
【００４３】
領域情報が０の場合：５０４領域の画像データ受信が未完了
領域情報が１の場合：５０３領域の画像データ受信が未完了
領域情報が２の場合：５０２領域の画像データ受信が未完了
領域情報が３の場合：全画像受信完了
上記意味付けされた、領域情報信号１２０の値とタイミング信号２０７の種類により補間処理選択部２０６の動作は、表１に示すように選択される。表１において「補間処理無し」の場合には、補間処理Ｃを選択し、補間処理部Ｃでは、前述した補間処理無しの場合の処理を実行する。
【００４４】
また、補間処理選択部２０６は、補間処理を決定すると選択された補間処理ブロックを動作させるためにイネイブル信号（ＥＮ）をオンする。更に、ＣＰＵ１０１に補間処理を開始したことを伝えるために補間処理信号１０２の出力をオンする。補間処理部２０６は、各イネイブル信号をオンした後に次のＶｓｙｎｃ２２４の入力により、イネイブル信号（ＥＮ）、及び補間処理信号１０２をオフする。
【００４５】
次にＣＰＵ１０１の動作について、図４に示した画像補間処理選択のフローチャートを用いて説明する。
【００４６】
ステップＳ４０１から処理を開始し、ステップＳ４０２で通信部１０７がデータを受信したかを信号線１２２の入力により判断する。ステップＳ４０２でデータを受信した場合には、ステップＳ４０３で、通信部１０７からデータを読み出しＲＡＭ１０５のバッファ１（１０５ｃ）の領域に受信データを書き込む。この時、ネットワーク上の輻輳などにより順番が入れ替わったデータの並び替えなどの処理も行う。また、ステップＳ４０２でデータを受信していない場合には、処理をステップＳ４０４へ移す。
【００４７】
ステップＳ４０４では、画像補間処理部１０９が画像補間処理を実行中かを図２の補間処理信号１２１の出力を参照することで判断する。補間処理の実行中でない場合には、ステップＳ４０９に移行し、バッファ１（１０５ｃ）内に格納されている圧縮された画像データのヘッダ情報などから受信状況を解析する。受信状況の解析は、画像データのヘッダ情報、通信ヘッダ情報などから判断し、一つのスライス単位でデータが揃っているか、抜けているパケットは無いかなどを確認する。これは、ネットワーク経路にて通信パケットが損失したり、遅延によりパケットが到着していないことで、デコード不可能な状態になっていないかを判断している。尚、ＭＰＥＧ、ＪＰＥＧ圧縮された画像データでは、途中の画像データが損失してる場合でもスライス単位でデータがそろっていればデコード可能であり、また、ヘッダー内にスライスの位置情報が含まれているためフレーム内の位置を特定することができる。例えば、１フレームの画像のスライス構成が図５（１）に示すようにとられている場合に、ａ〜ｏの各スライスは単独でデコードが可能である。
【００４８】
ステップＳ４１０ではスライス単位でデータが揃っているかをステップＳ４０９の解析結果から判断し、データが揃っているスライスが無い場合には、処理をステップＳ４０２に戻し、揃っているデータがある場合には、ステップＳ４１１に移行する。
【００４９】
ステップＳ４１１の処理では、ＤＭＡＣ１０２の設定により該当する圧縮データをデコード部１０８に転送し、デコード部１０８で圧縮データは復号される。復号された画像データは、動きベクトルデータと共に画像補間処理部１０９に転送される。この時デコードした領域の情報をＲＡＭ１０５内の１０５ｄの領域に格納する。
【００５０】
次にステップＳ４１２の処理では、図５（２）に示すように１フレーム内の画像領域を５０２、５０３、５０４の点線で囲んだ領域に分けた（互いに領域は重複しない）場合に、どの領域のデコードが済んだかを検出する。デコード領域の検出は、ステップＳ４１１で格納したデコードした領域の情報をＲＡＭ領域１０５ｄから読み出し、重要度により分割された領域ごとにデコードが済んでいるかを解析し、処理をステップＳ４１３に移す。
【００５１】
ステップＳ４１３では、図５（２）の５０４の領域の画像データが欠損しているかをステップＳ４１２の解析結果から判断し、欠損している場合にはステップＳ４１４に移行し領域情報として図２に示した補間処理選択部２０６に対して信号線１２１を介して「０」を出力し、ステップＳ４０２に処理を戻す。ステップＳ４１３で５０４の領域の画像データが欠損していない場合には、ステップＳ４１５に処理を移行する。
【００５２】
ステップＳ４１５では、図５（２）の５０３の領域の画像データが欠損しているかをステップＳ４１２の解析結果から判断し、欠損している場合にはステップＳ４１６に移行して領域情報に「１」を出力し処理をステップＳ４０２に戻す。ステップＳ４１５で５０３の領域の画像データが欠損していない場合には、ステップＳ４１７に移行する。
【００５３】
ステップＳ４１７では、図５（２）の５０２の領域の画像データが欠損しているかをステップＳ４１２の解析結果から判断し、欠損している場合にはステップＳ４１８に移行して領域情報に「２」を出力し処理をステップＳ４０２に戻す。
【００５４】
ステップＳ４１７で５０２の領域の画像データが欠損していない場合には全ての画像データの復号が終了しているのでステップＳ４１９で領域情報に「３」を出力し、処理をステップＳ４０６に移行する。
【００５５】
ステップＳ４０４で補間処理が実行中である場合には、ステップＳ４０５に移行し、ステップＳ４０５では、バッファ１（１０５ｃ）に格納されている受信データのうち、現在補間処理を開始したフレームと同一フレームの画像データを削除する。次の、ステップＳ４０６では、補間処理が完了したかを補間処理信号１２０を参照して判断し、補間処理が終了していれば処理をステップＳ０７に移行する。ステップＳ４０６で補間処理が終了していない場合には、ステップＳ４０６を繰り返す。
【００５６】
ステップＳ４０７では、動画表示動作を停止するかを判断し、表示動作を継続する場合には、ステップＳ４０２に戻し次のフレームの処理を開始する。
【００５７】
また、ステップＳ４０７で表示動作を終了する場合には、ステップＳ４１５で処理を終了する。
【００５８】
尚、本実施例では明示していないが、表示動作の停止は、送信側からのコマンドによる指示や、ユーザーによる表示操作の停止により与えられるものとする。
【００５９】
以上説明した動作により第１実施例の表示装置では、図５（２）に示した５０４の注目領域の画像データがネットワーク経路で損失してしまった場合には、高画質な補間処理を行い、５０３、５０２などの周辺領域が損失してしまった場合には、簡易な補間処理を施す。この場合に、画質重視の補間処理に比べて補間処理にかかる時間が短いために、遅延したパケットの到着を長く待つことが可能であり、その期限までに遅延パケットが到着すれば正常なデータを表示することもできる。
【００６０】
この様に、パケットが遅延、損失した場合でも重要な領域は常に高画質な補間処理を施すことができ、重要度の低い領域は、長く遅延パケットを待つことができるので、遅延による画像データのロスを低減し、かつ、常に高画質が受信画像データの表示が可能となる。
【００６１】
（第２実施例）
第１実施例では、受信画像の欠損領域によって補間方式及び、補間開始タイミングを選択したが、第２実施例では、欠損データの割合により補間処理を選択する様構成した。
【００６２】
第２実施例では、第１実施例の図４の画像補間処理選択のフローチャートを図６に示すフローチャートに置き換えることで実現する。
【００６３】
以下図６に示した画像補間処理選択のフローチャートの処理について説明する。図６においてステップＳ６０１〜Ｓ６１１の処理は、図４のステップＳ４０１〜Ｓ４１１の処理と同様である。
【００６４】
Ｓ６１２の処理では、ステップＳ６１１で格納したデコードした領域の情報をＲＡＭ領域１０５ｄから読み出し、受信中のフレームの欠損割合を算出する。
【００６５】
次に、ステップＳ６１３の処理では、ステップＳ６１２で求めた欠損割合が予め決められた値「Ａ」以上で有れば処理をステップＳ６１４へ移し、ステップＳ６１４で領域情報に「０」を出力し、ステップＳ６０２に処理を戻す。ステップＳ６１３で欠損割合が「Ａ」未満である場合には、ステップＳ６１４に処理を移行する。
【００６６】
ステップＳ６１４の処理では、ステップＳ６１２で求めた欠損割合が予め決められた値「Ｂ」以上で有れば処理をステップＳ６１６へ移し、ステップＳ６１６で領域情報に「１」を出力し、ステップＳ６０２に処理を戻す。ステップＳ６１４で欠損割合が「Ｂ」未満である場合には、ステップＳ６１７に処理を移行する。
【００６７】
ステップＳ６１７の処理では、ステップＳ６１２で求めた欠損割合から欠損領域が無いか判断し、欠損領域がある場合には、処理をステップＳ６１８へ移し、ステップＳ６１８で領域情報に「２」を出力し、ステップＳ６０２に処理を戻す。ステップＳ６１７で欠損が無い場合には、ステップＳ６１９に処理を移す。
【００６８】
ステップＳ６１９では、領域情報に「３」を出力した後に処理をステップＳ６０６に移す。
【００６９】
尚、第２実施例で欠損値と比較を行う値Ａ、Ｂには、次式に示す関係が成り立つ。
【００７０】
「Ａ  ＞  Ｂ  」  ---（２）
以上説明した動作により第２実施例の表示装置は、受信した画像データに対して、画像欠損の割合が高い場合には、高画質な補間処理を行い、欠損割合が低くなるとデータ受信を待った上で簡易な補間処理を施す様構成した。
【００７１】
（第３実施例）
第１実施例では、受信画像の動きベクトル情報をデコード部が受信した圧縮画像データから抽出して画像補間処理部に送信するよう構成されていたが、第３実施例では、動きベクトル情報を画像補間部で算出することにより得る様に構成した。
【００７２】
第３実施例では、第１実施例の図２画像補間処理部１０９の詳細構成を図７に示す構成に置き換えることで実現する。
【００７３】
図７において、７０１（フレームバッファ１）は、画像データを１フレーム格納するバッファであり、デコード部１０８がデコードした画像データ及び、画像デコード情報などがデータ線２２０を介して格納される。ここで、デコード情報とは、デコード部１０８がデコードした画像データの領域を示す情報であり、補間処理時に通信上のパケットロス、遅延などで欠損している領域をデコード情報から特定する。第３実施例でも第１実施例と同様にマクロブロック単位のデコード情報である。
【００７４】
２０５（フレームバッファ２）は、画像データを２フレーム格納するバッファであり、２０２〜２０４の補間処理部により欠損部が補間された画像データが格納される。２０５のフレームバッファ２には、前フレームと前々フレーム画像データが画像データ１、２のフレームバッファ領域に格納される。新しいフレーム画像データが送られてくると随時更新を行う。また、フレームバッファ２は、補間処理部Ａ７０２、補間処理部Ｂ７０３及び動き検出部７０９により参照される。
【００７５】
フレームバッファ２（２０５）に格納された画像データは、ＤＭＡＣ１０２によりデータ線２２１からＶＲＡＭ領域に転送される。
【００７６】
補間処理部Ａ７０２は、第１実施例の補間処理部Ａ２０２と同様な動作で補間処理を実行するが動きベクトル情報は、メモリ７１０に格納されたデータを参照する。
【００７７】
７０２の補間処理部Ａは、フレームバッファ１（２０１）、フレームバッファ２（２０５）に接続され、フレームバッファ内のデータの読み書きが可能である。第３実施例では、メモリ７１０が新たに接続され、第１実施例と異なり動きベクトル情報をメモリ７１０から読み出して補間処理を行う。この時、欠損領域と同じ領域の動きベクトル値を読み出して補間処理を行い、動き適応型の補間処理を実行する。
【００７８】
その他の動作は、第１実施例と同様であり、補間処理選択部２０６から動作のオンオフを制御するイネイブル信号（ＥＮ）がオンされるとフレームバッファ１（２０１）内に格納されているデコード情報から欠損領域を検出し、メモリ７１０からの動きベクトル情報を元にして画像データの補間処理を行い、処理後の画像データを含む１フレーム分の画像データをフレームバッファ２（２０５）に転送する。
【００７９】
補間処理部Ｂ、Ｃ（７０３、７０４）は、第１実施例の補間処理部２０３、２０４と同様な動作で補間処理を実行する。
【００８０】
また、補間処理選択部７０６、タイミング制御部７０７、タイマー７０８の動作は、第１実施例の補間処理選択部２０６、タイミング制御部２０７、タイマー２０８と同じ動作を行う。
【００８１】
第３実施例では、動き検出部７０９、メモリ７１０が追加されている。動き検出部７０９は、前フレームと前々フレームの画像データから動きベクトルを検出し、求められた動きベクトルの値をメモリ７１０に格納する。動きベクトル検出部７０９は、公知の技術であるブロックマッチング法（分割したブロック単位でフレーム間差分の少ない領域を探し出し動きベクトルを計算する）や勾配法（画面輝度の勾配とフレーム間差分から動きベクトルを計算）などにより動きベクトルの検出処理を行う。
【００８２】
以上説明した動作により第３実施例では、動きベクトル情報を画像補間部で検出する事が可能である。動きベクトル情報が圧縮画像データに含まれていない圧縮方式のデータであっても高画質な補間が可能となる。
【００８３】
また、第３実施例では、前フレームと前々フレームの画像から動きベクトルを算出したが、図８に示す構成をとることで、受信中のフレームと前フレームから動き検出を行う事が可能である。図８の構成では、動き検出部は、フレームバッファ１（８０１）とフレームバッファ２（８０５）に接続され、動きベクトルの検出する。図８に示す構成では、補間処理部Ａ８０２は、欠損領域の動きベクトルを周囲の動きベクトルから算出して求める様構成される。
【００８４】
【表１】
2007060531.tif 000003
【図面の簡単な説明】
【００８５】
【図１】第１実施例の動画表示装置の概略構成を示すブロック図である。
【図２】第１実施例の画像補間処理部１０９の詳細構成を示すブロック図である。
【図３】第１実施例の動画表示装置の表示処理のタイミングを示すタイミングチャートである。
【図４】第１実施例のＣＰＵ１０１のデコード情報出力の動作の流れを示すフローチャートである。
【図５】（１）は第１実施例の動画表示装置における画像のスライス分割例を示す図である。（２）は第１実施例の動画表示装置における画像の注目領域の分割例を示す図である。
【図６】第２実施例のＣＰＵ１０１のデコード情報出力の動作の流れを示すフローチャートである。
【図７】第３実施例の画像補間処理部１０９の詳細構成を示すブロック図である。
【図８】第３実施例の画像補間処理部１０９の詳細構成において、その他の例を示すブロック図である。
【符号の説明】
【００８６】
１０１  ＣＰＵ
１０４  ＲＯＭ
１０５  ＲＡＭ
１０７  通信部
１０８  デコード部
１０９  画像補間処理部
１１０  表示制御部
１１１  表示部
１２０  補間処理信号
１２２  領域情報信号
２０１、２０５  フレームバッファ
２０６  補間処理選択部
２０２〜２０４  補間処理部
【図１】
2007060531.tif 000004
【図２】
2007060531.tif 000005
【図３】
2007060531.tif 000006
【図４】
2007060531.tif 000007
【図５】
2007060531.tif 000008
【図６】
2007060531.tif 000009
【図７】
2007060531.tif 000010
【図８】
2007060531.tif 000011