(57)【要約】【課題】  快適な視聴を妨げるような映像が出力されることを回避しつつ、映像信号を継続的に出力すること。【解決手段】  出力画像制御部１７０は、バッファ監視部１６０がバッファ破綻発生を検出したとき、出力画像選択部１９０で選択する出力画像データを画像生成部１５０に切り替える。その状態で、バッファ監視部１６０からのバッファ破綻検出有無、タイマ１８０により計時する直近のバッファ破綻発生からの経過時間、復調器２０からの伝送路符号の誤り検出率、ビデオデコーダ１３０からの正常復号ピクチャ数の状態に応じて、出力画像選択部１９０で選択する出力画像データを出力バッファ１４０に切り替える。【選択図】図１
2010166140.tif 000002
【特許請求の範囲】
【請求項１】
受信したストリームデータを蓄積する入力バッファと、
エラーコンシールメント機能を有し、前記入力バッファで受信したストリームデータを復号するビデオデコーダと、
前記ビデオデコーダが復号した画像データを蓄積する出力バッファと、
予め定められた特定画像データを出力する画像生成部と、
前記入力バッファのバッファ破綻の有無を検出するバッファ監視部と、
前記バッファ監視部からバッファ破綻の有無の情報が入力され、前記出力バッファからの画像データまたは前記画像生成部からの特定画像データのいずれを出力するかを判断する出力画像制御部と、
前記出力画像制御部の判断に従って、前記出力バッファからの画像データまたは前記画像生成部からの特定画像データのいずれかを出力する出力画像選択部と、
を備え、
前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記バッファ監視部が前記入力バッファのバッファ破綻有りを検出したときに、前記出力画像制御部は、前記画像選択部を制御して前記画像生成部からの特定画像データを出力し、
前記画像生成部からの特定画像データを出力している状態において、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合には、前記出力画像制御部は、復帰条件を満たすと判断し、前記出力画像選択部を制御して前記ビデオデコーダからの画像データを出力し、
一方、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから前記所定時間経過前にバッファ破綻有りを検出した場合には、前記出力画像制御部は、前記復帰条件を満たさないと判断し、前記出力画像選択部を制御して前記画像生成部からの特定画像データを出力する
ことを特徴とする画像復号装置。
【請求項２】
請求項１記載の画像復号装置であって、
前記画像生成部からの特定画像データを出力している状態において、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合、且つ、前記ビデオデコーダにおいて所定のピクチャ数以上連続して復号エラーを検出することなくストリームデータを復号できた場合には、前記出力画像制御部は、前記復帰条件を満たすと判断し、前記出力画像選択部を制御して前記ビデオデコーダからの画像データを出力し、
一方、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過前にバッファ破綻有りを検出した場合、および／または、前記ビデオデコーダにおいて所定のピクチャ数復号前に復号エラーを検出した場合には、前記出力画像制御部は、前記復帰条件を満たさないと判断し、前記画像生成部からの特定画像データを出力する
ことを特徴とする画像復号装置。
【請求項３】
請求項１記載の画像復号装置であって、
前記バッファ監視部がバッファ破綻を検出したときに、前記ビデオデコーダは復号中ストリームのピクチャ終端またはスライス終端までエラーコンシールメント画像を前記出力バッファに出力し、
前記出力画像制御部は、前記出力バッファに蓄積されたすべての復号画像データが出力された後に、前記画像生成部からの特定画像データを出力する
ことを特徴とする画像復号装置。
【請求項４】
請求項１記載の画像復号装置であって、
前記復帰条件として、さらに、受信したストリームデータに含まれる時刻情報と、システムの基準時刻とのずれが予め定められた一定値以下の場合をさらに加え、
前記出力画像制御部は該復帰条件を満たすか否かを判断する
ことを特徴とする画像復号装置。
【請求項５】
請求項１記載の画像復号装置であって、
符号化されデジタル変調されたデータを受信し、復調して、ストリームデータを前記入力バッファに出力する受信復調部をさらに備え、
前記画像生成部からの特定画像データを出力している状態において、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出したときに、前記出力画像制御部は、前記復帰条件として、さらに、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になることを加え、
前記出力画像制御部は該復帰条件を満たすか否かを判断する
ことを特徴とする画像復号装置。
【請求項６】
請求項１に記載の画像復号装置であって、
さらに、前記出力画像制御部における判断条件を設定するための条件設定部を備え、
前記条件設定部には、前記所定時間経過までバッファ破綻が検出された否かを前記復帰条件のひとつに加えるか否かを設定するフラグ値と、前記所定時間経過までバッファ破綻が検出された否かを判断する際の経過時間設定値と、が設定され、
前記出力画像制御部は、前記条件設定部に設定された値に従い、前記復帰条件を判断することを特徴とする画像復号装置。
【請求項７】
請求項５に記載の画像復号装置であって、
さらに、前記出力画像制御部における判断条件を設定するための条件設定部を備え、
前記条件設定部には、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になるか否かを前記復帰条件のひとつに加えるか否かを設定するフラグ値と、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になるか否かを判断する際の誤り検出率値と、が設定され、
前記出力画像制御部は、前記条件設定部に設定された値に従い、前記復帰条件を判断することを特徴とする画像復号装置。
【請求項８】
請求項２記載の画像復号装置であって、
前記バッファ監視部がバッファ破綻を検出したときに、前記ビデオデコーダは復号中ストリームのピクチャ終端またはスライス終端までエラーコンシールメント画像を前記出力バッファに出力し、
前記出力画像制御部は、前記出力バッファに蓄積されたすべての復号画像データが出力された後に、前記画像生成部からの特定画像データを出力する
ことを特徴とする画像復号装置。
【請求項９】
請求項２記載の画像復号装置であって、
前記復帰条件として、さらに、受信したストリームデータに含まれる時刻情報と、システムの基準時刻とのずれが予め定められた一定値以下の場合をさらに加え、
前記出力画像制御部は該復帰条件を満たすか否かを判断する
ことを特徴とする画像復号装置。
【請求項１０】
請求項２記載の画像復号装置であって、
符号化されデジタル変調されたデータを受信し、復調して、ストリームデータを前記入力バッファに出力する受信復調部をさらに備え、
前記画像生成部からの特定画像データを出力している状態において、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出したときに、前記出力画像制御部は、前記復帰条件として、さらに、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になることを加え、
前記出力画像制御部は該復帰条件を満たすか否かを判断する
ことを特徴とする画像復号装置。
【請求項１１】
請求項２に記載の画像復号装置であって、
さらに、前記出力画像制御部における判断条件を設定するための条件設定部を備え、
前記条件設定部には、前記所定時間経過までバッファ破綻が検出された否かを前記復帰条件のひとつに加えるか否かを設定するフラグ値と、前記所定時間経過までバッファ破綻が検出された否かを判断する際の経過時間設定値と、が設定され、
前記出力画像制御部は、前記条件設定部に設定された値に従い、前記復帰条件を判断することを特徴とする画像復号装置。
【請求項１２】
請求項１０に記載の画像復号装置であって、
さらに、前記出力画像制御部における判断条件を設定するための条件設定部を備え、
前記条件設定部には、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になるか否かを前記復帰条件のひとつに加えるか否かを設定するフラグ値と、前記受信復調部における誤り検出率が一定時間以上連続して所定値以下になるか否かを判断する際の誤り検出率値と、が設定され、
前記出力画像制御部は、前記条件設定部に設定された値に従い、前記復帰条件を判断することを特徴とする画像復号装置。
【請求項１３】
請求項２記載の画像復号装置であって、
さらに、前記出力画像制御部における判断条件を設定するための条件設定部を備え、
前記条件設定部には、前記ビデオデコーダにおける所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できたか否かを前記復帰条件のひとつに加えるか否かを設定するフラグ値と、前記ビデオデコーダにおける所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できたか否かを判断する際の所定ピクチャ数設定値とが設定され、
前記出力画像制御部は、前記条件設定部に設定された値に従い、前記復帰条件を判断することを特徴とする画像復号装置。
【請求項１４】
受信したストリームデータを蓄積する入力バッファと、
エラーコンシールメント機能を有し、前記入力バッファで受信したストリームデータを復号するビデオデコーダと、
前記ビデオデコーダが復号した画像データを蓄積する出力バッファと、
を備えた画像復号装置における画像データ出力方法であって、
前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記入力バッファのバッファ破綻有りを検出したときに、特定画像データを出力し、
特定画像データを出力している状態において、前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合には、復帰条件を満たすと判断し、前記ビデオデコーダからの画像データを出力し、
一方、前記入力バッファのバッファ破綻無しを検出してから前記所定時間経過前にバッファ破綻有りを検出した場合には、前記復帰条件を満たさないと判断し、予め定められた特定画像データを出力する
ことを特徴とする画像データ出力方法。
【請求項１５】
請求項１記載の画像復号装置であって、
特定画像データを出力している状態において、前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合、且つ、前記ビデオデコーダにおいて所定のピクチャ数以上連続して復号エラーを検出することなくストリームデータを復号できた場合には、前記復帰条件を満たすと判断し、前記ビデオデコーダからの画像データを出力し、
一方、前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過前にバッファ破綻有りを検出した場合、および／または、前記ビデオデコーダにおいて所定のピクチャ数復号前に復号エラーを検出した場合には、前記復帰条件を満たさないと判断し、前記特定画像データを出力する
ことを特徴とする画像データ出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置および画像データ出力方法に係り、特に、圧縮符号化された動画像データを復号し、正常に復号できている状態の画像データと正常に復号できていない状態の画像データとを適切なタイミングで切り替えることを可能とした画像復号装置および画像データ出力方法に関する。
【背景技術】
【０００２】
近年、通信や放送の分野において、動画像データを扱うためにＭＰＥＧ−２、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ、ＶＣ−１などの多様な動画像符号化方式が利用されている。これらの符号化方式では、各ピクチャデータはマクロブロック（ＭＢ）と呼ばれる矩形領域に分割され、ＭＢ単位で符号化および復号化処理が行われる。ＭＰＥＧ−２、Ｈ．２６４やＶＣ−１規格では、輝度領域におけるＭＢは１６×１６画素の大きさであり、１つ以上のＭＢからスライスが構成され、さらに１つ以上のスライスからピクチャが構成される。また動画像データを伝送する場合には、ＭＰＥＧ−１システムやＭＰＥＧ−２  ＴＳが利用されることが多い。
このような符号化方式で圧縮符号化された動画像データを伝送する際に、伝送されるストリームデータにエラーが発生する場合がある。例えば無線でデータ伝送を行う場合、エラー要因として妨害波の発生等が考えられる。伝送エラーによって、ストリームデータにエラー発生した場合、動画像の復号はそこで不能となり、次に検出されたスライスまたはピクチャから復号を再開できる。エラーが発生したＭＢから次のスライスまたはピクチャ先頭ＭＢまでの領域は、復号処理を行うことができないため、正しい復号画像を表示できないエラー領域となる。
そこでエラー領域の画像データについて、視聴した場合になるべく不自然な画像にならないような処理を行うエラーコンシールメント手法が広く知られている。エラーコンシールメントは、一般に、例えば、動画像データ・音声データの一部のデータが欠落した際に、欠落したデータ以外の前または後または前後のデータ等からその欠落データを補完または修復する技術である。エラーコンシールメントとして、例えばエラー領域中の各ＭＢ画像データとして、直前のピクチャの同位置のＭＢ画像データをそのまま用いるなどの処理が行われる。他にも、周辺ＭＢの動きベクトルを参照し、より類似した画像と推測される領域のＭＢデータを利用するなど、様々なエラーコンシールメント手法が提案されている。
また伝送エラーが頻繁に発生するような状況では、何らかの要因で伝送路の通信状態が悪化していると考えられ、しばらくの期間、ストリームの受信そのものが不可能になることも考えられる。このような状態に陥った場合、一定条件のもとで一度動画像データの出力を停止するなどして、不自然な映像を表示し続けることを回避するという対応が考えられる。
例えば特許文献１では、ビデオデコーダの入力バッファ状態等からストリームの受信状態を推定し、受信状態が悪化していると判断した場合には、ストリーム受信不能処理としてビデオ表示をオフする方式が開示されている。
また特許文献２では、ストリームを受信できない期間は代替動画像を表示し、ストリーム受信不能期間が事前に設定された制限時間を超過した場合に、ストリーム受信不能処理を行う方式が開示されている。代替画像表示処理として、ＰＣ等で一般に利用されるスクリーンセイバーと同様な映像表示などが開示されており、またストリーム受信不能処理は特許文献２では開示されていないが、一般には例えばブラック、グレー、ブルー等の特定画像を出力する処理あるいは映像出力を停止する処理と考えることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３１９２７８号公報
【特許文献２】特開２００７−１８０７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１あるいは特許文献２では、ストリームを正常受信できている状態からストリームを受信できない状態に切り替わった場合の画像データ出力処理方法について述べている。しかしながらこれら文献では、ストリーム受信不能状態から、再びストリーム正常受信状態に切り替わった場合についての、画像データ出力処理方法について考慮されていない。すなわち特定画像出力等のストリーム受信不能処理に切り替わった直後に、再度ストリーム正常受信状態に戻った場合、ストリーム受信不能処理時の画面（表示オフ、ブラック、グレー、ブルー等）が非常に短い期間だけ表示され、すぐにビデオデコーダからの復号画像が表示されることとなる。さらに、比較的短い時間内においてストリーム正常受信状態と受信不能状態との切り替わりが間欠的に生じた場合、復号画像と受信不能時画像が頻繁に切り替わるような映像が出力される。特に無線伝送などにおいては、送信端末、受信端末の移動等に伴い伝送路状態が頻繁に変化し得るため、このような映像切り替えが頻発し得る。このような状態において画像復号装置から出力される映像は、復号画像と受信不能時画像の切り替えが頻繁に発生し、快適な視聴を妨げるような映像品質となってしまう。
また一方で、画像復号装置からの映像信号出力を中断させることが好ましくない応用例がある。映像信号出力の同期信号が断絶することにより、画像復号装置の出力側に接続されたシステム全体に影響を与える場合などである。こうした応用においては、特許文献１のようなビデオ表示オフ、すなわち映像信号出力を停止させるような装置構成は必ずしも適切ではない。またストリーム受信不能時に特定画像を出力させた場合、正常受信状態に戻った際には特定画像出力から復号画像出力に戻す必要がある。データ伝送にＭＰＥＧシステムを利用している場合、ストリーム内の専用パケットを利用して送信側と受信側でシステム基準時刻を同期させている。しかしストリーム受信不能期間が継続した場合、その間は送信側と受信側の間のシステム基準時刻の補正が正しく行えないことからシステム基準時刻にずれが発生し、これに伴い、受信不能時画像出力とデコード画像出力のタイミング（フレーム先頭位置出力のタイミング）がずれる可能性がある。
本発明は上記の課題に鑑み、圧縮符号化された動画像データを復号する際、ストリームの受信状態が変化する状況において、映像信号を継続的に出力しつつ、復号画像出力と受信不能時画像出力を適切なタイミングで切り替えることを可能とした画像復号装置および画像データ出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像復号装置は、例えば、伝送路符号化されデジタル変調されたストリームデータを受信し復調する受信復調手段と、復調したストリームデータを蓄積する入力バッファメモリ手段とエラーコンシールメント機能を有し、かつ復調したストリームデータを復号する復号手段と、復号した画像データを蓄積する出力バッファメモリ手段と、所定の画像データを生成する画像生成手段と、前記出力バッファメモリ手段からの画像データまたは前記画像生成手段からの画像データのいずれを出力するかを判断する出力画像制御手段と、前記出力画像制御手段の判断結果に従って、前記出力バッファメモリ手段からの画像データまたは前記画像生成手段からの画像データのいずれかを出力する出力画像選択手段とを有することができる。
本発明に係る画像復号装置では、入力バッファメモリ手段にバッファアンダフローまたはバッファオーバフローのいずれかのバッファ破綻が発生したか否かを検出するバッファ監視手段を有し、バッファ監視手段がバッファ破綻を検出したときに、出力画像制御手段は画像生成手段からの画像データを出力すると判断することができる。
本発明に係る画像復号装置では、バッファ監視手段がバッファ破綻を検出したときに、復号手段は復号中ストリームのピクチャ終端までエラーコンシールメント画像を出力バッファメモリ手段に出力し、出力画像制御手段は、出力バッファメモリ手段に蓄積されたすべての復号画像データが出力された後に、画像生成手段からの画像データを出力すると判断することができる。
本発明に係る画像復号装置では、画像生成手段からの画像データを出力している状態において、バッファ監視手段がバッファ破綻を検出しなかったときに、出力画像制御手段は、所定時間経過までバッファ監視手段がバッファ破綻を検出しなかった場合には、復号手段からの画像データを出力すると判断し、所定時間経過までにバッファ監視手段がバッファ破綻を検出した場合には、所定時間経過までバッファ監視手段がバッファ破綻を検出しなくなるまで画像生成手段からの画像データを出力すると判断することができる。
【０００６】
本発明に係る画像復号装置では、画像生成手段からの画像データを出力している状態において、バッファ監視手段がバッファ破綻を検出しなかったときに、出力画像制御手段は、受信復調手段における誤り検出率が一定時間以上連続して所定値以下になった場合には、復号手段からの画像データを出力すると判断し、受信復調手段における誤り検出率が一定時間経過前に所定値を超過した場合には、一定時間以上連続して誤り検出率が所定値以下になるまで画像生成手段からの画像データを出力すると判断することができる。
本発明に係る画像復号装置では、画像生成手段からの画像データを出力している状態において、バッファ監視手段がバッファ破綻を検出しなかったときに、復号手段によるストリームデータの復号を再開し、出力画像制御手段は、復号手段において所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できた場合には、復号手段からの画像データを出力すると判断し、復号手段において所定のピクチャ数復号前に復号エラーを検出した場合には、所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できるまで画像生成手段からの画像データを出力すると判断することを特徴とする。
本発明に係る画像復号装置では、さらに出力画像制御手段における判断条件を設定する条件設定レジスタと、条件レジスタに値を設定するための条件設定手段とを有し、条件設定レジスタには、出力画像制御手段において、所定時間経過までバッファ破綻が検出されたか否かを判断条件に加えるか否かを設定するフラグ値と、所定時間経過までバッファ破綻が検出されたか否かを判断する際の経過時間設定値と、復調手段における誤り検出率が一定時間以上連続して所定値以下になるか否かを判断条件に加えるか否かを設定するフラグ値と、復調手段における誤り検出率が一定時間以上連続して所定値以下になるか否かを判断する際の誤り検出率値と、復号手段における所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できたか否かを判断条件に加えるか否かを設定するフラグ値と復号手段における所定のピクチャ数以上連続して復号エラーを検出することなくストリームを復号できたか否かを判断する際の所定ピクチャ数設定値とを設定することができる。
【０００７】
本発明の第１の解決手段によると、
受信したストリームデータを蓄積する入力バッファと、
エラーコンシールメント機能を有し、前記入力バッファで受信したストリームデータを復号するビデオデコーダと、
前記ビデオデコーダが復号した画像データを蓄積する出力バッファと、
予め定められた特定画像データを出力する画像生成部と、
前記入力バッファのバッファ破綻の有無を検出するバッファ監視部と、
前記バッファ監視部からバッファ破綻の有無の情報が入力され、前記出力バッファからの画像データまたは前記画像生成部からの特定画像データのいずれを出力するかを判断する出力画像制御部と、
前記出力画像制御部の判断に従って、前記出力バッファからの画像データまたは前記画像生成部からの特定画像データのいずれかを出力する出力画像選択部と、
を備え、
前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記バッファ監視部が前記入力バッファのバッファ破綻有りを検出したときに、前記出力画像制御部は、前記画像選択部を制御して前記画像生成部からの特定画像データを出力し、
前記画像生成部からの特定画像データを出力している状態において、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合には、前記出力画像制御部は、復帰条件を満たすと判断し、前記出力画像選択部を制御して前記ビデオデコーダからの画像データを出力し、
一方、前記バッファ監視部が前記入力バッファのバッファ破綻無しを検出してから前記所定時間経過前にバッファ破綻有りを検出した場合には、前記出力画像制御部は、前記復帰条件を満たさないと判断し、前記出力画像選択部を制御して前記画像生成部からの特定画像データを出力する
ことを特徴とする画像復号装置が提供される。
【０００８】
本発明の第２の解決手段によると、
受信したストリームデータを蓄積する入力バッファと、
エラーコンシールメント機能を有し、前記入力バッファで受信したストリームデータを復号するビデオデコーダと、
前記ビデオデコーダが復号した画像データを蓄積する出力バッファと、
を備えた画像復号装置における画像データ出力方法であって、
前記入力バッファのバッファ破綻無しを検出したときに、前記ビデオデコーダは、ストリームデータを復号し、正常に復号できた場合は復号した画像データを前記出力バッファに出力し、一方、前記ビデオデコーダは、復号エラーを検出した場合はエラーコンシールメントデータを作成して前記出力バッファに出力し、
前記入力バッファのバッファ破綻有りを検出したときに、特定画像データを出力し、
特定画像データを出力している状態において、前記入力バッファのバッファ破綻無しを検出してから予め定められた所定時間経過後までバッファ破綻有りを検出しなかった場合には、復帰条件を満たすと判断し、前記ビデオデコーダからの画像データを出力し、
一方、前記入力バッファのバッファ破綻無しを検出してから前記所定時間経過前にバッファ破綻有りを検出した場合には、前記復帰条件を満たさないと判断し、予め定められた特定画像データを出力する
ことを特徴とする画像データ出力方法が提供される。
【発明の効果】
【０００９】
本発明によれば、例えば受信不能状態と受信可能状態が短期間で間欠的に発生するような状況において、ストリーム受信不能状態からストリーム受信可能状態に切り替わった際に、受信不能時画像出力から復号画像出力への切り替えタイミングを、システム要件に合わせて適切に調節しておくことにより、継続的に映像信号を出力しつつ、快適な視聴を妨げるような画面切り替え頻発が伴う映像データの出力を回避することが可能な画像復号装置および画像データ出力方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態による、復調器および画像復号装置の構成例を示すブロック図である。
【図２】第１の実施の形態による、出力画像選択処理の一例を示すステートチャート図である。
【図３】第１の実施の形態による、出力画像選択処理の一例を示すステートチャート図である。
【図４】第１の実施の形態による、画像復号装置の処理の流れの一例を示すフロー図である。
【図５】動画像圧縮符号化方式における、ピクチャの復号順と表示順との関係例を示す図である。
【図６】第１の実施の形態による、出力画像選択の条件判定の一例を示すフロー図である。
【図７】第１の実施の形態による、出力画像選択の条件判定の一例を示すフロー図である。
【図８】第２の実施の形態による、画像復号装置の処理の流れの一例を示すフロー図である。
【図９】第２の実施の形態による、出力画像選択の条件判定の一例を示すフロー図である。
【図１０】第２の実施の形態による、出力画像選択の条件判定の一例を示すフロー図である。
【図１１】第３の実施の形態による、復調器および画像復号装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を用いて説明する。
１．第１の実施の形態
まず、本発明を用いた第１の実施の形態について説明する。
図１は、本発明の第１の実施の形態に係る受信装置の構成を示すブロック図である。以下では、圧縮符号化された画像データがＭＰＥＧ−２  ＴＳに多重され、無線方式により送受信される場合を例に挙げて説明する。なお、ＭＰＥＧ−２形式に限定されず、これ以外にも適宜の形式に適用することができる。
図１に示す受信装置において、送信側から無線送信された信号はアンテナ１０により受信され、復調器２０に信号が出力される。復調器２０は受信した信号を復調し、ＭＰＥＧ−２  ＴＳパケット形式として画像復号装置３０に出力する。また復調器２０は、リード・ソロモン符号、ビタビ符号等の復調処理過程で得られる誤り検出率を画像復号装置３０に出力する。
画像復号装置３０に入力されたＭＰＥＧ−２  ＴＳは、まず多重分離部１００においてパケットの解析、多重分離が行われる。パケットのうち、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）、ＰＴＳ（Ｐｒｅｓｅｎｔ  Ｔｉｍｅ  Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）など時刻情報に関わるデータはシステム制御部１２０に出力され、画像ストリームデータは入力バッファ１１０に出力される。システム制御部１２０は、ＰＣＲ情報等の時刻情報を用いてデコーダ内部のシステム基準時刻の制御を行う。システム制御部１２０は、またＰＴＳあるいはＤＴＳ等の時刻情報にしたがい、デコード開始時刻になった場合に、ビデオデコーダ１３０に対してデコード開始制御を行う。また、システム制御部１２０は、送信側と受信側のシステム基準時刻の差分を時刻ずれ情報として出力画像制御部１７０に出力する。ビデオデコーダ１３０は、システム制御部１２０から指示されるタイミングで入力バッファ１１０から圧縮符号化されたストリームデータを取得し、デコード処理を開始する。デコードされた復号画像データは出力バッファ１４０に適宜蓄積される。出力バッファ１４０に蓄積された復号画像データは、出力画像選択部１９０に出力される。一方、画像生成部１５０は、出力画像制御部１７０から指示されるタイミングで所定の画像データを生成し、出力画像選択部１９０に出力する。所定の画像データは、例えばカラーバー、ブラック、グレー、ブルー、グリーン、等のストリーム受信不能時等を表すための画像データである。出力画像選択部１９０は、出力画像制御部１７０からの制御信号にしたがい、出力バッファ１４０または画像生成部１５０からの入力画像データを選択し、Ｉ／Ｆ部２００に出力する。Ｉ／Ｆ部２００では、画像復号装置３０の後段に接続される機器とのインタフェースに適合した信号が生成され、画像復号装置３０の外部に出力される。例えば本画像復号装置３０がハイビジョン映像を復号するものであり、後段にさらに通信路が接続されている場合、ＨＤ−ＳＤＩ信号への変換などが行われる。
【００１２】
バッファ監視部１６０は、入力バッファ１１０の状態を監視し、バッファアンダフローまたはバッファオーバフローという入力バッファ破綻発生の有無を監視する。ここで、例えば、ビデオデコーダ１３０が入力バッファ１１０から所定量のストリームデータを取得しようとした際に、入力バッファ１１０に保持されているストリームデータ量が前記所定量を下回っている場合をバッファアンダフロー発生とすることができる。また、例えば、多重分離部１００がストリームデータを入力バッファ１１０に書き込む際に、書き込むストリームデータ量と既に入力バッファ１１０に保持されているストリームデータ量の総和が入力バッファ１１０のバッファサイズを超過した場合をバッファオーバフロー発生とすることができる。出力画像制御部１７０は、復調器２０からの誤り検出率、バッファ監視部１６０からのバッファ破綻発生有無情報、システム制御部１２０からのシステム基準時刻のずれ情報、タイマ１８０からの時間情報に応じて、出力画像選択部１９０に対する選択制御信号を生成する。
【００１３】
図２乃至図３は、画像復号装置３０が出力画像切り替えを行う際のステートチャート図である。以下に、これらを用いて出力画像切り替え条件について説明する。
まず図２を用いて説明する。画像復号装置３０が起動されると、画像復号装置３０は最初にビデオデコーダ出力状態３１０内の復号画像出力状態３２０となる。これは出力画像選択部１９０において、出力バッファ１４０からのデータがＩ／Ｆ部２００への出力として選択されている状態である。この状態でビデオデコーダ１３０が復号エラーを検出した場合、画像復号装置３０はコンシール画像出力Ａ状態３３０に遷移する。この状態では、エラー領域内ではビデオデコーダ１３０がコンシールＭＢ画像データを生成して出力バッファ１４０に出力する。復号エラー検出の一例としては、ストリームで検出された可変長符号が、符号化規格の可変長符号表に定義されていない、ＤＣＴ（離散コサイン変換）係数の数が、画像ブロックサイズから期待される値と一致しない、等の組み合わせが考えられる。コンシールＭＢ画像データ生成方法の一例としては、直前に表示したピクチャの当該ＭＢ位置データをコンシールＭＢ画像データとして用いる、参照ピクチャの当該ＭＢ位置データをコンシールＭＢ画像データとして用いる、すなわち動きベクトル値ゼロのＭＢとして扱う、等の様々な処理方法が考えられる。コンシール画像出力Ａ状態３３０でビデオデコーダ１３０が当該スライスまたはピクチャの終端までコンシールＭＢ画像データの出力を終え、入力バッファ１１０から次のスライス境界またはピクチャ境界データを取得できた場合、画像復号装置３０は復号画像出力状態３２０に戻る。ビデオデコーダ出力状態３１０では、ビデオデコーダ１３０の内部状態は変化するが、出力画像選択部１９０では出力バッファ１４０からのデータ出力が常に選択される。
ビデオデコーダ出力状態３１０において、バッファ監視部１６０が入力バッファ１１０のバッファ破綻発生を検出した場合、画像復号装置３０は所定画像出力状態３４０の画像生成部出力状態３６０に遷移する。これは出力画像選択部１９０で、画像生成部１５０からのデータ出力が選択されている状態である。所定画像出力状態３４０において、入力バッファ１１０のバッファ破綻状態が解消し、かつビデオデコーダ出力復帰条件を満たした場合に、画像復号装置３０はビデオデコーダ出力状態３１０の復号画像出力状態３２０に遷移する。ビデオデコーダ出力復帰条件の詳細については後述する。
このように、ビデオデコーダ出力状態３１０から所定画像出力状態３４０への遷移条件と、所定画像出力状態３４０からビデオデコーダ出力状態３１０への遷移条件とを非対称とすることにより、適切なタイミングでビデオデコーダ１３０の復号画像出力へ復帰させることができる。
【００１４】
また別の例として図３に示すような出力画像切り替え条件を用いてもよい。この例では、復号画像出力状態３２０において、ビデオデコーダ１３０が復号エラーを検出した場合、画像復号装置３０はコンシール画像出力Ａ状態３３０に遷移する。コンシール画像出力Ａ状態３３０で、ビデオデコーダ１３０が当該スライス終端またはピクチャ終端までコンシールＭＢ画像データを出力し終え、入力バッファ１１０から次のスライス境界またはピクチャ境界データを取得できた場合、画像復号装置３０は復号画像出力状態３２０に遷移する。
復号画像出力状態３２０またはコンシール画像出力Ａ状態３３０において、バッファ監視部１６０が入力バッファ１１０のバッファ破綻発生を検出した場合、画像復号装置３０はコンシール画像出力Ｂ状態３７０に遷移する。コンシール画像出力Ｂ状態３７０では、ビデオデコーダ１３０が当該ピクチャのピクチャ終端（またはスライス終端）までコンシールＭＢ画像データを出力し終えると、画像復号装置３０は所定画像出力状態３４０に遷移する。所定画像出力状態３４０内部では、まずバッファ内データ出力状態３５０に遷移する。この状態では、出力バッファ１４０に蓄積された画像データがすべて出力されるまで、出力画像選択部１９０において出力バッファ１４０からのデータが選択されるように、出力画像選択部１７０が選択制御信号を出力する。これはストリームがＢピクチャを含む際における復号画像の並び換えなどの要因により、出力バッファ１４０に複数ピクチャ（または複数のスライス）の画像データが蓄積されている場合があるためである。出力バッファ１４０に蓄積されているデータが出力されると、画像復号装置３０は画像生成部出力状態３６０に遷移する。これは、出力画像選択部１９０で、画像生成部１５０からのデータ出力が選択されている状態である。画像生成部出力状態３６０において、入力バッファ１１０のバッファ破綻状態が解消し、かつビデオデコーダ出力復帰条件を満たした場合に、画像復号装置３０はビデオデコーダ出力状態３１０の復号画像出力状態３２０に遷移する。ビデオデコーダ出力復帰条件の詳細については後述する。
【００１５】
図４は出力画像切り替えタイミングを含めた、画像復号装置３０の処理の流れを示したフロー図である。図３のステートチャートに対応した処理フローを示しており、本フロー図を用いて処理の流れについて説明する。
画像復号装置３０が動作を開始すると、入力されたＭＰＥＧ−２  ＴＳパケットは多重分離部１００で多重分離処理が行われる。多重分離後の画像ストリームデータは入力バッファ１１０に蓄積され始め、ＰＣＲ、ＰＴＳ、ＤＴＳ等の時刻情報はシステム制御部１２０に入力されて時刻情報の制御が開始される。時刻情報制御開始後、システム情報制御部１２０は、ＰＣＲ等の時刻情報から算出したシステム時刻ずれ情報を出力画像制御部１７０に継続的に出力する。システム制御部１２０はＰＴＳあるいはＤＴＳ等の時刻情報にしたがってビデオデコーダ１３０にデコード開始を指示し、ビデオデコーダ１３０は入力バッファ１１０からストリームデータを取得する（ステップ４１０）。次にステップ４２０では、バッファ監視部１６０が入力バッファ１１０の破綻発生有無を出力画像制御部１７０に出力する。バッファ監視部１６０は入力バッファ状態を常に監視しておき、前記ステップ４１０のストリームデータ取得による入力バッファアンダフローが発生した場合か、あるいは前回のストリームデータ取得と今回のストリームデータ取得との間の期間に、入力バッファオーバフローが発生した場合に、入力バッファ破綻が発生したものと判定し、それ以外の場合にはバッファ破綻が発生しなかったものと判定する。
【００１６】
ステップ４２０でバッファ破綻が発生していないと判定された場合、ビデオデコーダ１３０はシーケンスヘッダ、ピクチャヘッダ、スライスヘッダ等のヘッダ情報を復号し（ステップ４３０）、続いてストリーム内の１ＭＢ分のデータを復号する（ステップ４４０）。１ＭＢ分のストリームデータを正常に復号できた場合（ステップ４５０のＮｏ）、１ＭＢ分の復号画像データを出力バッファ１４０に出力する（ステップ４６０）。ビデオデコーダ１３０は、ステップ４４０で復号したＭＢが、取得したストリームデータにおける終端ＭＢであるか否か、すなわちスライス終端またはピクチャ終端のＭＢであるか否かを判定し（ステップ４７０）、終端ＭＢでない場合はステップ４４０に戻り、後続ＭＢのデコード処理を継続し、終端ＭＢである場合は、ストリームデータ取得（ステップ４１０）に戻る。ステップ４４０においてビデオデコーダ１３０がＭＢデータ復号中に復号エラーを検出した場合（ステップ４５０のＹｅｓ）、そのＭＢはエラーＭＢとして出力バッファ１４０にコンシールＭＢ画像データを出力する（ステップ４８０）。ステップ４４０で、ビデオデコーダ１３０はデコードしたＭＢが、取得したストリームデータにおける終端ＭＢであるか否か、すなわちスライス終端またはピクチャ終端のＭＢであるか否かを判定し（ステップ４９０）、終端ＭＢでない場合は、後続ＭＢもエラーＭＢとして扱いコンシールＭＢデータの出力を継続し（ステップ４８０）、終端ＭＢである場合は、ストリームデータ取得（ステップ４１０）に戻る。
一方、ステップ４２０でバッファ監視部１６０がバッファ破綻発生を検出した場合、ビデオデコーダ１３０はピクチャ境界判定を行い出力画像制御部１７０にその結果を通知する（ステップ５１０）。すなわちビデオデコーダ１３０は直前に出力バッファ１４０に出力したＭＢデータが、ピクチャ終端ＭＢのデータであるか否かを判定し、出力画像制御部１７０に結果を通知する。ピクチャ終端ＭＢであった場合、出力画像制御部１７０は入力バッファ１１０をクリアし、ビデオデコーダ１３０をリセットする（ステップ５３０）。ピクチャ終端ではない場合、ビデオデコーダ１３０は当該ピクチャの終端までコンシールＭＢ画像データを出力バッファ１４０に出力し（ステップ５２０）、出力画像制御部１７０は入力バッファ１１０のクリアとビデオデコーダ１３０のリセットを行う（ステップ５３０）。ステップ５２０におけるコンシールＭＢ画像データ生成方法は、ステップ４８０で実施した方式と同様でよい。
【００１７】
次に出力画像制御部１７０は、特定画像出力開始処理を行う（ステップ５４０）。この処理は、出力バッファ１４０に蓄積されたすべてのピクチャデータをＩ／Ｆ部２００に出力後、出力画像制御部１７０が出力画像選択部１９０の選択制御信号を画像生成部１５０側に切り替え、画像生成部１５０を起動して画像生成を開始させ、Ｉ／Ｆ部２００に対する特定画像出力を開始する、という一連の動作を示す。特定画像出力開始後、出力画像制御部１７０は、タイマ１８０をスタートさせる（ステップ５５０）。その後、システム制御部１２０からのタイミングにしたがって、ビデオデコーダ１３０が入力バッファ１１０からストリームデータを取得する（ステップ５６０）。バッファ監視部１６０は入力バッファ１１０のバッファ破綻発生有無について、出力画像制御部１７０に出力する（ステップ５７０）。バッファ破綻が発生したものと判定された場合、出力画像制御部１７０はタイマ１８０をクリアし再スタートさせる（ステップ５５０）。バッファ監視部１６０が入力バッファ１１０のバッファ破綻発生を検出していない場合、ビデオデコーダ１３０はヘッダ情報の復号を行い（ステップ５８０）、取得したストリームデータがピクチャ先頭ＭＢからのデータであるか否かを判定する（ステップ５９０）。ピクチャ先頭ＭＢからのデータではない、すなわちピクチャ途中のスライスデータである等の場合は、ストリームデータ取得（ステップ５６０）に戻る。
取得したストリームデータがピクチャ先頭ＭＢからのデータである場合、出力画像制御部１７０は画像復号装置３０の出力を画像生成部１５０の出力からビデオデコーダ１３０の出力へ復帰させる条件を満たしているか否かを判定する（ステップ６００）。ステップ６００における復帰条件判定の詳細は、図４乃至図５を用いて後述する。復帰条件を満たしていない場合は、ストリームデータ取得（ステップ５６０）に戻る。復帰条件を満たす場合、出力画像制御部１７０はタイマ１８０の停止、カウンタ値のリセットを行い（ステップ６１０）、特定画像出力停止処理を行う（ステップ６２０）。この処理は、現在画像生成部１５０が出力しているピクチャを含め、Ｎ（Ｎ≧１）ピクチャ分のデータをＩ／Ｆ部２００に出力後、出力画像制御部１７０がピクチャ境界において画像生成部１５０の動作を停止させ、出力画像選択部１９０の出力を出力バッファ１４０側に切り替えて、次ピクチャからはビデオデコータ１３０からの復号画像を出力させる処理である。ここで出力切り替えまでのピクチャ数Ｎは、画像復号装置３０のシステム全体および処理対象ストリームの構成等に依存する値であり、計算もしくは事前に値を設定しておく必要がある。
【００１８】
ここで、図５に、動画像圧縮符号化方式における、ピクチャの復号順と表示順との関係例を示す。例えば処理ストリームがＩピクチャ（画面内予測ピクチャ）、Ｐピクチャ（片方向予測ピクチャ）、Ｂピクチャ（双方向予測ピクチャ）のすべてピクチャタイプを含む場合、図５に示すように、一般に、復号順と表示順が異なるため、複数枚のピクチャが復号されるまで復号画像を出力できず、またＰピクチャおよびＢピクチャのデータが正しく復号されるためには、あらかじめＩピクチャが復号されていなければならない。ステップ５６０で取得したデータが、ＰピクチャあるいはＢピクチャのデータであった場合、次のＩピクチャ復号までさらに出力バッファ１４０側への切り替えを待たせる必要がある。なおＩピクチャ間隔は通常事前に判明している、あるいは正常受信できていた時点から変化することがないため、これら情報から次のＩピクチャ到着までのピクチャ数を算出することは容易である。
特定画像出力停止処理を行った後、正常復号状態のＭＢデコード処理（ステップ４４０）に戻る。ここで、上述したように出力画像制御部１７０は画像生成部１５０からのデータが選択された状態になっている可能性があり、ステップ４４０のＭＢデコード処理以降の処理と並行して、上述の条件に合致する適切なタイミングで、画像出力制御部１７０は画像出力選択部１９０に対する選択制御信号切り替えを行う。また、特定画像出力停止処理（ステップ６２０）実行後、画像出力選択部１９０のデータ選択が出力バッファ１４０側に戻っていない状態で、再度バッファ破綻が発生し、ステップ５１０以降の処理が実行される場合は、入力バッファ／デコーダリセット（ステップ５３０）処理において、「Ｎフレーム後に特定画像出力停止」の条件をリセットするものとする。
【００１９】
図６乃至図７を用いて、ステップ６００における復帰条件判定処理について説明する。
図６は復帰条件判定処理の一例を示すフロー図である。出力画像制御部１７０は、システム制御部１２０から入力されるシステム基準時刻のずれが、一定の値を下回っているか否かを判定する（ステップ７１０）。一定値を上回る場合は、復帰条件を満たしていないと判定し（ステップ７４０）、判定処理を終了する。一定値を下回る場合、出力画像制御部１７０は、タイマ１８０のカウンタ値が事前に設定された一定の値を上回っているか否かを判定する（ステップ７２０）。一定値を下回る場合は、復帰条件を満たしていないと判定し（ステップ７４０）、一定値を上回る場合は、復帰条件を満たしていると判定し（ステップ７３０）、判定処理を終了する。本例では、ストリーム取得可能状態になっても、一定期間は画像生成部１５０からの特定画像データを画像復号装置３０の外部へ出力するように動作させることで、出力画像選択部１９０の切り替えが頻繁に発生して、快適な視聴を妨げるような映像データが出力されることを防ぐ。
また図７は、別の復帰条件判定処理の一例を示すフロー図である。出力画像制御部１７０は、システム制御部１２０から入力されるシステム基準時刻のずれが、一定の値を下回っているか否かを判定する（ステップ８１０）。一定値を上回る場合は、復帰条件を満たしていないと判定し（ステップ８５０）、判定処理を終了する。一定値を下回る場合、出力画像制御部１７０は、タイマ１８０のカウンタ値が事前に設定された一定の値を上回っているか否かを判定する（ステップ８２０）。一定値を下回る場合は、復帰条件を満たしていないと判定し（ステップ８５０）、判定処理を終了する。一定値を上回る場合、出力画像制御部１７０は、復調器２０から入力される誤り検出率を参照する。過去一定期間の誤り検出率の推移を監視しておき、その期間、誤り検出率が事前に設定された一定の値を常に下回っていたか否かを判定する（ステップ８３０）。一定値を上回ることがあった場合は、復帰条件を満たしていないと判定し（ステップ８５０）、常に一定値を下回る場合は、復帰条件を満たしていると判定し（ステップ８４０）、判定処理を終了する。
本例では、さらに復調処理における誤り検出率から伝送路の状況を推定し、伝送路状態がある一定水準を超えているか否かの判定を復帰条件に組み込んだ例である。
図６で示した復帰条件判定処理を用いる場合などは、復調器２０の誤り検出率を利用しないため、復調器２０および画像復号装置３０の間においてそのデータの伝送を行わなくてもよい。
【００２０】
なお、画像復号装置３０における出力バッファ１４０は、本実施の形態を適用しない構成に比べ、バッファ量を増加させる必要がある場合がある。上述の復帰条件判定において述べた、許容するシステム基準時刻のずれ（ステップ７１０またはステップ８１０）に応じた分だけバッファ量を増加させる必要があり、たとえば３０フレーム／秒のストリームを処理する画像復号装置において約８ミリ秒の時刻ずれを許容する場合、追加バッファ量は少なくとも０．５フィールド分必要となる。
【００２１】
２．第２の実施の形態
続いて本発明を用いた第２の実施の形態について説明する。第１の実施の形態と異なる点は、出力画像切り替えタイミングを含めた、画像復号装置の処理の全体の流れおよび復帰条件判定処理である。装置の構成は第１の実施の形態と同様である。
図８は、出力画像切り替えタイミングを含めた、画像復号装置３０の処理の流れを示したフロー図である。図８のフロー図において、ストリームデータ取得（ステップ１０１０）から一連のＭＢ復号処理（ステップ１０７０またはステップ１０９０）まで、ならびにステップ１０２０におけるバッファ破綻発生確認後、ピクチャ境界判定（ステップ１１１０）から特定画像出力開始処理後のヘッダ情報デコード処理（ステップ１１８０）までは、第１の実施の形態におけるフロー（図４）における、対応する一連の処理（ステップ４１０からステップ４７０またはステップ４９０、ならびにステップ４２０からステップ５８０まで等）と同様のフローである。本実施の形態では、ビデオデコーダ１３０がヘッダ情報デコード（ステップ１１８０）後、ＭＢデコード処理（ステップ１１９０）を開始する。復号エラー発生時処理を含めた、ＭＢデコード処理（ステップ１１９０）からスライス／ピクチャ終端判定処理（ステップ１２２０またはステップ１２４０）までの一連の処理は、バッファ破綻非発生時動作における一連のＭＢ復号処理（ステップ１０４０からステップ１０７０、ステップ１０９０）と同様のフローである（図４における、ステップ４５０からステップ４７０、ステップ４９０参照）。
ビデオデコーダ１３０がストリームデータにおける終端ＭＢデータを出力した場合（ステップ１２２０またはステップ１２４０でＹｅｓの場合）、出力画像制御部１７０は、画像復号装置３０の出力を、画像生成部１５０の出力からビデオデコーダ１３０の出力へ復帰させる条件を満たしているか否かを判定する（ステップ１２５０）。復帰条件判定の詳細は、図７乃至図８を用いて後述する。復帰条件を満たしていない場合は、ストリームデータ取得（ステップ１１６０）に戻る。復帰条件を満たす場合、出力画像制御部１７０はタイマ１８０の停止、カウンタ値のリセットを行い（ステップ１２６０）、特定画像出力停止処理を行う（ステップ１２７０）。この処理は図４におけるステップ６２０と同様、現在画像生成部１５０が出力しているピクチャを含め、Ｎ（Ｎ≧１）ピクチャ分のデータをＩ／Ｆ部２００に出力後、出力画像制御部１７０がピクチャ境界において画像生成部１５０の動作を停止させ、出力画像選択部１９０の出力を出力バッファ１４０側に切り替えて、次ピクチャからはビデオデコータ１３０からの復号画像を出力させる処理である。
第２の実施の形態では、ストリームデータ受信再開後すぐにビデオデコーダ１３０がヘッダ情報デコード１１８０、ＭＢデコード１１９０という画像復号処理を再開するため、出力画像選択部１９０の出力を、画像生成部１５０側から出力バッファ１４０側に切り替えまでに要する期間を低減できる利点がある。なお第２の実施の形態において、画像生成部１５０からの特定画像データを出力中であり、かつビデオデコーダ１３０が復号処理を行っている状態（ステップ１１８０からステップ１２６０の間）においては、出力画像制御部１７０が、出力バッファ１４０に蓄積される復号画像データを適宜破棄させる。
【００２２】
次に図９乃至図１０を用いて、ステップ１２５０における復帰条件判定処理について説明する。
図９は、復帰条件判定処理の一例を示すフロー図である。出力画像制御部１７０は、システム制御部１２０から入力されるシステム基準時刻のずれが、一定の値を下回っているか否かを判定する（ステップ１３１０）。一定値を上回る場合は、復帰条件を満たしていないと判定し（ステップ１３５０）、判定処理を終了する。一定値を下回る場合、出力画像制御部１７０は、タイマ１８０のカウンタ値が、事前に設定された一定の値を上回っているか否かを判定する（ステップ１３２０）。一定値を下回る場合は、復帰条件を満たしていないと判定し（ステップ１３５０）、判定処理を終了する。一定値を上回る場合、出力画像制御部１７０は、ビデオデコーダ１３０がピクチャを過去一定数以上連続して復号エラーなくデコードできているか否かを判定する（ステップ１３３０）。復号エラーが発生していた場合、復帰条件を満たしていないと判定し（ステップ１３５０）、一定数以上のピクチャを連続して復号エラーなく正常にデコードできていた場合、復帰条件を満たしていると判定し（ステップ１３４０）、判定処理を終了する。
また、図１０は、別の復帰条件判定処理の一例を示すフロー図である。出力画像制御部１７０は、システム制御部１２０から入力されるシステム基準時刻のずれが、一定の値を下回っているか否かを判定する（ステップ１４１０）。一定値を上回る場合は、復帰条件を満たしていないと判定し（ステップ１４６０）、判定処理を終了する。一定値を下回る場合、出力画像制御部１７０は、タイマ１８０のカウンタ値が、事前に設定された一定の値を上回っているか否かを判定する（ステップ１４２０）。一定値を下回る場合は、復帰条件を満たしていないと判定し（ステップ１４６０）、判定処理を終了する。一定値を上回る場合、出力画像制御部１７０は、ビデオデコーダ１３０がピクチャを過去一定数以上連続して復号エラーなくデコードできているか否かを判定する（ステップ１４３０）。復号エラーが発生していた場合、復帰条件を満たしていないと判定し（ステップ１４６０）、判定処理を終了する。一定数以上のピクチャを連続して復号エラーなくデコードできていた場合、出力画像制御部１７０は、復調器２０から入力される誤り検出率を参照する。過去一定期間の誤り検出率の推移を監視し、その期間、誤り検出率が事前に設定された一定の値を常に下回っていたか否かを判定する（ステップ１４４０）。  一定値を上回ることがあった場合は、復帰条件を満たしていないと判定し（ステップ１４６０）、常に一定値を下回る場合は、復帰条件を満たすと判定し（ステップ１４５０）、判定処理を終了する。
いずれの復帰条件判定においても、タイマ１８０のカウンタ値のチェックに加え、異なる条件判定処理を加えることにより、短時間の間に再度バッファ破綻が発生して出力画像選択部１９０の切り替えが発生することを防ごうとするものである。
またあるいは、第１の実施の形態において述べた図６あるいは図７に示した復帰条件判定処理を用いるなどしてもよい。
【００２３】
３．第３の実施の形態
続いて本発明を用いた第３の実施の形態について説明する。図１１は、第３の実施の形態に係る受信装置の構成を示すブロック図である。条件設定手段２１０ならびに条件設定レジスタ２２０（条件設定部）を備える点において、第１乃至第２の実施の形態と異なる。
条件設定レジスタ２２０には、ステップ６００あるいはステップ１２５０で示した、デコーダ画像出力への復帰条件判定処理の各判定条件をユーザが設定できる。条件設定レジスタ２２０には、システム基準時刻ずれチェックのオン・オフ、許容するシステム基準時刻ずれ量の大きさ、タイマカウンタ値チェックのオン・オフ、閾値とするタイマカウンタの設定値、連続正常デコードピクチャ数チェックのオン・オフ、閾値とする連続正常デコードピクチャ数の設定値、誤り検出率チェックのオン・オフ、閾値とする誤り検出率の設定値、のいずれかまたは複数またはすべてを設定できるものとし、これらの設定が出力画像制御部１７０にて行われる復帰条件判定処理に反映される。
例えば図１０に示した復帰条件判定フローを用いた場合に、条件設定レジスタ２２０で誤り検出率チェックをオフ、その他のチェックをオンと設定した場合には、動作上は出力画像制御部１７０では図９に示したフローと同等の復帰条件判定処理が行われることとなる。また例えば上記のチェックをすべてオフと設定した場合、ステップ６００またはステップ１２５０において復帰条件判定結果が必ず“Ｙｅｓ”となるため、バッファ破綻が解消した時点ですぐに復号に復帰できるシステムとすることも可能である。またシステム基準時刻ずれチェックは、例えばエンコーダ側とデコーダ側が有線で接続され、かつ、外部の別システムにより基準クロックが供給されている場合などは省略しても動作に影響を与えないため、チェックを“オフ”しても問題ない。また例えば閾値とするタイマカウンタの設定値を大きく設定することにより、復帰判断の確からしさをより向上させることなどが可能である。
このように、復帰条件判定処理における各判定ステップの実施有無、およびチェック時の比較値等を設定可能とすることにより、適用先のシステム要件に適合する最適な画像復号装置を提供できる。
この設定は例えば出力画像制御部１７０の動作をマイクロコンピュータによるソフトウェアプログラムで記述し、ユーザ設定レジスタ２２０の設定値をマイクロコンピュータのＩ／Ｏレジスタに反映させ、当該ソフトウェアプログラムでそのＩ／Ｏレジスタ値を読み取ることにより、ソフトウェアプログラムでの復帰条件判定処理に設定を反映させることは容易に実現可能である。
【００２４】
以上の説明から明らかなように、本実施の形態によれば、入力バッファ破綻等の要因により、画像復号装置の出力をビデオデコーダ画像出力から所定画像出力に切り替えた後、再度ビデオデコーダ画像出力に切り替える際に、所定画像出力を一定時間以上継続させること、一定時間ピクチャを正常復号できることを確認すること、および／または、復調における誤り検出率が一定値以下に収束することを確認すること、などを切り替え条件に加えることで、ビデオデコーダ画像出力から所定画像出力への切り替え条件と、所定画像出力からビデオデコーダ画像出力への切り替え条件を非対称な構成とすることにより、直後に再びビデオデコーダ画像から所定画像出力に切り替わることを防ぐことで、頻繁な画像切り替え発生を防ぐことを実現できる。したがって、継続的に映像信号を出力しつつ、快適な視聴を妨げるような頻繁な画面切り替え発生が伴う映像が出力されることのない、画像復号装置を提供することができる。
【産業上の利用可能性】
【００２５】
本発明は、ＭＰＥＧ−２の他にも、他の各種ＭＰＥＧまたはその他の適宜の動画像符号化方式に適用することができる。さらに、本発明は、無線伝送された画像データの他にも有線伝送された画像データにも適用可能である。
【符号の説明】
【００２６】
１０・・・アンテナ
２０・・・復調器
３０・・・画像復号装置
１００・・・多重分離部
１１０・・・入力バッファ
１２０・・・システム制御部
１３０・・・ビデオデコーダ
１４０・・・出力バッファ
１５０・・・画像生成部
１６０・・・バッファ監視部
１７０・・・出力画像制御部
１８０・・・タイマ
１９０・・・出力画像選択部
２００・・・Ｉ／Ｆ部
２１０・・・条件設定手段
２２０・・・条件設定レジスタ
【図１】
2010166140.tif 000003
【図２】
2010166140.tif 000004
【図３】
2010166140.tif 000005
【図４】
2010166140.tif 000006
【図５】
2010166140.tif 000007
【図６】
2010166140.tif 000008
【図７】
2010166140.tif 000009
【図８】
2010166140.tif 000010
【図９】
2010166140.tif 000011
【図１０】
2010166140.tif 000012
【図１１】
2010166140.tif 000013