(57)【要約】【課題】受信すべきデータが受信できず情報が欠損した場合であって、ＩＤＲピクチャといった復号器の復号動作をリフレッシュする情報を長時間受信できない場合に、ユーザに心理的負担がかからないようにする。【解決手段】代替動画像生成部２２は復号部１９が正常に復号再生できなくなった場合に、その時点からリフレッシュ画像を受信して復号動作が復帰するまでの間、代替の動画像を生成して表示部２３に出力する。また、代替の動画像と共に、文字メッセージを表示部２３に出力する。【選択図】図１
2007180759.tif 000002
【特許請求の範囲】
【請求項１】
動き補償予測を用いて圧縮符号化された動画像データを受信して復号再生する復号再生手段を備えた動画像再生装置において、
受信した動画像データが欠損して前記復号再生手段が正常に復号再生できなくなった場合に、その時点から復号再生動作をリフレッシュするためのリフレッシュ画像を受信して復号動作が復帰するまでの間、代替の動画像を表示する表示手段を、
備えたことを特徴とする動画像再生装置。
【請求項２】
前記代替の動画像は、既に受信して正常に復号再生した動画像の画素値、又は動きベクトル、又は前記動きベクトルから予測した動きベクトルに基づいて生成することを特徴とする請求項１に記載の動画像再生装置。
【請求項３】
前記代替の動画像と共に、文字メッセージを前記表示手段に出力することを特徴とする請求項１又は２に記載の動画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルテレビジョン放送（例えば地上デジタルテレビジョン１セグメント放送）などにおいて動き補償予測を用いて圧縮符号化された動画像データを受信して復号再生する動画像再生装置に関し、特に正常に復号再生できなくなった場合の表示方法に関する。
【背景技術】
【０００２】
下記の特許文献１によれば、誤りによって再生できなかった部分の画像を前に正しく復号された画像データで置き換えたり、前後の復号画像から内挿すると、その部分とそうでない部分とで時間的にずれた画像となるという問題を解決するために、画像データをスタートコードとマッチングしてエラー判定し、エラーの場合には区間を推定して好みの画像や固定値の置換データを発生させ、発生した置換データを画像メモリ中の復号画像データと置き換えて表示させる方法が述べられている。
【０００３】
下記の非特許文献１には、地上デジタルテレビジョン１セグメント放送運用規定について、他のピクチャの情報を参照することなく復号可能なＩＤＲ（Instantaneous Decoder Refresh：復号装置の復号動作の瞬時リフレッシュ）ピクチャの挿入間隔は最大で５秒（通常は２秒間隔）と定められている。つまり、受信する放送チャンネルの選択を切り替えた場合や、受信状況の障害その他の要因によりデータの受信が途切れた際の復号器の動作復帰に、最悪で５秒間必要となる場合があることになる。
【特許文献１】特開平８−１８９８０号公報（要約書）
【非特許文献１】電波産業会「ＡＲＩＢ  ＴＲ−Ｂ１４地上デジタルテレビジョン放送運用規定技術資料」（第５章モノメディア運用規定）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の特許文献１では置換データの発生方法については好みの画像や固定値でよいとしているが、これはデータ欠損が続いたり、正常に復号動作可能なデータが受信されるまでの期間、同一の画像を出力することを意味しており、それにより動画像再生装置の画像再生動作が止まったように見えてしまう可能性を吟味していない。
【０００５】
一方、正常な復号動作復帰までの時間を鑑みると、非特許文献１の地上デジタルテレビジョン１セグメント放送の場合には、ユーザは所望する動画像の再生を最大５秒間待たされることになる。このような場合でも視聴するユーザに心理的負担を呼び起こさせないために、何らかの表示を行うことが考えられる。望ましいと考えられるのは受信・再生装置の側で既に復号した過去の復号情報を基に受信データ欠落部の画像を予測・生成し、これを再生して見かけ上データが受信されているように隠蔽する方法であるが、こうして代替した画像は符号器側の意図する画像と一致せずにずれを生じる場合が多く、この場合、ずれの生じた部分がブロック状に表示される不自然な画像として確認される。さらにこの画像を参照して次の画像を復号し続けると、ずれの情報が時間的及び画像空間的に伝播していく。地上デジタルテレビジョン１セグメント放送の場合では復号動作のリフレッシュを行わせるＩＤＲピクチャの間隔が最大５秒と長く、上記の方法では完全な隠蔽は困難と考えられる。そこで隠蔽する代わりに、再生装置の側で内蔵するデータやメッセージを表示し、再生可能なデータを受信するまで待機する方法が考案される。しかしながら、動きのない静止画像やメッセージ、あるいは数枚の静止画で構成した単純な動きを繰り返すのみの擬似動画やメッセージを表示し続ける場合は、動画像再生装置の動作の不具合を連想させる恐れがあり、好ましくない。
【０００６】
本発明は上記の問題点に鑑み、デジタルテレビジョン放送受信などによる動画再生において、受信すべきデータが受信できず情報が欠損した場合であって、ＩＤＲピクチャといった復号器の復号動作をリフレッシュする情報を長時間受信できない場合に、ユーザに心理的負担がかからないようにすることができる動画像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するために、動き補償予測を用いて圧縮符号化された動画像データを受信して復号再生する復号再生手段を備えた動画像再生装置において、
受信した動画像データが欠損して前記復号再生手段が正常に復号再生できなくなった場合に、その時点から復号再生動作をリフレッシュするためのリフレッシュ画像を受信して復号動作が復帰するまでの間、代替の動画像を表示する表示手段を、
備えたことを特徴とする。
また、前記代替の動画像は、既に受信して正常に復号再生した動画像の画素値、又は動きベクトル、又は前記動きベクトルから予測した動きベクトルに基づいて生成することを特徴とする。
また、前記代替の動画像と共に、文字メッセージを前記表示手段に出力することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、正常に復号再生できなくなった場合に、その時点からリフレッシュ画像を受信して復号動作が復帰するまでの間、代替の動画像を表示部に出力するので、受信すべきデータが受信できず情報が欠損した場合であって、ＩＤＲピクチャといった復号器の復号動作をリフレッシュする情報を長時間受信できない場合に、ユーザに心理的負担がかからないようにすることができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態として、地上デジタルテレビジョン１セグメント放送受信に応用した例を説明する。
【００１０】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態（及び第２、第３の実施の形態）の動画像再生装置を示す機能ブロック図である。この動画像再生装置は、受信インターフェース部１１、パケット検証部１２、多重化分離部１３、バッファ部１４、スタートコードマッチング部１５、可変長符号マッチング部１６、制御部１７、復号部１９、メモリ２０、メモリ制御部２１、及び代替動画像生成部２２を有している。さらに動画像再生装置は表示部２３を有している。
【００１１】
受信インターフェース部１１は、デジタルテレビジョン放送波などを受信して得た受信信号を入力し、受信信号中のデジタルデータを取り出す。この取り出されたデジタルデータを、パケット検証部１２でパケットとして妥当であるか検証し、パケット検証信号を制御部１７に出力し、また、パケットが妥当である場合には多重化分離部１３に渡す。多重化分離部１３ではパケットを画像データパケットと音声データパケットとに分離し、画像データパケットをバッファ部１４に出力する（音声データパケットの出力先についての説明は省く）。バッファ部１４は画像データパケットをスタートコードマッチング部１５と可変長符号マッチング部１６それぞれに入力する。ここでスタートコードマッチング部１５は画像データパケットとスタートコードをマッチングし、スタートコードマッチング信号を制御部１７に出力する。
【００１２】
制御部１７ではパケット検証部１２の出力するパケット検証信号、及びスタートコードマッチング部１５の出力するスタートマッチング信号に基づいて可変長符号マッチング部１６、メモリ制御部２１、代替動画像生成部２２を制御する。可変長符号マッチング部１６は、制御部１７の指示を受けてバッファ部１４より入力された画像データパケットから、画像データ、量子化ステップサイズ、フレーム間／フレーム内モード切替信号、フィルタ使用パラメータを含む出力信号を復号部１９に出力する。復号部１９は可変長符号マッチング部１６からの画像データ、量子化ステップサイズ、フレーム間／フレーム内モード切替信号、フィルタ使用パラメータを含む画像データ及びメモリ２０からの参照画像データを入力して、復号画像データをメモリ２０に、復号結果の成否を制御部１７に出力する。メモリ制御部２１は、復号部１９からの指示を受けて復号部１９との間で画像データの入出力を行ったり、代替動画像生成部２２からの指示を受けて代替動画像生成部２２の生成する代替の画像データを入力したり、制御部１７からの指示を受けて表示部２３ヘ画像データあるいは代替の画像データを出力する。代替動画像生成部２２は制御部１７の指示に従って代替の画像データを生成し、メモリ制御部２１ヘ指示を出力して生成した代替の画像データをメモリ２０に出力する。ここでメモリ２０から代替動画像生成部２２に向かう出力線（＊）は第１の実施の形態では使用しないが、第２、第３の実施の形態において使用される。詳細については第２、第３の実施の形態の説明で述べることにする。
【００１３】
図２は本発明の第１の実施の形態（及び第２、第３の実施の形態）における動画像再生装置の処理の全体の流れを説明するフロー図である。図２の条件分岐ステップ３１において受信があったかどうかを判定し、受信が合った場合には処理ステップ３２で受信パケットの検証を行い、次いで動画像データの復号が可能かどうかを判定する（条件分岐ステップ３３）。条件分岐ステップ３３で復号が可能であれば、リフレッシュ画像の復号の場合か（条件分岐ステップ３４）、代替動画生成処理の継続中でない場合か（条件分岐ステップ３５）を判定し、結果に応じて通常の復号処理ステップ３６を実施する。
【００１４】
条件分岐ステップ３１、条件分岐ステップ３７の流れは受信していない場合で復号を開始すべき時刻かを判定するものである。例えば描画速度が１５枚毎秒とされるならば、６６ミリ秒に一度は復号処理をすることになる。復号を開始すべき時刻であれば、さらに受信なしの状態がどれくらい続いたかを判定する（条件分岐ステップ３８）。ステップ３８では動画像再生装置に設定された制限時間、例えば運用規格上リフレッシュ画像が３回受信されていなければならない時間（例として５秒×３回＝１５秒）を超過している場合には受信不能と判定し、その場合に実施する受信不能処理ステップ４０ヘと進む。一方、条件分岐ステップ３８の判定が制限時間内であれば代替動画像の生成と表示の処理（ステップ３９）を実施する。
【００１５】
第１の実施の形態では、代替動画像生成部２２の生成する動画像の内容として、ＰＣやワークステーションで一般に使用されるスクリーンセイバーと同様な形式のものがよいと考えられる。これは静止画を数枚繰り返すなどの単純なパターンを循環させることは避けることで、再生装置の動作が不具合に陥ったという誤った印象を与えないようにするための配慮である。生成する画像の動きを決める動画像プログラムや画像の初期データは、あらかじめ代替動画像生成部２２に組み込むか、動画再生装置上のメモリ２０などにあらかじめ記憶したものを読み込んで使用すればよい。もしくは動画再生装置が読み込み可能な記憶媒体（ディスク装置やメモリ）を搭載する場合、これに記録されたデータを読み込む方法も考えられる。
【００１６】
＜第２の実施の形態＞
次に第２の実施の形態について図１を用いて説明する。第２の実施の形態が第１の実施の形態と図１において異なる点は、メモリ２０が代替動画像生成部２２に対して、受信した画像データを出力することである。これを図１の（＊）に示す。代替動画像生成部２２はメモリ制御部２１を介してメモリ２０の出力する画像データを参照し、参照した画像データを用いて代替の画像を生成し、生成した画像データをメモリ制御部２１を介してメモリ２０に出力する。第２の実施の形態は、既に復号した画素情報を代替画像の生成に用いることを特徴とする。動画像の動きを生成するのは第１の実施の形態に挙げたスクリーンセイバーと同じでよい。これらの表示方法の例として、画像をブロック単位で区切り繰り返しランダムに並べ替えたり、一部の画素情報を抜き出して幾何学的なパターン生成に用いる方法が考えられる。
【００１７】
これらの表示方法の例を図３に示す。図３（１）〜（７）は第２の実施の形態における代替動画像の描画方法の例を示す説明図である。図３（１）は任意のサイズに区切ったブロックの単位で参照画像の画素値を平滑化し、描画域全体でモザイク動画を構成する例である。図３（２）は任意のサイズに区切ったブロックの単位で参照画像をランダムに並べ替えて動画を構成する表示方法の例である。図３（３）、図３（４）、図３（５）、図３（６）は任意のサイズのブロックに区切った参照画像を一部ずつ順次並べて表示する例であり、図３（３）は各ブロックを横方向に順次並べるラスタ表示動作を示し、図３（４）は各ブロックを縦方向に順次並べるワイプ表示動作を示し、図３（５）は各ブロックを中心から外側に回転させながら順次並べるボックスアウト表示動作を示し、図３（６）は各ブロックを外側から内側に回転させながら順次並べるボックスイン表示動作を示す。図３（３）〜（６）はそれぞれ画像ブロックの並べ方により名称が異なるが、並べていくという原理は同じである。また並べる画像ブロックは基となる参照画像の同じ位置に合わせる必要はなく、使用する画像精度も、基となる参照画像と同じでなくてもよい（ブロック単位で画素値を平滑化してもよい）。図３（７）はブロックのサイズを任意に切り替えながら、区切った各ブロック内で画素値を平滑化し、全体でモザイク画像を構成する表示方法の例である。
【００１８】
＜第３の実施の形態＞
続いて第３の実施の形態について図１を用いて説明する。第３の実施の形態が図１において第１、第２の実施の形態と異なる点は復号部１９がメモリ制御部２１を介してメモリ２０に動きベクトルデータを出力し、メモリ２０は復号部１９からの動きベクトルデータを記憶し、この記憶した動きベクトルデータを代替動画像生成部２２がメモリ制御部２１を介して参照することである。また代替動画生成部２２はメモリ制御部２１を介してメモリ２０上に記憶された画像データを参照画像として参照する。これらは図１中の（＊）で示される。代替動画像生成部２２では参照した動きベクトルデータ及び参照画像データを基に代替画像データを生成し、メモリ制御部２１を介してメモリ２０ヘ代替画像データを出力する。
【００１９】
図４は第３の実施の形態における代替動画像の生成・表示処理の流れを説明するフロー図である。条件分岐ステップ５１で動きベクトルの記憶があるか否かを判定する。それまでに復号処理を実施していない場合も動きベクトルの記憶はないので、この場合にはあらかじめメモリ２０などに記憶された仮のベクトルデータを読み込み、これを今回使用する動きベクトルとする（処理ステップ５２）。仮のべクトルデータは特に規定しないが、前の画像に対し変化のある画像が生成されやすいようなデータとすることが望ましい。そのために一様ではないベクトルデータとすることなどが考えられる。続いて処理ステップ５３において、基のベクトルから次のベクトルを予測し、これを記憶する。次の分岐条件ステップ５４ではメモリ２０上に参照画像が既にあるか否かを判断し、ない場合には、あらかじめメモリ２０などに記憶された仮の画像データを読み込んでこれを参照画像とする（ステップ５５）。仮の画像については動き予測して生成した画像がこの画像から変化するよう、輝度や色彩が一様な図柄は避ける。処理ステップ５６では処理ステップ５３で記憶した新たな動きベクトルと参照画像とを利用して代替となる画像を生成し、この画像データをメモリ２０に記憶する。生成・記憶した画像は表示装置２３にて表示し（ステップ５７）、この代替動画像を新たな参照画像とする（ステップ５８）。
【００２０】
このように第３の実施の形態は、既に復号されメモリ２０に記憶されている動きベクトルを用いて次の動きベクトルを順次予測し、この予測した動きベクトルを既に復号されメモリ２０に記憶されている直前の画像を参照画像として適応して代替となる次の動画像を生成する。動きベクトルの予測は大雑把でよく、例えば周辺の動きベクトルの中央値としたり、また別の例としては各ブロックごとに異なる一定のベクトル値を足し込んでもよい。一定のベクトル値としてはあらかじめ得られている復号され記憶された動きベクトルを使用する。この最初の動きベクトルの値を毎回使用するため、メモリ２０に記憶し続ける必要がある。ここで、生成する画像に本来の動画像との整合性を追求しても予測のずれを補償することができないので不自然な部分が目立つ画像となる可能性が高く、効果は望めない。つまり予測画像そのものを生成するのではなく、代替を意図した画像、例えば全体の解像度を下げてあえてぼかした画像や、任意のブロックのサイズに区切りモザイク状に置き換えた画像に生成する方法が考えられる。モザイク状にする場合の方法としては、区切った各ブロックの任意の画素の値を１つ選び代表させるか、または各ブロック内の画素の平均値を求める、などによってブロック内の画素値を平滑化すればよい。
【００２１】
＜第４の実施の形態＞
第１、第２、第３のいずれの実施の形態においても、データ受信待ちであることを示す表示を動画像の上にオーバレイ表示することでユーザヘの認知を高める方法も考えられる。第４の実施の形態として、この表示の一例を図５（１）、図５（２）に示す。図５（１）のようにデータ受信を待機している旨をテキストで表わし、これを図５（２）のように動画像を描画する領域の上に重ねて表示する（オーバレイ表示）。これは記憶装置上のメモリ２０にあらかじめ記憶された任意のデータを読み出して使用する。なおオーバレイ表示を行う場合、上側に重ねて表示するメッセージなどを不透明でオーバレイするならば重なる部分について代替の動画像を生成する必要はなく、その分の演算処理量を削減できる。上側に重ねる表示を半透明にする場合は重なる部分についても代替の画像を生成する必要がある。
【００２２】
なお第１〜４の実施の形態では動画パターン生成には演算処理の余力を用いて行うが、特に第１、第２の実施の形態の場合、動画像の復号処理を行う復号部１９とは別の演算装置があり、その余力が使えるような環境であればそちらを用いても構わない。
【００２３】
以上の代替の動画像の生成と表示は、復号部１９の復号動作のリフレッシュ用画像（地上デジタルテレビジョン１セグメント放送で適用する動画像圧縮符号方式ＭＰＥＧ−４  ＡＶＣではＩＤＲピクチャと呼ばれる）を受信、復号するまで続け、本来のデータを復号でき次第、本来の復号再生動作に速やかに復帰すればよい。
【図面の簡単な説明】
【００２４】
【図１】本発明の動画像再生装置の一実施の形態を示すブロック図である。
【図２】本発明の動画像再生装置の全体の処理の流れの一例を示すフロー図である。
【図３】本発明の動画像再生装置の第２の実施の形態における代替動画像の例を示す説明図である。
【図４】本発明の動画像再生装置の第３の実施の形態における代替動画像生成・表示処理の流れの一例を示すフロー図である。
【図５】本発明の動画像再生装置の第４の実施例において代替動画像の上に重ねて表示するメッセージの例を示す図である。
【符号の説明】
【００２５】
１１  受信インターフェース部
１２  パケット検証部
１３  多重化分離部
１４  バッファ部
１５  スタートコードマッチング部
１６  可変長符号マッチング部
１７  制御部
１９  復号部
２０  メモリ
２１  メモリ制御部
２２  代替動画像生成部
２３  表示部
【図１】
2007180759.tif 000003
【図２】
2007180759.tif 000004
【図３】
2007180759.tif 000005
【図４】
2007180759.tif 000006
【図５】
2007180759.tif 000007