(57)【要約】【課題】  符号化し伝送された画像信号を受信し再生する装置で、特に良好な画質の動画像の伝送が難かしい低転送レートで伝送された信号に対しても良好な画質での再生を部分的に可能とする受信装置を提供する。【解決手段】  入力されるデータ列から各ＧＯＰのデータ列を分離し、入力より高い転送レートで出力するバッファから間欠的にＧＯＰのデータ列を取り出し、データ列が入来する間はデータ列を復号化し動画像を得、データ列の入来がない場合には、復号画像を静止画像として保持し出力する動画像受信装置である。また、入力されるデータ列から各ＧＯＰのデータ列を分離し、入力より高い転送レートで出力するバッファから間欠的にＧＯＰのデータ列を取り出し、ＧＯＰ単位のデータ列をリングバッファに保持し、次のデータ列が入来するまで同じＧＯＰのデータを繰り返し復号化して動画像を得て出力する。【選択図】        図１
2005253090.tif 000002
【特許請求の範囲】
【請求項１】
動画像のデータ列を受信し再生する装置において、
入力されるデータ列からＧＯＰのデータ列を分離する多重分離手段と、
前記データ列を入力し、入力より高い転送レートで間欠的に出力するバッファ手段と、
前記バッファ手段からＧＯＰのデータ列を取り出し、ＧＯＰ単位のデータ列をリングバッファ手段に与える選択手段と、
前記データ列を保持し、次のデータ列が入来するまで蓄積されたデータ列を繰り返し出力するリングバッファ手段と、
前記リングバッファ手段から出力されるデータ列を復号化し動画像を得て出力する画像復号化手段と、
を有することを特徴とする動画像受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
符号化し伝送された画像信号を受信し再生する装置で、特に良好な画質の動画像の伝送が困難な低転送レートの伝送に対する装置に関する。
【背景技術】
【０００２】
＜画像伝送＞
近年、画像信号の伝送は通信分野のかなりの部分を占めるようになりつつある。画像伝送ではディジタル方式が有利と考えられ、 H.261、 H.262(MPEG-2)、H.263 等の動画像符号化の国際標準方式が定められている。これらの方式を用いた場合、テレビ会議画像やテレビ電話画像等動きの少ない対象画像に限定される場合は、６４ｋｂｐｓや３８４ｋｂｐｓ等の低レート伝送も可能である。しかし、通常の動きのある画像では、解像度を下げた場合でも５００ｋ〜１Ｍｂｐｓ程度、通常の解像度では４〜８Ｍｂｐｓが必要と考えられている。
【０００３】
この様な動画像の符号化伝送装置及び動画像受信装置の従来の一構成例を図１０に示す。動画像入力１より入来する動画像は、動画像符号化器２で H.262規格等の符号化方式で符号化されデータ列となる。このデータ列は、多重化器５で他の情報入力９１から入来する音声データ等と多重化された後に伝送される。受信側では、多重分離器２２で他の情報が（他の情報出力９２として）分離された後、規格に準拠した動画像復号化器２５で復号されて、再生画像が出力される。一方、ＪＰＥＧ方式等を用いた静止画伝送は、１枚の画像を伝送する時間を長くすれば、低い転送レートでも伝送出来る。例えば、７２０×４８０画素の画像を、画質を損なわずに符号化した場合、５００ｋｂｉｔ程度の情報量を有するが、３２ｋｂｐｓでも１５秒程度かければ伝送出来る。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像を符号化して伝送する場合に、回線の転送レートが低いと、高能率符号化を用いても良好な画質の動画像を伝送することが出来ない。一方、静止画なら時間をかけることで良好な画質の画像を伝送出来るが、被写体の動きの様子が判らないので、防災・防犯において画像から把握出来る情報が限定されてしまう。本発明は以上の点に着目してなされたもので、所定周期で独立フレームを設けるフレーム間予測符号化で符号化されたデータ列が、一部のＧＯＰのみ選択されて伝送され、受信側でデータ欠落時間は静止画像または繰り返し動画像を再生することで、一部ではあるが良好な画質の動画像を実時間で表示出来るようにした動画像受信装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、動画像の符号列を受信し再生する装置で、入力されるデータ列から各ＧＯＰのデータ列を分離し、入力より高い転送レートで出力するバッファから間欠的にＧＯＰのデータ列を取り出し、データ列が入来する間はデータ列を復号化し動画像を得、データ列の入来がない場合には、復号画像を静止画像として保持し出力する動画像受信装置である。また、入力されるデータ列から各ＧＯＰのデータ列を分離し、入力より高い転送レートで出力するバッファから間欠的にＧＯＰのデータ列を取り出し、ＧＯＰ単位のデータ列をリングバッファに保持し、次のデータ列が入来するまで同じＧＯＰのデータを繰り返し復号化して動画像を得て出力する動画像受信装置である。
【０００６】
本発明では、所定周期で独立フレームを設けるフレーム間予測符号化で符号化されたデータ列を、一部のＧＯＰのみ選択して伝送し、受信側でデータ欠落ＧＯＰは静止画像または送られたＧＯＰの繰り返し動画像で代替えして再生することで、１ＧＯＰの伝送に複数ＧＯＰ分の時間を費やすことになり、選択されたＧＯＰの動画像については実質的な転送レートを数倍にすることが可能になる。また、符号化前にＧＯＰ分の画像バッファを用い、符号化対象信号を低速化することで、リアルタイム伝送でありながら動画像符号化の処理速度を低くすることが可能になる。さらに、符号化を可変レートとし、発生符号量に応じてＧＯＰ長や選択ＧＯＰを変更することで、固定転送レートの回線においても再生画質を一定に保持することが可能になる。
【発明の効果】
【０００７】
本発明では、所定周期で独立フレームを設けるフレーム間予測符号化で符号化されたデータ列を、一部のＧＯＰのみ選択して伝送し、受信側でデータ欠落ＧＯＰは静止画像または送られたＧＯＰの繰り返し動画像で代替えして再生することで、動画像の実質的な転送レートを数倍にすることが可能になり、一部ではあるが良好な画質の動画像を実時間に得ることが可能になる。これにより、低レート回線を利用するシステムでも画像の品質（解像度）と動きを両立出来、防災・防犯上、必要な情報を有効に伝送出来る。
【発明を実施するための最良の形態】
【０００８】
本発明の画像受信装置の各実施例について、以下に図と共に説明する。
＜画像符号化伝送装置１＞
まず、本発明の動画像受信装置に対して好適な画像符号化伝送装置の第１の例について説明する。図１は、画像符号化伝送装置の構成図である。動画像入力１から入来する動画像信号は動画像符号化器２に与えられる。動画像符号化器２は、Ｈ．２６２（ＭＰＥＧ−２）規格等に準拠したもので、そのフレーム構成を図４に示す。図でＩ、Ｐ、Ｂはフレームタイプで、夫々フレーム内独立符号化フレーム、片方向予測フレーム、双方向予測フレームである。Ｉフレームは０．５秒乃至３秒に一度程度挿入される。
【０００９】
Ｉフレームから次のＩフレームの手前までのフレーム群がＧＯＰ(Group Of Picture)で、各ＧＯＰは独立したデータ列として扱うことが出来る。なお、フレームタイプ連続性のためＩフレームの前にＢフレームが入る場合もある。また、シーンチェンジ等に対応し、ＧＯＰ内に不定期にＩフレームが挿入されることもある。
【００１０】
動画像符号化器２からは、符号化結果であるデータ列と共に、ＧＯＰの切替わりタイミングとＧＯＰ番号を示す情報が出力される。データ列は選択制御器８から与えれれる制御信号により開閉されるデータスイッチ３に与えられる。ここで、スイッチ３の開閉で選択されたデータ列のみがデータバッファに与えられ、残りのデータ列は破棄される。選択されたデータは次のデータバッファ４に供給される。データバッファ４は間欠的に入来するデータ列を蓄え、入力より低い転送レートで出力する。すなわち、高レートのバースト状のデータ列を平滑し、低い均一レートのデータ列にする。データバッファ４から出力されるデータ列は、次の多重化器５で選択ＧＯＰの情報と多重化され、符号出力（端子）６から出力される。
【００１１】
一方、選択制御器７は、ＧＯＰの切替わりタイミングとＧＯＰ番号を示す情報に基づき、データスイッチ３をＧＯＰの単位で予め決められた周期で１ＧＯＰだけ選択して通過させる。選択の割合は、３乃至１０回に１回程度とする。この制御情報は多重化器５に与えられる。この様に出力されるＧＯＰが減少するので、動画像符号化器２の符号化レートはその分上げたことになる。例えばＧＯＰの選択が５回に１回で、符号出力６の転送レートが１００ｋｂｐｓなら、動画像符号化器２の符号化レートは１００ｋｂｐｓの５倍で５００ｋｂｐｓとなる。よって、選択して伝送するＧＯＰの選択の割合が少ない程、転送レートは上げられ、画像の品質はそれだけ良好になる。
＜画像受信装置１＞
本発明の第１の実施例の画像受信装置を図２に示す。符号信号入力２１から入来する符号信号は多重分離器２２に与えられる。多重分離器２２では、データ列から選択ＧＯＰの情報が分離され、データ列はデータバッファ２３に与えられる。データバッファ２３は、図１の画像符号化伝送装置のデータバッファ４に対応したものであり、均一低レートで入力されるデータ列を蓄え、高レートでバースト状に出力するものである。
【００１２】
データバッファ２３からは、データスイッチ２４がデータバッファ２４の出力に接続された場合にのみデータ列が出力され、データスイッチ２４を介して動画像復号器２５に与えられる。スイッチ２４の開閉は、選択ＧＯＰの情報に従って選択制御器２７により制御される。動画像復号器２５では、データ列が復号され、動画像となり画像信号出力（端子）２６より出力される。
【００１３】
ここで、データスイッチ２４が切断され、データ列が動画像復号器２５に入力されない場合は、動画像復号器２５からは、動画像の最終画像が静止画として出力される。なお、次の動画像の始まりまでには、時間が空くので最終静止画像とそれに続けて再生される動画像は不連続になる。
【００１４】
一方、次のＧＯＰの最初のＩフレーム迄を連続して再生してもよい。この場合、静止画像になるのは次のＧＯＰの最初のＩフレームであるが、ＭＰＥＧで符号化した場合、最初のＩフレームは比較的良好な画質になるように符号化するので、画質の良い画像が静止画像として連続して表示されるので有利である。この場合は、動画の最後と静止画の間が不連続となる。図１の画像符号化伝送装置から図２の受信装置までの処理タイミングの様子を図３に示す。数字はＧＯＰの番号である。ＧＯＰは５個に１個だけが選択され、そのデータ列だけが伝送される。再生方法は再生ａに示されるものである。
【００１５】
これらの処理により、５００ｋｂｐｓの画像データ列は１００ｋｂｐｓとなり、低速度回線で伝送可能となる。受信側では２秒間動画像が表示された後、８秒間静止画像が表示される。この様な表示方法は、一般のテレビジョ番組等では使えないが、監視画像等では必ずしも常時連続した動画像を表示しなくとも、現場の状況把握は出来るので有効である。これにより、低品位な連続動画像や静止画のみでは掴めなかった現場の動き（ものや人の移動速度）が判るようになる。
＜画像符号化伝送装置２＞
本発明の動画像受信装置に対して好適な画像符号化伝送装置の第２の例の構成を図５に示す。図１と同一構成要素には同一番号を付けてある。第１の例との構成上の違いは、データバッファ４がない代わりに画像バッファ５２があり、データスイッチ３がない代わりに画像スイッチ５１がある。すなわち、データバッファの代わりに画像バッファを有し、動画像符号化の処理速度を低くしたものである。この場合、出力されるデータ列は図１のものと等価であり、受信装置は同一となる。動画像入力１から入来する動画像信号は画像スイッチ５１で選択され、ＧＯＰに相当するフレーム数の単位で、一部のフレームのみが画像バッファ５２に与えられる。この選択に用いる情報は選択制御器５４から与えられる。
【００１６】
選択制御器５４は、予め決められたＧＯＰ長及びＧＯＰ間引きの割合で画像スイッチ５１を制御する。その具体的タイミングの考え方は図１の場合と同様であるが、図１のデータ列の場合、ＧＯＰ単位で若干データ量が変動するので、ＧＯＰの切れ目を正確に捉える必要があるが、画像のレートは完全に一定なので、その点は図１の選択制御器７より容易である。また、選択画像の情報は動画像符号化器５３と多重化器５に与えられる。
【００１７】
画像バッファ５２は、画像をリアルタイム（３０フレーム／秒）で入力し、低速度（６フレーム／秒）で動画像符号化装置５３に出力する。動画像符号化器５３は、図１のものと処理内容は同じであるが、処理速度は５分の１程度である。また、選択制御器５４から入力される選択画像情報に従って、符号化のＧＯＰ構成を決める。動画像符号化器５３から出力されるデータ列は、そのまま多重化器５で選択画像（ＧＯＰ）情報と多重化される。
【００１８】
＜画像受信装置２＞
本発明の第２の実施例の画像受信装置の構成を図７に示す。図２と同一構成要素には同一番号を付けてある。図２の第１の実施例とはリングバッファ７１がある点が異なる。図７で、符号入力２１、多重分離器２２、データバッファ２３、選択制御器２７の動作は図２の場合と同じである。符号信号入力２１から入来する符号は多重分離器２２とデータバッファ２３を介してデータスイッチ２４に与えられる。
【００１９】
データバッファ２３の出力は、データスイッチ２４がデータバッファ２３の出力に接続された場合にのみデータ列が読み出され、リングバッファ７１に与えられる。リングバッファ７１は、データスイッチ２４がデータバッファ２３に接続され、データ列が入来している時以外は内容が書き変わらないもので、同一データ列が繰り返し出力される。
【００２０】
リングバッファ２３から出力されるデータ列は動画像復号器２５で復号されて動画像となり画像出力（端子）２６より出力される。ここで、リングバッファ７１から動画像復号器２５には同じＧＯＰのデータ列が繰り返し与えられることになる。この場合、画像は同一の２秒間の動画像が５回繰り返して表示される。動きの様子を良く見たい場合は、実施例１の動画と静止画表示の組合わせより有効である。この表示の様子を図３の再生ｂに示す。
【００２１】
＜符号化伝送装置３＞
本発明の動画像受信装置に対して好適な画像符号化伝送装置の第３の例の構成を図６に示す。図１と同一構成の要素には同一番号を付けてある。図１の第１の例とは、動画像符号化器６１、データバッファ６２、選択制御器６３の動作が異なる。図１の第１の例では、動画像符号化器２は固定レートでデータ列が出力され、選択制御器７は予め決められた周期で動作していた。しかし、動画像の情報量は画像の動き量や精細度等に大きく依存するので、固定レートでは画質に大きな変化を生じる。第３の例は、動画像符号化器６１の出力データレートを変化させ、画質を一定にし、１ＧＯＰの伝送時間やフレーム数を可変にするものである。
【００２２】
動画像入力１から入来した動画像信号は、動画像符号化器６１で符号化される。ここで、符号化の基本動作は図１の場合と同じであるが、出力されるデータレートは画像によって大きく変動する。そのデータ列はデータスイッチ３で選択され、データバッファ６２に与えられる。データバッファ６２の動作も基本的には図１のものと同じだが、入力レートは変動する。一方、出力レートは一定なので、蓄積される量の推移は一定ではなく、発生符号量によって変動する。その蓄積データ量（充足度）を情報として選択制御器６３に出力する。
【００２３】
選択制御器６３は、バッファ充足度を観測し、データスイッチ３の開閉タイミングを制御する。制御の方法は、ＧＯＰフレーム数を固定にし１ＧＯＰの伝送時間を変えるものと、１ＧＯＰの伝送時間を固定にし、ＧＯＰのフレーム数を変えるものとの２通りがある。発生符号量が多くバッファに溜まるデータ量が多い場合には、１ＧＯＰの伝送時間を長くするか、１ＧＯＰのフレーム数を少なくする。逆に、発生符号量が少なくバッファに溜まるデータ量が少ない場合には、１ＧＯＰの伝送時間を短くなるか、１ＧＯＰのフレーム数を多くする。この様な符号化伝送装置に対応する受信装置は、図２の第１の実施例の受信装置や、図７の第２の実施例の受信装置と同じ構成のもので良い。
【００２４】
これらの処理タイミングの様子を、１ＧＯＰの伝送時間を変えるものを図８に、１ＧＯＰのフレーム数を変えるものを図９に示す。各図で、再生ａは第１の実施例の受信装置、再生ｂは第２の実施例の受信装置に対応する。ＧＯＰの伝送時間が変化する場合は、選択され伝送されるＧＯＰが一定間隔ではなくなる。また、受信側での１ＧＯＰの再生時間も可変となるが、この場合、伝送済みであるひとつ前のＧＯＰが再生されることになるので、各ＧＯＰの伝送時間と再生時間は異なる。
【００２５】
一方、１ＧＯＰ内のフレーム数を変化させた場合は、伝送は一定なので、再生においても各ＧＯＰの再生時間は同じである。ただし、繰り返し再生では、連続動画の時間が変わるので繰り返しの回数が変化し、動画と静止画の組合わせ再生では、夫々の割合が変化する。
【図面の簡単な説明】
【００２６】
【図１】本発明の動画像受信装置に対して好適な画像符号化伝送装置の第１の例の構成を示す図である。
【図２】第１の実施例の画像受信装置の構成を示す図である。
【図３】本発明の第１の処理タイミングを示す図である。
【図４】本発明のＧＯＰの構成を示す図である。
【図５】画像符号化伝送装置の第２の例の構成を示す図である。
【図６】画像符号化伝送装置の第３の例の構成を示す図である。
【図７】第２の実施例の画像受信装置の構成を示す図である。
【図８】本発明の第２の処理タイミングを示す図である。
【図９】本発明の第３の処理タイミングを示す図である。
【図１０】従来例の画像符号化伝送装置及び受信装置の構成を示す図である。
【符号の説明】
【００２７】
１  動画像入力（端子）
２，５３，６１  動画像符号化器
３，２４  データスイッチ
４，２３、６２  データバッファ
５  多重化器
６  符号出力（端子）
７，２７，５４，６３  選択制御器
２１  符号入力（端子）
２２  多重分離器
２５  動画像復号化器
２６  画像出力
５１  画像スイッチ
５２  画像バッファ
７１  リングバッファ
９１  他の情報入力（端子）
９２他の情報出力（端子）
【図１】
2005253090.tif 000003
【図２】
2005253090.tif 000004
【図３】
2005253090.tif 000005
【図４】
2005253090.tif 000006
【図５】
2005253090.tif 000007
【図６】
2005253090.tif 000008
【図７】
2005253090.tif 000009
【図８】
2005253090.tif 000010
【図９】
2005253090.tif 000011
【図１０】
2005253090.tif 000012