(57)【要約】【課題】動画像の途中で、画像サイズが異なる動画像の符号化データを受信してしまう状況下で、画像サイズ情報が適切に通知されない場合でも、崩れた画像の表示を防止することができる動画像復号装置を得ることを目的とする。【解決手段】可変長復号部１によりビデオストリームの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、加算器５により生成される復号画像の代わりに、代替画像を表示メモリ８に格納する画像サイズ判定部９を設ける。【選択図】図１
2009278512.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化データを入力して、上記符号化データの復号処理を実施する復号処理手段と、上記復号処理手段の復号処理結果から復号画像を生成し、動画像の画像サイズを示す画像サイズ情報にしたがって上記復号画像を表示メモリに格納する復号画像生成手段と、上記復号処理手段により符号化データの１フレームが復号された時点の復号マクロブロック数と上記画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、上記復号画像生成手段により生成される復号画像の代わりに、代替画像を上記表示メモリに格納する対応関係判別手段とを備えた動画像復号装置。
【請求項２】
対応関係判別手段は、代替画像として、予め用意されているテストパターン画像、あるいは、前フレームの復号画像を表示メモリに格納することを特徴とする請求項１記載の動画像復号装置。
【請求項３】
動画像の符号化データを入力して、上記符号化データの復号処理を実施する復号処理手段と、上記復号処理手段の復号処理結果から復号画像を生成し、動画像の画像サイズを示す画像サイズ情報にしたがって上記復号画像を表示メモリに格納する復号画像生成手段と、上記復号処理手段により符号化データの１フレームが復号された時点の復号マクロブロック数と上記画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、上記符号化データの先頭からの復号処理の再実施を上記復号処理手段に指示するとともに、上記復号マクロブロック数から現時点の画像サイズを推定して、現時点の画像サイズを上記復号画像生成手段に通知する対応関係判別手段とを備えた動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ディジタル圧縮符号化されている動画像の符号化データを復号して、復号画像を生成する際に、動画像の画像サイズが断続的に切り替わっても対処することが可能な動画像復号装置に関するものである。
【背景技術】
【０００２】
現在、ディジタル放送（衛星、地上波、ケーブル）やインターネットなどを利用して、動画像を配信する放送・通信のシステムでは、「ＭＰＥＧ」や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式が活用されている。
このような放送・通信のシステムでは、送信側においては、一つのチャンネル内でも、画像サイズの異なる番組の切り替わりなどで、画像サイズが動画像の途中で変更されることがある。
また、受信側においては、複数の異なるチャンネル間の切り替えが行われることにより、動画像の途中で、画像サイズが異なる動画像の符号化データを受信してしまうことがある。
【０００３】
動画像の画像サイズが変更される際には、送信側の符号化装置から画像サイズ情報（画像サイズの変更情報）が受信側の復号装置に通知され、受信側の復号装置が画像サイズ情報を受信することで、適切な画像サイズで復号処理を行うことができる。
しかし、画像サイズ情報が適切に受信側の復号装置に通知されない状況が発生すると、復号装置では、画像サイズが適切に変更されず、変更前の画像サイズで復号処理を行うことになる。
この場合、復号装置による復号画像は、画面位置がずれてしまうため、崩れた画像になる。
【０００４】
以下の特許文献１では、符号化装置側で画像サイズの変更を適切に処理する工夫を開示している。
これにより、画像サイズの異なる番組の切り替わりなどで、画像サイズが動画像の途中で変更される状況下でも、崩れた復号画像の表示を防止することができるが、受信側で、チャンネルが切り替えられる状況の発生には対処することができない。
【０００５】
【特許文献１】特開平１１−１９６４１２号公報（段落番号［０００７］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の動画像復号装置は以上のように構成されているので、受信側において、複数の異なるチャンネル間の切り替えが行われることにより、動画像の途中で、画像サイズが異なる動画像の符号化データを受信してしまう状況下で、画像サイズ情報が適切に受信側に通知されない場合には、画面位置がずれてしまうため、復号画像が崩れた画像になることがあるなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、動画像の途中で、画像サイズが異なる動画像の符号化データを受信してしまう状況下で、画像サイズ情報が適切に通知されない場合でも、崩れた画像の表示を防止することができる動画像復号装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る動画像復号装置は、復号処理手段により符号化データの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、復号画像生成手段により生成される復号画像の代わりに、代替画像を表示メモリに格納する対応関係判別手段を設けるようにしたものである。
【発明の効果】
【０００９】
この発明によれば、復号処理手段により符号化データの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、復号画像生成手段により生成される復号画像の代わりに、代替画像を表示メモリに格納する対応関係判別手段を設けるように構成したので、動画像の途中で、画像サイズが異なる動画像の符号化データを受信してしまう状況下で、画像サイズ情報が適切に通知されない場合でも、崩れた画像の表示を防止することができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１による動画像復号装置を示す構成図であり、図において、可変長復号部１はディジタル放送（衛星、地上波、ケーブル）やインターネットなどを利用して、ＭＰＥＧなどの映像符号化方式で圧縮されたビデオストリーム（動画像の符号化データ）を受信すると、そのビデオストリームのフレームをマクロブロック単位に復号処理を実施することにより、予測残差情報（例えば、ＭＰＥＧ４では、量子化されたＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）係数が該当する）や動きベクトルなどの情報を抽出する処理を実施する。
また、可変長復号部１はビデオストリームの１フレーム分の復号が完了した時点の復号マクロブロック数を出力する処理を実施する。
なお、可変長復号部１は復号処理手段を構成している。
【００１１】
マクロブロック位置指定部２は例えば送信側の符号化装置から動画像の画像サイズを示す画像サイズ情報を受信し、その画像サイズ情報にしたがって処理対象のマクロブロックの位置を示すマクロブロック位置情報をラインバッファ６、フレームメモリ７及び表示メモリ８に出力する処理を実施する。
図１の例では、画像サイズ情報が例えばＲＴＳＰ（Ｒｅａｌｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）などを用いて、ビデオストリームと別の経路で送信されてくるものを想定しているが、画像サイズ情報がビデオストリームに重畳されている場合には、可変長復号部１がビデオストリームに重畳されている画像サイズ情報を復号して、その画像サイズ情報をマクロブロック位置指定部２及び画像サイズ判定部９に出力するようにしてもよい。
【００１２】
予測残差計算部３は可変長復号部１から出力された予測残差情報とラインバッファ６に格納されている処理中のフレームにおける過去の予測残差マクロブロックの情報から、現在処理中のマクロブロックの予測残差マクロブロックを計算する処理を実施する。
例えば、ＭＰＥＧ−４では、過去の予測残差マクロブロックの情報として、ラスタスキャン順でみて、現在処理中のマクロブロックの上側と左側に位置しているマクロブロックのＤＣＴ係数のＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）成分がラインバッファ６に格納されており、予測残差計算部３は、その過去の予測残差マクロブロックの情報を参照して、現在処理中のマクロブロックのＤＣＴ係数のうち、ＤＣ成分とＡＣ（Ａｌｔｅｒｎａｔｉｎｇ  Ｃｕｒｒｅｎｔ）係数の一部をＡＤＰＣＭ（Ａｄａｐｔｉｖｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）で復号し、その復号結果を予測残差マクロブロックとして加算器５に出力し、また、その復号結果を過去の予測残差マクロブロックの情報としてラインバッファ６に格納する。
【００１３】
動き補償予測部４はフレームメモリ７に格納されている前フレームの復号画像の中で、可変長復号部１から出力された動きベクトルが指し示す領域を予測画像マクロブロックとして加算器５に出力する処理を実施する。
加算器５は予測残差計算部３から出力された予測残差マクロブロックと動き補償予測部４から出力された予測画像マクロブロックを加算して、当該マクロブロックの復号画像を生成し、マクロブロック位置指定部２から出力されるマクロブロック位置情報にしたがって当該復号画像を表示メモリ８及びフレームメモリ７に書き込む処理を実施する。
【００１４】
ラインバッファ６は処理中のフレームにおける過去の予測残差マクロブロックの情報を格納するメモリである。
フレームメモリ７は前フレームの復号画像を格納するメモリである。
表示メモリ８は図示せぬ表示装置により表示される復号画像を格納するメモリである。
なお、マクロブロック位置指定部２、予測残差計算部３、動き補償予測部４、加算器５、ラインバッファ６及びフレームメモリ７から復号画像生成手段が構成されている。
【００１５】
画像サイズ判定部９は可変長復号部１によりビデオストリームの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、加算器５から出力される復号画像の代わりに、代替画像を表示メモリ８に格納する処理を実施する。なお、画像サイズ判定部９は対応関係判別手段を構成している。
【００１６】
次に動作について説明する。
動画像復号装置が、例えば、ＭＰＥＧ−４などの画像符号化方式を採用している場合、ビデオストリームの映像フレームをマクロブロックと呼ばれる矩形領域に分割し、マクロブロック単位でラスタスキャン順に処理を行う。
例えば、ＭＰＥＧ−４における「Ｓｉｍｐｌｅ  Ｐｒｏｆｉｌｅ」でのマクロブロックでは、輝度成分が１６×１６画素、２つの色差成分がそれぞれ８×８画素で構成されている。
【００１７】
可変長復号部１は、ディジタル放送（衛星、地上波、ケーブル）やインターネットなどを利用して、ＭＰＥＧなどの映像符号化方式で圧縮されたビデオストリームを受信すると、そのビデオストリームのフレームをマクロブロック毎に分割して、マクロブロック単位で復号処理を実施することにより、各マクロブロックの予測残差情報や動きベクトルなどの情報を抽出する。
【００１８】
また、可変長復号部１は、マクロブロック単位で復号処理を実施しているとき復号マクロブロック数をカウントし、ビデオストリームの１フレーム分の復号が完了した時点の復号マクロブロック数を画像サイズ判定部９に出力する。
例えば、動画像の画像サイズがＱＣＩＦサイズであれば、１フレーム分の復号マクロブロック数は９９個であり、動画像の画像サイズがＣＩＦサイズであれば、１フレーム分の復号マクロブロック数は３９６個である。
【００１９】
マクロブロック位置指定部２は、例えば、送信側の符号化装置から動画像の画像サイズを示す画像サイズ情報を受信し、その画像サイズ情報にしたがって処理対象のマクロブロックの位置を示すマクロブロック位置情報をラインバッファ６、フレームメモリ７及び表示メモリ８に出力する。
ここで、図２は映像符号化方式がＭＰＥＧ−４である場合のフレームメモリ７及び表示メモリ８と、ラインバッファ６とを示す説明図である。
図２から明らかなように、動画像の画像サイズが異なると、フレームメモリ７、表示メモリ８及びラインバッファ６に書き込まれるマクロブロックの位置が変化する。
【００２０】
そこで、マクロブロック位置指定部２は、動画像の途中で、画像サイズが異なる動画像のビデオストリームを受信しても、崩れた画像の表示を防止するため、送信側の符号化装置から送信された画像サイズ情報にしたがって、フレームメモリ７、表示メモリ８及びラインバッファ６に書き込まれるマクロブロックの位置の適正化を図っている。
ただし、送信側の符号化装置から画像サイズ情報が適切に通知されない場合には、フレームメモリ７、表示メモリ８及びラインバッファ６に書き込まれるマクロブロックの位置の適正化を図ることができない。
【００２１】
なお、図１の例では、画像サイズ情報が例えばＲＴＳＰなどを用いて、ビデオストリームと別の経路で送信されてくるものを想定しているが、画像サイズ情報がビデオストリームに重畳されている場合には、可変長復号部１がビデオストリームに重畳されている画像サイズ情報を復号して、その画像サイズ情報をマクロブロック位置指定部２及び画像サイズ判定部９に出力するようにしてもよい。
【００２２】
画像サイズ判定部９は、可変長復号部１からビデオストリームの１フレームが復号された時点の復号マクロブロック数を受けると、その復号マクロブロック数と送信側の符号化装置から送信された画像サイズ情報が示す動画像の画像サイズとの対応関係が一致しているか否かを判定する。
例えば、画像サイズ情報が示す動画像の画像サイズがＱＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が９９個であり、あるいは、動画像の画像サイズがＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が３９６個であれば、対応関係が一致していると判定する。
一方、動画像の画像サイズがＱＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が９９個でない場合、あるいは、動画像の画像サイズがＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が３９６個でない場合、対応関係が一致していないと判定する。
【００２３】
画像サイズ判定部９は、対応関係が一致している場合、送信側の符号化装置から画像サイズ情報が適切に通知されており、先に可変長復号部１により抽出された予測残差情報及び動きベクトルから復号画像が生成されて、その復号画像が表示されても、崩れた画像を表示することがないので、復号結果の出力を指示する制御信号を可変長復号部１に出力する。
可変長復号部１は、画像サイズ判定部９から復号結果の出力を指示する制御信号を受けると、先に抽出したマクロブロックの予測残差情報を予測残差計算部３に出力し、そのマクロブロックの動きベクトルを動き補償予測部４に出力する。
【００２４】
予測残差計算部３は、可変長復号部１から予測残差情報を受けると、その予測残差情報とラインバッファ６に格納されている処理中のフレームにおける過去の予測残差マクロブロックの情報から、現在処理中のマクロブロックの予測残差マクロブロックを計算する。
例えば、ＭＰＥＧ−４では、過去の予測残差マクロブロックの情報として、ラスタスキャン順でみて、現在処理中のマクロブロックの上側と左側に位置しているマクロブロックのＤＣＴ係数のＤＣ成分がラインバッファ６に格納されているので、予測残差計算部３は、その過去の予測残差マクロブロックの情報を参照して、現在処理中のマクロブロックのＤＣＴ係数のうち、ＤＣ成分とＡＣ係数の一部をＡＤＰＣＭで復号し、その復号結果を予測残差マクロブロックとして加算器５に出力し、また、その復号結果を過去の予測残差マクロブロックの情報としてラインバッファ６に格納する。
【００２５】
動き補償予測部４は、可変長復号部１から動きベクトルを受けると、フレームメモリ７に格納されている前フレームの復号画像の中で、その動きベクトルが指し示す領域を予測画像マクロブロックとして加算器５に出力する。
加算器５は、予測残差計算部３から予測残差マクロブロックを受け、動き補償予測部４から予測画像マクロブロックを受けると、その予測残差マクロブロックと予測画像マクロブロックを加算して、当該マクロブロックの復号画像を生成する。
加算器５は、当該マクロブロックの復号画像を生成すると、マクロブロック位置指定部２から出力されるマクロブロック位置情報が示す表示メモリ８及びフレームメモリ７上の位置に、その復号画像を格納する。
【００２６】
画像サイズ判定部９は、復号マクロブロック数と画像サイズの対応関係が一致していない場合、送信側の符号化装置から画像サイズ情報が適切に通知されておらず、先に可変長復号部１により抽出された予測残差情報及び動きベクトルから復号画像が生成されて、その復号画像が表示されると、崩れた画像を表示することになるので、復号結果の出力を停止する制御信号を可変長復号部１に出力する。
これにより、画像サイズ判定部９から予測残差情報と動きベクトルが出力されず、加算器５から当該マクロブロックの復号画像が出力されなくなる。
【００２７】
画像サイズ判定部９は、復号結果の出力を停止する制御信号を可変長復号部１に出力すると、予め用意されている代替画像を表示メモリ８に書き込む処理を実施する。
代替画像として、予め用意されているテストパターン画像や、前フレームの復号画像などが用いられる。
テストパターン画像としては、例えば、青一色や黒一色の画像が考えられる。また、フェイドアウト処理などの所定の加工処理が施された画像なども考えられる。
【００２８】
以上で明らかなように、この実施の形態１によれば、可変長復号部１によりビデオストリームの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、加算器５により生成される復号画像の代わりに、代替画像を表示メモリ８に格納する画像サイズ判定部９を設けるように構成したので、動画像の途中で、画像サイズが異なる動画像のビデオストリームを受信してしまう状況下で、画像サイズ情報が適切に通知されない場合でも、崩れた画像の表示を防止することができる効果を奏する。
【００２９】
実施の形態２．
図３はこの発明の実施の形態２による動画像復号装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
画像サイズ判定部１０は可変長復号部１によりビデオストリームの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、当該ビデオストリームの先頭からの復号処理の再実施を可変長復号部１に指示するとともに、その復号マクロブロック数から現時点の画像サイズを推定して、現時点の画像サイズをマクロブロック位置指定部２に通知する処理を実施する。なお、画像サイズ判定部１０は対応関係判別手段を構成している。
【００３０】
次に動作について説明する。
上記実施の形態１と比べて、画像サイズ判定部９の代わりに、画像サイズ判定部１０が設けられている点以外は同様であるため、主に画像サイズ判定部１０の動作について説明する。
【００３１】
画像サイズ判定部１０は、可変長復号部１からビデオストリームの１フレームが復号された時点の復号マクロブロック数を受けると、図１の画像サイズ判定部９と同様に、その復号マクロブロック数と送信側の符号化装置から送信された画像サイズ情報が示す動画像の画像サイズとの対応関係が一致しているか否かを判定する。
例えば、画像サイズ情報が示す動画像の画像サイズがＱＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が９９個であり、あるいは、動画像の画像サイズがＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が３９６個であれば、対応関係が一致していると判定する。
一方、動画像の画像サイズがＱＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が９９個でない場合、あるいは、動画像の画像サイズがＣＩＦサイズであるとき、１フレーム分の復号マクロブロック数が３９６個でない場合、対応関係が一致していないと判定する。
【００３２】
画像サイズ判定部１０は、対応関係が一致している場合、送信側の符号化装置から画像サイズ情報が適切に通知されており、先に可変長復号部１により抽出された予測残差情報及び動きベクトルから復号画像が生成されて、その復号画像が表示されても、崩れた画像を表示することがないので、図１の画像サイズ判定部９と同様に、復号結果の出力を指示する制御信号を可変長復号部１に出力する。
【００３３】
画像サイズ判定部１０は、復号マクロブロック数と画像サイズの対応関係が一致していない場合、送信側の符号化装置から画像サイズ情報が適切に通知されておらず、先に可変長復号部１により抽出された予測残差情報及び動きベクトルから復号画像が生成されて、その復号画像が表示されると、崩れた画像を表示することになるので、当該ビデオストリームの先頭からの復号処理の再実施を指示する制御信号を可変長復号部１に出力する。このとき、先に抽出された予測残差情報及び動きベクトルを１フレーム分記録しておけば、可変長復号部１では復号処理をおこなわずに数値を再利用することもできる。
【００３４】
また、画像サイズ判定部１０は、ビデオストリームの１フレームが復号された時点の復号マクロブロック数から現時点の画像サイズを推定して、現時点の画像サイズをマクロブロック位置指定部２に通知する。
例えば、復号マクロブロック数が９９個であれば、現時点の画像サイズがＱＣＩＦサイズであると推定し、復号マクロブロック数が３９６個であれば、現時点の画像サイズがＣＩＦサイズであると推定する。
【００３５】
これにより、可変長復号部１により新たに抽出された予測残差情報及び動きベクトルから復号画像が生成され、推定された現時点の画像サイズに対応するマクロブロックの位置（ラインバッファ６、フレームメモリ７、表示メモリ８上の適切な位置）に復号画像が書き込まれるので、崩れのない画像が表示される。
【００３６】
以上で明らかなように、この実施の形態２によれば、可変長復号部１によりビデオストリームの１フレームが復号された時点の復号マクロブロック数と画像サイズ情報が示す画像サイズの対応関係が一致しているか否かを判別し、対応関係が一致していなければ、当該ビデオストリームの先頭からの復号処理の再実施を可変長復号部１に指示するとともに、その復号マクロブロック数から現時点の画像サイズを推定して、現時点の画像サイズをマクロブロック位置指定部２に通知する画像サイズ判定部１０を設けるように構成したので、動画像の途中で、画像サイズが異なる動画像のビデオストリームを受信してしまう状況下で、画像サイズ情報が適切に通知されない場合でも、崩れた画像の表示を防止することができる効果を奏する。
【図面の簡単な説明】
【００３７】
【図１】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図２】（ａ）は映像符号化方式がＭＰＥＧ−４である場合のフレームメモリ７及び表示メモリ８を示す説明図である。（ｂ）は映像符号化方式がＭＰＥＧ−４である場合のラインバッファ６を示す説明図である。
【図３】この発明の実施の形態２による動画像復号装置を示す構成図である。
【符号の説明】
【００３８】
１  可変長復号部（復号処理手段）、２  マクロブロック位置指定部（復号画像生成手段）、３  予測残差計算部（復号画像生成手段）、４  動き補償予測部（復号画像生成手段）、５  加算器（復号画像生成手段）、６  ラインバッファ（復号画像生成手段）、７  フレームメモリ（復号画像生成手段）、８  表示メモリ、９，１０  画像サイズ判定部（対応関係判別手段）。
【図１】
2009278512.tif 000003
【図２】
2009278512.tif 000004
【図３】
2009278512.tif 000005