(57)【要約】【課題】  誤りに対する耐性が高く、復号品質を向上できるビデオストリーム受信装置及び送信装置を提供する。【解決手段】  ビデオストリーム送信装置は、イントラ符号化データ及びインター符号データのうち、少なくともイントラ符号化データに対しては誤り訂正符号化する。この際、反復的復号可能な符号によって、誤り訂正符号化を行う。ビデオストリーム受信装置は、誤り訂正符号化されている受信したイントラ符号化データに対し、反復的復号を実行する。反復的復号により、インター符号化データの復号で参照されるイントラ符号化データに対する誤り耐性が高くなり、復号品質を向上できる。【選択図】      図３
2008072238.tif 000002
【特許請求の範囲】
【請求項１】
イントラ符号化データ及びインター符号データのうち、少なくともイントラ符号化データに対しては誤り訂正符号化されている受信データ列が与えられるビデオストリーム受信装置であって、
誤り訂正符号化されているイントラ符号化データに対し、反復的復号を実行する反復的誤り訂正復号手段を有することを特徴とするビデオストリーム受信装置。
【請求項２】
受信データの中から、反復的復号で利用する検査行列の情報を抽出する検査行列情報抽出手段をさらに有することを特徴とする請求項１に記載のビデオストリーム受信装置。
【請求項３】
イントラ符号化データ及びインター符号データのうち、少なくともイントラ符号化データに対しては誤り訂正符号化されている送信データ列を送信するビデオストリーム送信装置であって、
イントラ符号化データに対して、反復的復号可能な符号によって、誤り訂正符号化を行う反復的誤り訂正復号手段を有することを特徴とするビデオストリーム送信装置。
【請求項４】
送信データの中に、反復的復号で必要な検査行列の情報を挿入する検査行列情報挿入手段をさらに有することを特徴とする請求項３に記載のビデオストリーム送信装置。
【請求項５】
請求項１に記載のビデオストリーム受信装置と、請求項３に記載のビデオストリーム送信装置とを有することを特徴とするビデオストリーム通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオストリーム受信装置、ビデオストリーム送信装置及びビデオストリーム通信システムに関し、例えば、イントラ符号化されたデータと、インター符号化されたデータとが混在するビデオストリームを処理するものに適用し得る。
【背景技術】
【０００２】
一般に、ビデオストリームは、例えば、特許文献１に示されるように、画像をイントラ符号化したデータと画像をインター符号化したデータとが混在している。ビデオストリームの受信側においては、ストリームにおけるインター符号化されたデータから、差分信号がまず復号され、この差分信号に以前の復号済みの結果（参照画像）が加算され、これにより最終的な画像が復号される。
【０００３】
ビデオストリームの復号化処理において、その復号化処理の前に、受信したビデオストリームに対して誤り訂正が行われることがあるが、この誤り訂正は、ビデオストリームの所定単位（画像毎）毎に処理されており、このような誤り訂正後のビデオストリームに対して復号処理を行っていた。
【特許文献１】特開平０８ー２９８６６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
インター符号化されたデータの場合、以前の復号済みの結果（参照画像）が誤っていた場合、この誤った結果に対して復号された差分信号を加算するので、インター符号化のデータが誤っていなくても、処理対象のインター符号化データについての復号結果は、誤ったものとなってしまう。
【０００５】
例えば、イントラ符号化データの復号が失敗した場合には、それを参照画像としていたインター符号化データの復号も失敗となり、仮に、インター符号化データの誤り訂正が成功していてもそれは無駄になってしまう。また、イントラ符号化データの復号画像が失敗したために、復号失敗したインター符号化データの復号結果が、次のインター符号化データの復号で、参照画像として用いられる場合であれば、次のインター符号化データの復号も失敗となる。このような復号失敗の伝搬は、伝搬度合が徐々に小さくなるとはいえ、インター符号化データが連続している限り、繰り返される。
【０００６】
そのため、誤りに対する耐性が高く、復号品質を向上できるビデオストリーム受信装置、ビデオストリーム送信装置及びビデオストリーム通信システムが望まれている。
【課題を解決するための手段】
【０００７】
第１の本発明は、イントラ符号化データ及びインター符号データのうち、少なくともイントラ符号化データに対しては誤り訂正符号化されている受信データ列が与えられるビデオストリーム受信装置であって、誤り訂正符号化されているイントラ符号化データに対し、反復的復号を実行する反復的誤り訂正復号手段を有することを特徴とする。
【０００８】
第２の本発明は、イントラ符号化データ及びインター符号データのうち、少なくともイントラ符号化データに対しては誤り訂正符号化されている送信データ列を送信するビデオストリーム送信装置であって、イントラ符号化データに対して、反復的復号可能な符号によって、誤り訂正符号化を行う反復的誤り訂正復号手段を有することを特徴とする。
【０００９】
第３の本発明のビデオストリーム通信システムは、第１の本発明のビデオストリーム受信装置と、第２の本発明のビデオストリーム送信装置とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、誤りが伝搬し易いイントラ符号化データに対しては、反復的復号可能な符号によって誤り訂正符号化し、復号側で、反復的復号を行うようにしたので、、誤りに対する耐性を高くでき、また、復号品質を向上することができる。
【発明を実施するための最良の形態】
【００１１】
（Ａ）主たる実施形態
以下、本発明によるビデオストリーム受信装置、ビデオストリーム送信装置及びビデオストリーム通信システムの一実施形態を、図面を参照しながら詳述する。
【００１２】
（Ａ−１）実施形態の構成
実施形態に係るビデオストリーム通信システム１は、図１に示すように、ビデオストリーム送信装置１０と、ビデオストリーム受信装置２０とが、任意の通信網（例えば、ＩＰ網）２を介して接続されて構成されている。
【００１３】
ビデオストリーム送信装置１０は、例えば、コンテンツ提供装置又はインターネットプロバイダサーバに搭載されるものである。ビデオストリーム受信装置２０は、例えば、パソコンや携帯端末などに搭載されるものである。
【００１４】
図２には、ビデオストリーム送信装置１０の詳細構成を示している。図２において、第１の実施形態のビデオストリーム送信装置１０は、イントラ符号化部１１、インター符号化部１２、符号化方式決定部１３、符号化データ選択部１４、通信路符号化タイミング制御部１５、通信路符号化部（誤り訂正符号化部）１６及び検査行列情報付加部１７を有する。なお、イントラ符号化部１１、インター符号化部１２、符号化方式決定部１３及び符号化データ選択部１４の部分は、ビデオエンコーダを構成している。
【００１５】
符号化前のビデオストリームは、その画像単位（例えば、いわゆるフレームでも良く、ＭＰＥＧなどにおけるＧＯＢでも良い）に、イントラ符号化部１１及びインター符号化部１２に入力される。
【００１６】
イントラ符号化部１１は、入力された画像に対し、イントラ符号化方式に従って符号化し、イントラ符号化データを符号化方式決定部１３及び符号化データ選択部１４に与えるものである。
【００１７】
インター符号化部１２は、入力された画像に対し、インター符号化方式に従って符号化し、インター符号化データを符号化方式決定部１３及び符号化データ選択部１４に与えるものである。なお、図２では、イントラ符号化部１１及びインター符号化部１２を完全に別個なものとして記載しているが、一部の構成要素を共通に利用するものであっても良い。
【００１８】
符号化方式決定部１３は、今の処理対象画像について、イントラ符号化データ又はインター符号化データのいずれにするかを決定するものである。符号化方式決定部１３は、例えば、イントラ符号化データ及びインター符号化データの符号量を比較し、符号量の少ない符号化データを選択するものに決定する。また例えば、符号化方式決定部１３はいわゆる強制リフレッシュに対応できるものであっても良い。すなわち、前回にイントラ符号化データを選択した以降における、所定数の画像の符号化データが全てインター符号化データであった場合に、その次の選択符号化データを、符号量の大小に関係なく、強制的にイントラ符号化データにするようにする。
【００１９】
符号化データ選択部１４は、符号化方式決定部１３が決定したイントラ符号化データ又はインター符号化データを選択して通信路符号化部１６に与えるものである。
【００２０】
通信路符号化タイミング制御部１５には、符号化方式決定部１３から決定した符号化方式の情報が与えられる。通信路符号化タイミング制御部１５は、通信路符号化部１６にイントラ符号化データが与えられるときに、通信路符号化（誤り訂正符号化）を指示する。
【００２１】
通信路符号化部１６は、通信路符号化タイミング制御部１５から指示されたときに、入力された符号化データ（すなわち、イントラ符号化データ）に対し、通信路符号化を行うものである。この第１の実施形態の場合、通信路符号としては、繰返し復号可能な符号であれば良く、例えば、低密度パリティチェック（ＬＤＰＣ）符号を適用できる。なお、この実施形態についての以下の説明は、通信路符号がＬＤＰＣ符号であるとして行う。また、通信路符号化の単位は、所定量であって、イントラ符号化データのデータ量とは必ずしも一致せず、そのため、１画像に係るイントラ符号化データが複数に分割されて、通信路符号化が行われることもある。
【００２２】
通信路符号化部１６は、インター符号化データが入力されているときには、そのまま通過させるものである。以上では、第１の実施形態の特徴を理解し易くするため、イントラ符号化データに対してだけ、通信路符号化（誤り訂正符号化）を行うとしたが、インター符号化データに対しても通信路符号化（誤り訂正符号化）を行うようにしても良いことは勿論である。
【００２３】
検査行列情報付加部１７は、通信路符号化タイミング制御部１５から指示されたときに、通信路符号化部１６の出力データに対し、検査行列の情報を付加するものである。ＬＤＰＣ符号の場合、ビデオストリーム受信装置２０側において（すなわち、復号側において）、復号のために検査行列の情報が必要である。
【００２４】
ビデオストリーム受信装置２０が当初より検査行列の情報を保持しているものであっても良いが、この実施形態では、ビデオストリーム送信装置１０からビデオストリーム受信装置２０へ検査行列の情報を与えることとした。例えば、コンテンツ提供システムでは、ビデオストリーム受信装置２０を搭載する端末の種類は千差万別であるので、ビデオストリーム送信装置１０からビデオストリーム受信装置２０へ検査行列の情報を与えることは好ましい方法である。また、コンテンツの提供毎に、検査行列を切り替えるようなシステムでは、ビデオストリーム送信装置１０からビデオストリーム受信装置２０へ送信することは必須となる。
【００２５】
この実施形態の場合、検査行列情報付加部１７は、検査行列の情報を３回付与するものとする。検査行列をＨで表すと、１回目は、検査行列の情報をそのまま（Ｈ）付加し、２回目は、検査行列の逆行列（Ｈ−１）の情報を付加し、３回目は、検査行列の転置行列（ＨＴ）の情報を付加する。例えば、イントラ符号化データの全体に対して１回目の付加を行い、それに続く、２つのインター符号化データのそれぞれに対して、２回目及び３回目の付加を行うようにしても良い。また例えば、イントラ符号化データを所定量ずつ通信路符号化した場合において、先頭の所定量に対する通信路符号化データに対して１回目の付加を行い、それに続く、２つの所定量に対する通信路符号化データに対して、２回目及び３回目の付加を行うようにしても良い。さらに例えば、図１ではパケットの組立構成を明確には示していないが、イントラ符号化データの通信路符号化データを挿入し始めたパケットを第１のパケットとした場合における第１〜第３のパケットに対して（第２及び第３のパケットの挿入データがイントラ符号化データの通信路符号化データでなくても良い）、１回目〜３回目の付加を行うようにしても良い。
【００２６】
例えば、図示は省略しているが、検査行列情報付加部１７の入力段又は出力段には、パケット組立部が設けられている。パケット組立部は、送信データを含むパケットを組み立ててビデオストリーム受信装置側に送信するものである。
【００２７】
図３には、ビデオストリーム受信装置２０の詳細構成を示している。図３において、ビデオストリーム受信装置２０は、受信データ確認部２１、受信符号化データバッファ部２２、検査行列抽出・同定部２３、通信路復号部（誤り訂正復号部）２４及びビデオデコーダ２５を有する。なお、図３の構成に対しては、パケットが分解されて得られた受信データが入力されるとする。
【００２８】
受信データ確認部２１は、入力された受信データが、通信路符号化されたデータか、検査行列が付加されたデータか、それ以外のデータ（すなわち、検査行列が付加されていないインター符号化データ）かを確認し、それ以外のデータの場合には、受信符号化データバッファ部２２に格納させるものである。この格納の際にも、受信データ確認部２１は、データの連続性（ストリーム）を維持させるように格納する。
【００２９】
受信符号化データバッファ部２２は、ビデオデコードに供するビデオ符号化データのストリームを格納するものである。
【００３０】
検査行列抽出・同定部２３は、検査行列の情報が付加されている受信データから検査行列の情報を抽出し、検査行列を同定して通信路復号部２４に与えるものである。また、検査行列抽出・同定部２３は、検査行列の情報を抽出除外した受信データが、通信路符号化されたデータであれば通信路復号部２４に与え、検査行列の情報を抽出除外した受信データが、インター符号化データであれば、受信符号化データバッファ部２２に与えて格納させる。
【００３１】
検査行列抽出・同定部２３は、同定処理では、受信データ系列から抽出した同一の検査行列に係る３種類の情報（Ｈ、Ｈ−１、ＨＴ）が矛盾していないか否かを確認する。例えば、逆行列（Ｈ−１）に対しては逆行列演算を行って行列Ｈに変換し、また、転置行列（ＨＴ）に対しては転置を行って行列Ｈに変換し、３種類の受信情報の整合性を確認する。３種類の情報（Ｈ、Ｈ−１、ＨＴ）が矛盾していなければ、受信した検査行列Ｈを通信路復号部２４に与える。また、３種類（Ｈ、Ｈ−１、ＨＴ）中、２種類の情報が矛盾していなければ、その２種類の情報から特定される検査行列Ｈを通信路復号部２４に与える。３種類共にばらばらの場合には、例えば、受信した検査行列Ｈを通信路復号部２４に与える（なお、検査行列だけの再送を要求するようにしても良い）。
【００３２】
通信路復号部２４は、受信した通信路符号化データを、与えられた検査行列の情報を利用して通信路復号（誤り訂正）し、得られたイントラ符号化データを受信符号化データバッファ部２２に格納させる。ここで、上述のように、通信路符号として、繰返し復号可能なＬＤＰＣ符号を適用しているので、通信路復号部２４は、予め定められている所定回数の繰返し復号を行って復号精度を高める。なお、復号の繰返し回数は、固定回数に限定されない。例えば、後述するビデオデコーダ２５が受信符号化データバッファ部２２からイントラ符号化データを読み出すタイミングに間に合うぎりぎりのタイミングまで繰返し復号を行うようにしても良い。
【００３３】
ビデオデコーダ２５は、受信符号化データバッファ部２２に格納されている、イントラ符号化データ及びインター符号化データが混在しているビデオストリームを順次取込みながら、復号を行うものである。ビデオデコーダ２５の内部構成は、既存のものと同様であるので、その説明は省略する。
【００３４】
（Ａ−２）実施形態の動作
次に、上述した構成を有するビデオストリームシステム１の動作を、ビデオストリーム送信装置１０の動作、ビデオストリーム受信装置２０の動作の順に説明する。
【００３５】
ビデオストリーム送信装置１０において、符号化前のビデオストリームは、その画像単位に、イントラ符号化部１１及びインター符号化部１２に入力され、イントラ符号化方式又はインター符号化方式に従って符号化し、イントラ符号化データ及びインター符号化データが符号化方式決定部１３及び符号化データ選択部１４に与えられる。
【００３６】
符号化方式決定部１３において、今の処理対象画像について、イントラ符号化データ又はインター符号化データのいずれにするかが決定され、その決定に応じて、符号化データ選択部１４によって、イントラ符号化データ又はインター符号化データが選択されて通信路符号化部１６に与えられる。
【００３７】
通信路符号化タイミング制御部１５からの指示に応じ、通信路符号化部１６によって、イントラ符号化データに対してのみ、通信路符号化（誤り訂正符号化）が実行され、この通信路符号化に係る検査行列の情報が検査行列情報付加部１７によって、通信路符号化データ又はその近傍位置の送信データの系列に付加される。
【００３８】
以上のようにしてビデオエンコードされると共に、適宜、通信路符号化された送信データ系列が、ビデオストリーム受信装置２０に向けて送信される。
【００３９】
ビデオストリーム受信装置２０においては、受信データ確認部２１によって、入力された受信データが、通信路符号化されたデータか、検査行列が付加されたデータか、それ以外のデータ（すなわち、検査行列が付加されていないインター符号化データ）かが確認され、それ以外のデータの場合には、受信符号化データバッファ部２２に格納される。
【００４０】
受信データ確認部２１によっては格納されなかった受信データに対し、検査行列抽出・同定部２３によって、検査行列の情報が付加されているか否かが判別され、検査行列の情報が抽出され同定されて通信路復号部２４に与えられる。また、検査行列抽出・同定部２３によって、検査行列の情報を抽出除外した受信データが、通信路符号化されたデータであれば通信路復号部２４に与えられ、検査行列の情報を抽出除外した受信データが、インター符号化データであれば、受信符号化データバッファ部２２に与えられて格納される。
【００４１】
検査行列抽出・同定部２３から出力された通信路符号化データに対し、通信路復号部２４によって、同定された検査行列が利用されて通信路復号（誤り訂正）し、得られたイントラ符号化データを受信符号化データバッファ部２２に格納される。
【００４２】
そして、ビデオデコーダ２５によって、受信符号化データバッファ部２２に格納されている、イントラ符号化データ及びインター符号化データが混在しているビデオストリームが順次読み出され、復号されて、ビデオストリーム送信装置１０側におけるビデオストリームが再生される。
【００４３】
（Ａ−３）実施形態の効果
上記実施形態によれば、イントラ符号化データに対しては、繰返し復号可能な符号によって誤り訂正符号化を実行し、復号装置側において、繰返し復号するようにしたので、通信路で誤りが混入しても、高精度に誤り訂正でき、誤り耐性を高くすることができる。その結果、イントラ符号化データに係る再生された画像データを参照画像データとしているインター符号化データやそれに連続するインター符号化データの復号品質も向上させることができる。
【００４４】
また、上記実施形態によれば、復号装置側において必要となる検査行列の情報を、３回、しかも、行列形式を代えて送信するようにしたので、検査行列の伝送も正しく実行され、この点からも復号品質を向上させることができる。
【００４５】
（Ｂ）他の実施形態
上記実施形態では、反復的復号可能な符号が低密度パリティチェック（ＬＤＰＣ）符号であるものを示したが、他の反復的復号可能な符号を適用しても良いことは勿論である。例えば、ターボ符号（畳込み符号の並列的連接）を適用するようにしても良い。
【００４６】
また、上記実施形態では、検査行列の情報をビデオストリーム送信装置からビデオストリーム受信装置に与えるものを示したが、ビデオストリーム受信装置において複数の検査行列の情報を保持しておき、ビデオストリーム送信装置からビデオストリーム受信装置には検査行列の識別番号を与えるようにしても良い。また、ビデオストリーム受信装置がビデオストリーム送信装置に適用する検査行列の情報を与え、符号化に用いるものを指示するようにしても良い。
【００４７】
さらに、上記実施形態では、検査行列の情報を、イントラ符号化データが生じる毎にビデオストリーム送信装置からビデオストリーム受信装置に送信するものを示したが、ビデオストリームの送信を開始する前など、他のタイミングで送信するようにしても良い。
【００４８】
さらにまた、上記実施形態では、イントラ符号化データのみ誤り訂正符号化するものを示したが、インター符号化データも誤り訂正符号化するようにしても良い。この場合において、少なくともイントラ符号化データについては、反復的復号可能な符号で誤り訂正符号化することを要する。
【００４９】
上記実施形態では、ビデオストリーム送信装置がインター符号化及びイントラ符号化する手段をも備えるものを示したが、ビデオストリーム送信装置への入力信号が既にインター符号化又はイントラ符号化されており、ビデオストリーム送信装置がイントラ符号化データに対して通信路符号化するものであっても良い。同様に、ビデオストリーム受信装置がビデオデコーダを備えていなくても構わない。
【図面の簡単な説明】
【００５０】
【図１】実施形態に係るビデオストリーム通信システムの構成を示すブロック図である。
【図２】実施形態に係るビデオストリーム送信装置の詳細構成を示すブロック図である。
【図３】実施形態に係るビデオストリーム受信装置の詳細構成を示すブロック図である。
【符号の説明】
【００５１】
１…ビデオストリーム通信システム、
１０…ビデオストリーム送信装置、１１…イントラ符号化部、１２…インター符号化部、１３…符号化方式決定部、１４…符号化データ選択部、１５…通信路符号化タイミング制御部、１６…通信路符号化部（誤り訂正符号化部）、１７…検査行列情報付加部、
２０…ビデオストリーム受信装置、２１…受信データ確認部、２２…受信符号化データバッファ部、２３…検査行列抽出・同定部、２４…通信路復号部（誤り訂正復号部）、２５…ビデオデコーダ。
【図１】
2008072238.tif 000003
【図２】
2008072238.tif 000004
【図３】
2008072238.tif 000005