(57)【要約】【課題】受信状況の悪化により、弱階層でストリームデータに誤りが生じ、そのストリームデータを中階層、強階層で置き換えた場合に、可能な限り品質の高い映像を提供する。【解決手段】複数階層の伝送ストリームを映像及び音声の基本ストリームに分離し復号した後、それぞれデータを細分割し、映像の場合はマクロブロックまたはスライス単位で、音声の場合はフレーム単位で誤りの検出を行い、弱階層でストリームに誤りが生じたときには、順次、中階層、強階層の映像データ及び音声データで置き換えて、合成したフレームにより映像を再生する。中階層、強階層の映像データで置き換える場合には、複数の低解像度の映像データから高解像度の映像データを生成する超解像処理を施し、解像度を上げたものを映像の合成に用いる。【選択図】図１
2009077137.tif 000002
【特許請求の範囲】
【請求項１】
複数階層伝送方式のデジタル放送を受信するデジタル放送受信装置において、
受信した伝送ストリームを復調する受信部と、
該復調した伝送ストリームから各階層毎の映像ストリームと音声ストリームを分離する分離部と、
該映像ストリームに対して復号する映像復号部と、
該音声ストリームに対して復号する音声復号部と、
復号された映像データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、該分割した映像データを選択して映像信号を生成する映像処理部と、
復号された音声データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、該分割した音声データを選択して音声信号を生成する音声処理部と、
複数階層の低解像度の映像データから高解像度の映像データを生成する超解像処理部とを備え、
前記超解像処理部は、前記映像復号部において正常に復号できなかった映像データに対応する低解像度の映像データについて、超解像処理を施し、
前記映像処理部は、前記映像復号部において正常に復号できなかった映像データについては、次に優先する階層の対応する前記超解像処理を施された映像データを選択し、
前記音声処理部は、前記音声復号部において正常に復号できなかった音声データについては、次に優先する階層の対応する音声データを選択することを特徴とするデジタル放送受信装置。
【請求項２】
請求項１に記載のデジタル放送受信装置であって、
前記受信する伝送ストリームは、品質の高い順に弱階層、中階層、強階層のストリームを含み、
前記映像処理部及び前記音声処理部は、前記映像データ及び前記音声データを該品質順に優先して選択することを特徴とするデジタル放送受信装置。
【請求項３】
請求項１に記載のデジタル放送受信装置であって、
前記映像処理部は、前記映像データをマクロブロック単位に分割し、これから選択することを特徴とするデジタル放送受信装置。
【請求項４】
請求項１に記載のデジタル放送受信装置であって、
前記映像処理部は、前記映像データをスライス単位に分割し、これから選択することを特徴とするデジタル放送受信装置。
【請求項５】
請求項１記載のデジタル放送受信装置であって、
さらに、フレームレート変換を行うフレームレート変換部を備え、
前記フレームレート変換部は、前記超解像処理が施された映像データに対して、フレームレート変換を行うことを特徴とするデジタル放送受信装置。
【請求項６】
請求項５記載のデジタル放送受信装置であって、
前記フレームレート変換部は、前記超解像処理の位置推定情報を利用して、フレームレート変換を行うことを特徴とするデジタル放送受信装置。
【請求項７】
請求項１記載のデジタル放送受信装置であって、
復号された映像データに対して、動き検出を行う動き検出部を備え、
前記動き検出部の検出結果に従い、前記超解像処理部が、前記映像復号部において正常に復号できなかった映像データに対応する低解像度のデータについて、超解像処理を施すか施さないかを切り換えることを特徴とするデジタル放送受信装置。
【請求項８】
複数階層伝送方式のデジタル放送を受信するデジタル放送受信方法において、
受信した伝送ストリームを復調するステップと、
該復調した伝送ストリームから各階層毎の映像ストリームと音声ストリームを分離するステップと、
該映像ストリームに対して復号するステップと、
該音声ストリームに対して復号するステップと、
前記映像ストリームに対して復号するステップにおいて正常に復号できなかった映像データについて、複数階層の低解像度の映像データから高解像度の映像データを生成する超解像処理を施すステップと、
復号された映像データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、前記映像ストリームに対して復号するステップにおいて正常に復号できなかった映像データについては、次に優先する階層の対応する超解像処理を施こされた映像データを選択して映像信号を生成するステップと、
復号された音声データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、前記音声ストリームに対して復号するステップにおいて正常に復号できなかった音声データについては、次に優先する階層の対応する音声データを選択するステップとを有することを特徴とするデジタル放送受信方法。
【請求項９】
請求項８に記載のデジタル放送受信方法であって、
前記受信する伝送ストリームは、品質の高い順に弱階層、中階層、強階層のストリームを含み、
前記映像データ及び前記音声データを該品質順に優先して選択することを特徴とするデジタル放送受信方法。
【請求項１０】
請求項８に記載のデジタル放送受信方法であって、
前記映像データをマクロブロック単位に分割し、これから選択することを特徴とするデジタル放送受信方法。
【請求項１１】
請求項８に記載のデジタル放送受信方法であって、
前記映像データをスライス単位に分割し、これから選択することを特徴とするデジタル放送受信方法。
【請求項１２】
請求項８記載のデジタル放送受信方法であって、
さらに、前記超解像処理が施された映像データに対して、フレームレート変換を行うステップを有することを特徴とするデジタル放送受信方法。
【請求項１３】
請求項１２記載のデジタル放送受信方法であって、
前記フレームレート変換を行うステップは、前記超解像処理の位置推定情報を利用して、フレームレート変換を行うことを特徴とするデジタル放送受信方法。
【請求項１４】
請求項８記載のデジタル放送受信方法であって、
さらに、復号された映像データに対して、動き検出を行うステップを有し、
前記動き検出を行うステップの検出結果に従い、前記映像復号部において正常に復号できなかった映像データに対応する低解像度のデータについて、超解像処理を施すか施さないかを切り換えることを特徴とするデジタル放送受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層伝送方式により伝送されたデジタル放送を好適に受信するデジタル放送受信装置及び受信方法に関する。
【背景技術】
【０００２】
近年、テレビジョン放送のデジタル化が進んでいる。日本では、１９９６年に通信衛星によるデジタル放送、２０００年に放送衛星によるデジタル放送、２００３年に地上デジタル放送がそれぞれ開始されている。これらは主に動画圧縮符号化技術であるＭＰＥＧ方式やデジタル変調技術等を用いて実現されており、情報をデジタル化して送信することにより、放送の高品質化と多チャンネル化を実現している。その反面、デジタル放送においては、電波受信状態が所定のレベル以下になると、アナログ放送に比べ品質が極端に劣化する。特に地上デジタル放送においては、電波のマルチパス妨害に対する耐性の強化や移動体受信を可能とすることが求められ、この問題は重要である。そこで地上デジタル放送においては、伝送路符号化方式としてＢＳＴ−ＯＦＤＭ（Band Segment Transmission Orthogonal Frequency Division Multiplexing）方式が採用され、伝送帯域を小分割したＯＦＤＭセグメントのグループ毎に異なる伝送パラメータを用いることで、劣化耐性の異なる複数階層の伝送を行っている。
【０００３】
複数階層で同一の放送内容を伝送している場合、複数階層を受信可能な受信機では、受信状態に応じて階層を選択して再生することが可能となる。全ての階層で受信状態が良好な場合は、高品質な映像再生が期待できる階層（Ａ階層とする）を選択する。受信状態が悪化してＡ階層で正常な再生が行えない場合には、Ａ階層の次に高品質な映像再生が期待できるＢ階層を選択する。さらにＢ階層で正常な再生が行えない場合には、次の品質のＣ階層を選択する。受信機にこのような機能を付加することで、エラー耐性を強化することができる。
【０００４】
特許文献１では、伝送ストリームをフレーム以下の単位、例えば、ＭＢ（マクロブロック）に分割して、エラー検出を行い、Ａ階層でエラーが検出した場合には、順次、その部分をＢ階層、Ｃ階層の映像データ、音声データで補って、合成出力フレームを生成し、それを表示、出力する技術が開示されている。
【０００５】
一方、複数の低解像度のデジタル画像から高解像度のデジタル画像を生成する技術として、超解像処理が知られている。例えば、特許文献２には、超解像処理として、同一の信号について、標本化位置を変えて同一の標本化間隔でｎ回の標本化によって得られるｎ組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、ナイキスト周波数以上の原信号の高周波成分を復元する技術が開示されている。
【０００６】
【特許文献１】特開２００５−３１９７０１号公報
【特許文献２】特開平８−３３６０４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記特許文献１は、例えば、弱階層でエラーがあったＭＢに相当する部分を、中階層、強階層のＭＢで補って、合成出力フレームを生成するものであった。
【０００８】
その場合に、置き換えた中階層、強階層のＭＢの表示、特に、解像度が一番低い強階層の部分で画質が悪くなり、観にくくなるという問題点があった。
【０００９】
本発明は、このような問題に鑑み、受信状況の悪化により、弱階層でストリームデータに誤りが生じ、そのストリームデータを中階層、強階層で置き換えた場合に、可能な限り品質の高い映像を再生することのできるデジタル放送受信装置及び受信方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明のデジタル放送受信装置では、複数階層伝送方式のデジタル放送を受信するデジタル放送受信装置において、受信した伝送ストリームを復調する受信部と、復調した伝送ストリームから各階層毎の映像ストリームと音声ストリームを分離する分離部と、映像ストリームに対して復号する映像復号部と、音声ストリームに対して復号する音声復号部と、復号された映像データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、該分割した映像データを選択して映像信号を生成する映像処理部と、復号された音声データをフレーム以下のサイズに分割して、指定された階層の優先度に従い、該分割した音声データを選択して音声信号を生成する音声処理部と、複数の低解像度の映像データから高解像度の映像データを生成する超解像処理部とを備えるようにして、超解像処理部は、前記映像復号部において正常に復号できなかった映像データについて、超解像処理を施し、映像処理部は、前記超解像処理を施された映像データを選択し、音声処理部は、前記音声復号部において正常に復号できなかった音声データについては、次に優先する階層の対応する音声データを選択するようにする。
【００１１】
ここで、受信する複数階層の伝送ストリームは、品質の高い順に弱階層、中階層、強階層のストリームを含むようにする。
【００１２】
また、映像データをフレーム以下のサイズの分割は、例えば、マクロブロック単位の分割し、ステイス単位の分割である。
【００１３】
また詳しくは、上記デジタル放送受信装置であって、さらに、フレームレート変換を行うフレームレート変換部を備え、フレームレート変換部は、前記超解像処理位置が施された映像データに対して、フレームレート変化を行うようにする。
【００１４】
より詳しくは、上記デジタル放送受信装置であって、フレームレート変換部は、前記超解像処理の位置推定情報を利用して、フレームレート変化を行うようにする。
【００１５】
また詳しくは、上記デジタル放送受信装置であって、復号された映像データに対して、動き検出を行う動き検出部を備え、動き検出部の検出結果に従い、超解像処理部が、前記映像復号部において正常に復号できなかった映像データについて、超解像処理を施すか施さないかを切り換えるようにする。
【発明の効果】
【００１６】
本発明によれば、受信状況の悪化により、弱階層でストリームデータに誤りが生じ、そのストリームデータを中階層、強階層で置き換えた場合に、可能な限り品質の高い映像を再生することのできるデジタル放送受信装置及び受信方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る各実施形態を、図１ないし図１４を用いて説明する。
【００１８】
なお、以下の説明におけるデジタル放送受信装置は、一例として地上デジタルテレビジョン放送を対象としているが、本発明はこれに限らず、複数階層伝送方式の信号を受信する受信装置に適用可能である。
【００１９】
〔地上デジタルテレビジョン放送の概要〕
本実施形態のデジタル放送受信装置の動作を説明する前に、先ず、図２ないし図５を用いて、対象とする地上デジタルテレビジョン放送における伝送信号のフォーマットと概要に関して簡単に説明する。
図２は、地上デジタル放送におけるＢＳＴ−ＯＦＤＭ方式の伝送スペクトルを表す図である。
図３は、各階層の特性を示す図である。
図４は、ＭＰＥＧ伝送ストリームの構成の一例を示す図である。
【００２０】
図２に示されるように、本実施形態で採り上げる地上デジタルテレビジョン放送では、ＴＶチャネルの帯域幅６ＭＨｚを１３個のＯＦＤＭセグメントに分割し、セグメント０を中心に周波数インタリーブを行う。そして、これらのＯＦＤＭセグメントを最大３つのグループに分け、階層伝送を行う。各階層は、階層毎に異なる伝送パラメータと１つ以上のＯＦＤＭセグメントにより構成され、所要ＣＮ比の低い順に強階層・中階層・弱階層と呼ばれる。階層数２の場合は、強階層・弱階層、階層数１の場合は、弱階層の呼称を用いる。伝送パラメータは、固定受信向け・移動受信向け・携帯受信向けの３タイプが用意されており、階層伝送のパターンに応じて各階層と組み合わせて使用される。
【００２１】
図３は、図中の各パラメータに関し、各階層間の相対的な特徴の比較を表している。強階層は、最も所要ＣＮ比が低い（劣化耐性が高い）が、伝送情報レートが制限される為に、解像度・フレームレートとも最も低く設定される。逆に、弱階層は、最も所要ＣＮ比が高い（劣化耐性が低い）が、解像度・フレームレートとも最も高く設定できる。中階層は、強階層と弱階層の中間の特性を有している。これらの階層伝送により劣化耐性の強化と、移動体端末における受信が可能となっている。特に、携帯端末向けには、強階層において中央のＯＦＤＭセグメント（セグメント０）のみを用いてＨ．２６４規格の簡易動画を伝送する部分受信サービスが用意され、低い所要ＣＮ比による安定した受信を実現している（いわゆる「ワンセグ」放送）。
【００２２】
本実施形態の地上デジタルテレビジョン放送のトランスポートストリームは、図４に示されるＭＰＥＧ伝送ストリームが用いられる。このＭＰＥＧ伝送ストリームは、ＭＰＥＧ２システム規格（ＩＳＯ／ＩＥＣ１３８１８−１）に規定されるトランスポートストリームである。ＭＰＥＧ伝送ストリームは、映像の基本ストリームと音声の基本ストリームを多重化したシステムストリームであり、伝送に適するように、パケット形式で構成されている。図４に示されるように、ＭＰＥＧ伝送ストリームのパケット０・１・２・４・５は、映像アクセスユニットを構成する基本ストリームを含んでいる。また、ＭＰＥＧ伝送ストリームのパケット３・６は、音声アクセスユニットを構成する基本ストリームを含んでいる。ここでアクセスユニットとは、映像または音声のフレームを復号するのに必要な基本ストリームデータである。アクセスユニットの先頭のパケット内には、アクセスユニットから復号されるフレームの表示時刻情報も含まれている。
【００２３】
〔実施形態１〕
以下、本発明に係る第一の実施形態を、図１、図５ないし図９を用いて説明する。
先ず、図１を用いて本発明の第一の実施形態に係るデジタル放送受信装置の構成を説明する。
図１は、本発明の第一の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【００２４】
本実施形態のデジタル放送受信装置の信号入力部には、図１に示されるように、ＴＳ（トランスポートストリーム）受信部１０１、ＴＳ分離部１０２を有する。映像信号系には、３系統のデコーダ（ＭＰＥＧ−２デコーダ１０４，１０５、Ｈ．２６４デコーダ１０６）、バッファメモリ１０７〜１０９、スケーラ１１０〜１１２、超解像処理部１５１，１５２、エラー検出部１３１〜１３３、映像合成部１１３、平滑処理部１１４、映像表示部１１５を有する。また、音声信号系には、３系統のＡＡＣデコーダ１１６〜１１８、バッファメモリ１１９〜１２１、エラー検出部１４１〜１４３、音声切換部１２５、平滑処理部１２６、音声表示部１２７を有する。映像表示部１１５と音声表示部１２７は、本受信装置に内蔵しても、あるいは外部に接続しても良い。
【００２５】
次に、上記の図１と、図５ないし図９を用いて本発明の第一の実施形態に係るデジタル放送受信装置の動作について説明する。
図５は、ＴＳ分離部１０２において、ＭＰＥＧ伝送ストリーム８０から各階層の映像及び音声の基本ストリームを分離する様子を示した図である。
図６は、超解像処理部１５１、１５２による超解像処理について説明する図である。
図７は、映像合成部１１３の行う選択合成と、スケーラ１１０〜１１２の行うスケーリングを模式的に示した図である。
図８は、本発明の第一の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
図９は、本発明の第一の実施形態に係るデジタル放送受信装置の音声処理を示すフローチャートである。
【００２６】
本実施形態のデジタル放送受信装置は、図１に示されるＴＳ受信部１０１により、デジタルテレビジョン放送電波を受信し、ＯＦＤＭ復調、誤り訂正処理を行って、各階層のＭＰＥＧ伝送ストリームをＴＳ分離部１０２に出力する。
【００２７】
ＴＳ分離部１０２は、ＴＳ受信部１０１で得られた各階層のＭＰＥＧ伝送ストリームから映像及び音声の基本ストリームを分離する。ここで映像の基本ストリームには、弱・中階層においてはＭＰＥＧ−２規格（ＩＴＵ−Ｔ  Ｈ．２６２｜ＩＳＯ／ＩＥＣ１３８１８−２）、強階層においてはＨ．２６４規格（ＩＴＵ−Ｔ  Ｈ．２６４｜ＩＳＯ／ＩＥＣ１４４９６−１０）が用いられるものとする。また、音声の基本ストリームには、各階層ともＭＰＥＧ−２ＡＡＣ規格（ＩＳＯ／ＩＥＣ１３８１８−７）が用いられるものとする。
【００２８】
伝送ストリームから、それぞれの階層の映像ストリームと音声ストリームとを取り出す様子を示すと、図５のようになる。
【００２９】
例えば、弱階層映像基本ストリーム８１では、パケット０・５・１０・１３を抽出してアクセスユニットとする。また弱階層音声基本ストリーム８２では、パケット１・７・１１を抽出してアクセスユニットとする。
【００３０】
各階層の映像基本ストリームは、それぞれＭＰＥＧ−２デコーダ１０４，１０５及びＨ．２６４デコーダ１０６に出力される。各階層の音声基本ストリームは、それぞれＡＡＣデコーダ１１６，１１７，１１８に出力される。なお、映像及び音声の基本ストリームのフォーマットは、上記の規格に限定されるものではなく、他の規格を用いてもよい。その場合、各階層のデコーダには、当該規格に対応するデコーダを用いればよい。
【００３１】
先ず、映像信号の処理について述べる。ＭＰＥＧ−２デコーダ１０４，１０５及びＨ．２６４デコーダ１０６は、それぞれ弱・中・強階層の映像基本ストリームの復号を行い、復号フレームをバッファメモリ１０７〜１０９に格納する。ここで、各階層の復号フレームのサイズと周波数は異なるものとする。また、エラー検出部１３１〜１３３は、それぞれ弱・中・強階層の映像基本ストリーム中のエラーを検出する。そして、フレーム中に復号できない部分がある場合、そのフレームの表示時刻情報とフレーム中の復号できない部分の位置情報を、映像合成部１１３に出力する。
【００３２】
バッファメモリ１０８，１０９に格納された中階層と弱階層の復号フレームは、それぞれ超解像処理部１５１，１５２に入力されて、超解像処理が施される。
【００３３】
超解像処理は、背景技術でも述べたように複数の低解像度の画像データから高解像度の画像データを生成する技術である。
【００３４】
以下、図６を用いて超解像処理について簡単に説明する。
【００３５】
先ず、図６（ａ）のように、隣接する複数（ここでは３枚）の原画像６００〜６０２を準備し、小数画素精度で位置合わせを行う。図６（ｂ）は、基準位置とする画像６００に対して他の画像６０１，６０２を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。ここで、与えられた複数の原画像自身からそれぞれの画像の標本化位置のずれを推定する（位置推定）。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後、図６（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像６０３を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法（高帯域補間）、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、ぼけの少ない高解像度画像を生成することができる。
【００３６】
弱階層のフレームは、バッファメモリ１０７から、そのままスケーラ１１０に入力され、中・強階層のフレームは、それぞれ超解像処理部１５１，１５２で超解像処理を施されてから、スケーラ１１１，１１２に入力されて、各々のスケーラで、出力フレームのサイズとフォーマットに適合するよう変換（スケーリング）される。このとき、例えば線形補間等の公知のスケーリング技術を用いることができる。
【００３７】
映像合成部１１３は、エラー検出部１３１〜１３３から受けたエラー情報に基づき、フレーム単位あるいはスライス、マクロブロック単位で、各階層のスケーリングされたフレームデータを選択し合成する。すなわち、復号できなかった部分については、他の階層のデータで置換する。その際、選択する階層の優先順序は、弱・中・強階層の順に指定されている。
【００３８】
本実施形態では、受信したストリームを映像と音声の基本ストリームに分離し、これを復号した後で、復号処理の結果に基づきその品質（エラー）を評価する構成とした。よって、品質の評価単位となるデータサイズを細分割することが可能である。その結果、後述するように、例えば、映像ではマクロブロック単位、音声ではフレーム単位で処理することができる。
【００３９】
図７には、スケーラ１１０〜１１２がそれぞれスケーリングを行い、映像合成部１１３が合成出力フレームとして選択合成する様子が示されており、図９（ａ）は弱階層フレーム、（ｂ）は中階層フレーム、（ｃ）は強階層フレームを示し、（ｄ）はこれらのデータを合成して得られた合成フレームである。
【００４０】
最優先する弱階層出力フレーム（ａ）において、Ａ１，Ａ２で示すマクロブロック（ＭＢ）が復号不能（エラーＭＢ）であって、Ａ０で示す他のＭＢは正常だとする。このエラーＭＢ（Ａ１，Ａ２）を、中階層出力フレームで超解像処理がされた画像（ｂ）の対応する部分Ｂ１，Ｂ２で置換する。そのときＢ１は正常であるが、Ｂ２はエラーが発生したＭＢと重なっているために使用できない。そこで、さらに強階層フレームで超解像処理がされた画像（ｃ）の対応する部分Ｃ２で置換する。その際、階層によってフレームのサイズが異なるので、スケーリング処理（Ｂ１→Ｂ１′、Ｃ２→Ｃ２′）を行い、合成フレーム（ｄ）のサイズ・フォーマットに合わせる。
【００４１】
また、平滑処理部１１４は、フレーム内で各階層のデータを合成した場合、その境界部分に平滑化処理を行う。平滑化処理では、例えば、線形低域通過フィルタや順序統計フィルタ等の低域通過特性を持つ非線形フィルタを用いることができる。映像表示部１１５は、映像合成部１１３及び平滑処理部１１４で生成されたフレームを、表示時刻情報に従って出力する。
【００４２】
次に、音声信号の処理に関して述べる。ＡＡＣデコーダ１１６〜１１８は、それぞれ弱・中・強階層の音声基本ストリームの復号を行い、復号フレームをバッファメモリ１１９〜１２１に格納する。また、エラー検出部１４１〜１４３は、各階層の音声基本ストリーム中のエラーを検出して、復号できないフレームがある場合、そのフレームの表示時刻情報を音声切換部１２５に出力する。
【００４３】
音声切換部１２５は、エラー検出部１４１〜１４３から受けたエラー情報に基づき、フレーム単位で各階層のフレームデータを選択して切り換える。また、平滑処理部１２６は、フレーム間で異なる階層のデータを切り換えた場合、その境界部分の平滑化処理を行う。音声表示部１２７は、音声切換部１２５及び平滑処理部１２６で生成されたフレームを、表示時刻情報に従って出力する。
【００４４】
次に、図８のフローチャートにより本発明の第一の実施形態に係るデジタル放送受信装置の映像処理を、順を追って説明する。
【００４５】
ここでは、マクロブロック単位でエラー検出を行い、映像合成部１１３でマクロブロック単位に映像データを合成する場合について説明する。
【００４６】
映像合成部１１３は、ＭＰＥＧ−２デコーダ１０４，１０５及びＨ．２６４デコーダ１０６からの表示時刻情報に基づき、次に表示すべきフレームを決定する（Ｓ５０１）。表示すべきフレームとは、現在時刻から最も直近の表示時刻を持つフレームである。そして、該フレームを構成するマクロブロック（ＭＢ）毎に順次以下の処理を進める（Ｓ５０２）。
【００４７】
先ず、ＭＰＥＧ−２デコーダ１０４からの表示時刻情報とエラー検出部１３１からの誤り位置情報から、現在のマクロブロックにおいて弱階層のデータが有効か否かを判定する（Ｓ５０３）。該データが有効である場合、スケーラ１１０によるスケーリング処理を行い（Ｓ５０４）、該データを当該マクロブロックのデータとして選択する（Ｓ５０５）。
【００４８】
Ｓ５０３にて、弱階層のデータが有効でない場合、ＭＰＥＧ−２デコーダ１０５からの表示時刻情報とエラー検出部１３２からの誤り位置情報から、当該マクロブロックにおける中階層のデータが有効か否かを判定する（Ｓ５０６）。該データが有効である場合、該データに対して、中階層の超解像処理を施した後（Ｓ５２１）、超解像処理が施されたデータをスケーリングし（Ｓ５０７）、当該マクロブロックのデータとして選択する（Ｓ５０８）。
【００４９】
Ｓ５０６にて、中階層のデータが有効でない場合、Ｈ．２６４デコーダ１０６からの表示時刻情報とエラー検出部１３３からの誤り位置情報から、当該マクロブロックにおける強階層のデータが有効か否かを判定する（Ｓ５０９）。該データが有効である場合、該データに対して、強階層の超解像処理を施した後（Ｓ５２２）、超解像処理が施されたデータをスケーリングし（Ｓ５１０）、当該マクロブロックのデータとして選択する（Ｓ５１１）。
【００５０】
Ｓ５０９にて、強階層のデータが有効でない場合、誤り隠蔽処理を行う（Ｓ５１２）。誤り隠蔽処理では、例えば、前フレームの同位置のマクロブロックデータを繰り返し使用する。
【００５１】
当該マクロブロックのデータが選択されると、必要に応じて隣接するマクロブロックとの境界部の平滑化処理を行う（Ｓ５１３）。平滑化処理は、隣接するマクロブロックの階層と当該マクロブロックの階層とが異なる場合に、例えば、平滑化フィルタ処理を行う。
【００５２】
当該フレームの処理が完了したか否かを判定し（Ｓ５１４）、完了していない場合は、Ｓ５０２に戻り次のマクロブロックの処理を行う。このようにして、マクロブロック毎にＳ５０３からＳ５１３までの処理を、当該フレームの全データが選択されるまで繰り返す
。フレームの全データが決定された後、表示時刻情報に従って当該フレームを表示する（Ｓ５１５）。当該フレームの処理が完了したら、Ｓ５０１に戻り次のフレームの処理を行う。
【００５３】
以上の動作により、映像フレームに関しては、マクロブロック単位で、弱・中・強階層の順序の指定された優先度に従って誤りの無いデータを選択し、高品質の映像データを生成することができる。また、階層の異なるデータを持つマクロブロック間の境界に対して平滑化処理を行うことで、フレーム内にブロック状の歪が発生することを防止することができる。
【００５４】
次に、図９のフローチャートにより本発明の第一の実施形態に係るデジタル放送受信装置の音声処理を、順を追って説明する。
【００５５】
音声切換部１２５は、ＡＡＣデコーダ１１６，１１７，１１８からの表示時刻情報に基づき、次に表示すべきフレームを決定する（Ｓ６０１）。次に表示すべきフレームとは、現在時刻から最も直近の表示時刻を持つフレームである。
【００５６】
先ず、ＡＡＣデコーダ１１６からの表示時刻情報とエラー検出部１４１からの誤りフレーム情報から、現在のフレームにおいて弱階層のデータが有効か否かを判定する（Ｓ６０２）。該データが有効である場合、当該フレームとして該データを選択する（Ｓ６０３）。
【００５７】
Ｓ６０２にて、弱階層のデータが有効でない場合、ＡＡＣデコーダ１１７からの表示時刻情報とエラー検出部１４２からの誤りフレーム情報から、当該フレームにおける中階層のデータが有効か否かを判定する（Ｓ６０４）。該データが有効である場合、当該フレームとして該データを選択する（Ｓ６０５）。
【００５８】
Ｓ６０４にて、中階層のデータが有効でない場合、ＡＡＣデコーダ１１８からの表示時刻情報とエラー検出部１４３からの誤りフレーム情報から、当該フレームにおける強階層のデータが有効か否かを判定する（Ｓ６０６）。該データが有効である場合、当該フレームとして該データを選択する（Ｓ６０７）。
【００５９】
Ｓ６０６にて、強階層のデータが有効でない場合、誤り隠蔽処理を行う（Ｓ６０８）。誤り隠蔽処理とは、例えば、前フレームから滑らかにつながり、減衰するようなフレームデータを生成する。
【００６０】
当該フレームのデータが選択された後、必要に応じてフレーム境界の平滑化処理を行う（Ｓ６０９）。平滑化処理は、前フレームの階層と当該フレームの階層とが異なる場合に、例えば、平滑化フィルタ処理を行う。
【００６１】
当該フレームの全データが決定された後、表示時刻情報に従って当該フレームを表示する（Ｓ６１０）。当該フレームの処理が完了したら、Ｓ６０１に戻り、次のフレームの処理を行う。
【００６２】
以上の動作により、音声のフレームに関しては、フレーム単位で、弱・中・強階層の順序の指定された優先度に従って誤りの無いデータを選択し、高品質の音声データを生成することができる。また、階層の異なるデータを持つフレーム間の境界に対して平滑化処理を行うことで、データの不連続に起因するノイズが発生することを防止することができる。
【００６３】
以上のように、本実施形態のデジタル放送受信装置及び受信方法においては、映像データと音声データを独立に処理し、それぞれについて細分割されたデータ単位で、伝送誤りの影響をうけていない最も高品質な階層を選択して、必要なときには、超解像処理を施して再生するので、品質劣化を最小限に抑えることができる。
【００６４】
また、上記実施形態では、映像データはマクロブロック単位、音声データはフレーム単位でその良否を判定するとしたが、これに限らず、データの細分割を行うものであれば良い。例えば映像データについては、マクロブロックよりもサイズの大きなスライスレベル、フレームレベルであっても本発明の効果は期待できる。
【００６５】
また、上記実施形態では、映像信号処理において無効と判定された数のマクロブロックが他の階層のデータにて置換される。１つのフレームの中で、置換されたマクロブロックの数が多いと、境界部分での不連続が目立ち、全体としての画質を劣化させることになる。そのような場合は、選択するデータの単位を、むしろサイズの大きいフレーム単位やスライス単位に切り換えた方がよい。よって、フレーム中の無効とされたマクロブロックの数をカウントし、その頻度が閾値を超えたら、選択する単位をマクロブロック単位からフレームまたはスライス単位に切り換える制御を付加するのが有効である。
【００６６】
さらに、上記実施形態においては、弱・中・強階層に対応して、３系統のデコーダ、バッファメモリ、スケーラを備えるものとしたが、これらは同一機能を有しており、共通のハードウェアを用いて時分割に処理を行うようにしてもよい。
【００６７】
また、上記実施形態においては、各階層の受信品質の良否に係わらず、弱・中・強階層の３系統のデコードを全て並行して実行しているが、通常は最優先する弱階層の信号のみをデコードし、該弱階層のデータが無効であると判定した場合に、次に優先する中階層、さらには強階層の信号のデコードを実行するように切り換えてもよい。これにより、消費電力を低減できる効果がある。
【００６８】
〔実施形態２〕
以下、本発明に係る第二の実施形態を、図１０および図１１を用いて説明する。
図１０は、本発明の第二の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
図１１は、本発明の第二の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
【００６９】
第一の実施形態では、エラーがあったＭＢに対して、中階層や弱階層のＭＢのデータに超解像処理を施して、合成フレームを出力した。
【００７０】
本実施形態では、第一の実施形態の処理に加えて、フレームレート変換を施して映像の出力を滑らかにするものである。本実施形態の説明では、第一の実施形態と比較して異なる部分を重点的に説明するものとする。
【００７１】
先ず、図１０を用いて本発明の第二の実施形態に係るデジタル放送受信装置の構成を説明する。
【００７２】
本実施形態では、第一の実施形態のデジタル放送受信装置の構成に加えて、ＦＲＣ（Frame Rate Conversion）部１６１，１６２が加わっている。
【００７３】
ＦＲＣ部１６１は、中階層の超解像処理が施されたフレームに対して、補間フレームを生成して、弱階層のフレームレートに合わせるように、フレームレート変換を行い、ＦＲＣ部１６２は、強階層の超解像処理が施されたフレームに対して、補間フレームを生成して、弱階層のフレームレートに合わせるように、フレームレート変換を行う。
【００７４】
次に、図８のフローチャートにより本発明の第二の実施形態に係るデジタル放送受信装置の映像処理で、第一の実施形態に付け加わった動作について説明する。
【００７５】
本実施形態では、第一の実施形態の処理を示す図８の中階層超解像処理（Ｓ５２１）と、中階層スケール（Ｓ５０７）の間に、中階層のＦＲＣ処理（Ｓ５３１）が付け加わっており、中階層の超解像処理が施されたフレームに対して、補間フレームを生成して、弱階層のフレームレートに合わせるように、フレームレート変換を行う。また、強階層超解像処理（Ｓ５２２）と、中階層スケール（Ｓ５１０）の間に、強階層のＦＲＣ処理（Ｓ５３２）が付け加わっており、強階層の超解像処理が施されたフレームに対して、補間フレームを生成して、弱階層のフレームレートに合わせるように、フレームレート変換を行う。
【００７６】
フレームレート変換は、フレームレートの高い弱階層のフレームレートを合わせるため、動きのある映像に対しては、補間フレームを生成する必要があるが、超解像処理における位置推定結果の情報を利用して、補間フレームを生成することにより、ＦＲＣ処理（Ｓ５３１、Ｓ５３２）における補間フレームの生成のための演算を省いて、演算量の削減し、消費電力と処理時間を抑えることができるという効果がある。
【００７７】
〔実施形態３〕
以下、本発明に係る第三の実施形態を、図１２および図１３を用いて説明する。
図１２は、本発明の第三の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
図１３は、本発明の第三の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
【００７８】
第一の実施形態では、エラーがあったＭＢに対して、中階層や弱階層のＭＢのデータに超解像処理を施して、合成フレームを出力した。
【００７９】
本実施形態では、第一の実施形態の処理に加えて、映像フレームの動き検出を行い、動きのないＭＢに対しては、超解像処理を行わないようにするものである。本実施形態の説明でも、第一の実施形態と比較して異なる部分を重点的に説明するものとする。
【００８０】
先ず、図１２を用いて本発明の第三の実施形態に係るデジタル放送受信装置の構成を説明する。
【００８１】
図１３は、
本実施形態では、第一の実施形態のデジタル放送受信装置の構成に加えて、動き検出部１７１、１７２が加わっている。
【００８２】
動き検出部１７１は、中階層のフレームを処理するＭＰＥＧ−２デコーダ１０５により、復号されたフレームのＭＢに対して、動き検出をおこない、動きがないフレームのＭＢには、超解像処理部１５１に超解像処理を行わないように指示を与える。また、動き検出部１７２は、強階層のフレームを処理するＨ．２６４デコーダ１０６により、復号されたフレームのＭＢに対して、動き検出をおこない、動きがないフレームのＭＢには、超解像処理部１５２に超解像処理を行わないように指示を与える。
【００８３】
次に、図１３のフローチャートにより本発明の第三の実施形態に係るデジタル放送受信装置の映像処理で、第一の実施形態に付け加わった動作について説明する。
【００８４】
本実施形態では、中階層のデータが有効か否かを判定し（Ｓ５０６）、該データが有効である場合には、そのフレームのＭＢに対して、動き検出を行い（Ｓ５４２）、動きが検出されたときには、中階層超解像処理を行い（Ｓ５２１）、動きが検出されないときには、中階層超解像処理をスキップする。
【００８５】
また、強階層のデータが有効か否かを判定し（Ｓ５０６）、該データが有効である場合には、そのフレームのＭＢに対して、動き検出を行い（Ｓ５４２）、動きが検出されたときには、強階層超解像処理を行い（Ｓ５２２）、動きが検出されないときには、強階層超解像処理をスキップする。
【００８６】
映像の動き検出は、そのフレームの動きベクトルの値、動き補償予測の参照フレームのＤＣＴ変換係数の値を調べることにより行うことができる。
【００８７】
このようにするのは、動き検出を行って、動きのない映像データに対して、超解像処理を行っても効果が得られないため、むだな超解像処理を省き、それにより、演算量の削減し、消費電力と処理時間を増加させないようにするためである。
【００８８】
〔実施形態４〕
以下、本発明に係る第四の実施形態を、図１４を用いて説明する。
【００８９】
第一の実施形態のデジタル放送受信装置は、各機能毎にブロック化されたハードウェアで機能を実現していた。
【００９０】
本実施形態では、本発明のデジタル放送受信装置の機能をソフトウェアで実現したものである。
【００９１】
図１４は、本発明の第四の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【００９２】
本実施形態のデジタル放送受信装置７は、図１４に示されるように、システムバス７０に、中央演算処理部７１と主記憶部７２と入出力部７３が接続されている。また、入出力部７３には、補助記憶部７４とＴＳ受信部７５と表示部７６が接続されている。表示部７６は、このデジタル放送受信装置７の外部に接続してもよい。補助記憶部７４は、中央演算処理部７１の処理を行うプログラムとデータと、ＴＳ受信部７５によって受信した各階層の伝送ストリーム、映像・音声の基本ストリーム、及び復号フレームと出力フレームのデータを記憶する。主記憶部７２は、補助記憶部７４から読み出されたプログラムと処理途中のデータを逐次記憶する。中央演算処理部７１は、主記憶部７２内のプログラムに従って処理を行う。
【００９３】
中央演算処理部７１の処理により、ＴＳ受信部７５で受信したデジタルテレビジョンの伝送ストリームを、主記憶部７２に記憶する。中央演算処理部７１は、この伝送ストリームから各階層の映像及び音声の基本ストリームを順次分離し、主記憶部７２に記憶する。また中央演算処理部７１は、これらの映像及び音声の基本ストリームを順次復号し、復号フレームと表示時刻情報、及び誤り位置情報を主記憶部７２に記憶する。さらに中央演算処理部７１は、表示時刻情報及び誤り位置情報をもとに、映像及び音声の復号フレームの選択・合成・切換・平滑化処理、超解像処理等を行い、表示部７６を介して表示する。その処理内容は、第一の実施形態の図８、図９のフローチャートと同様である。中央演算処理部７１は、これらの処理を時分割して順次行う。
【００９４】
また、中央演算処理部７１の処理で、第二の実施形態で行ったＦＲＣ処理、第三の実施形態で行った動き検出処理を行えるようにしてもよい。
【００９５】
以上の構成により、本実施形態のデジタル放送受信装置においても、第一の実施形態と同様の機能を得ることができる。
【００９６】
〔その他の実施形態、特徴〕
上記各実施形態では、地上デジタルテレビジョン放送を例に、強階層・中階層・弱階層の３階層の伝送方式について説明したが、本発明は任意の複数の階層の伝送方式に適用できる。また、選択する階層の優先順序を、弱・中・強階層の順としたが、これも視聴する目的に応じて、任意に変更して指定することができる。
【００９７】
上記各実施形態の受信装置によれば、地上デジタルテレビジョン放送の如く複数階層伝送を行うデジタル放送を受信する際、受信状況の悪化により伝送ストリームに誤りが含まれた場合で、それを中階層、強階層のデータに置き換えた場合であっても、視聴する映像及び音声の品質の劣化を最小限に抑えることが可能となる。その結果、受信劣化耐性を向上することができ、特に受信環境の変動しやすい移動体受信機等に有効に適用できる。
【００９８】
また、上記各実施形態の受信装置は、これを内蔵したテレビジョンはもちろん、受信した信号をハードディスク等の記録媒体に記録する記録部を有する装置（ＨＤＤレコーダ）にも適用することができる。
【図面の簡単な説明】
【００９９】
【図１】本発明の第一の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【図２】地上デジタル放送におけるＢＳＴ−ＯＦＤＭ方式の伝送スペクトルを表す図である。
【図３】各階層の特性を示す図である。
【図４】ＭＰＥＧ伝送ストリームの構成の一例を示す図である。
【図５】ＴＳ分離部１０２において、ＭＰＥＧ伝送ストリーム８０から各階層の映像及び音声の基本ストリームを分離する様子を示した図である。
【図６】超解像処理部１５１、１５２による超解像処理について説明する図である。
【図７】映像合成部１１３の行う選択合成と、スケーラ１１０〜１１２の行うスケーリングを模式的に示した図である。
【図８】本発明の第一の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
【図９】本発明の第一の実施形態に係るデジタル放送受信装置の音声処理を示すフローチャートである。
【図１０】本発明の第二の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【図１１】本発明の第二の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
【図１２】本発明の第三の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【図１３】本発明の第三の実施形態に係るデジタル放送受信装置の映像処理を示すフローチャートである。
【図１４】本発明の第四の実施形態に係るデジタル放送受信装置の構成を示すブロック図である。
【符号の説明】
【０１００】
１０１…ＴＳ受信部、１０２…ＴＳ分離部、１０４，１０５…ＭＰＥＧ−２デコーダ、１０６…Ｈ．２６４デコーダ、１０７〜１０９，１１９〜１２１…バッファメモリ、１１０〜１１２…スケーラ、１１３…映像合成部、１１４，１２６…平滑処理部、１１５…映像表示部、１１６〜１１８…ＡＡＣデコーダ、１２５…音声切換部、１２７…音声表示部、１３１〜１３３，１４１〜１４３…エラー検出部、１５１、１５２…超解像処理部、１６１、１６２…ＦＲＣ処理部、１７１、１７２…動き検出部、７…デジタル放送受信装置、７０…システムバス、７１…中央演算処理部、７２…主記憶部、７３…入出力部、７４…補助記憶部、７５…ＴＳ受信部、７７…表示部。
【図１】
2009077137.tif 000003
【図２】
2009077137.tif 000004
【図３】
2009077137.tif 000005
【図４】
2009077137.tif 000006
【図５】
2009077137.tif 000007
【図６】
2009077137.tif 000008
【図７】
2009077137.tif 000009
【図８】
2009077137.tif 000010
【図９】
2009077137.tif 000011
【図１０】
2009077137.tif 000012
【図１１】
2009077137.tif 000013
【図１２】
2009077137.tif 000014
【図１３】
2009077137.tif 000015
【図１４】
2009077137.tif 000016