(57)【要約】    【課題】      画像合成制御のためにＣＰＵに要求されるリアルタイム性を引き下げること、およびＣＰＵの処理負荷低減を図ること。    【解決手段】  映像復号化部１０４は、符号化データを復号化し、映像フレームとその映像フレームタイミング情報とを共有メモリ１０２に出力してそれぞれメモリ１５２，１５１に記憶させる。字幕復号化部１０５は、画像合成部１０１や映像復号化部１０４とは非同期に、符号化データを復号化し、字幕フレーム２５３とその字幕フレームタイミング情報とを共有メモリ１０２に出力してメモリ１５４，１５３に記憶させる。画像合成部１０１は、表示合成指示用メモリ１５６に格納された制御部１０３からの指示に従い、共有メモリ１０２、タイマカウンタ１０６を参照して映像フレームと字幕フレームとの画像合成処理を行い、表示部１０７に表示する。  【選択図】      図１
2006254352.tif 000002
【特許請求の範囲】
【請求項１】
デジタルＴＶ放送においてＭＰＥＧなどで符号化された映像信号を復号化し映像データとその同期のための映像タイミング情報を出力する映像復号化部と、
前記デジタルＴＶ放送でデータ放送として送出される字幕情報を復号化し字幕データとその同期のための字幕タイミング情報を出力する字幕復号化部と、
前記映像データと前記字幕データとを、それぞれ、前記映像タイミング情報と前記字幕タイミング情報とに基づいて、タイマカウンタからのカウンタに同期して合成して表示する画像合成部と、
を有する画像合成装置。
【請求項２】
請求項１記載の画像合成装置を有するデジタルＴＶ放送受信装置。
【請求項３】
デジタルＴＶ放送においてＭＰＥＧなどで符号化された映像データを復号化し映像データとその同期のための映像タイミング情報を出力する工程と、
前記デジタルＴＶ放送でデータ放送として送出される字幕情報を復号化し字幕データとその同期のための字幕タイミング情報を出力する工程と、
前記映像データと前記字幕データとを、それぞれ、前記映像タイミング情報と前記字幕タイミング情報とに基づいて、タイマカウンタからのカウンタに同期して合成して表示する工程と、
を有するデジタルＴＶ放送用受信方法。
【請求項４】
請求項３記載のデジタルＴＶ放送用受信方法を実行するシステムＬＳＩ。
【請求項５】
コンピュータに、請求項３記載のデジタルＴＶ放送用受信方法を実行させるためのプログラム。
【請求項６】
請求項５記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ２などで符号化されたデジタルＴＶ放送を受信して映像データと字幕データとを同期合成する画像合成装置、デジタルＴＶ放送受信装置、デジタルＴＶ放送用受信方法、システムＬＳＩ、プログラム、記録媒体に関する。
【背景技術】
【０００２】
近年、ＴＶ放送において従来のアナログ放送に加え、デジタルＴＶ放送という新しい放送が普及しつつある。デジタルＴＶ放送では、映像、音声、字幕等の文字情報などの各種データが多重化されて放送され、デジタルＴＶ放送受信機によって受信され、多重化されて受信された各種データは、データ種別毎に復号化などの処理が行われ、あらかじめ指定された時間になると再生される。例えば、映像と文字字幕は、通常同一の画面表示部に合成して表示する必要があり、デジタルＴＶ放送受信機には画像合成機能が一般的には搭載されている。また、字幕表示の開始終了は、映像／音声と同期を取るために、放送局から指定されたタイミングで表示する必要があるが、通常このタイミングは受信機に搭載されるＣＰＵで処理されている（例えば、特許文献１参照）。
【特許文献１】特開２０００−３３１４６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方式では、最終的な表示タイミングをＣＰＵが制御するために、ＣＰＵが映像、字幕両方の復号化結果とそのタイミング情報を管理する必要があった。近年、画像の符号化は、画質向上や低ビットレート化のために複雑さは増加しており、この復号化にも多くの処理量が必要となり、ＤＳＰや専用ハードウェアなどで復号化することが多くなってきている。しかし、上記表示合成制御のために、ＣＰＵは、映像復号化の状況を把握する必要がある。
【０００４】
また、画面表示は、通常、６０Ｈｚ周辺の周波数で更新されるため、表示タイミングの制御は約１／６０ｓ毎に発生し、且つ、合成内容が表示途中で変わると画像が乱れるため、切替え処理は表示ブランキング期間中に行う必要がある。このため、制御するＣＰＵには、かなりのリアルタイム性が要求されることとなり、非リアルタイムＯＳなどを使用する際には、特殊な対策が必要となっている。
【０００５】
そこで、本発明は、画像合成制御のためにＣＰＵに要求されるリアルタイム性を大幅に引き下げることができると共に、字幕復号化と映像復号を異なる部位で独立に行うことによりＣＰＵの処理負荷低減を図ることができる画像合成装置、デジタルＴＶ放送受信装置、デジタルＴＶ放送用受信方法、システムＬＳＩ、プログラム、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の画像合成装置は、デジタルＴＶ放送においてＭＰＥＧなどで符号化された映像信号を復号化し映像データとその同期のための映像タイミング情報を出力する映像復号化部と、前記デジタルＴＶ放送でデータ放送として送出される字幕情報を復号化し字幕データとその同期のための字幕タイミング情報を出力する字幕復号化部と、前記映像データと前記字幕データとを、それぞれ、前記映像タイミング情報と前記字幕タイミング情報とに基づいて、タイマカウンタからのカウンタに同期して合成して表示する画像合成部と、を有する構成を採る。
【発明の効果】
【０００７】
本発明の画像合成装置は、上記のような構成をとることにより、画像合成制御のためにＣＰＵに要求されるリアルタイム性を大幅に引き下げることができると共に、字幕復号化と映像復号化とを異なる部位で独立に行うことを可能となり、ＣＰＵの処理負荷の低減も図ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態に係る画像合成装置について、図面を参照して詳細に説明する。
【０００９】
図１は、本発明の実施の形態に係る画像合成装置の具体的な構成例を示すブロック図である。
【００１０】
この図に示すように、本実施の形態に係る画像合成装置は、画像合成部１０１、共有メモリ１０２、制御部１０３、映像復号化部１０４、字幕復号化部１０５、タイマカウンタ１０６、ＬＣＤ等の表示部１０７を有している。
【００１１】
画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの画面構成の他、設定などの指示に従い、共有メモリ１０２上の各種データや、タイマカウンタ１０６を参照して画像合成を行い、表示部１０７に合成した映像データを出力するものである。
【００１２】
共有メモリ１０２は、映像フレームメモリ１５２、映像フレームタイミングメモリ１５１、字幕フレームメモリ１５４、字幕フレームタイミングメモリ１５３、その他画像フレームメモリ１５５、表示合成指示用メモリ１５６などの読み書き可能なメモリを有しており、それぞれ、映像データである映像フレームデータ、映像タイミング情報である映像フレームタイミング情報、字幕データである字幕フレームデータ、字幕タイミング情報である字幕フレームタイミング情報、その他の字幕フレームデータ、画面構成やその他の設定等の表示合成指示が格納される。
【００１３】
制御部１０３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるものであり、プログラム処理により各部を制御し、所望の画像合成を実現するものである。具体的には、制御部１０３は、映像復号化部１０４および字幕復号化部１０５に対し復号開始／終了の制御を行う一方、表示合成指示用メモリ１５６に対し画面構成の他、設定の指示（命令）を出力して記憶させ、画像合成部１０１に対しては合成開始／終了の制御を行い、タイマカウンタ１０６に対しては動作開始／終了の制御およびタイマ値の設定制御を行う。
【００１４】
映像復号化部１０４は、ＣＰＵまたはＤＳＰ、ＲＯＭ、ＲＡＭ、専用ハードウェアからなるものであり、プログラム処理やハードウェア処理にて符号化された映像データを制御部１０３の指示に従い復号化するものである。必ずしも専用のＣＰＵまたはＤＳＰ、ＲＯＭ、ＲＡＭは、必要なく、一部または全てを制御部１０３や字幕復号化部１０５等と共有しても良い。
【００１５】
字幕復号化部１０５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるものであり、プログラム処理により字幕データの復号化を実現するものである。必ずしも専用のＣＰＵ、ＲＯＭ、ＲＡＭは必要なく、一部または全てを制御部１０３や映像復号化部１０４等と共有しても良い。
【００１６】
タイマカウンタ１０６は、一定の周期でカウントされるカウンタである。制御部１０３の指示でカウンタ値他を更新することができ、画像合成のタイミングの基準となるカウンタを出力する。
【００１７】
表示部１０７は、ＬＣＤ等であり、画像合成部１０１からの出力信号を表示するものである。
【００１８】
次に、このような構成の画像合成装置での実際の画像合成の動作について、図２に沿って説明する。
【００１９】
本実施の形態の画像合成装置に符号化データが入力すると、映像復号化部１０４が符号化データを復号化し、図２に示すように、例えば、ｎ枚目の映像フレーム２３１と、その映像フレームタイミング情報２４１である例えば“開始：０００１”とを、共有メモリ１０２に出力して、それぞれ、映像フレームメモリ１５２および映像フレームタイミングメモリ１５１に記憶させる。
【００２０】
そして、タイマカウンタ１０６のカウンタ値が、映像フレームタイミング情報２４１の“開始：０００１”と一致すると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照して、合成画像２０１を合成して表示部１０７に出力して表示する。
【００２１】
次に、タイマカウンタ１０６のカウンタ値が“０００２”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照して、同様にｎ枚目の映像フレーム２３１から合成画像２０２を合成して、表示部１０７に出力して表示する。
【００２２】
ところで、字幕復号化部１０５は、画像合成部１０１や映像復号化部１０４とは非同期に、符号化データを復号化し、字幕フレーム２５３である“ＸＸＸＸＸＸ”とその字幕フレームタイミング情報２６３である“開始：０００３、終了：０００５”とを、共有メモリ１０２に出力して、それぞれ、字幕フレームメモリ１５４および字幕フレームタイミングメモリ１５３に記憶させる。
【００２３】
そして、タイマカウンタ１０６のカウンタ値が“０００３”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照すると共に、字幕フレームタイミング情報２６３の“開始：０００３、終了：０００５”に基づいて、ｎ枚目の映像フレーム２３１と字幕フレーム２５３である“ＸＸＸＸＸＸ”とからなる合成画像２０３を合成し、表示部１０７に出力して表示する。
【００２４】
一方、映像復号化部１０４は、画像合成部１０１や字幕復号化部１０５とは非同期に、符号化データを復号化し、ｎ＋１枚目の映像フレーム２３４と、その映像タイミング情報２４４である“開始：０００４”とを共有メモリ１０２に出力して、それぞれ、映像フレームメモリ１５２および映像フレームタイミングメモリ１５１に記憶させる。
【００２５】
そして、タイマカウンタ１０６のカウンタ値が“０００４”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照して、ｎ＋１枚目の映像フレーム２３４と字幕フレーム２５３である“ＸＸＸＸＸＸ”から合成画像２０４を合成し、表示部１０７に出力して表示する。
【００２６】
次に、タイマカウンタ１０６のカウンタ値が“０００５”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照すると共に、字幕フレームタイミング情報２６３の“開始：０００３、終了：０００５”に基づいて、同様にｎ＋１枚目の映像フレーム２３４と字幕フレーム２５３である“ＸＸＸＸＸＸ”から合成画像２０５を合成し、表示部１０７に出力して表示する。
【００２７】
一方、字幕復号化部１０５は、画像合成部１０１や映像復号化部１０４とは非同期に、符号化データを復号化して、字幕フレーム２５６である“ＹＹＹＹＹＹ”とその字幕フレームタイミング情報２６６の“開始：０００６、終了：０００７”とを共有メモリ１０２に出力して、それぞれ、字幕フレームメモリ１５４および字幕フレームタイミングメモリ１５３に記憶させる。
【００２８】
そして、タイマカウンタ１０６のカウンタ値が“０００６”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照すると共に、字幕フレームタイミング情報２６３の“開始：０００３、終了：０００５”に基づいて字幕フレーム２５３の合成を終了する一方、字幕フレームタイミング情報２６６の“開始：０００６、終了：０００７”に基づいてｎ＋１枚目の映像フレーム２３４と字幕フレーム２５６である“ＹＹＹＹＹＹ”との合成画像２０６を合成して、表示部１０７に出力して表示する。
【００２９】
一方、画像合成部１０１や字幕復号化部１０５とは非同期に、映像復号化部１０４が符号化データを復号化し、ｎ＋２枚目の映像フレーム２３７と、その映像フレームタイミング情報２４７である“開始：０００７、”とを共有メモリ１０２に出力して、それぞれ、映像フレームメモリ１５２および映像フレームタイミングメモリ１５１に記憶させる。
【００３０】
次に、タイマカウンタ１０６のカウンタ値が“０００７”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照して、映像フレーム２３７と字幕フレーム２５６である“ＹＹＹＹＹＹ”から合成画像２０７を合成し、表示部１０７に出力して表示する。
【００３１】
そして、タイマカウンタ１０６のカウンタ値が“０００８”となると、画像合成部１０１は、表示合成指示用メモリ１５６に予め格納された制御部１０３からの指示を参照すると共に、字幕フレームタイミング情報２６６の“開始：０００６、終了：０００７”に基づいて、映像フレーム２３７のみから合成画像２０８を合成し、表示部１０７に出力して表示する。
【００３２】
次に、制御部１０３での本装置の制御について、図３に示すフローチャートに沿って説明する。
【００３３】
例えば、本画像合成装置を制御する上位の装置等から本画像合成装置に画面更新の要求を受け付けると、制御部１０３は、図３に示す制御フローを開始する。
【００３４】
つまり、制御部１０３は、まず、ステップ３０１により、上位の装置等から要求された画面から対象となる画面構成、すなわち映像復号化部１０４あるいは字幕復号化部１０５の特定やそれぞれに使用する対象フレームメモリ、合成方法などを決定する。これらの情報は、制御部１０３のプログラムで決定される場合もあるが、上位から直接指示を受けても良いものとする。
【００３５】
次に、制御部１０３は、ステップ３０２により、映像復号化部１０４にステップ３０１で決定した内容の中で、映像フレームメモリ１５２および映像フレームタイミングメモリ１５１のアドレスなど必要な情報を引き渡し、動作開始を指示する。
【００３６】
次に、制御部１０３は、ステップ３０３により、字幕復号化部１０５にステップ３０１で決定した内容の中で、字幕フレームメモリ１５４および字幕フレームタイミングメモリ１５３のアドレスなど必要な情報を引き渡し、動作開始を指示する。
【００３７】
次に、制御部１０３は、ステップ３０４により、映像復号化部１０４及び字幕復号化部１０５の出力が可能となるまで待つ。
【００３８】
そして、映像復号化部１０４及び字幕復号化部１０５が出力可能となると（ステップ３０４“ＹＥＳ”）、続くステップ３０５により、制御部１０３は、表示合成指示用メモリ１５６に、画像合成部１０１のための画面構成、すなわち画面構成に使用する対象フレームメモリである映像フレームメモリ１５２および字幕フレームメモリ１５４や、合成方法などを画像合成部１０１に指示する。
【００３９】
以上の処理フローを通じて、制御部１０３は画像合成部１０１に対し画面合成の指示を与えて、画像合成部１０１は、例えば、図２に示すように、映像フレームと字幕フレームとを合成した画面構成を設定して表示部１０７に表示することができる。その際、表示出力タイミングなどタイミング制約に関しては、配慮する必要がなく、予め表示合成指示用メモリ１５６に格納しておくものであれば良い。
【００４０】
このように、本実施の形態によれば、映像復号化部１０４または字幕復号化部１０５により復号された映像フレームおよび字幕フレームと、それらのタイミング情報を共有メモリ１０２に格納すると共に、画像合成部１０１は、共有メモリ１０２に格納された映像フレームおよび字幕フレームを、タイマカウンタ１０６を参照しての各タイミング情報に基づく表示タイミング毎に、あらかじめＣＰＵなどの制御部１０３から指示された通りに合成して表示部１０７に表示するようにしたので、ＣＰＵなどの制御部１０３は、各映像フレームおよび字幕フレームの表示位置や合成の仕方などの表示合成方法を表示タイミングとは連動せずに設定可能となると共に、制御部１０３は、受信した符号化データの映像フレームおよび字幕フレームへの分離と復号化を行い、分離した映像データはＤＳＰ等の映像復号化部１０４にて制御部１０３とは独立して行うことが可能となる。
【００４１】
このため、映像フレームおよび字幕フレームの画像合成制御のためのＣＰＵなどの制御部１０３におけるリアルタイム性を大幅に引き下げることができると共に、映像復号化部１０４と字幕復号化部１０５との独立性を高められることから、ＣＰＵ等の制御部１０３の処理負荷の低減を図ることもでき、シンプルなシステム構成を実現可能となる。これらの結果、本実施の形態の画像合成装置を、デジタルＴＶ受信装置やパーソナルコンピュータ等に採用した場合、電力削減にも効果を上げることが可能となる。
【００４２】
尚、上記実施の形態では、画像合成装置を一例として説明したが、本発明は、これに限るものではなく、上記実施の形態の画像合成装置を有するデジタルＴＶ放送受信装置や、上記実施の形態の画像合成装置の処理を行なうデジタルＴＶ放送用受信方法、このデジタルＴＶ放送用受信方法を実行するシステムＬＳＩ、コンピュータにこのデジタルＴＶ放送用受信方法を実行させためのプログラム、このプログラムを記録した記録媒体等についても同様にできる。
【産業上の利用可能性】
【００４３】
以上の様に本発明に係る画像合成装置や、デジタルＴＶ放送受信装置、デジタルＴＶ放送用受信方法、システムＬＳＩ、プログラム、記録媒体は、画像合成制御のためにＣＰＵなどに要求されるリアルタイム性を大幅に引き下げることができると共に、また各データ復号化部との独立性を高められることから、ＣＰＵの処理負荷を軽減してシンプルなシステム構成が実現可能となり、デジタルＴＶ受信装置としての電力削減にも効果を上げることができる、という効果を有し、画像合成装置、デジタルＴＶ放送受信装置、デジタルＴＶ放送用受信方法、システムＬＳＩ、プログラム、記録媒体等に有効である。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態における具体的な構成例を示すブロック図
【図２】画像合成の方法について説明するための図
【図３】画像合成装置の制御について説明するためのフローチャート
【符号の説明】
【００４５】
１０１  画像合成部
１０２  共有メモリ
１０３  制御部
１０４  映像復号化部
１０５  字幕復号化部
１０６  タイマカウンタ
１０７  表示部
【図１】
2006254352.tif 000003
【図２】
2006254352.tif 000004
【図３】
2006254352.tif 000005