(57)【要約】【課題】１２セグメントのデジタル放送を録画して移動体端末機器に最適なデータ容量に変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる映像処理装置および映像処理方法を提供する。【解決手段】１２セグメントのデジタル放送と１セグメントのデジタル放送とが映像処理アプリケーション２０２によってサイマル放送であると判別された場合、１２セグメントのデジタル放送に含まれる映像データおよび音声データを当該映像データおよび音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに１セグメントのデジタル放送に含まれる字幕データを多重化し、制御部２０２ａによってＨＤＤ１１１に記憶する。【選択図】      図２
2010239435.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像データ、第１の音声データおよび第１の字幕データを備えた第１のデジタル放送と、前記第１のデジタル放送よりデータ容量の小さい、第２の映像データ、第２の音声データおよび第２の字幕データを備えた第２のデジタル放送とを受信する受信機と、
前記受信機によって受信された前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であるか否かを判別する判別部と、
前記判別部によって前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であると判別された場合、前記第１および第２のデジタル放送から前記第１および第２の字幕データをそれぞれ分離し、前記第１の字幕データが分離された前記第１のデジタル放送である前記第１の映像データおよび第１の音声データを前記第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第２の字幕データを多重化する処理を行う変換部と、を具備することを特徴とする映像処理装置。
【請求項２】
前記判別部は、前記第１のデジタル放送および第２のデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記番組情報は、ＥＰＧ情報、音声情報および映像情報のいずれか１つ以上であることを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記変換部は、前記番組情報によって前記第１のデジタル放送および第２のデジタル放送の放送時刻のずれ情報を検出し、検出されたずれ情報に基づいて前記動画データと第２の字幕データとの同期を行うことで、前記動画データと前記第２の字幕データとを多重化する処理を行うことを特徴とする請求項１に記載の映像処理装置。
【請求項５】
前記動画データは、前記第２のデジタル放送のデータ容量よりも容量が大きいことを特徴とする請求項１に記載の映像処理装置。
【請求項６】
第１の映像データ、第１の音声データおよび第１の字幕データを備えた第１のデジタル放送と、前記第１のデジタル放送よりデータ容量の小さい、第２の映像データ、第２の音声データおよび第２の字幕データを備えた第２のデジタル放送とを受信する受信機を備えた映像処理装置で用いられる映像処理方法であって、
前記受信機によって受信された前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であるか否かを判別し、
前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であると判別された場合、前記第１および第２のデジタル放送から前記第１および第２の字幕データをそれぞれ分離し、前記第１の字幕データが分離された前記第１のデジタル放送である前記第１の映像データおよび第１の音声データを前記第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第２の字幕データを多重化する処理を行うことを特徴とする映像処理方法。
【請求項７】
前記第１のデジタル放送および第２のデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別することを特徴とする請求項６に記載の映像処理方法。
【請求項８】
前記番組情報は、ＥＰＧ情報、音声情報および映像情報のいずれか１つ以上であることを特徴とする請求項７に記載の映像処理方法。
【請求項９】
前記番組情報によって前記第１のデジタル放送および第２のデジタル放送の放送時刻のずれ情報を検出し、検出されたずれ情報に基づいて前記動画データと第２の字幕データとの同期を行うことで、前記動画データと前記第２の字幕データとを多重化する処理を行うことを特徴とする請求項６に記載の映像処理方法。
【請求項１０】
前記動画データは、前記第２のデジタル放送のデータ容量よりも容量が大きいことを特徴とする請求項６に記載の映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル放送を変換する映像処理装置に係り、特に、サイマル放送受信時に、移動体端末向け放送の字幕情報を利用して多重化を行うことができる映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
地上デジタル放送では、１２セグメントのデジタル放送と、１セグメントのデジタル放送とが行われている。１２セグメントのデジタル放送とは、家庭用テレビジョン向けにハイビジョン番組を送出するものであり、１セグメントのデジタル放送とは、携帯電話等の移動端末向けに簡易動画を送出するものである。１２セグメントのデジタル放送と、１セグメントのデジタル放送の所要な受信電力が異なるため、電波状態に応じて受信するデジタル放送を感度の良い放送に切り替える技術が開示されている。
【０００３】
しかしながら、デジタル放送受信機を操作中である場合に１２セグメントデジタル放送と１セグメントデジタル放送の切替を行ってしまうと、操作内容が無効になってしまうという問題があった。また、必ずしも１２セグメントデジタル放送と１セグメントデジタル放送とが同時刻に同じ内容が放送されるサイマル放送とは限らないので、切替が不要な場合もあった。
【０００４】
特許文献１に開示されている技術では、テレビジョン受像機が操作中であるか否か、またはサイマル放送であるか否かを判別して、１２セグメントデジタル放送と１セグメントデジタル放送の切替を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２５１４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、携帯電話等の移動端末向けに簡易動画を送出するものであり、１２セグメントのデジタル放送に比べて映像品質は劣るものである。そこで、１２セグメントデジタル放送と１セグメントデジタル放送とがサイマル放送されている場合には、１２セグメントのデジタル放送における映像音声を移動端末向けにトランスコードし、１セグメントのデジタル放送よりも高品質な映像音声を視聴することが望まれている。
【０００７】
更に、１２セグメントのデジタル放送の映像音声のトランスコードに加えて、字幕情報もトランスコードする必要ある。しかし、１２セグメントのデジタル放送における字幕情報からトランスコードした場合、移動端末向けの字幕の仕様に合致せず、判読が不可能になってしまうことがあった。
【０００８】
そこで、本発明は、１２セグメントのデジタル放送を１セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる映像処理装置および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本願発明の一態様によれば、第１の映像データ、第１の音声データおよび第１の字幕データを備えた第１のデジタル放送と、前記第１のデジタル放送よりデータ容量の小さい、第２の映像データ、第２の音声データおよび第２の字幕データを備えた第２のデジタル放送とを受信する受信機と、前記受信機によって受信された前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であるか否かを判別する判別部と、前記判別部によって前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であると判別された場合、前記第１および第２のデジタル放送から前記第１および第２の字幕データをそれぞれ分離し、前記第１の字幕データが分離された前記第１のデジタル放送である前記第１の映像データおよび第１の音声データを前記第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第２の字幕データを多重化する処理を行う変換部と、を具備することを特徴とする映像処理装置が提供される。
【００１０】
また、本発明の一態様によれば、第１の映像データ、第１の音声データおよび第１の字幕データを備えた第１のデジタル放送と、前記第１のデジタル放送よりデータ容量の小さい、第２の映像データ、第２の音声データおよび第２の字幕データを備えた第２のデジタル放送とを受信する受信機を備えた映像処理装置で用いられる映像処理方法であって、前記受信機によって受信された前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であるか否かを判別し、前記第１のデジタル放送と第２のデジタル放送とがサイマル放送であると判別された場合、前記第１および第２のデジタル放送から前記第１および第２の字幕データをそれぞれ分離し、前記第１の字幕データが分離された前記第１のデジタル放送である前記第１の映像データおよび第１の音声データを前記第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、前記動画データに前記第２の字幕データを多重化する処理を行うことを特徴とする映像処理方法が提供される。
【発明の効果】
【００１１】
本発明は、１２セグメントのデジタル放送を１セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像処理装置の斜視の外観を示す図。
【図２】本発明の一実施形態に係る映像処理装置の構成の概略を示すブロック図。
【図３】本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムの機能構成を示すブロック図。
【図４】本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムを中心とした構成を示すブロック図。
【図５】本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムにおける映像処理の手順を示したフローチャート。
【図６】本発明の一実施形態に係る映像処理装置で用いられる映像処理アプリケーションプログラムにおける映像処理の手順を示したフローチャート。
【図７】本発明の一実施形態に係る映像処理装置におけるサイマル放送の判別および各デジタル放送のずれを検出する方法を模式的に示した図。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について図面を参照しながら説明する。
【００１４】
まず、図１を参照して、本発明の一実施形態に係る映像処理装置の構成を説明する。本実施形態の映像処理装置は、例えば、ノートブック型のパーソナルコンピュータ１０として実現されている。なお、本実施形態では、ノートブック型のパーソナルコンピュータ１０として説明しているが、これに限定されるものではない。例えば、ＨＤＤ（ＤＶＤ）レコーダや、録画機能を内蔵したテレビジョン装置等、デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）を受信可能な機器であればよい。
【００１５】
このパーソナルコンピュータ１０は、オペレーティングシステム（ＯＳ）上で動作する映像処理アプリケーションプログラム（以下、映像処理アプリケーションとも称する）を備えている。この映像処理アプリケーションプログラムは、受信された１２セグメントのデジタル放送（第１のデジタル放送）と１セグメントのデジタル放送（第２のデジタル放送）とがサイマル放送であるか否かを判別する。また、１２セグメントのデジタル放送と１セグメントのデジタル放送とがサイマル放送であると判別された場合は、１２セグメントのデジタル放送から第１の字幕データを分離し、第１の字幕データが分離された１２セグメントのデジタル放送である第１の映像データおよび第１の音声データを当該第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データ（例えば、移動体端末機器向けフォーマット）とする変換を行い、変換された動画データに１セグメントのデジタル放送から分離した第２の字幕データを多重化する処理を行う。
【００１６】
また、映像処理アプリケーションプログラムは、１２セグメントのデジタル放送および１セグメントのデジタル放送に含まれている番組情報によってサイマル放送であるか否かを判別する。なお、番組情報は、ＥＰＧ情報、音声データおよび映像データのいずれか１つ以上である。また、映像処理アプリケーションプログラムは、番組情報、音声データ及び映像データによって１２セグメントのデジタル放送および１セグメントのデジタル放送のずれ情報を検出する。ずれ情報とは即ち、サイマル放送中の１２セグメントのデジタル放送と１セグメントのデジタル放送との放送時間のずれを示す情報である。検出されたずれ情報に基づいて動画データと１セグメントのデジタル放送に含まれる第２の字幕データとの同期を行うことで、動画データと第２の字幕データとを多重化する処理を行う。なお、多重化された動画データは、１セグメントのデジタル放送のデータ容量よりも大きいものとする。
【００１７】
このため、移動体端末機器等で１セグメントのデジタル放送よりも良質な画質と、１セグメントのデジタル放送の移動体端末機器に最適された字幕とが多重化された動画データを閲覧することができる。
【００１８】
図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。
【００１９】
本コンピュータ１０は、コンピュータ本体（筐体）１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。
【００２０】
ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間をヒンジ部２１を介して回動（開閉）自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、メモリカードスロット１１０、およびスピーカ１８Ａ，１８Ｂなどが配置されている。
【００２１】
入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。
【００２２】
次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。図２は、コンピュータ１０の構成の概略を示すブロック図である。
【００２３】
本コンピュータ１０は、図２に示されているように、ＣＰＵ（判別部、変換部）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、メモリカードスロット１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＬＣＤ１７、ＴＶチューナ１１７、アンテナ１９およびＥＥＰＲＯＭ１１８等を備えている。
【００２４】
ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、および映像処理アプリケーションプログラム（判別部、変換部）２０２のような各種アプリケーションプログラムを実行する。映像処理アプリケーションプログラム２０２は、受信された１２セグメントのデジタル放送と１セグメントのデジタル放送とがサイマル放送であると判別された場合、１２セグメントのデジタル放送から第１の字幕データを分離し、第１の字幕データが分離された１２セグメントのデジタル放送である第１の映像データおよび第１の音声データを当該第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに第２の字幕データを多重化する処理を行うことができるソフトウェアである。なお、多重化された動画データは、１セグメントのデジタル放送のデータ容量よりも大きいものとする。
【００２５】
ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。
【００２６】
ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号は近距離無線通信を用いてディスプレイユニット１２のＬＣＤ１７に送られる。
【００２７】
サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。
【００２８】
サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。
【００２９】
エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。
【００３０】
メモリカードスロット１１０は、ＳＤカード等のメモリカードを装着することができる。このメモリカードに、映像処理アプリケーション２０２によって変換された例えば移動体端末機器用の動画データを記憶することができる。移動体端末機器では、このメモリカードを挿入することで、メモリカードに記憶された動画データを再生することができる。
【００３１】
ＴＶチューナ１１７は、アンテナ１９を介してデジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送等）を受信するチューナーユニットである。受信したデジタル放送は、例えば映像処理アプリケーション２０２等によって映像処理（エンコード処理、変換処理等）が行われ、ＨＤＤ１１１等に録画（記憶）される。また、ＴＶチューナ１１７自体にハードウエアエンコード機能を備えていてもよい。
【００３２】
次に、図３は、映像処理アプリケーションプログラム２０２の機能構成を示したブロック図である。
【００３３】
映像処理アプリケーションプログラム２０２は、制御部２０２ａ、判別部２０２ｂ、変換部２０２ｃ、記憶部２０２ｄを備えている。制御部２０２ａは、判別部２０２ｂおよび変換部２０２ｃを制御する。判別部２０２ｂは、１２セグメントのデジタル放送と１セグメントのデジタル放送とがサイマル放送であるか否かを判別する。サイマル放送であるか否かの判別方法には、デジタル放送に含まれている番組情報を用いる。番組情報は、ＥＰＧ情報、音声データおよび映像データのいずれか１つ以上であるが、望ましくは、ＥＰＧ情報を必須情報とする。このＥＰＧ情報に加えて、音声データおよび映像データのいずれか１つ以上をさらに取得することで判別の精度を上げることができる。変換部２０２ｃは、第１の映像データおよび第１の音声データを当該第１の映像データおよび第１の音声データよりもデータ容量の小さな動画データとする変換を行い、変換された動画データに第２の字幕データを多重化し、ＨＤＤ１１１やメモリカードスロット１１０等に記憶する処理を行う。記憶部２０２ｄは、変換前および変換後の動画データを一時的に記憶したり、番組情報を一時的に記憶するための記憶領域である。
【００３４】
次に図４は、映像処理アプリケーションプログラム２０２を中心とした構成を示したブロック図である。
【００３５】
映像処理アプリケーションプログラム２０２は、放送波分離部３００、地デジ受信部３０１、ワンセグ受信部３０２、分離部３０３、３０４、番組比較部３０５、ビデオ記憶領域３０６、３１３、オーディオ記憶領域３０７、３１２、字幕記憶領域３０８、３１１、その他（情報記憶領域）３０９、３１０、ビデオトランスコーダ３１４、オーディオトランスコーダ３１５、字幕トランスコーダ３１６、同期制御部３１７、多重部３１８、記憶部２０２ｄを備えている。
【００３６】
放送波分離部３００は、アンテナ１９を介してＴＶチューナ１１７が受信したデジタル放送（１２セグメントのデジタル放送：地デジおよび１セグメントのデジタル放送：ワンセグ）を、１２セグメントのデジタル放送：地上デジタル放送と、１セグメントのデジタル放送：ワンセグ放送とに分離する。地デジ受信部３０１は、放送波分離部３００にて分離された１２セグメントのデジタル放送（地デジ）を受信する。ワンセグ受信部３０２は、放送波分離部３００にて分離された１セグメントのデジタル放送（ワンセグ）を受信する。分離部３０３は、１２セグメントのデジタル放送（地デジ）に含まれる映像データ（ビデオデータ：第１の映像データ）、音声データ（オーディオデータ：第１の音声データ）、字幕データ（第１の字幕データ）、および番組情報を分離する。分離部３０４は、１セグメントのデジタル放送（ワンセグ）に含まれる映像データ（ビデオデータ：第２の映像データ）、音声データ（オーディオデータ：第２の音声データ）、字幕データ（第２の字幕データ）、および番組情報を分離する。番組比較部３０５は、分離部３０３、３０４によって分離された各種データに基づいて、１２セグメントのデジタル放送と１セグメントのデジタル放送とがサイマル放送（内容が同一の放送）かどうかの判別を行う。また番組比較部３０５は、１２セグメントのデジタル放送と１セグメントのデジタル放送とのずれ情報を検出する。ビデオ記憶領域３０６は、１２セグメントのデジタル放送のビデオデータ（映像データ）を記憶する記憶領域である。ビデオ記憶領域３１３は、１セグメントのデジタル放送のビデオデータ（映像データ）を記憶する記憶領域である。オーディオ記憶領域３０７は、１２セグメントのデジタル放送のオーディオデータ（音声データ）を記憶する記憶領域である。オーディオ記憶領域３１２は、１セグメントのデジタル放送のオーディオデータ（音声データ）を記憶する記憶領域である。字幕記憶領域３０８は、１２セグメントのデジタル放送の字幕データを記憶する記憶領域である。字幕記憶領域３１１は、１セグメントのデジタル放送の字幕データを記憶する記憶領域である。その他（情報記憶領域）３０９は、１２セグメントのデジタル放送に含まれるＥＰＧ（Electronic Program Guide）情報等のデータを記憶する記憶領域である。その他（情報記憶領域）３１０は、１セグメントのデジタル放送に含まれるＥＰＧ（Electronic Program Guide）情報等のデータを記憶する記憶領域である。
【００３７】
また、ビデオトランスコーダ３１４は、１２セグメントのデジタル放送のビデオデータ（映像データ）を当該ビデオデータより容量の小さいビデオデータ（動画データ）に変換（トランスコード）する。ビデオトランスコーダ３１４は、様々な容量のビデオデータに変換可能である。例えば、当該ビデオデータより容量の小さいビデオデータ（動画データ）で、かつ１セグメントのデジタル放送のビデオデータ（映像データ）よりも容量が大きい（画質が良い）ビデオデータに変換する。オーディオトランスコーダ３１５は、１２セグメントのデジタル放送のオーディオデータ（音声データ）を当該オーディオデータより容量の小さいオーディオデータ（音声データ）に変換（トランスコード）する。オーディオトランスコーダ３１５は、様々な容量のオーディオデータに変換可能である。例えば、当該オーディオデータより容量の小さいオーディオデータ（音声データ）で、かつ１セグメントのデジタル放送のオーディオデータ（音声データ）よりも容量が大きい（音質が良い）オーディオデータに変換する。字幕トランスコーダ３１６は、１２セグメントのデジタル放送の字幕データを変換する。しかし、必ずしも移動体端末機器５００の小さな画面で判読可能な字幕データに変換できるわけではないので、トランスコードした１２セグメントのデジタル放送の字幕データは積極的に利用しないものとする。同期制御部３１７は、番組比較部３０５から１２セグメントのデジタル放送と１セグメントのデジタル放送とのずれの情報を受信し、受信したずれの情報に基づいて、変換後のビデオデータと１セグメントのデジタル放送から分離した字幕データとの同期を行う（後述）。多重部３１８は、同期制御部３１７により同期された変換後のビデオデータと１セグメントのデジタル放送から分離した字幕データとの多重化を行い、変換後のビデオデータに１セグメントのデジタル放送から分離した字幕データを組み込む処理を行う。さらに番組比較部３０５において、１２セグメントのデジタル放送と１セグメントのデジタル放送のサイマル放送の判別に音声データや映像データを用いて、サイマル放送かどうかの判別だけでなく、放送時刻のずれを識別した結果をもとに、同期制御部３１７は、１２セグメントのデジタル放送の映像・音声と、１セグメントのデジタル放送の字幕情報を多重化する場合に同期を取る。
【００３８】
変換後のビデオデータに１セグメントのデジタル放送から分離した字幕データを組み込む処理がされた動画データは、記憶部２０２ｄに一時的に記憶される。その後、ＨＤＤ１１１に記憶される。ＨＤＤ１１１に記憶された動画データは、例えば、メモリカードスロット１１０を介してメモリカード１１０ａに記憶され、移動体端末機器５００等で再生可能となる。このため、１２セグメントのデジタル放送を移動体端末機器向けに変換して記録する場合、移動体端末機器向けに最適化された字幕情報（第２の字幕データ）を用いることで、ユーザにとって読みやすい字幕情報が構成できる。
【００３９】
次に、本実施の形態における映像処理の手順を説明する。図５および図６は、映像アプリケーションプログラム２０２における映像処理の手順を示すフローチャートである。
【００４０】
ＣＰＵ１０１は、ＨＤＤ１１１等に記憶された映像処理アプリケーションプログラム２０２を起動して主メモリ１０３にロードし、実行する。
【００４１】
ＣＰＵ１０１は、アンテナ１９を介してＴＶチューナ１１７によりデジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）の受信を開始する（ステップＳ１０１）。次に、ＣＰＵ１０１は、受信したデジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）がサイマル放送か否かを判別する（ステップＳ１０２）。ステップＳ１０２で、ＣＰＵ１０１によって、受信したデジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）がサイマル放送であると判別された場合（ステップＳ１０２のＹＥＳ）、１２セグメントのデジタル放送から字幕データを残して分離し、分離した映像データおよび音声データを、例えば移動体端末機器５００で再生可能な動画フォーマット（ＭＰＥＧ（Moving Picture Experts Group）４等）に変換する。同時に、受信した１セグメントのデジタル放送から字幕データを分離する（ステップＳ１０３）。なお、上述した移動体端末機器５００で再生可能な動画フォーマットは、例えば１セグメントのデジタル放送（ワンセグ放送）よりもデータ容量の大きい（画質の良い）ビデオデータに変換するものとする。
【００４２】
ＣＰＵ１０１は、変換したＭＰＥＧ４等の動画データと１セグメントのデジタル放送から字幕データとを多重化する処理を行う（ステップＳ１０４）。多重化の処理を行う場合、１２セグメントのデジタル放送と１セグメントのデジタル放送との放送時間のずれを検出して、検出されたずれに基づいて同期処理を行う。
【００４３】
ずれを検出する方法について、図７を用いて説明する。図７は、サイマル放送の判別および各デジタル放送のずれを検出する方法を模式的に示した図である。例えば図７に示されるように、地デジ放送（１２セグメントのデジタル放送）の音声波形を正規化し、音声波形のパワーをグラフ化する。同様に、ワンセグ放送（１セグメントのデジタル放送）の音声波形を正規化し、音声波形のパワーをグラフ化する。この場合、例えば１０ｍｓ単位時間で比較すると、両方の波形は一致し、地デジ放送（１２セグメントのデジタル放送）の音声波形が１０ｍｓ進んでいることがわかる。すなわち、まず、地デジ放送およびワンセグの音声パワーを求める（音声パワーは、単位時間当たり（たとえば10ms）の音声サンプル値の二乗を足しこんだものとなる）。それぞれの音声パワーは例えば３０秒分程度保持しておく（リングバッファー形式でよい）。
【００４４】
例えば、ワンセグの音声パワーの任意の箇所の１秒分に関して、地デジ放送の音声パワーと一致するか検出する。例えば、パワーを求めた単位時間（上述した例では10ms）ずつずらして例えば、最大前後５秒程度マッチングさせる。多少の誤差は許容するようにする（値そのものが大切なのではなく、音声パワーの値の遷移傾向が重要である）。例えば１分ごとに、これらの処理を繰り返すようにする。
【００４５】
そして、一致する箇所を検出した場合は、例えば音声にてサイマル放送であることを確認できた場合は、一致した区間同士の時間差が放送時刻のずれを示すものである。一方、一致する箇所を検出できなかった場合は、音声にてサイマル放送であることは確認できなかったので、放送時間のずれも検出できない。なお、後述するが、サイマル放送の判別には、図７で示されるように、各デジタル放送の音声データ同士を比較するようにしてもよいし、後述する映像データやＥＰＧ情報を比較するようにしてもよい。
【００４６】
次に、ステップＳ１０４で、ＣＰＵ１０１によって、変換したＭＰＥＧ４等の動画データと１セグメントのデジタル放送から字幕データとを多重化する処理を行った後に、ＨＤＤ１１１等に録画（記憶）する処理を行う（ステップＳ１０５）。その後に引き続き録画処理を行わずに、録画処理を終了する場合（ステップＳ１０６のＹＥＳ）は、終了し、引き続き録画処理を行う場合は、ステップＳ１０２に遷移する。
【００４７】
一方、ステップＳ１０２で、ＣＰＵ１０１によって、サイマル放送でないと判別された場合（ステップＳ１０２のＮＯ）、１２セグメントのデジタル放送の映像データ、音声データおよび字幕データのすべてを移動体端末機器５００等で再生可能なＭＰＥＧ４等のフォーマットに変換する（ステップＳ１０７）。
【００４８】
次に、上述したステップＳ１０２で行われるサイマル放送か否かの判別方法について、図６を参照して説明する。
【００４９】
まず、映像処理アプリケーション２０２を主メモリ１０３にロードしたＣＰＵ１０１は、ＴＶチューナ１１７によりデジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）を受信し、同時に各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）に含まれるＥＰＧ情報を受信する（ステップＳ２０１）。ＣＰＵ１０１は、受信した各ＥＰＧ情報が互いに一致するか否かを判別する（ステップＳ２０２）。ステップＳ２０２で、ＣＰＵ１０１によって受信した各ＥＰＧ情報が互いに一致すると判別された場合（ステップＳ２０２のＹＥＳ）、受信した各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）は、サイマル放送であると判別される（ステップＳ２０７）。一方、ステップＳ２０２で、ＣＰＵ１０１によって受信した各ＥＰＧ情報が互いに一致しないと判別された場合（ステップＳ２０２のＮＯ）、ＣＰＵ１０１は、各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）の映像データを取得する（ステップＳ２０３）。次に、取得した各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）の映像データが互いに一致するか否かを判別する（ステップＳ２０４）。ステップＳ２０４で、ＣＰＵ１０１によって、映像データが互いに一致すると判別された場合（ステップＳ２０４のＹＥＳ）、受信した各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）は、サイマル放送であると判別される（ステップＳ２０７）。一方、ステップＳ２０４で、ＣＰＵ１０１によって、映像データが互いに一致しないと判別された場合（ステップＳ２０４のＮＯ）、ＣＰＵ１０１は、各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）の音声データを取得する（ステップＳ２０５）。次に、取得した各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）の音声データが互いに一致するか否かを判別する（ステップＳ２０６）。ステップＳ２０６で、ＣＰＵ１０１によって、音声データが互いに一致すると判別された場合（ステップＳ２０６のＹＥＳ）、受信した各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）は、サイマル放送であると判別される（ステップＳ２０７）。一方、ステップＳ２０６で、ＣＰＵ１０１によって、音声データが互いに一致しないと判別された場合（ステップＳ２０６のＮＯ）、各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）は、サイマル放送でないと判別される（ステップＳ２０８）。
【００５０】
なお、図７に示されるように、各デジタル放送（１２セグメントのデジタル放送および１セグメントのデジタル放送）は、サイマル放送であっても同一の放送時刻で放送されていない場合があるため、例えば、１０ｍｓや２０ｍｓの単位で比較し、２０ｍｓ程度までは誤差の範囲と見なせるものである（以上の処理を「処理Ａ」と称する）。また、上述した「処理Ａ」をステップＳ２０７を行う直前に実施するようにしてもよい。
【００５１】
さらに、図６に示されるように、上述した処理のうち、映像データの一致を判別する処理（ステップＳ２０３、ステップＳ２０４）と、音声データの一致を判別する処理（ステップＳ２０５、ステップＳ２０６）とを入れ替えるようにしてもよい。また、ＥＰＧ情報の一致を判別する処理（ステップＳ２０２）を、上述した映像データの一致を判別する処理または音声データの一致を判別する処理と入れ替えるようにしてもよい。
【００５２】
以上、上述した実施形態によれば、１２セグメントのデジタル放送を１セグメントのデジタル放送よりも高画質な映像データに変換し、かつ移動体端末機器の小さな画面でも判読可能な字幕を付することができる。また、サイマル放送の判別にＥＰＧ情報の比較に加えて、音声データや映像データの比較を行うことにより、判別の精度を向上させることができる。さらに、サイマル放送の判別に音声データを用いることで、番組途中に編成が変更になった場合にも追従することができる。
【００５３】
また、本実施形態の１２セグメントのデジタル放送は地上デジタル放送に限らず、衛星放送やケーブルテレビや通信伝送路を介した有線放送でもよい。
【００５４】
また、本実施形態の映像処理装置はコンピュータ１０によって実現するのみならず、例えば、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄａｔａ  Ａｓｓｉｓｔａｎｃｅ）のような様々なコンシューマ映像処理装置によって実現することもできる。さらに、映像処理アプリケーション２０２の機能は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータのようなハードウェアによっても実現可能である。
【００５５】
また、本発明は、前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５６】
１０…映像処理装置（コンピュータ）、１７…ＬＣＤ、１１…本体、１２…ディスプレイユニット、１９…アンテナ、１０１…ＣＰＵ、１０５…ＧＰＵ、１０９…ＢＩＯＳ−ＲＯＭ、１１０…メモリカードスロット、１１０ａ…メモリカード、１１１…ＨＤＤ、１１２…ＤＶＤ、１１７…ＴＶチューナ、２０２…映像処理アプリケーションプログラム、２０２ａ…制御部、２０２ｂ…判別部、２０２ｃ…変換部、２０２ｄ…記憶部、３００…放送波分離部、３０１…地デジ受信部、３０２…ワンセグ受信部、３０３、３０４…分離部、３０５…番組比較部、３１８…多重部、５００…移動体端末機器
【図１】
2010239435.tif 000003
【図２】
2010239435.tif 000004
【図３】
2010239435.tif 000005
【図４】
2010239435.tif 000006
【図５】
2010239435.tif 000007
【図６】
2010239435.tif 000008
【図７】
2010239435.tif 000009