(57)【要約】【課題】多くの付帯情報を映像データと多重化すると、映像データのビットレートを落とさなければ、動画処理システム全体のビットレートを維持できなくなるという課題がある。【解決手段】画像処理装置は、入力された映像データの複数の付帯情報を、それぞれの更新周期に従って複数のオブジェクトに分類し、該分類された各オブジェクトに対応する付帯情報のデータを対応する更新周期に従って生成し出力するよう制御することで、それぞれの更新周期に従って生成、出力される各オブジェクトに対応する付帯情報のデータを入力された映像データと多重化するよう構成される。また、画像処理装置は上記多重化されたデータを映像データと付帯情報とに分離し、分離された付帯情報から更新されるオブジェクトの更新画像データを生成して映像データに対応する画像データと合成する。【選択図】図１
2012015989.tif 000002
【特許請求の範囲】
【請求項１】
映像データを入力する入力手段と、
前記入力手段により入力された前記映像データに係る複数の付帯情報のデータを生成するデータ生成手段と、
前記データ生成手段により生成された付帯情報のデータと前記映像データとを多重化してストリームデータを生成する画像処理手段と、
前記複数の付帯情報を、それぞれの更新周期に従って複数のオブジェクトに分類し、該分類された各オブジェクトに対応する付帯情報のデータを対応する更新周期に従って生成し出力するように前記データ生成手段を制御する制御手段とを備え、
前記画像処理手段は、前記データ生成手段からそれぞれの更新周期に従って出力される各オブジェクトに対応する付帯情報のデータを前記映像データと多重化することを特徴とする画像処理装置。
【請求項２】
前記データ生成手段は、前記複数の付帯情報について、それぞれ符号化されたビットマップデータを生成することを特徴とする請求項１に記載された画像処理装置。
【請求項３】
前記複数の付帯情報は、少なくとも撮影日時、ＧＰＳ情報、撮影者、タイムコード、フォーカス情報、露出情報のいずれかひとつ以上を含み、前記制御手段は、更新周期として、前記映像データのシーン、フレーム、フレームの符号化タイプおよび撮影時間を用いて前記付帯情報を分類することを特徴とする請求項１または２に記載された画像処理装置。
【請求項４】
前記制御手段は、前記更新周期にしたがって前記複数の付帯情報のそれぞれを前記データ生成手段に供給することを特徴とする請求項１乃至３のいずれか一項に記載された画像処理装置。
【請求項５】
前記映像データを生成する撮影手段をさらに備え、前記撮影手段は撮影条件に係る情報を前記制御手段に供給することを特徴とする請求項１乃至４のいずれか一項に記載された画像処理装置。
【請求項６】
前記データ生成手段で生成される前記付帯情報のデータは、前記映像データが表す画像上でのオブジェクトの領域を示す領域データとオブジェクトの更新データを含み、前記画像処理装置は、前記画像処理手段で生成されたストリームデータを記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載された画像処理装置。
【請求項７】
前記処理手段から出力されるストリームデータに係る動画像を表示するための表示手段をさらに備え、前記制御手段は、前記付帯情報が前記動画像に重畳されて表示されるように表示手段を制御することを特徴とする請求項１乃至６のいずれか一項に記載された画像処理装置。
【請求項８】
映像データを入力する入力手段と、前記入力手段により入力された前記映像データに係る複数の付帯情報のデータを生成するデータ生成手段とを備える画像処理装置の制御方法であり、
前記データ生成手段で生成された付帯情報のデータと前記映像データとを多重化してストリームデータを生成する画像処理ステップと、
前記複数の付帯情報を、それぞれの更新周期に従って複数のオブジェクトに分類し、該分類された各オブジェクトに対応して生成された付帯情報のデータを対応する更新周期に従って生成し出力するように前記データ生成手段を制御する制御ステップとを備え、
前記画像処理ステップは、前記データ生成手段からそれぞれの更新周期に従って出力される各オブジェクトに対応する付帯情報のデータを前記映像データと多重化することを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【請求項１１】
複数のオブジェクトに分類された付帯情報が、該分類された各オブジェクトの更新周期に従って生成されて映像データに多重化されたストリームデータを処理するための画像処理装置において、前記付帯情報は前記映像データが表す画像上でのオブジェクトの領域を示す領域データとオブジェクトの更新データを含み、前記画像処理装置は、
前記ストリームデータを入力するための入力手段と、
前記入力手段により入力された前記ストリームデータを前記オブジェクトの更新周期に従って多重化された付帯情報と前記映像データとに分離するための分離手段と、
前記分離手段により分離された前記映像データを処理して動画像データを生成するための映像データ処理手段と、
前記分離手段で分離された付帯情報から更新されるオブジェクトの前記領域データおよび更新データを取得して前記付帯情報の更新画像データを生成するための付帯情報処理手段と、
前記映像データ処理手段からの前記動画像データと前記付帯情報処理手段からの前記更新画像データとを合成するための合成手段と、
を備えることを特徴とする画像処理装置。
【請求項１２】
前記付帯情報処理手段は、前記領域データに従ってメモリの対応する領域を指定し、指定された領域に前記更新データを書き込むことで前記更新画像データを生成することを特徴とする請求項１１に記載された画像処理装置。
【請求項１３】
前記更新データは、符号化されたビットマップデータであり、前記合成手段は前記更新データを前記画像データに重畳することで画像データを合成することを特徴とする請求項１１または１２に記載された画像処理装置。
【請求項１４】
前記付帯情報は、少なくとも撮影日時、ＧＰＳ情報、撮影者、タイムコード、フォーカス情報、露出情報のいずれかひとつ以上をオブジェクトとして含み、前記オブジェクトは、前記映像データのシーン、フレーム、フレームの符号化タイプおよび撮影時間を更新周期として分類され、さらに前記分類されたオブジェクトの付帯情報は、その更新周期ごとに前記映像データに多重化されていることを特徴とする請求項１１乃至１３のいずれか一項に記載された画像処理装置。
【請求項１５】
前記入力手段は、前記ストリームデータを記録媒体から再生することを特徴とする請求項１１乃至１４のいずれか一項に記載された画像処理装置。
【請求項１６】
前記合成手段で合成された画像データを表示するための表示手段をさらに備えることを特徴とする請求項１１乃至１５のいずれか一項に記載された画像処理装置。
【請求項１７】
複数のオブジェクトに分類された付帯情報が、該分類された各オブジェクトの更新周期に従って生成されて映像データに多重化されたストリームデータを処理するための画像処理装置の制御方法において、前記付帯情報は前記映像データが表す画像上でのオブジェクトの領域を示す領域データとオブジェクトの更新データを含み、前記制御方法は、
前記ストリームデータを入力するための入力ステップと、
前記入力ステップにより入力された前記ストリームデータを前記オブジェクトの更新周期に従って多重化された付帯情報と前記映像データとに分離するための分離ステップと、
前記分離ステップにより分離された前記映像データを処理して動画像データを生成するための映像データ処理ステップと、
前記分離ステップで分離された付帯情報から更新されるオブジェクトの前記領域データおよび更新データを取得して前記付帯情報の更新画像データを生成するための付帯情報処理ステップと、
前記映像データ処理ステップで生成された前記動画像データと前記付帯情報処理ステップで生成された前記更新画像データとを合成するための合成ステップと、
を備えたことを特徴とする制御方法。
【請求項１８】
コンピュータを、請求項１１乃至１６のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
【請求項１９】
コンピュータを、請求項１１乃至１６のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラなどで撮影された映像データの画像処理装置に係り、特に動画ストリームデータにビットマップデータを重畳する画像処理技術に関する。
【背景技術】
【０００２】
動画像データと共に、その動画像を撮影した日時、撮影時のカメラ情報といった付帯情報を、DVD(digital versatile disk)、HDD（ハードディスク）、メモリカード等の記録媒体に記録する、ビデオカメラなどの記録装置がある。
このような記録装置では、動画像データがＭＰＥＧ２やＨ．２６４などの方式を用いて圧縮符号化して記録される。
また、属性情報は、ビットマップデータとして生成され、ランレングス符号化される。
符号化された動画像データ及び、ビットマップデータは、MPEG-TS（トランスポートストリーム）形式で多重化され、記録媒体にTS形式のストリームファイルとして記録される。
前記属性情報は、TS(transport Stream)形式のストリームの中に多重化されているオーバーレイビットマップデータ（字幕データ）であるため、オーバーレイビットマップの表示ルールに則った再生装置において、再生し表示することが出来る。
【０００３】
このような事情から、特許文献1では、独自のルールに則ったメタデータとして記録しているストリーム中の付帯情報をオーバーレイビットマップデータに変換して記録することが提案されている。これによりオーバーレイビットマップの表示ルールに則った再生装置においても再生、表示ができるようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2009−49726号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ビットマップデータは非常に大きなデータであるため、多くの属性情報を多重化すると、動画像データのビットレートを落とさなければ、動画処理システム全体のビットレートを維持できなくなるという課題がある。
そこで、本発明は、オーバーレイビットマップを動画像に多重化する動画像処理において、ビットマップデータを映像データに効率的に多重化できる画像処理装置及を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本件発明の画像処理装置は、入力された映像データの複数の付帯情報を、それぞれの更新周期に従って複数のオブジェクトに分類し、該分類された各オブジェクトに対応する付帯情報のデータを対応する更新周期に従って生成し出力するよう制御することで、それぞれの更新周期に従って生成、出力される各オブジェクトに対応する付帯情報のデータを入力された映像データと多重化するよう構成される。また、画像処理装置は上記多重化されたデータを映像データと付帯情報とに分離し、分離された付帯情報から更新されるオブジェクトの更新画像データを生成して映像データに対応する画像データと合成する。
【発明の効果】
【０００７】
本発明によれば、オーバーレイビットマップを動画像に多重化する動画像処理において、多重化による映像データのビットレートへの影響を極力小さくできるので、動画像の高画質を保ちつつ、付帯情報を多重化したストリームの生成が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本件発明の第１の実施形態に係わる画像処理装置を有する記録装置のブロック図。
【図２】本件発明に従って生成されるTS形式のストリームの構成を説明する図。
【図３】本件発明によるビットマップデータの表示の一例を示す図。
【図４】本件発明に係わるAVストリームの概念図。
【図５】本件発明の第２の実施形態に係わる画像処理装置を有する再生装置のブロック図。
【図６】再生動作時のバッファメモリの様子を示す図。
【図７】再生動作時のビットマップ生成部の動作を示すフローチャート。
【図８】再生動作時のビットマップ生成部のバッファメモリの様子を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものである。例えば、ストリームを記録する構成ではなく、表示あるいは送信する構成であってもよい。したがって、本発明は以下の実施の形態に限定されるものではない。
【００１０】
第１の実施形態
初めに、図２を参照して本発明の実施形態に係わるMPEG2-TS形式のストリーム（TSストリーム）について、その概略を説明する。
【００１１】
本実施形態のTSストリームでは、図２(a)に示すように、ビデオデータと、ビットマップデータが多重化されている。より詳しくは、図２(b)に示すように、それぞれがパケット化されたデータとしてTSパケットに多重化されている。
【００１２】
ビデオデータは、ＭＰＥＧ２や、Ｈ．２６４などの符号化方式を用いて符号化されたデータをパケット化したデータ（VIDEO TS パケット）から構成される。ビットマップデータは、ビデオデータの付帯情報をランレングス符号化で符号化したデータをパケット化したデータ（BITMAP TS パケット）から構成される。
【００１３】
ビットマップデータ自身は、図２(c)、図２(d)に示すように多重化されており、スタートユニット、データユニット、エンドユニットから構成される。
【００１４】
図２(e)に示すように、スタートユニットには、スタートユニットを示すユニット識別子の他に、オブジェクトの数、各オブジェクトのID、各オブジェクトの水平方向画面位置及び、垂直方向画面位置が記録される。データユニットには、データユニットを示すユニット識別子の他に、各オブジェクトの水平方向の幅、垂直方向の長さ、及び、ランレングスデータが記録される。また、エンドユニットには、エンドユニットを示す、ユニット識別子が記録される。これらのデータにより図３（ａ）に示す各オブジェクトの表示領域を規定するテンプレート（領域データ）と表示されるデータ(更新データ)が与えられる。
【００１５】
次に、図１を参照し、本発明を動画記録装置に適用した実施形態を説明する。図１は、動画記録装置の構成図を示すブロック図である。
【００１６】
符号100はCPU等のコンピュータを有する制御部であり、本記録装置全体の制御を行う。
【００１７】
符号101は、カメラ部であり、レンズを通して入力された映像を電気信号に変換するCCDやCMOS等の撮像センサーを備え、撮影映像をデジタルデータ（映像データ）として符号化復号化部（コーデック）102へ出力する。また同時に、撮影動作の制御に係るカメラ情報として、フォーカス情報、露出情報を、制御部100へ出力する。
【００１８】
符号102は符号化復号化部（コーデック）であり、入力された映像データの符号化または復号化を行う。符号化方式は、ＭＰＥＧ２又はＨ．２６４等である。
【００１９】
符号103は、ビットマップデータ生成部であり、撮影映像にスーパーインポーズされる画像（付帯情報）のランレングス符号化されたビットマップデータを生成する。また、ビットマップ生成部103は、前記生成されたランレングス符号化されたビットマップデータを復号する機能も有する。
【００２０】
符号104はＴＳ多重化部であり、コーデック102によって符号化された映像データと、ビットマップ生成部103によって符号化されたビットマップデータとをＴＳパケット化して多重化し、ＴＳストリームを生成する。また、ＴＳ多重化部104は、前記生成されたＴＳストリームの多重化を分離する機能も有する。
【００２１】
符号105はバッファメモリであり、ＴＳ多重化部104が出力するＴＳストリームを一時蓄積し、記録媒体107への書き込み時のバッファや、制御部100のワークメモリとして使用される。
【００２２】
符号106は記録媒体制御部で、記録動作時は、バッファメモリ105から記録媒体107へのＴＳストリームの書き込みを制御する。また、再生動作時は、記録媒体107からバッファメモリ105へのＴＳストリームの読み出しを制御する。
【００２３】
符号107はＴＳストリームを格納するフラッシュメモリ等の記録媒体である。
【００２４】
符号108はGPS（Global Positioning System）情報を取得するためのGPSユニットである。
【００２５】
符号109は表示ユニットであり、カメラ部101で撮影された映像の表示、記録媒体107から再生された映像の表示などを行う。また、制御部100の制御に従って、設定画面等、各種必要な表示も行う。
【００２６】
なお、上記構成に加えて、生成されたＴＳストリームを外部装置に送信する通信インターフェイス(不図示)を備えてもよい。
【００２７】
次に動画像の記録動作について説明する。この動作は、図示しないメモリに予めインストールされている制御プログラムを制御部100にロードして実行することにより行われる。
【００２８】
図示しないユーザーインターフェイスより記録指示を受けると、図１の動画記録装置は動画記録を開始する。まず、制御部100はカメラ部101を駆動する。カメラ部101は、撮影した映像をデジタルデータ（映像データ）に変換し、コーデック102に出力する。
【００２９】
すると、制御部100によりコーデック102が駆動され、カメラ部101から入力された映像データを符号化してＴＳ多重化部104へ出力する。
【００３０】
また同時に、制御部100により、ビットマップ生成部103が駆動され、撮影された映像に重畳されるビットマップデータを生成、符号化し、ＴＳ多重化部104へ出力する。生成されるビットマップデータについては後述する。
【００３１】
ＴＳ多重化部104は、コーデック102により符号化されたデータとビットマップ生成部103により生成、符号化されたデータとをパケット化してＴＳパケットにする。そして、それらを一つのＴＳストリームに多重化してバッファメモリ105に蓄える。
【００３２】
次いで、制御部100は記録媒体制御部106を制御し、バッファメモリ105に蓄えられたＴＳストリームデータを記録媒体107へAVストリームファイルとして記録する。
【００３３】
なお、記録媒体107に記録されたＴＳストリームデータは、上述した記録処理動作を逆にたどる動作処理で映像データとビットマップデータに再生できる。この場合、多重化の逆を行うデマルチプレクサ回路は周知技術であり、また復号化はコーデック102の復号機能で実現することができる。
【００３４】
次に、ビットマップ生成部103で生成されるビットマップデータについて説明する。
本実施形態では、ビットマップデータ（複数の付帯情報）として、撮影日時、ＧＰＳ情報、撮影者、タイムコード、フォーカス情報、露出情報を生成する。ここで、ビットマップ生成部103は、ビットマップデータの基礎となる撮影日時及びタイムコードに係る情報を制御部100が有する不図示のカレンダー機能部及び時刻管理部から取得する。また、ビットマップデータの基礎となるGPS情報をGPSユニット108から取得する。また、ビットマップデータの基礎となるフォーカス情報及び露出情報をカメラ部101から取得する。また、ビットマップデータの基礎となる撮影者の情報は、表示部109に表示された設定画面を介してユーザーが指示した設定情報に従って決定される。
【００３５】
本件発明では、ビットマップデータを下記のようにオブジェクトごとに分類する。
・動画フレームとの相関の高いデータと相関の低いデータへの分類
フレーム相関の高いデータ  ：  撮影日時、ＧＰＳ情報、撮影者
フレーム相関の低いデータ  ：  タイムコード、フォーカス情報、露出情報
【００３６】
・上記フレーム相関の低いデータをフレーム毎に更新が必要なデータとそうでないデータとに分類
フレーム毎に更新が必要  ：タイムコード（フレーム）、フォーカス情報、露出情報
フレーム毎に更新が不必要：タイムコード（時間、分、秒）
【００３７】
・更にフレーム毎に更新が不必要なデータを、I-picture（符号化タイプ）毎、時間(撮影時間)毎で分類する。
【００３８】
I−picture毎  ：  タイムコード（分、秒）
時間毎       :  タイムコード（時間）
【００３９】
以上の結果、ビットマップデータを、更新周期に従って下記の5つのオブジェクトに分類する。
撮影日時、撮影者、ＧＰＳ情報    ----  オブジェクト１  ----  撮影シーン毎
フォーカス、露出情報、      ----  オブジェクト２  ----  フレーム毎
タイムコード１（フレーム）  ----  オブジェクト３  ----  フレーム毎
タイムコード２（秒、分）    ----  オブジェクト４  ----  I Picture毎
タイムコード３（時間）      ----  オブジェクト５  ----  時間毎
【００４０】
図３に、動画像に重畳されたビットマップデータの表示の一例を示す。この表示は、制御部100による制御のもとで、例えば記録媒体107に記録されたＴＳストリームを再生して表示することで行うことが可能である。
【００４１】
図３（ａ）は、各オブジェクトのビットマップデータの表示位置を規定するテンプレートと表示エリア内のデータ表示形式を示す。図３(ｂ)は、映像データが表す画像上にビットマップデータがスーパーインポーズされたときの表示画面の例を示す。図３(ａ)の表示形式は、予め設定するか、あるいは制御部100と不図示のユーザーインターフェイス等により複数の設定から適宜選択する構成とすることが可能である。そして、重畳表示されるビットマップデータは、以下の構成により更新される。
【００４２】
図４に、記録媒体107に記録されるAV（Audio-visual）ストリームの概念図を示す。
ビットマップデータは図４に示すよう、最初のフレーム（スタートフレーム）にはオブジェクト１〜５の全てが重畳される。その後のフレームには、オブジェクト２〜５が時間毎に重畳され、オブジェクト２〜４がI-picture毎に重畳され、オブジェクト２，３がフレーム毎に重畳される。
【００４３】
撮影者の情報は、予め、表示部109を用いたユーザーインターフェイスにより設定され、バッファメモリ105の制御部100のワークメモリとして使用しているエリアに保存する。撮影日時の情報は、制御部100が有するカレンダー機能部から取得し、バッファメモリ105の制御部100のワークメモリとして使用しているエリアに保存する。
【００４４】
GPS情報は、記録開始時に、制御部100からの指示により、GPSユニット108から取得し、バッファメモリ105の制御部100のワークメモリとして使用しているエリアに保存する。
【００４５】
フォーカス及び露出情報（撮影条件）は、カメラ部101により生成されて制御部100に出力された情報が、フレーム毎にビットマップ生成部103へ渡される。
【００４６】
タイムコードは、制御部100によって生成され、フレーム毎にビットマップ生成部103へ渡される。
【００４７】
記録開始指示後、制御部100は、コーデック102によって、先頭フレームの符号化が行われるタイミングで、ビットマップ生成部103へ、前記オブジェクト１の生成指示を送る。同時に、制御部100は、撮影日時、撮影者のデータが保持されているバッファメモリ105のアドレス、サイズ及び、GPS情報を送る。ビットマップ生成部103は、撮影日時、撮影者の情報をバッファメモリから読み込み、そのデータとGPSユニット108から送られたデータとから前記オブジェクト１を生成、符号化する。
【００４８】
同様に、制御部100は、コーデック102が映像データの各フレームの符号化を行うタイミングで、前記オブジェクト２及び３の生成指示を、ビットマップ生成部103へ送る。同時に、制御部100で生成している、タイムコードのフレーム部のデータをビットマップ生成部103へ送る。ビットマップ生成部103は、フォーカス、露出情報にはカメラ部101から制御部100に出力された情報を使用し、またタイムコードは制御部100で生成した情報を使用してオブジェクト２及び３をフレーム毎に重畳するよう生成、符号化する。
【００４９】
同様に、制御部100は、コーデック102によって映像データのI-picture符号化が行われるタイミングで、前記オブジェクト４の生成指示をビットマップ生成部103へ送る。同時に、制御部100で生成しているタイムコードの秒、分のデータがビットマップ生成部103に送られる。ビットマップ生成部103は、送られたデータより、前記オブジェクト４を、映像データのI-Picture毎に重畳されるよう生成、符号化する。
【００５０】
同様に、制御部100は、単位時間おきにコーデック102によってフレームの符号化が行われるタイミングで、前記オブジェクト５の生成指示をビットマップ生成部103へ送る。同時に、タイムコードの時間データを、ビットマップ生成部103へ送る。ビットマップ生成部103は、送られたデータより、前記オブジェクト５を、単位時間毎に重畳されるよう生成、符号化する。
【００５１】
上述した多重化処理による生成されたストリームは、その後、前に説明したように記録媒体107に記録される。
【００５２】
以上説明した本件発明の実施形態によれば、映像データの付帯情報をその更新周期に従って分類し、分類されたそれぞれの情報のオーバーレイビットマップデータを対応する更新周期で映像データに多重化できる。これにより、動画像のフレームごとに多重化される付帯情報のデータ量を少なくできるので、映像データのデータ量の増加によるビットレートへの影響を小さくすることが可能となる。そのため、動画像の解像度を維持し、かつ必要な付帯情報を付加して動画ストリームを生成することが可能となる。
【００５３】
上記実施形態では、動画記録装置の記録データ処理を例に本件発明の画像処理を説明したが、本件発明の画像処理は記録処理に限られるものではない。例えば、撮影された動画像と付帯情報とを図３に示すように表示するための処理、またはストリームを外部装置に送信するための処理であっても、本件発明の処理を適用できる。その場合も、処理速度の低下を避けることが可能となり、滑らかな表示および送信レートに維持を可能とすることができる。また、付帯情報として上記以外の情報を使用することも可能である。
【００５４】
さらには、本件発明を用いて記録あるいは送信されたストリームデータの表示を行う場合においても、フレーム当たりの多重化された付帯情報のデータ量が少なくされているので、ストリーム生成処理と同様の効果を得ることができる。
【００５５】
第２の実施形態
次に、第１の実施形態に係わる画像処理装置を有する動画記録装置で記録したAVストリームファイルの再生動作を、図５および６を参照して本件発明の第２の実施形態として説明する。図５は、本発明の第２の実施形態に係わる画像処理装置を有する再生装置のブロック図を示し、処理の流れに沿ったブロック構成を示している。図６は図５の再生装置の動作におけるバッファメモリ105の内容を示す図である。尚、図５に示す構成において、図１と同じブロックは同じ符号で示す。すなわち、図５に符号101〜109で示されている各ブロックは、図1に同じ符号で示されるブロックと同じブロックであるので、ここでの説明は省略する。
【００５６】
本実施形態の再生動作は、第１の実施形態で説明した記録動作により記録されたＴＳストリームの再生動作であるので、前述したようにその記録動作を逆にたどることで実現できる。本実施形態の再生動作も、第１の実施形態と同様、図示しないメモリに予めインストールされている制御プログラムを制御部100にロードして実行することにより実現される。
【００５７】
以下、本実施形態の再生動作を図を参照して詳細に説明する。
再生装置が図示しないユーザーインターフェイスから再生指示を受けると、再生動作を開始する。
制御部100は記録媒体制御部106を制御し、記録媒体107に記録されたAVストリームファイルを読み出し、TSストリームデータとしてバッファメモリ105に書き込む（図６のＡ）。
【００５８】
次に、制御部100は、TS多重化部104に、バッファメモリ105に書き込まれたTSストリームデータを読み出すよう指示する。指示を受けたTS多重化部104は、バッファメモリ105からTSストリームデータを読み出し、デマルチプレクサ処理して符号化映像データと符号化ビットマップデータに分離し、次いでこれらのデータをバッファメモリ105に書き戻す（図６のＢ）。
【００５９】
次に制御部100は、コーデック102に、前記バッファメモリ105に書き戻された符号化映像データを読み出すよう指示を出す。さらに制御部100はビットマップ生成部103に、前記バッファメモリ105に書き戻された符号化ビットマップデータを読み出すよう指示を出す。なお、この際制御部100は、読み出される符号化映像データの各フレームについて符号化ビットマップデータの更新が無い場合は、データの更新が無いことをビットマップ生成部103に通知する。制御部100は、図４のＡＶストリームの生成する際に、ビットマップデータの更新タイミングをオブジェクトごとにビットマップ生成部103に指示している。すなわち、オブジェクトごとにその更新周期でビットマップデータが生成、多重化されているので、更新されるオブジェクトがないフレームについてはビットマップデータが多重化されていない。
【００６０】
コーデック102は制御部100の指示により、符号化映像データをバッファメモリ105から読み出して復号し（映像データ処理）、復号データをデジタル動画像データとして、再度、バッファメモリ105に書き戻す（図６のＣ）。
また、ビットマップ生成部103は、制御部100の制御により符号化ビットマップデータの更新がある場合は、符号化ビットマップデータをバッファメモリ105から読み出して復号し、復号データを再度バッファメモリ105に書き戻す（図６のＣ）。
図６のＣに示すように、ビットマップ生成部103はバッファメモリ105をフレームメモリとして使用し、バッファメモリ105に書き戻す際はビットマップデータ(画像データ)を表示画像の表示位置に対応するメモリ位置に展開する。
【００６１】
次に制御部100は、表示部109に、バッファメモリ105に書き込まれたデジタル動画像データ及び復号されたビットマップデータを読み出すよう指示を出す。指示を受けた表示部109は、デジタル映像データ及び復号されたビットマップデータをバッファメモリ105から読み出してそれらを一枚の画像に合成して表示する。
上記処理をフレーム毎に繰り返し実行することで、動画とともに付帯情報が再生されて表示される。
【００６２】
次に、再生動作時のビットマップ生成部103の動作について（付帯情報処理）、図７および図８を参照して詳細に説明する。図７は、ビットマップ生成部の動作のフローチャートを示し、図８は図６のＣでのバッファメモリの内容を示す。図７の処理は、制御部100が符号化ビットマップデータをバッファメモリ105から読み出すようビットマップ生成部103に指示したときに、この指示に応答してビットマップ生成部103が実行する処理である。尚、再生されるAVストリームファイルは、本件発明の記録動作で作成されたファイルである(図４)。
制御部100がバッファメモリ105に書き込まれた符号化ビットマップデータを読み出すよう指示すると、ステップＳ701において本処理がスタートする。
【００６３】
ステップＳ702では、制御部100からのデータ更新通知の有無を判断する。データ更新通知により更新が無いことが通知された場合は、ステップＳ708へ進み、処理を終了する。この場合、ビットマップデータの表示は、前フレームでの表示が更新されないので、前フレームと同様の表示となる。
【００６４】
ステップＳ703では、スタートユニットを示す識別子に基づいてバッファメモリ105から読み出された符号化ビットマップデータのユニット識別子を判定する。判定の結果、スタートユニットであると判定されたときは、ステップＳ704に処理を進める。ステップＳ704では、読み込んだスタートユニットに含まれるオブジェクト数分のオブジェクトの水平位置、垂直位置（領域データ）に従ってバッファメモリ１（展開用フレームメモリ）内に対応する位置を指定して確保する（図8（ａ））。なお、本実施例では図8（ａ）−（ｄ）に示すように、バッファメモリ105には、2枚の書き戻し用のフレームメモリ１および２が用意されている。1枚（フレームメモリ１）をオブジェクト展開用に、もう一枚（フレームメモリ２）を表示用に使用する。上述したように、オブジェクトのスタート位置の確保は、展開用のフレームメモリ１に対して行なわれる。なお、図8（ａ）−（ｄ）は、第１の実施形態で記録したオブジェクト3のタイムコード（フレーム）のみが更新されているときの再生処理の例を示している。
【００６５】
次に、ステップＳ705で、データユニットを示す識別子により、読み込んだ符号化ビットマップデータの識別子を判定する。判定の結果、データユニットであると判定されたときは、ステップＳ706に処理を進める。ステップＳ706では、データユニットに含まれる各オブジェクトの幅および長さ（領域データ）に従って、ステップＳ704で展開用のフレームメモリ１に確保された位置から対応する幅および長さを有する領域を確保する（図8（ｂ））。
【００６６】
ステップＳ707で、データユニットに含まれるデータ（更新データ）を復号し、ビットマップデータを、展開用フレームメモリ１内に確保された領域に展開する（図8（ｃ））。
ここまでの処理を、スタートユニットに含まれるオブジェクト数分のオブジェクトに対し行う。
【００６７】
ステップＳ708で、エンドユニットを示す識別子で、バッファメモリ105から読み出された符号化ビットマップデータのユニット識別子を判定する。判定の結果、エンドユニットであると判定されたときは、ステップＳ709において、展開用フレームメモリ１に展開したデータを、表示用フレームメモリ２に展開する。これにより、表示用フレームメモリに記憶されている表示用ビットマップデータのうち、展開用フレームメモリ１に展開されたオブジェクトのデータのみが書き換えられて(更新されて)付帯情報の更新画像データが生成される。
【００６８】
ステップＳ710では、処理を終了する。
以上説明したように、再生さえた動画に合成されるビットマップデータは、更新されたオブジェクトのみが書き変わり、更新の無いオブジェクトのデータは、前フレームと同じデータとなる。表示用フレームメモリ２に展開されたビットマップデータは、コーデック102で復号された映像データと重畳されて表示部109により例えば図３（ｂ）に示すように表示される。
【００６９】
以上説明した第２の実施形態によれば、映像データの付帯情報の再生処理をその更新周期に従って更新があるオブジェクトのみの更新処理として行なうことができる。これにより、動画像のフレームごとに多重化される付帯情報の再生処理の負荷を低減できるので、映像データのデータ量の増加によるビットレートへの影響を小さくすることが可能となる。そのため、必要な付帯情報が付加された動画ストリームを動画像の解像度を維持して再生することが可能となる。
【００７０】
また、第２の実施形態では、動画再生装置のデータ再生表示処理を例に本件発明の画像処理を説明したが、送信されたストリームを受信して表示するための処理にも適用できる。その場合も、フレーム当たりの多重化された付帯情報のデータ量が少なくされているので、処理速度の低下を避けることが可能となり、受信した映像データの滑らかな表示が可能となる。
さらに、付帯情報として上記以外の情報を使用することも可能である。
【００７１】
本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【００７２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成されることは言うまでもない。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００７３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７５】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行って前述した実施形態の機能が実現される場合も本件発明に含まれる。
【００７６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後に実行される場合も本件発明に含まれる。すなわち、メモリ内のプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合である。
【図１】
2012015989.tif 000003
【図２】
2012015989.tif 000004
【図３】
2012015989.tif 000005
【図４】
2012015989.tif 000006
【図５】
2012015989.tif 000007
【図６】
2012015989.tif 000008
【図７】
2012015989.tif 000009
【図８】
2012015989.tif 000010