(57)【要約】【課題】  個々に独立して符号化された静止画データを時系列順に並べて構成される動画データについて、個々に符号化された静止画データに含まれる属性情報の冗長性を抑えることを主な目的とする。【解決手段】  動画データに内包される個々の静止画データに付属する属性情報のうち、全ての静止画データで共通する属性情報を識別するヘッダ識別器１１２と、識別された共通の属性情報を静止画データから削除し、動画データの属性情報に付加する共通ヘッダ情報生成器１１４を備える。【選択図】  図１
2005311774.tif 000002
【特許請求の範囲】
【請求項１】
所定の静止画符号化方式で圧縮符号化された静止画データを複数枚分集めて、さらに動画像の属性情報を付加して構成される動画データを生成する画像処理装置であって、
前記動画データを構成する個々の静止画データに付属する属性情報のうち、全ての静止画データで共通する属性情報を取り除く手段と、
前記取り除かれた属性情報に係る情報を前記動画データの属性情報に付加する手段を備えたことを特徴とする画像処理装置。
【請求項２】
所定の静止画符号化方式で圧縮符号化された静止画データを複数枚分集めて、さらに動画像の属性情報を付加して構成される動画データを生成する画像処理装置であって、
前記動画データを構成する個々の静止画データに付属する属性情報のうち、全ての静止画データで共通する属性情報および一部の静止画データで共通する属性情報を取り除く手段と、
前記取り除かれた属性情報に係る情報を前記動画データの属性情報に付加する手段を備えたことを特徴とする画像処理装置。
【請求項３】
静止画データを複数枚分集めて動画データを生成する画像処理装置であって、
静止画信号を圧縮符号化して静止画データとそれに対応する１つ以上の属性情報とを出力する符号化手段と、
前記属性情報の一部又は全部が全ての静止画データで共通する属性情報であるか否かを識別して、その識別結果に応じて前記属性情報の処理を変更する識別手段と、
前記属性情報の一部又は全部が全ての静止画データで共通する属性情報であるときは、前記属性情報の一部又は全部を動画データの属性情報に変換する変換手段と、
前記属性情報の一部又は全部が全ての静止画データで共通しない属性情報であるときは、前記属性情報の一部又は全部を前記静止画データに付加する付加手段と、
前記静止画データを複数枚集めて、さらに前記動画データの属性情報を付加して前記動画データを生成する生成手段とを備えたことを特徴とする画像処理装置。
【請求項４】
静止画データを複数枚分集めて動画データを生成する画像処理装置であって、
静止画信号を圧縮符号化して静止画データとそれに対応する１つ以上の属性情報とを出力する符号化手段と、
前記属性情報の一部又は全部が複数の静止画データで共通する属性情報であるか否かを識別して、その識別結果に応じて前記属性情報の処理を変更する識別手段と、
前記属性情報の一部又は全部が複数の静止画データで共通する属性情報であるときは、前記属性情報の一部又は全部を動画データの属性情報に変換する変換手段と、
前記属性情報の一部又は全部が複数の静止画データで共通しない属性情報であるときは、前記属性情報の一部又は全部を前記静止画データに付加する付加手段と、
前記静止画データを複数枚集めて、さらに前記動画データの属性情報を付加して前記動画データを生成する生成手段とを備えたことを特徴とする画像処理装置。
【請求項５】
前記静止画データと前記動画データは共通の符号化方式に従って符号化されたデータであることを特徴とする請求項１乃至４の何れか一項記載の画像処理装置。
【請求項６】
前記静止画データはＪＰＥＧ２０００で符号化され、前記動画データはＭｏｔｉｏｎ  ＪＰＥＧ２０００で符号化されたデータであることを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを生成する画像処理装置に関し、特に複数の静止画データを集めて動画データを生成する画像処理装置に関する。
【背景技術】
【０００２】
従来、独立して符号化された静止画データを複数枚束ねて１つの動画データとしてまとめる処理が行われてきた。例えば、ＪＰＥＧ２０００方式で符号化された静止画データを複数枚集めてＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画データを構成するような例が挙げられる（非特許文献１参照。）
【０００３】
Ｍｏｔｉｏｎ  ＪＰＥＧ２０００の符号化データの構成を示す模式図を図９に示す。Ｍｏｔｉｏｎ  ＪＰＥＧ２０００は、動画像の各フレームを構成する複数のＪＰＥＧ２０００符号化データと、動画像全体の概要や動画像としての再生方法が格納された動画像ヘッダ情報とで構成される。ＪＰＥＧ２０００符号化データは、静止画１枚ずつ独立して復号できる符号化データである。
【０００４】
次に、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００の符号化データに含まれるＪＰＥＧ２０００符号化データについて説明する（非特許文献２参照。）
【０００５】
ＪＰＥＧ２０００符号化データの構成を示す模式図を図１０に示す。ＪＰＥＧ２０００符号化データは、符号化された静止画データそのものであるビットストリームと、その静止画の属性情報が格納されたヘッダと、データの終了を示すフッタとで構成される。ビットストリームは、１つあるいは複数のＴｉｌｅ−ｐａｒｔと呼ばれるかたまりにまとめられている。ＪＰＥＧ２０００符号化データには、静止画データ全体の属性情報を含むＭａｉｎ  ｈｅａｄｅｒ１００１、個々のＴｉｌｅ−ｐａｒｔに関する属性情報を含むＴｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒ１００２、個々のＴｉｌｅ−ｐａｒｔに分割された区分ビットストリーム１００３、フッタであるＥＯＣ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔ１００４とが、順に格納されている。ここで、Ｍａｉｎ  ｈｅａｄｅｒ１００１やＴｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒ１００２には、属性情報を構成する要素が複数格納されている。これらの要素は、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔと呼ばれる。主なｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別とその情報の内容を図１１に示す。ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、静止画データのサイズ情報、量子化情報やビットストリームの様態について、それらの種類や値が格納されている。なお、以降のＪＰＥＧ２０００符号化データの説明では、データ構成の特徴を強調するため、Ｍａｉｎ  ｈｅａｄｅｒ、Ｔｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒやＥＯＣマーカーセグメントを静止画ヘッダ情報として抽象的に示し、データ構成を図１２に示す模式図のように示すことにする。
【０００６】
ここで、静止画データのサイズ情報を格納するｍａｒｋｅｒ  ｓｅｇｍｅｎｔの例として、ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの概要を説明する。ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、静止画のサイズ情報や静止画データが処理される座標系に関する情報が格納されており、Ｍａｉｎ  ｈｅａｄｅｒに含まれる。図１３はＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図である。図１３に示すように、ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ種別とこれに続くデータの長さ情報が先頭に格納されている。データの長さ情報に続いて、ＪＰＥＧ２０００独特の座標系のパラメータなど関連情報が格納される。座標系の関連情報に続いて、静止画データを所定の矩形領域で分割して生成されるＴｉｌｅに関して、その横幅と縦幅の値が格納される。これらの値に続いて、座標系の関連情報が格納された後、静止画データに含まれるＣｏｍｐｏｎｅｎｔ数の情報が格納される。ここで、Ｃｏｍｐｏｎｅｎｔとは、１つの要素に関する２次元画像情報のことである。例えば、ＲＧＢ静止画データに対しては、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｒｕｅの各２次元データをＣｏｍｐｏｎｅｎｔと呼ぶ。よって、静止画がＲＧＢデータである場合、Ｃｏｍｐｏｎｅｎｔ数は３となる。ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、Ｃｏｍｐｏｎｅｎｔ数の情報に続いて、個々のＣｏｍｐｏｎｅｎｔに関連する情報が格納される。静止画の画像サイズ、Ｔｉｌｅの設定、静止画データが処理される座標系やＣｏｎｐｏｎｅｎｔの内容が変わらなければ、ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔに含まれる各種のパラメータは一定である。
【０００７】
次に、量子化情報を格納するｍａｒｋｅｒ  ｓｅｇｍｅｎｔの例として、ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの概要を説明する。図１４はＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図である。ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、データ種別とデータの長さ情報に続いて、静止画の量子化方法と量子化ステップの情報が格納されており、Ｍａｉｎ  ｈｅａｄｅｒあるいはＴｉｌｅ−ｐａｒｔ  ｈｅａｄｅｒに含まれる。量子化方法と量子化ステップの設定が変わらなければ、ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔに含まれる各種パラメータは一定である。逆に、１枚ずつの画像に応じて量子化ステップを適応的に変化させる場合、ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔに含まれる各種パラメータは一定しない。
【０００８】
次に、ビットストリームの様態を格納するｍａｒｋｅｒ  ｓｅｇｍｅｎｔの例として、ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの概要を説明する。ＪＰＥＧ２０００では、符号化されたビットストリームがＰａｃｋｅｔと呼ばれる最小データ単位に分割される。ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、上記分割時に生成される全てのＰａｃｋｅｔに対するヘッダ情報が格納されており、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔ自体はＭａｉｎ  ｈｅａｄｅｒに格納される。図１５はＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図である。図１５に示すように、ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ種別とこれに続くデータの長さ情報が先頭に格納されている。データの長さ情報に続いて、関連する各種情報が格納された後、全Ｐａｃｋｅｔのヘッダ情報が格納される。ところで、ＪＰＥＧ２０００では、静止画に含まれるデータの値によってＰａｃｋｅｔに含まれるデータが大きく異なる。このため、ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔに含まれる各Ｐａｃｋｅｔのヘッダ情報は、個々のｍａｒｋｅｒ  Ｓｅｇｍｅｎｔで内容が大きく異なる。
【非特許文献１】ＩＳＯ／ＩＥＣ  １５４４４−３：ＪＰＥＧ２０００規格書ｐａｒｔ−３
【非特許文献２】ＩＳＯ／ＩＥＣ  １５４４４−１：ＪＰＥＧ２０００規格書ｐａｒｔ−１
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来例で説明したように、静止画の符号化方式で符号化された１枚の画像データには、その静止画に関する属性情報が含まれている。したがって、個々に独立して符号化された静止画データを時系列順に並べて構成される動画像データには、それに含まれる静止画の属性情報が、個々の静止画とともに、静止画の枚数分だけ格納されている。一方、上述した動画データを記録する際、動画データに含まれる個々の静止画の画像サイズは、記録途中で変更されることがほとんどなかった。また、単位時間当たりの符号量を一定にして動画像を記録する場合、直交変換や量子化や符号化に関する設定値は、一定であることが多かった。これらのことから、上述した動画データは、記録条件によって、含まれる静止画データの１枚毎に同じ設定値の属性情報が含まれるようになり、冗長性があった。
【００１０】
また、記録された複数の動画データの内容を検索する場合、任意の間隔で動画データを復号して所望の静止画を確認するか、あるいは、あらかじめ検索用の書誌情報やサムネイル画像を設けておく必要があった。検索時に復号する場合、目的の動画データを検索できるまで不必要な動画データを復号し続けるため、利便性が悪かった。また、検索用のデータを生成する場合、余分なデータ領域が必要となるため、データの記憶領域に負担がかかっていた。
【００１１】
本発明は上記問題点を鑑みてなされたものであり、個々に独立して符号化された静止画データを時系列順に並べて構成される動画データについて、個々に符号化された静止画データに含まれる属性情報の冗長性を抑えることを主な目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の画像処理装置は、所定の静止画符号化方式で圧縮符号化された静止画データを複数枚分集めて、さらに動画像の属性情報を付加して構成される動画データを生成する画像処理装置であって、前記動画データを構成する個々の静止画データに付属する属性情報のうち、全ての静止画データで共通する属性情報を取り除く手段と、前記取り除かれた属性情報に係る情報を前記動画データの属性情報に付加する手段を備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、動画像データの記録データ量を削減できる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【実施例１】
【００１５】
図１は、本発明の実施例１に係る画像記録方法を実現した装置の全体構成を示すブロック図である。実施例１に係る画像記録方法を実現した装置は、符号化部１１０とストリーム出力部１２０とで構成される。以下にその構成及び動作を順に説明する。
【００１６】
（符号化部１１０の構成）
符号化部１１０の構成を示すブロック図を図１の上部に示す。図１の上部に示すように、符号化部１１０は、フレームデータ符号化器１１１、ヘッダ識別器１１２、中間データ生成器１１３、共通ヘッダ情報生成器１１４、記録ファイル生成器１１５、記録媒体１１６とで構成される。図１において、太線の矢印は、動画像データが流れる系を表している。また、細線の矢印は、ヘッダ情報が流れる系を表している。
【００１７】
（符号化部１１０の動作）
符号化部１１０は、符号化して記録する対象の動画像データと符号化に用いる符号化パラメータを入力して、符号化パラメータに基づいて動画像データに所定の符号化を行い、符号化された動画像データを所定の記録媒体に記録する。また、符号化で生成された各種のヘッダのうち、内包されている値が動画像の全区間で共通するヘッダを抽出して、この抽出結果に後述するデータ量削減処理を施して共通ヘッダ情報を生成し、生成した共通ヘッダ情報を動画像データとともに所定の記録媒体に記録する。
【００１８】
以下、符号化部１１０内の動作について詳細に説明する。
【００１９】
はじめに、フレームデータ符号化器１１１は、符号化して記録する対象となる動画像データと符号化に用いる符号化パラメータを入力する。符号化パラメータには、動画像データ内のフレームデータの符号化に用いる各種パラメータが含まれている。入力後、フレームデータ符号化器１１１は、入力された動画像データに含まれる個々のフレームデータにＪＰＥＧ２０００符号化を施して、符号化されたフレームデータであるビットストリームを生成する。この際、符号化で生成されるＪＰＥＧ２０００方式のヘッダ情報は、ビットストリームから独立して管理する。符号化後、ビットストリームは中間データ生成器１１３へ、ヘッダ情報はヘッダ識別器１１２へ出力される。
【００２０】
次に、ヘッダ識別器１１２が、フレームデータ符号化器１１１からＪＰＥＧ２０００方式のヘッダ情報を入力し、ヘッダ情報に含まれる個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔを抽出する。ヘッダ識別器１１２は、抽出したｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別に応じて出力先を制御する。制御の方法は次の通りである。
【００２１】
ヘッダ識別器１１２は、内包されている値が動画像の全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、共通ヘッダ情報生成器１１４へ出力する。また、内包されている値が動画像の全区間で共通しないｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、中間データ生成器１１３へ出力する。内包されている値が動画像の全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔか否かの識別は、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別に基づいて判断する。
【００２２】
図２は、量子化設定を変化させながら所定の画像サイズの動画像を符号化する場合における、個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔの識別例である。動画像の途中で量子化設定を変更させた場合、ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、内包されている値が動画像の全区間で共通しない。また、通常、ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、内包されている値がフレーム間で共通しない。よって、上述の場合、ヘッダ識別器１１２は、ＳＯＣ、ＳＩＺ、ＣＯＤ、ＰＯＣ、ＳＯＴ、ＳＯＤ、ＥＯＣの各ｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、共通ヘッダ情報生成器１１４へ出力する。また、ＱＣＤ、ＰＰＭの各ｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、中間データ生成器１１３へ出力する。
【００２３】
次に、中間データ生成器１１３が、フレームデータ生成器１１１からビットストリームを入力し、ヘッダ識別器１１２から、動画像の全区間で共通しないｍａｒｋｅｒ  ｓｅｇｍｅｎｔを入力する。入力後、中間データ生成器１１３は、入力したｍａｒｋｅｒ  ｓｅｇｍｅｎｔをビットストリームへＪＰＥＧ２０００方式に従って挿入し、中間データを生成する。生成された中間ファイルの様態を図３に示す。図３に示すように、中間ファイルは、フレーム個別のビットストリームに静止画ヘッダ情報が付与された構成となる。生成された中間データは、中間データ生成器１１３から記録ファイル生成器１１５へ出力される。
【００２４】
次に、共通ヘッダ情報生成器１１４が、ヘッダ識別器１１２から、動画像の全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔを入力する。入力後、共通ヘッダ情報生成器１１４は、入力されたｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別と共通する値を抽出して、共通ヘッダ情報を生成する。全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別と値の情報をフレームごとに重複して保存しないことで、属性情報のデータ量を削減することができる。
【００２５】
また、共通ヘッダ情報生成器１１４は、動画像データ全体に係るＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を生成する。
【００２６】
生成後、共通ヘッダ生成器１１４は、共通ヘッダ情報とＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を記録ファイル生成器１１５へ出力する。
【００２７】
次に、記録ファイル生成器１１５が、中間データ生成器１１３から動画像全区間の中間データ、共通ヘッダ情報生成器１１４から共通ヘッダ情報とＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を入力する。入力後、記録ファイル生成器１１５は、共通ヘッダ情報とＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を動画像全区間の中間ヘッダの先頭に付加して、記録ファイルを生成する。生成された記録ファイルの様態を図４に示す。図４に示すように、記録ファイルは、先頭に共通ヘッダ情報が格納され、その後ろに、動画像ヘッダ情報、符号化された動画像のデータである中間ファイルが並ぶ。生成後、記録ファイル生成器１１５は、生成した記録ファイルを、記録媒体１１６へ出力する。
【００２８】
次に、記録ファイルが記録ファイル生成器１１５から出力され、記録媒体１１６へ記録される。
【００２９】
個々のフレームデータに対して独立して生成されるヘッダ情報のうち、動画像の全区間で共通するヘッダ情報を取り除いたうえ、共通ヘッダ情報をまとめて、符号化された動画像データに付与することにより、符号化部１１０は、フレームデータの属性情報を削減することができ、符号化された動画像データのデータ総量を削減できる。
【００３０】
（ストリーム出力部１２０の構成）
ストリーム出力部１２０の構成を示すブロック図を図１の下部に示す。図１の下部に示すように、ストリーム出力部１２０は、バッファ１２１、共通ヘッダ情報解読器１２２、ストリーム生成器１２３とで構成される。図１において、太線の矢印は、動画像データが流れる系を表している。また、細線の矢印は、ヘッダ情報が流れる系を表している。
【００３１】
（ストリーム出力部１２０の動作）
ストリーム出力部１２０は、符号化部１１０で生成された記録ファイルを入力して、記録ファイル内の共通ヘッダ情報に基づいて、記録ファイル内の符号化フレームデータにＪＰＥＧ２０００方式の一部ｍａｒｋｅｒ  ｓｅｇｍｅｎｔを付加して、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する。
【００３２】
以下、ストリーム出力部１２０内の動作について詳細に説明する。
【００３３】
はじめに、記録ファイルが符号化器１１０内の記録媒体１１６から出力され、バッファ１２１へ一時記憶される。
【００３４】
次に、共通ヘッダ情報解読器１２２が、バッファ１２１に一時記憶されている記録ファイル内の共通ヘッダ情報を抽出する。共通ヘッダ情報には、各フレーム共通のｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別、格納される値が含まれている。共通ヘッダ情報解読器１２２は、抽出した共通ヘッダ情報に含まれる全てのｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、動画像全区間のフレーム１枚ずつに対応して復元する。復元後、共通ヘッダ情報解読器１２２は、復元した全てのｍａｒｋｅｒ  ｓｅｇｍｅｎｔをストリーム生成器１２３へ出力する。
【００３５】
次に、ストリーム生成器１２３が、バッファ１２１に一時記憶されている記録ファイルにおける動画像ヘッダ情報と個々の符号化フレームデータを読み込む。また、ストリーム生成器１２３は、共通ヘッダ情報解読器１２２で復元された全てのｍａｒｋｅｒ  ｓｅｇｍｅｎｔを入力する。入力後、ストリーム生成器１２３は、共通ヘッダ情報解読器１２２から入力したｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、個々の符号化フレームデータにおけるヘッダ情報部へＪＰＥＧ２０００方式に従って挿入し、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する。
【００３６】
共通ヘッダ情報に記録された個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔを復元し、さらに記録ファイルの部分データへ上述のように挿入することで、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式で復号可能な動画像データを得ることができる。
【００３７】
以上、本発明の実施例１に係る画像記録方法を実現した装置について説明したが、個々のフレームデータに対して独立して生成されるヘッダ情報のうち、動画像の全区間で共通するヘッダ情報を取り除いたうえ、共通するヘッダ情報をまとめて、符号化された動画像データに付与することにより、記録するデータ量を削減できる。さらに、データを外部機器へ出力する際、共通ヘッダ情報を動画像データへ復元することにより、規格に準拠したデータとして出力できる。
【実施例２】
【００３８】
実施例２では、実施例１におけるヘッダ情報の識別に関する処理方法を変更して、さらに動画像の検索を補助する処理ステップを設けて、検索の利便性を向上させる方法を説明する。
【００３９】
実施例２では、動画像の一部区間で共通するヘッダ情報を抽出してまとめる処理を行う。この処理は２つの目的のために設けられている。１つ目は、ヘッダ情報のデータ量を削減する目的である。そして、２つ目は、１つのシーンとしてくくられる部分的な動画像のまとまりを検出する目的である。以下、２つ目の目的について詳細に説明する。
【００４０】
通常、動画像が記録される場合、１つのシーンにおける圧縮符号化設定が一定である場合が多い。このことから、同一の圧縮符号化設定であるフレームのまとまりを検出することで、１つのシーンとしてくくられる部分的な動画像のまとまりを検出できる。本発明では、動画像の一部区間で共通するヘッダ情報を抽出して、シーンの検出に利用する。例えば、量子化設定を被写体ごとに適応的に変化させながら動画像データを記録した場合、量子化の設定はシーンごとに異なる値となるが、シーン途中では一定の値となる。Ｍｏｔｉｏｎ  ＪＰＥＧ２０００方式で符号化された動画像データは、その量子化設定がＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔに格納されており、シーンの検出が可能である。
【００４１】
図５は、本発明の実施例２に係る画像記録方法を実現した装置の全体構成を示すブロック図である。実施例２に係る画像記録方法を実現した装置は、符号化部５１０とストリーム出力部５２０とで構成される。ここで、図５において、実施例１内の処理器と同じ処理を行う処理器の符号は、図１内の処理器と同じ符号で示している。また、実施例１と異なる構成や動作を行う処理器を、図中に太枠で表している。以下、本発明の実施例２について、その構成及び動作を順に説明する。
【００４２】
（符号化部５１０の構成）
符号化部５１０の構成を示すブロック図を図５の上部に示す。図５の上部に示すように、符号化部５１０は、フレームデータ符号化器１１１、ヘッダ識別器５１１、中間データ生成器１１３、一部区間ヘッダ情報生成器５１２、全区間共通ヘッダ情報生成器５１３、記録ファイル生成器５１４、記録媒体１１６とで構成される。図５において、太線の矢印は、動画像データが流れる系を表している。また、細線の矢印は、ヘッダ情報が流れる系を表している。
【００４３】
（符号化部５１０の動作）
動画像内の個々のフレームデータを符号化して生成されるヘッダ情報について、動画像の全区間で共通する符号化部５１０の動作は、記録する動画像データと符号化に必要な符号化データを入力して、符号化データに基づいて動画像データに所定の符号化を行い、符号化された動画像データを所定の記録媒体に記録する。この点では、実施例１の符号化部１１０と同様である。実施例１の符号化部１１０の動作と異なる点は、符号化で生成された各種ヘッダのうち、内包されている値が動画像全区間で共通するヘッダと一部区間で共通するヘッダをそれぞれ抽出して、それぞれの抽出結果に後述のデータ量削減処理を施して全区間共通ヘッダ情報と一部区間共通ヘッダ情報を生成し、これら情報を符号化された動画像データとともに所定の記録媒体へ記録する点である。
【００４４】
以下、符号化部５１０内の動作について詳細に説明する。
【００４５】
はじめに、フレームデータ符号化器１１１が、動画像データと符号化パラメータを入力して、動画像データ内の各フレームデータに本発明独特の符号化を施してビットストリームを生成し、さらに付随するｍａｒｋｅｒ  ｓｅｇｍｅｎｔを生成する。生成されたｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、挿入されるフレーム単位にまとめられて、ヘッダ情報が生成される。生成後、ビットストリームは中間データ生成器１１３へ、ヘッダ情報はヘッダ識別器５１１へ出力される。
【００４６】
次に、ヘッダ識別器５１１が、入力された上記のヘッダ情報に含まれる各種のｍａｒｋｅｒ  ｓｅｇｍｅｎｔが隣接フレーム間で共通しているか否かを識別する。ヘッダ識別器５１１は、識別結果に基づいて、個々のフレームで値が異なるｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、中間データ生成器１１３へ出力する。また、動画像の一部区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、一部区間共通ヘッダ情報生成器５１２へ出力する。また、動画像の全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔを、全区間共通ヘッダ情報生成器５１３へ出力する。
【００４７】
次に、中間データ生成器１１３が、個々のフレームで値が異なるｍａｒｋｅｒ  ｓｅｇｍｅｎｔをビットストリームに挿入して、中間データを生成し、記録ファイル生成器５１４へ出力する。
【００４８】
次に、一部区間共通ヘッダ情報生成器５１２が、ヘッダ識別器５１１から入力したｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別、値、格納されるフレームの範囲を抽出して、一部区間共通ヘッダ情報を生成する。一部区間共通ヘッダ情報の様態を図６に示す。図６に示すように、一部区間共通ヘッダ情報は、各ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの値と挿入範囲の情報の組を、ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別ごとに重複なく並べられている。このようにすることで、データ量を削減することができる。生成後、一部区間共通ヘッダ情報生成器５１２は、一部区間共通ヘッダ情報を、記録ファイル生成器５１４へ出力する。
【００４９】
次に、全区間共通ヘッダ情報生成器５１３が、ヘッダ識別器５１１から入力したｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別、値を抽出して、全区間共通ヘッダ情報生成器を生成する。全区間共通ヘッダ情報の様態を図７に示す。図７に示すように、全区間共通ヘッダ情報は、各ｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別と値の情報を重複なく並べられている。このようにすることで、属性情報のデータ量を削減することができる。
【００５０】
また、全区間共通ヘッダ情報生成器５１３は、入力した一部の符号化パラメータに基づいて、動画像データに係るＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を生成する。
【００５１】
生成後、全区間共通ヘッダ情報生成器５１３は、全区間共通ヘッダ情報とＭｏｔｉｏｎ  ＪＰＥＧ２０００方式の動画像ヘッダ情報を、記録ファイル生成器５１４へ出力する。
【００５２】
次に、記録ファイル生成器５１４が、中間データ生成器１１３から中間データを入力し、一部区間共通ヘッダ情報生成器５１２から一部区間共通ヘッダ情報を入力し、全区間共通ヘッダ情報生成器５１３から全区間共通ヘッダ情報を入力する。入力後、記録ファイル生成器５１４は、中間データに一部区間共通ヘッダ情報と全区間共通ヘッダ情報とを付加して、記録ファイルを生成する。生成された記録ファイルの様態を図８に示す。記録ファイルの生成後、記録ファイル生成器５１４は、記録ファイルを記録媒体１１６へ出力する。
【００５３】
次に、記録ファイルが記録ファイル生成器５１４から出力され、記録媒体１１６へ記録される。
【００５４】
個々のフレームデータに対して独立して生成されるヘッダ情報のうち、動画像の全区間および一部区間で共通するヘッダ情報を取り除いたうえ、それら共通するヘッダ情報をそれぞれまとめて、符号化された動画像データに付与することにより、符号化部１１０は、フレームデータの属性情報を削減することができ、符号化された動画像データのデータ総量を削減できる。
【００５５】
（ストリーム出力部５２０の構成）
ストリーム出力部５２０の構成を示すブロック図を図５の下部に示す。図５の下部に示すように、ストリーム出力部５２０は、バッファ１２１、共通ヘッダ情報解読器５２１、ストリーム生成器１２３、検索器５２２とで構成される。図５において、太線の矢印は、動画像データが流れる系を表している。また、細線の矢印は、ヘッダ情報が流れる系を表している。
【００５６】
（ストリーム出力部５２０の動作）
ストリーム出力部５２０は、符号化部５１０で生成された記録ファイルを入力して、記録ファイル内の共通ヘッダ情報に基づいて、記録ファイル内の中間データにＪＰＥＧ２０００方式のｍａｒｋｅｒ  ｓｅｇｍｅｎｔを付加して、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する。この点では、実施例１のストリーム出力部１２０と同様である。実施例２のストリーム出力部５２０が実施例１のストリーム出力部１２０と異なる点は、下記２点である。１点目は、実施例１にて抽出していた共通ヘッダ情報が、実施例２にて一部区間共通ヘッダ情報と全区間共通ヘッダ情報とに細かく分けて抽出することである。２点目は、これらの一部区間共通ヘッダ情報と全区間共通ヘッダ情報に基づいて、属性情報が変化したフレームの情報を抽出する処理ステップを有することである。
【００５７】
ストリーム出力部５２０の動作は、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する動作と、属性情報が変化したフレームの情報を抽出する動作の２つに大きく分かれる。以下、ストリーム出力部５２０内の２つの動作について、順に説明する。
【００５８】
・Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する動作
まず、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する動作について詳細に説明する。
はじめに、記録ファイルが符号化器５１０内の記録媒体１１６から出力され、バッファ１２１で一時記憶される。
【００５９】
次に、共通ヘッダ情報解読器５２１が、バッファ１２１に一時記憶されている記録ファイル内の全区間共通ヘッダ情報と一時区間共通ヘッダ情報を抽出する。共通ヘッダ情報解読器５２１は、抽出した上記２つの共通ヘッダ情報を解読して、解読結果に基づいてＪＰＥＧ２０００方式のｍａｒｋｅｒ  ｓｅｇｍｅｎｔを復元する。全区間共通ヘッダ情報には、１つ以上のｍａｒｋｅｒ  ｓｅｇｍｅｎｔに関する種別、格納される値が含まれている。これらに基づいて、ＪＰＥＧ２０００方式のｍａｒｋｅｒ  ｓｅｇｍｅｎｔが復元される。復元後、共通ヘッダ情報解読器５２１は、生成したｍａｒｋｅｒ  ｓｅｇｍｅｎｔと、挿入される全フレーム番号との組をストリーム生成器１２３へ出力する。ここで、全区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、動画像データに含まれていた全てのフレーム１枚ずつに対して生成される。したがって、上記のフレーム情報は、動画像に含まれる全てのフレームを指し示す情報が格納される。一方、一部区間共通ヘッダ情報には、１つ以上のｍａｒｋｅｒ  ｓｅｇｍｅｎｔに関する種別、格納される値、挿入されるフレーム範囲が含まれている。このうち、“種別”と“格納される値”に基づいて、ＪＰＥＧ２０００方式のｍａｒｋｅｒ  ｓｅｇｍｅｎｔが復元される。ここで、一部区間で共通するｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、上記“挿入されていたフレーム範囲”に示されるフレーム１枚ずつに対して生成される。復元後、共通ヘッダ情報解読器５２１は、生成した個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔと挿入されるフレーム番号との組を、ストリーム生成器１２３へ出力する。
【００６０】
次に、ストリーム生成器１２３が、挿入されるフレーム番号の情報に基づいて、入力した全てのｍａｒｋｅｒ  ｓｅｇｍｅｎｔを記録ファイルに挿入し、Ｍｏｔｉｏｎ  ＪＰＥＧ２０００ストリームを生成する。
【００６１】
一部共通ヘッダ情報と全区間共通ヘッダ情報に記録された個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔを復元し、さらに記録ファイルの部分データへ上述のように挿入することで、記録する動画像データのデータ総量を削減して記録でき、さらに、記録したデータからＭｏｔｉｏｎ  ＪＰＥＧ２０００方式で復号可能な動画像データを得ることができる。
【００６２】
・属性情報が変化したフレームの情報を抽出する動作
次に、属性情報が変化したフレームの情報を抽出する動作について説明する。
動画像が記録される場合、１つのシーンとしてくくられる部分的な動画像は、その間の圧縮符号化設定が一定であることが多い。このことから、本発明は、同一の圧縮符号化設定であるフレームのまとまりを検出することで、シーンを検出する方法を用いる。本動作では、はじめに符号化器５１０で生成された一部区間共通ヘッダ情報を利用して、動画像データ内でシーン検索に有用なｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別を任意に選択する。選択例としては、量子化設定を被写体ごとに適応的に変化させた場合に、量子化情報が格納されているＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔを選択するなどが考えられる。選択後、選択したｍａｒｋｅｒ  ｓｅｇｍｅｎｔに格納される値が変化するフレームを一部区間共通ヘッダ情報から検出して、検索情報としてまとめる。動画像データの検索時、検索情報を用いることで、動画像データ内のシーンを検索する利便性を向上させることができる。
【００６３】
以下、属性情報が変化したフレームの情報を抽出する動作について詳細に説明する。
【００６４】
はじめに、シーン検索で注目するｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別をユーザーが入力する。入力するｍａｒｋｅｒ  ｓｅｇｍｅｎｔは、１つでも複数でも良い。入力後、次ステップへ進む。ユーザーの入力なしに、あらかじめ注目ｍａｒｋｅｒ  ｓｅｇｍｅｎｔを設定しておいても良い。
【００６５】
次に、共通ヘッダ情報解読器５２１が、バッファ１２１に一時記憶されている記録ファイル内の一部区間共通ヘッダ情報を抽出する。抽出後、共通ヘッダ情報解読器５２１は、入力した一部区間共通ヘッダ情報内の注目ｍａｒｋｅｒ  ｓｅｇｍｅｎｔにおける挿入範囲の情報を全て抽出する。抽出後、共通ヘッダ情報解読器５２１は、抽出された全ての挿入範囲の情報を、検索情報として検索器５２２へ出力する。
【００６６】
次に、検索器５２２が、共通ヘッダ情報解読器５２１から出力された検索情報を入力する。検索器５２２は、入力した検索情報を一時記憶する。
【００６７】
このようにすることで、動画像データ内のシーンを、動画像データ自体を復号することなく検索できる。
【００６８】
以上、本発明の実施例２に係る画像記録方法を実現した装置について説明したが、個々のフレームデータに対して独立して生成されるヘッダ情報のうち、動画像の全区間で共通するヘッダ情報と一部区間で共通するヘッダ情報とを取り除いたうえ、これら共通するヘッダ情報をまとめて、符号化された動画像データに付与することにより、記録するデータ量を削減できる。さらに、データを外部機器へ出力する際、全区間で共通するヘッダ情報と一部区間で共通するヘッダ情報とを動画像データへ復元することにより、規格に準拠したデータとして出力できる。さらに、動画像の一部区間で共通するヘッダ情報を用いて、動画像の途中で属性情報が変化したフレームを抽出することで、本発明の画像記録方法で記録した動画像データ内のシーンを、動画像データ自体を任意の時間間隔で復号することなく検索できる。
【図面の簡単な説明】
【００６９】
【図１】実施例１の全体構成を示すブロック図。
【図２】実施例１における個々のｍａｒｋｅｒ  ｓｅｇｍｅｎｔの識別例を示す表。
【図３】実施例１における中間ファイルの様態を示す模式図。
【図４】実施例１における記録ファイルの様態を示す模式図。
【図５】実施例２の全体構成を示すブロック図。
【図６】実施例２における一部区間共通ヘッダ情報の様態を示す模式図。
【図７】実施例２における全区間共通ヘッダ情報の様態を示す模式図。
【図８】実施例２おける記録ファイルの様態を示す模式図。
【図９】Ｍｏｔｉｏｎ  ＪＰＥＧ２０００符号化データの構成を示す模式図。
【図１０】ＪＰＥＧ２０００符号化データの構成を示す模式図。
【図１１】主なｍａｒｋｅｒ  ｓｅｇｍｅｎｔの種別とその内容を示す表。
【図１２】ＪＰＥＧ２０００符号化データの構成について特徴を強調した模式図。
【図１３】ＳＩＺ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図。
【図１４】ＱＣＤ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図。
【図１５】ＰＰＭ  ｍａｒｋｅｒ  ｓｅｇｍｅｎｔのデータ構成を示す模式図。
【符号の説明】
【００７０】
１１０  符号化部
１２０  ストリーム出力部
５１０  符号化部
５２０  ストリーム出力部
【図１】
2005311774.tif 000003
【図２】
2005311774.tif 000004
【図３】
2005311774.tif 000005
【図４】
2005311774.tif 000006
【図５】
2005311774.tif 000007
【図６】
2005311774.tif 000008
【図７】
2005311774.tif 000009
【図８】
2005311774.tif 000010
【図９】
2005311774.tif 000011
【図１０】
2005311774.tif 000012
【図１１】
2005311774.tif 000013
【図１２】
2005311774.tif 000014
【図１３】
2005311774.tif 000015
【図１４】
2005311774.tif 000016
【図１５】
2005311774.tif 000017