(57)【要約】【課題】  シーンごとに符号化の制御を行うことにより、少ない符号量で最適な符号化処理を行う高能率符号化記録装置を提供する。【解決手段】  ジャンル／キーワード検索回路１０３で得られる符号化処理の対象となる映像のジャンルに関する情報と、この映像のデジタル画像データから画像特性算出回路１０５で得られる画像特性情報を基にシーン分別回路１０７で区切られたシーンごとの特性を表すシーン特性情報と、デジタル画像データを符号化処理することにより符号量制御回路２１９で得られる符号量に関する符号化結果情報とを基に、シーン情報データベース１０４から符号化処理を制御するパラメータの補正値をデータベース管理回路１０８で取得し、取得された補正値によって符号化パラメータ補正回路１０９で高能率符号化記録装置１０内のパラメータを補正する。【選択図】  図１
2006311078.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像のデジタル画像データに対して符号化制御パラメータにより制御された符号化処理を施すことにより、前記デジタル画像データを圧縮して記録媒体に格納する高能率符号化記録装置において、
前記デジタル画像データに付加された電子番組ガイド情報を基に、または前記デジタル画像データから算出されるジャンル予測情報を基に、前記符号化処理の対象となる映像のジャンルに関する情報を取得するジャンル情報取得手段と、
前記デジタル画像データから、映像情報の空間的な相関に関する情報と、時間的な相関に関する情報と、輝度レベルに関する情報と、色差レベルに関する情報とのうち少なくとも１つを画像特性情報として算出する画像特性算出手段と、
前記算出された画像特性情報を基に、前記映像のシーンが変化するシーン変化点に関するシーン区切り情報を前記デジタル画像データから検出するシーン変化点検出手段と、
前記検出されたシーン区切り情報により前記デジタル画像データをシーン別に区切り、区切られたシーンごとの前記画像特性情報に基づくシーン特性情報を算出するシーン分別手段と、
前記映像のデジタル画像データのうち既に符号化されたデジタル画像データの符号量に関する符号化結果情報を取得する符号化結果情報取得手段と、
前記ジャンルに関する情報と前記シーン特性情報とから算出されたシーン識別信号と、前記符号化結果情報とを基に前記符号化制御パラメータの補正値を算出し、算出された補正値によって前記符号化制御パラメータをシーンごとに補正する符号化制御パラメータ補正手段と、
前記区切られたシーンごとに補正された前記符号化制御パラメータに従って、前記デジタル画像データを前記区切られたシーンごとに符号化処理を行う符号化手段と、
を備えることを特徴とする高能率符号化記録装置。
【請求項２】
前記画像特性算出手段は、前記画像特性情報として、
前記デジタル画像データのフレームごとに算出される平均輝度レベル値と、
前記デジタル画像データのフレームごとに算出される平均色差レベル値と、
前記デジタル画像データのフレームごとに算出されるフレーム内における隣接画素間の差分絶対値の総和値と、
前記デジタル画像データの連続する２フレーム間において算出される同一位置に属する画素間の差分絶対値の総和値と、
のうち少なくとも１つの値を算出する
ことを特徴とする請求項１に記載の高能率符号化記録装置。
【請求項３】
前記シーン変化点検出処理手段は、前記映像の瞬間的なシーンの変化、または連続的な期間を有して行われるシーンの変化を検出する
ことを特徴とする請求項１または２に記載の高能率符号化記録装置。
【請求項４】
前記シーン分別手段は、前記シーン特性情報として、
前記デジタル画像データのフレームごとに算出される平均輝度レベル値と、
前記デジタル画像データのフレームごとに算出される平均色差レベル値と、
前記デジタル画像データのフレームごとに算出されるフレーム内隣接画素間の差分絶対値の総和値と、
前記デジタル画像データの連続する２フレーム間において算出される同一位置に属する画素間の差分絶対値の総和値と、
のうち少なくとも１つの値を算出し、
前記符号化結果情報取得手段は、前記符号化結果情報として、
動き補償予測が行われたフレームごとに算出される動きベクトル距離の総和値と、
前記デジタル画像データのフレームごとに算出される符号化されたデジタル画像データの情報量と、
のうち少なくとも１つの値を算出する
ことを特徴する請求項１〜３の何れか１項に記載の高能率符号化記録装置。
【請求項５】
前記符号化制御パラメータ補正手段は、前記符号化処理を制御するパラメータである、
動きベクトルの検出範囲を示す値と、
前記動きベクトルを検出する際に参照フレームとなるフレームを挿入する間隔を指定する値と、
目標とする符号量を前記フレームごとに制御する値と、
瞬間的な符号化レートの最大値を制御する値と、
輝度信号を量子化するための量子化マトリクス値と、
色差信号を量子化するための量子化マトリクス値と、
のうち少なくとも１つの値の補正値を出力する
ことを特徴とする請求項１〜４の何れか１項に記載の高能率符号化記録装置。
【請求項６】
前記番組情報取得手段において取得されるジャンルに関する情報は、
前記デジタル画像データに付加された電子番組ガイド情報から取得した情報と、
ジャンルを特定するために予め設定されたキーワード情報で前記電子番組ガイド情報から取得したテキストデータを検索処理することにより取得した情報と、
を含むことを特徴とする請求項１〜５の何れか１項に記載の高能率符号化記録装置。
【請求項７】
前記シーン識別信号の出現頻度を累積加算して記録する頻度記録手段を有し、
前記ジャンル情報取得手段は、前記電子番組ガイド情報から前記映像のジャンルに関する情報を取得できなかったときは、前記シーン分別手段から取得したシーン特性情報を基に全てのジャンルに対するシーン識別信号をそれぞれ算出し、この算出されたシーン識別信号の中で前記累積加算された出現頻度が最も高いシーン識別信号を選択して前記ジャンル予測情報を算出する
ことを特徴とする請求項１〜５の何れか１項に記載の高能率符号化記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像データを効率良く記録することが可能な高能率符号化記録装置に関する。
【背景技術】
【０００２】
近年、デジタル化された映像の画像データに対して高能率な符号化を施して情報を圧縮することにより、長時間のコンテンツを記録媒体に記録したり、衛星回線、地上回線、および電話回線などの伝送路で送受信したりするサービスが多く利用されている。これらのサービスにおいては、動画像および音声の高能率符号化方式として国際規格であるＭＰＥＧ２、ＭＰＥＧ４−ＡＳＰ、ＭＰＥＧ４−ＡＶＣなどが用いられている。これらの規格では、隣接画素（空間方向）の相関、および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮する画像符号化方式が用いられている。
【０００３】
例えば、ＭＰＥＧ２規格における画像符号化記録装置の一例として、以下のようなアルゴリズムで符号化処理が行われる装置がある。すなわち、時間的に連続する１２の符号化対象画像フレームのうち１フレームの静止画が基準フレームとして捉えられ、空間方向の相関のみを用いて符号化される。この基準フレームの符号化データは、このフレームの符号化データのみで復元できる。
【０００４】
基準フレーム以外の１１フレームでは、まず参照画像フレームとの間での被写体の動きから検出された動きベクトルを用いて画像が予測されることにより予測フレームが作成され、この予測フレームとの差分が求められる。この差分が空間方向の相関および時間方向の相関を用いて符号化されるため、基準フレームに比べてより高い符号化効率で符号化することができる。この予測フレームを用いて符号化されたデータは、参照フレームデータ、動きベクトルデータ、および予測フレームとの差分の符号化データより復元される。
【０００５】
ＭＰＥＧ２規格による画像符号化について図９を用いて具体的に説明する。図９は連続する基準フレームおよび予測フレームが平面状に並べられた状態を示している。Ｉで示されるＩピクチャ（Intra−coded picture：Ｉフレーム）は入力された符号化対象画像フレームであり、符号化処理において定期的に用いられ、復号処理で基準フレームとして用いられる。また、Ｐ１〜Ｐ３で示されるＰピクチャ（Predictive−coded picture：Ｐフレーム）は時間的に前（過去）の基準フレーム（Ｉピクチャ）のみを参照フレームとして作成される予測フレームであり、Ｂ１〜Ｂ８で示されるＢピクチャ（Bi−directionally predictive coded picture：Ｂフレーム）は時間的に前後（過去と未来）の２つの参照フレームから作成される予測フレームである。Ｐピクチャは、それ自身が予測フレームであるとともに、続いて作成されるＢピクチャやＰピクチャの参照フレームにもなる。
【０００６】
図９の矢印は、予測方向を示す。例えば、Ｐ１ピクチャは時間的に前のＩピクチャから予測され、Ｂ１ピクチャおよびＢ２ピクチャは時間的に前のＩピクチャとＰ１ピクチャから予測され、Ｂ３ピクチャおよびＢ４ピクチャはＰ１ピクチャとＰ２ピクチャから予測される。
【０００７】
Ｉピクチャの画像データは、輝度信号が水平１６画素×垂直１６画素であるマクロブロックと呼ばれる処理単位に分割される。分割され得られたマクロブロックデータは、さらに８×８画素単位の２次元ブロックに分割され、この２次元ブロックごとに直交変換の一種であるＤＣＴ（Discrete Cosine Transform：離散コサイン変換）変換処理および量子化処理が行われる。
【０００８】
ＤＣＴ変換で得られたデータはこの２次元ブロックデータの周波数成分に準じた値を示し、一般的な画像では成分が低周波域に集中する。この低周波成分は、高周波成分よりも視覚的に情報劣化が目立つ性質がある。よって量子化される際は、低周波成分域が細かく、高周波成分域が粗く処理され、その係数成分と成分がない係数０との連続する長さが可変長符号化されることにより、情報量が圧縮される。
【０００９】
Ｐピクチャを用いて符号化対象フレームを圧縮する処理について図９を参照して説明する。図９のＰ１ピクチャ、Ｐ２ピクチャ、およびＰ３ピクチャに時間的に対応する符号化対象画像フレームも水平１６画素×垂直１６画素のマクロブロック単位に分割され、このマクロブロック毎に参照フレームであるＩピクチャまたはＰピクチャとの間の動きベクトルが検出される。動きベクトルは、一般的にブロックマッチング法により求められる。このブロックマッチング法では、動きベクトル検出対象である符号化対象画像フレームのマクロブロックデータの各画素と、このマクロブロックデータと近似の参照フレームのマクロブロックデータの各画素との差分絶対値和（もしくは差分二乗和）が求められ、その値が最小となるときの動きベクトルの値が検出された動きベクトルとして出力される。
【００１０】
参照フレームの画像を、このマクロブロック毎に検出された動きベクトル分ずらして作成された画像をＰピクチャとする。Ｐピクチャの画像信号は、Ｉピクチャと同様に輝度信号で水平１６画素×垂直１６画素のマクロブロック単位に分割される。そして、得られたＰピクチャのマクロブロックデータの各画素と符号化対象画像フレームのマクロブロックデータの各画素との差分ブロックデータが検出され、この差分ブロックデータが符号化される。正確な動きベクトルが検出された場合には、差分ブロックデータの情報量は元のマクロブロックデータの持っている情報量よりも大幅に少なくなる。そのため、Ｐピクチャを用いて符号化されたデータは、Ｉピクチャが符号化されたデータよりも粗い量子化処理が可能になる。実際には、差分ブロックデータを符号化するか、非差分ブロックデータ（符号化対象フレームのIntraブロックデータ）を符号化するかが予測モード判定で選択され、選択されたブロックデータに対してＩピクチャと同様のＤＣＴ変換処理および量子化処理が施され、圧縮が行われる。
【００１１】
Ｂピクチャを用いて符号化対象フレームを圧縮する処理について説明する。図９のＢ１ピクチャ、Ｂ２ピクチャ、・・・Ｂ８ピクチャに時間的に対応する符号化対象画像フレームもＰピクチャを用いる場合と同様の処理が行われるが、参照フレームであるＩピクチャおよびＰピクチャが時間的に前後に存在するため、それぞれの参照フレームと符号化対象フレームとの間で動きベクトルが検出される。この際、マクロブロック毎に選択される予測モードにより動きベクトルの検出が行われる。この予測モードには、時間的に前の基準フレームからブロックデータが予測される（Forward予測）モード、時間的に後の基準フレームからブロックデータが予測される（Backward予測）モード、これら２つの予測ブロックデータの画素毎の平均値からブロックデータが予測される（Average予測）モードの３種類が存在する。これら３種類のモードによりそれぞれ得られるＢピクチャのマクロブロックデータと符号化対象画像フレームのマクロブロックデータとの差分ブロックデータ、および、符号化対象フレームのIntraブロックデータの４種類のブロックデータからいずれかのデータが判定により選択され、選択されたブロックデータにＩピクチャおよびＰピクチャと同様のＤＣＴ変換処理および量子化処理が施され、圧縮が行われる。
【００１２】
Ｂピクチャは時間的に前後の基準フレームから予測が可能であるため、Ｐピクチャよりもさらに予測効率が向上する。よって、一般的にＰピクチャよりもさらに粗く量子化される。
【００１３】
このＢピクチャを用いる符号化は時間的に後の基準フレームからの予測処理も行われるため、参照フレームを用いた符号化がＢピクチャを用いる符号化に先行して行われる。そのため、入力された画像信号は図１０に示すように、Ｂピクチャを用いて符号化される符号化対象画像フレームは、その参照フレームであるＩピクチャまたはＰピクチャの後に並べ替えが行われ、符号化される。復号される際は、図１１に示すように、図１０の逆の並べ替えを行って出力することにより、入力された画像信号の順に復号された画像が再生される。
【００１４】
次に、ＭＰＥＧ２画像符号化を実現する従来の画像符号化記録装置の構成について説明する。図１２は従来の画像符号化記録装置２０を示すブロック図である。従来の画像符号化記録装置２０は、対象画像入力端子２０１と、入力画像メモリ２０２と、２次元ブロックデータ変換回路２０３と、減算器２０４と、直交変換回路２０５と、量子化回路２０６と、符号化回路２０７と、符号化テーブル２０８と、マルチプレクサ２０９と、画像ビットストリームバッファ２１０と、逆量子化回路２１２と、逆直交変換回路２１３と、加算器２１４と、デブロック回路２１５と、参照画像メモリ２１６と、動きベクトル検出回路２１７と、動き補償予測回路２１８と、符号量制御回路２１９とを有する。
【００１５】
対象画像入力端子２０１は、符号化対象となるデジタル画像データを入力する。
【００１６】
入力画像メモリ２０２は、対象画像入力端子２０１で入力されたデジタル画像データを記憶して遅延させ、符号化される順番にフレームを並べ替えて２次元ブロックデータ変換回路２０３に送信する。
【００１７】
２次元ブロックデータ変換回路２０３は、受信したデジタル画像データのフレームをマクロブロックデータに分割する。
【００１８】
減算器２０４は、符号化対象のフレームがＩピクチャの場合はそのまま直交変換回路２０５に送信し、Ｉピクチャ以外の場合は後述する予測ブロックデータと符号化対象フレームのマクロブロックデータとの差分を直交変換回路２０５に送信する。
【００１９】
直交変換回路２０５は、受信したマクロブロックデータをＤＣＴ変換し、このＤＣＴ変換により得られたＤＣＴ係数を量子化回路２０６に送信する。
【００２０】
量子化回路２０６は、受信したＤＣＴ係数を量子化マトリクスにより算出される値で除算して量子化処理を行う。
【００２１】
符号化回路２０７は、符号化テーブル２０８を参照することにより得られる符号化レートで、量子化されたＤＣＴ係数を可変長または固定長で符号化し、マルチプレクサ２０９に送信する。
【００２２】
符号化テーブル２０８は、ＤＣＴ係数に対応する符号化レートを記憶している。
【００２３】
マルチプレクサ２０９は、符号化回路２０７から受信した符号化データと２次元ブロックデータ変換回路２０３から受信したフレーム内でのマクロブロックデータの位置等を示す付加情報とを多重化して出力画像ビットストリームとし、画像ビットストリームバッファ２１０および符号量制御回路２１９に送信する。
【００２４】
画像ビットストリームバッファ２１０は、マルチプレクサ２０９から受信された出力画像ビットストリームを格納し、必要に応じて記録媒体もしくは伝送路２１１に送信する。
【００２５】
逆量子化回路２１２は、量子化回路２０６から受信した量子化されたＤＣＴ係数を逆量子化し、得られたＤＣＴ係数を逆直交変換回路２１３に送信する。
【００２６】
逆直交変換回路２１３は、受信したＤＣＴ係数を逆ＤＣＴ変換処理し、得られたマクロブロックデータを加算器２１４に送信する。
【００２７】
加算器２１４は、逆直交変換回路２１３から受信したマクロブロックデータに後述する動き補償予測回路２１８から得られる予測ブロックデータを加算し、デブロック回路２１５に送信する。
【００２８】
デブロック回路２１５は、予測ブロックデータが加算されたマクロブロックデータを受信して復号し、得られた参照画像データを参照画像メモリ２１６に送信する。
【００２９】
参照画像メモリ２１６は、受信した参照画像データを記憶し、ＰピクチャまたはＢピクチャの参照フレームとして動きベクトル検出回路２１７および動き補償予測回路２１８に送信する。
【００３０】
動きベクトル検出回路２１７は、２次元ブロックデータ変換回路２０３から受信した符号化対象画像のマクロブロックデータと参照画像メモリ２１６から受信した参照画像のマクロブロックデータとの間の動きベクトルを検出する。
【００３１】
動き補償予測回路２１８は、参照画像メモリ２１６から受信した参照フレームのマクロブロックデータを、動きベクトル検出回路２１７で求められた動きベクトル分ずらして予測ブロックデータを作成し、減算器２０４および加算器２１４に送信する。
【００３２】
符号量制御回路２１９は、マルチプレクサ２０９から送信された出力画像ビットストリームの符号量と予め設定された目標とする符号量とを比較し、目標符号量に近づけるために量子化する細かさ（量子化スケール）を算出し、算出された量子化スケールで量子化が行われるように量子化回路２０６を制御する。
【００３３】
次に、上記の従来の画像符号化記録装置２０の動作を説明する。
【００３４】
まず、符号化対象となる映像のデジタル画像データが、対象画像入力端子２０１から入力されて入力画像メモリ２０２に送信される。入力画像メモリ２０２では受信したデジタル画像データが記憶されて遅延され、図１０の符号化シンタックスに従って符号化される順番にフレームが並べ替えられて２次元ブロックデータ変換回路２０３に送信される。２次元ブロックデータ変換回路２０３においては、受信したデジタル画像データがマクロブロックデータに分割される。
【００３５】
次に、入力画像メモリ２０２から入力されたデジタル画像データがＩピクチャである場合の符号化処理について説明する。まず、マクロブロックデータに分割されたＩピクチャの画像データは減算器２０４を介して直交変換回路２０５に送信される。そして直交変換回路２０５でさらに水平８画素×垂直８画素単位に分割されてＤＣＴ変換処理が行われ、ＤＣＴ係数が出力される。出力されたＤＣＴ係数は輝度信号が水平１６画素×垂直１６画素となるマクロブロック単位にまとめられ、量子化回路２０６に送られる。量子化回路２０６においては、ＤＣＴ係数が周波数成分毎に異なった値を持つ量子化マトリクスにより算出される値で除算されることにより、量子化処理が行われる。量子化処理が行われたＤＣＴ係数は、符号化回路２０７において符号化テーブル２０８のＤＣＴ係数に対応したアドレスが参照されることにより可変長または固定長の符号化が行われ、得られた符号化データがマルチプレクサ２０９に送信される。
【００３６】
マルチプレクサ２０９では、符号化回路２０７から受信された符号化データと２次元ブロックデータ変換回路２０３から受信されたフレーム内での該当するマクロブロックデータの位置等を示す付加情報とが多重化され、画像ビットストリームバッファ２１０に格納される。この多重化されたデータは、出力画像ビットストリームとして記録媒体もしくは伝送路２１１に出力される。
【００３７】
一方、量子化回路２０６において量子化されたＤＣＴ係数は、逆量子化回路２１２および逆直交変換回路２１３において逆量子化および逆ＤＣＴ変換処理が行われ、量子化されたＤＣＴ係数が復号されマクロブロックごとのデータが得られる。この得られたマクロブロックごとデータは加算器２１４を介してデブロック回路２１５に送信され、デブロック回路２１５でデブロックされて復号された参照画像データが得られる。復号された参照画像データは参照画像メモリ２１６に供給されて格納される。参照画像メモリ２１６に格納された画像データは、予測フレームであるＰピクチャやＢピクチャを用いて符号化処理する時に参照フレームとして使用される。
【００３８】
次に、入力画像メモリ２０２から出力されたデジタル画像データが、予測フレームであるＰピクチャまたはＢピクチャを用いて符号化処理される場合について説明する。まず、２次元ブロックデータ変換回路２０３で分割された符号化対象となる画像フレームのマクロブロックデータと参照画像メモリ２１６に格納されている参照画像のマクロブロックデータとの間の動きベクトルが、動きベクトル検出回路２１７で求められる。動きベクトル検出回路２１７で求められた動きベクトルのデータは動き補償予測回路２１８に送信される。動き補償予測回路２１８では、参照画像メモリ２１６から取得した参照フレームのマクロブロックデータが、動きベクトル検出回路２１７で求められた動きベクトル分ずらされることにより予測ブロックデータが作成される。さらに動き補償予測回路２１８では、複数の予測モードの中から最適な予測モードで作成された予測ブロックデータが選択される。そして、減算器２０４で符号化対象となる画像のマクロブロックデータと動き補償予測回路２１８で選択された予測ブロックデータとの差分データが算出され、直交変換回路２０５に送信される。この差分データはＩピクチャと同様にＤＣＴ変換処理および量子化処理が行われ、動きベクトルデータおよび予測ブロックデータとともに出力画像ビットストリームとして画像ビットストリームバッファ２１０から記録媒体もしくは伝送路２１１に出力される。
【００３９】
符号量の制御に関しては、符号量制御回路２１９においてマルチプレクサ２０９から出力された画像ビットストリームの符号量と目標とする符号量とが比較され、目標とする符号量に近づけるための量子化スケール（量子化の細かさ）の算出が行われる。そして、この算出された量子化スケールで量子化が行われるように量子化回路２０６が制御される。
【００４０】
この装置では前述した３種類のピクチャタイプを用いた情報量の異なる符号化処理が行われるため、それぞれのピクチャタイプの目標符号量はピクチャタイプの性質と出現頻度により算出される。
【００４１】
一般的に各画像フレームの目標符号量は、一定時間における目標符号量に対し各ピクチャタイプを用いた符号化画像が持つ情報量から算出し、割り当てていく。具体的には、以前に各ピクチャタイプを用いて符号化したときに要した符号量をBits、各ピクチャタイプの量子化スケールの平均値をAvgQとした場合、各ピクチャタイプの持つ符号化の複雑度（以下、「符号化難易度」と称する）の近似値Cは以下の式（１）で算出される。
【数１】
2006311078.tif 000003
【００４２】
この値Cは、複雑な場面や動きの大きな場面程、値が大きい。ここで、Aはピクチャタイプの重要度や符号化時の劣化レベルを想定して各ピクチャタイプに対して設定される重み付けである。一般的にはこの重み付けは、A(I)＞A(P)＞A（B）となる。
【００４３】
一定時間内に含まれるF個のフレームに与えられる目標符号量TotalBitsに対して、各ピクチャタイプが用いられるFnum個のフレームに与えられる目標符号量Budgetは、下記式（２）〜（４）で算出される。
【数２】
2006311078.tif 000004
【００４４】
符号量制御回路２１９では、仮想的に復号装置がシュミレートされたＶＢＶ（Video  Buffer  Verifier）バッファと呼ばれるストリームバッファに対して復号バッファにオーバーフローまたはアンダーフローが起きないように、上記のように設定される目標符号量Budgetに対する制限が行われる。
【００４５】
また、量子化スケールと出力符号量とは一般的にほぼ反比例の関係にある。これを利用して、フレームタイプ毎にピクチャ内の各マクロブロックデータに対する量子化スケール値が目標符号量Budgetから算出され、量子化処理が行われる。そして、ブロック毎に目標符号量に近づくように量子化スケールが変動されることによって、目標符号量内に出力画像ビットストリームが抑えられる。
【００４６】
上記のように、画像信号の空間方向相関や時間方向相関を利用して情報量を圧縮する方式を用いた場合、符号化難易度が高い場面で高い符号化効率を得ることができない。そのため、一定の目標符号量内に情報量を収めるには粗い量子化スケールにて量子化処理を行う必要があり、画像信号が復元されたときに画像の劣化が大きくなる。
【００４７】
このような画像の劣化を抑えるため、ＭＰＥＧ２規格においては、符号化された情報量が既知である画像を記録媒体に格納するときに、記録媒体の最大転送レートの符号化レート以内で上記符号化難易度に応じて符号化レートを変動させる、可変転送レート（ＶＢＲ）符号化が可能になっている。
【００４８】
また、符号化された情報量が既知ではなく、将来の場面（シーン）が予測できないリアルタイムの入力信号を記録媒体に格納するときのＶＢＲ符号化処理の制御方法に関しては、例えば特許文献１に挙げられている方法がある。この方法では、設定された平均符号化レートに対し、復元された画像信号の劣化が目立たないレベルの最低量子化スケールが設定され、符号化情報の出力が平均符号化レートに満たない部分は以降の符号化処理に割り当てられる。この処理により、符号化難易度の高いシーンに対する耐性が高められ、画像の劣化が抑えられる。
【００４９】
また特許文献２には、テレビ番組を記録媒体に録画する場合に番組別に符号化レートを変動させる方法が記載されている。この方法は、番組内容に依存して大まかな符号化難易度の傾向があることを利用するものである。処理が行われる際は、電子番組ガイド（以下「ＥＰＧ」と称する）から番組ジャンル情報が取得され、この情報を基準に好ましい符号化レートがテーブルから参照され、その符号化レートで符号化処理が行われる。
【００５０】
これらの方法により、設定された符号化レートに対して無駄な符号化情報を省いたり、予め認識できるコンテンツの情報を使用したりすることが可能になり、大局的な制御を行うことができる。
【特許文献１】特許３３０７３６７号
【特許文献２】特開２００２−４４６０４号公報
【発明の開示】
【発明が解決しようとする課題】
【００５１】
しかし、上記の特許文献１または特許文献２に記載の方法では、瞬間的に符号化難易度が高くなるシーンに対する符号化処理については改善されていなかった。そのため、シーンに応じて時間方向相関を高める方法や、画像の特性に応じた情報の削減に関する方法は考慮されていないという欠点があった。
【００５２】
具体的には、特許文献１に示されるような高能率符号化記録装置は将来入力されるデータを事前に知ることができない構成となっているため、瞬間的に符号化難易度の高いシーンが入力された場合に圧縮率を高めて画質の劣化を低減させることが困難であるという問題があった。
【００５３】
また、特許文献２に示されるような高能率符号化記録装置は、番組のジャンル情報に依存して番組ごとに１つの設定を行うため、１つのジャンルの番組を１つの記録媒体全体に記録する際には有効ではないという問題があった。さらに、ジャンルによって区分けされた番組の中にもシーン毎に特徴が存在するため、１つの番組中が同一の制御では充分な効果が発揮されず、例えば瞬間的に符号化難易度が高いシーンが入力されたときにシーンに合わせた有効な制御ができないという問題もあった。これら以外にも、ＥＰＧ情報が存在しない入力ソースはジャンル情報が取得できないため、有効な処理ができないという問題もあった。
【００５４】
本発明は上記事情に鑑みてなされたものであり、シーンごとに符号化の制御を行うことにより、少ない符号量で最適な符号化処理を行う高能率符号化記録装置を提供することを目的とする。
【課題を解決するための手段】
【００５５】
上記目的を達成するための請求項１に記載の高能率符号化記録装置は、入力された映像のデジタル画像データに対して符号化制御パラメータにより制御された符号化処理を施すことにより、デジタル画像データを圧縮して記録媒体に格納するものであり、デジタル画像データに付加された電子番組ガイド情報を基に、またはデジタル画像データから算出されるジャンル予測情報を基に、符号化処理の対象となる映像のジャンルに関する情報を取得するジャンル情報取得手段と、デジタル画像データから、映像情報の空間的な相関に関する情報と時間的な相関に関する情報と輝度レベルに関する情報と色差レベルに関する情報とのうち少なくとも１つを画像特性情報として算出する画像特性算出手段と、算出された画像特性情報を基に、映像のシーンが変化するシーン変化点に関するシーン区切り情報をデジタル画像データから検出するシーン変化点検出手段と、検出されたシーン区切り情報によりデジタル画像データをシーン別に区切り、区切られたシーンごとの画像特性情報に基づくシーン特性情報を算出するシーン分別手段と、映像のデジタル画像データのうち既に符号化されたデジタル画像データの符号量に関する符号化結果情報を取得する符号化結果情報取得手段と、前記ジャンルに関する情報とシーン特性情報とから算出されたシーン識別信号と符号化結果情報とを基に符号化制御パラメータの補正値を算出し、算出された補正値によって符号化制御パラメータを補正する符号化制御パラメータ補正手段と、区切られたシーンごとに設定された符号化制御パラメータに従って、デジタル画像データの区切られたシーンごとに符号化処理を行う符号化手段とを備えることを特徴とする。
【００５６】
また、請求項２は請求項１に記載の高能率符号化記録装置であり、画像特性算出手段は、画像特性情報として、デジタル画像データのフレームごとに算出される平均輝度レベル値と、デジタル画像データのフレームごとに算出される平均色差レベル値と、デジタル画像データのフレームごとに算出されるフレーム内における隣接画素間の差分絶対値の総和値と、デジタル画像データの連続する２フレーム間において算出される同一位置に属する画素間の差分絶対値の総和値とのうち少なくとも１つの値を算出することを特徴とする。
【００５７】
また、請求項３は請求項１または２に記載の高能率符号化記録装置であり、シーン変化点検出処理手段は、映像の瞬間的なシーンの変化、または連続的な期間を有して行われるシーンの変化を検出することを特徴とする。
【００５８】
また、請求項４は請求項１〜３の何れか１項に記載の高能率符号化記録装置であり、シーン分別手段は、シーン特性情報として、デジタル画像データのフレームごとに算出される平均輝度レベル値と、デジタル画像データのフレームごとに算出される平均色差レベル値と、デジタル画像データのフレームごとに算出されるフレーム内隣接画素間の差分絶対値の総和値と、デジタル画像データの連続する２フレーム間において算出される同一位置に属する画素間の差分絶対値の総和値とのうち少なくとも１つの値を算出し、符号化結果情報取得手段は、符号化結果情報として、動き補償予測が行われたフレームごとに算出される動きベクトル距離の総和値と、デジタル画像データのフレームごとに算出される符号化されたデジタル画像データの情報量とのうち少なくとも１つの値を算出することを特徴とする。
【００５９】
また、請求項５は請求項１〜４の何れか１項に記載の高能率符号化記録装置であり、符号化制御パラメータ補正手段は、符号化処理を制御するパラメータである動きベクトルの検出範囲を示す値と、動きベクトルを検出する際に参照フレームとなるフレームを挿入する間隔を指定する値と、目標とする符号量をフレームごとに制御する値と、瞬間的な符号化レートの最大値を制御する値と、輝度信号を量子化するための量子化マトリクス値と、
色差信号を量子化するための量子化マトリクス値とのうち少なくとも１つの値の補正値を出力することを特徴とする。
【００６０】
また、請求項６は請求項１〜５の何れか１項に記載の高能率符号化記録装置であり、ジャンル情報取得手段において取得されるジャンルに関する情報は、デジタル画像データに付加された電子番組ガイド情報から取得した情報と、ジャンルを特定するために予め設定されたキーワード情報で電子番組ガイド情報から取得したテキストデータを検索処理することにより取得した情報とを含むことを特徴とする。
【００６１】
また、請求項７は請求項１〜５の何れか１項に記載の高能率符号化記録装置であり、シーン識別信号の出現頻度を累積加算して記録する頻度記録手段を有し、ジャンル情報取得手段は、電子番組ガイド情報から映像のジャンルに関する情報を取得できなかったときは、シーン分別手段から取得したシーン特性情報を基に全てのジャンルに対するシーン識別信号をそれぞれ算出し、この算出されたシーン識別信号の中で累積加算された出現頻度が最も高いシーン識別信号を選択してジャンル予測情報を算出することを特徴とする。
【発明の効果】
【００６２】
本発明の高能率符号化記録装置によれば、映像のデジタル画像データを記録するときに、瞬間的に入力される符号化難易度の高いシーンや特徴のあるシーンに対して適切な符号化制御を行うことができる。これにより、限られた容量の記録媒体に、符号化品質を保ち効率良くデジタル画像データを記録することができる。
【発明を実施するための最良の形態】
【００６３】
〈高能率符号化記録装置１０の構成〉
本発明の第１実施形態における高能率符号化記録装置１０の構成について図１を参照して説明する。本実施形態における高能率符号化記録装置１０は、ＥＰＧ情報入力端子１０１と、番組情報取得回路１０２と、ジャンル／キーワード検索回路１０３と、シーン情報データベース（記録媒体）１０４と、画像特性算出回路１０５と、シーン検出回路１０６と、シーン分別回路１０７と、データベース管理回路１０８と、符号化制御パラメータ補正回路１０９と、符号化シンタックス制御回路１１０と、ジャンル予測回路１１１と、対象画像入力端子２０１と、入力画像メモリ２０２と、２次元ブロックデータ変換回路２０３と、減算器２０４と、直交変換回路２０５と、量子化回路２０６と、符号化回路２０７と、符号化テーブル２０８と、マルチプレクサ２０９と、画像ビットストリームバッファ２１０と、記録媒体もしくは伝送路２１１と、逆量子化回路２１２と、逆直交変換回路２１３と、加算器２１４と、デブロック回路２１５と、参照画像メモリ２１６と、動きベクトル検出回路２１７と、動き補償予測回路２１８と、符号量制御回路２１９とを有する。このうち、対象画像入力端子２０１以降に記載の構成要件は図１２に示す従来の画像符号化記録装置と同様であるため、説明を省略する。
【００６４】
ＥＰＧ情報入力端子１０１は、ＥＰＧ情報を入力して番組情報取得回路１０２に送信する。ＥＰＧ情報は、地上アナログ放送の特定チャンネル・特定時刻にＴＶ映像信号のブランキング区間に同期データとともに送信されてくる情報や、地上・ＢＳデジタル放送でパケット化された符号化データであるＴＳ（トランスポートストリーム）と呼ばれるデータの中に特定の識別情報とともに周期的に送られてくるＳＩ（番組配列情報）から取得可能である。
【００６５】
番組情報取得回路１０２は、受信したＥＰＧ情報から、処理を行っている番組のジャンル情報および番組内容を示すテキストデータを取得し、ジャンル／キーワード検索回路１０３に送信する。
【００６６】
ジャンル／キーワード検索回路１０３は、ジャンル情報および番組内容を示すテキストデータを受信するとともに後述するシーン情報データベース１０４に格納されているキーワード情報を読み込み、番組内容を示すテキストデータの中にキーワード情報の中のキーワードがあるかどうか検索する。検索の結果抽出されたキーワード情報のジャンル情報ＩＤおよび番組情報取得回路１０２から受信したジャンル情報は、シーン分別回路１０７に送信される。ここで、ＥＰＧ情報が取得できないなどの理由でジャンル情報およびキーワード情報の抽出によるデータがともに取得できなかった場合には、情報取得不可を示す情報をシーン分別回路１０７およびジャンル予測回路１１１に送信する。
【００６７】
シーン情報データベース１０４は、メインジャンル情報と、このメインジャンル情報を細分化するための番組詳細を示すキーワードとしてのサブジャンル情報と、このサブジャンル情報に対応するジャンル情報ＩＤとで構成されたキーワード情報を格納している。またこのジャンル情報ＩＤ毎に、符号化制御を行うために予め設定された符号化制御パラメータを設定するためのデータであるシーン識別信号を格納している。またこのジャンルＩＤ毎に、出現頻度を累積加算したデータを格納している。
【００６８】
画像特性算出回路１０５は、入力画像メモリ２０２から符号化対象であるデジタル画像データを取得し、画像情報の空間的または時間的な相関や輝度および色差レベルに関する画像特性情報をフレーム毎に算出し、シーン検出回路１０６に送信する。
【００６９】
本実施形態においてはこの画像特性情報として、デジタル画像データのフレームごとに算出される平均輝度レベル値と、デジタル画像データのフレームごとに算出される平均色差レベル値と、デジタル画像データのフレームごとに算出されるフレーム内における隣接画素間の差分絶対値の総和値と、デジタル画像データの連続する２フレーム間において算出される同一位置に属する画素間の差分絶対値の総和値とを算出する。
【００７０】
シーン検出回路１０６は、受信した画像特性情報を用いてシーンの変化点を検出する処理を行う。行った結果、シーン変化点が検出されたフレームであるかどうかを示すシーン区切り情報を作成し、シーン分別回路１０７に送信する。また、このとき画像特性情報もシーン分別回路１０７に送信する。
【００７１】
シーン分別回路１０７は、シーン検出回路１０６から受信したシーン区切り情報によりシーンの区切りを認識する。また、シーン検出回路１０６から受信した画像情報特性の１シーン区間の平均値（以下、「シーン特性情報」と称する）を算出し、ジャンル／キーワード検索回路１０３から受信したジャンル情報ＩＤと合わせてデータベース管理回路１０８へ送信する。
【００７２】
データベース管理回路１０８は、シーン特性情報と符号量制御回路２１９から取得した符号化難易度および動きベクトル距離に関する符号化結果情報とからシーン識別信号を作成する。そして、このシーン識別信号およびシーン分別回路１０７から受信したジャンル情報ＩＤを基にシーン情報データベース１０４をアクセスして符号化制御パラメータ補正データを取得し、符号化制御パラメータ補正回路１０９に送信する。
【００７３】
符号化制御パラメータ補正回路１０９は、現在制御している符号化パラメータと受信した符号化制御パラメータ補正データを比較し、異なると判断した場合には必要な処理モジュールに対して補正を行うように符号化シンタックス制御回路１１０に符号化制御パラメータ補正データを送信する。
【００７４】
符号化シンタックス制御回路１１０は、受信した符号化制御パラメータ補正データに応じて、制御する処理モジュールに符号化制御パラメータ補正データを送信する。
【００７５】
ジャンル予測回路１１１は、シーン検出回路１０６からシーン区切り情報を取得し、ジャンル情報未取得フラグが存在する場合は予測ジャンル情報を作成してシーン分別回路１０７に送信する。
【００７６】
〈高能率符号化記録装置１０の動作〉
本発明の第１実施形態における高能率符号化記録装置１０の動作について説明する。
【００７７】
本実施形態における高能率符号化記録装置１０の動作のうち、符号化対象となる映像のデジタル画像データの流れについては従来の画像符号化記録装置２０の場合と同様であるため説明を省略する。
【００７８】
まず、符号化対象となるデジタル画像データの入力とは別に、ＥＰＧ情報がＥＰＧ情報入力端子１０１から入力される。取得されるＥＰＧ情報の例として、デジタル放送で伝送されるＥＰＧ情報の大まかな内容を図２に示す。
【００７９】
次に、図２に示すＥＰＧ情報から番組情報取得回路１０２でジャンルを特定するための情報として符号化処理中の番組の「番組名」、「番組記述」、「ジャンル」、「番組詳細情報」が取得され、ジャンル／キーワード検索回路１０３に送信される。
【００８０】
ジャンル／キーワード検索回路１０３では、番組情報取得回路１０２から受信された情報のうち「ジャンル」からジャンル情報が作成される。また、ジャンル／キーワード検索回路１０３ではシーン情報データベース１０４からキーワード情報が取得され、番組情報取得回路１０２から受信された「番組名」「番組記述」「番組詳細情報」の情報内容にキーワード情報の中のキーワードが含まれているかどうか検索される。
【００８１】
シーン情報データベース１０４に格納されているキーワード情報のデータ構成例を図３に示す。このキーワード情報は、メインジャンル情報およびこのメインジャンル情報を細分化するための番組詳細を示すキーワードとしてのサブジャンル情報と、このサブジャンル情報に対応するジャンル情報ＩＤとで構成されている。
【００８２】
ジャンル／キーワード検索回路１０３で作成されたジャンル情報と、検索された結果抽出されたキーワード情報のジャンル情報ＩＤとは、シーン分別回路１０７に送信される。このとき、ＥＰＧ情報が取得できないなどの理由により、ジャンル／キーワード検索回路１０３でジャンル情報とキーワード情報の抽出によるジャンル情報ＩＤがともに取得不可能な場合は、ジャンル／キーワード検索回路１０３からシーン分別回路１０７にジャンル情報取得不可を示す情報が送信される。
【００８３】
一方、入力画像メモリに入力された符号化対象となるデジタル画像データが画像特性算出回路１０５に送信され、画像情報の空間的または時間的な相関に関する情報や輝度および色差レベルに関する情報である画像特性情報が算出される。
【００８４】
画像特性算出回路１０５における画像特性情報の算出について説明する。算出される画像特性情報とは、具体的には、フレーム平均輝度情報LDC、フレーム平均色差情報CBDCおよびCRDC、フレーム内隣接画素間の差分絶対値のフレーム総和値FAct、連続するフレーム間における画面内同一位置に属する画素間差分絶対値の総和値FDfiff、である。
【００８５】
フレーム平均輝度情報LDC（以下、「フレーム輝度DC」と称する）は、輝度信号のレベルをluma( )とすると、下記式（５）で算出される。
【数３】
2006311078.tif 000005
【００８６】
また、フレーム平均色差情報CBDCおよびCRDCは、色差信号のレベルをcb( )およびcr( )とすると、下記式（６）および（７）で算出される。
【数４】
2006311078.tif 000006
【００８７】
また、フレーム内隣接画素間の差分絶対値（以下、「フレームアクティビティ」と称する）のフレーム総和値FActは、まずフレームアクティビティとしてＤＣＴ処理を行う８×８画素単位で図４に示すような矢印の画素間の面内相関Activityが算出される。そして、この面内相関Activityのフレーム総和が算出されることにより、フレームアクティビティのフレーム総和値が求められる。
【００８８】
この面内相関Activityは下記式（８）で算出される。
【数５】
2006311078.tif 000007
【００８９】
そして、この面内相関Activityのフレーム総和値としてのフレームアクティビティFActは、下記式（９）で算出される。
【数６】
2006311078.tif 000008
【００９０】
また、連続するフレーム間における画面内同一位置に属する画素間差分絶対値の総和値FDfiff（以下、「フレームディファレンス」と称する）は、符号化対象となる入力画像フレームの１フレーム前の輝度成分をprev_luma( )、１フレーム前の色差成分をprev_cb( )およびprev_cr( )とすると、下記式（１０）で算出される。
【数７】
2006311078.tif 000009
【００９１】
画像特性算出回路１０５で上記のように算出された画像特性情報は、シーン検出回路１０６に送信される。シーン検出回路１０６では、受信したこれらの画像特性情報を用いてシーンが切り替わるシーン変化点を検出する処理が行われる。このシーン変化点として、瞬間的に画面が切り替わるシーンチェンジの検出と、連続的な期間を有して画面がオーバーラップして変化する（画面が次第に明るくなるフェードインおよび画面が次第に消えていくフェードアウトを含む）状態の検出とが行われる。
【００９２】
これらの検出処理を図５を参照して説明する。この処理では、入力された画像特性情報の中の、フレームアクティビティのフレーム総和値FAct、および、フレーム輝度DC成分を用いて処理が行われる。
【００９３】
格納されている最新のフレームアクティビティのフレーム総和値をFAct(N)、１フレーム前のフレームアクティビティのフレーム総和値をFAct(N-1)、Nフレーム前のフレームアクティビティのフレーム総和値をFAct(0)とする。同様にフレーム輝度DC成分も、最新のフレーム輝度DC成分をLDC(N)、１フレーム前のフレーム輝度DC成分をLDC(N-1)、Nフレーム前のフレーム輝度DC成分をLDC(0)とする。また、I、J、K、およびLは変数である。
【００９４】
まず、シーンチェンジを検出するために、Nフレーム間のフレームアクティビティのフレーム総和値およびフレーム輝度DC成分のフレーム間差分絶対値が算出される。このとき、フレームI=0〜N-2に対するフレームアクティビティおよびフレーム輝度DC成分のフレーム間差分絶対値は以前のフレームでの算出結果から残っているため、まずフレームI=0〜N-2であるかどうかが判定される（Ｓ１）。フレームI=0〜N-2であれば（Ｓ１の「Yes」）、下記式（１１）および式（１２）の処理が行われる（Ｓ２）。
【数８】
2006311078.tif 000010
【００９５】
ステップＳ１において、フレームI=N-1になると（Ｓ１の「No」）フレームI=N-1とフレームI=Nとの間のフレームアクティビティの差分が下記式（１３）で算出され、同様にフレーム輝度DC成分のフレーム間差分が下記式（１４）で算出される（Ｓ３）。
【数９】
2006311078.tif 000011
【００９６】
次に、フレームJ(1≦J≦N-2)がシーンの切り替わりポイントであるかの判断を行うために、I=J-K(0≦K≦J)からI=N-2までのフレームアクティビティの総和値と、フレームJのフレームアクティビティ値が下記式（１５）で比較される（Ｓ４）。比較された結果、式（１５）が満たされる場合（Ｓ４の「Yes」）は、シーン変換点が検出されたと判断され、フレームJがシーン変化点ポイントとして出力される（Ｓ５）。
【００９７】
式（１５）が満たされなかった場合（Ｓ４の「No」）は、I=J-K(0≦K≦J)からI=N-2までのフレーム輝度DC成分の差分値の総和値と、フレームJのフレーム輝度DC成分の差分値が下記式（１６）で比較される（Ｓ６）。比較された結果、式（１６）が満たされる場合（Ｓ６の「Yes」）はシーン変換点が検出されたと判断され、フレームJがシーン変化点ポイントとして出力される（Ｓ６）。
【数１０】
2006311078.tif 000012
【００９８】
ここで、通常閾値は０．５より十分大きく１に近い値となる。式（１６）の条件も満たさない場合（Ｓ６の「No」）は、シーン変化点は未検出である旨の情報が出力される（Ｓ７）。
【００９９】
次に、オーバーラップして変化するオーバーラップシーンを検出するため、Nフレーム間のフレームアクティビティの変化が測定され、一様に値が増加または減少しているかどうかが検索される。具体的な処理は以下のとおりである。
【０１００】
シーン変化点の検出が終わると、フレームJ＝0〜N-1（Ｓ８）のL=J+1〜N-1（Ｓ９）においてオーバーラップシーンの検出が行われる。まず、FAct(J)とFAct(N)とが比較され（Ｓ１０）、下記式（１７）が満たされるかどうかが判定される。
【数１１】
2006311078.tif 000013
【０１０１】
判定の結果、式（１７）が満たされる場合は（Ｓ１０の「Yes」）、さらに下記式（１８）が満たされるかどうかが判定される（Ｓ１１）。
【数１２】
2006311078.tif 000014
【０１０２】
判定がN-1まで繰り返された結果（Ｓ１２、Ｓ１３）、式（１８）が満たされる場合（Ｓ１２の「Yes」）は、フェードインのオーバーラップ状態である可能性があると判断され、仮フェードイン状態であると判定される（Ｓ１４）。
【０１０３】
また、式（１７）が満たされなかった場合（Ｓ１０の「No」）は、下記式（１９）が満たされるかどうかが判定される（Ｓ１５）。
【数１３】
2006311078.tif 000015
【０１０４】
判定がN-1まで繰り返された結果（Ｓ１６、Ｓ１７）、式（１９）が満たされる場合（Ｓ１６の「Yes」）は、フェードアウトのオーバーラップ状態である可能性があると判断され、仮フェードアウト状態であると判定される（Ｓ１８）。
【０１０５】
上記の式（１８）が満たされなかった場合（Ｓ１１の「No」）、または式（１９）が満たされなかった場合（Ｓ１５「No」）は、フレームJ=1〜M（M＜N-1）までステップＳ９からステップＳ１８の処理が繰り返される（Ｓ１９、Ｓ２０の「No」）。フレームJ=N-1まで繰り返された結果、仮フェードイン状態または仮フェードアウト状態であると判定されなかった場合（Ｓ２０の「Yes」）は、オーバーラップシーンは検出されなかったと判断される（Ｓ２１）。
【０１０６】
ステップＳ１４で仮フェードイン状態であると判定された場合、またはステップＳ１８で借りフェードアウト状態であると判定された場合、同区間の輝度DC成分の推移が測定される。輝度DC成分に関しては、以下の処理により誤差γを考慮して判定が行われる。ここで誤差γとしては、N-Jフレーム間の輝度DC成分の差分値LDC(N)-LDC(J)の１０分の１程度が望ましい。
【０１０７】
処理は、L=J+1〜N-1まで繰り返される（Ｓ２２）。まず、LDC(J)とLDC(N)とが比較され（Ｓ２３）、下記式（２０）が満たされるかどうかが判定される。
【数１４】
2006311078.tif 000016
【０１０８】
判定の結果、式（２０）が満たされる場合は（Ｓ２３の「Yes」）、さらに下記式（２１）が満たされるかどうかが判定される（Ｓ２４）。
【数１５】
2006311078.tif 000017
【０１０９】
判定がN-1まで繰り返された結果（Ｓ２５、Ｓ２６）、式（２１）が満たされ（Ｓ２５の「Yes」）、且つステップＳ１４で仮フェードイン状態であると判定されている場合はフェードインのオーバーラップ状態であると判断され、フェードインが検出されたと判定される（Ｓ２７）。また、式（２１）が満たされ（Ｓ２５の「Yes」）、且つステップＳ１８で仮フェードアウト状態であると判定されている場合はフェードアウトのオーバーラップ状態であると判断され、フェードアウトが検出されたと判定される（Ｓ２８）。
【０１１０】
また、式（２０）が満たされなかった場合（Ｓ２３の「No」）は、下記式（２２）が満たされるかどうかが判定される（Ｓ２９）
【数１６】
2006311078.tif 000018
【０１１１】
この判定処理は、フレームL=J+1〜N-1の間繰り返される（Ｓ３０、Ｓ３１）。判定がN-1まで繰り返された結果、式（２２）が満たされ（Ｓ３０の「Yes」）、且つステップＳ１４で仮フェードイン状態であると判定されている場合はフェードインのオーバーラップ状態であると判断され、フェードインが検出されたと判定される（Ｓ２７）。また、式（２２）が満たされ（Ｓ３０の「Yes」）、且つステップＳ１８で仮フェードアウト状態であると判定されている場合はフェードアウトのオーバーラップ状態であると判断され、フェードアウトが検出されたと判定される（Ｓ２８）。
【０１１２】
上記の式（２１）が満たされなかった場合（Ｓ２４の「No」）、または式（２２）が満たされなかった場合（Ｓ２９「No」）は、オーバーラップシーンは検出されなかったと判断される（Ｓ２１）。
【０１１３】
シーン検出回路１０６では、上記の処理結果から、フレームJがシーン変換点が検出されたフレームであるかどうかを示すフラグ、オーバーラップシーンが検出されたフレームであるかどうかを示すフラグ、および、オーバーラップシーンが検出されたフレームにおいてアクティビティが上昇方向（フェードイン傾向）であるかまたは下降方向（フェードアウト傾向）であるかを示すフラグを含むシーン区切り情報が作成され、シーン分別回路１０７に送信される。また、同様にシーン検出回路１０６からシーン分別回路１０７に、画像特性情報も送信される。
【０１１４】
シーン分別回路１０７では、シーン検出回路１０６から受信したシーン区切り情報によってシーンの区切りが認識される。このとき、オーバーラップシーンが検出されたフレームであることを示すフラグが含まれているときは、フラグが消えたタイミングがシーンの区切りであり、その後は新しいシーンが開始されると認識される。
【０１１５】
またシーン分別回路１０７では、シーン検出回路１０６からフレーム毎の画像特性情報が受信され、ジャンル／キーワード検索回路１０３からジャンル情報ＩＤが受信される。この画像特性情報から、１つのシーンが続いている区間の平均値（以下、「シーン特性情報」と称する）が算出され、ジャンル／キーワード検索回路１０３から受信されたジャンル情報ＩＤと合わせられ、データベース管理回路１０８へ送信される。
【０１１６】
このシーン特性情報は、シーン開始後のフレーム数をＰとすると、下記式（２３）〜（２７）で算出される。
【数１７】
2006311078.tif 000019
【０１１７】
上記により算出されたシーン特性情報は、シーンが続いていると判断されている間は新しく入力されるフレームの画像特性情報によって補正されていき、シーンの区切りでリセットされる。
【０１１８】
一方、符号量制御回路２１９では、出力画像ビットストリームの符号量Bitusedと量子化スケールの平均値AvgQとからフレーム毎に算出される過去Mフレームの符号化難易度の平均値Complexが下記式（２８）で算出される。
【数１８】
2006311078.tif 000020
【０１１９】
また、同じく符号量制御回路２１９では、予測フレームに対する動きベクトル距離のフレーム総和SumMVの過去Mフレームの平均値AvgMVが下記式（２９）で算出される。
【数１９】
2006311078.tif 000021
【０１２０】
これら符号量制御回路２１９において、式（２８）または（２９）で算出されたComplexおよびAvgMVは、符号化結果情報としてデータベース管理回路１０８に送信される。
【０１２１】
データベース管理回路１０８では、シーン分別回路１０７から受信したシーン特性情報と符号化制御回路２１９から受信した符号化結果情報とを基に、符号化制御を行うための符号化制御パラメータ補正データがシーン情報データベース１０４から取得される。
【０１２２】
データベース管理回路１０８において、シーン情報データベース１０４からパラメータ補正値が取得されるときの動作について、図６を参照して説明する。図６はシーン情報データベース１０４からパラメータ補正値が取得されるときの動作を示すアルゴリズムのフローチャートであり、Rは変数である。
【０１２３】
まず、データベース管理回路１０８から、ジャンル情報ＩＤを基にシーン特性情報および符号化結果情報の区分けを行うための閾値が、シーン情報データベース１０４から読み出される。この閾値は、N種類に区分けを行う場合、(N-1)種類がジャンル情報ＩＤ毎にシーン情報データベース１０４に格納されている。またこの閾値は、シーン特性情報および符号化結果情報のAvgFAct、AvgLDC、AvgCBDC、AvgCRDC、AvgFDiff、Complex、AvgMVの７種類に対して作成されており、各々の情報が該当する閾値と比較され区分けが行われる。本実施形態においては、AvgCBDC、AvgCRDC、AvgMVに関しては２種類、AvgFAct、AvgLDC、AvgFDiff、Complexに関しては４種類に区分けが行われる。
【０１２４】
これらの値うち、最初にAvgFActに関する区分けが行われる。その動作は、まずデータベース管理回路１０８からシーン情報データベース１０４にアクセスされ、ジャンル情報ＩＤを基にAvgFActに関する３種類の閾値ε(R)(R=0〜2)が読み込まれる（Ｓ４１）。そして、R=0におけるAvgFActとε(R)の比較が行われる（Ｓ４２、S４３）。その結果、AvgFAct＜ε(R)の場合には（Ｓ４３の「Yes」）、「R」が出力される（Ｓ４４）。この処理がR=2となるまで繰り返し処理が行われ（Ｓ４５、Ｓ４６）、最終的にAvgFAct=ε(2)の場合には「3」が出力される（Ｓ４７）。
【０１２５】
このAvgFActに関する区分け処理と同様に、AvgLDC、AvgCBDC、AvgCRDC、AvgFDiff、Complex、AvgMVに関しても区分け処理が行われる（Ｓ４８〜Ｓ５３）。その結果、出力された値が束ねられ、計１１ビットの信号（以下、「シーン識別信号」と称する）が作成される（Ｓ５４）。
【０１２６】
このシーン識別信号とジャンル情報ＩＤとによって、符号化処理を制御するパラメータとしてシーン情報データベース１０４に格納されているテーブルのデータ（以下、「符号化制御パラメータ補正データ」と称する）がデータベース管理回路１０８で取得される（Ｓ５５）。この符号化制御パラメータ補正データの構成例を図７に示す。データベース管理回路１０８からシーン情報データベース１０４のこのテーブルがアクセスされることにより、動きベクトルの検出範囲を示すMVMax、参照フレームを挿入する間隔を指定する値を示すSyntaxM、目標符号長のフレームタイプ別の重み付け乗数を示すA(T)、ＶＢＲ符号化時の最大割当レートを示す値であるMaxRate、ＶＢＶバッファをどの程度充足度に向かって制御するかを示すパラメータであるTargetVBV、輝度信号用量子化マトリクス値であるQmatL、色差信号用量子化マトリクス値であるQmatCの符号化パラメータが取得される。
【０１２７】
上記の符号化パラメータの取得処理において、ジャンル情報として「スポーツ／サッカー」が選択されている場合について説明する。
【０１２８】
ジャンル情報として「スポーツ／サッカー」が選択されている場合には、検出されたシーン毎にシーン特性情報のAvgLDC、AvgCBDC、AvgCRDCに特徴付けられた芝生の認識が行われ、AvgFActの大小によって画面のズーム度合いが測定される。芝生が映されていると認識されていない状態でAvgFActが大きい場合には、観客席が映されていると認識される。
【０１２９】
芝生が映されていると認識されている場合には、番組での注目点は試合の選手の動きである。このとき遠景で映されている場合には、動きベクトルの検出範囲MVMaxを水平方向に大きく取るように設定されることにより画面上で小さい選手の移動が正確に捉えられる。また、近景で映されている場合には、瞬間的な早い動きに対応するように動きベクトルの検出範囲MVMaxは水平・垂直に同じように与えられ、MaxRate値が大きく、TargetVBV値が高く設定され、さらに参照フレームを挿入する間隔SyntaxMが短く設定されることにより予測効率が向上される。
【０１３０】
一方、観客席が映されていると認識された場合は、動きベクトルの検出範囲MVMaxは小さめに設定されるとともに、MaxRateが小さく設定され瞬間的に大きな符号量が与えられないようにされる。さらに、Ｉピクチャの割当が増やされ、高解像度の観客席において動きのスムーズさよりもブロックノイズ等の符号化ノイズが出現しにくいように制御される。
【０１３１】
シーン特性情報において、上記と同じように芝生が映されていると認識された場合でも、例えばキーワード情報として「音楽／ライブ」が選択されておりAvgFActが高い場合には、上記の観客席の場合と同じ制御が行われる。このとき、観客席の重要度は低いため、高域の輝度信号用量子化マトリクス値QmatL、および色差信号用量子化マトリクス値QmatCで制御され、粗い量子化処理が許可される。
【０１３２】
このような符号化制御パラメータ補正データが、シーン識別信号の特徴ある推移から予測できる多種のシーンに対して設定されシーン情報データベースに格納されている。
【０１３３】
また、シーンが変化することによりシーン変化点が検出されると（Ｓ５６）、シーン変化前の最後のジャンル情報ＩＤとシーン識別信号で管理されているデータの出現頻度回数Timesを１増加するためのデータがシーン情報データベース１０４に送信され、記録される（Ｓ５７、Ｓ５８）。
【０１３４】
次に、符号化制御パラメータ補正データは、シーン区切り情報とともにデータベース管理回路１０８から符号化制御パラメータ補正回路１０９に送信される。符号化制御パラメータ補正回路１０９では、現在制御されている符号化パラメータと受信した符号化制御パラメータ補正データとが比較される。比較された結果、異なると判断された場合には必要な処理モジュールに対する制御信号が作成され、符号化シンタックス制御回路１１０に送信される。具体的には、シーンが変化した際には符号化パラメータの変化による制御信号が符号化シンタックス制御回路１１０に送信されるが、シーンの変化がなく符号化パラメータが大きく変動しない場合には制御信号は送信されない。本実施形態においては、符号化パラメータのうち１つしか変動していない場合は制御信号は送信されない。
【０１３５】
符号化シンタックス制御回路１１０において、受信された制御信号が対応する処理モジュールに送信される。具体的には、MVMaxに関しては動きベクトル検出回路２１７に、SyntaxMは符号化回路２０７、動きベクトル検出回路２１７、動き補償予測回路２１８、および符号量制御回路２１９に、A(T)、MaxRate、およびTargetVBVに関しては符号量制御回路２１９に、QmatL、QmatCに関しては量子化回路２０６、符号化回路２０７、逆量子化回路２１２に送信され、制御が行われる。
【０１３６】
このように本実施形態によれば、符号化制御パラメータ補正データがシーン識別信号の特徴ある推移から予測できる多種のシーンに対して設定されているためシーンが切り替わったときに好適な符号化制御に切り替えることが可能になり、従来は困難であったシーンごとに適応したダイナミックな制御が実現可能である。
【０１３７】
以上は番組情報取得回路１０２においてＥＰＧ情報が取得できた場合についての高能率符号化記録装置１０の動作について説明したが、次にＥＰＧ情報が取得できなかった場合について説明する。
【０１３８】
符号化対象となるデジタル画像データがＴＶ番組ではなくチューナー以外から入力された場合などは、ＥＰＧ情報から作成されるジャンル情報およびキーワード情報の取得が不可能である。このような場合には、ジャンル情報の予測処理が行われる。
【０１３９】
ジャンル情報の予測処理について図８を参照して説明する。図８は、ジャンル情報の予測処理の動作のアルゴリズムを示すフローチャートであり、Hは変数である。
【０１４０】
まず、ジャンル／キーワード検索回路１０３では、番組情報取得回路１０２からＥＰＧ情報に含まれる情報が取得されなかったときはジャンル予測回路１１１に対して情報が取得できなかったことを知らせるジャンル情報未取得フラグが送信される。
【０１４１】
ジャンル予測回路１１１では、シーン検出回路１０６にシーン区切り情報が存在する場合はシーン検出回路１０６からシーン区切り情報が受信される（Ｓ６１）。このとき、ジャンル予測回路１１１にジャンル情報未取得フラグが存在している場合は（Ｓ６２の「Yes」）、ジャンル予測回路１１１からデータベース管理回路１０８に対してジャンル取得要求が送信される（Ｓ６３）。
【０１４２】
データベース管理回路１０８では、シーン分別回路１０７から取得したシーン特性情報により全てのジャンルにおけるシーン識別信号が生成される。そして、生成されたそれぞれのシーン識別信号に属する各ジャンル情報ＩＤの出現頻度が取得される（Ｓ６４、Ｓ６５、Ｓ６６）。次に取得されたジャンル情報ＩＤの出現頻度が比較され（Ｓ６７）、最も多く検出されたジャンル情報ＩＤとその出現頻度がジャンル予測回路１１１に送信される（Ｓ６８、Ｓ６５の「Yes」）。
【０１４３】
ジャンル予測回路１１１では、受信した出現頻度がΛ以上であった場合（Ｓ６９）にそのジャンル情報ＩＤが有効であると判断され、このジャンル情報ＩＤが予測ジャンル情報としてシーン分別回路１０７に送信される（Ｓ７０）。
【０１４４】
シーン分別回路１０７において受信された予測ジャンル情報はデータベース管理回路１０８に送信され、この予測ジャンル情報によって符号化制御パラメータが補正される。
【０１４５】
このように本実施形態によれば、ジャンル情報ＩＤの出現頻度が比較されることによって、ＥＰＧ情報の取得が不可能であっても、該当するシーン識別信号に属するジャンルの出現確率からジャンルの予測を行うことが可能であるとともに、ユーザのジャンル嗜好が選択判断に加えられ、有効な予測制御が可能になる。
【０１４６】
本実施形態においては、シーン変化点の検出処理をフレームアクティビティおよびフレーム輝度DC成分のみで行っているが、フレーム色差DC成分を使用しても処理を行うことができる。
【０１４７】
また、本実施形態においては、シーン毎の画像特性情報の平均値をシーン特性情報として算出したが、この算出方法には限定されず、シーン内の画像特性情報のヒストグラムを取ってその代表値をシーン特性情報として算出してもよい。
【０１４８】
また、本実施形態においては、７種類の符号化パラメータを使用したが、大きな特徴のあるシーンでは少ない符号化パラメータでも識別できるため、符号化時に考慮したいシーンに特化した形で識別するための符号化パラメータを管理することも可能である。その場合には、必要な符号化制御が実現される状態で、データベースに蓄積されるデータ量を削減することができる。またそれに伴い、算出する画像特性情報およびシーン特性情報の種類も削減することができる。
【０１４９】
また、本実施形態においては、高能率符号化記録装置として回路構成のブロック図を用いて説明したが、これらの回路は同じ処理アルゴリズムを用いてコンピュータ等のソフトウェア上で処理される場合にも同様の効果が得られる。
【０１５０】
また、本実施形態においてはＭＰＥＧ２規格の符号化装置について説明したが、同様に画像信号の隣接画素間（空間方向）の相関および、隣接フレーム間もしくは隣接フィールド間（時間方向）の相関を利用して情報量を圧縮するＭＰＥＧ４  ＡＳＰや、ＭＰＥＧ４  ＡＶＣを用いた符号化記録装置においても適用可能であり、同様の効果が得られる。ＭＰＥＧ４  ＡＶＣの場合には、量子化の細かさを輝度信号と色差信号とで異なる設定で符号化することができるため、符号化パラメータとして輝度信号と色差信号の量子化の比率を制御する値を用意することにより効果的な制御をすることが可能になる。
【図面の簡単な説明】
【０１５１】
【図１】本発明の第１実施形態における高能率符号化記録装置を示すブロック図である。
【図２】本発明の第１実施形態における高能率符号化記録装置で利用するＥＰＧ情報として伝送される番組情報の表示例を示す説明図である。
【図３】本発明の第１実施形態における高能率符号化記録装置で利用するキーワード情報のデータ構成例を示す説明図である。
【図４】本発明の第１実施形態における高能率符号化記録装置で算出されるアクティビティの領域と対象となる画素の関係を示す説明図である。
【図５】本発明の第１実施形態における高能率符号化記録装置においてシーン変化点が検出される動作のアルゴリズムを示すフローチャートである。
【図６】本発明の第１実施形態における高能率符号化記録装置において符号化制御パラメータ補正データが取得される動作のアルゴリズムを示すフローチャートである。
【図７】本発明の第１実施形態における高能率符号化記録装置のシーン情報データベースに格納されている符号化制御パラメータ補正データのテーブル内容を示す説明図である。
【図８】本発明の第１実施形態における高能率符号化記録装置において予測ジャンル情報が取得される動作のアルゴリズムを示すフローチャートである。
【図９】従来のＭＰＥＧ２画像符号化で用いられる符号化体系を示す模式図である。
【図１０】従来のＭＰＥＧ２画像符号化で用いられる符号化時の符号化順への並べ替えのタイミングを示す模式図である。
【図１１】従来のＭＰＥＧ２画像符号化で用いられる復号時のストリーム到達順から復号画像出力順への並べ替えのタイミングを示す模式図である。
【図１２】従来のＭＰＥＧ２画像符号化記録装置を示すブロック図である。
【符号の説明】
【０１５２】
１０…高能率符号化記録装置
２０…画像符号化記録装置
１０１…ＥＰＧ情報入力端子
１０２…番組情報取得回路
１０３…ジャンル／キーワード検索回路
１０４…シーン情報データベース
１０５…画像特性算出回路
１０６…シーン検出回路
１０７…シーン分別回路
１０８…データベース管理回路
１０９…符号化制御パラメータ補正回路
１１０…符号化シンタックス制御回路
１１１…ジャンル予測回路
２０１…対象画像入力端子
２０２…入力画像メモリ
２０３…２次元ブロックデータ変換回路
２０４…減算器
２０５…直交変換回路
２０６…量子化回路
２０７…符号化回路
２０８…符号化テーブル
２０９…マルチプレクサ
２１０…画像ビットストリームバッファ
２１１…記録媒体もしくは伝送路
２１２…逆量子化回路
２１３…逆直交変換回路
２１４…加算器
２１５…デブロック回路
２１６…参照画像メモリ
２１７…動きベクトル検出回路
２１８…補償予測回路
２１９…符号量制御回路
【図１】
2006311078.tif 000022
【図２】
2006311078.tif 000023
【図３】
2006311078.tif 000024
【図４】
2006311078.tif 000025
【図５】
2006311078.tif 000026
【図６】
2006311078.tif 000027
【図７】
2006311078.tif 000028
【図８】
2006311078.tif 000029
【図９】
2006311078.tif 000030
【図１０】
2006311078.tif 000031
【図１１】
2006311078.tif 000032
【図１２】
2006311078.tif 000033