(57)【要約】【課題】記録媒体に記録を開始する前の圧縮符号化処理量を更に削減する。【解決手段】記録媒体１０６への記録を開始する前は、データフォーマット部２０３で符号化モードを符号化効率で制御しないモニタモードに設定し（ステップ４０）、モニタモードに設定されたデータフォーマット部２０３が予測符号化部２０２ヘ「フレーム内予測符号化モードに固定」にするよう制御信号を送り（ステップ５０）、符号化ブロックごとにフレーム内予測方向を固定する（ステップ６０）。【選択図】図４
2007228096.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号を、フレーム内で複数の予測方向のうちのいずれか１つの予測方向を選択して符号化するフレーム内予測符号化手段と、
前記動画像信号をフレーム間予測符号化するフレーム間予測符号化手段と、
前記フレーム内予測符号化手段又は前記フレーム間予測符号化手段により符号化されたデータをフレームごとに選択する選択手段と、
前記選択手段により選択されたデータを記録媒体に記録する記録手段を備えたデジタル動画像記録装置において、
前記記録手段が前記記録媒体に記録を開始するまで、前記選択手段が前記フレーム内予測符号化手段により符号化されたデータを選択するとともに前記予測方向を固定する手段を、
備えたことを特徴とするデジタル動画像記録装置。
【請求項２】
動画像信号を、フレーム内で複数の予測方向のうちのいずれか１つの予測方向を選択して符号化するフレーム内予測符号化ステップと、
前記動画像信号をフレーム間予測符号化するフレーム間予測符号化ステップと、
前記フレーム内予測符号化ステップ又は前記フレーム間予測符号化ステップにより符号化されたデータをフレームごとに選択する選択ステップと、
前記選択ステップにより選択されたデータを記録媒体に記録する記録ステップを備えたデジタル動画像記録方法において、
前記記録ステップが前記記録媒体に記録を開始するまで、前記選択ステップが前記フレーム内予測符号化ステップにより符号化されたデータを選択するとともに前記予測方向を固定するステップを、
備えたことを特徴とするデジタル動画像記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号をフレームごとにフレーム内予測符号化方式又はフレーム間予測符号化方式で選択的に符号化して記録媒体に記録するデジタル動画像記録装置及びデジタル動画像記録方法に関する。
【背景技術】
【０００２】
デジタル信号処理の技術、ＬＳＩ技術の進歩により、動画像、静止画像、音声などの大量の情報を圧縮符号化し、磁気記録媒体、光記録媒体、半導体記録媒体へ記録再生することが可能になっている。このような技術を用いて、簡単に映像を撮影し、記録する撮像装置や、アナログ放送を記録するデジタルディスクレコーダなどの映像記録装置の開発が行われている。
【０００３】
動画像符号化方式の代表的な例としてはＭＰＥＧ方式が広く使われている。図５はＭＰＥＧ技術を用いた従来のデジタル動画像記録装置の例を示し、図６はその符号化データを示す。カメラなどの映像入力部１０１から動画像データがＭＰＥＧ符号化部３０１に供給される。ＭＰＥＧ符号化部３０１では、図６に示すように、通常、１つのフレーム内の空間的相関を用いて符号化するフレーム内符号化方式のＩピクチャ３１１と、時間的に前のフレームとの相関を用いて符号化するＰピクチャ３１２と、前後のフレーム間の相関を用いて符号化するフレーム間符号化方式のＢピクチャ３１２が用いられる。ＭＰＥＧ符号化部３０１で符号化された映像は記録部１０３に供給され、記録媒体１０６に保存される。また、この映像記録装置において、ＭＰＥＧ符号化部３０１で符号化された符号化ストリームをイーサネット（登録商標）、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４などのインターフェースのフォーマットに合うように符号化ストリーム出力部１０７で処理し、符号化ストリーム出力端子１０８から外部（図５ではテレビ）に出力する。
【０００４】
次に、ＩＴＵ−ＴとＩＳＯ ＭＰＥＧが共同で検討を進めてきた動画像符号化方式であるＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下、ＪＶＴと記す）のテストモデルなどで利用されているフレーム予測モード選択法について説明する。ＪＶＴでは、ブロック間の画素相関を利用して圧縮率を向上させるため、フレ−ム内予測符号化を行う。予測するブロックの単位は４×４画素又は１６×１６画素である。複雑な画像は、４×４画素の小さなブロック単位で予測し、平坦な画像は１６×１６画素の大きなマクロブロック（ＭＢ）単位で予測することで、効率よく予測できる。
【０００５】
フレーム内予測には数多くのモードが存在し、通常、所定の方法（後述）を用いて、符号量が発生しないモードを選択する。このフレーム内予測のモード選択が符号化処理量を大きく左右する。次に、Ｉ、Ｐ、Ｂピクチャの符号化処理量について説明する。Ｉピクチャの主な処理はフレーム内予測符号化であり、Ｐピクチャの主な処理はＩピクチャの処理に加えて１つの参照画像からの予測画像の推定、画像ブロックごとの予測モード決定のための演算を行うことであり、Ｂピクチャの主な処理はＰピクチャの処理に加えて更に１つの参照画像からの予測画像の推定、画像ブロックごとの予測モード決定のための演算を行うことである。
【０００６】
動画像フレーム内予測（以下、イントラ予測と記す）において、符号化効率を落とさずにいかに高速にこのモードを求めるかが重要となる。イントラ予測モード選択法には、下記の非特許文献１に記されている方法（以下、Rate-Distortion 最適法と呼ぶ）及び下記の非特許文献２に記されている方法（以下、エッジ（Edge）成分に基づく方法と呼ぶ）がある。非特許文献１に記されているRate-Djstortion最適法は、各マクロブロックにおける符号化モードや動ベクトルなどを符号化効率の観点で最適な形で選択するための方法である。
【０００７】
ここでは、イントラ４×４モードについて簡単に説明する。従来のビデオ符号化標準では、イントラ予測は変換係数領域で行われていたのに対して、ＪＶＴでは、既に符号化された左隣又は上隣ブロックの近傍の画素値から空間領域で行われる。すなわち、イントラ予測される４×４画素のブロックが図７の画素ａ〜ｐであるとすると、この４×４画素のブロックは、既に符号化された左隣又は上隣のブロック近傍の画素値Ａ〜Ｌから予測される。この予測には、画素値Ａ〜Ｌの平均値を用いる予測（ＤＣ予測）と、図８に示されている８方向から予測されるものの合計で９（＝１＋８）つの予測モードがある。図９の０（vertical）〜２（ＤＣ予測）〜８（horizontal-up）は予測モードを示す。
【０００８】
次に、前記９つの各符号化モード及び各動ベクトルに対し、符号化の実施に必要となるビットＲとその際の歪みＤ（あるいはそれらを模擬したもの）に対してラグランジェ乗数λを用いて線形結合させ、これらが最小になるケースを選択する。すなわち、評価関数Ｊ＝Ｄ＋λＲを最小とするモードを選択する。この Rate-Distortion 最適法によれば、最良の符号化効率が得られることが知られている。なお、この評価関数Ｊの値を求めるためには、符号化の実施に必要となるビットＲとその際の歪みＤを求めなければならないので、各モードに対して、予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、量子化誤差計算が必要になる。
【０００９】
次に、非特許文献２に記されているエッジ成分に基づく方法は、最適なイントラ予測モードの予測方向が当該ブロックのエッジ方向にほぼ一致するとの考えに基づく方法である。まず、画面全体の各画素に Sobel オペレータを適用したエッジマップと呼ばれるものを作成する。これは、各画素に水平・垂直方向にそれぞれ適用されて得られたSobel オペレータ値（Ｄｘ，Ｄｙ）に対し、Ａ＝｜Ｄｘ｜＋｜Ｄｙ｜、θ＝ arctan（Ｄｘ／Ｄｙ）とすることにより得られる。その後、イントラ予測方向の候補数Ｘ（ＤＣ予測は除く）に基づき、全角度をＸ個に分け、θが属するクラスのヒストグラムとしてＡを追加する。この処理を、着目するブロック内の各画素に対して行い、最終的に最もヒストグラムが大きくなるクラスを、当該ブロックの予測方向として取り扱う。なお、イントラ４×４モードの場合は、その両近傍の方向も候補として扱う。最後に、上記で候補となったモード（イントラ４×４の場合は３つ、その他は１つ）とＤＣ予測モードのすべてに対し、Rate-Distortion 最適法を適用する。すなわち、評価関数Ｊ＝Ｄ＋λＲの計算を行い、それが最小になる予測モードを選択する。なお、両近傍の方向を候補として取り扱わない場合には、符号化効率が低下することが下記の非特許文献２に記載されている。
【００１０】
このような映像記録装置において、符号化ストリーム出力端子１０８から符号化された映像を含む符号化ストリームを送信している最中に、記録媒体１０６ヘの記録開始が指示された場合、例えば図６における記録開始時刻Ｔ、すなわち符号化ピクチャグループＧ０４内のピクチャ３１２に相当するタイミングで記録開始が指示された場合を考える。このとき図５のＭＰＥＧ符号化部３０１の符号化処理量は記録開始時刻Ｔの前後で全く変化することはない。
【００１１】
ところで、下記の特許文献１には、符号化画像信号の送信中に記録媒体への記録を開始した場合に再生画像の欠落を防ぐために、記録開始前におけるＩピクチャの割合を記録開始後よりも多くすることで、再生時に欠落するＰピクチャあるいはＢピクチャを削減することが開示されている。この場合、記録開始前にはＩピクチャの枚数が増えるため、符号化処理量は、図１０に示すようにＩ＜Ｐ＜Ｂであるので、記録開始後と比較して小さくなる。
【特許文献１】特開２００４−１９４１７３公報（要約書）
【非特許文献１】Gary S., Thomas W, and Keng-Pang L．“Joint Model Reference Encoding Methods and Decoding Concealment Methods"；JVT-lOO49dO，Sept、2003.
【非特許文献２】Feng P, et al，”Fast Mode Decision for Intra Prediction," JVT-GO13, Mar. 2003.
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の Rate-Distortion 最適法は、評価関数Ｊ＝Ｄ＋λＲを最小とする予測モードを選択するために、９つの各モードに対して、予測誤差の計算、変換、量子化、ビット数計算、逆量子化、逆変換、量子化誤差計算を行い、符号化の実施に必要となるビットＲとその際の歪みＤを求めなければならないので、演算量が大きく、多くの時間を要するという問題がある。また、記録媒体に記録を開始する前に不必要なＣＰＵ（中央演算処理装置）などでの処理が行なわれて、無駄に電力を消費することも問題であった。また、特許文献１では、動画像信号をフレーム内で複数の予測方向から最適な予測方向を選択して符号化するＨ．２６４／ＭＰＥＧ−４  ＡＶＣ方式のフレーム内予測符号化を考慮していないので、処理量をそれほど削減することができないという問題がある。
【００１３】
本発明は上記従来技術の問題点に鑑み、記録媒体に記録を開始する前の圧縮符号化処理量を更に削減することができるデジタル動画像記録装置及びデジタル動画像記録方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上記目的を達成するために、動画像信号を、フレーム内で複数の予測方向のうちのいずれか１つの予測方向を選択して符号化するフレーム内予測符号化手段と、
前記動画像信号をフレーム間予測符号化するフレーム間予測符号化手段と、
前記フレーム内予測符号化手段又は前記フレーム間予測符号化手段により符号化されたデータをフレームごとに選択する選択手段と、
前記選択手段により選択されたデータを記録媒体に記録する記録手段を備えたデジタル動画像記録装置において、
前記記録手段が前記記録媒体に記録を開始するまで、前記選択手段が前記フレーム内予測符号化手段により符号化されたデータを選択するとともに前記予測方向を固定する手段を、
備えたことを特徴とする。
【００１５】
また、本発明は上記目的を達成するために、動画像信号を、フレーム内で複数の予測方向のうちのいずれか１つの予測方向を選択して符号化するフレーム内予測符号化ステップと、
前記動画像信号をフレーム間予測符号化するフレーム間予測符号化ステップと、
前記フレーム内予測符号化ステップ又は前記フレーム間予測符号化ステップにより符号化されたデータをフレームごとに選択する選択ステップと、
前記選択ステップにより選択されたデータを記録媒体に記録する記録ステップを備えたデジタル動画像記録方法において、
前記記録ステップが前記記録媒体に記録を開始するまで、前記選択ステップが前記フレーム内予測符号化ステップにより符号化されたデータを選択するとともに前記予測方向を固定するステップを、
備えたことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、記録媒体に記録を開始するまで符号化方式をフレーム内予測符号化方式に固定するとともに、フレーム内の予測方向を固定するので、記録媒体に記録を開始する前の符号化処理量を更に削減することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係るデジタル動画像記録装置の一実施の形態を示すブロック図、図２は図１の予測符号化部を詳しく示すブロック図、図３は図２のフレーム内予測符号化部を詳しく示すブロック図、図４は図１のデジタル動画像記録装置の処理を説明するためのフローチャートである。
【００１８】
映像入力部１０１は被写体を撮像し映像信号をＭＰＥＧ符号化部１０２に供給する。ＭＰＥＧ符号化部１０２は、供給される映像信号をＨ．２６４／ＭＰＥＧ−４  ＡＶＣ方式で符号化し、符号化ストリーム出力部１０７及び記録部１０３に供給する。ＭＰＥＧ符号化部１０２の内部は、画素ブロック分割部２０１、予測符号化部２０２、データフォーマット部２０３によって構成される。映像入力部１０１から供給される映像信号は画素ブロック分割部２０１を介して予測符号化部２０２に供給される。予測符号化部２０２は図２に詳しく示すように、フレーム内予測符号化部２０５とフレーム間予測符号化部２０４で構成され、フレーム間予測符号化部２０４は両方向予測符号化部２０４−１と、前方向予測符号化部２０４−２と後方向予測符号化部２０４−３により構成されている。画素ブロック分割部２０１の出力は、切替手段（スイッチ）Ｓにより、両方向予測符号化部２０４−１と前方向予測符号化部２０４−２、後方向予測符号化部２０４−３、フレーム内予測符号化部２０５に対して、データフォーマット部２０３からの切替制御信号によって択一して供給される。
【００１９】
フレーム内予測符号化部２０５の詳細を図３に示す。フレーム内予測符号化部２０５では、図９に示すように４×４画素における９個の予測モード（Intra ４×４）の他に、１６×１６画素における垂直予測モード、水平予測モード、平均値予測モード、平面予測モードの４つ（Intra １６×１６）があり、合計１３の予測モードがある。フレーム内予測符号化部２０５では、映像信号の同一フレーム内の相関を用いて符号化し（Ｉピクチャ）、フレーム間予測符号化部２０４では映像信号の前後のフレーム間相関を用いて符号化する（Ｐ、Ｂピクチャ）。
【００２０】
記録開始前は、予測符号化部２０２において符号化方法の選択は行われず、フレーム内予測符号化のみを行い、その際、図３（及び図９）に示す予測モードも固定される。フレーム内予測符号化部２０５によって符号化された映像信号はデータフォーマット部２０３に供給される。また、操作部１０５により記録が開始された後は、データフォーマット部２０３を介して制御部１０４からのフレーム内予測符号化部２０５とフレーム間予測符号化部２０４が出力する符号化映像信号のいずれか一方を選択する制御信号に従い、予測符号化部２０２に切り替え信号を供給し、フレーム内予測符号化部２０５とフレーム間予測符号化部２０４が出力する符号化映像信号のいずれか一方を選択する。選択された符号化映像信号は、データフォーマット部２０３に供給される。データフォーマット部２０３は供給された所定数のブロックの符号化映像信号をまとめて１つのピクチャ、又はピクチャグループを構成し、符号化ストリーム出力部１０７及び記録部１０３ヘ供給する。
【００２１】
符号化ストリーム出力部１０７はデータフォーマット部２０３から供給される符号化された映像信号を伝送路に適した形態に変換し、符号化ストリーム出力端子１０８を介して外部機器、例えばテレビモニタやコンピュータなどへ出力する。符号化ストリーム出力部１０７は符号化ストリーム出力端子１０８に対応したインターフェース回路を有しており、所定のプロトコルに従って符号化映像信号を出力する。符号化ストリーム出力端子１０８としては、ＩＥＥＥ１３９４端子、ＵＳＢ端子など、符号化ストリーム信号を出力可能な任意の端子が利用できる。
【００２２】
制御部１０４は、例えばＣＰＵとＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を含み、ＲＯＭ又は光ディスクや半導体メモリなど記録媒体に記憶されたプログラムを実行することにより、デジタル動画像記録装置全体の制御を行う。以下に説明する本発明に特徴的な記録開始時のフレーム内符号化、フレーム間符号化などの予測モードの選択処理も制御部１０４がプログラムを実行し、必要な各部を制御することによって実現される。もちろん、処理の一部又は全部をハードウエアによって処理するように構成することも可能である。
【００２３】
記録部１０３は符号化ストリームを所定の記録方式に従って変調させ、記録媒体１０６に記録する。記録媒体１０６には磁気記録媒体や光記録媒体など、任意の記録媒体が利用可能である。例えば本実施の形態では、磁気テープや光ディスク、ハードディスクドライブ、半導体メモリなどの記録媒体を用いる。
【００２４】
本発明では、記録媒体１０６への記録開始前後でピクチャタイプ（Ｉ、Ｐ、Ｂピクチャ）を変化させることなく、ブロックごとの符号化モードを制御する。この手順を図４を用いて説明する。最初にデジタル動画像記録装置の電源をＯＮ（オン）（ステップ１０）にし、各種設定の初期化を行う（ステップ２０）。次にステップ２５において記録開始されなければステップ４０以下に進む。記録が開始されて、記録媒体１０６へ記録中なら処理ステップ７０ヘ、記録中でない場合はステップ４０の処理となる（ステップ３０）。ステップ４０ではデータフォーマット部２０３で符号化モードを符号化効率で制御しないモニタモードに設定する。モニタモードに設定されたデータフォーマット部２０３が予測符号化部２０２ヘ「フレーム内予測符号化モードに固定」にするよう制御信号を送る（ステップ５０）。さらに、予測符号化部２０２ヘ制御信号が送られた場合は、符号化ブロックごとにフレーム内予測方向を固定する（ステップ６０）。フレーム内の最後の符号化ブロックの処理が終わるまで、ステップ４０、ステップ５０、ステップ６０、ステップ１００を繰り返す。
【００２５】
一方、ステップ７０ではデータフォーマット部２０３を記録モードに設定し、符号化効率が最大になるように設定する。ステップ８０では符号化ブロックに応じて符号化効率のよい符号化モードを大量の演算を行って適宜選択する。さらに、ステップ９０では符号化ブロックごとに適切な予測方向を選択し、設定する。この処理を符号化ブロックがフレーム内で最後の処理が終わるまで、ステップ７０、ステップ８０、ステップ９０、ステップ１００を繰り返す。フレーム内の符号化ブロックの処理がすべて完了したら（ステップ１００）、記録が停止されているか確認する（ステップ１１０）。記録が停止されているならステップ２５ヘ、記録が続行しているならステップ３０ヘ処理が移る。
【００２６】
以上説明したように、符号化ストリームを所定のフォーマットで記録媒体１０６へ記録開始する前は符号化モードと予測方向を固定にし、記録媒体１０６への記録が開始されたら符号化モードと予測方向を適宜選択するようにする。
【図面の簡単な説明】
【００２７】
【図１】本発明に係るデジタル動画像記録装置の一実施の形態を示すブロック図である。
【図２】図１の予測符号化部を詳しく示すブロック図である。
【図３】図２のフレーム内予測符号化部を詳しく示すブロック図である。
【図４】図１のデジタル動画像記録装置の処理を説明するためのフローチャートである。
【図５】従来のデジタル動画像記録装置を示すブロック図である。
【図６】図５に示したデジタル動画像記録装置の符号化データを示す説明図である。
【図７】フレーム内予測符号化を示す説明図である。
【図８】フレーム内の予測方向を示す説明図である。
【図９】フレーム内の予測方向を示す説明図である。
【図１０】Ｉ、Ｐ、Ｂピクチャの符号化処理量の割合を示す説明図である。
【符号の説明】
【００２８】
１０１  映像入力部
１０２  ＭＰＥＧ符号化部
１０３  記録部
１０４  制御部
１０５  操作部
１０６  記録媒体
１０７  符号化ストリーム出力部
１０８  符号化ストリーム出力端子
２０１  画素ブロック分割部
２０２  予測符号化部
２０３  データフォーマット部
２０４  フレーム間予測符号化部
２０５  フレーム内予測符号化部
【図１】
2007228096.tif 000003
【図２】
2007228096.tif 000004
【図３】
2007228096.tif 000005
【図４】
2007228096.tif 000006
【図５】
2007228096.tif 000007
【図６】
2007228096.tif 000008
【図７】
2007228096.tif 000009
【図８】
2007228096.tif 000010
【図９】
2007228096.tif 000011
【図１０】
2007228096.tif 000012