(57)【要約】【課題】  符号化のリアルタイム性を確保しつつ、全体の符号化効率又は符号化品質を改善する。【解決手段】  入力画像保持部（１０）は、入力動画像を数フレーム分、保持する。フレーム選択部（１２）は、通常は、入力画像保持部（１０）から順番にフレーム画像を読み出し，符号化部に供給するが、符号化制御部（１６）から指定されたフレーム画像を繰り返し符号化部（１４）に供給する。符号化部（１４）は、符号化制御部（１６）の制御下で、フレーム選択部１２からのフレーム画像を１パスで符号化する。符号化部（１４）は、処理能力の余裕の範囲で、Ｉピクチャ及びＰピクチャにこの順番で優先的に２パス符号化を実行する。【選択図】  図１
2010103666.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像を複数フレーム分保持する入力画像保持部と、
１パス符号化及び２パス符号化を選択できる、画像を符号化する符号化部と、
前記入力画像保持部で保持されるフレームを選択して前記符号化部に供給するフレーム選択部と、
前記符号化部に符号化パラメータを設定し、前記フレーム選択部および前記符号化部を制御する符号化制御部と、
繰り返し符号化の必要性を判断する判断部
とを有し、
前記符号化制御部は、前記判断部からの前記繰り返し符号化の必要性を示す通知に応じて、前記符号化部にＩピクチャ及びＰピクチャにこの順番で優先的に２パス符号化を実行させる
ことを特徴とする画像符号化装置。
【請求項２】
前記判断部は、前記符号化制御部が直前に設定した目標符号量と、その符号化結果より求められる発生符号量を比較し、その差分値に従い前記繰り返し符号化の必要性を判断することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記判断部は、符号化結果のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）値が、所定の閾値を下回っている場合に、前記繰り返し符号化の必要性を判断することを特徴とする請求項１に記載の画像符号化装置。
【請求項４】
符号化制御部は、前記入力動画像の単位時間あたりのフレーム数と、前記符号化部の符号化可能な単位時間あたりのフレーム数の差分から、単位時間あたりの繰り返し符号化可能なフレーム数を算出し、単位時間あたりに前記繰り返し符号化を行うフレーム数が、算出された単位時間あたりの繰り返し符号化可能なフレーム数を超えないように、前記符号化部を制御することを特徴とする請求項１に記載の画像符号化装置。
【請求項５】
前記単位時間は、１ＧＯＰ期間であることを特徴とする請求項４に記載の画像符号化装置。
【請求項６】
前記符号化制御部は、ＩピクチャおよびＰピクチャに対して前記繰り返し符号化を行うように前記符号化部を制御することを特徴とする請求項１乃至５の何れか１項に記載の画像符号化装置。
【請求項７】
前記符号化制御部は、Ｐピクチャの符号化に対して、単位時間あたりに同一のフレームに対して繰り返し符号化を行ったフレーム数が前記繰り返し可能なフレーム数に達している場合、発生符号量を削減するように前記符号化部の符号化パラメータを設定することを特徴とする請求項６に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮符号化する画像符号化装置に関する。
【背景技術】
【０００２】
記録媒体にディスク媒体を用いたビデオカメラが製品化されている。ディスク媒体を使用するビデオカメラは、ＭＰＥＧやＨ．２６４のような圧縮符号化方式で動画像を圧縮符号化する符号化装置を具備し、所定形式のビデオストリームとして圧縮データを記録媒体に記録する。
【０００３】
通常、ビデオカメラは、テレビモニタと同じフレームレート（ＮＴＳＣの場合、６０フィールド／秒（６０Ｉ）、ＰＡＬの場合で５０フィールド／秒（５０Ｉ））で動画像を記録する。最近では、映画と同じフレームレートである２４フレーム／秒（２４Ｐ）や他のフレームレートで動画像を記録するニーズが高まっており、様々なフレームレートで動画像を記録可能なビデオカメラも登場している。
【０００４】
図６は、従来のビデオカメラに組み込まれる符号化装置の概略構成ブロック図を示す。図６を用いて従来のビデオカメラにおける符号化処理を簡単に説明する。
【０００５】
入力画像保持部１１０は、入力された動画像を１フレーム分だけ、記憶し、次のフレームの入力により逐次、更新される。
【０００６】
フレーム選択部１１２は、動画像が入力される場合、入力された動画像を選択して符号化部１１４に供給し、動画像が入力されない場合、入力画像保持部１１０が保持するフレームを符号化部１１４に供給する。
【０００７】
符号化部１１４は、フレーム選択部１１２から入力されたフレーム画像データをＭＰＥＧなどの周知の動画圧縮符号化方法により圧縮符号化し、符号化データからなるストリームデータをストリームバッファ１２０に出力する。符号化部１１４は処理時間に余裕がある場合、入力画像保持部１１０に保持されたフレーム画像データを用いて、２パス符号化を実行できる。２パス符号化を行うかどうかは、符号化制御部１１６より指示される。２パス符号化の場合、符号化部１１４は、１パス目と２パス目の符号化結果を比較し、符号化効率又は符号化品質の観点で良い方の符号化データを含むストリームデータを出力する。
【０００８】
符号化制御部１１６は、符号化部１１４の符号化結果（又は中間結果）を受け取り、目標符号量や量子化ステップ幅等の符号化パラメータを符号化部１１４に設定する。フレーム選択部１１２は動画像が入力されていないとき、その旨を符号化制御部１１６に通知する。符号化制御部１１６は、この通知に従い、符号化部１１４に２パス目の符号化パラメータを設定する。
【０００９】
図７は、動画像の１フレームの画像データに対する従来例の符号化処理のフローチャートである。
【００１０】
フレーム選択部１１２に動画像データが入力される（Ｓ１１）。符号化処理時間に余裕がある場合、符号化制御部１１６により２パス符号化の実行が指示される。Ｓ１２では、２パス符号化を行う指示があるかどうかを判断する（Ｓ１２）。
【００１１】
２パス符号化を行う指示があった場合、（Ｓ１２でＹ）、符号化部１１４はフレーム選択部１１２からのフレーム画像データに１パス目の符号化を行うとともに、１パス目の符号化結果を符号化制御部１１６にフィードバックする（Ｓ１３）。そして、２パス目の符号化を行う（Ｓ１４）。
【００１２】
符号化部１１４（又は符号化制御部１１６）は、１パス目の符号化結果と、２パス目の符号化結果を比較し、より高画質な方の符号化画像データを選択し、所定のストリームデータ形式でストリームバッファ１２０に出力する（Ｓ１５）。
【００１３】
一方、２パス符号化を行う指示がなかった場合（Ｓ１２でＮ）、符号化部１１４はフレーム選択部１２からのフレーム画像データに１パス符号化を行い、その符号化画像データを所定のストリームデータ形式でストリームバッファ１２０に出力する（Ｓ１６）。
【００１４】
符号化部１１４がフレームレート６０Ｉで動作する場合に、２４Ｐ（２４フレーム／秒のプログレッシブ形式）の動画像を符号化する場合の動作を説明する。図８は、２４Ｐ符号化のシーケンスを示す模式図である。図８（ａ）は、入力画像データのフレーム単位のシーケンスを示し、図８（ｂ）は、符号化部１１４から出力される符号化データのシーケンスを示す。ＩはＩピクチャ（フレーム内符号化ピクチャ）を示す。ＢはＢピクチャ（双方向予測符号化ピクチャ）を示す。ＰはＰピクチャ（片方向予測符号化ピクチャ）を示す。
【００１５】
図８を参照して、従来の２４Ｐ符号化時における２パス符号化を説明する。入力画像データとして、２４Ｐのフレームレートの画像データがフレーム選択部１１２及び入力画像保持部１１０に入力される。
【００１６】
符号化部１１４がフレームレート６０Ｉで動作する場合、符号化部１１４は、符号化動作に余裕ができ、画像データの入力待ち（アイドル状態）になる。具体的には、フレームＰ３（Ｐピクチャとなるフレーム３），Ｂ７（Ｂピクチャとなるフレーム７），Ｂ１１（Ｂピクチャとなるフレーム１１）の入力時に、符号化部１１４がアイドル状態になる。符号化制御部１１６は、符号化部１１４のアイドル状態を検知すると、入力フレーム（例えば，フレームＰ３，Ｂ７，Ｂ１１）を再符号化（２パス符号化）するように符号化部１１４に指示する。符号化部１１４は、指示されたフレーム（例えば，フレームＰ３，Ｂ７，Ｂ１１）について、符号化条件の異なる２つの符号化結果を比較し、符号化効率または符号化品質が良い方を選択してストリームバッファ１２０に出力する。
【００１７】
なお、映像処理装置より出力される動画像において、符号化対象フレームが出力されていないフレーム間隔を検出すると、所定の画像フレームを再符号化する構成は、例えば特許文献１に記載されている。
【特許文献１】特開２００７−１６６４１６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
従来例では、符号化部の空き時間を利用してフレームＰ３，Ｂ７，Ｂ１１の各フレームを再符号化（２パス符号化）することで、フレームＰ３，Ｂ７，Ｂ１１符号化効率または符号化品質を向上させている。
【００１９】
しかし、そもそも予測符号化の参照先となるフレームの符号化品質を向上させるものではないので、符号化効率又は符号化品質の向上も限られている。
【００２０】
本発明は、より効果的に符号化部の空き時間を活用する画像符号化装置を提示することを目的とする．
【課題を解決するための手段】
【００２１】
本発明に係る画像符号化装置は、入力動画像を複数フレーム分保持する入力画像保持部と、１パス符号化及び２パス符号化を選択できる、画像を符号化する符号化部と、前記入力画像保持部で保持されるフレームを選択して前記符号化部に供給するフレーム選択部と、前記符号化部に符号化パラメータを設定し、前記フレーム選択部および前記符号化部を制御する符号化制御部と、繰り返し符号化の必要性を判断する判断部とを有し、前記符号化制御部は、前記判断部からの前記繰り返し符号化の必要性を示す通知に応じて、前記符号化部に指定フレームの２パス符号化を実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、符号化のリアルタイム性を確保しながら、符号化部の処理能力の空き時間を有効活用し、Ｉピクチャ及びＰピクチャにこの順番で優先的に２パス符号化を実行させることができる。これにより、符号化結果全体の符号化効率および符号化品質が向上する。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００２４】
図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。本発明に係る画像符号化装置は、不図示の撮像装置等から入力される動画像をリアルタイムに符号化するのに適した構成を有している。
【００２５】
動画像保持部１０は、入力された動画像を複数フレーム分、保持する。フレーム選択部１２は、符号化制御部１６からの指示に従い、動画像保持部１０に保持される１フレームを選択して読み出し、符号化部１４に供給する。
【００２６】
符号化部１４は、フレーム選択部１２から入力するフレーム画像データをＭＰＥＧなどの周知の動画圧縮符号化方法により圧縮符号化し、符号化データを含むストリームデータをストリームバッファ２０に出力する。符号化部１４は、処理時間に余裕がある場合、２パス符号化を選択できる。２パス符号化の場合、符号化部１４は、１パス目と２パス目の符号化結果を比較し、符号化効率又は符号化品質の観点で良い方の符号化データを含むストリームデータを出力する。
【００２７】
符号化制御部１６は、符号化部１４の符号化結果（又は中間結果）を受け取り、目標符号量や量子化ステップ幅等の符号化パラメータを符号化部１４に設定し、フレーム選択部１２に動画像保持部１０から読み出して符号化部１４に供給するフレームを指示する。また、入力動画像の単位時間内、具体的にはＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）内のフレーム数と、符号化部１４で符号化可能なＧＯＰ内のフレーム数との差分から、ＧＯＰ内の２パス符号化可能なフレーム数を算出する。そして、ＧＯＰ内で２パス符号化可能なフレーム数の範囲内で、判断部１８からの２パス符号化判断情報に従い、符号化部１４の２パス符号化を制御する。
【００２８】
判断部１８は、符号化制御部１６により符号化部１４に設定される設定パラメータと、符号化部１４から符号化制御部１６に送られる符号化結果を参照して、２パス符号化が必要かどうか判断し、符号化制御部１６に通知する。例えば，判断部１８は、符号化制御部１６が直前に設定した目標符号量と、その符号化結果より求められる発生符号量を比較し、その差分値が所定範囲を超える場合に、繰り返し符号化を必要と判断する。又は、判断部１８は、符号化部１４の符号化結果のＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）値が、所定閾値を下回っている場合に、繰り返し符号化を必要と判断する。
【００２９】
本実施形態では、２パス符号化を行う場合、符号化制御部１６は、Ｉピクチャ、Ｐピクチャの順番に優先的に２パス符号化の対象とする。そして、１パス目の符号化結果に対し、目標符号量、初期Ｑ値、Ｉｎｔｒａ／Ｉｎｔｅｒ比率、ＭＢパーティション、ＰピクチャとＢピクチャの参照関係、及びエントロピー符号化の初期値などを適応的に符号化部１４に設定する。更に、Ｐピクチャを符号化に対して、実行済み２パス符号化フレーム数が２パス符号化可能なフレーム数に達する場合には、符号化結果が破綻しないように、発生符号量を削減するように符号化パラメータを変えて、符号化を行う。
【００３０】
図２及び図３は、符号化制御部１６による符号化制御の説明例である。図２は、入力動画像が１８フレーム／秒のプログレッシブ方式（１８Ｐ）である場合を示す。図２（ａ）は、入力画像データのフレーム単位のシーケンスを示し、同（ｂ）は、符号化部１４から出力される符号化データのシーケンスを示す。図３は、入力動画像が２４フレーム／秒のプログレッシブ方式（２４Ｐ）である場合を示す。図３（ａ）は、入力画像データのフレーム単位のシーケンスを示し、同（ｂ）は、符号化部１４から出力される符号化データのシーケンスを示す。
【００３１】
この説明例では、符号化部１４が１ＧＯＰ期間に処理可能なフレーム数をＭ枚とし、指定されたフレームレートで入力される動画像データのフレーム数をＮ枚であるとする。通常、１ＧＯＰは１５フレーム（０．５秒）からなる。この場合、１ＧＯＰ期間に２パス符号化可能なフレーム数は（Ｍ−Ｎ／２）枚となる。
【００３２】
図２に示す例では、入力動画像のフレームレートが１８Ｐであるから、Ｎ＝１８である。符号化部１４の処理可能なフレーム数が１５枚であるとすると、Ｍ＝１５となる。この場合、２パス符号化可能なフレーム数は６（＝１５−１８／２）枚となる。この６フレームの２パス符号化をＩピクチャとＰピクチャにこの順番に割り当てていくと、１フレームのＩピクチャと２フレームのＰピクチャ、３フレームのＢピクチャの合計６フレームに対して２パス符号化を行うことができる。
【００３３】
図３に示す例では、２パス符号化可能なフレーム数は３枚（＝１５−２４／２）となる。この３フレームの２パス符号化をＩピクチャとＰピクチャにこの順番に割り当てていくと、１フレームのＩピクチャと、３フレームのＰピクチャの内の２フレームに対して、２パス符号化を行うことができる。
【００３４】
符号化制御部１６は、このように決定した２パス符号化の対象となるフレームを符号化部１４に指示して、２パス符号化で符号化させる。そして、この２パス符号化の後、実行済み２パス符号化フレーム数を更新する。
【００３５】
図４は、符号化制御部１６及び符号化部１４の動作を示すフローチャートである。図４を用いて、本実施形態の特徴的動作を説明する。
【００３６】
ＧＯＰ内で実行済みの２パス符号化フレーム数が、２パス符号化可能なフレーム数を超えているかどうかを判断する（Ｓ１）。実行済み２パス符号化フレーム数が２パス符号化可能なフレーム数を超えていない場合、すなわち２パス符号化が可能な場合（Ｓ１でＹ）、判断部１８から２パス符号化の必要性を通知されているか否かを調べる（Ｓ２）。２パス符号化が必要であれば（Ｓ２でＹ）、ＧＯＰ内のＩピクチャとＰピクチャの全て符号化済みかどうかを調べる（Ｓ３）。
【００３７】
ＧＯＰ内のＩピクチャとＰピクチャの全てを符号化済みの場合（Ｓ３でＹ）、１パス目の符号化を実行する（Ｓ４）。そして、符号化制御部１６は同一フレームを符号化部１４に入力するようにフレーム選択部１２を制御し、符号化部１４は、入力したフレーム画像に１回目とは異なる符号化条件で２パス目の符号化を行う（Ｓ５）。これにより、同じフレーム画像を２回、互いに異なる符号化条件で符号化することになる。
【００３８】
符号化部１４は、１パス目の符号化結果と２パス目の符号化結果を比較し、符号化効率又は符号化品質の良いほうの符号化データをストリームバッファ２０に出力する（Ｓ６）。
【００３９】
ＧＯＰ内のＩピクチャとＰピクチャの１つでも符号化済みでない場合で（Ｓ３でＮ）、符号化対象のフレーム画像がＩピクチャ又はＰピクチャであるときには（Ｓ７でＹ）、ステップＳ４以降に進み、２パス符号化の対象とする。
【００４０】
２パス符号化が不可能な場合（Ｓ１でＮ）、２パス符号化が不要な場合（Ｓ２でＮ）、又は、符号化対象がＩピクチャでもＰピクチャでもない場合（Ｓ７でＮ）、符号化部１４は、１パス符号化で入力フレーム画像データを符号化する（Ｓ８）。
【００４１】
図５は、本実施形態により２４Ｐの映像信号を符号化する場合のシーケンス例を示す。図５（ａ）は入力映像信号のフレームシーケンスを示し、同（ｂ）は、符号化データのフレームシーケンスを示す。このケースでは、動画像保持部１０は、２４Ｐのフレームレートの映像信号を複数フレーム分保持する。フレームレートが２４Ｐであることから、１ＧＯＰ内のＩピクチャの１フレームと、Ｐピクチャの３フレームのうちの２フレームの合計３フレームに対して２パス符号化を行うことになる。図５に示す例では、判断部１８が、Ｐピクチャの３つのフレームＰ３，Ｐ６、Ｐ９のうち、フレームＰ６を、２パス符号化の必要のないものと判断している。この結果、残りの２フレームＰ３，Ｐ９が２パス符号化されている。図５（ｂ）で、Ｉｄ，Ｐｄは、２パス符号化で生成された符号化データを示す。
【００４２】
このように、本実施形態では、フレームレートに応じてＩピクチャ，Ｐピクチャの順番で優先的に２パス符号化の対象としている。これにより、トータルで見て、符号化効率および符号化品質が向上し、ユーザに良質な映像伝送環境を提供できる。
【図面の簡単な説明】
【００４３】
【図１】本実施例の一実施例の概略構成ブロック図である。
【図２】フレームレート１８Ｐの動画に対する符号化シーケンス例である。
【図３】フレームレート２４Ｐの動画に対する符号化シーケンス例である。
【図４】本実施例の符号化および符号化制御の動作フローチャートである。
【図５】本実施例のフレームレート２４Ｐの動画に対する符号化シーケンス例である。
【図６】従来例の概略構成ブロック図である。
【図７】従来例の動作フローチャートである。
【図８】従来例のフレームレート２４Ｐの動画に対する符号化シーケンス例である。
【符号の説明】
【００４４】
１０：入力画像保持部
１２：フレーム選択部
１４：符号化部
１６：符号化制御部
１８：判断部
２０：バッファ
【図１】
2010103666.tif 000003
【図２】
2010103666.tif 000004
【図３】
2010103666.tif 000005
【図４】
2010103666.tif 000006
【図５】
2010103666.tif 000007
【図６】
2010103666.tif 000008
【図７】
2010103666.tif 000009
【図８】
2010103666.tif 000010