(57)【要約】【課題】従来に比べて、動画像の映像品質を均一にすると共に大幅に処理量を削減した映像信号符号化装置を提供する。【解決手段】入力動画像を符号化する際に、動画像の特徴情報を抽出し、これを基にＧＯＰ構造を決定する。そして、動画像の特徴情報とこのＧＯＰ構造とを基に第１の符号化パラメータを決定し、動画像の特徴情報とＧＯＰ構造と第１の符号化パラメータとを用いてピクチャ毎の符号化複雑度を算出する（第１符号化部２０）。そして、この第１の符号化パラメータと符号化複雑度とを記録媒体３０に記憶する。次に、再度前回と同じ内容の入力動画像を符号化する際は、記録媒体３０に記憶されている第１の符号化パラメータと前記符号化複雑度とを用いて、第２の符号化パラメータを決定し、この第２の符号化パラメータを用いて、前記入力動画像を符号化する（第２符号化部４０）。【選択図】図１
2008098980.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像を符号化する際に、シーンの切り換わり位置を示すシーンチェンジ情報、シーンがフェードイン及びフェードアウトする位置を示すフェード情報、画像間の動きの複雑さを示すアクティビティ情報のうち少なくともいずれかひとつを含む動画像の特徴情報を抽出する抽出部と、
前記動画像の特徴情報を基にＧＯＰ構造を決定する第１の決定部と、
前記動画像の特徴情報と前記ＧＯＰ構造とを基に第１の符号化パラメータを決定する第２の決定部と、
前記動画像の特徴情報と前記ＧＯＰ構造と前記第１の符号化パラメータとを用いてピクチャ毎の符号化複雑度を算出する算出部と、
前記第１の符号化パラメータと前記符号化複雑度とを記憶する記憶部と、
を有する第１の符号化手段と、
前記第１の符号化手段で符号化した入力動画像を再度符号化する際に、前記第１の符号化手段が前記入力動画像を符号化した際に前記記憶部に記憶した前記第１の符号化パラメータと前記符号化複雑度とを用いて、第２の符号化パラメータを決定する第３の決定部と、
前記第２の符号化パラメータを用いて、前記入力動画像を符号化する第２の符号化手段と、
を有することを特徴とする動画像符号化装置。
【請求項２】
前記第２の決定部は、前記第１の符号化パラメータとして、画像毎の符号化タイプとピクチャ構造とを決定する手段であることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記第２の決定部は、前記第１の符号化パラメータとして、更に、ＭＢ構造と動きベクトルの候補値とを決定する手段であることを特徴とする請求項２記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いて符号化を行う動画像符号化装置に関する。
【背景技術】
【０００２】
映像信号を第１のパスと第２のパスに分けて符号化する２パス型可変ビットレート映像信号符号化装置が知られている（例えば、特開平７-２８４０９７号公報、特開平８-２６５７４７号公報）。これらの従来の映像信号符号化装置では、例えば、入力された２時間の映像信号を、第１のパスの符号化において、発生データ量の大小にかかわらず一定の量子化幅で量子化した後、可変長符号化し、得られた符号化データ量の情報を記憶回路に所定単位毎に記録する。符号化方式としてＭＰＥＧによる圧縮符号化方式を採用した場合は、映像信号は全ビデオシーケンスに対してピクチャ単位に発生符号量を情報として記憶回路に記録される。なお、特開平８-２６５７４７号公報では第１のパスの前段にＧＯＰ構造を決める回路が付加されている。ＭＰＥＧに代表されるような可変長符号化を行っている符号化方式は、量子化幅を固定にして第１のパスで符号化を行うと、符号化画像の複雑さや動き補償残差成分量に応じて発生符号量が多くなる。この性質を利用して、発生符号量の分布状態を予め調査しておく。
【０００３】
そして、第２のパスの符号化で、その分布に極力近くなるように符号量の配分を行うことで、全ビデオシーケンスの画質を均一にすることが可能となる。
この場合、第１のパスでは一般的に量子化幅を小さめにして符号化を行い、第２のパスで出力される最終的な符号量より多くの符号量を発生させるのが一般的である。量子化幅を小さくすることで画像の高周波成分まで細かく情報を検出して、その画像の特性を検出する必要があるからである。その発生符号量と量子化幅の示すほぼ反比例の関係を用いて、第２のパスで目標とするピクチャごとの符号量を算出し、その値に制御するようにしている。
【０００４】
特開平１１-２７５５７７号公報の２パス型可変ビットレート映像信号符号化装置は、上記従来例がピクチャ単位で符号量の見積もりを行っており、ＭＢ単位の符号量変動を再現できないという課題があるのを解決するためのものである。第１のパスの符号化においてＭＢ単位の発生符号量を情報として記憶回路に記録し、第２のパスの符号化において、ＭＢ単位で符号量制御を行うことで精度を向上させている。
【０００５】
一方、２パス型可変ビットレート映像信号符号化装置に近い符号化効率を得るための１パス型可変ビットレート映像信号符号化装置が知られている（例えば、特開平１０−６６０６７号公報、特開２００２−１９９３９８号公報）。この映像信号符号化装置では、２パス型可変ビットレート映像信号符号化装置が、第１のパスの符号化で得ている発生符号量の代わりに、符号化の前段において映像信号が持つ特徴情報から符号化難易度を算出し、符号化難易度に応じて目標符号量を割り当てることで、可変ビットレート制御を可能としている。このような１パス型可変ビットレート映像信号符号化装置では、ビデオシーケンス全体について画質を均一化することは理論上困難であるが、ビデオシーケンスの画質を周期的或いはシーンの区切り毎に均一にすることが可能である。
【特許文献１】特開平７-２８４０９７号公報
【特許文献２】特開平８-２６５７４７号公報
【特許文献３】特開平１１-２７５５７７号公報
【特許文献４】特開平１０−６６０６７号公報
【特許文献５】特開２００２−１９９３９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ＭＰＥＧ−２よりも新しい符号化方式としてＭＰＥＧ−４ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）がある。ＭＰＥＧ−４ＡＶＣでは、選択可能な符号化パラメータをＭＰＥＧ−２の数百倍用意し、その中から最適なパラメータを選択することで、ＭＰＥＧ−２に対して２倍以上の符号化効率の向上が可能となる。符号化パラメータとは、例えば、ＭＢ構造（フィールド／フレーム）、ＭＢ内ブロックサイズ、ＭＢ予測方式、動きベクトルなどである。
【０００７】
そのため、ＭＰＥＧ−４ＡＶＣでは、多数の符号化パラメータ候補の中から最適な符号化パラメータを選択できるか否かが符号化効率向上のために重要である。注意しなければならないことは、最適な符号化パラメータはビットレート（主に量子化幅で制御される）によって変動することである。例えば、一般的には高ビットレートであれば、フレーム内符号化で用いるマクロブック（以下イントラＭＢと呼ぶ）の選択率を上げてもよいが、低ビットレートではイントラＭＢの選択率を下げる必要がある。また、ＭＰＥＧ−４ＡＶＣでは隣接ＭＢ間の符号化パラメータの相関性を利用して圧縮効率を向上させているため、最適な符号化パラメータは隣接するＭＢによっても変化する。
【０００８】
ここで、上記の従来の２パス型可変ビットレート映像信号符号化装置に、ＭＰＥＧ−４ＡＶＣを適用した場合について考える。
従来の２パス型可変ビットレート映像信号符号化装置では、符号化パラメータの選択に関する符号量（主に量子化幅に依存する）について考慮されておらず、第１のパスと第２のパスとで異なる量子化幅を用いている。第1のパスと第２のパスの量子化幅が近いピクチャやＭＢであれば、あまり問題とはならないが、第1のパスと第２のパスとの量子化幅が大きく異なるようなピクチャやＭＢでは、第１のパスで見積もった符号量が第２のパスで発生する実際の符号量と大きく異なったものとなり、第１のパスと第２のパスとで最適な符号化パラメータが変化する。このように、従来例では、符号化パラメータの量子化幅による変動を考慮していないために、第１のパスにおける見積もり符号量が有効に作用せず、ＭＰＥＧ−４ＡＶＣのように多数の符号化パラメータを有する符号化方式においては、見積もり符号量の誤差が大きくなってしまう。一般的に、平均的な映像では第１のパスと第２のパスの量子化幅が近くなるが、難しい映像や簡単な映像では第1のパスと第２のパスの量子化幅が大きく異なる。可変ビットレート技術は難しい映像や簡単な映像に対する符号化効率を向上させることで、映像全体の画質を均一化されるための技術であり、本来の可変ビットレートの特徴を活かしきれないという課題がある。
【０００９】
また、従来の２パス型可変ビットレート映像信号符号化装置には、隣接ＭＢ間の相関性を考慮した符号化についてはなんら記述されていない。
このように従来の２パス型可変ビットレート映像信号符号化装置にＭＰＥＧ−４ＡＶＣのように多数の符号化パラメータを有する符号化方式を適用した場合、難しい映像や簡単な映像が混在しているような動画像に対して、第１のパスの符号化で見積もった符号量と、第２のパスの符号化で実際に発生する符号量との誤差が大きくなり、最適な符号量制御が行われないために、符号化した動画像の映像画質を均一化できない問題が起きる。
【００１０】
また、ＭＰＥＧ−４ＡＶＣでは片側予測において複数の参照画像を持つことができるため、ＭＰＥＧ−２と比較して動きベクトル検出に要する処理量が大幅に大きくなる。多数の符号化パラメータの中から最適なモードを選択する処理には莫大な処理量を要するのが一般的であり、高画質と処理量削減を両立するのが困難である課題もある。例えば、ＭＰＥＧ−４ＡＶＣの参照ソフトウェア（ＩＳＯ／ＩＥＣ１４４９６−５）で紹介されているレート歪最適化方法では、全てのモードについて符号化と復号化を行ってから評価をしているため非常に処理量が大きくなってしまう。
【００１１】
従来の２パス型可変ビットレート映像信号符号化装置のように、処理量の莫大な符号化パラメータの選択を第1のパスと第２のパスとの両方で行うことは処理量の点から非効率であるといえる。
【００１２】
一方、従来の１パス型可変ビットレート映像信号符号化装置では、動画像が持つ特徴から符号化難易度を算出しているため、第１のパスと第２のパス間で符号量の見積もりの誤差による画質劣化は起きない。しかし、数百の符号化パラメータの中から最適な符号化パラメータを選択する精度に関して課題がある。また、ビデオシーケンス全体について画質を均一化することにも課題がある。更に、第１のパスと第２のパスとの間で処理の削減についての工夫がなされていない。
【００１３】
映像符号化より高度な符号化を行なうには処理量が多く必要となるため、従来の映像信号符号化装置は、専用ハードウェアによって実現されていた。ところが、最近はＣＰＵの高速化とマルチコア化が進み、ソフトウェアを用いた分散処理による映像信号符号化装置の実現が可能になりつつある。
【００１４】
本願発明は、上記のような課題を鑑みてなされたものである。
量子化幅の影響が小さな符号化パラメータや隣接ＭＢとの相関性の低い符号化パラメータについては第１のパスの符号化時に決定し、量子化幅の影響が大きな符号化パラメータや隣接ＭＢとの相関性の高い符号化パラメータについては第２のパスの符号化時に決定することで、符号化パラメータの選択における量子化幅の依存性に関する課題を解決し、符号化後の動画像の映像画質の均一化を実現することが可能な２パス型可変ビットレート映像信号符号化装置を提供することを目的とする。
【００１５】
また、第１のパスと第２のパスとで符号化に要する処理量を分散することで、従来の２パス型可変ビットレート映像信号符号化装置に比べて大幅に処理量の削減が可能な２パス型可変ビットレート映像信号符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）入力動画像を符号化する際に、シーンの切り換わり位置を示すシーンチェンジ情報、シーンがフェードイン及びフェードアウトする位置を示すフェード情報、画像間の動きの複雑さを示すアクティビティ情報のうち少なくともいずれかひとつを含む動画像の特徴情報を抽出する抽出部と、
前記動画像の特徴情報を基にＧＯＰ構造を決定する第１の決定部と、
前記動画像の特徴情報と前記ＧＯＰ構造とを基に第１の符号化パラメータを決定する第２の決定部と、
前記動画像の特徴情報と前記ＧＯＰ構造と前記第１の符号化パラメータとを用いてピクチャ毎の符号化複雑度を算出する算出部と、
前記第１の符号化パラメータと前記符号化複雑度とを記憶する記憶部と、
を有する第１の符号化手段と、
前記第１の符号化手段で符号化した入力動画像を再度符号化する際に、前記第１の符号化手段が前記入力動画像を符号化した際に前記記憶部に記憶した前記第１の符号化パラメータと前記符号化複雑度とを用いて、第２の符号化パラメータを決定する第３の決定部と、
前記第２の符号化パラメータを用いて、前記入力動画像を符号化する第２の符号化手段と、
を有することを特徴とする動画像符号化装置。
（２）前記第１の符号化パラメータは、画像毎の符号化タイプとピクチャ構造とであることを特徴とする上記（１）記載の動画像符号化装置。
（３）前記第１の符号化パラメータは、更に、ＭＢ構造と動きベクトルの候補値とを用いることを特徴とする上記（２）記載の動画像符号化装置。
【発明の効果】
【００１７】
本願発明によれば、以下の効果を得ることが可能である。
第１のパスの符号化では、動画像の特徴情報から符号化複雑度を算出して、量子化幅の影響の小さな符号化パラメータや隣接ＭＢとの相関性の低い符号化パラメータを決定する。そして、第２のパスの符号化では、量子化幅の影響の大きな符号化パラメータや隣接ＭＢとの相関性の高い符号化パラメータを決定して符号化する。これにより、符号化パラメータの選択に関する量子化幅への依存性を排除することができるので、符号化後の動画像全体で均一な映像画質を実現することが可能となる。
【００１８】
また、最適な符号化パラメータを選択するのに要する処理を、第１のパスの符号化と第２のパスの符号化とで分散して行なうことで、従来の２パス型可変ビットレート映像信号符号化装置に比べて大幅に符号化の処理量の削減が可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の実施の形態の構成を示す全体ブロック図である。また、図８は、この図１の構成における全体の処理の流れを説明するフローチャートである。
【００２０】
第１符号化部２０は、ＶＴＲ１０などの動画像再生装置から入力される動画像信号を、符号化するとともに、この動画像信号における動画像の特徴を解析し、各種の符号化パラメータを生成して記録媒体３０に記録する（ステップＳ１０）。
【００２１】
次に、第２符号化部４０は、ＶＴＲ１０などの動画像再生装置から入力される、上記した第１符号化部２０で符号化したものと同じ動画像信号を、記録媒体３０に記録されているこの動画像信号に対応する符号化パラメータを読み出し、この符号化パラメータを用いて符号化を行って、得られたビットストリームを蓄積媒体５０に記録する（ステップＳ２０）。
［第１実施例］
次に、上記した実施の形態を用いた第１実施例について図面を用いて詳細に説明する。
＜第１パス＞
図２は、第１実施例における第１のパスの符号化を実現するブロックの内部構成を示す図である。また、図９はこの第１のパスの符号化の処理の流れを示すフローチャートである。
【００２２】
入力画像蓄積部１００は、入力される動画像信号（入力画像信号）を一時的に蓄積する（ステップＳ１００）。
ここで、入力画像蓄積部１００が蓄積する画像の枚数をＮＦとする。ＮＦは、取り得る最大ＧＯＰサイズＮmaxであるとする。
【００２３】
入力画像蓄積部１００は、記録部６００から次ＧＯＰ処理開始信号を受け取ると、ＧＯＰ構造決定部３００から得たＮ枚の画像を消去し、新たにＮ枚の画像を蓄積する。入力画像蓄積部１００が蓄積する画像の枚数ＮＦは、動画像特徴抽出部２００の構成によっては、２枚とすることも可能である。これらの処理の詳細は後述する。
【００２４】
動画像特徴抽出部２００は、入力画像蓄積部１００から供給される動画像信号における動画像の特徴を示す情報を抽出する（ステップＳ２００）。
図４は、この動画像特徴抽出部２００の具体的な構成例を示す図である。以下、この図４を用いて動画像特徴抽出部２００の動作を説明する。
【００２５】
動画像特徴抽出部２００は、動画像のシーンの変化点を検出するシーンチェンジ検出部２１０と、動画像の信号レベルが徐々に変化するシーンを検出するフェード検出部２２０と、動画像を構成する各画像間の動きの複雑さを算出する動き複雑度算出部２３０と、各画像のアクティビティを算出するアクティビティ算出部２４０とで構成する。
【００２６】
シーンチェンジ検出部２１０は、入力画像蓄積部１００に蓄積されている動画像信号における画像の切り替わり目であるシーンチェンジを検出する。各隣接画像の画素間における輝度情報の絶対差分和や、二乗平均誤差和の微分値などを算出し、この算出した値の大きな画像間をシーンチェンジとして検出し、シーンチェンジ情報ａを１とする。シーンチェンジを検出しない時はシーンチェンジ情報ａを０とする。
【００２７】
なお、シーンチェンジの検出は、輝度情報のみでなく、輝度情報に加えて色差情報を用いて行なっても良い。また各画像を変換、縮小等の処理をした後にシーンチェンジを検出したり、各画像内の特定の一部の領域のみを抽出して、この領域内の情報を用いてシーンチェンジを検出したりしても良い。
【００２８】
フェード検出部２２０は、入力画像蓄積部１００に蓄積されている動画像信号における画像全体の信号レベルが一定方向に変動するシーンを検出する。各隣接画像の画素間における輝度情報の絶対差分和や、二乗平均誤差和などを算出し、この算出した値がある一定以上であるシーンをフェードとして検出し、フェード情報ｂを１とする。フェードを検出しない時はフェード情報ｂを０とする。
【００２９】
なお、フェードの検出は、輝度情報のみでなく、輝度情報に加えて色差情報を用いて行なっても良い。また各画像を変換、縮小等の処理をした後にフェードを検出したり、各画像内の特定の一部の領域のみを抽出して、この領域内の情報を用いてフェードを検出したりしても良い。
【００３０】
動き複雑度算出部２３０は、入力画像蓄積部１００に蓄積されている動画像信号における各画像間の動き、すなわち動き複雑度ｃを算出する。この動き複雑度ｃの算出には、時間的に隣接する２枚の画像の間、またはあらかじめ指定された時間差を持つ２枚の画像の間で行なう。本第１実施例での動き複雑度ｃの算出は、まず算出対象の２枚の画像のうち、一方の画像を１６×１６画素の小ブロック単位（ＭＢと呼ぶ）に分割し、この各ＭＢ内の画素の輝度情報を用いて、ＭＢ毎に他方の画像と比較して動きベクトル探索を行い、動きベクトルＭＶ（ｉ）を算出する（ｉはＭＢ番号）。結果として得られた各ブロックの動きベクトルの分散の度合いを動き複雑度ｃとする。これらの値が大きい場合は、動きが複雑であることを示し、一方これらの値が小さい場合は、動きが簡易であることを示す。
【００３１】
なお、この動き複雑度ｃの算出には、上記したようにＭＢ毎に算出する動きベクトルを用いるのでは無く、画面全体の動きを示すグローバル動きベクトルの大きさや、この時間的変化量を利用することも可能である。 また、小ブロックとして１６×８、８×１６、８×８、８×４、４×８、４ｘ４のように１６×１６のＭＢよりも小さな画素単位で動きベクトルを算出し、この動きベクトルを用いても良い。また、動き複雑度ｃの算出は、輝度情報のみでなく、輝度情報に加えて色差情報を用いて行なっても良い。また各画像を変換、縮小等の処理をした後に動き複雑度ｃを算出したり、各画像内の特定の一部の領域のみを抽出して、この領域内の情報を用いて動き複雑度ｃを算出したりしても良い。
【００３２】
アクティビティ算出部２４０は、入力画像蓄積部１００に蓄積されている動画像信号における各画像のアクティビティｄと垂直アクティビティｅを算出する。アクティビティｄは下記式１のように、各ＭＢアクティビティの画面内和として求める。ここで、ＮＭＢは画面内に含まれるＭＢ数である。ｄＭＢ（ｉ）はｉ番目のＭＢのＭＢアクティビティであり、下記式２で求められる。式１、式２では絶対差分和を用いているが、二乗誤差和を用いても良い。
【００３３】
【数１】
2008098980.tif 000003
・・・式１
【００３４】
【数２】
2008098980.tif 000004
・・・式２
垂直アクティビティｅは、、、、図６及び下記式３に示すように、各ＭＢ内の垂直方向に隣接する各画素間の絶対差分和として求めたＭＢ垂直アクティビティの画面内和として求める。ここで、ｅＭＢ（ｉ）はｉ番目のＭＢのＭＢ垂直アクティビティであり、下記式４で求められる。式３、式４では絶対差分和を用いているが、二乗誤差和を用いても良い。
【００３５】
【数３】
2008098980.tif 000005
・・・式３
【００３６】
【数４】
2008098980.tif 000006
・・・式４
アクティビティｄ、垂直アクティビティｅの算出は、輝度情報のみでなく、輝度情報に加えて色差情報を用いて行なっても良い。また各画像を変換、縮小等の処理をした後にアクティビティｄ、垂直アクティビティｅを算出したり、各画像内の特定の一部の領域のみを抽出して、この領域内の情報を用いてアクティビティｄ、垂直アクティビティｅを算出したりしても良い。
【００３７】
図２及び図９の説明に戻る。
動画像特徴抽出部２００は、上記のようにして検出した各画像のシーンチェンジ情報ａ、フェード情報ｂ、動き複雑度ｃをＧＯＰ構造決定部３００に送る。また、垂直アクティビティｅ、各ＭＢのＭＢ垂直アクティビティｅＭＢをピクチャ構造決定部４００に送る。さらに、動き複雑度ｃ、アクティビティｄを符号化複雑度計測部５００に送る。
【００３８】
ＧＯＰ構造決定部３００は、ＧＯＰを構成する各画像の符号化構造を決定する（ステップＳ３００）。
図５は、このＧＯＰ構造決定部３００の具体的な構成例を示す図である。以下、この図５を用いてＧＯＰ構造決定部３００の動作を説明する。
【００３９】
ＧＯＰ構造決定部３００は、ＧＯＰサイズＮを決定するＧＯＰサイズ決定部３１０と、予測画像の間隔Ｍを決定する予測画像間隔決定部３２０とで構成する。
ＧＯＰサイズ決定部３１０は、シーンチェンジ情報ａとＮmaxからＧＯＰサイズＮを決定する。入力画像蓄積部１００に蓄積されている最も古い画像からシーンチェンジ情報ａが１になるまでか、またはＮmaxになるまでの画像を１つのＧＯＰとする。決定されたＧＯＰに含まれる画像の枚数をＧＯＰサイズＮとして出力する。
【００４０】
予測画像間隔決定部３２０は、ＧＯＰサイズ決定部３１０から得たＧＯＰサイズＮ、および画像特徴抽出部３００から得たＮ枚の画像の動き複雑度ｃから、対象ＧＯＰの符号化時の予測画像間隔Ｍを決定する。動き複雑度ｃが大きい場合には予測画像間隔Ｍを小さい値に設定し、動き複雑度ｃが小さい場合には予測画像間隔Ｍを大きい値に設定する。また、動き複雑度ｃがあらかじめ指定された値よりも小さい場合には、予測画像間隔Ｍを既定値とすることも可能である。なお、フェード情報ｂが１である場合には予測画像間隔Ｍは２とする。
【００４１】
図２及び図９の説明に戻る。
ＧＯＰ構造決定部３００は、上記のようにして決定したＧＯＰサイズＮ、予測画像間隔Ｍをピクチャ構造決定部４００と記憶部６００とに送る。また、ＧＯＰサイズＮを入力像蓄積部１００に送る。
【００４２】
ピクチャ構造決定部４００は、図３に示すＭＢ符号化パラメータ決定部１０００が行う符号化パラメータ決定の一部を担当する。本第１実施例では、符号化パラメータの中でも動画像が持つ本来の特性であって、量子化幅への依存度の低いパラメータであるフレーム／フィールド構造の決定を行う。ピクチャ構造決定部４００は、ＧＯＰ構造決定部３００から得たＧＯＰサイズＮと予測画像間隔Ｍとから各画像の符号化タイプＣＴ（Ｉ画像、Ｐ画像、Ｂ画像）を判定する（ステップＳ４１０）。また、画像特徴抽出部３００から得た垂直アクティビティｅから各画像を符号化するためのピクチャ構造情報ＰＳを決定する（ステップＳ４２０）。ピクチャ構造情報ＰＳがフレームである場合には画像を１つのフレームで符号化し、ピクチャ構造情報ＰＳがフィールドである場合には画像を２つのフィールドで符号化する。垂直アクティビティｅが小さい場合にはフレームとして符号化し、垂直アクティビティｅが大きい場合にはフィールドとして符号化する。また、画像特徴抽出部３００から得たＭＢ垂直アクティビティｅＭＢから各ＭＢのＭＢ構造情報ＭＢＳを決定する（ステップＳ４３０）。ＭＢ構造情報ＭＢＳがフレームである場合にはＭＢを１つのフレームで符号化し、ＭＢ構造情報ＭＢＳがフィールドである場合にはＭＢを２つのフィールドで符号化する。上記のようにして決定した符号化タイプＣＴとピクチャ構造情報ＰＳとＭＢ構造情報ＭＢＳとをまとめてピクチャタイプ情報ＰＴとする。そして、このピクチャタイプ情報ＰＴを、符号化複雑度計測部５００、及び記録部６００へ送る。
【００４３】
符号化複雑度計測部５００は、画像特徴抽出部３００から得たＮ枚の画像の動き複雑度ｃとアクティビティｄ、およびピクチャ構造決定部４００から得たピクチャタイプ情報ＰＴから、下記式５の関数ｆによって、ピクチャ毎に符号化複雑度Ｃを算出する（ステップＳ５００）。下記式５の関数ｆは例えば、図７のような特性を持つとする。符号化画像がＩピクチャの時は、同図（Ａ）に示すように、符号化複雑度Ｃはアクティビティｄに比例する。また、符号化画像がＰピクチャ及びＢピクチャの時は、同図（Ｂ）に示すように、符号化複雑度Ｃは動き複雑度ｃに比例する。なお、関数ｆは、Ｐピクチャ及びＢピクチャの場合は、動き複雑度ｃのみではなくアクティビティｄを考慮することもできる。
【００４４】
【数５】
2008098980.tif 000007
・・・式５
符号化複雑度計測部５００は、上記式５で算出した符号化複雑度Ｃを記録部６００へ送る。
【００４５】
記録部６００は、ＧＯＰ構造決定部３００から得たＧＯＰサイズＮとピクチャ構造決定部４００から得たピクチャタイプ情報ＰＴと符号化複雑度計測部５００から得た符号化複雑度Ｃとを記録媒体７００に記録する（ステップＳ６００）。そして、次ＧＯＰ処理開始信号を入力画像蓄積部１００に送る。
＜第２パス＞
図３は、第１実施例における第２のパスの符号化を実現するブロックの内部構成を示す図である。また、図１０はこの第２のパスの符号化の処理の流れを示すフローチャートである。
【００４６】
ＧＯＰ符号量割当部８００は、記録媒体７００から得たＧＯＰサイズＮとＧＯＰ分の符号化複雑度からＧＯＰの目標符号量ＴＧＢを求める（ステップＳ７００）。
符号量制御部９００は、ＧＯＰ符号量割当部８００から得た目標符号量ＴＧＢと符号部１１００から出力されたビットストリームの符号量Ｂから、例えば、ＭＰＥＧの代表的な圧縮アルゴリズムであるＴＭ５（Test Model 5; ISO/IEC JTC/SC29 1993）において用いられている符号量制御方式によって符号量制御を行い、ピクチャ毎の目標符号量ＴＢを決定する（ステップＳ８００）。そして、目標符号量ＴＢを符号部１１００に送る。
【００４７】
ＭＢ符号化パラメータ決定部１０００は、ＭＢ構造情報ＭＢＳ以外のＭＢの符号化に必要なＭＢ符号化パラメータを決定し、符号部１１００に送る。
符号部１１００は、符号量制御部９００から得た目標符号量ＴＢと、記録媒体７００から得たピクチャタイプ情報ＰＴと、ＭＢ符号化パラメータ決定部１０００から送られたＭＢ符号化パラメータとにしたがって、前述の第１のパスで符号化したものと同じ内容の入力動画像信号（入力画像信号）を符号化する（ステップＳ９００）。そして得られた符号化データ（ビットストリーム）を外部へ出力する。
［第２実施例］
次に、前述した実施の形態を用いた第２実施例について図面を用いて詳細に説明する。
＜第１パス＞
図１１は、第２実施例における第１のパスの符号化を実現するブロックの内部構成を示す図である。
【００４８】
入力画像蓄積部１００、ＧＯＰ構造決定部３００、ピクチャ構造決定部４００、及び符号化複雑度計測部５００、記録媒体７００は、それぞれ第１実施例と同じ機能を有しており、図２と同じ符号を付している。
【００４９】
動画像特徴抽出部２０１は、第１実施例の機能に加えて、図４に示す動き複雑度算出部２３０で求めた動きベクトル情報ｇを記録部６００に送る。
記録部６０１は、第１実施例の機能に加えて、動画像特徴抽出部２０１から得た動きベクトル情報ｇを記録媒体７００に記録する。
＜第２パス＞
図１２は、第２実施例における第２のパスの符号化を実現するブロックの内部構成を示す図である。また、図１０はこの第２のパスの符号化の処理の流れを示すフローチャートである。
【００５０】
記録媒体７００、ＧＯＰ符号量割当部８００、及び符号量制御部９００は、それぞれ第１実施例と同じ機能を有しており、図３と同じ符号を付している。
ＭＢ符号化パラメータ決定部１００１は、記録媒体７００から得た動きベクトル情報ｇを、動きベクトルの１つの候補として利用して、符号化する動きベクトル情報を求め、更にＭＢ構造情報ＭＢＳ以外のＭＢの符号化に必要なＭＢ符号化パラメータを決定し、符号部１１０１に送る。
【００５１】
符号部１１０１は、符号量制御部９００から得た目標符号量ＴＢと記録媒体７００から得たピクチャタイプ情報ＰＴとＭＢ符号化パラメータ決定部１００１から送られたＭＢ符号化パラメータとにしたがって、前述の第１のパスで符号化したものと同じ内容の入力動画像信号（入力画像信号）を符号化する。そして得られた符号化データ（ビットストリーム）を外部へ出力する。
【００５２】
この第２実施例のように、第１のパスの符号化で動きベクトルの１つの候補を求めておき、第２のパスの符号化時にその動きベクトルを利用することで、符号化処理に置いて大きなウエートを占める動きベクトル検出の処理を行う符号部１１０１の処理量を大幅に削減することが可能となる。
【００５３】
なお、本発明は上記した動画像符号化装置の機能をコンピュータに実現させるためのプログラムも含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態を示す全体ブロック図である。
【図２】本発明の第１実施例における第１符号部を示す構成図である。
【図３】本発明の第１実施例における第２符号部を示す構成図である。
【図４】本発明の実施例における動画像特徴抽出部を示す構成図である。
【図５】本発明の実施例におけるＧＯＰサイズ決定部を示す構成図である。
【図６】本発明の実施例における垂直アクティビティを説明する図である。
【図７】本発明の実施例における複雑度の算出方法を説明する図である。
【図８】本発明の実施の形態における全体処理を示すフローチャートである。
【図９】本発明の実施例における第１符号部を示すフローチャートである。
【図１０】本発明の実施例における第２符号部を示すフローチャートである。
【図１１】本発明の第２実施例における第１符号部を示す構成図である。
【図１２】本発明の第２実施例における第２符号部を示す構成図である。
【符号の説明】
【００５５】
１０          ＶＴＲ
２０          第１符号部
３０          記録媒体
４０          第２符号部
５０          記録媒体
１００        入力画像蓄積部
２００        動画像特徴抽出部
３００        ＧＯＰ構造決定部
３１０        ＧＯＰサイズ決定部
３２０        予測画像間隔決定部
４００        ピクチャ構造決定部
５００        符号化複雑度計測部
６００        記録部
７００        記録媒体
８００        ＧＯＰ符号量割当部
９００        符号量制御部
１０００      ＭＢ符号化パラメータ決定部
１１００      符号部
２０１        動画像特徴抽出部（第２実施例）
６０１        記録部（第２実施例）
１００１      ＭＢ符号化パラメータ決定部（第２実施例）
１１０１      符号部（第２実施例）
【図１】
2008098980.tif 000008
【図２】
2008098980.tif 000009
【図３】
2008098980.tif 000010
【図４】
2008098980.tif 000011
【図５】
2008098980.tif 000012
【図６】
2008098980.tif 000013
【図７】
2008098980.tif 000014
【図８】
2008098980.tif 000015
【図９】
2008098980.tif 000016
【図１０】
2008098980.tif 000017
【図１１】
2008098980.tif 000018
【図１２】
2008098980.tif 000019