(57)【要約】【課題】  画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う。【解決手段】  第１の符号化部１１は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。ストリームバッファ１３は、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積する。符号化制御部１４は、ストリーム情報から、発生符号量及び動き情報を解析して、符号化制御情報を生成する。第２の符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出した第１のストリームを符号化して、第２のストリームを生成する。ストリームバッファ１３は、第１のストリームから、情報量変化としてシーンチェンジを検出可能な複数の映像シーンを蓄積する。【選択図】  図１
2006050130.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の符号化を行う映像符号化装置において、
映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する第１の符号化部と、
前記第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積するストリームバッファと、
前記ストリームバッファのサイズで蓄積できる時間内で、前記ストリーム情報から前記情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する符号化制御部と、
前記符号化制御情報にもとづいて、前記ストリームバッファから読み出した前記第１のストリームを符号化して、第２のストリームを生成する第２の符号化部と、
を有することを特徴とする映像符号化装置。
【請求項２】
前記ストリームバッファは、少なくとも情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項１記載の映像符号化装置。
【請求項３】
前記ストリームバッファは、情報量変化としてシーンチェンジを検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項１記載の映像符号化装置。
【請求項４】
前記符号化制御部は、１つのシーンの中でストリーム情報の値が前後のピクチャと比較して異なる場合は、前後のピクチャのストリーム情報の値から誤検出をしたか否かを判定することを特徴とする請求項１記載の映像符号化装置。
【請求項５】
映像信号の符号化を行う映像符号化方法において、
映像信号を符号化して第１のストリームを生成し、かつ映像信号の空間的、時間的な情報を含むストリーム情報を抽出し、
前記第１のストリームに対して、映像信号の一部の時間分の映像シーンをストリームバッファに蓄積し、
前記ストリームバッファのサイズで蓄積できる時間内で、前記ストリーム情報から前記情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成し、
前記符号化制御情報にもとづいて、前記ストリームバッファから読み出した前記第１のストリームを符号化して、第２のストリームを生成することを特徴とする映像符号化方法。
【請求項６】
前記ストリームバッファは、少なくとも情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積することを特徴とする請求項５記載の映像符号化方法。
【請求項７】
１つのシーンの中でストリーム情報の値が前後のピクチャと比較して異なる場合は、前後のピクチャのストリーム情報の値から誤検出をしたか否かを判定することを特徴とする請求項５記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化装置及び映像符号化方法に関し、特にＭＰＥＧ（Moving Picture Experts Group）による映像信号の符号化を行う映像符号化装置及び映像符号化方法に関する。
【背景技術】
【０００２】
近年、ＤＶＤ（Digital Versatile Disc）やデジタルＴＶ放送などの分野では、膨大な映像データを高いクオリティで記録・伝送するために、ＭＰＥＧによる符号化圧縮技術が広く用いられている。
【０００３】
また、入力された映像信号をＭＰＥＧ方式により符号化圧縮した後、圧縮後のビットストリームをＤＶＤやＨＤＤ（Hard Disk Drive）へ保存する、デジタルビデオレコーダなどが市場に浸透しつつある。
【０００４】
ＭＰＥＧに準拠する符号化装置には、リアルタイムエンコードと２パスエンコードと呼ばれる方式がある。リアルタイムエンコードは、圧縮後のビットストリームを所定メディアのデータサイズに納めるために、映像シーンによらず設定ビットレートをある程度固定して符号化する方式である。
【０００５】
また、２パスエンコードは、いったんすべての映像シーンを符号化して、映像素材全体の符号化時の詳細情報の履歴を取り、その履歴情報にもとづいて２回目の符号化の情報量制御のスケジューリングを行う可変レートの符号化方式である。
【０００６】
図６はリアルタイムエンコーダの構成を示す図である。リアルタイムエンコーダ５０は、符号化部５１、５２、フレームメモリ５３、符号化制御部５４から構成される。
符号化部５１は、映像信号（音声も含む）を符号化してストリーム（符号化データ）５ａを生成し出力する。また、符号化部５１は、符号化したときの動きベクトル等の情報をストリーム情報として符号化制御部５４へ送信する。
【０００７】
フレームメモリ５３は、入力映像信号を一旦格納し遅延させてから出力する。符号化制御部５４は、受信したストリーム情報から符号化制御情報を生成して符号化部５２へ送信する。符号化部５２は、フレームメモリ５３から出力された映像信号を、符号化制御情報にもとづいて符号化してストリーム５ｂを出力する。
【０００８】
このように、符号化部５１では、映像信号を最初に粗く符号化してビットレートが大き目の（例えば、１５Mbps）ストリーム５ａを出力し、このときの符号化に要した情報を用いて、符号化部５２がより細かく符号化して、ストリーム５ａよりもビットレートの小さい（例えば、５Mbps）ストリーム５ｂを出力する構成となっている。ストリーム５ａは、例えば、ＨＤＤのような記録媒体に送信され、ストリーム５ｂは、インターネットを介してビデオ配信されたりする。
【０００９】
図７は２パスエンコーダの構成を示す図である。２パスエンコーダ６０は、符号化部６１、６２、ストリームバッファ（ＨＤＤ装置など）６３、符号化制御部６４から構成される。なお、パスとは、出力するストリームに対し、１つの映像素材に対して何回エンコードが行われるかを示すエンコード回数のことである。
【００１０】
符号化部６１は、映像信号を最初から最後まですべて入力して符号化する。符号化後のストリームは、一旦ストリームバッファ６３に蓄積される。符号化制御部６４は、ストリームバッファ６３内のストリームの詳細情報（動きベクトル情報等）から、映像信号の特徴を解析し、情報量制御スケジュール等の符号化制御情報を生成する。
【００１１】
符号化部６２は、符号化部６１で符号化された同じ映像信号が、一定時間後にあらたに入力し（例えば、２時間分の映像コンテンツなら２時間後に再度入力する）、先に生成した符号化制御情報にもとづいて、２回目の符号化を実施し、ストリーム６ａを出力する。これにより、画質劣化の改善効果が高い符号化を実施することができる。
【００１２】
従来の符号化装置の技術として、デジタル映像データを接続機器に適した解像度、ビットレート等に変換するように符号化する技術が提案されている（例えば、特許文献１）。
【特許文献１】特開２００１−０４５４３６号公報（段落番号〔００１８〕，第１図）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記で説明したような図６のリアルタイムエンコーダ５０は、視聴者に対して生中継を行う必要があり、ライブ配信用のエンコードとしては、生中継の特質上、即時処理が優先される。
【００１４】
しかし、リアルタイムエンコーダ５０の符号化制御部５４から通知される符号化制御情報は、フレームメモリ５３での遅延時間分（例えば、１フレーム遅延時間分程度）しか確保できないので、シーンチェンジのような時間情報は全く得られない。
【００１５】
したがって、映像シーンによらず設定ビットレートがほぼ一定の符号化となるので、シーンが切り替わって、例えば、複雑な絵柄の映像シーンが入力したりすると、充分な符号量を用いた符号化ができず、ブロックノイズ等の画質劣化が目立ってしまうといった問題があった。
【００１６】
一方、図７の２パスエンコーダ６０は、１回目の符号化ですべての映像を符号化した後に、符号化制御情報を生成することで、映像の特徴を前もって認識できる。したがって、２回目の符号化では符号化制御情報により、複雑な映像シーンにはビットレートを多く割り当てたり、平坦な映像シーンにはビットレートを少なく割り当てるといったことができ、画質劣化が抑制された符号化が可能になる。
【００１７】
しかし、２パスエンコーダ６０は、十分な処理時間を要して、いったん映像信号を最初から最後まで符号化する必要があるため、リアルタイム性は完全に失われてしまい、生中継などの放送配信には使用できないといった問題があった。
【００１８】
このように、リアルタイム性と画質向上性とはトレードオフの関係にあり、従来の符号化装置では、リアルタイム性重視の装置と、画質向上重視の装置とに分かれていた。
現状では完全にリアルタイムでなくても、ある程度のリアルタイム性（準リアルタイム性）を持ち、画質劣化を抑えた符号化装置といったものは開発されておらず、このような符号化装置の実現化が強く望まれている。なお、上記の従来技術（特開２００１−０４５４３６号公報）は、接続機器に応じて画質向上を図る技術であり、リアルタイム性については考慮されていない。
【００１９】
本発明はこのような点に鑑みてなされたものであり、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う映像符号化装置を提供することを目的とする。
また、本発明の他の目的は、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行う映像符号化方法を提供することである。
【課題を解決するための手段】
【００２０】
本発明では上記課題を解決するために、図１に示すような、映像信号の符号化を行う映像符号化装置１０において、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する第１の符号化部１１と、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積するストリームバッファ１３と、ストリームバッファ１３のサイズで蓄積できる時間内で、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する符号化制御部１４と、符号化制御情報にもとづいて、ストリームバッファから読み出した第１のストリームを符号化して、第２のストリームを生成する第２の符号化部１２と、を有することを特徴とする映像符号化装置１０が提供される。
【００２１】
ここで、第１の符号化部１１は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。ストリームバッファ１３は、第１のストリームに対して、映像信号の一部の時間分の映像シーンを蓄積する。符号化制御部１４は、ストリームバッファ１３のサイズで蓄積できる時間内で、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する。第２の符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出した第１のストリームを符号化して、第２のストリームを生成する。
【発明の効果】
【００２２】
本発明の映像符号化装置は、映像信号を符号化して第１のストリームを生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出し、映像信号の一部の時間分の映像シーンを蓄積する。そして、ストリーム情報から情報量変化を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成し、符号化制御情報を用いて、ストリームバッファから読み出した第１のストリームを符号化する構成とした。これにより、画質劣化を抑制しつつ、準リアルタイム性の符号化処理を行うことが可能になる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面を参照して説明する。図１は映像符号化装置の原理図である。映像符号化装置１０は、第１の符号化部（以下、符号化部１１）、第２の符号化部（以下、符号化部１２）、ストリームバッファ１３、符号化制御部１４から構成される。
【００２４】
符号化部１１は、映像信号を符号化して第１のストリーム（ストリームｓ１）を生成し、映像信号の空間的、時間的な情報を含むストリーム情報を抽出する。
ストリームバッファ１３は、ストリームｓ１に対して、映像信号の一部の時間分の映像シーンを蓄積する。
【００２５】
例えば、ストリームｓ１に対して、情報量変化を検出するのに必要な時間分の複数の映像シーンを蓄積し、具体的には、ストリームｓ１から、情報量変化としてシーンチェンジを検出できる複数の映像シーン（数秒〜数十秒の映像シーン）を蓄積する。
【００２６】
符号化制御部１４は、ストリームバッファ１３のサイズで蓄積できる時間内で（すなわち、数秒〜数十秒の映像シーンの蓄積時間内で）、ストリーム情報から情報量変化（シーンチェンジ）を検出し、発生符号量及び動き情報を解析して、符号化制御情報を生成する。
【００２７】
符号化部１２は、符号化制御情報にもとづいて、ストリームバッファ１３から読み出したストリームｓ１を符号化して、第２のストリーム（ストリームｓ２）を生成する。ストリームｓ２は、記録媒体へ送信されたり、インターネットを介して配信されたりする。
【００２８】
次にストリームバッファ１３のバッファサイズについて説明する。ストリーム解析時間が長ければ長いほど、２パス目の符号化部１２の符号化処理時にフィードバックできる情報量が多くなるので画質は向上することになるが、これだとリアルタイム性が失われてしまい、また、大容量のバッファを要してしまう。
【００２９】
したがって、ストリームバッファ１３は、数秒〜数十秒のストリームを保持できるバッファサイズとし、そのストリームバッファサイズで保持できる時間内で、符号化制御部１４はストリームの解析を行うようにする。
【００３０】
ここで、ＤＶＤレコーダ、ハードディスクレコーダなどの映像を記録する録画機器で、一般視聴者が録画する場合は、ＴＶ等からの番組になる。その際にＴＶコマーシャルなどが挿入すると突然シーンチェンジが発生する。
【００３１】
シーンチェンジの前と後とでは画面が全く異なるため、この部分の発生時間や情報量をあらかじめ知っていれば、相当の符号化処理（割り当てるビットレートを増やしたり減らしたり）が可能となる。このようなＴＶコマーシャルに限らず、一般の番組に対して、情報量の変化が生じるシーンチェンジは、数秒〜数十秒のストリームを保持できれば検出可能である。
【００３２】
したがって、映像符号化装置１０において、ストリームバッファ１３は、情報量変化（シーンチェンジ）を検出するのに必要な時間分の複数の映像シーンを蓄積し、符号化制御部１４は、この蓄積時間内で、ストリーム情報から発生符号量及び動き情報を解析して、符号化制御情報を生成し、２パス目の符号化部１２へフィードバックする。
【００３３】
このような構成にすれば、ストリームバッファ１３での遅延時間は、数秒〜数十秒であり、またこの時間内でストリームを解析して符号化制御情報を生成することで、シーンチェンジのような絵柄が大きく異なる映像の特徴を前もって認識できるので、２パス目の符号化では符号化制御情報により、複雑な映像シーンにはビットレートを多く割り当てたり、平坦な映像シーンにはビットレートを少なく割り当てるといったことができる。したがって、完全にリアルタイムでなくても、ある程度のリアルタイム性（準リアルタイム性）を持ちながら、画質劣化を抑えた符号化処理を行うことが可能になる。
【００３４】
次にシーンチェンジ検出について説明する。図２は複数シーンを含む映像に対するパラメータ変動量を示す図である。縦軸はパラメータ値、横軸は時間である。なお、パラメータとはストリーム情報の値のことである（図５で後述）。
【００３５】
自然な映像（人為的に加工されていない映像）は、数秒〜数十秒という時間間隔の中で複数のシーンを持つのが一般的である。その一般的な例として、ある時間間隔の間に４つのシーンＡ〜Ｄを持つような映像を示している。図から、ある特定のストリーム情報について着目した場合に、各シーンを跨いだときのパラメータ値が遷移する様子がわかる。
【００３６】
映像信号は１つのシーンの中では時間的な相関が非常に強いため、パラメータ値はほぼ線型的に遷移するが、各シーンを跨いだ瞬間は、各シーン間に全く相関がないために、非線型な遷移となってしまう。
【００３７】
図３は複数シーンを含む映像に対するパラメータ変動量を示す図である。縦軸はパラメータ値、横軸はピクチャＮｏ．であり、図２のグラフの時間レンジを縮めたものである。シーンＡ、Ｂの中では、パラメータ値はほぼ線型的な遷移をしているが、シーンＡとシーンＢの境界付近ではパラメータ値が大きく変動している。このようなパラメータ値の変動を検出することで、シーンチェンジの発生を認識することが可能である。
【００３８】
図４はパラメータ値の誤検出補正を説明するための図である。１つのシーンの中でパラメータ値が前後のピクチャと比較して際立って異なる値を取った場合（図中のＬ、Ｍ、Ｎ）は、符号化制御部１４において、前後数ピクチャ分の傾向を分析することにより、誤検出されたパラメータであると推定することが可能となり、符号化制御の精度を高めることができるようになる。
【００３９】
このように、数秒〜数十秒分の映像シーンを解析することができれば、精度の高いシーンチェンジ検出や符号化制御が可能となるため、映像符号化装置１０による符号化方式は、数秒〜数十秒分のストリームバッファサイズを持てばよく、またバッファサイズが従来の２パスエンコーダよりもはるかに小さくて済むのでコストの低減化も可能になる。
【００４０】
次にストリーム情報と符号化制御情報について説明する。図５はストリーム情報と符号化制御情報の対応関係を示す図である。具体的なストリーム情報のパラメータとしては、符号化ピクチャタイプ、符号化発生情報量、量子化スケール値、動きベクトル値、映像のアクティビティ値、シーンチェンジ情報、予測タイプ、ＤＣＴタイプ等が挙げられる。また、具体的な符号化制御情報としては、単位時間当たりの目標発生符号量、各映像シーン毎の空間フィルタ係数（強度）等が挙げられる。
【００４１】
各パラメータの主な解析用途としては、時間方向の発生符号量の解析、空間方向の発生符号量の解析、及び空間方向の動き情報検出がある。時間方向の発生符号量を解析することで、２回目の符号化における該当ピクチャの目標発生符号量を算出することができる。また空間方向の発生符号量の解析、及び空間方向の動き情報検出を行うことで、空間的な情報量の偏り具合を認識することができるので、その解析結果を２回目の符号化の空間フィルタ強度の目安とすることで、効率的な情報量の圧縮を図ることができるようになる。
【００４２】
以上説明したように、映像符号化装置及び映像符号化方法によれば、１回目の符号化中の詳細情報を２回目の符号化にフィードバックできるため、符号化対象の映像の絵柄や符号化情報量等の遷移傾向を先読みすることができ、２回目の符号化時の情報量制御のスケジューリングが容易になるため、効率的に空間的または時間的な情報量の圧縮を図ることができる。また、その結果として画質劣化の少ない符号化を実現できるうえ、ある程度のリアルタイム性を確保しているので、使用用途を限定されない符号化を実現することが可能になる。
【００４３】
さらに、従来のリアルタイムエンコーダは、図４で上述したような前後の数ピクチャを用いるような映像解析が不可能であるため、符号化情報のフィードバック精度が悪い（誤検出を認識できない）という欠点があるが、映像符号化装置１０では、前後の数ピクチャを用いての映像解析が可能であるため、符号化制御の精度を高めることが可能になる。また、従来の２パスエンコーダのように大きなストリームバッファを用いなくてもほぼ同等程度の精度の高い符号化情報を得ることが可能である。
【図面の簡単な説明】
【００４４】
【図１】映像符号化装置の原理図である。
【図２】複数シーンを含む映像に対するパラメータ変動量を示す図である。
【図３】複数シーンを含む映像に対するパラメータ変動量を示す図である。
【図４】パラメータ値の誤検出補正を説明するための図である。
【図５】ストリーム情報と符号化制御情報の対応関係を示す図である。
【図６】リアルタイムエンコーダの構成を示す図である。
【図７】２パスエンコーダの構成を示す図である。
【符号の説明】
【００４５】
１０  映像符号化装置
１１  第１の符号化部
１２  第２の符号化部
１３  ストリームバッファ
１４  符号化制御部
【図１】
2006050130.tif 000003
【図２】
2006050130.tif 000004
【図３】
2006050130.tif 000005
【図４】
2006050130.tif 000006
【図５】
2006050130.tif 000007
【図６】
2006050130.tif 000008
【図７】
2006050130.tif 000009