(57)【要約】【課題】段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供する。【解決手段】動画像符号化装置１は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する。動画像符号化装置１は、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する。そして動画像符号化装置１は、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて動き補償用の補正値を算出する。【選択図】図１
2011055229.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する領域選択部と、
前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する段階的シーン遷移検出部と、
段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出する補正値決定部と、
前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算する動きベクトル計算部と、
前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する符号化部と、
を有する動画像符号化装置。
【請求項２】
符号化対象ピクチャのエッジ画像及び参照ピクチャのエッジ画像を求めるエッジ検出部をさらに有し、
前記領域選択部は、符号化対象ピクチャのエッジ画像を分割した複数の小領域のうち、参照ピクチャのエッジ画像上の対応する位置にある領域と類似する小領域を前記静止領域とする請求項１に記載の動画像符号化装置。
【請求項３】
前記エッジ検出部は、符号化対象ピクチャのエッジ画像及び参照ピクチャのエッジ画像を、所定の強度よりも高いエッジ強度を持つエッジ画素とその他の画素に２値化し、
前記領域選択部は、前記複数の小領域のうち、当該小領域に含まれる各エッジ画素のうち、参照ピクチャ上の対応する位置にある画素もエッジ画素である画素の数が当該小領域に含まれるエッジ画素の総数に占める割合が所定の閾値よりも高い小領域を前記静止領域とする、請求項２に記載の動画像符号化装置。
【請求項４】
前記段階的シーン遷移検出部は、符号化対象ピクチャの静止領域に含まれる画素の輝度値の平均値と参照ピクチャの静止領域に含まれる画素の輝度値の平均値との差の絶対値を前記第１の統計量として算出し、該差の絶対値が所定の閾値よりも高い場合、前記所定の条件が満たされると判定する、請求項１〜３の何れか一項に記載の動画像符号化装置。
【請求項５】
前記補正値決定部は、符号化対象ピクチャ及び参照ピクチャの前記静止領域に含まれる画素から前記第２の統計量を算出する、請求項１〜４の何れか一項に記載の動画像符号化装置。
【請求項６】
符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、
前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、
段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、
前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、
前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、
ことを含む動画像符号化方法。
【請求項７】
符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、
前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、
段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、
前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、
前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、
ことをコンピュータに実行させる動画像符号化用コンピュータプログラム。
【請求項８】
入力されたオーディオ信号を符号化するオーディオ符号化部と、
入力された動画像信号を符号化する動画像符号化部であって、
前記動画像信号に含まれる符号化対象ピクチャを分割した複数の小領域のうち、前記動画像信号に含まれる、既に符号化されたピクチャを復号することにより生成された参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、
前記静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、
段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、
前記補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、
前記動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する、動画像符号化部と、
前記動画像符号化部により符号化された動画像信号と前記オーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部と、
を有する映像伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに開示される実施形態は、符号化対象であるピクチャを参照ピクチャを用いて動き補償することにより符号化する動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置に関する。
【背景技術】
【０００２】
動画像データは、一般に非常に大きなデータ量を有する。そのため、動画像データを扱う装置は、動画像データを他の装置へ送信しようとする場合、あるいは、動画像データを記憶装置に記憶しようとする場合、動画像データを符号化することにより圧縮する。代表的な動画像の符号化方式として、International Standardization Organization/International Electrotechnical Commission(ISO/IEC)で策定されたMoving Picture Experts Group phase 2（MPEG-2）、MPEG-4、あるいはH.264 MPEG-4 Advanced Video Coding（H.264 MPEG-4 AVC）が広く利用されている。
このような符号化方式では、符号化対象のピクチャと、その前後のピクチャの情報を用いて、符号化対象のピクチャを符号化するインター符号化方法が採用されている。インター符号化方法では、符号化対象のピクチャが複数のブロックに分割される。そして、各ブロックに対して、ピクチャ間での動きを補償するために、前後の既に符号化されたピクチャを復号したピクチャから、最も類似している領域がブロックマッチングにより選択され、各ブロックとその選択された類似領域との差分情報が求められる。その後、その差分情報と、各ブロックがその類似領域から移動している量を表す動きベクトルとが符号化される。そのため、インター符号化方法は、冗長な情報を取り除くことができるので、符号化対象の１枚のピクチャ内に含まれる情報のみを用いてそのピクチャを符号化するイントラ符号化方法の圧縮効率よりも高い圧縮効率を達成することができる。
【０００３】
しかし、フェードまたはディゾルブなどが適用されたシーンのように、段階的に遷移するシーンにおいては、ピクチャの各画素の輝度または色差が時間的にかつ人工的に変化するため、ピクチャ間の類似度が低下する。そのため、ブロックマッチングによる動き補償の精度が低下する。その結果、符号化効率が低下してしまうといった問題があった。MPEGとInternational Telecommunication Union(ITU)により勧告されたH.264 MPEG-4 AVCには、そのような問題を解消するため、重み付け予測と呼ばれる技術が採用されている。重み付け予測技術は、動画像を符号化または復号する際に、参照ピクチャの輝度及び色差の値を線形に補正することにより、参照ピクチャの輝度及び色差の値を符号化対象ピクチャの輝度及び色差レベルに近付ける。これにより、重み付け予測技術は、予測誤差を減少させることができるので、符号化効率を向上することができる。この重み付け予測技術を使用するためには、フェードが適用されているフェード区間を正確に検出することと、動き補償用の補正値である、重み付け係数及びオフセット値を適切に決定することが必要となる。
なお、以下では、ピクチャの各画素の輝度または色差に関する統計量を、画像統計量と呼ぶ。
【０００４】
従来のフェード検出手法と重み付け係数及びオフセット値を決定する手法は、符号化対象ピクチャと参照ピクチャ間の画像統計量の変化がフェードのみによって引き起こされることを前提としている。すなわち、ディゾルブまたはフェード区間内のピクチャでは、二つのショットが互いに異なる明るさで重なりあっているため、ピクチャ上に写っている物体の輪郭がぼやけている。そのため、ディゾルブ・フェード区間に含まれるピクチャでは、ディゾルブ・フェード区間に含まれないピクチャと比べてエッジが検出され難い。
そこで、ピクチャ上のエッジ画素の数を調べることで、ディゾルブまたはフェード区間に含まれるピクチャとそれ以外のピクチャを識別する技術が提案されている。また、ピクチャ間のエッジヒストグラムの差が閾値以上のときに、フェードを含むカットチェンジとして検出する技術も提案されている。（例えば、特許文献１及び２を参照）。
【０００５】
重み付け係数・オフセット値を算出する手法として、各ピクチャにおける、各画素の輝度とピクチャ全体の輝度平均値との差の絶対値和、または近傍画素間の輝度値の差の絶対値和に基づいて重み付け係数及びオフセット値を決定する手法が提案されている。
また、フェードが適用されている区間では、ピクチャ間の画像統計量の変化が大きいため、正確に動き補償することは困難である。すなわち、フェードシーンでは、ピクチャ上に写っている物体の位置が時間的に変化しない静止領域であっても、静止領域に対する動きベクトルが、参照ピクチャ上でその静止領域と異なる位置にある領域を示してしまう。このような問題を解決するため、輝度補正を二段階に行う手法が提案されている（例えば、非特許文献１及び特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−７９６７５号公報
【特許文献２】特開平６−２３７４１４号公報
【特許文献３】特開２００６−５４８０２号公報
【非特許文献】
【０００７】
【非特許文献１】H. Aoki, Y. Miyamoto, "An H.264 Weighted Prediction Parameter Estimation Method for Fade Effects in Video Scenes", 2008, 2008 IEEE International Conference on Image Processing (ICIP 2008), pp. 2112--2115
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、フェード以外の要因により、連続するピクチャ間で、画像統計量が大きく変化してしまう場合には、従来の技術は、フェード区間を誤って検出したり、あるいは、重み付け係数及びオフセット値を適切に求めることができないおそれがあった。そのため、このような場合には、従来の技術では、フェード区間を誤検出したり、あるいは不適切な重み付け係数及びオフセット値を決定してしまうことにより符号化効率が著しく低下してしまうおそれがあった。
例えば、大きな物体がピクチャ内に突然進入してくるようなシーンでは、その物体が存在するピクチャと存在しないピクチャとの間で画像全体の画像統計量は大きく異なる。そのため、画像全体の画像統計量に基づいてフェード区間か否か判断する従来のフェード検出技術は、このようなシーンをフェードであると誤検出してしまう可能性がある。また、重み付け係数及びオフセット値を算出する従来の技術も、上記と同様のシーンについて、進入してくる物体による画像統計量の変化のため、重み付け係数及びオフセット値を正確に算出することが困難である。
【０００９】
そこで、本明細書は、段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる動画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの実施形態によれば、動画像符号化装置が提供される。この動画像符号化装置は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択する領域選択部と、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定する段階的シーン遷移検出部と、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出する補正値決定部と、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算する動きベクトル計算部と、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する符号化部とを有する。
【００１１】
また他の実施形態によれば、動画像符号化方法が提供される。この動画像符号化方法は、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化することを含む。
【００１２】
さらに他の実施形態によれば、コンピュータに動画像データを符号化させる動画像符号化用コンピュータプログラムが提供される。このコンピュータプログラムは、符号化対象ピクチャを分割した複数の小領域のうち、参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化することをコンピュータに実行させる命令を有する。
【００１３】
さらに他の実施形態によれば、映像伝送装置が提供される。この映像伝送装置は、入力されたオーディオ信号を符号化するオーディオ符号化部と、入力された動画像信号を符号化する動画像符号化部と、動画像符号化部により符号化された動画像信号とオーディオ符号化部により符号化されたオーディオ信号を多重化することにより映像ストリームを生成する多重化部とを有する。そして動画像符号化部は、動画像信号に含まれる符号化対象ピクチャを分割した複数の小領域のうち、動画像信号に含まれる、既に符号化されたピクチャを復号することにより生成された参照ピクチャ上の対応する位置にある領域と類似する小領域を静止領域として選択し、静止領域に含まれる符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第１の統計量が所定の判定条件を満たす場合、段階的シーン遷移が適用されていると判定し、段階的シーン遷移が適用されていると判定された場合、符号化対象ピクチャの画素の値及び対応する参照ピクチャの画素の値に関する第２の統計量に基づいて、参照ピクチャの各画素の値と対応する位置にある符号化対象ピクチャの画素の値とが一致するように、参照ピクチャまたは符号化対象ピクチャを補正する補正値を算出し、補正値により補正された参照ピクチャまたは符号化対象ピクチャを用いて参照ピクチャと符号化対象ピクチャ間の動きを表す動きベクトルを計算し、動きベクトルを用いて動き補償された符号化対象ピクチャを符号化する。
【００１４】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１５】
本明細書に開示された動画像符号化装置は、段階的シーン遷移以外の要因により、連続するピクチャ間で画像統計量が大きく変化してしまうシーンであっても、段階的シーン遷移が適用されているか否かを高い精度で判定できる。
【図面の簡単な説明】
【００１６】
【図１】一つの実施形態に係る動画像符号化装置の概略構成図である。
【図２】（ａ）は符号化対象ピクチャの一例であり、（ｂ）は参照ピクチャの一例である。
【図３】（ａ）は、図２（ａ）に示される現在のピクチャから作成された２値化エッジ画像であり、（ｂ）は、図２（ｂ）に示される参照ピクチャから作成された参照用２値化エッジ画像であり、（ｃ）は、エッジマッチング画像の一例である。
【図４】インター符号化処理の動作フローチャートである。
【図５】何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。
【発明を実施するための形態】
【００１７】
以下、図を参照しつつ、一つの実施形態による、動画像符号化装置について説明する。
この動画像符号化装置は、符号化対象ピクチャと参照ピクチャとの間で移動する物体が写っていないか、写っていてもその物体が占める範囲が相対的に狭い静止領域を検出する。そしてこの動画像符号化装置は、静止領域から算出された画像統計量に基づいて段階的シーン遷移が適用されているか否かを判定することで、段階的シーン遷移の検出精度を向上させることを図る。
なお、以下に説明する実施形態では、段階的シーン遷移の例として、フェードを挙げる。しかし、段階的シーン遷移は、ディゾルブなど、二つのシーンが段階的に切り替わるものであればよい。
また動画像は、Group Of Pictures（GOP）単位で符号化される。GOPは、連続する複数のピクチャを含み、各ピクチャに対する符号化方法が規定された構造を表す。また、以下では、GOPに含まれるピクチャのうち、イントラ符号化されるピクチャをIピクチャと表記する。さらに、時間的に前のピクチャの情報を用いてインター符号化されるピクチャをPピクチャと表記する。さらに、時間的に前のピクチャと後のピクチャの両方の情報を用いてインター符号化されるピクチャをBピクチャと表記する。なお、ピクチャは、フレームまたはフィールドである。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
【００１８】
図１は、一つの実施形態による動画像符号化装置の概略構成図である。動画像符号化装置１は、符号化部１０と、復号部１４と、参照画像記憶部１５と、エッジ検出部１６と、領域選択部１７と、段階的シーン遷移検出部１８と、補正値決定部１９と、動きベクトル計算部２０と、予測画像生成部２１とを有する。
動画像符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいは動画像符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路として動画像符号化装置１に実装されてもよい。さらに、動画像符号化装置１が有するこれらの各部は、動画像符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００１９】
符号化部１０は、入力された動画像データのうち、符号化対象となる現在のピクチャを符号化する。そのために、符号化部１０は、予測誤差信号生成部１１と、直交変換・量子化部１２と、可変長符号化部１３とを有する。
予測誤差信号生成部１１は、入力された動画像データのうち、符号化対象となる現在のピクチャを、所定数の画素を持つ複数のブロックに分割する。このブロックを、以下ではマクロブロックと呼ぶ。また、マクロブロックは、例えば、１６×１６個の画素を含む。
予測誤差信号生成部１１は、それぞれのマクロブロックと、予測画像との差分演算を実行する。そして直交変換・量子化部３２は、その差分演算により得られたマクロブロック内の各画素に対応する差分値を、予測誤差信号として生成する。その際、予測誤差信号生成部１１は、現在のピクチャのGOP内の位置に応じて、インター符号化するかあるいはイントラ符号化するかを決定する。そして予測誤差信号生成部１１は、現在のピクチャがIピクチャであれば、イントラ符号化用の予測画像、一方、現在のピクチャがBピクチャまたはPピクチャであれば、インター符号化用の予測画像を選択する。なお、後述するように、インター符号化用の予測画像は、既に符号化されたピクチャから作成される。一方、イントラ符号化用の予測画像は、現在のピクチャの既に符号化されたマクロブロックから作成される。
予測誤差信号生成部１１は、生成された予測誤差信号を直交変換・量子化部１２へ渡す。
【００２０】
直交変換・量子化部１２は、各マクロブロックの予測誤差信号を直交変換することにより、予測誤差信号の水平方向の周波数成分及び垂直方向の周波数成分を表す周波数信号を求める。例えば、直交変換・量子化部１２は、直交変換処理として、離散コサイン変換（Discrete Cosine Transform、DCT）を予測誤差信号に対して実行することにより、周波数信号として、マクロブロックごとのDCT係数の組を得る。
【００２１】
次に、直交変換・量子化部１２は、周波数信号を量子化する。この量子化処理は、一定区間に含まれる信号値を一つの信号値で表す処理である。そしてその一定区間は、量子化幅と呼ばれる。例えば、直交変換・量子化部１２は、周波数信号から、量子化幅に相当する所定数の下位ビットを切り捨てることにより、その周波数信号を量子化する。量子化幅は、量子化パラメータによって決定される。例えば、直交変換・量子化部１２は、量子化パラメータの値に対する量子化幅の値を表す関数にしたがって、使用される量子化幅を決定する。またその関数は、量子化パラメータの値に対する単調増加関数とすることができ、予め設定される。あるいは、水平方向及び垂直方向の周波数成分のそれぞれに対応する量子化幅を規定する量子化マトリクスが、予め複数準備され、直交変換・量子化部１２が有するメモリに記憶される。そして直交変換・量子化部１２は、量子化パラメータにしたがって、それら量子化マトリクスのうちの特定の量子化マトリクスを選択する。そして直交変換・量子化部１２は、選択された量子化マトリクスを参照して、周波数信号の各周波数成分に対する量子化幅を決定する。
また直交変換・量子化部１２は、MPEG-2、MPEG-4、H.264 MPEG-4 AVCなどの動画像符号化規格に対応した様々な量子化パラメータ決定方法に従って量子化パラメータを決定すればよい。直交変換・量子化部１２は、例えば、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法を用いることができる。なお、MPEG-2の標準テストモデル5に関する量子化パラメータの算出方法に関しては、例えば、http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.htmlで特定されるURLを参照されたい。
直交変換・量子化部１２は、量子化処理を実行することにより、周波数信号の各周波数成分を表すために使用されるビットの数を削減できるので、各マクロブロックに含まれる情報量を低減できる。直交変換・量子化部１２は、量子化信号を可変長符号化部１３及び復号部１４に供給する。
【００２２】
可変長符号化部１３は、直交変換・量子化部１２から受け取った量子化された信号及び動きベクトル計算部２０から受け取った動きベクトルを符号化することにより、データ量が圧縮された符号化信号を生成する。そのために、可変長符号化部１３は、例えば、その量子化信号に対して、生起確率が高い信号値ほど短くなる、可変長の符号語を割り当てる可変長符号化処理を実行する。例えば、可変長符号化部１３は、可変長符号化処理として、ハフマン符号化処理あるいは算術符号化処理を行うことができる。
可変長符号化部１３により生成された符号化信号に対して、動画像符号化装置１は、所定の情報をヘッダ情報として付加することにより、符号化された動画像データを含むデータストリームを生成する。動画像符号化装置１は、そのデータストリームを磁気記録媒体、光記録媒体あるいは半導体メモリなどを有する記憶部（図示せず）に記憶するか、あるいはそのデータストリームを他の機器へ出力する。
【００２３】
復号部１４は、直交変換・量子化部１２から受け取った量子化信号に、量子化パラメータにより決定された量子化幅に相当する所定数を乗算することにより逆量子化する。この逆量子化により、各マクロブロックの周波数信号、例えば、DCT係数の組が復元される。その後、復号部１４は、周波数信号を逆直交変換処理する。例えば、直交変換・量子化部１２においてDCT処理が行われる場合、復号部１４は、逆量子化信号に対して逆DCT処理を実行する。逆量子化処理及び逆直交変換処理を量子化信号に対して実行することにより、符号化前の予測誤差信号と同程度の情報を有する予測誤差信号が再生される。
【００２４】
復号部１４は、インター符号化されるピクチャについて、後述する動き補償された予測画像の各輝度値に、その画素に対応する再生された予測誤差信号を加算する。一方、復号部１４は、イントラ符号化されるピクチャについて、既に符号化されたマクロブロックに基づいて生成された予測画像の各輝度値に、その画素に対応する、再生された予測誤差信号を加算する。これらの処理を各マクロブロックについて実行することにより、復号部１４は、現在のピクチャに対する予測画像を得る。
復号部１４は、得られた予測画像を参照画像記憶部１５に記憶させる。
なお、符号化部１０及び復号部１４は、現在のピクチャの各画素の色差信号についても、輝度値に対する処理と同様の処理を実行する。
【００２５】
参照画像記憶部１５は、例えば、フレームメモリを有する。そして参照画像記憶部１５は、復号部１４から受け取った予測画像を新たな参照ピクチャとして一時的に記憶する。そして参照画像記憶部１５は、エッジ検出部１６、補正値決定部１９、動きベクトル計算部２０及び予測画像生成部２１にその参照ピクチャを供給する。なお、参照画像記憶部１５は、予め定められた所定枚数分の参照ピクチャを記憶し、参照ピクチャの枚数がその所定枚数を超えると、古い参照ピクチャから順に破棄する。
【００２６】
エッジ検出部１６は、符号化対象である現在のピクチャに対して近傍画素間の差分演算を行うことにより、現在のピクチャ上の像の輪郭に対応するエッジ画素を検出する。またエッジ検出部１６は、参照ピクチャに対して近傍画素間の差分演算を行うことにより、参照ピクチャ上のエッジ画素を検出する。エッジ検出部１６は、エッジ画素を検出するために、例えば、sobelフィルタ、prewittフィルタなどの１次微分フィルタ、あるいはラプラシアンフィルタなどの２次微分フィルタを用いることができる。
例えば、エッジ検出部１６は、現在のピクチャの各画素に対して、水平方向のエッジを検出するsobelフィルタを用いてフィルタリングすることにより、各画素における水平方向のエッジ成分を算出する。またエッジ検出部１６は、現在のピクチャの各画素に対して、垂直方向のエッジを検出するsobelフィルタを用いてフィルタリングすることにより、各画素における垂直方向のエッジ成分を算出する。そしてエッジ検出部１６は、現在のピクチャの各画素について、水平方向のエッジ成分の絶対値と垂直方向のエッジ成分の絶対値の和を、エッジ強度として算出する。
同様に、エッジ検出部１６は、参照ピクチャの各画素について、sobelフィルタを用いてフィルタリングすることにより、水平方向のエッジ成分と垂直方向のエッジ成分を算出する。そしてエッジ検出部１６は、参照ピクチャの各画素について、水平方向のエッジ成分の絶対値と垂直方向のエッジ成分の絶対値の和を、エッジ強度として算出する。
【００２７】
なお、１次微分フィルタが用いられる場合、ピクチャ上にグラディエーション状に輝度が変化する領域内の各画素のエッジ強度が大きくなる。そこで、グラディエーション状に輝度が変化する領域全体をエッジ画素として検出せずに、物体の輪郭に位置する画素をエッジ画素として検出するためには、エッジ検出部１６はラプラシアンフィルタのような２次微分フィルタを用いることが好ましい。
【００２８】
エッジ検出部１６は、現在のピクチャの各画素について、エッジ強度が所定の閾値よりも大きいエッジ画素とエッジ強度が所定の閾値以下の非エッジ画素に２値化することにより、２値化エッジ画像を作成する。同様に、エッジ検出部１６は、参照ピクチャの各画素について、エッジ強度が所定の閾値よりも大きいエッジ画素とエッジ強度が所定の閾値以下の非エッジ画素に２値化することにより、参照用２値化エッジ画像を作成する。
なお、所定の閾値は、予め設定されてもよく、あるいは、各画素のエッジ強度に基づいて求められてもよい。例えば、各画素に対して算出されたエッジ強度の分布は、ピクチャ上の物体の輪郭に対応する正規分布と物体の輪郭以外の部分に対応する正規分布の和として表されると仮定される。この場合、所定の閾値は、二つの正規分布のそれぞれの平均値間の最小値として最小二乗基準により決定される。あるいは、所定の閾値は、各画素のエッジ強度が、ピクチャ上の像の輪郭に対応するクラスと像の輪郭以外の部分に対応するクラスに分離できると仮定したときに、二つのクラスを最良に分離する閾値として判別分析により決定されてもよい。
エッジ検出部１６は、２値化エッジ画像と参照用２値化エッジ画像を領域選択部１７及び段階的シーン遷移検出部１８へ渡す。
【００２９】
領域選択部１７は、符号化対象である現在のピクチャと参照ピクチャにおける静止領域を、フェードが適用されているか否かを判定するために使用される領域として選択する。
そこで、領域選択部１７は、現在のピクチャに対して求められた２値化エッジ画像を複数の小領域に分割する。そして領域選択部１７は、小領域のそれぞれと、参照用２値化エッジ画像上の小領域に対応する位置にある領域との間でエッジマッチングを実行することにより、２値化エッジ画像の各小領域のうち、参照用２値化エッジ画像上の対応する位置にある領域と類似する小領域を静止領域と判定する。具体的には、領域選択部１７は、２値化エッジ画像の着目する小領域に含まれるエッジ画素のうち、参照用２値化エッジ画像上の対応する位置にある画素もエッジ画素である画素の合計数を算出する。そして領域選択部１７は、その合計数を着目する小領域に含まれるエッジ画素の総数で除することにより得られる一致比が所定の閾値よりも大きければ、着目する小領域を静止領域と判定する。なお、所定の閾値は、実験的あるいは経験的に設定され、例えば、0.8に設定される。また、各小領域の大きさ及び形状は任意に設定される。
ただし、各小領域の大きさ及び形状は現在のピクチャと参照ピクチャの間で移動する物体が何れかのピクチャに写っている場合でも、少なくとも一つの小領域が静止領域となるように設定されることが好ましい。また、各小領域の大きさ及び形状は、各小領域内に、一致比を正確に算出するために十分な数のエッジ画素が含まれるように設定されることが好ましい。例えば、各小領域は、現在のピクチャ及び参照ピクチャを垂直方向及び水平方向にそれぞれ２〜１０分割することにより得られる矩形領域とすることができる。
領域選択部１７は、静止領域と判定された小領域のそれぞれの位置を表す静止領域情報を段階的シーン遷移検出部１８へ渡す。
【００３０】
図２（ａ）は符号化対象となる現在のピクチャの一例であり、図２（ｂ）は参照ピクチャの一例である。図２（ａ）に示される現在のピクチャ２００では、中央付近の領域２０１にスクータに乗った人物が写っている。一方、図２（ｂ）に示される参照ピクチャ２１０上には、そのような人物に相当する領域は存在しない。そして、人物が写っている領域２０１は、背景領域よりもボケており、かつ背景領域よりも全体的に暗くなっている。そのため、現在のピクチャ２００全体から算出される画像統計量は、参照ピクチャ２１０全体から算出される画像統計量と大きく異なってしまうおそれがある。
【００３１】
図３（ａ）は、図２（ａ）に示される現在のピクチャ２００から作成された２値化エッジ画像であり、図３（ｂ）は、図２（ｂ）に示される参照ピクチャ２１０から作成された参照用２値化エッジ画像である。また図３（ｃ）は、現在のピクチャ２００と参照ピクチャ２１０間でエッジマッチングを実行することにより得られたエッジマッチング画像である。図３（ａ）に示される２値化エッジ画像３００及び図３（ｂ）に示される参照用２値化エッジ画像３１０において、エッジ画素である画素のみが黒く表されており、その他の画素は白く表されている。また図３（ｃ）に示されるように、エッジマッチング画像３２０では、現在のピクチャと参照ピクチャの両方においてともにエッジ画素である画素のみが黒く表されており、その他の画素は白く表されている。また図３（ａ）〜（ｃ）において領域３０１及び３０２は、それぞれ静止領域である。静止領域３０１及び３０２では、２値化エッジ画像３００に含まれるエッジ画素の大部分と参照用２値化エッジ画像３１０に含まれるエッジ画素の大部分が同じ位置にある。そのため、エッジマッチング画像３２０においても、静止領域３０１及び３０２に含まれる、両２値化エッジ画像について一致するエッジ画素の数は、各２値化エッジ画像におけるエッジ画素の数とほぼ等しい。これは、エッジ画素が物体の輪郭上に位置する画素であるため、物体の位置が変われば、物体の輪郭の位置も変わり、両方のピクチャ上でのその輪郭に相当するエッジの位置が一致しなくなるためである。このように、２値化エッジ画像を分割した複数の小領域のそれぞれについて、両２値化エッジ画像について一致するエッジ画素の数とその小領域に含まれるエッジ画素の総数の比に基づくことにより、領域選択部１７は、静止領域を正確に検出できることがわかる。
【００３２】
段階的シーン遷移検出部１８は、符号化対象となる現在のピクチャ及び参照ピクチャ上の静止領域から求められる段階的シーン遷移検出用画像統計量が所定の段階的シーン遷移判定条件を満たす場合、現在のピクチャあるいは参照ピクチャに対してフェードが適用されていると判定する。
一例として、段階的シーン遷移検出部１８は、現在のピクチャの静止領域に含まれるエッジ画素の数と、参照ピクチャの静止領域に含まれるエッジ画素の数の差分絶対値を段階的シーン遷移検出用画像統計量として抽出する。また段階的シーン遷移検出部１８は、現在のピクチャの静止領域に含まれるエッジ画素のうち、参照ピクチャ上の対応する位置の画素もエッジ画素である画素の数を他の段階的シーン遷移検出用画像統計量として抽出してもよい。さらに、段階的シーン遷移検出部１８は、静止領域に含まれる各画素のうち、現在のピクチャか参照ピクチャの何れか一方のみがエッジ画素である画素の数の合計をさらに他の段階的シーン遷移検出用画像統計量として抽出してもよい。また段階的シーン遷移検出部１８は、現在のピクチャの静止領域と対応する参照ピクチャの静止領域に対する周波数成分のうち、所定の閾値よりも高周波数の成分の差分絶対値をさらに他の段階的シーン遷移検出用画像統計量として抽出してもよい。
【００３３】
段階的シーン遷移検出部１８は、抽出された段階的シーン遷移検出用画像統計量を判別関数に入力することにより、判別関数が正の値を出力すれば、段階的シーン遷移判定条件が満たされると判定する。すなわち、判別関数が正の値を出力すれば、段階的シーン遷移検出部１８はフェードが適用されていると判定し、一方、判別関数が０以下の値を出力すれば、フェードは適用されていないと判定する。なお、判別関数は、フェードが適用されている複数のピクチャの組及びフェードが適用されていない複数のピクチャの組から抽出された上記の特徴量に基づいて、判別分析などの手法により、フェードが適用されているときに正の値を出力するように予め学習される。
【００３４】
また他の例として、段階的シーン遷移検出部１８は、静止領域に含まれる、現在のピクチャのエッジ強度のヒストグラムと、参照ピクチャのエッジ強度のヒストグラムとの差を段階的シーン遷移検出用画像統計量として求めてもよい。この場合、段階的シーン遷移検出部１８は、エッジ強度ごとに、現在のピクチャのエッジ強度の頻度と、参照ピクチャのエッジ強度の頻度の差の絶対値を求め、それら絶対値の合計を両ピクチャのエッジ強度のヒストグラムの差として算出する。そして段階的シーン遷移検出部１８は、両ピクチャのエッジ強度のヒストグラムの差が所定の閾値よりも大きければ、フェードが適用されていると判定し、一方、両ピクチャのエッジ強度のヒストグラムの差が所定の閾値以下であれば、フェードが適用されていないと判定する。
【００３５】
さらに他の例として、段階的シーン遷移検出部１８は、静止領域に含まれる、現在のピクチャの画素の輝度値と参照ピクチャの対応画素の輝度値の差の絶対値の平均値を段階的シーン遷移検出用画像統計量として求めてもよい。そして段階的シーン遷移検出部１８は、その平均値がフェード検出用閾値よりも大きければ、フェードが適用されていると判定し、一方、その平均値がフェード検出用閾値以下であれば、フェードが適用されていないと判定する。なお、段階的シーン遷移検出部１８は、現在のピクチャの静止領域に含まれる画素の輝度値の平均値と参照ピクチャの静止領域に含まれる画素の輝度値の平均値との差の絶対値を段階的シーン遷移検出用画像統計量として求めてもよい。
【００３６】
静止領域には、現在のピクチャと参照ピクチャの間で移動する物体は写っていない。または、静止領域に現在のピクチャと参照ピクチャの間で移動する物体が写っていたとしても、そのような物体が占める領域は、静止領域全体に比べて非常に小さい。そのため、現在のピクチャの画素の値と参照ピクチャの対応画素の値の差は、日照の変化など、環境条件の変化か、フェードなどの人工的な映像の加工に起因する可能性が高い。そして時間的に近い二つのピクチャ間では、環境条件が大きく変化することは少ない。したがって、輝度変化値が大きい場合には、フェードが適用されている可能性が高い。そのため、フェード検出用閾値を、環境条件に起因する輝度変化値よりも大きい値となるように、実験的または経験的に設定することにより、段階的シーン遷移検出部１８は、高い精度でフェードが適用されているか否か判定することができる。
段階的シーン遷移検出部１８は、フェードが適用されているか否かの判定結果を補正値決定部１９及び動きベクトル計算部２０へ通知する。
【００３７】
補正値決定部１９は、ブロックマッチングの精度を向上させるために、符号化対象ピクチャまたは参照ピクチャの各画素の輝度値を補正する補正値を決定する。
例えば、後述するように、動きベクトルを計算するために参照ピクチャの各画素の輝度値が次式に従って補正されるとする。
【数１】
2011055229.tif 000003
ここでPrefは、参照ピクチャの画素の輝度値を表し、Pcorは、補正された画素の輝度値を表す。また係数wは重み係数であり、oはオフセット値である。この場合、補正値決定部１９は、補正値として、係数w及びオフセット値oを決定する。
補正値決定部１９は、一例として、参照ピクチャの各画素の輝度値を（１）式に入力したときに得られる値と、現在のピクチャの対応する画素の輝度値との誤差の二乗和が最小になるように最小二乗法を用いて、重み係数w及びオフセット値oを決定する。
【００３８】
他の例として、補正値決定部１９は、参照ピクチャの各画素の輝度値と、参照ピクチャの輝度平均値Mrefとの差の絶対値和Vrefに対する現在のピクチャの各画素の輝度値と、現在のピクチャの輝度平均値Mcurとの差の絶対値和Vcurの比(Vcur/Vref)を、重み係数wとしてもよい。この場合、補正値決定部１９は、現在のピクチャの輝度平均値Mcurから、参照ピクチャの輝度平均値Mrefに上記の比(Vcur/Vref)を乗じた値を減じた値(Mcur-(Vcur/Vref)Mref)をオフセット値oとする。
【００３９】
上記の何れの例においても、補正値決定部１９は、静止領域に含まれる画素の輝度値のみを用いて重み係数w及びオフセット値oを決定することが好ましい。静止領域には、参照ピクチャと現在のピクチャとの間で移動する移動物体が写っていないか、移動物体が写っている範囲が静止領域全体と比較して狭いと想定される。すなわち、参照ピクチャの静止領域に含まれる画素と対応する現在のピクチャの画素には、同じ物体が写っている可能性が高い。したがって、補正値決定部１９は、静止領域に含まれる画素の輝度値に基づいて重み係数w及びオフセット値oを決定することにより、フェード効果による輝度値の変化を正確に求めることができる。
【００４０】
また、補正値決定部１９は、現在のピクチャに含まれる画素の輝度値が参照ピクチャの対応する位置にある画素の輝度値と一致するように、現在のピクチャを補正する補正値を決定してもよい。この場合、補正値決定部１９は、上記の各例において、重み係数w及びオフセット値oを決定するために、参照ピクチャに含まれる画素の輝度値と現在のピクチャに含まれる画素の輝度値を入れ替えればよい。
補正値決定部１９は、補正値を動きベクトル計算部２０へ渡す。また予測画像がこの補正値により補正された参照ピクチャに基づいて生成される場合、補正値決定部１９は、補正値を予測画像生成部２１にも渡す。
【００４１】
なお、例えば、H.264 MPEG-4 AVCに規定されているように、動画像符号化装置１は、複数の参照ピクチャを利用可能である場合、補正値は参照ピクチャごとに決定される。すなわたい、エッジ検出部１６、領域選択部１７、段階的シーン遷移検出部１８及び補正値決定部１９は、参照ピクチャごとに上記の処理を実行する。
【００４２】
動きベクトル計算部２０は、インター符号化用の予測画像を作成するために、現在のピクチャの各マクロブロックと参照ピクチャを用いて、動きベクトルを求める。動きベクトルは、現在のピクチャのマクロブロックと、そのマクロブロックに最も類似する参照ピクチャのブロックとの空間的な移動量を表す。
動きベクトル計算部２０は、フェードが適用されている場合、補正値決定部１９から受け取った重み係数w及びオフセット値oを用いて、上記の（１）式に従って参照ピクチャの各画素の輝度値を補正する。そして動きベクトル計算部２０は、例えば、現在のピクチャの着目するマクロブロックと、補正された参照ピクチャとのブロックマッチングを実行することにより、着目するマクロブロックと最も一致する参照ピクチャ及びその参照ピクチャ上の領域を決定する。なお、動きベクトル計算部２０は、現在のピクチャを補正値決定部１９から受け取った補正値を用いて補正した後、その補正された現在のピクチャと参照ピクチャとの間で動きベクトルを計算してもよい。
一方、動きベクトル計算部２０は、段階的シーン遷移検出部１８から、現在のピクチャ及び参照ピクチャの何れにもフェードが適用されていないとの判定結果を受け取った場合、現在のピクチャ及び参照ピクチャの何れも補正しない。そして動きベクトル計算部２０は、現在のピクチャの着目するマクロブロックと、補正されていない参照ピクチャとのブロックマッチングを実行することにより、着目するマクロブロックと最も一致する参照ピクチャ及びその参照ピクチャ上の領域を決定する。
【００４３】
動きベクトル計算部２０は、現在のピクチャのマクロブロックの位置と、そのマクロブロックに最も一致する領域との水平方向及び垂直方向の移動量と、その領域が属する参照ピクチャを表す識別情報を、それぞれ要素とするベクトルを動きベクトルとする。
動きベクトル計算部２０は、現在のピクチャに含まれる各マクロブロックに対して、それぞれ動きベクトルを求める。そして動きベクトル計算部２０は、求めた動きベクトルを予測画像生成部２１及び符号化部１０へ渡す。
【００４４】
予測画像生成部２１は、参照画像記憶部１５から得た参照ピクチャを、動きベクトル計算部２０から提供される動きベクトルに基づいて動き補償することにより、動き補償されたブロック単位のインター符号化用の予測画像を生成する。なお、動き補償は、動きベクトルで表された、マクロブロックとそれに対して最も類似する参照ピクチャのブロックの位置ずれ量を相殺するように、その最も類似する参照ピクチャのブロックの位置を移動する処理である。
また予測画像生成部２１は、補正値決定部１９から受け取った補正値を用いて、（１）式に従って予測画像をブロック単位で補正してもよい。
【００４５】
また予測画像生成部２１は、現在のピクチャのうちの着目するマクロブロックについて、その着目マクロブロックの左側または上側に隣接する、既に符号化されたマクロブロックに含まれる画素値から補間によってイントラ符号化用予測画像を生成する。
予測画像生成部２１は、現在のピクチャがIピクチャであれば、イントラ符号化用予測画像を予測誤差信号生成部１１へ渡す。一方、予測画像生成部２１は、現在のピクチャがPピクチャまたはBピクチャであれば、インター符号化用予測画像を予測誤差信号生成部１１へ渡す。
【００４６】
図４は、インター符号化されるピクチャに対するインター符号化処理の動作フローチャートを示す。
【００４７】
エッジ検出部１６は、符号化対象である現在のピクチャからエッジ画素を検出することにより、エッジ画素と非エッジ画素が異なる値を持つ２値化エッジ画像を作成する（ステップＳ１０１）。
またエッジ検出部１６は、参照ピクチャからエッジ画素を検出することにより、エッジ画素と非エッジ画素が異なる値を持つ参照用２値化エッジ画像を作成する（ステップＳ１０２）。エッジ検出部１６は、２値化エッジ画像及び参照用２値化エッジ画像を領域選択部１７へ渡す。
【００４８】
領域選択部１７は、現在のピクチャについての２値化エッジ画像を分割した複数の小領域のうち、エッジマッチングにより、参照用２値化エッジ画像上の対応する位置にある領域と類似すると判定された小領域を静止領域と判定する（ステップＳ１０３）。領域選択部１７は、静止領域の位置を表す情報を段階的シーン遷移検出部１８へ渡す。
【００４９】
段階的シーン遷移検出部１８は、現在のピクチャの静止領域及び参照ピクチャの静止領域から段階的シーン遷移検出用画像統計量を算出する（ステップＳ１０４）。なお、段階的シーン遷移検出用画像統計量は、例えば、静止領域に含まれる対応画素間の輝度の差の絶対値の平均値など、段階的シーン遷移検出部１８の説明において例示した画像統計量とすることができる。段階的シーン遷移検出部１８は、段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たすか否か判定する（ステップＳ１０５）。
【００５０】
段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たす場合（ステップＳ１０５−Ｙｅｓ）、段階的シーン遷移検出部１８は、フェードが適用されていると判定する。そして段階的シーン遷移検出部１８は、その判定結果を補正値決定部１９及び動きベクトル決定部２０へ通知する。補正値決定部１９は、参照ピクチャの各画素の輝度値を対応する現在のピクチャの画素の輝度値と一致するように補正する補正値を決定する（ステップＳ１０６）。補正値決定部１９は、補正値を動きベクトル計算部２０へ渡す。
動きベクトル計算部２０は、補正値を用いて補正された参照ピクチャと現在のピクチャとの間でマクロブロックごとに動きベクトルを算出する（ステップＳ１０７）。
【００５１】
一方、段階的シーン遷移検出用画像統計量が段階的シーン遷移判定条件を満たさない場合（ステップＳ１０５−Ｎｏ）、段階的シーン遷移検出部１８は、フェードが適用されていないと判定する。そして段階的シーン遷移検出部１８は、その判定結果を補正値決定部１９及び動きベクトル計算部２０へ通知する。動きベクトル計算部２０は、参照ピクチャと現在のピクチャとの間でマクロブロックごとに動きベクトルを算出する（ステップＳ１０８）。
ステップＳ１０７あるいはＳ１０８の後、動きベクトル計算部２０は、各マクロブロックに対する動きベクトルを予測画像生成部２１及び符号化部１０へ渡す。
【００５２】
予測画像生成部２１は、動きベクトルを用いて動き補償された予測画像を作成する（ステップＳ１０９）。そして予測画像生成部２１は、予測画像を予測誤差信号生成部１１へ渡す。
予測誤差信号生成部１１は、現在のピクチャと予測画像との予測誤差を算出する（ステップＳ１１０）。そして予測誤差信号生成部１１は、予測誤差を符号化部１０へ渡す。
符号化部１０は、予測誤差及び動きベクトルを符号化する（ステップＳ１１１）。そして符号化部１０は、生成された符号化データを出力する。
ステップＳ１１１の後、動画像符号化装置１は、インター符号化処理を終了する。
【００５３】
なお、ステップＳ１０１の処理とステップＳ１０２の処理の順序は入れ替わっていてもよい。
また、動画像符号化装置１は、イントラ符号化されるIピクチャに対しては、様々なイントラ符号化方法の何れか、例えば、H.264 MPEG-4 AVCに規定されたイントラ符号化方法に従って符号化すればよい。
また、動画像符号化装置１により符号化された動画像データは、例えば、H.264 MPEG-4 AVCに準拠するデータとすることができる。そのため、動画像符号化装置１により符号化された動画像データは、従来の動画像復号装置により復号することができる。
【００５４】
以上に説明してきたように、この動画像符号化装置は、符号化対象である現在のピクチャと参照ピクチャにおける静止領域から算出された画像統計量に基づいてフェードが適用されているか否かを判定する。これにより、この動画像符号化装置は、現在のピクチャと参照ピクチャ間での物体の動きなど、フェード以外の要因による画像統計量の変化による影響を抑制できる。そのため、この動画像符号化装置は、フェードが適用されていないピクチャに対して、フェードが適用されていると誤判定することを防止できる。
また、現在のピクチャと参照ピクチャの何れかにフェードが適用され、それらピクチャの対応画素間で輝度が変化していても、それらピクチャ上に写っている物体の輪郭に相当するエッジ画素の位置は変化しない。そのため、静止領域を検出するためにエッジマッチングを使用するこの動画像符号化装置は、静止領域を高い精度で検出できる。
【００５５】
なお、本発明は上記の実施形態に限定されるものではない。例えば、エッジ検出部は、現在のピクチャの各画素のエッジ強度を表すエッジ画像及び参照ピクチャの各画素のエッジ強度を表す参照用エッジ画像を領域選択部へ渡してもよい。この場合、領域選択部は、静止領域を検出するために、エッジ画像を分割することにより得られる複数の小領域のそれぞれと、参照用エッジ画像の対応する領域間でパターンマッチングを行うことにより相関値を算出する。この場合、相関値cは次式に従って算出される。
【数２】
2011055229.tif 000004
ここで、SPcur(x,y)は、現在のピクチャについてのエッジ画像の着目する小領域に含まれる、水平座標x、垂直座標yの画素のエッジ強度を表す。またSPref(x,y)は、参照用エッジ画像に含まれる、水平座標x、垂直座標yの画素のエッジ強度を表す。また、Mcurは、現在のピクチャについてのエッジ画像の着目する小領域に含まれる画素の平均エッジ強度であり、Mrefは、着目する小領域と対応する参照用エッジ画像の領域に含まれる画素の平均エッジ強度である。この相関値cは、-1〜1の間に含まれる値をとり得る。着目する小領域と対応する領域に含まれる各画素のエッジ強度が完全に一致している場合、相関値cは1となる。一方、着目する小領域と対応する領域に含まれる各画素のエッジ強度が完全に反転している場合、相関値cは-1となる。
領域選択部は、複数の小領域のうち、得られた相関値が静止領域検出用閾値よりも高い小領域を静止領域と判定する。なお、静止領域検出用閾値は、静止領域について求められた相関値の最小値となるように、実験的あるいは経験的に決定される。例えば、静止領域検出用閾値は、0.7に設定される。
【００５６】
また、他の実施形態によれば、領域選択部は、静止領域を検出するために、現在のピクチャの各小領域と、参照ピクチャの対応する位置にある小領域との相関値をパターンマッチングにより求めてもよい。そして相関値が静止領域検出用閾値よりも高い場合、領域選択部は、それら二つの小領域は静止領域であると判定してもよい。この場合、現在のピクチャまたは参照ピクチャにフェードが適用されていると、静止領域に含まれる画素であっても現在のピクチャと参照ピクチャとの間で輝度値が変化するので相関値も低下する。そこで、静止領域検出用閾値は、フェードによる各画素の輝度変化を考慮して、フェードが適用されないときの静止領域の相関値の最小値よりも低く設定されることが好ましい。またエッジ検出部は省略されてもよい。
【００５７】
さらに、空が撮影された場合のように、ピクチャ全体に一様な景色が写っていることもある。このような場合、エッジ強度が高い画素の数は少なく、また移動物体による画像統計量の変化も小さい。そこで、現在のピクチャ及び参照ピクチャについて、所定の強度よりも大きいエッジ画素の数が、それぞれそれらピクチャの総画素数に対して占める割合が所定の比率以下である場合、領域選択部は、ピクチャ全体を静止領域としてもよい。あるいは、その割合が所定の比率以下である場合、領域選択部は、現在のピクチャの各小領域と、参照ピクチャの対応する位置にある小領域とのパターンマッチングにより、静止領域を決定してもよい。
【００５８】
また、ビデオカメラを動かしながら撮影した場合のように、ピクチャに写っている物体全体が移動することもある。そこで、領域選択部は、静止領域を決定するために、現在のピクチャと参照ピクチャの位置を水平方向または垂直方向にずらしながらエッジマッチングまたはパターンマッチングを行ってもよい。そして領域選択部は、上記の一致比あるいは相関値の最大値を用いて、着目する小領域が静止領域か否かを判定すればよい。
【００５９】
また、参照ピクチャと現在のピクチャの両方で同じ位置にある連続したエッジ画素で囲まれた範囲には、同じ物体が写っている可能性が高い。そこで、補正値決定部は、連続したエッジ画素で囲まれた範囲に含まれる画素の輝度及び色に対する重みを、他の画素に対する重みよりも大きくして、上記の実施形態にて説明した処理を実行することにより、動き補償用の補正値を決定してもよい。
この場合、補正値決定部は、エッジ方向が同じエッジ画素が所定数以上連続している複数のエッジ線が連結された線により囲まれた領域をエッジ画素で囲まれた範囲とすることが好ましい。物体の輪郭では、コーナー部分を除いて、互いに隣接するエッジ画素間でエッジ方向は殆ど変化しないためである。そこでこの場合、エッジ検出部は、各エッジ画素について、水平方向のエッジ強度の絶対値が垂直方向のエッジ強度の絶対値よりも大きければ、エッジ方向は水平方向であると判定する。一方、垂直方向のエッジ強度の絶対値が水平方向のエッジ強度の絶対値よりも大きければ、エッジ検出部は、そのエッジ画素のエッジ方向は垂直方向であると判定する。そして補正値決定部は、各エッジ画素のエッジ方向を表す情報を、エッジ検出部から取得する。
【００６０】
また他の実施形態によれば、補正値決定部は、参照ピクチャと現在のピクチャの対応する画素の色差信号が一致するように、参照ピクチャまたは現在のピクチャの各画素の色差信号を補正する補正値を求めてもよい。この場合、補正値決定部は、上記の実施例にて説明した、補正値を決定するための統計量を、輝度値の代わりに色差信号を用いて計算すればよい。そして動きベクトル計算部は、色差信号が補正された参照ピクチャあるいは現在のピクチャを用いて、動きベクトルを計算すればよい。
【００６１】
この動画像符号化装置は、様々な用途に利用される。例えば、この動画像符号化装置は、ビデオカメラ、映像伝送装置、テレビ電話システム、コンピュータあるいは携帯電話機に組み込まれる。例えば、この動画像符号化装置が映像伝送装置に組み込まれる場合、この動画像符号化装置により作成された符号化された動画像データは、音声信号等、動画像データと同時に取得される他の信号とともに、所定の通信規格に従ったデータストリームに変換される。そして動画像符号化装置を組み込んだ映像伝送装置は、そのデータストリームを、出力部に接続されたアンテナを介して、あるいは通信回線を介して、遠隔地に設置された動画像復号装置へ伝送する。
【００６２】
図５は、上記の何れかの実施形態に係る動画像符号化装置が組み込まれた映像伝送装置の概略構成図である。映像伝送装置１００は、映像取得部１０１と、音声取得部１０２と、映像符号化部１０３と、音声符号化部１０４と、多重化部１０５と、通信処理部１０６と、出力部１０７とを有する。
【００６３】
映像取得部１０１は、動画像信号をビデオカメラなどの他の装置から取得するためのインターフェース回路を有する。そして映像取得部１０１は、映像伝送装置１００に入力された動画像信号を映像符号化部１０３へ渡す。
【００６４】
音声取得部１０２は、音声信号をマイクロフォンなどの他の装置から取得するためのインターフェース回路を有する。そして音声取得部１０２は、映像伝送装置１００に入力された音声信号を音声符号化部１０４へ渡す。
なお、映像伝送装置１００は、映像取得部１０１と音声取得部１０２の代わりに、通信回線と映像伝送装置１００を接続するインターフェース回路を有し、そのインターフェース回路を通じて動画像信号及び音声信号を取得してもよい。
【００６５】
映像符号化部１０３は、動画像信号のデータ量を圧縮するために、動画像信号を符号化する。そのために、映像符号化部１０３は、上記の実施形態のうちの何れかの動画像符号化装置を有する。そして映像符号化部１０３は、動画像信号を符号化する。映像符号化部１０３は、符号化動画像データを多重化部１０５へ出力する。
【００６６】
音声符号化部１０４は、例えば、MPEG-4 High-Efficiency Advanced Audio Coding ver.2 (HE-AAC ver.2)などのオーディオ符号化規格に従って音声信号を符号化することにより、符号化オーディオデータを生成する。そして音声符号化部１０４は、符号化オーディオデータを多重化部１０５へ出力する。
【００６７】
多重化部１０５は、符号化動画像データと符号化オーディオデータを多重化する。そして多重化部１０５は、MPEG-2トランスポートストリームなどの映像データの伝送用の所定の形式に従ったストリームを作成する。
多重化部１０５は、符号化動画像データと符号化オーディオデータが多重化されたストリームを通信処理部１０６へ出力する。
【００６８】
通信処理部１０６は、符号化動画像データと符号化オーディオデータが多重化されたストリームを、Transmission Control Protocol/Internet Protocol(TCP/IP)などの所定の通信規格にしたがったパケットに分割する。また通信処理部１０６は、各パケットに、宛先情報などが格納された所定のヘッダを付す。そして通信処理部１０６は、パケットを出力部１０７へ渡す。
【００６９】
出力部１０７は、映像伝送装置１００を通信回線に接続するためのインターフェース回路を有する。そして出力部１０７は、通信処理部１０６から受け取ったパケットを通信回線へ出力する。
【００７０】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００７１】
１    動画像符号化装置
１０    符号化部
１１    予測誤差信号生成部
１２    直交変換・量子化部
１３    可変長符号化部
１４    復号部
１５    参照画像記憶部
１６    エッジ検出部
１７    領域選択部
１８    段階的シーン遷移検出部
１９    補正値決定部
２０    動きベクトル計算部
２１    予測画像生成部
１００    映像伝送装置
１０１    映像取得部
１０２    音声取得部
１０３    映像符号化部
１０４    音声符号化部
１０５    多重化部
１０６    通信処理部
１０７    出力部
【図１】
2011055229.tif 000005
【図３】
2011055229.tif 000006
【図４】
2011055229.tif 000007
【図５】
2011055229.tif 000008
【図２】
2011055229.tif 000009