(57)【要約】【課題】フェードシーンを精度良く検出できる動画像符号化方法等を提供すること。【解決手段】重み付き予測を利用した動画像符号化方法であって、符号化対象画像と参照画像との間で類似領域を抽出し、抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する。【選択図】図２
2017163421.tif 000002
【特許請求の範囲】
【請求項１】
重み付き予測を利用した動画像符号化方法であって、
符号化対象画像と参照画像との間で類似領域を抽出し、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する
動画像符号化方法。
【請求項２】
前記符号化対象画像及び前記参照画像それぞれを複数の領域に分割し、
前記符号化対象画像を分割した対象分割画像と、前記参照画像を分割した参照分割画像とに基づいて、類似領域を抽出する
請求項１に記載の動画像符号化方法。
【請求項３】
前記参照画像における前記参照分割画像の位置は、前記符号化対象画像における前記対象分割画像の位置と同一とする
請求項２に記載の動画像符号化方法。
【請求項４】
重み付き予測を利用した動画像符号化を行うコンピュータに、
符号化対象画像と参照画像との間で類似領域を抽出し、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する
処理を実行させるコンピュータプログラム。
【請求項５】
重み付け予測を利用した動画像符号化装置であって、
符号化対象画像と参照画像との間で類似領域を抽出する抽出部と、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する算出部と
を備える動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フェードシーンを検出し、動画像の符号化を行う動画像符号化方法等に関する。
【背景技術】
【０００２】
動画像の符号化には、例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ）により勧告されたＨ．２６４と呼ばれる符号化方式が広く利用されている。国際標準化機構（ＩＳＯ）及び国際電気標準会議（ＩＥＣ）では、同じ技術がＭＰＥＧ−４  ＡＶＣ（ＭＰＥＧ−４  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）と呼ばれている。これらの呼称はまとめてＨ．２６４／ＡＶＣと表記されることがある。
【０００３】
Ｈ．２６４／ＡＶＣ方式の符号化には、異なる動画フレームを参照して現在の動画フレームを予測するフレーム間予測又はインター予測と呼ばれる技術が利用される。時間的に前の動画フレームを参照して現在の動画フレームを予測する方法は前方向予測（ＦｏｒｗａｒｄＰｒｅｄｉｃｔｉｏｎ）と呼ばれる。また、時間的に後の動画フレームを参照して現在の動画フレームを予測する方法は後方向予測（Ｂａｃｋｗａｒｄ  Ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる。
【０００４】
また、Ｈ．２６４／ＡＶＣ方式では、時間的に前又は後にある複数の動画フレームを参照して現在の動画フレームを予測する双方向予測（Ｂｉ−ｄｉｒｅｃｔｉｖｅ  Ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる技術も採用されている。Ｈ．２６４／ＡＶＣ方式の次世代規格であるＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式も動画像の符号化に利用され始めている。Ｈ．２６５／ＨＥＶＣ方式でもフレーム間予測の技術が採用されている。
【０００５】
フレーム間予測では、時間的の予測効率が高められた動き補償を行うために動き予測情報が用いられる。
【０００６】
ところで、動画像においては、明るさが時間的に変化するフェードシーンが含まれる場合がある。このフェードシーンにおいては、従来の単純な動き補償では効率的な圧縮を行うことができない。そのため、Ｈ２６４やＨＥＶＣでは、フェードシーンに対して、参照フレームの予測誤差に重み付け係数を掛けて動き補償する、重み付け予測  （Ｗｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ）が採用されている。しかし、フェードシーンの検出方法と重み付け係数の決定方法などは確立されていない。そこで、フェードシーンを精度良く検出できる技術が求められている。
【０００７】
それに対して、動き補償を伴わないフレーム間差分を用いてフェードシーンを検出する方法が提案されている（例えば、特許文献１を参照）。しかし、動き補償を伴わないため、動きが大きなシーンがでは、検出精度が低下するおそれがある。そのため、動き補償を伴いフレーム間差分を用いてフェードシーンを検出する方法も提案されている（例えば、特許文献２を参照）。しかしながら、動き補償を伴う場合は、精度は確保できるが、演算量が多く、処理負荷が大きくなってしまう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−５９６８３号公報
【特許文献２】特開平９−３２２１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
１つの側面では、フェードシーンを低演算量かつ精度良く検出できる動画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
一つの態様では、重み付き予測を利用した動画像符号化方法であって、符号化対象画像と参照画像との間で類似領域を抽出し、抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する。
【発明の効果】
【００１１】
一観点によれば、フェードシーンを精度良く検出できる。
【図面の簡単な説明】
【００１２】
【図１】動画像符号化装置のハードウェア構成例を示すブロック図である。
【図２】符号化処理の手順を示すフローチャートである。
【図３】類似領域抽出処理の手順を示すフローチャートである。
【図４】領域の対応関係を示す説明図である。
【図５】フェード判定処理の手順を示すフローチャートである。
【図６】フェード判定処理の他の手順を示すフローチャートである。
【図７】領域の対応関係の他の例を示す説明図である。
【図８】符号処理の他の手順を示すフローチャートである。
【図９】縮小ピクチャの分割領域を示す説明図である。
【図１０】動画像符号化装置の機能ブロック図である。
【発明を実施するための形態】
【００１３】
以下、実施の形態を、図面を参照して説明する。以下の説明において、ピクチャとは、例えば動画像を構成する各フレームの画像を言う。
【００１４】
次に、動画像符号化において用いられる重み付け予測について簡単に説明する。重み付け予測は、インター予測を行う際に、参照画像に重み付けを行う予測である。重み付け予測の基本式は以下である。以下の式は、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）レイヤに適用する場合である。ＧＯＰレイヤは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のフレームからなる。Ｉピクチャは、前後のピクチャとは独立している。Ｉピクチャはフレーム内だけ、すなわち、自身のみで符号化される。Ｐピクチャは過去のＩピクチャから前方向にフレーム間予測により符号化される。Ｂピクチャは過去のＩピクチャと未来のＰピクチャから双方向にフレーム間予測により符号化される。
【００１５】
Ｐｐｒｅｄ（ｘ）＝ｗ×Ｐｒｅｆ（ｘ＋ｖ）＋ｏ  …  （１）
Ｐｐｒｅｄ（ｘ）＝ｗ０×Ｐｒｅｆ０（ｘ＋ｖ０）＋ｗ１×Ｐｒｅｆ１（ｘ＋ｖ１）
＋ｏ０＋ｏ１  …  （２）
ただし、
Ｐｐｒｅｄ（ｘ）        ：  現ピクチャの予測画像内の画素
Ｐｒｅｆ（ｘ＋ｖ）      ：  現ピクチャの参照ピクチャ内の画素
Ｐｒｅｆ０（ｘ＋ｖ０）  ：  現ピクチャの参照ピクチャ内の画素
Ｐｒｅｆ１（ｘ＋ｖ１）  ：  現ピクチャの参照ピクチャ内の画素
ｗ、ｗ０、ｗ１          ：  参照画像につける重み係数（ｗｅｉｇｈｔ）
ｏ、ｏ０、ｏ１          ：  参照画像につけるオフセット（ｏｆｆｓｅｔ）
【００１６】
式（１）がＰピクチャについての予測式である。式（２）がＢピクチャについての予測式である。
【００１７】
（実施の形態１）
動画像では、連続する直前、直後のフレーム間では絵柄が類似している場合が多い。つまり、背景は変わらず人物などの被写体のみが動く場合である。また、フレーム間での画像の変化に注目した場合、絵柄の類似度が高い領域は、フェードシーンではなければ、画像間の画素値も同じある。または、画素値に変化があったとしても、その変化量は大きくはない。したがって、画素値が大きく変化する場合、フェードシーンであると考えられる。本実施の形態では、この性質を利用して、フェードシーンの検出を行う。より具体的には、各ピクチャを複数の領域に分割し、ピクチャ間で類似度が高い領域を抽出する。そして、類似度が高い領域（「類似領域」という。）のみを用いて、フェードシーンの判定を行う。
【００１８】
図１は動画像符号化装置１のハードウェア構成例を示すブロック図である。動画像符号化装置１は、汎用コンピュータ、ワークステーション、サーバコンピュータ、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣ等である。
【００１９】
動画像符号化装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３、画像入力部１４、画像出力部１５、大容量記憶部１６、通信部１７、読み取り部１８を含む。各構成はバスＢで接続されている。
【００２０】
ＣＰＵ１１はＲＯＭ１２に記憶された制御プログラム（コンピュータプログラム）１Ｐに従いハードウェア各部を制御する。ＲＡＭ１３は例えばＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）、フラッシュメモリである。ＲＡＭ１３はＣＰＵ１１による制御プログラム１Ｐの実行時に発生するデータを一時的に記憶する。
【００２１】
画像入力部１４には、動画像が入力される。画像出力部１５は、表示装置等に動画像を出力する。
【００２２】
大容量記憶部１６は、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。大容量記憶部１６は、ＲＡＭ１３と同様に、制御プログラム１Ｐの実行時に発生するデータなどを一時的に記憶する。また、制御プログラム１Ｐを大容量記憶部１６に記憶しても良い。
【００２３】
通信部１７はネットワークＮを介して、他のコンピュータと通信を行う。
【００２４】
読み取り部１８はＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。ＣＰＵ１１が読み取り部１８を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１６に記憶しても良い。また、ネットワークＮを介して他のコンピュータからＣＰＵ１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１６に記憶しても良い。さらにまた、半導体メモリ１ｂから、ＣＰＵ１１が制御プログラム１Ｐを読み込んでも良い。
【００２５】
次に、動画像符号化装置１が符号化処理の手順について説明する。図２は符号化処理の手順を示すフローチャートである。動画像符号化装置１のＣＰＵ１１は類似領域の抽出を行う（ステップＳ１）。類似領域の抽出の詳細については、後述する。ＣＰＵ１１は統計情報の算出・保存を行う（ステップＳ２）。ＣＰＵ１１は抽出した類似領域の位置情報を用いて、現在の処理対象ピクチャと各参照ピクチャの類似領域の画素平均値などの統計情報を用い、参照ピクチャごとにピクチャ単位の重み付けインター予測に使われる重み係数とオフセットを算出し、ＲＡＭ１３等に保存する。
【００２６】
重み係数（ｗｅｉｇｈｔ）とオフセット（ｏｆｆｓｅｔ）の算出方法としては、例えば、現在処理対象ピクチャの原画分散値ＳＳＤ［ＣｕｒｒＰｉｃ］、画素平均値ＤＣ［ＣｕｒｒＰｉｃ］及び参照ピクチャの原画分散値ＳＳＤ［ＲｅｆＰｉｃ］、画素平均値ＤＣ［ＲｅｆＰｉｃ］を用いて、式（３）、（４）により算出する。
【００２７】
ｗｅｉｇｈｔ  ＝  ＳＳＤ［ＣｕｒＰｉｃ］／ＳＳＤ［ＲｅｆＰｉｃ］  …（３）
ｏｆｆｓｅｔ  ＝  ＤＣ［ＣｕｒＰｉｃ］  -  ｗｅｉｇｈｔ×ＤＣ［ＲｅｆＰｉｃ］
…（４）
【００２８】
本実施の形態では、ＨＥＶＣに従って各ピクチャを符号化する。そのため、符号化対象ピクチャのブロックはＣｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ（ＣＴＵ）単位で分割され、各ＣＴＵは、ラスタスキャン順に符号化される。
【００２９】
ＣＰＵ１１はフェード判定を行う（ステップＳ３）。フェード判定の詳細については、後述する。
【００３０】
ＣＰＵ１１はフェード判定の結果がフェードであったか否かを判定する（ステップＳ４）。ＣＰＵ１１は、判定の結果がフェードである判定した場合（ステップＳ４でＹＥＳ）、重み付けの動き探索を行う（ステップＳ５）。ＣＰＵ１１は参照ピクチャごとに、ステップＳ２で算出した重み係数とオフセットを用いて、上述の式（１）、（２）にしたがって、参照ピクチャの重み付け予測を行う。ＣＰＵ１１は符号化対象ブロックの予測画像を生成する。そして、ＣＰＵ１１は、参照ピクチャとの間でブロックマッチングを実行し、符号化ブロックと最も一致する領域の位置を決定する。それにより、符号化対象ブロックの動きベクトルと参照ピクチャを決定する。符号化ブロックと最も一致する領域の位置を決めるには、例えば、符号化コストを用いる。
【００３１】
ＣＰＵ１１は、判定の結果がフェードでないと判定した場合（ステップＳ４でＮＯ）、重み付けなしの動き探索を行う（ステップＳ６）。ＣＰＵ１１は、参照ピクチャに重み付けなしの動きベクトル探索を行う。ＣＰＵ１１探索結果に基づき、符号化対象ブロックの動きベクトルと参照ピクチャを決定する。
【００３２】
ＣＰＵ１１は、符号化モードを決定する（ステップＳ７）。ＣＰＵ１１は、イントラ予測を用いる場合の符号化コストを算出する。また、ＣＰＵ１１は、インター予測を用いる場合の最小符号化コストと、算出したイントラ予測を用いる場合の符号化コストとを比較する。ＣＰＵ１１は、比較した結果、コストの小さい方の予測を符号化対象ブロックの最適な符号化モードとして決定する。なお、インター予測を用いる場合の最小符号化コストは、ステップＳ５で符号化ブロックと最も一致する領域の位置を決めた際に算出した最小符号化コストである。
【００３３】
ＣＰＵ１１は、決定した符号化モードにより、現ピクチャの符号化を行う（ステップＳ８）。ＣＰＵ１１は、最後のピクチャまで処理したか判定する（ステップＳ９）。ＣＰＵ１１は最後のピクチャまで処理したと判定した場合（ステップＳ９でＹＥＳ）、処理を終了する。ＣＰＵ１１は最後のピクチャまで処理していないと判定した場合（ステップＳ９でＮＯ）、処理をステップＳ１に戻し、次のピクチャについての処理を行う。
【００３４】
次に、類似領域の抽出について説明する。図３は、類似領域抽出処理の手順を示すフローチャートである。ＣＰＵ１１は、現在の符号化処理対象ピクチャ（「現ピクチャ」とも言う）において、入力原画像を複数領域に分割する（ステップＳ１１）。例えば、縦方向に４分割、横方向に４分割する。分割は、各領域のサイズが等しくなるように等分割とする。なお、分割する領域の数は、入力画像サイズに応じて変えてもよい。
【００３５】
ＣＰＵ１１は、分割された一つの領域について、現ピクチャと前ピクチャとの相関係数を算出する（ステップＳ１２）。相関係数を算出する際に用いる前ピクチャの領域の位置は、現ピクチャの領域の位置と同一とする。図４は領域の対応関係を示す説明図である。図４において、Ｐｎは現ピクチャを示す。図４において、Ｐｎ−１は前ピクチャを示す。Ｂ１２ｎは、現ピクチャＰｎの分割された一つの領域を示す。Ｂ１２ｎ−１は、前ピクチャＰｎ−１の分割された一つの領域を示す。領域Ｂ１２ｎの現ピクチャＰｎにおける位置と、領域Ｂ１２ｎ−１の前ピクチャＰｎ−１における位置は同一としてある。
【００３６】
相関係数は、例えば、以下の式（５）により算出する。
【００３７】
ｃｏｒｒ［ｉ］＝Σ（ｐ（ｘ，ｙ）−Ｅ（ｐ））×（ｑ（ｘ，ｙ）−Ｅ（ｑ））／
｛Σ（ｐ（ｘ，ｙ）−Ｅ（ｐ））２×Σ（ｑ（ｘ，ｙ）−Ｅ（ｑ））２｝０．５
…（５）
ただし、
ｃｏｒｒ［ｉ］  ：ｉ番目の領域の相関係数
ｐ（ｘ，ｙ）    ：前ピクチャの画素値
ｑ（ｘ，ｙ）    ：現ピクチャの画素値
【００３８】
ＣＰＵ１１は、算出した処理対象領域の相関係数が所定の閾値Ｔｈ０より大きいかどうかを判定する（ステップＳ１３）。ＣＰＵ１１は、相関係数が閾値Ｔｈ０より大きいと判定した場合（ステップＳ１３でＹＥＳ）、処理対象領域を類似領域とする（ステップＳ１４）。ＣＰＵ１１は、相関係数が閾値Ｔｈ０以下であると判定した場合（ステップＳ１３でＮＯ）、処理対象領域を類似領域でない（非類似領域）とする（ステップＳ１５）。ＣＰＵ１１は未処理の領域があるか否かを判定する（ステップＳ１６）。ＣＰＵ１１は未処理の領域があると判定した場合（ステップＳ１６でＹＥＳ）、処理をステップＳ１２に戻す。ＣＰＵ１１は未処理の領域がないと判定した場合（ステップＳ１６でＮＯ）、処理を呼び出し元に戻す。なお、相関係数は、０以上１以下の値を取るので、閾値Ｔｈ０は、０．９以上とするのが、好適である。さらに、フェードシーンを検出するとの観点より、ほぼ変化のない領域の抽出が望ましいことから、Ｔｈ０を０．９５以上とすることが、より望ましい。
【００３９】
相関係数は、分割した領域内の画像同士の類似度の一例である。類似度は相関係数に限らず、他の値でも良い。画素値を複数の階級に分け、階級ごとの度数分布の比較から類似度を求めても良い。
【００４０】
次にフェード判定処理について説明する。図５はフェード判定処理の手順を示すフローチャートである。ＣＰＵ１１は、変数Ｎ１を０に初期化する（ステップＳ２１）。ＣＰＵ１１は、類似領域抽出処理により抽出した類似領域の一つを選択し、類似領域における現ピクチャと前ピクチャとの画素平均値の変化値を算出する（ステップＳ２２）。ＣＰＵ１１は算出した変化値が閾値Ｔｈ１より大きいか否かを判定する（ステップＳ２３）。ＣＰＵ１１は算出した変化値が閾値Ｔｈ１以下であると判定した場合（ステップＳ２３でＮＯ）、処理をステップＳ２５に移す。ＣＰＵ１１は変化値が閾値Ｔｈ１より大きいと判定した場合（ステップＳ２３でＹＥＳ）、変数Ｎ１の値を１増加させる（ステップＳ２４）。ＣＰＵ１１は未処理の領域（類似領域）があるか否かを判定する（ステップＳ２５）。ＣＰＵ１１は未処理の領域があると判定した場合（ステップＳ２５でＹＥＳ）、処理をステップＳ２２に戻し、未処理の類似領域についての処理を行う。ＣＰＵ１１は未処理の領域がないと判定した場合（ステップＳ２５でＮＯ）、変化値が閾値Ｔｈ１より大きい領域の数Ｎ１が類似領域総数Ｎに占める割合（Ｎ１／Ｎ）を算出する。ＣＰＵ１１は、算出した割合が閾値Ｔｈ２より大きいか否かを判定する（ステップＳ２６）。ＣＰＵ１１は割合Ｎ１／Ｎが閾値Ｔｈ２より大きいと判定した場合（ステップＳ２６でＹＥＳ）、フェードシーンであると判定する（ステップＳ２７）。ＣＰＵ１１は割合Ｎ１／Ｎが閾値Ｔｈ２以下であると判定した場合（ステップＳ２６でＮＯ）、フェードシーンでないと判定する（ステップＳ２８）。ＣＰＵ１１は処理を呼び出し元に戻す。
【００４１】
ステップＳ２２で算出する変化値Ｄｉｆｆ［ｉ］は以下の式（６）に基づいて算出する。ｉは処理対象領域の順番号である。
【００４２】
Ｄｉｆｆ［ｉ］＝Ａｖｇ＿Ｃｕｒｒ（ｉ）−Ａｖｇ＿Ｐｒｅｖ（ｉ）  …  （６）
ただし、
Ａｖｇ＿Ｃｕｒｒ（ｉ）：処理領域iにおいて、現ピクチャの画素値の平均値
Ａｖｇ＿Ｐｒｅｖ（ｉ）：処理領域iにおいて、前ピクチャの画素値の平均値
【００４３】
ここで使う、前ピクチャの画素の位置は、類似領域抽出処理で用いた画素の位置と同じである。なお、閾値Ｔｈ１は、１、２、４などの１以上の値とする。また、閾値Ｔｈ２は、０．９以上の値とする。
【００４４】
本実施の形態は、以下の効果を奏する。フェードシーンの判定において、ピクチャ間の絵柄が類似している領域の画素値だけを使う。そのため、動きのあるシーンでも、動き補償処理を行わずに低演算量かつ高精度で、フェードシーンを検出可能となる。また、類似領域の画素のみを重み係数の算出に使うので、重み係数が精度よく算出できる。以上によって、重み付けのインター予測において、参照画像から生成した予測画像を原画像に最も近づくことができ、符号化効率を向上できる。
【００４５】
（変形例１）
変形例１はフェードシーン判定精度をより向上させる形態である。変形例１では、類似領域の画素平均値の変化値、及び平均値の変化方向（大きくなるか、小さくなるか）によって、処理対象ピクチャがフェードであるかどうかを判定する。
【００４６】
図６は、フェード判定処理の他の手順を示すフローチャートである。図６において、図５に示した内容と同様なものについては、同一のステップ番号を振り、説明を省略する。ＣＰＵ１１は、変化値が閾値Ｔｈ１より大きい領域の数Ｎ１が類似領域総数Ｎに占める割合（Ｎ１／Ｎ）が、閾値Ｔｈ２よりも大きい場合（ステップＳ２６でＹＥＳ）、画素平均値の変更方向が一致する領域数Ｎ２を算出する（ステップＳ２９）。ＣＰＵ１１は領域数Ｎ２が類似領域の全数Ｎに占める割合（Ｎ２／Ｎ）を算出する。そして、ＣＰＵ１１は、割合Ｎ２／Ｎが閾値Ｔｈ３より大きいか否かを判定する（ステップＳ３０）。ＣＰＵ１１は、割合Ｎ２／Ｎが閾値Ｔｈ３より大きいと判定した場合（ステップＳ３０でＹＥＳ）、ＣＰＵ１１は、フェードシーンであると判定する（ステップＳ２７）。ＣＰＵ１１は割合Ｎ２／Ｎが閾値Ｔｈ３以下であると判定した場合（ステップＳ３０でＮＯ）、フェードシーンでないと判定する（ステップＳ２８）。また、ＣＰＵ１１は割合Ｎ１／Ｎが、閾値Ｔｈ２以下であると判定した場合（ステップＳ２６でＮＯ）、フェードシーンでないと判定する（ステップＳ２８）。ＣＰＵ１１は処理を呼び出し元に戻す。なお、Ｔｈ３は、例えば、０．９以上の値とする。
【００４７】
本変形例では、実施の形態１が奏する効果に加えて、次の効果を奏する。本変形例では、画素平均値の変化方向も考慮するので、フェードシーンの検出精度を向上させることが可能となる。
【００４８】
（実施の形態２）
本実施の形態は、前ピクチャから現ピクチャにかけて、小さな動きがある場合においても、類似領域の抽出を可能とする形態である。
【００４９】
図３に示す類似領域抽出処理において、ステップＳ１２で相関係数を算出する際に、前ピクチャにおける領域の位置を左・右・上・下の方向で、複数の画素ずらした位置の画素値を使う。図７は領域の対応関係の他の例を示す説明図である。図７において、Ｐｎは現ピクチャを示す。図７において、Ｐｎ−１は前ピクチャを示す。Ｂ１２ｎは、現ピクチャＰｎの分割された一つの領域を示す。Ｂ１２ｎ−１は、前ピクチャＰｎ−１の分割された一つの領域を示す。領域Ｂ１２ｎの現ピクチャＰｎにおける位置と、領域Ｂ１２ｎ−１の前ピクチャＰｎ−１における位置は同一ではない。領域Ｂ１２ｎ−１の位置は、右方向及び下方向に複数の画素ずらした位置となっている。
【００５０】
また、本実施の形態では、図５及び図６に示すフェード判定処理において、ステップＳ２２で画素平均値の変化値を算出する際にも、前ピクチャにおける領域の位置を左・右・上・下の方向で、複数の画素ずらした位置の画素値を使う。ずらす方向及びずらす量は、ステップＳ１２の場合と同じとする。
【００５１】
本実施の形態は、実施の形態１、変形例１が奏する効果に加えて、以下の効果を奏する。前ピクチャから現ピクチャにかけて、小さい動きがある場合でも、類似領域が抽出可能となり、フェードシーンを精度良く検出することが可能となる。
【００５２】
本実施の形態において、前ピクチャの領域をずらす方向、ずらす量は、例えば、前ピクチャの動きベクトルに基づいて定めれば良い。画像内の被写体の動きは急激に変化することは少ないため、前ピクチャの動きベクトルに基づいて、ずらす方向、ずらす量を定めても有効と考えられるからである。また、現ピクチャの類似領域抽出処理、フェード判定処理を実行の段階では、現ピクチャの動き探索は実行されていない。しかし、前ピクチャの動き探索は既に実行されているので、ずらす方向、ずらす量を定めるために、多大な処理量を必要としないからである。
【００５３】
（実施の形態３）
実施の形態３は、類似領域抽出処理、フェード判定処理に縮小画像を用いる形態である。以下の説明においては、実施の形態１と異なる点を主として説明する。
【００５４】
図８は符号処理の他の手順を示すフローチャートである。ＣＰＵ１１は、縮小ピクチャの生成を行う（ステップＳ３１）。例えば、入力されたピクチャのサイズが、水平方向にｎ画素、垂直方向にｍ画素とする。そして、水平方向の縮小率をｄ１、垂直方向の縮小率をｄ２とする。この場合、ＣＰＵ１１は、水平方向にｎ×ｄ１画素、垂直方向にｍ×ｄ２画素を持つ縮小ピクチャを生成する。なお、縮小率ｄ１、ｄ２は、１以下の正の値であり、例えば、１／２である。ＣＰＵ１１は、例えば、入力されたピクチャの各画素に対してガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用してそのピクチャを平滑化する。そしてＣＰＵ１１は、水平方向及び垂直方向の縮小率に応じて、平滑化されたピクチャをサブサンプリングすることで、縮小ピクチャを生成する。なお、平滑化するのは、ノイズを除去するためである。
【００５５】
図９は縮小ピクチャの分割領域を示す説明図である。図９Ａは縮小前のピクチャを示している。ピクチャＰｎが現ピクチャである。ピクチャＰｎ−１が前ピクチャである。図９Ｂは縮小ピクチャを示している。ピクチャＣＰｎが現ピクチャである。ピクチャＣＰｎ−１が前ピクチャである。
【００５６】
ＣＰＵ１１は、縮小ピクチャを複数領域に分割し、相関係数などに基づいて現ピクチャと前ピクチャの類似度が高い領域（類似領域）を抽出する（ステップＳ３２）。類似領域の抽出処理の手順は図３に示すフローチャートと同様であるが、簡単に説明する。例えば、図９Ｂに示しているように、縮小画像上で分割された各領域において、現ピクチャの画素、及び前ピクチャの同じ位置の画素を使い、それぞれの領域の相関係数を計算する。処理対象領域の相関係数が所定の閾値より大きい場合、当該領域を類似領域と判定する。
【００５７】
ＣＰＵ１１は、縮小画像、及び類似領域抽出処理で得た類似領域の位置情報を使い、現ピクチャや前ピクチャの画素平均値などの統計情報を計算して保存する（ステップＳ３３）。
【００５８】
ＣＰＵ１１はフェード判定を行う（ステップＳ３４）。フェード判定の処理手順は、図５又は図６に示したフローチャートと同様である。ただし、現ピクチャ、前ピクチャともに縮小画像を用いて行う。
【００５９】
図８のステップＳ３５以降の処理は、図２のステップＳ４以降と同様であるので、説明を省略する。
【００６０】
本実施の形態は、類似領域抽出、フェード判定において、縮小画像を用いる。それにより、以下の効果を奏する。類似度を示す相関係数を算出する面積が小さくなるため、演算量が削減できる。また、縮小画像によって、小さい動きが無視できるので、フェードの検出精度を向上することが可能である。
【００６１】
（実施の形態４）
本実施の形態は、類似領域抽出が他の実施の形態と異なる。本実施の形態においては、類似領域抽出を動きベクトルの情報を用いる。そのため、類似領域抽出する際のピクチャの分割は、動き探索時の分割領域、いわゆるＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）と同一である。同様にフェード判定を行う場合の領域も、ＰＵとなる。
【００６２】
本実施の形態において、類似領域の判定は次のように行う。ＣＰＵ１１は、現ピクチャの各領域に対応する前ピクチャの動きベクトルを取得する。ＣＰＵ１１は、取得した動きベクトルが０であれば、類似領域と判定する。ＣＰＵ１１は、取得した動きベクトルが０でなければ、類似領域でないと判定する。その他の処理は、実施の形態１と同様であるから、説明を省略する。
【００６３】
本実施の形態においては、実施の形態１が奏する効果に加えて、以下の効果を奏する。類似領域の判定を前ピクチャの処理結果（動きベクトル）を用いるため、類似領域の抽出処理の演算量が大幅に削減可能となる。
【００６４】
図１０は、動画像符号化装置１の機能ブロック図である。動画像符号化装置１は、抽出部１１ａ、判定部１１ｂ、算出部１１ｃを含む。抽出部１１ａは、符号化対象画像と参照画像との間で類似領域を抽出する。判定部１１ｂは、抽出した類似領域に基づいて、符号化対象画像がフェードシーンに係る画像であるか否かを判定する。算出部１１ｃは、抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数算出を行う。
【００６５】
各実施の形態で記載されている技術的特徴（構成要件）はお互いに組み合わせ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【００６６】
以上の実施の形態に関し、さらに以下の付記を開示する。
【００６７】
（付記１）
重み付き予測を利用した動画像符号化方法であって、
符号化対象画像と参照画像との間で類似領域を抽出し、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する
動画像符号化方法。
（付記２）
前記符号化対象画像及び前記参照画像それぞれを複数の領域に分割し、
前記符号化対象画像を分割した対象分割画像と、前記参照画像を分割した参照分割画像とに基づいて、類似領域を抽出する
付記１に記載の動画像符号化方法。
（付記３）
前記参照画像における前記参照分割画像の位置は、前記符号化対象画像における前記対象分割画像の位置と同一とする
付記２に記載の動画像符号化方法。
（付記４）
前記参照画像における前記参照分割画像の位置は、前記符号化対象画像における前記対象分割画像の位置より、左右方向又は上下方向にずれた位置とする
付記２に記載の動画像符号化方法。
（付記５）
前記符号化対象画像及び前記参照画像それぞれを縮小した後に、複数の領域に分割する
付記２から付記４のいずれか一つに記載の動画像符号化方法。
（付記６）
前記対象分割画像と、前記参照分割画像との類似度を算出し、
算出した類似度が予め定めた閾値を超えている場合に、前記対象分割画像が占める領域を類似領域とする
付記２から付記５のいずれか一つに記載の動画像符号化方法。
（付記７）
前記対象分割画像と、前記参照分割画像との相関係数に基づいて類似度を算出する
付記２から付記６のいずれか一つに記載の動画像符号化方法。
（付記８）
前記参照画像の動きベクトル情報を取得し、
取得した動きベクトル情報に基づいて、動きベクトルが閾値より小さい領域を類似領域とする
付記１に記載の動画像符号化方法。
（付記９）
抽出した類似領域それぞれおいて、前記符号化対象画像と前記参照画像との画素平均値の差分値を算出し、
算出した差分値が予め定めた閾値よりも大きい領域の数が、類似領域全体に占める割合を求め、
求めた割合が予め定めた判定閾値よりも大きい場合、前記類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する
付記１から付記８のいずれか一つに記載の動画像符号化方法。
（付記１０）
前記割合が前記判定閾値以下の場合、重み付なしの予測の係数算出を行う
付記９に記載の動画像符号化方法。
（付記１１）
重み付き予測を利用した動画像符号化を行うコンピュータに、
符号化対象画像と参照画像との間で類似領域を抽出し、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する
処理を実行させるコンピュータプログラム。
（付記１２）
重み付け予測を利用した動画像符号化装置であって、
符号化対象画像と参照画像との間で類似領域を抽出する抽出部と、
抽出した類似領域の位置情報に基づいて、類似領域に含まれる画素の画素値を利用した重み付き予測の係数を算出する算出部と
を備える動画像符号化装置。
【符号の説明】
【００６８】
１      動画像符号化装置
１１    ＣＰＵ
１１ａ  抽出部
１１ｂ  判定部
１１ｃ  算出部
１２    ＲＯＭ
１３    ＲＡＭ
１４    画像入力部
１５    画像出力部
１６    大容量記憶部
１７    通信部
１８    読み取り部
１Ｐ    制御プログラム
１ａ    可搬型記憶媒体
１ｂ    半導体メモリ
Ｎ      ネットワーク
【図１】
2017163421.tif 000003
【図２】
2017163421.tif 000004
【図３】
2017163421.tif 000005
【図４】
2017163421.tif 000006
【図５】
2017163421.tif 000007
【図６】
2017163421.tif 000008
【図７】
2017163421.tif 000009
【図８】
2017163421.tif 000010
【図９】
2017163421.tif 000011
【図１０】
2017163421.tif 000012