(57)【要約】【課題】フェード画像を効率よく予測する方向を決定し符号化し、また効率のよい予測方向の処理を重視し悪い予測方向の処理は軽減させることで演算量を削減しつつ符号化性能を維持する動画像符号化装置を提供する。【解決手段】フェード検出部１０３でフェード検出を行い、フェードインと判定された場合は、符号化制御部１０４が、表示順序と逆順で符号化を行うよう動き検出部１０５に伝える。フェード検出部１０３でフェード検出を行い、フェードインまたはフェードアウトと判定された場合は、符号化制御部１０４が、Ｂピクチャで情報量が多い方の画像からの予測を重視して符号化を行うように動き検出部１０５に伝える。【選択図】      図１
2007081726.tif 000002
【特許請求の範囲】
【請求項１】
画像間予測を行う動画像符号化装置において、
前記動画像におけるフェードインを検出するフェードイン検出部と、
前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を用いて符号化する符号化部と、
を有する
ことを特徴とする動画像符号化装置。
【請求項２】
前記符号化部は、
前記フェードインとして検出された動画像に関して前記フェードイン区間の末尾にある画像から順番に取り出し、前記動画像を時間的に逆順にする動画像逆順部と、
前記逆順にした動画像を順番に符号化する逆順符号化部と、
を有する
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記逆順符号化部は、
前記逆順にした動画像に対して重み付き予測を行い符号化する
ことを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
画像間予測を行う動画像符号化装置において、
前記動画像におけるフェードインを検出するフェードイン検出部と、
前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、
前記時間的に正順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に逆順の関係にある画像間の動きベクトルのみを検出するように制御する検出精度制御部と、
前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う符号化部と、
を有する
ことを特徴とする動画像符号化装置。
【請求項５】
画像間予測を行う動画像符号化装置において、
前記動画像におけるフェードアウトを検出するフェードアウト検出部と、
前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、
前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に正順の関係にある画像間の動きベクトルのみを検出するように制御する検出精度制御部と、
前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う符号化部と、
を有する
ことを特徴とする動画像符号化装置。
【請求項６】
前記動きベクトル検出精度が、前記動きベクトルの検出を行うための前記画像の探索範囲の広さで決定される
ことを特徴とする請求項４または５記載の動画像符号化装置。
【請求項７】
前記動きベクトル検出精度が、前記動きベクトルの検出のときの演算量で決定される
ことを特徴とする請求項４または５記載の動画像符号化装置。
【請求項８】
前記動きベクトル検出精度が、前記動きベクトルの検出で参照する前記画像の枚数で決定される
ことを特徴とする請求項４または５記載の動画像符号化装置。
【請求項９】
前記符号化部は、時間的に正順、または、時間的に逆順の重み付き予測を行う
ことを特徴とする請求項４または５記載の動画像符号化装置。
【請求項１０】
前記動きベクトル検出精度が、重み付き予測の適用可否で決定される
ことを特徴とする請求項４または５記載の動画像符号化装置。
【請求項１１】
画像間予測を行う動画像符号化方法において、
前記動画像におけるフェードインを検出し、
前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を用う
ことを特徴とする動画像符号化方法。
【請求項１２】
前記符号化するときに、
前記フェードインとして検出された動画像に関して前記フェードイン区間の末尾にある画像から順番に取り出し、前記動画像を時間的に逆順にし、
前記逆順にした動画像を順番に符号化する
ことを特徴とする請求項１１記載の動画像符号化方法。
【請求項１３】
前記逆順に符号化するときに、
前記逆順にした動画像に対して重み付き予測を行う
ことを特徴とする請求項１２記載の動画像符号化方法。
【請求項１４】
画像間予測を行う動画像符号化方法において、
前記動画像におけるフェードインを検出し、
前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出し、
前記時間的に正順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に逆順の関係にある画像間の動きベクトルのみを検出するように制御し、
前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う
ことを特徴とする動画像符号化方法。
【請求項１５】
画像間予測を行う動画像符号化方法において、
前記動画像におけるフェードアウトを検出し、
前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出し、
前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に正順の関係にある画像間の動きベクトルのみを検出するように制御し、
前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う
ことを特徴とする動画像符号化方法。
【請求項１６】
前記動きベクトル検出精度が、前記動きベクトルの検出を行うための前記画像の探索範囲の広さで決定される
ことを特徴とする請求項１４または１５記載の動画像符号化方法。
【請求項１７】
前記動きベクトル検出精度が、前記動きベクトルの検出のときの演算量で決定される
ことを特徴とする請求項１４または１５記載の動画像符号化方法。
【請求項１８】
前記動きベクトル検出精度が、前記動きベクトルの検出で参照する前記画像の枚数で決定される
ことを特徴とする請求項１４または１５記載の動画像符号化方法。
【請求項１９】
前記動画像の符号化を行うときに、時間的に正順、または、時間的に逆順の重み付き予測を行う
ことを特徴とする請求項１４または１５記載の動画像符号化方法。
【請求項２０】
前記動きベクトル検出精度が、重み付き予測の適用可否で決定される
ことを特徴とする請求項１４または１５記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフェード部分を効果的に符号化する動画像符号化装置及びその方法に関するものである。
【背景技術】
【０００２】
動画像符号化では、時間方向の冗長性を削減するために、画像間の予測を用いて符号化を行う。しかし、フェードインやフェードアウトなどの映像部分では、画像間の差分値が通常の動画像よりも大きくなり、時間方向の冗長性を削減することが難しく、結果、符号化効率の低下を招き、画質劣化や符号量の増加を招く。
【０００３】
そこで、動画像の映像品質を一定に保つために、下記の方法が提案されている。
【０００４】
（１）フェードイン部分では画像内予測のみで符号化を行う方法（例えば、特許文献１参照）
（２）Ｍ＝３のＧＯＰ構造をＭ＝２のＧＯＰ構造に変える方法（例えば、特許文献２参照）
【特許文献１】特開平１１−１７７９８９号公報
【特許文献２】特開２００２−８４５４４公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、（１）の方法では、映像品質を保つために画像内予測のみでフェードイン部分を符号化するので、時間方向の冗長性を削減できず、画質を維持するためには符号量の増加を招いてしまう。
【０００６】
また、（２）の方法では、フェードインを符号化する際、Ｂピクチャについては、時間的に前方と後方の参照画像との距離が一定となり、線形なフェード映像については、双方向予測により効率のよい予測が可能となる。しかし、輝度変化が非線形なフェード映像では、予測効率の改善は期待できず、また、Ｐピクチャについては、フェード画像での符号化効率の改善は期待できない。
【０００７】
そこで、本発明は、上記に鑑みてなされたものであって、フェード画像について、効率よく予測する方向を決定し、また効率のよい予測方向の処理を重視し効率の悪い予測方向の処理は軽減させることで演算量を削減しつつ性能を維持することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードインを検出するフェードイン検出部と、前記フェードインとして検出された動画像に関して、時間的に後方の画像からの予測を用いて符号化する符号化部と、を有することを特徴とする動画像符号化装置である。
【０００９】
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードインを検出するフェードイン検出部と、前記フェードインとして検出された動画像に関して、時間的に逆順の関係にある画像間の動きベクトルのみを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、前記時間的に逆順の関係にある画像間の動きベクトルの検出精度を前記時間的に正順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に逆順の関係にある画像間の動きベクトルのみを検出するように制御する検出精度制御部と、前記時間的に正順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードインとして検出された動画像の符号化を行う符号化部と、を有することを特徴とする動画像符号化装置である。
【００１０】
本発明は、画像間予測を行う動画像符号化装置において、前記動画像におけるフェードアウトを検出するフェードアウト検出部と、前記フェードアウトとして検出された動画像に関して、時間的に正順の関係にある画像間の動きベクトルを検出するか、または、時間的に逆順の関係にある画像間の動きベクトル及び時間的に正順の関係にある画像間の動きベクトルを検出する動きベクトル検出部と、前記時間的に正順の関係にある画像間の動きベクトルの検出精度を前記時間的に逆順の関係にある画像間の動きベクトルの検出精度より高くするか、または、前記時間的に正順の関係にある画像間の動きベクトルのみを検出するように制御する検出精度制御部と、前記時間的に正順の関係にある画像間の動きベクトル、前記時間的に逆順の関係にある画像間の動きベクトル、または、前記時間的に逆順の関係にある画像間の動きベクトルと前記時間的に正順の関係にある画像間の動きベクトルの両方を用いて、前記フェードアウトとして検出された動画像の符号化を行う符号化部と、を有することを特徴とする動画像符号化装置である。
【発明の効果】
【００１１】
本発明によれば、動画像のフェードにおいて、符号化効率を大幅に向上することができる。
【発明を実施するための最良の形態】
【００１２】
以下に添付図面を参照して、本発明に係る動画像符号化装置の実施形態を詳細に説明する。
【００１３】
なお、本明細書において、「画像」とは「ピクチャ」「フレーム」「フィールド」を含む概念である。
【００１４】
（第１の実施形態）
以下、第１の実施形態の動画像符号化装置１００について図１、図２、図１０、図１１、図１３に基づいて説明する。
【００１５】
（１）動画像符号化装置１００の構成
図１は、本実施形態に関わる動画像符号化装置１００の構成を示すブロック図である。
【００１６】
図１に示すように動画像符号化装置１００は、入力画像メモリ１０２と、フェード検出部１０３と、符号化順序制御部１０４と、動き検出部１０５と、直交変換及び量子化部１０６と、エントロピー符号化部１０７と、逆量子化及び逆直交変換部１０８と、参照画像メモリ１０９とを備えている。
【００１７】
入力画像メモリ１０２は、入力される符号化対象となる入力画像１０１を格納する。
【００１８】
フェード検出部１０３は、入力画像メモリ１０２に格納されている画像信号から、各画像の情報量を算出し、算出された情報量を元に画像信号がフェードか否かを判定する。
【００１９】
符号化制御部１０４は、画像信号がフェードである場合、情報量が多い画像信号から情報量が少ない画像信号への画像間予測を優先するように符号化を制御する。
【００２０】
動き検出部１０５は、参照画像メモリ１０９の画像信号から入力画像メモリ１０２を予測するための動きベクトル探索及び予測誤差信号生成を行う。
【００２１】
直交変換及び量子化部１０６は、入力された予測誤差信号に対して直交変換を行うと共に、その変換係数の量子化を行う。
【００２２】
エントロピー符号化部１０７は、入力された変換係数や動きベクトル情報などのエントロピー符号化を行い、符号列を生成する。
【００２３】
逆量子化及び逆直交変換部１０８は、上記直交変換及び量子化部１０６によって量子化された変換係数を逆量子化し、変換係数を復合し、復合した変換係数に対して逆直交変換処理を行い、予測誤差信号を復合し、復合された予測誤差信号と参照画像信号とを加算し復合画像信号を生成する。
【００２４】
参照画像メモリ１０９は、生成された復合画像信号を格納する。
【００２５】
図２に、フェード検出部１０３と符号化制御部１０４の構成を示す。
【００２６】
図２に示すように、フェード検出部１０３は、情報量算出部２０１と、フェード判定部２０２と、フェード情報バッファ２０３を備えている。
【００２７】
（２）フェード検出部１０３及び符号化制御部１０４の処理の流れ
図１３に、フェード検出部１０３及び符号化制御部１０４のフローチャートを示す。
【００２８】
（２−１）ステップＳ１３０１
情報量算出部２０１は、入力画像メモリ１０１から読み込み、読み込んだ画像の情報量を算出する。
【００２９】
情報量の例は、（１）式に示される画像の輝度値分散等が該当する。
【数１】
2007081726.tif 000003
【００３０】
ここで、σ２  は画像の輝度値分散であり、Ｙ（ｘ，ｙ）は画像の位置（ｘ，ｙ）の画素の輝度成分であり、Ｈは画像の縦方向の画素数であり、Ｗは画像の横方向の画素数であり、Ｅは画像の輝度成分の画面内平均値である。
【００３１】
（２−２）ステップＳ１３０２
算出された情報量と画像ＩＤは、フェード情報バッファ２０３に格納される。ここで、画像ＩＤは、画像ＩＤから画像を一意に識別できる値で、例えば画像の表示番号がこれにあたる。
【００３２】
（２−３）ステップＳ１３０３
フェード判定部２０２は、前記画像がフェードか否かを判定する。すなわち、フェード情報バッファ２０３に格納されている、時間的に連続するＮ枚（例えば、Ｎ＝１５）の画像に対応した情報量を参照して、前記画像がフェードか否かを判定する。
【００３３】
時間的に連続するＮ枚の画像に対応した情報量が、Ｎ枚連続して単調増加した場合、フェードインと判定する。
【００３４】
逆に、時間的に連続するＮ枚の画像に対応した情報量がＮ枚連続して単調減少した場合、フェードアウトと判定する。
【００３５】
（２−４）ステップＳ１３０４
フェードインまたはフェードアウトと判定されたＮ枚の画像に対しては、フェードタイプをフェード情報バッファ２０３に格納する。
【００３６】
フェードタイプは、「フェードでない」、「フェードイン」、「フェードアウト」を識別するための値であり、初期値としは「フェードでない状態」にある。「フェードイン」または「フェードアウト」が判定されて、初めてフェードタイプが変更される。
【００３７】
フェード判定部２０２が機能した後、フェード情報バッファ２０３は、画像ＩＤと、情報量と、フェードタイプとを格納している。
【００３８】
（２−５）ステップＳ１３０５
図２に示す符号化制御部１０４は、符号化順序制御部２０４を備えている。符号化順序制御部２０４は、フェード情報バッファ２０３の情報を元に、効果的に画像を符号化する順序を決定する。
【００３９】
フェードインと判定された画像に対しては、情報量の大きい画像から、情報量の小さい画像を予測する順序で符号化するように動き検出部１０５に伝える。これは、フェードインを表示順序と逆順で符号化することと該当する。例えば、まずフェードイン部分の最後の画像を画面内予測のみで符号化し（Ｉピクチャ）、次いで、最後から２番目の画像を画像間予測で符号化し（Ｐピクチャ）、そして、最後から３番目の画像を画像間予測で符号化し（Ｐピクチャ）、という処理を続けて、最後に時間的にフェード部分の最初の画像の符号化を行うような順番で画像ＩＤを動き検出部１０５に伝える。
【００４０】
この符号化順序を図１０に示す。これは、従来のＭＰＥＧ−２，ＭＰＥＧ−４等の動画符号化方式で行うことができないが、近年標準化が進められたＨ．２６４等に関しては可能になった。前述した例は、Ｐピクチャのみを用いる場合の例であるが、Ｂピクチャを伴う符号化でも同様に逆順符号化を適用することができる。
【００４１】
動き検出部１０５は、符号化順序制御部１０４によって示される順序に従い入力画像メモリ１０１から入力画像を読み込んでいき、動き検出処理を行う。
【００４２】
（３）本実施形態の効果
本実施形態であると、フェードインと判定された画像を表示順序と逆順で予測符号化することができる。この表示順序と逆順で予測符号化を行うということは、情報量の大きい画像から情報量の小さい画像を予測するための効率が良い。
【００４３】
これは、図１１に示すように、情報量の少ない（絵柄が詳細でない）画像からの動き検出をする予測方向よりも、情報量の多い（絵柄が詳細な）画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすいためである。
【００４４】
これにより、フェードインを時間方向と正順で符号化する場合と比較して、Ｐピクチャの符号化効率が改善する。
【００４５】
（第２の実施形態）
次に、本発明の第２の実施形態について図３と図１２に基づいて説明する。
【００４６】
（１）動画像符号化装置１００の構成
第２の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであるが、図１に示す第１の実施形態における動き検出部１０５が、図３に示すように重み係数算出部３０３と動き検出部３０４とを有する。
【００４７】
重み係数算出部３０３は、当該画像３０１と、参照画像３０２から、前記情報量の比を基に重み係数を算出する。重み係数とは、動画像符号化における重み付き予測を行う場合に必要な値である。
【００４８】
（２）重み付き予測の例
重み付き予測の例としては、Ｈ．２６４のＷｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎが挙げられる。
【００４９】
図１２に示すように、情報量の小さいほうの画像（図１２中、参照２画像）に、１より大きい重み係数ｗ（ｗ＞１）で重み付けをして生成した画像（図１２中、重み付参照２画像）は、符号化歪みが拡大する。
【００５０】
逆に、情報量の大きいほうの画像（図１２中、参照１画像）に、１より小さい重み係数ｗ（ｗ＜１）で重み付けをして生成した画像（図１２中、重み付参照１画像）は、符号化歪みが縮小する。
【００５１】
これにより、重み付き参照２画像からよりも重み付き参照１画像から予測を行うほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことが分かる。この性質を利用するために、本実施形態は、フェードインを検出した際に、表示順序と逆順で重み付き予測を用いて符号化を行う。
【００５２】
（３）動き検出部３０４
動き検出部３０４では、当該画像と重み付けされた参照画像で動き検出処理と予測誤差信号生成を行う。また、重み係数算出部３０３で参照画像を重み付けせずに、通常の動き検出を行うことも可能とする。動き検出部３０４で算出された予測誤差信号は、直交変換及び量子化部１０６に送られる。
【００５３】
（４）本実施形態の効果
本実施形態であると、フェードインと判定された画像を表示順序と逆順で重み付き予測を要する予測符号化を行う。これにより、フェードインを時間方向と正順で符号化した場合と比較して、Ｐピクチャの符号化効率が改善する。
【００５４】
（第３の実施形態）
次に、本発明の第３の実施形態について図４、図１１、図１４に基づいて説明する。
【００５５】
第３の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであり、図２に示す第１の実施形態における符号化順序制御部２０４が、図４に示すように動き検出精度制御部４０４に置き換わった構成となる。
【００５６】
また、動き検出部１０５は、動き検出の精度を、動き検出精度制御部４０４からの指示により変更することが可能な構成となっている。
【００５７】
図１４は、フェード検出部１０３及び符号化制御部１０４のフローチャートである。
【００５８】
動き検出精度制御部４０４は、フェードインを検出した際に、時間的に正順の動き検出精度よりも、時間的に逆順の動き検出精度を上げて符号化を行うように動き検出部１０５に伝える（ステップＳ１４０５）。
【００５９】
また、動き検出精度制御部４０４は、フェードアウトを検出した際に、時間的に逆順の動き検出精度よりも時間的に正順の動き検出精度を上げて符号化を行うように動き検出部１０５に伝える（ステップＳ１４０５）。
【００６０】
図１１に示すように、情報量の少ない（絵柄が詳細でない）画像からの動き検出をする予測方向よりも、情報量の多い（絵柄が詳細な）画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。例えば、フェードインのときにＢピクチャの動き検出を行う場合を考える。Ｂピクチャは、前方画像と後方画像を参照画像として取りうるが、情報量の少ない前方画像からの予測方向の方が、情報量の多い後方画像からの予測方向の方が、望ましい動きベクトルが検出されやすいからである。
【００６１】
そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Ｂピクチャの演算量を削減している。
【００６２】
（第４の実施形態）
次に、本発明の第４の実施形態について図５、図１１、図１５に基づいて説明する。
【００６３】
第４の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであり、図２に示す第１の実施形態における符号化順序制御部２０４が、図５に示すように動き検出探索範囲制御部５０４に置き換わった構成となる。
【００６４】
また、動き検出部１０５は、動き検出の探索範囲を、動き検出探索範囲制御部５０４からの指示により変更することが可能な構成となっている。
【００６５】
図１５は、フェード検出部１０３及び符号化制御部１０４のフローチャートである。
【００６６】
動き検出探索範囲制御部５０４は、フェードインを検出した際に、時間的に正順の動き検出探索範囲よりも、時間的に逆順の動き検出探索範囲を拡げて符号化を行うように動き検出部１０５に伝える（ステップＳ１５０５）。
【００６７】
また、動き検出探索範囲制御部５０４は、フェードアウトを検出した際に、時間的に逆順の動き検出探索範囲よりも、時間的に正順の動き検出探索範囲を拡げて符号化を行うように動き検出部１０５に伝える（ステップＳ１５０５）。
【００６８】
図１１に示すように、情報量の少ない（絵柄が詳細でない）画像からの動き検出をする予測方向よりも、情報量の多い（絵柄が詳細な）画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすいためである。
【００６９】
本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Ｂピクチャの演算量を削減している。
【００７０】
（第５の実施形態）
次に、本発明の第５の実施形態について図６、図１１、図１６に基づいて説明する。
【００７１】
第５の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであり、図２に示す第１の実施形態における符号化順序制御部２０４が、図６に示すように動き検出演算量制御部６０４に置き換わった構成となる。
【００７２】
また、動き検出部１０５は、動き検出の演算量を動き検出演算量制御部６０４からの指示により変更することが可能な構成となっている。
【００７３】
ここで演算量の多少とは、動きベクトル探索の粗密、階層的探索の深浅、ブロックマッチングの際のブロック画素の間引き度の高低を示す。
【００７４】
動きベクトル探索の粗密とは、例えば、１画素精度（例えば、１ｐｅｌ）探索（粗、演算量少）等と、１／２画素精度探索（密、演算量多）である。
【００７５】
階層的探索の深浅とは、例えば、全探索（浅、演算量多）と、荒く探索した後に細かく探索する２ステップサーチ（深、演算量少）等がある。
【００７６】
ブロックマッチングの際のブロック画素の間引き度の高低とは、例えば、２画素間引き（低、演算量多）と、４画素間引き（高、演算量少）等がある。
【００７７】
図１６はフェード検出部１０３及び符号化制御部１０４のフローチャートである。
【００７８】
動き検出演算量制御部６０４は、フェードインを検出した際に、時間的に正順の動き検出の演算量よりも、時間的に逆順の動き検出の演算量を多くして符号化を行うように動き検出部１０５に伝える（ステップＳ１６０５）。
【００７９】
また、動き検出演算量制御部６０４は、フェードアウトを検出した際に、時間的に逆順の動き検出の演算量よりも、時間的に正順の動き検出の演算量を多くして符号化を行うように動き検出部１０５に伝える（ステップＳ１６０５）。
【００８０】
図１１に示すように、情報量の少ない（絵柄が詳細でない）画像からの動き検出をする予測方向よりも、情報量の多い（絵柄が詳細な）画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像から情報量の多い画像への動き検出の処理量を削減することで、符号化効率を維持しつつ、Ｂピクチャの演算量を削減している。
【００８１】
（第６の実施形態）
次に、本発明の第６の実施形態について図７、図１１、図１７に基づいて説明する。
【００８２】
第６の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであり、図２に示す第１の実施形態における符号化順序制御部２０４が、図７に示すように動き検出参照画像制御部７０４に置き換わった構成となる。
【００８３】
また、動き検出部１０５は、動き検出の参照画像枚数を動き検出参照画像制御部７０４からの指示により変更することが可能な構成となっている。
【００８４】
図１７は、フェード検出部１０３及び符号化制御部１０４のフローチャートである。
【００８５】
動き検出参照画像制御部７０４は、フェードインを検出した際に、時間的に正順の動き検出処理の参照画像枚数よりも、時間的に逆順の動き検出処理の参照画像枚数を多くして符号化を行うように動き検出部１０５に伝える（ステップＳ１７０５）。
【００８６】
また、動き検出参照画像制御部７０４は、フェードアウトを検出した際に、時間的に逆順の動き検出処理の参照画像枚数よりも、時間的に正順の動き検出の参照画像枚数を多くして符号化を行うように動き検出部１０５に伝える（ステップＳ１７０５）。
【００８７】
図１１に示すように、情報量の少ない（絵柄が詳細でない）画像からの動き検出をする予測方向よりも、情報量の多い（絵柄が詳細な）画像からの動き検出をする予測方向が、望ましい動きベクトルが検出されやすい。そこで、本実施形態は、正確な動きベクトルを獲得することが困難な情報量の少ない画像からの動き検出の処理量を削減することで、符号化効率を維持しつつ、Ｂピクチャの演算量を削減している。
【００８８】
（第７の実施形態）
次に、本発明の第７の実施形態について図８、図１２，図１８に基づいて説明する。
【００８９】
第７の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであり、図２に示す第１の実施形態における符号化順序制御部２０４が、図８に示すように重み付き予想制御部８０４に置き換わった構成となる。
【００９０】
図１８は、本発明に関わるフェード検出部１０３及び符号化制御部１０４のフローチャートである。
【００９１】
重み付き予想制御部８０４は、フェードインを検出した際に、時間的に正順の動き検出を行う際には重み付き予想を適用せず、時間的に逆順の動き検出を行う際に重み付き予想を適用するように動き検出部１０５に伝える（ステップＳ１８０５）。
【００９２】
また、重み付き予想制御部８０４は、フェードアウトを検出した際に、時間的に逆順の動き検出を行う際に重み付き予想を適用せず、時間的に正順の動き検出を行う際に重み付き予想を適用して符号化を行うように動き検出部１０５に伝える（ステップＳ１７０５）。
【００９３】
図１２に示すように、情報量の小さいほうの画像（図１２中、参照２画像）に重み付けをして生成した画像（図１２中、重み付き参照２画像）は、符号化歪みが拡大する。情報量の大きい方の画像（図１２中、参照１画像）に重み付けをして生成した画像（図１２中、重み付き参照１画像）は、符号化歪みが縮小する。よって、図１２によって情報量の小さい重み付き参照２画像からよりも情報量の大きい重み付き参照１画像から予測したほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことがわかる。
【００９４】
本実施形態では、情報量の少ない画像には重み付き予測を適用せず、情報量の多い画像には重み付き予測を適用することで、符号化性能を維持しつつ、Ｂピクチャにおける重み付き予測の処理量を削減できる。
【００９５】
（第８の実施形態）
次に、本発明の第８の実施形態について図９、図１９に基づいて説明する。
【００９６】
第８の実施形態では、図１で示した第１の実施形態と基本的に構成は同じであるが、図１に示す第１の実施形態における動き検出部１０５の構成が、図９に示されるものとなっている。
【００９７】
動き検出部１０５への入力は、当該画像９０１、参照１画像９０２、参照２画像９０３である。動き検出部９０６は、参照１画像９０２、参照２画像９０３、重み付けした参照１画像９０２または重み付けした参照２画像９０３の３枚に対して動き検出を行えるスペックを有するものとする。よって、重み付き予測を参照１画像９０２、参照２画像９０３のいずれかに適用することになるが、この制御は重み付き予想制御部９０５が担当する。
【００９８】
（１）動き検出部１０５の構成
図９は、動き検出部１０５の構成を示すブロック図である。
【００９９】
動き検出部１０５は、重み付き予測係数算出部９０４と、重み付き予測制御部９０５と、動き検出部９０６とを備えている。重み付き予測には、例えば、Ｈ．２６４の規格のＷｅｉｇｈｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎがある。
【０１００】
（２）動き検出部１０５の処理
図１９は、図９に示す動き検出部１０５のフローチャートである。
【０１０１】
（２−１）ステップＳ１９０１
重み付き予測係数算出部９０４は当該画像９０１と参照１画像９０２の差分が最小になるような重み付き予測係数を算出する。また、重み付き予測係数算出部９０４は当該画像９０１と参照２画像９０３に対しても重み付き予測係数を算出する。
【０１０２】
（２−２）ステップＳ１９０２
重み付き予測制御部９０５は、参照１画像９０２の重み付き予測係数と参照２画像９０３の重み付き予測係数を比較し、重み付き予測係数が小さいほうの画像に重み付けを行う。
【０１０３】
このように選択を行う理由を図１２に示す。
【０１０４】
情報量の小さいほうの画像（図１２中、参照２画像）に重み付けをして生成した画像（図１２中、重み付き参照２画像）は、符号化歪みが拡大する。情報量の大きい方の画像（図１２中、参照１画像）に重み付けをして生成した画像（図１２中、重み付き参照１画像）は、符号化歪みが縮小する。すなわち、情報量の小さい重み付き参照２画像からよりも情報量の大きい重み付き参照１画像から予測したほうが符号化歪みの影響を受けないため予測誤差信号が小さく押さえられ効率がよいことがわかる。
【０１０５】
（２−３）ステップＳ１９０３
動き検出部９０６は、参照１画像９０２、参照２画像９０３、重み付けした参照１画像９０２または重み付けした参照２画像９０３の３枚に対して動き検出を行う。
【０１０６】
（３）本実施形態の効果
本実施形態であると、情報量の少ない画像には重み付き予測を適用せず、情報量の多い画像には重み付き予測を適用することで、符号化性能を維持しつつ、Ｂピクチャにおける重み付き予測の処理量を削減できる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１の実施形態に関わる動画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図３】第２の実施形態に関わる動き検出部の構成を示すブロック図である。
【図４】第３の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図５】第４の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図６】第５の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図７】第６の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図８】第７の実施形態に関わるフェード検出部及び符号化制御部の構成を示すブロック図である。
【図９】第８の実施形態に関わる動き検出部の構成を示すブロック図である。
【図１０】フェードインの予測構造を示す図である。
【図１１】動き検出の様子を示す図である。
【図１２】重み付き予測の予測効率を示す図である。
【図１３】第１の実施形態に関わるフェード検出部及び符号化順序制御部の処理を示すフローチャートである。
【図１４】第３の実施形態に関わるフェード検出部及び動き検出精度制御部の処理を示すフローチャートである。
【図１５】第４の実施形態に関わるフェード検出部及び動き検出探索範囲制御部の処理を示すフローチャートである。
【図１６】第５の実施形態に関わるフェード検出部及び動き検出演算量制御部の処理を示すフローチャートである。
【図１７】第６の実施形態に関わるフェード検出部及び動き検出参照画像制御部の処理を示すフローチャートである。
【図１８】第７の実施形態に関わるフェード検出部及び重み付き予測制御部の処理を示すフローチャートである。
【図１９】第８の実施形態に関わる動き検出部の処理を示すフローチャートである。
【符号の説明】
【０１０８】
１０３  フェード検出手段
１０４  符号化制御部
１０５  動き検出部
２０１  情報量算出部
２０２  フェード判定部
２０３  フェード情報バッファ
３０３  重み係数算出部
３０４  動き検出部
４０４  動き検出精度制御部
５０４  動き検出探索範囲制御部
６０４  動き検出算出量制御部
７０４  動き検出参照画像制御部
８０４  重み付き予測制御部
９０４  重み付き予測係数算出部
９０５  重み付き予測制御部
９０６  動き検出部
【図１】
2007081726.tif 000004
【図２】
2007081726.tif 000005
【図３】
2007081726.tif 000006
【図４】
2007081726.tif 000007
【図５】
2007081726.tif 000008
【図６】
2007081726.tif 000009
【図７】
2007081726.tif 000010
【図８】
2007081726.tif 000011
【図９】
2007081726.tif 000012
【図１０】
2007081726.tif 000013
【図１１】
2007081726.tif 000014
【図１２】
2007081726.tif 000015
【図１３】
2007081726.tif 000016
【図１４】
2007081726.tif 000017
【図１５】
2007081726.tif 000018
【図１６】
2007081726.tif 000019
【図１７】
2007081726.tif 000020
【図１８】
2007081726.tif 000021
【図１９】
2007081726.tif 000022