(57)【要約】【課題】複数の色成分で構成される動画像を、成分ごとに独立して動き予測符号化する動画像符号化装置において、各色成の動きベクトル値が大きく異なってしまった場合に色ずれ等の画質劣化を生じる。【解決手段】当該動画像符号化装置は、各色成分の符号化画像を予測符号化するための少なくとも一つの動き予測情報を生成し、生成した各色成分の少なくとも一つの動き予測情報の相関関係を判定し、判定の結果に基づいて補正対象にする色成分を決定し、決定された色成分の少なくとも一つの動き予測情報を、他の色成分のうちの少なくとも一つの色成分の対応する動き予測情報を用いて補正する。【選択図】図１
2014116902.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置において、
前記動画像を構成する前記複数の色成分を取得する色成分取得手段と、
前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動き予測情報を生成する予測手段と、
前記予測手段で生成された各色成分の少なくとも一つの動き予測情報の相関関係を判定し、前記判定の結果に基づいて補正対象にする色成分を決定し、前記決定された色成分の少なくとも一つの動き予測情報を、他の色成分のうちの少なくとも一つの色成分の対応する動き予測情報を用いて補正する補正手段と、
前記補正手段から符号化パラメタを取得し、前記取得した符号化パラメタを用いて前記動画像の複数の色成分を予測符号化する符号化手段と
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記補正手段は、前記補正対象となる色成分の少なくとも一つの予測情報を補正した場合、前記補正対象の色成分の少なくとも一つの動き予測情報に係わる参照画像と前記符号化画像との画面間差分値と、前記補正対象の色成分の少なくとも一つの動き予測情報の代わりに前記他の色成分の対応する動き予測情報を用いたときの前記参照画像と前記符号化画像との画面間差分値を算出し、前記算出した画面間差分値の差が所定値以下の場合には、前記補正対象の色成分の補正した動き予測情報と前記他の色成分の動き予測情報を前記符号化パラメタとして出力し、前記所定値より大きい場合には、前記補正対象の色成分の補正前の動き予測情報と前記他の色成分の動き予測情報を前記符号化パラメタとして出力することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記少なくとも一つの動き予測情報は、動きベクトルであり、
前記補正手段は、各色成分の動きベクトル間の距離のいずれかが予め定めた所定値以上である、場合に、ベクトル間の距離が最小である色成分以外の色成分を補正対象として決定することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記補正手段は、前記補正対象と決定された色成分の動きベクトルを前記他の色成分の動きベクトルの平均ベクトルに補正することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記補正手段は、前記補正対象と決定された色成分の動きベクトルを、前記他の色成分の動きベクトルのうち、前記補正対象と決定された色成分の動きベクトルとの距離が最小である他の色成分の動きベクトルに補正することを特徴とする請求項３に記載の動画像符号化装置。
【請求項６】
前記補正手段は、前記補正対象と決定された色成分の動きベクトルを、前記他の色成分の動きベクトルのうち、前記他の色成分の動きベクトルに係わる参照画像と前記符号化画像との画面間差分値が最小である動きベクトルに補正することを特徴とする請求項３に記載の動画像符号化装置。
【請求項７】
前記少なくとも一つの動き予測情報は、動きベクトルであり、
前記補正手段は、前記複数の色成分のうちの所定の色成分の動きベクトルを基準ベクトルとして設定し、前記基準ベクトルと前記所定の色成分以外の各色成分の動きベクトルとの距離が予め定めた所定値以上である場合に、前記所定の色成分以外の色成分を補正対象として決定し、前記決定された色成分の動きベクトルを前記基準ベクトルに補正することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項８】
前記補正手段は、前記色成分取得手段が取得する複数の色成分が赤、緑、青の三原色で構成される場合、緑の色成分の動きベクトルを基準ベクトルとして設定することを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記補正手段は、ユーザが指定した撮影モードに従って決定される色成分の動きベクトルを基準ベクトルとして設定することを特徴とする請求項７に記載の動画像符号化装置。
【請求項１０】
前記補正手段は、各色成分の動きベクトルのうち、各動きベクトルに係わる参照画像と前記符号化画像との画面間差分値が最小である色成分の動きベクトルを基準ベクトルとして設定することを特徴とする請求項７に記載の動画像符号化装置。
【請求項１１】
前記補正手段は、各色成分の前記符号化画像の画素値のヒストグラムを生成し、最も広い画素値の分布を示すヒストグラムに対応する色成分の動きベクトルを基準ベクトルとして設定することを特徴とする請求項７に記載の動画像符号化装置。
【請求項１２】
前記少なくとも一つの動き予測情報は、動きベクトルと参照画像番号であり、前記補正手段は、前記複数の色成分の参照画像番号の相関関係を判定し、前記判定の結果、一つの色成分のみに相関がないときは、前記一つの色成分を補正対象として決定し、前記複数の色成分の参照画像番号に相関がないときは、前記符号化画像に最も近い参照画像を示す参照画像番号の色成分以外の色成分を補正対象として決定し、前記決定された色成分の参照画像番号をそれ以外の色成分の参照画像番号を用いて補正し、参照画像番号を補正した前記補正対象の色成分の動きベクトルを、前記補正対象の色成分の補正前の参照画像番号で示される参照画像と補正後の参照画像番号で示される参照画像それぞれの距離に応じた比例計算で補正することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項１３】
前記補正手段は、一つの色成分のみに相関がないときは、前記補正対象の色成分の参照画像番号を他の色成分の相関がある参照画像番号に補正し、前記複数の色成分の参照画像番号に相関がないときは、前記補正対象の参照画像番号を前記符号化画像に最も近い参照画像を示す参照画像番号に補正することを特徴とする請求項１２に記載の動画像符号化装置。
【請求項１４】
前記補正手段は、請求項１２の動きベクトルの補正手段に加え、請求項３乃至１１のいずれか一項に記載の手段によって動きベクトルを補正することを特徴とする請求項１２又は１３に記載の動画像符号化装置。
【請求項１５】
複数の色成分から構成される動画像の取得手段を有し、前記取得した複数の色成分を色成分ごとに独立して動き予測符号化する動画像符号化装置の制御方法において、
前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動き予測情報を生成する予測ステップと、
前記予測ステップで生成された各色成分の少なくとも一つの動き予測情報の相関関係を判定し、前記判定の結果に基づいて補正対象にする色成分を決定し、前記決定された色成分の少なくとも一つの動き予測情報を、他の色成分のうちの少なくとも一つの色成分の対応する動き予測情報を用いて補正する補正ステップと、
前記補正ステップから符号化パラメタを取得し、前記取得した符号化パラメタを用いて前記動画像の複数の色成分を予測符号化する符号化ステップと
を備えることを特徴とする制御方法。
【請求項１６】
複数の色成分から構成される動画像を成分ごとに独立して動き予測符号化する動画像符号化装置を制御するためのプログラムであり、
コンピュータを、
前記動画像を構成する前記複数の色成分を取得する色成分取得手段、
前記取得した各色成分の符号化画像を予測符号化するための少なくとも一つの動き予測情報を生成する予測手段、
前記予測手段で生成された各色成分の少なくとも一つの動き予測情報の相関関係を判定し、前記判定の結果に基づいて補正対象にする色成分を決定し、前記決定された色成分の少なくとも一つの動き予測情報を、他の色成分のうちの少なくとも一つの色成分の対応する動き予測情報を用いて補正する補正手段、
前記補正手段から符号化パラメタを取得して前記動画像の複数の色成分を予測符号化する符号化手段
として機能させるプログラム。
【請求項１７】
請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【請求項１８】
コンピュータを、請求項１乃至１４のいずれか一項に記載された動画像符号化装置の各手段として機能させるプログラム。
【請求項１９】
コンピュータを、請求項１乃至１４のいずれか一項に記載された動画像符号化装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号の符号化装置に関し、特に同じサンプル比の複数の色成分から構成される動画像信号を、色成分ごとに独立して動き補償予測符号化する動画像符号化装置および方法に関する。
【背景技術】
【０００２】
従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。
【０００３】
圧縮符号化方式としては、フレーム間の動き予測を用いて高い圧縮率での圧縮が可能なＭＰＥＧ２方式が一般的に用いられている。特に、近年では、より複雑な予測方式を用いるなどして、高圧縮が可能なＨ．２６４方式なども用いられるようになっている。ところで、上記のような圧縮符号化方式では、主に４：２：０フォーマットと呼ばれる標準化された入力信号フォーマットが使われている。
【０００４】
４：２：０とは、ＲＧＢなどのカラー動画像信号を輝度成分（Ｙ）と２つの色差成分（Ｃｂ、Ｃｒ）に変換し、水平・垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。
【０００５】
色差成分は輝度成分に比べて視認性が落ちることから、符号化を行う前に色差成分のダウンサンプリングを行うことで符号化対象の源情報量の削減を行っていた。また、放送素材映像など業務向けには、色差成分を水平方向にのみ半分にダウンサンプリングする４：２：２フォーマットが用いられることもある。
【０００６】
さらに近年、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化する符号化方式の開発も進んでいる。
【０００７】
なお、色差成分のサンプル数が輝度成分と同じフォーマットは、４：４：４フォーマットと呼ばれる。
【０００８】
４：２：０フォーマットの符号化においては、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。
【０００９】
４：２：０フォーマットの符号化では、画像情報のほとんどが輝度成分に集約されていることと、輝度信号に比べて色差成分の方が歪みの視認性が低く、画像再現性に関する寄与が小さいという特徴のもとに成り立つものである。
【００１０】
一方、４：４：４フォーマットの符号化では、３つの成分が同程度に画像情報を持っている。従って、４：２：０フォーマットのように、画像情報が１成分に大きく依存していることを前提とした従来の符号化方式とは異なる符号化方式が望ましい。
【００１１】
４：４：４フォーマットに対応した符号化方式としては、例えば特許文献１に開示されている。特許文献１では、ＲＧＢ信号の三原色から成る入力画像において、Ｇ成分とＲＧＢ成分から生成した輝度成分Ｙの両方について動きベクトル検出を行った後、各ベクトルの相関を計算している。そしてＧ成分とＹ成分ベクトルの相関が高い場合は、Ｒ，Ｇ，Ｂ成分の動きベクトルにＹ成分の動きベクトルを適用している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−１３３８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述の４：４：４フォーマットに対応した符号化方式の符号化処理においては、動き予測を色成分毎に行うため、色成分によっては参照画像と符号化対象画像間での画面間差分値に明らかな差が現れない場合がある。
【００１４】
結果、実際の被写体の動きと異なる画面位置を指した動きベクトルの値のまま符号化を行ってしまうことになる。
【００１５】
符号化効率の点では、探索範囲内で最小となる座標位置を指し示すので、出力された符号化ビットストリームのデータ量としては、ベクトル符号量を少なく制御できる利点はある。
【００１６】
しかし、同一位置又は周辺の符号化ブロックの異なる色成分の量子化パラメタにバラツキが出たり、色成分の動きベクトルが実際のオブジェクトの動きと乖離することによって、色ズレ等の画質的な弊害を発生する虞がある。
【００１７】
上記特許文献１に開示の方法では、ＢやＲの色成分に対して動きベクトル検出をせず、すべての色成分について一意にＹまたはＧ成分の動きベクトルを適用しているため、上記の色ズレ等の弊害を必ずしも解決できない。
【００１８】
そこで、本発明は上述の点に鑑み、同じサンプル比の複数の色成分から構成される画像信号を、色成分毎に動き予測を行う符号化において、色ズレによる画質劣化を低減することを目的とする。
【課題を解決するための手段】
【００１９】
上述の課題を解決するために、本発明によれば、複数の色成分から構成される動画像を色成分ごとに独立して動き予測符号化する動画像符号化装置は、各色成分の符号化画像を予測符号化するための少なくとも一つの動き予測情報を生成し、生成した各色成分の少なくとも一つの動き予測情報の相関関係を判定し、判定の結果に基づいて補正対象にする色成分を決定し、決定された色成分の少なくとも一つの動き予測情報を、他の色成分のうちの少なくとも一つの色成分の対応する動き予測情報を用いて補正する。
【発明の効果】
【００２０】
本発明によれば、同じサンプル比の複数の色成分から構成される動画像を、色成分毎に動き予測を行う符号化において、色ズレによる画質劣化を低減できる動画符号化装置を提供することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施例に係る動画像符号化装置を含む符号化システムのブロック図
【図２】本発明の第１の実施例に係る動画像符号化装置のフレームメモリのデータ配置図
【図３】本発明の第１の実施例に係わる動画像符号化装置での動き予測動作の概念図
【図４】本発明の第１の実施例に係わる動画像符号化装置での動き予測での画面間差分と動きベクトルの関係を示す図
【図５】本発明第１の実施例に係る動画像符号化装置での動きベクトルの補正動作のフローチャートを示す図
【図６】本発明の第１の実施例に係る動きベクトルの補正動作を説明するための図
【図７】本発明の第１の実施例に係る動画像符号化装置での動きベクトルの補正動作のフローチャートを示す図
【図８】本発明の第１の実施例に係る動きベクトルの補正における画面間差分値と動きベクトルの関係を示す図
【図９】本発明の第１の実施例の変形例１に係る動きベクトルの補正動作のフローチャートを示す図
【図１０】本発明の第１の実施例の変形例２に係る動きベクトルの補正動作のフローチャートを示す図
【図１１】本発明の第２の実施例に係る動きベクトルの補正動作のフローチャートを示す図
【図１２】本発明の第２の実施例に係る動きベクトルの補正を説明するための図
【図１３】本発明の第２の実施例に係る動きベクトルの補正動作のフローチャートを示す図
【図１４】本発明の第２の実施例の変形例１に係る動きベクトルの補正動作のフローチャートを示す図
【図１５】本発明の第２の実施例の変形例２に係る動きベクトルの補正動作のフローチャートを示す図
【図１６】本発明の第２の実施例の変形例２に係る動きベクトルの補正における画面間差分値と動きベクトルとの関係を示す図
【図１７】本発明の第２の実施例の変形例３に係る動きベクトルの補正動作のフローチャートを示す図
【図１８】本発明の第２の実施例の変形例３に係る動きベクトルの補正における画像信号の色成分のヒストグラムを説明するための図
【図１９】本発明の第３の実施例に係る動画像符号化装置を含む符号化システムのブロック図
【図２０】本発明の第３の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図
【図２１】本発明の第３の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図
【図２２】本発明の第３の実施例に係る参照画像番号の補正の概念図
【図２３】本発明の第３の実施例に係る参照画像番号の補正の概念図
【図２４】本発明の第４の実施例に係る動画像符号化装置を含む符号化システムのブロック図
【図２５】本発明の第４の実施例に係る動画像符号化装置における参照画像番号の補正動作のフローチャートを示す図
【図２６】本発明の第４の実施例に係る参照画像番号の補正の概念図
【発明を実施するための形態】
【００２２】
以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。
【００２３】
（第１の実施例）
＜システム構成＞
図１には、本発明の第１の実施例に係わる動画像符号化装置をビデオカメラなどの撮像装置に適用した場合の動画像符号化システムのブロック図である。なお、図１の構成では、図示しないプロセッサ等から構成される制御部（ＣＰＵ）がプログラムに従って各部の動作を制御することによって本実施例に係わる符号化動作を達成する。
【００２４】
当該動画像符号化システムは、撮像部１０１、色成分分離部１０２、フレームメモリ１０３、整数変換器１０４、量子化器１０５、エントロピー符号化部１０６、符号量制御部１０７、イントラ予測部１０８を有する。また、イントラ・インター判定部１０９、動き補償部１１０、ループ内フィルタ１１１、逆整数変換器１１２、逆量子化器１１３を有する。さらに、第一の色成分動き予測部１１４、第二の色成分動き予測部１１５、第三の色成分動き予測部１１６、ベクトル間距離取得部１１７、ベクトル間距離比較部１１８、動きベクトル補正部１１９を有する。
【００２５】
なお、本実施例に係わる動画像符号化装置としては、上記動画像符号化システムから撮像部１０１が除かれ、後述するフローチャートに従った動作をコンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
【００２６】
撮像部１０１は、レンズや撮像センサ等のカメラ部、光学部を含み、レンズから取り込んだ光信号をセンサにて電気信号へ変換した後、符号化に使用するフォーマットに変換したデジタル画像データとして後段の回路へ伝送する。
【００２７】
色成分分離部１０２は（色成分取得手段）、撮像部１０１から読み出したデジタル画像データを、ＲＧＢ三原色のそれぞれの色成分毎に分離して、フレームメモリに１０３に格納する。
【００２８】
フレームメモリ１０３は、複数枚の画像データを蓄積可能な大容量メモリであり、前記色成分分離部から転送された画像データや、後述する動き予測処理で用いる参照用画像データを格納する。
【００２９】
なお、本発明の実施例においては説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
【００３０】
図２に、前記フレームメモリ１０３のメモリ領域の分割例を示す。
【００３１】
フレームメモリ１０３は、入力画像の領域と、後述する参照画像の領域が色成分毎に複数フレーム分格納できるように分割され配置されるものとする。
【００３２】
整数変換器１０４は、隣接画素で類似性が高いという空間的相関を利用して画像情報の冗長度を削減するために、符号化対象のブロック単位で画素データの空間解像度変換を行って空間周波数領域に変換する。
【００３３】
量子化器１０５は、後段の符号量制御部１０７より設定された目標符号量に基づいて量子化ステップサイズを算出し、整数変換器１０４で空間周波数領域に変換された係数データに対して量子化処理を行う。
【００３４】
量子化した係数データは、符号化ビットストリームを出力するエントロピー符号化部１０６と、参照画像や予測画像を算出するために逆量子化器１１３の両方へ出力される。
【００３５】
エントロピー符号化部１０６は、量子化器１０５にて量子化された係数データや、インター予測の場合には動き予測で用いたベクトルを、ＣＡＢＡＣ方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による符号化データ長の圧縮を行う。ＣＡＢＡＣとは、コンテキスト適応算術符号化を意味する。
【００３６】
符号量制御部１０７は、エントロピー符号化部１０６で発生した符号化データの符号量を取得し、ビットレートやＶＢＶ等のバッファモデルに基づいて１フレーム当たりの目標符号量を算出した後、前記量子化器１０５に設定するフィードバック制御を行う。
【００３７】
イントラ予測部１０８は、フレームメモリ１０３の入力画像データから符号化対象ブロックの画像データを読み出し、既に符号化済みの符号化対象ブロック周辺の画素データから生成される複数のイントラ予測画像との相関を計算する。
【００３８】
そして、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部へ通知する。
【００３９】
イントラ・インター判定部１０９は、後述の動き補償部１１０にて動きベクトルを用いたインター予測の結果とイントラ予測部１０８の結果とを入力し、最も画面間差分値が小さい予測方式を選択して予測画像を生成する。
【００４０】
動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データと、後述する動きベクトル補正部１１９から通知される動きベクトルを用いてインター符号化に用いる参照画像データを生成する。生成した参照画像データは、フレームメモリ１０３に格納する。
【００４１】
ループ内フィルタ１１１は、逆整数変換器１１２から出力された画像データと予測画像とを加算した画像データに対して、符号化歪み（ブロックノイズ）を軽減するフィルタ処理を施す。
【００４２】
逆整数変換器１１２は、逆量子化器１１３から出力された係数データを画素データに逆整数変換する。
【００４３】
逆量子化器１１３は、量子化器１０５にて量子化した係数データを、再度量子化ステップサイズを乗じて係数データを計算する。
【００４４】
第一の色成分動き予測部１１４は、フレームメモリ１０３に格納した符号化対象となる原画像のデータと既に符号化済みの画像の復号データ（参照画像データ）から、ブロック単位で画素データのパターンマッチングを行う。そして、第一の色成分動き予測部１１４は、動き予測情報である動きベクトルを算出する。また、動きベクトルの算出の際に参照した参照画像の番号情報も動き予測情報として生成する。
【００４５】
第二の色成分動き予測部１１５および第三の色成分動き予測部１１６についても、動き予測の対象となるフレームメモリ１０３上の色成分が異なるだけであり処理内容は同一である。このように、各色成分は独立して予測符号化される。
【００４６】
ベクトル間距離取得部１１７は、第一から第三の色成分動き予測部１１４、１１５、１１６で求めた、各色成分の同じ符号化対象ブロック位置の動きベクトルからベクトル間距離を求める。
【００４７】
ベクトル間距離比較部１１８は、ベクトル間距離取得部１１７より通知された色成分間のベクトル間距離に基づいて、特定の色成分の動きベクトルが他の色成分のベクトルに比べて異なっているか否かを比較判定する。
【００４８】
動きベクトル補正部１１９は、ベクトル間距離比較部１１８の判定結果に基づいて、当該色成分の動きベクトルを別の適切なベクトルに補正する。
そして、補正ベクトルを符号化パラメタとして動き補償部１１０へ出力し、参照画像生成やベクトル符号化時に適用する。
【００４９】
尚、本発明では特に断わりの無い限り、１６行×１６列の画素データの集まりを符号化ブロック（または符号化対象ブロック）と呼称し、当該符号化ブロック単位で動き予測等の符号化処理を行うものとする。以上が本発明の第１の実施例に係わる動画像符号化装置を含む動画像符号化システムの構成である。
＜動きベクトル探索＞
本実施例に係わる動画像符号化装置の各動き予測部１１４−１１６での動きベクトル探索方法を、図３および図４を用いて説明する。動きベクトルの探索方法としては、符号化ブロック単位で原画像フレーム３０１と参照画像フレーム３０２間で、画面間差分が最小になる画素座標位置を求めるパターンマッチング法が公知技術として知られている。
【００５０】
画面間差分ＳＡＤとは、次式１のように符号化ブロック画像における全画素値の差分絶対値を積算した評価値で、符号化ブロック同士の画像データの類似度を示す量となる。
【数１】
2014116902.tif 000003
【００５１】
ここでＰＩＸｒｅｆ（ｘ，ｙ）は参照先の符号化ブロック３０５の画素値、ＰＩＸｃｕｒ（ｘ，ｙ）は符号化対象の符号化ブロック３０３の画素値に相当する。
【００５２】
また、処理量が膨大であることから、参照画像の全領域を探索することはせず、符号化ブロック３０３を中心として、周囲の複数の符号化ブロック分のエリアだけを探索するサーチウィンドウ３０４を設定することが一般的な手法である。
【００５３】
そして、サーチウィンドウ３０４内で参照先符号化ブロック３０５の位置を移動させ、符号化対象の符号化ブロック３０３との間の画面間差分値ＳＡＤが最も小さくなる符号化ブロック位置を求めることで、動きベクトルを決定する。
【００５４】
例として、上述のサーチウィンドウ内の画素位置と、画面間差分値をグラフとしてプロットすると図４のように表すことができる。
【００５５】
ただし、図示した例では簡略化のため、サーチウィンドウの座標をｘ方向とｙ方向の２次元ではなく１次元としているため、動きベクトル値は１次元となっているが、実際は２次元のベクトル値となる。
【００５６】
図の場合では、符号化対象の符号化ブロックの位置を原点として、サーチウィンドウを±５ピクセルの領域に設定した時、最も画面間差分値ＳＡＤが最小だった座標位置として−２を検出する。
【００５７】
このことは、当該座標位置の参照先符号化ブロックと符号化対象の符号化ブロックの画像データがエリア内で最も類似しており、−２ピクセル相当分の画面移動があったと判断できるため、動きベクトルとして−２（一次元）を出力する。
【００５８】
本発明では、上述した動き予測処理を、フレームメモリ１０３に格納された色成分毎に前記第一から第三までの動き予測部１１４，１１５，１１６において同様に行うものとする。
【００５９】
＜ベクトル間距離取得および比較＞
続いて、本実施例に係わる動画像符号化装置の動きベクトルの補正動作について、図５と図６を用いて説明する。
【００６０】
当該動作は、前記動画像符号化装置のベクトル間距離取得部１１７、およびベクトル間距離比較部１１８にて実行される。なお、この動作は上述のように、図示しないプロセッサ等から構成される制御部（ＣＰＵ）がプログラムに従って各部を制御することで達成する。以下、特に記載しない限り同様の制御であるとする。
【００６１】
はじめにステップＳ５０１では、上述した動き予測処理によって求めたＲ成分の動きベクトルｍｖＲを第一の動き予測部１１４から取得する。同様に、Ｇ成分の動きベクトルｍｖＧを第二の動き予測部１１５から（ステップＳ５０２）、Ｂ成分の動きベクトルｍｖＢを第三の動き予測部１１６からそれぞれ取得する（ステップＳ５０３）。
【００６２】
続いて、３つの色成分の動きベクトルｍｖＲ，ｍｖＧ、ｍｖＢを取得した後、次式（２）に基づいて、それぞれのベクトル間距離を算出する。
【数２】
2014116902.tif 000004
【００６３】
ここで、ｍｖＸ、ｍｖＹは色成分のある色成分についての動きベクトルのｘ成分値、ｙ成分値をそれぞれ示す。
【００６４】
この式は、図６の例で示したように、２つの各色成分動きベクトル間の頂点を結んだ距離を表わすスカラ量Ｄを求めて、後述のベクトルの相関関係を判定するために使用する。
【００６５】
上式に基づいて、Ｒ成分とＧ成分の動きベクトルのベクトル間距離ＤＲ−Ｇ（ステップＳ５０４）を計算する。さらに、Ｇ成分とＢ成分の動きベクトルのベクトル間距離ＤＧ−Ｂ（ステップＳ５０５）、そしてＢ成分とＲ成分の動きベクトルのベクトル間距離ＤＢ−Ｒを計算する（ステップＳ５０６）。
【００６６】
図６の例では、各色成分の動きベクトルは
ｍｖＲ=(４，３)、ｍｖＧ＝（４，４）、ｍｖＢ＝（−２，２）
であり、それぞれのベクトル間距離は、
ＤＲ−Ｇ＝１、ＤＧ−Ｂ＝√２９、ＤＢ−Ｒ＝√２６
と計算できる。
【００６７】
続いて上記ステップＳ５０４からステップＳ５０６までに取得した、３つの色成分間のベクトル間距離、ＤＲ−Ｇ，ＤＧ−Ｂ，ＤＢ−Ｒの差をそれぞれ計算し、すべての差が予め定めた所定値以下であるかを判断する（ステップＳ５０７）。
【００６８】
いずれのベクトル間距離も所定値未満の場合（ステップＳ５０７のＦＡＬＳＥ）は、３つの色成分のベクトル値が類似した方向・長さを持つことを意味する。
【００６９】
結果、ベクトル探索処理が実際の撮像部１０１で撮影した被写体の動きを検出できた可能性が高いものと判断できることから、本発明の動きベクトル補正処理をする必要がないため、当該フローを終了する。
【００７０】
一方、いずれかのベクトル間距離が所定値以上（ステップＳ５０７のＴＲＵＥ）の場合は、特定の色信号の動きベクトルを補正する必要があるものと判断し、以下の処理ステップによって、補正すべきベクトルの色成分を特定する。
【００７１】
具体的な色成分の特定方法を以下に説明する。
【００７２】
ステップＳ５０８からステップＳ５１２は、上記の特定方法に基づき３つのベクトル間距離について、順次最小値判定し補正する動きベクトルを求めている。
【００７３】
ステップＳ５０８では、Ｒ成分とＧ成分のベクトル間距離ＤＲ−Ｇが、三つのベクトル間距離のうち最小であるかを判断する。最小値であった場合（ステップＳ５０８のＴＲＵＥ）は，Ｂ成分の動きベクトルを補正すると判断して本動作を終了する（ステップＳ５０９）。
【００７４】
一方、ＤＲ−Ｇが最小値でない場合（ステップＳ５０８のＦＡＬＳＥ）は、ステップＳ５１０へ遷移する。
【００７５】
ステップＳ５１０では、Ｇ成分とＢ成分のベクトル間距離ＤＧ−Ｂが、三つのベクトル間距離中で最小であるかを判断する。最小値であった場合（ステップＳ５１１のＴＲＵＥ）は、Ｒ成分の動きベクトルを補正すると判断して本フローを終了する（ステップＳ５１１）。
【００７６】
一方、ＤＧ−Ｂが最小値でない場合（ステップＳ５１０のＦＡＬＳＥ）は、ＤＢ−Ｒが最小値であることから、Ｇ成分の動きベクトルを補正すると判断し、本フローを終了する（ステップＳ５１２）。
【００７７】
図６中のベクトル値を使用して本動作を実行した場合を例とすると、ベクトル間ＤＲ−Ｇが、他２つベクトル間距離ＤＧ−Ｂ、ＤＢ−Ｒよりも小さい最小値を持っている。そのため、計算対象外のＢ成分の動きベクトルｍｖＢを補正対象の動きベクトルと判断する。
【００７８】
以上が、本実施例に係わる動画像符号化装置における各色成分の動きベクトルのベクトル間距離取得と比較判定の動作である。
【００７９】
＜動きベクトル補正＞
続いて、本実施例の動きベクトル補正動作について、図７のフローチャートを用いて説明する。
【００８０】
当該動作は、前記動画像符号化装置の動きベクトル補正部１１９にて実行される。
【００８１】
はじめにステップＳ７０１では、上述のベクトル間距離取得と比較判定フローの出力結果として取得した、補正対象の色成分の動きベクトルｍｖＯＲＧを取得する。
【００８２】
当該動きベクトルｍｖＯＲＧは、Ｒ，Ｇ，Ｂ成分いずれかの色成分の動きベクトル値とする。
【００８３】
尚、前記比較判定において補正すべきベクトルが無いと判定された場合は、当該補正は実行しないものとする。
【００８４】
続いてステップＳ７０２では、ベクトル補正対象外の成分の動きベクトルを２つ取得して、当該ベクトルの平均を求めて補正用ベクトルｍｖＣＲＲを計算する。
【００８５】
例えば、前述のベクトル間距離取得および比較の結果、Ｒ信号の動きベクトルｍｖＲの補正が必要と判断した場合には、Ｇ成分とＢ成分の動きベクトルｍｖＧ，ｍｖＢの平均ベクトルを次式のように求めることで補正用ベクトルを決定する。
【数３】
2014116902.tif 000005
【００８６】
そして、ベクトル補正対象の色成分の符号化ブロックに対して、上記ステップで求めた補正用ベクトルｍｖＣＲＲを適用した場合の、画面間差分値ＳＡＤＣＲＲを計算する（ステップＳ７０３）。
【００８７】
続いてステップＳ７０４では、補正ベクトル適用時の画面間差分ＳＡＤＣＲＲと、補正前の画面間差分値の差を求め、所定値未満の差であるか否かを判断する。
【００８８】
上記判断ステップを設けた後にベクトル補正処理をすることによって、結果として画面間差分値の大きい座標位置にベクトルを指してしまい、それによって画質劣化を目立たせてしまうという矛盾を予め防止することが可能となる。
【００８９】
そして、所定値以上の画面間差分の差がある場合（ステップＳ７０４のＦＡＬＳＥ）は、ベクトル補正はせずに、そのまま動き補償部１１０に動きベクトルを符号化パラメタとして通知して、本動作を終了する。これは、他の色成分とはベクトル間距離が異なる動きベクトル検出しているものの、補正ベクトルに比べて実際の被写体の動きに追従できていると判断したためである。
【００９０】
一方、補正ベクトルｍｖＣＲＲ適用前後で、画面間差分の差に大きな違いが無い場合（ステップＳ７０４のＴＲＵＥ）は、当該色成分の符号化ブロックにおける動きベクトルをｍｖＯＲＧからｍｖＣＲＲの値に補正する。そして、補正された動きベクトルを動き補償部１１０へ符号化パラメタとして通知する（ステップＳ７０５）。この補正は、符号化ブロックレベルでの視覚的な画質劣化はほとんど無いものの、他の色成分と動きベクトルを揃えることでピクチャ単位、画面間での画質劣化を防止する必要があるとの判断に基づく。
【００９１】
尚、上記ステップにおける補正前の画面間差分値は、ここで改めてメモリアクセスして再取得する必要はない。例えば、前段の動き予測部にてベクトル探索時に使用したサーチウィンドウ内で最小となった画面間差分値を保持しておくことで、当該ステップにて流用することが可能であり、処理の効率化が可能である。
【００９２】
＜ベクトル補正適用例＞
続いて、本実施例に係わる上記動作における画面間差分と動きベクトルとの関係について図８を用いて説明する。
【００９３】
図８は、ベクトル補正を行う場合とベクトル補正を行わない場合それぞれの、画面間差分と補正前後のベクトルの関係を示している。
【００９４】
前記補正動作では、補正前の動きベクトルｍｖＯＲＧと、当該動きベクトルとは異なる各色信号の動きベクトルの平均ベクトルｍｖＣＲＲの二つを求める。
【００９５】
図８では、−４から−６ピクセル付近に画面間差分の最小値ＳＡＤＯＲＧが検出され、補正用ベクトルｍｖＣＲＲが、＋２から＋３の値として計算したケースである。
【００９６】
本実施例では、補正ベクトルをそのまま使って符号化する前に、ベクトル補正前後で画面間差分の変化量を調べて補正の可否を判断する。具体的には、前記ｍｖＣＲＲを適用した場合の画面間差分値ＳＡＤＣＲＲを取得計算し、ＳＡＤＯＲＧとＳＡＤＣＲＲの差分（図中のΔＳＡＤ相当）を計算する。上記差分値が小さい場合（図中（ａ））は、ベクトル補正前後の画面間差分が小さいため、ｍｖＯＲＧをｍｖＣＲＲに置換した動きベクトルでベクトル符号化行う。
【００９７】
一方、図中（ｂ）の差分値が大きい場合には、元々の動きベクトルｍｖＯＲＧが実際の被写体動きを正しく反映しているものと判断できるため、ベクトル補正は行わず、そのままｍｖＯＲＧを動き補償部１１０へ符号化パラメタとして通知出力する。
【００９８】
このような判断を適用することで、色成分毎にそれぞれ動き予測を行った場合において、実際の被写体の動きと異なる動きベクトルを出力しても、適切な動きベクトルに補正することが可能となる。そのため、色成分ごとの動き予測符号化において画質劣化を防止することが可能となる。
【００９９】
第１の実施例では、色成分毎の動きベクトル間の距離を算出し、ベクトル間距離が他の動きベクトルとは異なるベクトルを、他の色成分の動きベクトルの平均ベクトルに置換して補正した。しかし、補正ベクトルとして補正対象以外の色成分の動きベクトルの平均以外のベクトルにすることも考えられる。以下、その例を第１の実施例の変形例として説明する。
【０１００】
（第１の実施例の変形例１）
本変形例１では、補正対象の動きベクトルをベクトル間距離がより近い方の他の色成分の動きベクトルに補正する。これにより、平均ベクトルを用いた補正ベクトルを使用した場合に比べて、画面間差分のより小さな座標位置に動きベクトルを指すことができるようになり、画質劣化を抑制が可能となる。
【０１０１】
以下、本変形例について、図を用いて説明する。
なお、本変形例の説明において、上述した第１の実施例と共通する部分については同じ符号を付して示し、適宜それらの説明を省略する。特に、動画符号化システムの構成については第１の実施例と同様であるので、その説明は省略する。
【０１０２】
＜動きベクトル補正＞
以下、本変形例の動きベクトル補正動作について、図９のフローチャートを用いて説明する。なお、ベクトル間距離取得と比較判定動作については、第１の実施例と同様であるため説明を省略する。また、動き補正ベクトルの補正動作についても、第１の実施例と同様のステップには同じ符号を付して示す。
【０１０３】
動きベクトル補正動作は、第１の実施例と同様にステップＳ７０１の補正対象の動きベクトルｍｖＯＲＧの取得ステップから開始する。
【０１０４】
そして、さらに第１の実施例でのベクトル間距離取得動作で計算した補正対象外の動きベクトルを基準としたベクトル間距離Ｄ１およびＤ２を取得する（ステップＳ９０１）。
【０１０５】
Ｄ１とＤ２は、例えば図６の例では、ｍｖＢが補正対象ベクトルとして選択された場合には、ＤＧ−ＢとＤＢ−Ｒが相当する。
【０１０６】
同様にｍｖＲが補正対象の場合は、ＤＢ−ＲとＤＲ−Ｇが、ｍｖＧが補正対象の場合は、ＤＧ−Ｂ、ＤＲ−Ｇとなる。
【０１０７】
ステップＳ９０２では、上記ベクトル間距離Ｄ１とＤ２の大小関係を比較し、どちらの色成分の動きベクトルの方が、補正対象ベクトルに近いかを判断する。
【０１０８】
Ｄ１の方が小さい場合は（ステップＳ９０２のＴＲＵＥ）、Ｄ１を計算する時に使用した動きベクトルのうち、補正対象の色成分とは異なる色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ９０３）。
【０１０９】
一方、Ｄ２の方が小さい場合は（ステップＳ９０２のＦＡＬＳＥ）、Ｄ２を計算する時に使用した動きベクトルのうち、補正対象の色成分とは異なる色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ９０４）。
【０１１０】
これ以下は、第１の実施例と同様にステップＳ７０３からステップＳ７０５を実行して、動きベクトル補正動作を終了する。
【０１１１】
以上が、本発明の第１の実施例の変形例１の動きベクトル補正処理動作である。
【０１１２】
（第１の実施例の変形例２）
上記変形例１では、補正対象の色成分の動きベクトルをベクトル間距離がより近い方の色成分のベクトルへ補正した。
【０１１３】
本変形例２では、補正対象の色成分の動きベクトルを画面間差分値がより小さない値となる色成分のベクトルへ補正する。これにより、第１の実施例に記載の補正ベクトルを適用した場合より、画面内の画素値のコントラスト、すなわち濃淡の区別が視認しやすい座標位置を指し示すベクトルを参照するようになる。そのため、色成分ごとの動画像符号化において画質劣化を抑制することが可能となる。
【０１１４】
以下、本変形例２について、図を用いて説明する。
【０１１５】
なお、本変形例２の説明において、上述した第１の実施例およびその変形例１と共通する部分については音字符号を付し、適宜その説明を省略する。特に、動画符号システムの構成については第１の実施例と同様であるので、その説明は省略する。
【０１１６】
＜動きベクトル補正＞
本変形例２の動きベクトル補正動作について、図１０のフローチャートを用いて説明する。なお、同図において、第１の実施例と同様のステップ同じ符号を付して示し、特に必要のない限りここでの説明を省略する。
【０１１７】
本変形例２の動きベクトル補正動作は、第１の実施例と同様にステップＳ７０１の補正対象の動きベクトルｍｖＯＲＧの取得ステップから開始する。
【０１１８】
そして、第１の実施例の動画像符号化装置の各色成分動き予測部のうち補正対象外の色成分の動き予測部において計算した画面間差分値の最小値ＳＡＤ１と、ＳＡＤ２を取得する（ステップＳ１００１）。
【０１１９】
ＳＡＤ１とＳＡＤ２は、例えば図６においてのｍｖＢを補正対象ベクトルとして選択した場合には、ｍｖＧのベクトル座標を決定した時の画面間差分値、そしてｍｖＲのベクトル座標を決定した時の画面間差分値に相当する。
【０１２０】
ステップＳ１００２は、上記ＳＡＤ１とＳＡＤ２の大小関係を比較し、どちらの色成分の動きベクトルの方が、画面間差分値が小さかったか、すなわち原画像と参照画像間の動きが明確に検出できたかを判断する。
【０１２１】
画面間差分値ＳＡＤ１の方が小さい場合は（ステップＳ１００２のＴＲＵＥ）、ＳＡＤ１計算時の色成分の動きベクトルを補正ベクトルｍｖＣＲＲとして設定する（ステップＳ１００３）。
【０１２２】
一方、画面間差分値ＳＡＤ２の方が小さい場合は（ステップＳ１００２のＦＡＬＳＥ）、ＳＡＤ２計算時の色成分の動きベクトルを補正ベクトルｍｖＣＲＲ（符号化パラメタ）
として動き補償部１１０に通知出力する（ステップＳ１００４）。
【０１２３】
これ以下は、第１の実施例と同様にステップＳ７０３からステップＳ７０５を実行して、動きベクトル補正動作を終了する。
【０１２４】
以上が、本発明の第１の実施例の変形例２における動きベクトル補正動作である。
（第２の実施例）
【０１２５】
次に、本発明の第２の実施例を、図を用いて説明する。
本実施例は、各色成分の動きベクトルのうちいずれかを、画像の動きを最も反映していると考えられる基準ベクトルとして設定し、他の色成分の動きベクトルを基準ベクトルに補正する構成である。なお、本実施例に係わる動画像符号化装置も、第１の実施例と同様に、ビデオカメラ等の撮像装置に本発明を適用した動画像符号化システムで実現するものとし、その構成は第１の実施例と同様であるので、ここでの説明は省略する。
【０１２６】
また、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
【０１２７】
＜基準ベクトル決定処理＞
本実施例に係わる動画像符号化装置の基準ベクトル決定動作について、図１１を用いて説明する。
【０１２８】
当該動作は、第１の実施例に係わる動画像符号化装置のベクトル間距離取得部１１７にて実行される。
【０１２９】
初めに、ステップＳ５０１では、前記第一の色成分の動きベクトル予測部１１４にて求めたＲ成分の動きベクトルｍｖＲを取得する。同様にして、第二の色成分の動きベクトル予測部１１５からＧ成分の動きベクトルｍｖＧを（ステップＳ１１０２）、第三の色成分の動きベクトル予測部１１６からＢ成分の動きベクトルｍｖＢを取得する（ステップＳ１１０３）。
【０１３０】
そして本実施例では、上記３つの色信号の中で、人間の視覚特性として輝度成分が最も認識しやすいことから、輝度成分を最も多く含むＧ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦとして設定する（ステップＳ５０４）。
【０１３１】
以上が、基準ベクトルの決定動作である。
【０１３２】
＜ベクトル間距離比較および動きベクトル補正＞
次に、本実施例のベクトル間距離比較および動きベクトル補正動作について図１２および図１３を用いて説明する。
【０１３３】
当該動作は、前記動画像符号化装置のベクトル間距離比較部１１８と動きベクトル補正部１１９にて実行される。
【０１３４】
初めに、ステップＳ１３０１で、上述の基準ベクトル決定動作にて求めた基準ベクトルｍｖＲＥＦと、基準ベクトルの色成分以外の第一の色成分の動きベクトルｍｖ１を取得し、２つの動きベクトルのベクトル間距離Ｄ１を、上記式（２）に基づいて算出する。
【０１３５】
同様に、ステップＳ１３０２では、基準ベクトルｍｖＲＥＦと、基準ベクトルおよびｍｖ１ベクトルの色成分以外の第二の色成分の動きベクトルｍｖ２を取得し、２つの動きベクトルのベクトル間距離Ｄ２を、上記式（２）に基づいて算出する。
【０１３６】
これにより、図１３の例で示すように、２つの各色成分動きベクトル間の頂点を結んだ距離を表わすスカラ量Ｄを求め、後述のベクトルの相関関係を判定する。
【０１３７】
図１２の例では、各色成分の動きベクトルはｍｖＲ=(４，３)、ｍｖＧ＝（４，４）、ｍｖＢ＝（−２，２）であり、また、上述の基準ベクトル決定動作により、Ｇ成分の動きベクトルｍｖＧをｍｖＲＥＦと設定している。
【０１３８】
このことから、Ｇ成分とＢ成分のベクトル間距離Ｄ１と、Ｇ成分とＲ成分のベクトル間距離Ｄ２は、それぞれ
Ｄ１＝√２９、Ｄ２＝１
と計算できる。
【０１３９】
上記の計算結果をもとに、ステップＳ１３０３では、基準ベクトルに対する第一の色成分の動きベクトルの乖離量を示す前記ベクトル間距離Ｄ１を、予め定めた所定値と比較し、所定値未満か否かを判断する。図１２では、Ｄ１はＧ成分の動きベクトルに対するＢ成分の動きベクトルの頂点間の距離に相当する。
【０１４０】
一般的にベクトル間距離が数ピクセル未満であれば（ステップＳ１３０３のＴＲＵＥ）、基準ベクトルｍｖＲＥＦとｍｖ１は、ほぼ同じベクトル方向・長さを持つため、視覚的に色ズレ等の問題は発生しにくいと判断する。前記比較判定ステップで閾値として設定する前記所定値はこのような判断に沿って設定する。
【０１４１】
結果、動きベクトルｍｖ１は補正せずに、そのまま動き補償部１１０へ符号化パラメタとして出力し、参照画像の生成やベクトル符号化を行う。
【０１４２】
一方、ベクトル間距離Ｄ１が所定値以上の値を持つ場合には（ステップＳ１３０３のＦＡＬＳＥ）、当該色成分の動きベクトルｍｖ１を、基準ベクトルｍｖＲＥＦと同じベクトルに補正して出力する（ステップＳ１３０４）。
【０１４３】
同様にして、ステップＳ１３０５では、基準ベクトルに対する第二の色成分の動きベクトルの乖離量を示す前記ベクトル間距離Ｄ２を、予め定めた所定値と比較して、所定値未満か否かを比較する。図１２では、Ｄ２はＧ成分の動きベクトルに対するＲ成分の動きベクトルの頂点間の距離に相当する。
【０１４４】
Ｄ２が所定値未満の場合は（ステップＳ１３０５のＴＲＵＥ）、基準ベクトルｍｖＲＥＦとｍｖ２は、ほぼ同じベクトル方向・長さを持つため、ｍｖ２は補正せずに、そのまま動き補償部１１０へ出力し、参照画像の生成やベクトル符号化を行う。
【０１４５】
一方、ベクトル間距離Ｄ２が所定値以上の値を持つ場合には（ステップＳ１３０５のＦＡＬＳＥ）、当該色成分の動きベクトルｍｖ２を、基準ベクトルｍｖＲＥＦと同じに補正して出力する（ステップＳ１３０６）。
【０１４６】
以上が、本実施例のベクトル間距離比較とベクトル補正動作である。
【０１４７】
上述した本発明の第２の実施例に拠れば、色成分毎にそれぞれ動き予測を行った場合において、実際の被写体の動きと異なる動きベクトルを出力しても、適切な動きベクトルに補正することができるため、画質劣化を防止することが可能となる。
【０１４８】
上記第２の実施例では、色成分毎の動きベクトルの内、Ｇ成分の動きベクトルを基準ベクトルとし、当該基準ベクトルとのベクトル間距離が所定値以上となった動きベクトルを補正した。
【０１４９】
次に、基準ベクトルの設定構成の他の例を、第２の実施例の変形例１および２として説明する。なお、本変形例においても動画像符号化システムの構成は第１の実施例と同様であるので、ここでの説明は省略する。
【０１５０】
（第２の実施例の変形例１）
第２の実施例の変形例１では、記録動作時のユーザ指定の撮影モードに応じて、基準ベクトルを決定する。これにより、撮影モードによって異なる色味や明るさ等の撮影パラメタに適した色成分の動きベクトルを優先し、画質劣化を抑制することが可能である。
【０１５１】
＜基準ベクトル決定＞
以下、本変形例１の基準ベクトル決定動作について、図１４のフローチャートを用いて説明する。なお、第２の実施例と共通する部分については、同一の符号を付して適宜その説明を省略する。
【０１５２】
当該基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ，ｍｖＢを取得するステップから開始する。
【０１５３】
そして、図１には示していない操作ボタンやタッチパネル等のユーザインタフェース経由で入力された、ユーザ設定による撮影モードを動画像符号化装置のＣＰＵ等の制御部から取得する（ステップＳ１４０１）。
【０１５４】
次いで、ステップＳ１４０２から、当該撮影モードの種別を判断し、該モードで入力された動画像を符号化する時、最適な色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
【０１５５】
ステップＳ１４０２では、撮影モードに夜景モードが指定されたかどうかを判断する。夜景モードとは夜景を被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。夜景のように暗い画像では（ステップＳ１４０２のＴＲＵＥ）、緑や赤よりも青の色味が画質を左右する要因となることから、基準となる動きベクトルｍｖＲＥＦには、Ｂ成分を優先したｍｖＢを設定する（ステップＳ１４０３）。
【０１５６】
続いて、夜景モードでない場合は（ステップＳ１４０２のＦＡＬＳＥ）、撮影モードに風景モードが設定されているかどうかを判断する（ステップＳ１４０４）。風景モードとは風景を被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。
【０１５７】
風景モード設定時には（ステップＳ１４０４のＴＲＵＥ）、被写体として人物や動体よりも、山や木等のＧ成分を多く含む画像を撮影するケースが多い。このことから、撮影モードが風景モード指定の場合は、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１４０５）。
【０１５８】
そして、設定モードが夜景モードでも風景モードでもない場合は（ステップＳ１４０４のＦＡＬＳＥ）、キッズモードやポートレートモード等、人物を中心にした被写体を撮影するモードが指定されているか否かを判断する（ステップＳ１４０６）。キッズモードとは動き回る人物を、ポートレートモードとは静止した人物をそれぞれ被写体として好適に撮影するために各種撮影パラメタが自動設定される撮影モードである。
【０１５９】
ステップＳ１４０６にてＴＲＵＥとなり、人物を撮影するモードが設定されている場合は、肌色の色味や質感等が画質を左右する要因となることから、Ｒ成分のベクトルｍｖＲを基準ベクトルｍｖＲＥＦと設定する（ステップＳ１４０７）。
【０１６０】
最後に上記のいずれの撮影モードにも該当しなかった場合には（ステップＳ１４０６のＦＡＬＳＥ）、第２の実施例の基準ベクトル決定処理により、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定し、本フローを終了する。
【０１６１】
その後、図１３のフローチャートに従って、設定した基準ベクトルを用いて、他の色成分の動きベクトルの補正を行なう。
【０１６２】
以上が、本発明の第２の実施例の変形例１に係わる基準ベクトル決定動作である。
【０１６３】
（第２の実施例の変形例２）
上述の第２の実施例の変形例１では、記録動作時のユーザ指定の撮影モードに応じて、基準ベクトルを決定した。本変形例２では、三つの色成分の動きベクトルの内、最も画面間差分値が小さかった動きベクトルを基準ベクトルに設定する。これにより、どの色成分の動きベクトルが被写体の動きを忠実に追従しているかが判断され、その動きベクトルを基準としたベクトル補正処理の精度が向上し、画質劣化の抑制が可能となる。
【０１６４】
＜基準ベクトル決定＞
以下、本変形例２の基準ベクトル決定動作について、図１５および図１６を用いて説明する。なお、本変形例２において、上述した第２の実施例およびその変形例１と共通する部分については同一の符号を付し、適宜その説明を省略する。
【０１６５】
当該基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ、ｍｖＢを取得するステップから開始する。
【０１６６】
そして、第一から第三の動きベクトル予測部１１４、１１５、１１６において前記動きベクトルを生成する時の画面間差分値（最小値）を、各色成分について取得する（ステップＳ１５０１、Ｓ１５０２，Ｓ１５０３）。
【０１６７】
図１６に例として、当該動きベクトルｍｖＲ，ｍｖＧ，ｍｖＢの決定時の、サーチウィンドウ内での各色成分の画面間差分値をそれぞれ示す。
【０１６８】
同図の例によれば、ｍｖＲ決定時の画面間差分値の最小値をＳＡＤＲ、ｍｖＧ決定時の画面間差分値の最小値をＳＡＤＧ、ｍｖＢ決定時の画面間差分値の最小値をＳＡＤＢと定義する。
【０１６９】
以降ステップＳ１５０４から、上述の処理ステップで取得した三つの色成分の画面間差分値の最小値のうち、最も値が小さくなった色成分を検索し、当該色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
【０１７０】
ステップＳ１５０４では、三つの画面間差分値の最小値のうち、最も小さな値を有する色成分がＢ成分であったかを判断する。
【０１７１】
Ｂ成分の画面間差分値ＳＡＤＢが最も小さいかった場合は（ステップＳ１５０４のＴＲＵＥ）、Ｂ成分の動きベクトルｍｖＢを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０５）。
【０１７２】
一方、Ｂ成分の画面間差分値ＳＡＤＢ以外が小さな値を有する場合は（ステップＳ１５０４のＦＡＬＳＥ）、Ｇ成分の画面間差分値の最小値が、最も小さな値だったかを判断する（ステップＳ１５０６）。
【０１７３】
そしてＧ成分の画面間差分値ＳＡＤＧが最も小さいかった場合は（ステップＳ１５０６のＴＲＵＥ）、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０７）。
【０１７４】
最後に、三つの画面間差分値の最小値のうち、最も小さな値を有する色成分がＢ成分でもＧ成分でもなかった場合（ステップＳ１５０６のＦＡＬＳＥ）、Ｒ成分の画面間差分値ＳＡＤＲが最も小さかったものと判断される。そのため、Ｒ成分の動きベクトルｍｖＲを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１５０８）。
【０１７５】
以上が、本発明の第２の実施例の変形例２における基準ベクトル決定動作である。この後は、図１３のフローチャートに従って、設定した基準ベクトルを用いて、他の色成分の動きベクトルの補正を行なう。
【０１７６】
なお、上記決定動作では、Ｂ成分、Ｇ成分、Ｒ成分の順番で比較判定をしているが、本発明を実施する上で色成分の判定順番はどちらでも良く、全色成分について比較する動作であれば特に制限するものではない。
【０１７７】
また、図１６の例において上記決定動作に従って基準ベクトルを決定した場合には、最もＳＡＤ値が小さな値となるＳＡＤＢを有するＢ成分の動きベクトルｍｖＢ（−２、２）が基準ベクトルとして選択される。
【０１７８】
（第２の実施例の変形例３）
第２の実施例の変形例２では、三つの色成分の動きベクトルのうち、最も画面間差分値が小さかったベクトルを基準ベクトルとして設定した。
【０１７９】
本変形例３では、３つの色成分の入力画像について、画面内あるいは画像領域毎に画素値の出現度数（ヒストグラム）を求め、当該画素値分布のバラつきに応じて基準ベクトルを決定して設定する。これは、画面内の画素値の分布が広い、すなわち濃淡のレンジが大きい色成分の方が、被写体の動きをより正確に反映したベクトルを計算しやすいことから基準ベクトルを決定する構成であり、画質劣化の抑制が可能となる。
【０１８０】
＜基準ベクトル決定処理＞
以下、第２の実施例の変形例３を、図１７および図１８を用いて説明する。
【０１８１】
なお、本変形例３の説明において、上述した第２の実施例および変形例１、２と共通する部分については同一の符号を付して示し、適宜その説明を省略する。
基準ベクトル決定動作は、第２の実施例と同様にステップＳ５０１からステップＳ５０３までのＲ、Ｇ，Ｂの三つの色成分の動きベクトルｍｖＲ、ｍｖＧ，ｍｖＢを取得するステップから開始する。
【０１８２】
そして、三つの色成分すべてについて画素ヒストグラムを生成する（ステップＳ１７０１、Ｓ１７０２，Ｓ１７０３）。
【０１８３】
図１８に、各色成分のヒストグラムの例を示す。ヒストグラムの横軸は、画素値が取り得る値域を表わし、一般的に1画素の画素値を８ビットで表現した場合には、整数値で０から２５５までの値となる。そして縦軸は、当該画素値が、1フレーム単位、サーチウィンドウ単位、あるいは符号化ブロック単位での画像データ中の出現個数を表わす。
【０１８４】
本変形例では、ヒストグラム計算を行う画像データの単位の大きさを特に限定するものではない。しかし、画面内の細かな制御とサンプル数に依存したデータ信頼性の両方を満たす場合、サーチウィンドウ単位が望ましい。
【０１８５】
次に、ステップＳ１７０４以降で、上述の処理ステップで生成した三つの色成分のヒストグラムのうち、最も画素値のバラつきが大きくなった色成分を検索し、当該色成分の動きベクトルを基準ベクトルに設定する処理を順次実行する。
【０１８６】
本変形例において、前記色成分毎の画素値バラツキを求める手段としては、一般的な分布評価として使われている標準分散σ２を下式（４）に基づいて求め、当該分散値の大小関係を色成分間で比較する。
【数４】
2014116902.tif 000006
ここで、ｘｉは、各画素値の出現度数、Ｘは下式（５）にて求めた算術平均値である。また、ｎは画素値の最大値である２５５、ｉは０から２５５までの整数値を取るものとする。
【数５】
2014116902.tif 000007
【０１８７】
上式に基づいて求めた分散値の値が大きいほど、分布のバラツキが広いこと意味し、０から２５５までのレンジに広く画素が存在することを示す。
【０１８８】
ステップＳ１７０４では、三つのヒストグラムの内、最もヒストグラムの分布バラツキが大きな値を有する色成分がＢ成分であるかどうかを判断する。
【０１８９】
Ｂ成分のヒストグラム分布が最も大きい場合は（ステップＳ１７０４のＴＲＵＥ）、Ｂ成分の動きベクトルｍｖＢを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０５）。
【０１９０】
一方、Ｂ成分のヒストグラム分布以外が大きな値を有する場合は（ステップＳ１７０４のＦＡＬＳＥ）、Ｇ成分のヒストグラム分布値が、最も大きな値であるかどうかを判断する（ステップＳ１７０６）。
【０１９１】
そしてＧ成分のヒストグラム分布が最も大きい場合は（ステップＳ１７０６のＴＲＵＥ）、Ｇ成分の動きベクトルｍｖＧを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０７）。
【０１９２】
最後に、三つのヒストグラム分布のうち、最も大きな値を有する色成分がＢ成分でもＧ成分でもなかった場合（ステップＳ１７０６のＦＡＬＳＥ）、Ｒ成分のヒストグラム分布が最も大きいものと判断される。そのため、Ｒ成分の動きベクトルｍｖＲを基準ベクトルｍｖＲＥＦに設定する（ステップＳ１７０８）。
【０１９３】
以上が、本発明の第２の実施例の変形例３における基準ベクトルの決定動作である。基準ベクトルを設定した後の動きベクトルの補正は、図１３のフローチャートに従って第２の実施例と同様に行う。
【０１９４】
なお、上記決定フローでは、Ｂ成分、Ｇ成分、Ｒ成分の順番で比較判断をしているが、本変形例を実施する上で色成分の判断順番はどちらでも良く、全色成分について比較するフローであれば特に制限するものではない。
【０１９５】
また、図１８の例において上記決定動作に従って基準ベクトルを決定した場合には、最もヒストグラム分布が大きい色成分はＲ成分となり、Ｒ成分の動きベクトルｍｖＢが基準ベクトルとして選択される。
【０１９６】
（第３の実施例）
第１の実施例では、色成分毎の動きベクトルのベクトル間距離を算出し、それらを比較してベクトル間距離が他の色成分と異なる色成分を検出した。そして当該色成分の動きベクトルを、他の色成分の動きベクトルの平均ベクトルや、ベクトル間距離が最小となる色成分の動きベクトル、又は画面間差分値が最小となる色成分の動きベクトルに補正した。また、第２の実施例では、色成分の動きベクトルのうち、一つを基準ベクトルと決定し、それと他の動きベクトルとの距離に従って補正対象となる色成分を決定した。
【０１９７】
第３の実施例では、色成分毎の参照画像番号を比較し、他の色成分の参照画像番号と異なる色成分があった場合に、当該参照画像番号を適切な参照画像番号に補正し、対応する動きベクトルも補正する。これにより、２次元のベクトル値の大小関係に加えて、時間方向も含めた精度の高い補正が可能となり、さらに画質劣化を抑制することが可能となる。
【０１９８】
以下、本発明の第３の実施例について、図を用いて説明する。なお、第３の実施例の説明において、上述した第１および第２の実施例と共通する部分については同一の符号を付して示し、適宜その説明を省略する。
【０１９９】
＜システム構成＞
図１９は、本発明の第３の実施例に係わる動画像符号化装置をビデオカメラ等の撮像装置に適用したときの動画像符号化システムの構成を示すブロックである。
【０２００】
なお、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
【０２０１】
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
【０２０２】
本実施例のシステムは、構成要素１０１から１１６なる第１の実施例の構成と、参照画像番号取得部１９０１、参照画像番号比較部１９０２、参照画像番号補正部１９０３、第二の動きベクトル補正部１９０４からなる構成とからなる。
【０２０３】
動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データ、後述する第二の動きベクトル補正部１９０４から通知された動きベクトルおよび参照画像番号を用いてインター符号化の際に用いる参照画像データを生成する。生成した参照画像データは、フレームメモリ１０３に格納される。
【０２０４】
参照画像番号取得部１９０１は、第一から第三までの色成分の動き予測部１１４，１１５、１１６で求めた、各色成分の同一位置の符号化ブロックでの参照画像番号を取得する。参照画像番号を示す情報としては、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４規格で定義される、符号化ブロック単位に符号化するｒｅｆ＿ｉｄｘというシンタックス値を本実施例では適用する。しかし、当該情報と同義の値が取得できれば特に限定しない。
【０２０５】
上記ｒｅｆ＿ｉｄｘ値は、当該符号化ブロックが参照する画像位置を一意に識別する情報として符号化データ中に記述され、復号時に用いられる。また、色成分毎に独立に符号化した場合においても、時間的に同じ位置の画像であるときには同じｒｅｆ＿ｉｄｘ値が記述されている。
【０２０６】
参照画像番号比較部１９０２は、参照画像番号取得部１９０１より通知された各色成分の参照画像の時間的な位置情報(ｒｅｆ＿ｉｄｘ)を比較し、特定の色成分ｒｅｆ＿ｉｄｘが異なるか否かを比較判定する。
【０２０７】
参照画像番号補正部１９０３は、参照画像番号比較部１９０２の判定結果に基づいて、当該色成分の参照画像番号を適切な参照画像番号に補正する。
【０２０８】
第二の動きベクトル補正部１９０４は、前記参照画像番号補正部で設定された補正前後の参照画像番号で示される各参照画像の参照距離に基づいて動きベクトルを比例計算によって補正する。そして補正した参照画像番号と動きベクトルを符号化パラメタとして動き補償部１１０へ出力し、そこで予測画像生成時に適用される。
【０２０９】
以上が本発明の第３の実施例における動画像符号化システムの構成である。
【０２１０】
＜参照画像番号比較＞
以下、本発明の第３の実施例の参照画像番号比較動作について、図２０のフローチャートを用いて説明する。当該動作は、本実施例に係わる動画像符号化システムの参照画像番号取得部１９０１、および参照画像番号比較部１９０２にて実行する。
【０２１１】
初めに、ステップＳ２００１で、上述した動き予測処理によって求めたＲ成分の参照画像番号ｒｅｆ＿ｉｄｘＲを第一の動き予測部１１４から取得する。同様に、Ｇ成分の参照画像番号ｒｅｆ＿ｉｄｘＧを第二の動き予測部１１５から（ステップＳ２００２）、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘＢを第三の動き予測部１１６からそれぞれ取得する（ステップＳ２００３）。
【０２１２】
続いて、上記ステップＳ２００１からＳ２００３によって取得した、３つの色成分の参照画像番号を比較して、どの色成分の参照画像番号を補正するかどうかの比較判断を行う。
【０２１３】
ステップＳ２００４では、Ｒ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する。前記比較判定の結果、Ｒ成分だけ異なる（ステップＳ２００４のＴＲＵＥ）場合は、Ｒ成分の参照画像番号ｒｅｆ＿ｉｄｘR値を補正して符号化するものと決定する。この決定は、後段の参照画像番号補正処理部へ通知され、その後本フローを終了する（ステップＳ２００８）。
【０２１４】
一方、Ｒ成分以外の参照画像番号が異なる（ステップＳ２００４のＦＡＬＳＥ）場合は、続けてＧ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する（ステップＳ２００５）。この比較判定の結果、Ｇ成分だけ異なる（ステップＳ２００５のＴＲＵＥ）場合は、Ｇ成分の参照画像番号ｒｅｆ＿ｉｄｘG値を補正して符号化するものと決定する。この決定は、後段の参照画像番号補正処理部へ通知され、その後本動作を終了する（ステップＳ２００９）。
【０２１５】
一方、Ｇ成分以外の参照画像番号が異なる（ステップＳ２００５のＦＡＬＳＥ）場合は、さらにＢ成分だけが他の色成分とは異なる参照画像番号であるかどうかを比較判定する（ステップＳ２００６）。その結果、Ｂ成分だけ異なる（ステップＳ２００６のＴＲＵＥ）場合は、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘxＢ値を補正して符号化するものと決定する。決定の結果は、後段の参照画像番号補正処理部に通知され、その後、本動作を終了する（ステップＳ２０１０）。
【０２１６】
最後に、全ての色成分の参照画像番号が異なる場合（ステップＳ２００６のＦＡＬＳＥ）は、すべての色成分の参照画像番号を補正して符号化するものと決定して、本動作を終了する（ステップＳ２００７）。
【０２１７】
以上が、本発明の第３の実施例における参照画像番号比較動作である。
【０２１８】
＜参照画像番号補正＞
次に、本発明の第３の実施例の参照画像番号補正動作について、図２１のフローチャートを用いて説明する。
【０２１９】
当該動作は、本実施例の動画像符号化システムの参照画像番号補正部１９０３および第二の動きベクトル補正部１９０４にて実行する。
【０２２０】
初めに、前記参照画像番号比較動作のステップＳ２１０１では、補正対象の色成分についての参照画像番号ｒｅｆ＿ｉｄｘＯＲＧと、当該色成分の動きベクトル値ｍｖＯＲＧを取得する。
【０２２１】
動きベクトル値ｍｖＯＲＧは、第一の動き予測部１１４から１１６にて出力された、各色成分の動きベクトルである。
【０２２２】
続いて、前記参照画像番号ｒｅｆ＿ｉｄｘＯＲＧと動きベクトルｍｖＯＲＧである動き予測情報を用いて、当該符号化ブロックの予測画像と参照画像間との画面間差分値ＳＡＤＯＲＧを計算する（ステップＳ２１０２）。
【０２２３】
続いて、上述の参照画像番号比較動作での判定結果が、いずれかの色成分についてだけ補正が必要か、あるいは全色成分について補正が必要かのいずれであったかを判断する（ステップＳ２１０３）。
【０２２４】
特定色の参照画像番号について補正が必要な場合（ステップＳ２１０３のＦＡＬＳＥ）、補正対象外の色成分の参照画像番号を、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲとして設定する（ステップＳ２１０５）。
【０２２５】
一方、全色成分の参照画像番号の補正が必要な場合（ステップＳ２１０３のＴＲＵＥ）は、全色成分のうち、符号化画像位置を起点に、最も時間距離が短い画像番号を持つｒｅｆ＿ｉｄｘ値を、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲとして設定する（ステップＳ２１０４）。
【０２２６】
続いて、前記ステップＳ２１０４あるいはＳ２１０５にて設定した参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲと補正前の参照画像番号ｒｅｆ＿ｉｄｘＯＲＧの参照距離から、補正前の動きベクトルｍｖＯＲＧから比例計算によって補正動きベクトルｍｖＣＯＲＲを計算する（ステップＳ２１０６）。参照方向が反転した場合は、ベクトル成分の符号を反転して、参照画像位置の時間的な距離がＮ倍になったら、ベクトル成分の要素をＮ倍するという比例計算によって導出する方法を採用する。
【０２２７】
そして、参照画像番号補正対象の色成分の符号化ブロックに対して、上記補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲと動きベクトルｍｖＣＯＲＲから、ステップＳ２１０２と同様に画面間差分値ＳＡＤＣＯＲＲを計算する（ステップＳ２１０７）。
【０２２８】
続いてステップＳ２１０８では、参照画像番号補正時の画面間差分ＳＡＤＣＯＲＲと補正前の画面間差分値ＳＡＤＯＲＧの差を求め、所定値未満の差であるか否かを判断する。この判断ステップを経て実際に符号化する参照画像番号を決定する。これにより、結果として画面間差分値の大きい参照画像にベクトルを指してしまい、それによって画質劣化を目立たせてしまうという逆効果を予め防止する。
【０２２９】
所定値以上の画面間差分の差がある場合は（ステップＳ２１０８のＦＡＬＳＥ）、他の色成分と参照画像番号が異なる動き予測結果となっているが、参照画像番号補正適用時に比べて実際のオブジェクトの動きに追従できていると判断する。その結果、参照画像番号補正はせず、そのまま動き補償部１１０に動きベクトルｍｖＯＲＧとｒｅｆ＿ｉｄｘＯＲＧを通知して、本動作を終了する（ステップＳ２１０９）。
【０２３０】
一方、補正参照画像番号ｒｅｆ＿ｉｄｘＣＯＲＲの適用後でも、画面間差分の差に大きな違いが無い場合は（ステップＳ２１０８のＴＲＵＥ）、次のように判断する。符号化ブロックレベルでの視覚的な画質劣化がほとんど伴わずに他の色成分と参照画像番号を揃えることが可能で、ピクチャ単位、画面間での画質劣化を防止できる効果あるものと判断する。
【０２３１】
そして、当該色成分の符号化ブロックにおける動きベクトルｍｖＣＯＲＲとｒｅｆ＿ｉｄｘＯＲＧからｒｅｆ＿ｉｄｘＣＯＲＲの値に補正した参照画像番号を、符号化パラメタとして動き補償部１１０へ通知出力する（ステップＳ２１１０）。
【０２３２】
以上が、本発明の第３の実施例における参照画像番号補正動作である。
【０２３３】
＜参照画像番号補正動作例＞
続いて、本実施例による上記動作例を、図２２および図２３を用いて説明する。
【０２３４】
図２２の例は、ＲＧＢの三成分の符号化画像において、同一の符号化ブロック位置で、動き予測を行った時の参照画像番号を補正する前と、補正した後を示している。なお、図の例では、符号化画像に対して過去の画像を参照する前方参照画像を１つまたは３つ持つ構成となっているが、本発明を実施する上では、参照方向や画像枚数を特に図の構成に限定するものではない。
【０２３５】
図の例では、Ｒ成分とＧ成分は、動き予測部の結果として、前方参照画像である参照画像番号が０となるフレーム画像に対して、動きベクトル予測を行っている。一方、Ｂ成分については、後方参照画像である参照画像番号が1となるフレーム画像に対して動きベクトル予測を行っている。
【０２３６】
本実施例は、動きベクトル値のみを補正対象とする第１および第２の実施例と比較して、各色成分において動きベクトルが同じだが、参照画像が異なるような場合に発生し得る画質劣化の防止が可能となる。即ち、時間軸方向の参照関係についても各色成分で揃えるように、特定、あるいは全ての色成分について参照画像番号を補正して符号化することが可能となる。
【０２３７】
具体的には、図２２（ｂ）のように、Ｂ成分の参照画像番号ｒｅｆ＿ｉｄｘを１から、Ｒ成分やＧ成分と同じ０に変更して符号化を行う。またＢ成分の動きベクトルｍｖＢについても、元の参照画像番号と補正後の参照画像番号とで、時間方向が逆転しているので、ベクトルの向きが逆になる正負の符号反転を行ったベクトル（−ｍｖＢ）で符号化する。
【０２３８】
また図２３の例では、同じ符号化ブロック位置において、すべての色成分の参照画像番号が異なる場合の参照画像番号の補正前と、補正後について示している。
【０２３９】
同図（ａ）では、Ｒ成分が参照画像番号２を、Ｇ成分が参照画像番号０を、Ｂ成分が参照画像番号１に相当するフレーム画像をそれぞれ参照してベクトル予測を行っている。
【０２４０】
本実施例によれば、各色成分が異なる参照画像番号となった場合は、符号化画像位置から最も時間的に近い場所、すなわち画像番号０のフレーム画像をすべての色成分が参照するように参照画像番号を補正する（図（ｂ））。また、各色成分の動きベクトルについても、参照画像番号の補正前後での参照距離に基づいて、元の動きベクトルｍｖＲを１／３倍、またｍｖＢを１／２倍した動きベクトルｍｖＲ´、ｍｖＢ´に補正する。
【０２４１】
上述のように本実施例によれば、動きベクトルの向きや大小関係に加えて、時間軸方向も考慮した動き予測情報の補正が可能となる。そのため、画面間で被写体やオブジェクトの動きがあった時に、特定の色成分だけが他の色成分と大きく異なる画像参照をした場合に起こる画質劣化の防止が可能となる。
【０２４２】
（第４の実施例）
第３の実施例では、色成分毎の参照画像番号を比較し、他と参照画像番号と異なる色成分があった場合に、当該参照画像番号を適切な参照画像番号に補正し、対応する動きベクトルも補正した。この時、動きベクトルの補正は、補正前後の参照画像番号について、時間方向の前後関係および時間的な距離に基づく比例関係から導出される値を適用する構成であった。
【０２４３】
第４の実施例は、上述の第３の実施例での参照画像番号の補正とそれに対応する動きベクトルの補正後に、第１及び第２の実施例の動きベクトルの補正を行う構成とする。これにより、参照画像番号の補正によって各色成分が同一時刻の参照画像番号に基づく動き予測を行なった後に、さらに動きベクトルを補正して最適な値を導出することが可能となる。
【０２４４】
以下、本発明の第４の実施例について、図を用いて説明する。なお、本実施例の説明において、上述した第１から第３の実施例と共通する部分については同一の符号を付して示し、適宜その説明を省略する。特に実施例の参照画像番号比較動作は、上記第３の実施例と同一である。
【０２４５】
＜システム構成＞
図２４には、本発明の第４の実施例に係わる動画像符号化装置をビデオカメラ等の撮像装置に適用したときの動画像符号化システムの構成を示すブロックである。本実施例のシステムは、第１および第３の実施例で示したシステム構成の要素すべてから構成される。
【０２４６】
なお、第１の実施例と同様に、本実施例に係わる動画像符号化装置も、上記動画像符号化システムから撮像部１０１および色成分分離部１０２が除かれた、コンピュータ等で実行可能な装置として提供することが可能である。例えば、ＰＣなどの情報処理装置においてプログラム又は一部ハードとの組み合わせにおいて実行される動画像符号化装置および方法として提供することも可能である。
【０２４７】
また、本発明の実施例においても説明のために、ＲＧＢ三原色の画像入力を前提として、第一の色成分をＲ成分、第二の色成分をＧ成分、そして第三の色成分をＢ成分としているが、特に本発明において限定するものではない。
【０２４８】
本実施例での動き補償部１１０は、ループ内フィルタ１１１でフィルタ処理された予測画像データを入力することは第１乃至第３の実施例と同様である。しかし、本実施例ではさらに参照画像番号補正部１９０３から通知された補正後の参照画像番号と動きベクトル補正部１１９から通知された動きベクトルを符号化パラメタとして入力する。動き補償部１１０は、これらの入力情報に基づいてインター符号化の際に用いる参照画像データを生成し、フレームメモリ１０３に格納する。
【０２４９】
第三の動きベクトル補正部２４０１は、第３の実施例の比例計算による動きベクトル補正と、第一から第三の色成分の動き予測部１１４，１１５，１１６からの補正前の動きベクトルとを切り換える。切り換えられた動きベクトルはベクトル間距離取得部１１７に通知される。
【０２５０】
以上が本発明の第４の実施例における動画像符号化システムの構成である。
【０２５１】
＜参照画像番号補正＞
以下、本発明の第４の実施例の参照画像番号補正動作について、図２５のフローチャートを用いて説明する。
【０２５２】
当該動作は、本実施例に係わる動画像符号化装置の参照画像番号補正部１９０３および第二の動きベクトル補正部１９０４にて実行する。
【０２５３】
当該フローチャートのステップＳ２１０１からＳ２１０９までは、上述の第３の実施例での参照画像番号補正と同一である。
【０２５４】
本実施例では、ステップＳ２１０８において，補正前後の画面間差分が小さく、動きベクトルと参照画像番号の補正値出力が必要と判断した場合（ＦＡＬＳＥ）の動作が第３の実施例と異なる。この場合本実施例では、補正した参照画像番号としてｒｅｆ＿ｉｄｘＣＯＲＲを動き補償部１１０へ通知出力すると供に、各色成分について比例計算によって補正した動きベクトルｍｖＣＯＲＲをベクトル間距離取得部１１７に通知する。そして、上述した実施例１および２のいずれかの方法で、各色成分間のベクトル間距離を計算し、最適な動きベクトル補正をした後、動き補償部１１０に通知出力する（ステップＳ２５０１）。
以上が、本発明の第４の実施例における参照画像番号補正動作である。
【０２５５】
＜参照画像番号補正適用例＞
上記本実施例の動作例を、図２６を用いて説明する。
【０２５６】
図２６は、ＲＧＢの三成分の符号化画像において、同一の符号化ブロック位置に対する本実施例による動き予測情報の補正動作を示している。同図（ａ）は、ベクトル探索後の参照画像番号補正前、（ｂ）は比例計算による動きベクトルと参照画像番号補正後、（ｃ）はベクトル間距離時基づく動きベクトル補正後（ｃ）を示している。
【０２５７】
図２６の例では、符号化画像に対して、過去の映像を参照する前方参照画像を２つ、未来の映像を参照する後方参照画像を１つ持つ構成となっている。しかし、第３の実施例と同様に、本発明を実施する上では、参照方向や画像枚数を特に図の構成に限定するものではない。
【０２５８】
図２６の（ａ）では、Ｒ成分が前方参照画像番号１を、Ｇ成分が後方参照画像番号２を、そしてＢ成分が前方参照画像番号０に相当するフレーム画像をそれぞれ参照してベクトル予測を行っている。
【０２５９】
そして第３の実施例と同様に、各色成分が異なる参照画像となった場合において、符号化ピクチャ位置から最も時間的に近い場所である参照画像番号０のフレーム画像を参照するよう参照画像番号を補正する（図２６（ｂ））。同様に参照画像番号の補正前後の参照距離の比例関係に基づいて、補正した色成分の動きベクトルも補正する。
【０２６０】
さらに本実施例では、各色成分の参照画像番号を補正して揃えた後に比例計算によって補正した各色成分の動きベクトルを第１又は第２の実施例による動きベクトル間距離に基づく一連のベクトル補正を行う。
【０２６１】
図２６の（ｂ）では、比例計算による補正をした後の色成分の動きベクトルが、異なる長さ、方向を有する値として算出されたことを想定している。これらの動きベクトルは、その後、第１および第２の実施例のいずれかの方法で、各色成分の動きベクトル間の距離に応じて共通のｍｖＣＲＲに補正されている（図２６（ｃ））。
【０２６２】
以上が、本発明の第４の実施例による参照画像番号および動きベクトル補正の構成である。
【０２６３】
（その他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【０２６４】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【０２６５】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図示したフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２６６】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０２６７】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【０２６８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【０２６９】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２７０】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２７１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２７２】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２７３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014116902.tif 000008
【図２】
2014116902.tif 000009
【図３】
2014116902.tif 000010
【図４】
2014116902.tif 000011
【図５】
2014116902.tif 000012
【図６】
2014116902.tif 000013
【図７】
2014116902.tif 000014
【図８】
2014116902.tif 000015
【図９】
2014116902.tif 000016
【図１０】
2014116902.tif 000017
【図１１】
2014116902.tif 000018
【図１２】
2014116902.tif 000019
【図１３】
2014116902.tif 000020
【図１４】
2014116902.tif 000021
【図１５】
2014116902.tif 000022
【図１６】
2014116902.tif 000023
【図１７】
2014116902.tif 000024
【図１８】
2014116902.tif 000025
【図１９】
2014116902.tif 000026
【図２０】
2014116902.tif 000027
【図２１】
2014116902.tif 000028
【図２２】
2014116902.tif 000029
【図２３】
2014116902.tif 000030
【図２４】
2014116902.tif 000031
【図２５】
2014116902.tif 000032
【図２６】
2014116902.tif 000033