(57)【特許請求の範囲】
【請求項１】
飛越し走査映像符号化方法であって、
現在映像に対する主参照フィールドに基づいて前記現在映像の一部に該当する現在フィールドの動きを推定することで、前記現在フィールドを基準として過去時間のフィールドまたは未来時間のフィールドのいずれかである前記主参照フィールドの動きベクトルを算出するステップと、
前記主参照フィールドと関連した補助参照フィールドを選択するステップと、
前記主参照フィールドと現在フィールドとの間の時間的距離および主参照フィールドと補助参照フィールドとの間の極性差に基づいて主参照フィールドの動きベクトルを線形変換することによって、前記主参照フィールドの動きベクトルから前記補助参照フィールドの動きベクトルを誘導するステップと、
前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルのうちの少なくとも１つを用いて前記現在フィールドの予測フィールドを生成するステップと、
符号化された飛越し走査映像を生成するために前記現在フィールドおよび予測フィールドの相互間の残差フィールドを符号化するステップと、
を含むことを特徴とする飛越し走査映像符号化方法。
【請求項２】
前記主参照フィールドは、
前記現在フィールドを基準として過去時間のフィールドであることを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項３】
前記主参照フィールドは、
前記現在フィールドを基準として未来時間のフィールドであることを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項４】
主参照フィールドと関連した補助参照フィールドを選択する前記ステップは、
前記主参照フィールドと異なる極性のフィールドを前記補助参照フィールドとして選択することを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項５】
主参照フィールドと関連した補助参照フィールドを選択する前記ステップは、
前記主参照フィールドが属する同じ映像内の異なる極性のフィールドを前記補助参照フィールドとして選択することを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項６】
主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する前記ステップは、
前記主参照フィールドの動きベクトルを基盤として線形変換を実行して前記補助参照フィールドの動きベクトルを誘導することを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項７】
前記線形変換は、
前記主参照フィールドおよび前記現在フィールドの相互間の時間的距離を用いて実行されることを特徴とする請求項６に記載の飛越し走査映像符号化方法。
【請求項８】
前記主参照フィールドの動きベクトルによる現在フィールドの圧縮率と前記補助参照フィールドの動きベクトルによる現在フィールドの圧縮率との相互間の比較結果によって、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルのうちのいずれか１つを選択するステップ、
をさらに含むことを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項９】
前記現在フィールドの予測フィールドを生成するステップは、
前記主参照フィールドの動きベクトルおよび前記補助参照フィールドの動きベクトルのうちのいずれか１つを選択的に用いて前記予測フィールドを生成するステップ、
を含むことを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項１０】
前記符号化された飛越し走査映像を生成するために前記補助参照フィールドの動きベクトルを符号化せずに、予め設定されたシンタックスによって前記主参照フィールドの動きベクトルを符号化するステップ、
をさらに含むことを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項１１】
前記現在フィールド、前記主参照フィールド、および前記補助参照フィールドそれぞれは、上部フィールドまたは下部フィールドのうちのいずれか１つであることを特徴とする請求項１に記載の飛越し走査映像符号化方法。
【請求項１２】
飛越し走査映像復号化方法であって、
ビットストリームから現在映像の一部に該当する現在フィールドおよび予測フィールドの相互間の残差フィールドを復元するステップと、
前記現在フィールドの参照フィールドのうち、前記現在フィールドを基準として過去時間のフィールドまたは未来時間のフィールドのいずれかである主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップであって、前記誘導することは、前記主参照フィールドと現在フィールドとの間の時間的距離および主参照フィールドと補助参照フィールドとの間の極性差に基づく、ステップと、
前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記予測フィールドを生成するステップと、
前記現在フィールドを復元するために前記生成された予測フィールドに前記復元された残差フィールドを加算することによって復号化された飛越し走査映像を生成するステップと、
を含むことを特徴とする飛越し走査映像復号化方法。
【請求項１３】
前記主参照フィールドは、
前記現在フィールドを基準として過去時間のフィールドであることを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項１４】
前記主参照フィールドは、
前記現在フィールドを基準として未来時間のフィールドであることを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項１５】
前記補助参照フィールドは、
前記主参照フィールドと異なる極性のフィールドであることを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項１６】
前記補助参照フィールドは、
前記主参照フィールドが属する同じ映像内の異なる極性のフィールドであることを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項１７】
主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する前記ステップは、
前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルを基盤として線形変換を実行して前記補助参照フィールドの動きベクトルを誘導することを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項１８】
前記線形変換は、
前記主参照フィールドおよび前記現在フィールドの相互間の時間的距離を用いて実行されることを特徴とする請求項１７に記載の飛越し走査映像復号化方法。
【請求項１９】
前記飛越し走査映像復号化方法は、
前記ビットストリームから前記現在映像の符号化情報を復元するステップ、
をさらに含み、
主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する前記ステップは、
前記符号化情報に含まれた主参照フィールドの動きベクトルを線形変換することによって前記補助参照フィールドの動きベクトルを誘導することを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項２０】
前記現在フィールド、前記主参照フィールド、および前記補助参照フィールドそれぞれは、上部フィールドまたは下部フィールドのうちのいずれか１つであることを特徴とする請求項１２に記載の飛越し走査映像復号化方法。
【請求項２１】
請求項１〜２０のうちのいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
現在映像に対する主参照フィールドに基づいて前記現在映像の一部に該当する現在フィールドの動きを推定することによって前記主参照フィールドの動きベクトルを算出し、前記主参照フィールドと関連した補助参照フィールドを選択し、前記主参照フィールドの動きベクトルから前記補助参照フィールドの動きベクトルを誘導する動き推定部であって、前記主参照フィールドは、前記現在フィールドの参照フィールドのうち、前記現在フィールドを基準として過去時間のフィールドまたは未来時間のフィールドのいずれかであり、前記誘導することは、前記主参照フィールドと現在フィールドとの間の時間的距離および主参照フィールドと補助参照フィールドとの間の極性差に基づく、動き推定部と、
前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルのうちの少なくとも１つを用いて前記現在フィールドの予測フィールドを生成する動き補償部と、
符号化された飛越し走査映像を生成するために前記現在フィールドおよび予測フィールドの相互間の残差フィールドを符号化する符号化部と、
を備えることを特徴とする飛越し走査映像符号化装置。
【請求項２３】
ビットストリームから現在映像の半分に該当する現在フィールドおよび予測フィールドの相互間の残差フィールドを復元する復号化部と、
前記現在フィールドの参照フィールドのうち、前記現在フィールドを基準として過去時間のフィールドまたは未来時間のフィールドのいずれかである主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記予測フィールドを生成する動き補償部であって、前記誘導することは、前記主参照フィールドと現在フィールドとの間の時間的距離および主参照フィールドと補助参照フィールドとの間の極性差に基づく、動き補償部と、
前記生成された予測フィールドに前記復元された残差フィールドを加算することによって前記現在フィールドを復元する加算器と、
を備えることを特徴とする飛越し走査映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を符号化または復号化する方法および装置に関し、より詳細には、飛越し走査方式の映像を符号化または復号化する方法および装置に関する。
【背景技術】
【０００２】
最近、通信環境は、映像と音声は勿論、ユーザが必要とする多様な情報をリアルタイムで提供する方向で構築されている。さらに、動画をデジタルデータに加工してリアルタイムで送信し、これを受信して表示するデジタルテレビシステムや、動画を介して移動通信サービスを提供する個人携帯端末機などが通信環境の進化を促進させている。
【０００３】
映像の符号化と復号化は、動画を介したサービスシステムに必ず必要な技術要素であり、このようなサービスシステムは、符号化と復号化を行うときに、多重参照映像の動きベクトルを活用して映像の画質を改善させることで、ユーザに良質のサービスを提供することができる。ただし、現在映像と最適にマッチングする参照映像を１つ１つ探索したり、複数の参照映像の動きベクトルすべてを考慮したりするということは、符号化または復号化の処理複雑度を増加させる問題となる。したがって、主参照映像に対する動きベクトルを用いて効率的に多重動き予測を実行することができる映像符号化または復号化方法の開発が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上述した問題点を解決するために案出されたものであって、現在フィールドを基準として過去時間または未来時間のフィールドを主参照フィールドとして選択することで、より弾力的に符号化または復号化を実行する飛越し走査映像符号化／復号化方法および装置を提供することを目的とする。
【０００５】
また、本発明は、主参照フィールドが属する映像内の他のフィールドを補助参照フィールドとして選択することで、より効率的に処理複雑度を節減させた飛越し走査映像符号化／復号化方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した目的を解決するために、本発明の一実施形態に係る飛越し走査映像符号化方法は、主参照フィールドを基準として現在映像の半分に該当する現在フィールドの動きを推定することで、前記主参照フィールドの動きベクトルを算出するステップと、前記主参照フィールドと関連した補助参照フィールドを選択するステップと、前記主参照フィールドの動きベクトルから前記補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記現在フィールドの予測フィールドを生成するステップと、前記現在フィールドおよび予測フィールドの相互間の残差フィールドを符号化するステップとを含む。
【０００７】
本発明の一側によれば、前記主参照フィールドは、前記現在フィールドを基準として過去時間のフィールドまたは未来時間のフィールドのうちのいずれか１つである。
【０００８】
また、本発明の一側によれば、主参照フィールドと関連した補助参照フィールドを選択する前記ステップは、前記主参照フィールドが属する同じ映像内の他の極性のフィールドを前記補助参照フィールドとして選択することを特徴とする。
【０００９】
また、本発明の一側によれば、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する前記ステップは、前記主参照フィールドの動きベクトルを基盤として線形変換を実行し、前記補助参照フィールドの動きベクトルを誘導することを特徴とする。
【００１０】
また、本発明の一側によれば、飛越し走査映像符号化方法は、前記主参照フィールドの動きベクトルによる現在フィールドの圧縮率と前記補助参照フィールドの動きベクトルによる現在フィールドの圧縮率との相互間の比較結果によって、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルのうちのいずれか１つを選択するステップをさらに含む。
【００１１】
また、本発明の一実施形態に係る飛越し走査映像復号化方法は、ビットストリームから現在映像の半分に該当する現在フィールドおよび予測フィールドの相互間の残差フィールドを復元するステップと、前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導するステップと、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記予測フィールドを生成するステップと、前記生成された予測フィールドに前記復元した残差フィールドを加算することによって前記現在フィールドを復元するステップとを含む。
【００１２】
さらに、本発明の一実施形態に係る飛越し走査映像符号化装置は、主参照フィールドを基準として現在映像の半分に該当する現在フィールドの動きを推定することによって前記主参照フィールドの動きベクトルを算出し、前記主参照フィールドと関連した補助参照フィールドを選択し、前記主参照フィールドの動きベクトルから前記補助参照フィールドの動きベクトルを誘導する動き推定部と、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記現在フィールドの予測フィールドを生成する動き補償部と、前記現在フィールドおよび予測フィールドの相互間の残差フィールドを符号化する符号化部とを備える。
【００１３】
また、本発明の一実施形態に係る飛越し走査映像復号化装置は、ビットストリームから現在映像の半分に該当する現在フィールドおよび予測フィールドの相互間の残差フィールドを復元する復号化部と、前記現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導し、前記主参照フィールドの動きベクトルまたは前記補助参照フィールドの動きベクトルを用いて前記予測フィールドを生成する動き補償部と、前記生成された予測フィールドに前記復元した残差フィールドを加算することによって前記現在フィールドを復元する加算器とを備える。
【発明の効果】
【００１４】
本発明は、現在フィールドを基準として過去時間または未来時間のフィールドを主参照フィールドとして選択することで、より弾力的に符号化または復号化を実行する飛越し走査映像符号化／復号化方法および装置を提供することができる。
【００１５】
また、本発明は、主参照フィールドが属する映像内の他のフィールドを補助参照フィールドとして選択することで、より効率的に処理複雑度を節減させた飛越し走査映像符号化／復号化方法および装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る飛越し走査映像符号化装置を示す構成図である。
【図２】主参照フィールドおよび補助参照フィールドが現在フィールドを基準として過去時間の映像に含まれる場合、現在フィールド、主参照フィールド、および補助参照フィールドの位置関係の一例を示す図である。
【図３】主参照フィールドおよび補助参照フィールドが現在フィールドを基準として未来時間の映像に含まれる場合、現在フィールド、主参照フィールド、および補助参照フィールドの位置関係の一例を示す図である。
【図４】現在フィールドと主参照フィールドの極性が同じであり、主参照フィールドが過去時間のフィールドの場合を説明するための一例を示す図である。
【図５】現在フィールドと主参照フィールドの極性が異なり、主参照フィールドが過去時間のフィールドの場合を説明するための一例を示す図である。
【図６】現在フィールドと主参照フィールドの極性が同じであり、主参照フィールドが未来時間のフィールドの場合を説明するための一例を示す図である。
【図７】現在フィールドと主参照フィールドの極性が異なり、主参照フィールドが未来時間のフィールドの場合を説明するための一例を示す図である。
【図８】本発明の一実施形態に他の飛越し走査映像復号化装置を示す構成図である。
【図９】本発明の一実施形態に他の飛越し走査映像符号化方法を説明するためのフローチャートである。
【図１０】本発明の一実施形態に他の飛越し走査映像復号化方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００１７】
以下、添付の図面および添付の図面に記載された内容を参照しながら、本発明の好ましい実施形態について詳細に説明するが、本発明が実施形態によって制限されたり限定されるものではない。特に、後述される「映像（ｉｍａｇｅ）」という用語は、ピクチャ（ｐｉｃｔｕｒｅ）やフレーム（ｆｒａｍｅ）などのように同等な意味を有する異なる用語に対置して用いられることは、本実施形態が属する技術分野において通常の知識を有する者であれば容易に理解できるであろう。
【００１８】
本発明の一実施形態に係るスケーラブル（ｓｃａｌａｂｌｅ）映像処理環境は、第１符号化装置、第１復号化装置、第２符号化装置、および第２復号化装置で構成することができる。第１符号化装置、第１復号化装置は、４：２：０映像またはビットの深さが８ビットである映像を再生することができる既存のコーデックが搭載された装置であり、第２符号化装置および第２復号化装置は、４：４：４映像、４：２：２映像、またはビットの深さが１０ビットである映像を再生することができる新たなコーデックが搭載された装置である。
【００１９】
したがって、第１符号化装置は、４：２：０映像またはビットの深さが８ビットである映像を符号化し、この結果に該当するビットストリームを出力する。また、第２符号化装置は、４：４：４映像、４：２：２映像、またはビットの深さが１０ビットである映像を符号化し、この結果に該当するビットストリームを出力する。既存のコーデックが搭載された第１復号化装置が新たなコーデックが搭載された第２符号化装置から出力されたビットストリームを再生することができる互換性を上位互換性（ｆｏｒｗａｒｄ  ｃｏｍｐａｔｉｂｉｌｉｔｙ）と言う。また、新たなコーデックが搭載された第２復号化装置が既存のコーデックが搭載された第１符号化装置から出力されたビットストリームを再生することができる互換性を下位互換性（ｂａｃｋｗａｒｄ  ｃｏｍｐａｔｉｂｉｌｉｔｙ）と言う。特に、以下で説明する本発明の一実施形態は、上位互換性を支援する。
【００２０】
図１は、本発明の一実施形態に係る飛越し走査映像符号化装置を示す構成図である。図１を参照するに、本実施形態に係る飛越し走査映像符号化装置１００は、動き推定部１０１と、動き補償部１０２と、第１減算器１０３と、第１変換部１０４と、量子化部１０５と、エントロピー符号化部１０６と、ビットストリーム生成部（図示せず）と、逆量子化部１０８と、逆変換部１０９と、加算器１１０と、バッファ１１１とで構成される。本実施形態における映像の処理単位に該当するブロックの大きさは、最も一般的な１６×１６であるものと仮定する。このような１６×１６の大きさのブロックをマイクロブロック（ｍａｃｒｏｂｌｏｃｋ）と言う。ただし、本実施形態が属する技術分野において通常の知識を有する者であれば、上述した１６×１６の他にも、１６×８、８×１６、８×８、４×４などの多様な大きさでなされ得ることを理解できるであろう。
【００２１】
一般的に、映像符号化は、順次走査方式（ｐｒｏｇｒｅｓｓｉｖｅ  ｓｃａｎｎｉｎｇ）または飛越し走査方式（ｉｎｔｅｒｌａｃｅ  ｓｃａｎｎｉｎｇ）によって実行することができる。順次走査方式とは、１つの映像を最初から最後まで順序通りに画面に表示する方式を言う。
【００２２】
本発明の一実施形態に係る飛越し走査映像符号化装置１００は、飛越し走査方式によって映像を符号化することができる。ただし、本発明の一実施形態によれば、飛越し走査映像符号化装置１００は、順次走査方式によって符号化を実行することもできる。飛越し走査方式とは、１つの映像を奇数番目のラインと偶数番目のラインに分けて画面に表示する方式を言う。すなわち、１つの映像は、奇数番目のラインで構成された上部フィールド（ｔｏｐ  ｆｉｅｌｄ）と下部フィールド（ｂｏｔｔｏｍ  ｆｉｅｌｄ）とに分けられるようになる。したがって、飛越し走査方式によって映像を符号化する過程で処理される多様な種類の映像は、飛越し走査映像符号化装置１００に入力された映像の半分に該当する映像である。ここで、現在フィールドは、上部フィールドまたは下部フィールドのうちのいずれか１つとなる。
【００２３】
動き推定部１０１は、バッファ１１１に格納された参照フィールドのうちの主参照フィールドを基準として、動画に該当する一連の映像のうちの現在入力された映像の半分に該当する映像（以下、「現在フィールド」とする）の動きを推定することによって、主参照フィールドの動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）を算出することができる。より詳細に説明すれば、動き推定部１０１は、バッファ１１１に格納された参照フィールドのうちのいずれか１つを主参照フィールドとして選択し、現在フィールドを構成するブロックそれぞれに対して現在フィールドのブロックと最適にマッチング（ｍａｔｃｈｉｎｇ）する主参照フィールドのブロックを決定し、このように決定された主参照フィールドのブロックと現在フィールドのブロックとの間の変位を示す動きベクトルを算出することができる。特に、動き推定部１０１は、参照フィールドのうちの現在フィールドを基準として、過去時間の参照フィールドを主参照フィールドとして決定することができる。例えば、動き推定部１０１は、バッファ１１１に格納された過去時間の参照フィールドのうち、現在フィールドと全体的に最適にマッチングする参照フィールドを主参照フィールドとして選択することができる。このような主参照フィールドは、過去時間の参照フィールドのうちで現在フィールドに最も近い参照フィールドとなることもできるし、他の参照フィールドとなることもできる。さらに、本発明の一実施形態によれば、主参照フィールドは、過去時間の参照フィールドのうち、現在フィールドとフィールド単位の時間的距離が予め決定された距離だけ存在する参照フィールドであることができる。
【００２４】
また、動き推定部１０１は、バッファ１１１に格納された参照フィールドのうち、主参照フィールドと関連した参照フィールドを参照フィールドを補助参照フィールドとして選択し、算出された主参照フィールドの動きベクトルを線形変換することによって、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。具体的に、動き推定部１０１は、主参照フィールドが属する同じ映像内の他の極性のフィールドを補助参照フィールドとして選択することができる。これにより、動き推定部１０１は、バッファ１１１から主参照フィールドと主参照フィールドが属する映像内の他のフィールドを同時に読み取り、この他のフィールドを補助参照フィールドとして選択することによって、バッファ１１１に対するアクセス回数を減らすことができる。さらに、線形変換は、主参照フィールドおよび現在フィールドの相互間の時間的距離を用いて実行することができる。より具体的な動きベクトル誘導過程については、以下で詳細に説明する。
【００２５】
一方、従来の飛越し走査映像符号化方式は、バッファ１１１に格納された参照フィールドそれぞれに対して現在フィールドの動きを推定する過程、すなわち参照フィールド内で現在フィールドのブロックと最適にマッチングする参照フィールドのブロックを１つ１つ探索する過程を介して参照フィールドそれぞれの動きベクトルを算出していたため、参照フィールド数の増加に伴って動きベクトル算出過程の複雑度が大きく増加し、極めて非効率的であった。本発明の一実施形態によれば、上述したような参照フィールド探索過程は、主参照フィールドに対してのみ実施されたり、現在フィールドで予め決定された時間的距離だけ離隔した参照フィールドとして決定されたりし、他の参照フィールドの動きベクトルは、主参照フィールドの動きベクトルから下記に例示された数式などを用いて簡単に誘導することができるため、動きベクトル取得過程が極めて簡単かつ効率的である。また、本発明の一実施形態によれば、飛越し走査映像符号化装置１００は、主参照フィールドの圧縮率だけではなく、主参照フィールドが属した映像内の他の参照フィールドである補助参照フィールドの圧縮率を共に考慮することによって、同じ映像内のすべてのフレームを活用することができ、圧縮効率を改善することができる。
【００２６】
図２は、主参照フィールドおよび補助参照フィールドが現在フィールドを基準として過去時間の映像に含まれる場合、現在フィールド、主参照フィールド、および補助参照フィールドの位置関係の一例を示す図である。
【００２７】
図２の構成２１０は、現在符号化される現在フィールドが上部フィールドであり、主参照フィールドが現在フィールドと比べて過去時間の参照映像２１１内の上部フィールドである場合に、補助参照フィールドが参照映像２１１の下部フィールドとして決定される一例を示している。これと比べて、図２の構成２２０は、現在符号化される現在フィールドが上部フィールドであり、主参照フィールドが現在フィールドと比べて過去時間の参照映像２２１内の下部フィールドである場合に、補助参照フィールドが参照映像２２１の上部フィールドとして決定される一例を示している。
【００２８】
また、図２の構成２３０は、現在符号化される現在フィールドが下部フィールドであり、主参照フィールドが現在フィールドと比べて過去時間の参照映像２３１内の上部フィールドである場合に、補助参照フィールドが参照映像２１１の下部フィールドとして決定される一例を示しており、図２の構成２４０は、現在符号化される現在フィールドが下部フィールドであり、主参照フィールドが現在フィールドと比べて過去時間の参照映像２４１内の下部フィールドである場合に、補助参照フィールドが参照映像２１１の上部フィールドとして決定される一例を示している。
【００２９】
ただし、飛越し走査方式の場合には、順次走査方式の場合とは異なり、主参照フィールドと補助参照フィールドが映像の垂直方向に１画素（ｐｉｘｅｌ）だけずれる場合、すなわち主参照フィールドと補助参照フィールドの極性が互いに異なる場合が発生することがある。例えば、主参照フィールドが上部極性（ｔｏｐ  ｐｏｌａｒｉｔｙ）であり補助参照フィールドが下部極性（ｂｏｔｔｏｍ  ｐｏｌａｒｉｔｙ）である場合や、主参照フィールドが下部極性であり補助参照フィールドが上部極性である場合である。したがって、飛越し走査方式の主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導する場合には、このような主参照フィールドと補助参照フィールドとの極性差が考慮されなければならない。ただし、主参照フィールドと補助参照フィールドの極性が同じである場合には、順次走査方式と類似した方式で、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。
【００３０】
順次走査方式に応じて過去時間の主参照映像の動きベクトルから補助参照映像の動きベクトルを誘導する場合に、動き推定部１０１は、補助参照映像が主参照映像よりも現在映像から時間的に離隔した場合に、主参照映像の動きベクトルに主参照映像と現在映像の間の時間的距離に１を足した値と、主参照映像と現在映像の間の時間的距離の比とを乗算することによって、補助参照映像の動きベクトルを誘導することができる。これに比べて、動き推定部１０１は、補助参照映像が主参照映像よりも現在映像から時間的に近い場合に、主参照映像の動きベクトルに主参照映像と現在映像の間の時間的距離から１を引いた値と、主参照映像と現在映像との間の時間的距離の比とを乗算することによって、補助参照映像の動きベクトルを誘導することができる。
【００３１】
結論的に、動き推定部１０１は、主参照フィールドと現在フィールドの間の時間的距離と主参照フィールドと補助参照フィールドの極性の差を用いて主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導することができる。以下、図４および図５を参照しながら、飛越し走査方式で参照映像が現在フィールドを基準として過去時間の映像である場合に、現在フィールドと主参照フィールドとの極性が同じであるか否かによって、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することについて詳しく説明する。
【００３２】
また、動き推定部１０１は、参照フィールドのうちで現在フィールドを基準として、未来時間の参照フィールドを主参照フィールドとして決定することができる。例えば、動き推定部１０１は、バッファ１１１に格納された未来時間の参照フィールドのうち、現在フィールドと全体的に最適にマッチングする参照フィールドを主参照フィールドとして選択することができる。このような主参照フィールドは、未来時間の参照フィールドのうち、現在フィールドに最も近い参照フィールドとなることもできるし、他の参照フィールドとなることもできる。さらに、本発明の一実施形態によれば、主参照フィールドは、未来時間の参照フィールドのうち、現在フィールドとフィールド単位の時間的距離が予め決定された距離だけ存在する参照フィールドであることができる。
【００３３】
また、動き推定部１０１は、バッファ１１１に格納された参照フィールドのうち、主参照フィールドと関連した参照フィールドを補助参照フィールドとして選択し、算出された主参照フィールドの動きベクトルを線形変換することによって、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。具体的に、動き推定部１０１は、主参照フィールドが属する同じ映像内の他の極性のフィールドを補助参照フィールドとして選択することができる。これにより、動き推定部１０１は、バッファ１１１から主参照フィールドと主参照フィールドとが属する映像内の他のフィールドを同時に読み取り、この他のフィールドを補助参照フィールドとして選択することによって、バッファ１１１に対するアクセス回数を減らすことができる。さらに、線形変換は、主参照フィールドおよび現在フィールドの相互間の時間的距離を用いて実行することができる。
【００３４】
図３は、主参照フィールドおよび補助参照フィールドが現在フィールドを基準として未来時間の映像に含まれる場合、現在フィールド、主参照フィールド、および補助参照フィールドの位置関係の一例を示す図である。
【００３５】
図３の構成３１０は、現在符号化となる現在フィールドが上部フィールドであり、主参照フィールドが現在フィールドと比べて未来時間の参照映像３１１内の上部フィールドである場合に、補助参照フィールドが参照映像３１１の下部フィールドとして決定される一例を示している。これと比べて、図３の構成３２０は、現在符号化となる現在フィールドが上部フィールドであり、主参照フィールドが現在フィールドと比べて未来時間の参照映像３２１内の下部フィールドである場合に、補助参照フィールドが参照映像３２１の上部フィールドとして決定される一例を示している。
【００３６】
また、図３の構成３３０は、現在符号化となる現在フィールドが下部フィールドであり、主参照フィールドが現在フィールドと比べて未来時間の参照映像３３１内の上部フィールドである場合に、補助参照フィールドが参照映像３１１の下部フィールドとして決定される一例を示しており、図３の構成３４０は、現在符号化となる現在フィールドが下部フィールドであり、主参照フィールドが現在フィールドと比べて未来時間の参照映像３４１内の下部フィールドである場合に、補助参照フィールドが参照映像３１１の上部フィールドとして決定される一例を示している。
【００３７】
上述したような脈絡によって主参照フィールドが未来時間に存在するときにも、主参照フィールドと補助参照フィールドの極性が同じである場合には、順次走査方式と類似した方式で、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。
【００３８】
順次走査方式によって未来時間の主参照映像の動きベクトルから補助参照映像の動きベクトルを誘導する場合に、動き推定部１０１は、補助参照映像が主参照映像よりも現在映像から時間的に離隔した場合に、主参照映像の動きベクトルに主参照映像と現在映像の間の時間的距離に１を足した値と、主参照映像と現在映像の間の時間的距離の比とを乗算することによって、補助参照映像の動きベクトルを誘導することができる。これに比べて、動き推定部１０１は、補助参照映像が主参照映像よりも現在映像から時間的に近い場合に、主参照映像の動きベクトルに主参照映像と現在映像の間の時間的距離から１を引いた値と、主参照映像と現在映像の間の時間的距離の比とを乗算することによって、補助参照映像の動きベクトルを誘導することができる。
【００３９】
結論的に、動き推定部１０１は、主参照フィールドと現在フィールドの間の時間的距離と主参照フィールドと補助参照フィールドとの極性差を用いて主参照フィールドの動きベクトルを線形変換することによって、補助参照フィールドの動きベクトルを誘導することができる。以下、図６および図７を参照しながら、飛越し走査方式で参照映像が現在フィールドを基準として未来時間の映像である場合に、現在フィールドと主参照フィールドの極性が同じであるか否かによって、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することに対して詳細に説明する。
【００４０】
図４は、現在フィールドと主参照フィールドの極性が同じであり、主参照フィールドが過去時間のフィールドである場合を説明するための一例を示す図である。図４の上段４１０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が同じである上部フィールドである４番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の下部フィールドである５番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（１）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００４１】
【数１】
0005356909.tif 000002
【００４２】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００４３】
【数２】
0005356909.tif 000003
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ−１）は、現在フィールドから下部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ−１）を決定することができる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（１）におけるｏｆｆｓｅｔは、主参照フィールドと補助参照フィールドとの間の極性差を補正するための値である。
【００４４】
飛越し走査方式の映像符号化過程に用いられるフィールドは、元来の映像の半分に該当するため、主参照フィールドと補助参照フィールドとの極性差を補正するオフセットの大きさは、元来の映像を構成する画素単位の半画素単位となる。一般的に、映像補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）などを介して映像をより精密に復元するために、動きベクトルは、半画素単位または１／４画素単位で表現される。もし、本発明の一実施形態における動きベクトルが半画素単位で表現されれば、オフセットの大きさ単位は１となり、１／４画素単位に表現されれば、ｏｆｆｓｅｔの大きさ単位は２となる。
【００４５】
図４の上段４１０のように、現在フィールドが上部フィールドであり、補助参照フィールドが下部フィールドであれば、ｏｆｆｓｅｔは陰の値を有する。したがって、動きベクトルが半画素単位で表現されれば、上記の式（１）におけるｏｆｆｓｅｔは−１となることができる。
【００４６】
図４の下段４２０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が同じである下部フィールドである４番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の上部フィールドである３番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（２）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００４７】
【数３】
0005356909.tif 000004
【００４８】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００４９】
【数４】
0005356909.tif 000005
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ＋１）は、現在フィールドから上部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ＋１）を決定することができる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（２）におけるｏｆｆｓｅｔは、主参照フィールドと補助参照フィールドとの間の極性差を補正するための値である。
【００５０】
飛越し走査方式の映像符号化過程に用いられるフィールドは、元来の映像の半分に該当するため、主参照フィールドと補助参照フィールドとの極性差を補正するオフセットの大きさは、元来の映像を構成する画素単位の半画素単位となる。一般的に、映像補間などを介して映像をより精密に復元するために、動きベクトルは、半画素単位または１／４画素単位で表現される。もし、本発明の一実施形態における動きベクトルが半画素単位で表現されれば、オフセットの大きさ単位は１となり、１／４画素単位で表現されれば、ｏｆｆｓｅｔの大きさ単位は２となる。
【００５１】
図４の下段４２０のように、現在フィールドが下部フィールドであり、補助参照フィールドが上部フィールドであれば、ｏｆｆｓｅｔは陽の値を有する。したがって、動きベクトルが半画素単位で表現されれば、上記の式（２）におけるｏｆｆｓｅｔは１となることができる。
【００５２】
図５は、現在フィールドと主参照フィールドとの極性が異なり、主参照フィールドが過去時間のフィールドである場合を説明するための一例を示す図である。図５の上段５１０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が異なる下部フィールドである３番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の上部フィールドである２番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（３）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００５３】
【数５】
0005356909.tif 000006
【００５４】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００５５】
【数６】
0005356909.tif 000007
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ＋１）は、現在フィールドから上部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ＋１）を決定することができる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（３）におけるｏｆｆｓｅｔは、主参照フィールドと現在フィールドとの間の極性差の補正のために変換を実行する前に用いられ、ｏｆｆｓｅｔは、変換前の現在フィールドの極性差を補正することができる。
【００５６】
また、動きベクトルを半画素単位で表現する場合に、符号は、主参照フィールドの動きベクトルを補助参照フィールドの動きベクトルと同じ上部フィールドの場合として換算しなければならないため、陽の値を有することができ、上記の式（３）におけるｏｆｆｓｅｔは１となる。
【００５７】
図５の下段５２０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が異なる上部フィールドである３番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の下部フィールドである４番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（４）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００５８】
【数７】
0005356909.tif 000008
【００５９】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００６０】
【数８】
0005356909.tif 000009
は、除算演算の四捨五入のための調整値であって、（ｄｉｓｔ−１）は、現在フィールドから上部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ−１）を決定することができる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（４）におけるｏｆｆｓｅｔは、主参照フィールドと現在フィールドとの間の極性差の補正のために変換を実行する前に用いられ、ｏｆｆｓｅｔは、変換前の現在フィールドの極性差を補正することができる。
【００６１】
また、動きベクトルを半画素単位で表現する場合に、符号は、主参照フィールドの動きベクトルを補助参照フィールドの動きベクトルと同じ下部フィールドの場合として換算しなければならないため、陰の値を有することができ、上記の式（4）におけるｏｆｆｓｅｔは−１となる。
【００６２】
図６は、現在フィールドと主参照フィールドの極性が同じであり、主参照フィールドが未来時間のフィールドである場合を説明するための一例を示す図である。図６の上段６１０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が同じである上部フィールドである５番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の下部フィールドである６番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（５）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００６３】
【数９】
0005356909.tif 000010
【００６４】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００６５】
【数１０】
0005356909.tif 000011
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ＋１）は、現在フィールドから下部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ＋１）を決定することができる。特に、上記の式（１）における（ｄｉｓｔ−１）と上記の式（５）における（ｄｉｓｔ＋１）との差は、現在フィールドから主参照フィールドと補助参照フィールドそれぞれの距離差が原因となる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（５）におけるｏｆｆｓｅｔは、主参照フィールドと補助参照フィールドとの間の極性差を補正するための値である。
【００６６】
また、上述によれば、半画素単位の動きベクトル表現法を用いる場合に、上記の式（５）におけるｏｆｆｓｅｔは−１である。
【００６７】
図６の下段６２０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が同じである下部フィールドである５番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の上部フィールドである４番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（６）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００６８】
【数１１】
0005356909.tif 000012
【００６９】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００７０】
【数１２】
0005356909.tif 000013
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ−１）は、現在フィールドから下部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ−１）を決定することができる。特に、上記の式（２）における（ｄｉｓｔ＋１）と上記の式（６）における（ｄｉｓｔ−１）の差は、現在フィールドから主参照フィールドと補助参照フィールドそれぞれの距離差が原因である。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（６）におけるｏｆｆｓｅｔは、主参照フィールドと補助参照フィールドとの間の極性差を補正するための値である。また、上述によれば、半画素単位の動きベクトル表現法を用いる場合に、上記の式（６）におけるｏｆｆｓｅｔは１である。
【００７１】
図７は、現在フィールドと主参照フィールドの極性が異なり、主参照フィールドが未来時間のフィールドである場合を説明するための一例を示す図である。図７の上段７１０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が異なる下部フィールドである６番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の上部フィールドである５番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（７）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００７２】
【数１３】
0005356909.tif 000014
【００７３】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００７４】
【数１４】
0005356909.tif 000015
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ−１）は、現在フィールドから下部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ−１）を決定することができる。特に、上記の式（３）における（ｄｉｓｔ＋１）と上記の式（７）における（ｄｉｓｔ−１）との差は、現在フィールドから主参照フィールドと補助参照フィールドそれぞれの距離差が原因となる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（７）におけるｏｆｆｓｅｔは、主参照フィールドと現在フィールドとの間の極性差の補正のために変換を実行する前に用いられ、ｏｆｆｓｅｔは、変換前の現在フィールドの極性差を補正することができる。
【００７５】
また、上述によれば、半画素単位の動きベクトル表現法を用いる場合に、上記の式（７）におけるｏｆｆｓｅｔは１である。図７の下段７２０を参照するに、動き推定部１０１は、主参照フィールドを現在フィールドと極性が異なる上部フィールドである４番フィールドとして選定した場合に、補助参照フィールドを共に属した映像内の下部フィールドである５番フィールドとして選定することができる。このとき、動き推定部１０１は、下記の式（８）に示す線形変換を用いて、現在符号化される現在フィールドの主参照フィールドに対する動きベクトルから現在フィールドの補助参照フィールドに対する動きベクトルを誘導することができる。
【００７６】
【数１５】
0005356909.tif 000016
【００７７】
このとき、ＭＶｘｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙｍａｉｎは、現在フィールドであるＭＶの主参照フィールドに対する動きベクトルのｙ座標を意味する。また、ＭＶｘａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｘ座標を意味し、ＭＶｙａｕｘは、現在フィールドであるＭＶの補助参照フィールドに対する動きベクトルのｙ座標を意味する。また、ｄｉｓｔは、現在フィールドから主参照フィールドまでのフィールド単位距離を示す。また、
【００７８】
【数１６】
0005356909.tif 000017
は、除算演算の四捨五入のための調整値であり、（ｄｉｓｔ＋１）は、現在フィールドから下部フィールドである補助参照フィールドまでの距離を示す。主参照フィールドと補助参照フィールドが同じ映像に属するため、（ｄｉｓｔ＋１）を決定することができる。特に、上記の式（４）における（ｄｉｓｔ−１）と上記の式（８）における（ｄｉｓｔ＋１）との差は、現在フィールドから主参照フィールドと補助参照フィールドそれぞれの距離差が原因となる。また、ｏｆｆｓｅｔは、極性差を補正するための値である。特に、上記の式（８）におけるｏｆｆｓｅｔは、主参照フィールドと現在フィールドとの間の極性差の補正のために変換を実行する前に用いられ、ｏｆｆｓｅｔは、変換前の現在フィールドの極性差を補正することができる。また、上述によれば、半画素単位の動きベクトル表現法を用いる場合に、上記の式（8）におけるｏｆｆｓｅｔは−１である。
【００７９】
また、動き推定部１０１は、主参照フィールドの動きベクトルによる現在フィールドの圧縮率と補助参照フィールドの動きベクトルによる現在フィールドの圧縮率とを比べ、この比較結果によって主参照フィールドの動きベクトルと補助参照フィールドの動きベクトルのうちのいずれか１つを選択する。すなわち、動き推定部１０１は、主参照フィールドの動きベクトルによる現在フィールドの圧縮率がさらに高い場合には、主参照フィールドの動きベクトルを選択し、補助参照フィールドの動きベクトルによる現在フィールドの圧縮率がさらに高い場合には、補助参照フィールドの動きベクトルを選択する。より詳細に説明すれば、動き推定部１０１は、主参照フィールドの動きベクトルが指示する主参照フィールド内のブロックと現在フィールドのブロックの差と、補助参照フィールドの動きベクトルが指示する補助参照フィールド内のブロックと現在フィールドのブロックの差とを比べ、この差がより少ない方の動きベクトルを選択する。主参照フィールドは、全体的に現在フィールドに最適にマッチングする参照フィールドや現在フィールドの動き推定はブロック単位に実行されるため、現在フィールドを構成するブロックのうちのあるブロックに対しては、主参照フィールドよりも他の参照フィールドがさらに適切にマッチングすることができる。
【００８０】
動き補償部１０２は、動き推定部１０１によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルを用いて、バッファ１１１に格納された参照フィールドのうちの少なくとも１つの参照フィールドから現在フィールドの予測フィールドを生成する。より詳細に説明すれば、動き補償部１０２は、動き推定部１０１によって選択された主参照フィールドまたは補助参照フィールドの動きベクトルが指示する少なくとも１つの参照フィールドのブロックの値を現在フィールドのブロックの値として決定することで、現在フィールドの予測フィールドを生成する。
【００８１】
上述した動き推定部１０１および動き補償部１０２による映像圧縮方式は、いずれか１つの動画を構成する多様な映像またはフィールド間の時間的重複性を用いて映像を圧縮する方式であり、インタ（ｉｎｔｅｒ）符号化方式と呼ばれる。いずれか１つの映像またはフィールド内の空間的重複性を用いて映像を圧縮する方式をイントラ（ｉｎｔｒａ）符号化方式と言うが、本実施形態の説明が長くなることを避けるために、本実施形態にインタ符号化方式だけが適用されるものとして設計したが、本実施形態が属する技術分野において通常の知識を有する者であれば、本実施形態にイントラ符号化方式が適用される可能性もあることを容易に理解できるであろう。さらに、イントラ符号化方式は、飛越し走査映像符号化装置１００に入力される映像に適用することもできるし、第１変換部１０４によって変換された結果に適用することもできる。
【００８２】
第１減算器１０３は、現在フィールドから動き補償部１０２によって生成された予測フィールドを減算することによって、現在フィールドと予測フィールドとの間の残差フィールドを生成する。第１変換部１０４は、第１減算器１０３によって生成された残差フィールドを色空間から周波数空間に変換することで、この残差フィールドの周波数係数を生成する。例えば、第１変換部１０４は、ＤＨＴ（Ｄｉｓｃｒｅｔｅ  Ｈａｄａｍａｒｄ  Ｔｒａｎｓｆｏｒｍ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などを用いて、第１減算器１０３によって生成された残差フィールドを色空間から周波数空間に変換することができる。
【００８３】
量子化部１０５は、変換部１０４によって生成された周波数係数を量子化する。より詳細に説明すれば、量子化部１０５は、変換部１０４によって生成された周波数係数を量子化パラメータで割り、その結果を定数値として近似化する。エントロピー符号化部１０７は、量子化部１０５によって量子化された結果に該当する定数値と現在フィールドの符号化情報をエントロピー符号化することによって、ビットストリームを生成する。例えば、エントロピー符号化部１０７は、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）、ＣＡＶＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などを用いて、量子化部１０５によって量子化された結果に該当する定数値をエントロピー符号化することができる。
【００８４】
ここで、現在フィールドの符号化情報は、動き推定部１０１などにおける映像符号化過程で発生した情報であって、映像復号化装置で現在フィールドを復元しようとするときに必要となる。このような情報としては、参照フィールドの索引、動きベクトルなどを挙げることができる。特に、本発明の一実施形態に係る飛越し走査映像符号化装置１００に対応する飛越し走査映像復号化装置では、主参照フィールドの動きベクトルのみを送り、補助参照フィールドの動きベクトルに対しては主参照フィールドの動きベクトルから誘導することができる。したがって、上述したような一般的な情報の他に、補助参照フィールドの動きベクトルを誘導するための情報をさらに必要とすることができる。
【００８５】
ただし、飛越し走査映像符号化装置１００は、飛越し映像復号化装置に補助参照フィールドの動きベクトルを誘導するための情報を送らずに、主参照フィールドと同様に、補助参照フィールドの索引と補助参照フィールドの動きベクトルを直接送ることもできる。この場合に、映像復号化装置の方における補助参照フィールドの動きベクトル誘導過程は必要なくなる。一般的に、補助参照フィールドの索引と補助参照フィールドの動きベクトルを表現するためのデータ量が大きいため、映像符号化装置１００が映像復号化装置に補助参照フィールドの動きベクトルを誘導するための情報を送ることがより効率的である。
【００８６】
また、飛越し走査映像符号化装置１００は、上述したように、主参照フィールドと補助参照フィールドを同じ映像内で決定するため、補助参照フィールドと関連した情報を飛越し映像復号化装置に送らない場合もある。すなわち、飛越し走査復号化装置は、主参照フィールドの索引、動きベクトルのみを用いて補助参照フィールドの動きベクトルを誘導することができる。ただし、本発明の一実施形態によれば、飛越し走査映像符号化装置１００は、補助参照フィールドが主参照フィールドと同じ映像に含まれることを知らせる情報を飛越し走査復号化装置に送ることができる。
【００８７】
また、エントロピー符号化部１０６は、所定のシンタックスを有する主参照フィールドの動きベクトルまたは補助参照フィールド情報のうちの少なくとも１つをエントロピー符号化することができる。ただし、飛越し走査映像符号化装置１００および飛越し走査映像復号化装置の相互間に主参照フィールドおよび補助参照フィールドの関係を約束して格納している場合、または動き推定部１０１における圧縮率比較過程でいずれの補助参照フィールドの動きベクトルも選択されなければ、エントロピー符号化部１０６は主参照フィールドの動きベクトルのみをエントロピー符号化することができる。
【００８８】
逆量子化部１０８は、量子化部１０５によって量子化された結果に該当する定数値を逆量子化することによって、現在フィールドと予測映像との間の残差フィールドの周波数係数を復元する。より詳細に説明すれば、逆量子化部１０８は、量子化部１０５によって近似化された定数値に量子化パラメータを乗算することで、現在フィールドと予測フィールドとの間の残差フィールドの周波数係数を復元する。逆変換部１０９は、逆量子化部１０８によって復元された周波数係数を周波数空間から色空間に変換することで、現在フィールドと予測フィールドとの間の残差フィールドを復元する。加算器１１０は、動き補償部１０２によって生成された予測フィールドに逆変換部１０９によって復元された残差フィールドを加算することで現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ１１１に格納する。バッファ１１１に現在格納された復元フィールドは、現在フィールドの後に登場する未来のフィールドまたは現在フィールドの前に存在していた過去のフィールドの参照フィールドとして用いることができる。
【００８９】
図８は、本発明の一実施形態に他の飛越し走査映像復号化装置を示す構成図である。図８に示すように、飛越し走査映像復号化装置８００は、エントロピー復号化部８０１と、逆量子化部８０２と、逆変換部８０３と、動き補償部８０４と、加算器８０５と、バッファ８０６とで構成することができる。図８に示す飛越し走査映像復号化装置８００の映像復元過程は、図１に示す飛越し走査映像符号化装置１００の映像復元過程と同じである。したがって、以下省略された内容であっても、図２に示す動画符号化装置１００に関して上述した内容は、本実施形態に係る動画復号化装置８００にも適用される。
【００９０】
特に、以下では、図８に示す飛越し走査映像復号化装置８００において、飛越し走査方式に応じて映像を復号化する場合を説明する。
【００９１】
エントロピー復号化部８０１は、図１に示す飛越し走査映像符号化装置１００から送信されたビットストリームをエントロピー復号化することによって、現在フィールドと予測フィールドとの間の残差フィールドの量子化結果に該当する定数値と現在フィールドの符号化情報とを復元する。逆量子化部８０２は、エントロピー復号化部８０１によって復元された定数値を逆量子化することによって、現在フィールドと予測フィールドとの間の残差フィールドの周波数係数を復元する。逆変換部８０３は、逆量子化部８０２によって復元された周波数係数を周波数空間から色空間に変換することで、現在フィールドと予測フィールドとの間の残差フィールドを復元する。
【００９２】
動き補償部８０４は、エントロピー復号化部８０１によって復元された情報に含まれた補助参照フィールドの位置に基づいて、選択的にこの情報に含まれた主参照フィールドの動きベクトルを線形変換することによって、この位置に該当する補助参照フィールドの動きベクトルを誘導することができる。もし、映像符号化装置１００における動き推定過程において、いずれの補助参照フィールドの動きベクトルも選択されなければ、映像符号化装置１００が映像符号化装置１００から受信したビットストリームのシンタックス内には補助参照フィールドの位置の値は存在せず、この場合に、動き補償部８０４は補助参照フィールドの動きベクトルを誘導しない。さらに、動き補償部８０４は、シンタックス内で主参照フィールドの索引または位置を用いて同じ映像内に存在する補助参照フィールドの動きベクトルを誘導することができる。
【００９３】
より詳細に説明すれば、動き補償部８０４は、主参照フィールドと現在フィールドとの間の時間的距離と主参照フィールドと補助参照フィールドとの極性差を用いて、選択的に主参照フィールドの動きベクトルを線形変換することで、位置に該当する補助参照フィールドの動きベクトルを誘導することができる。上記の式（１）〜式（８）を参照したより具体的な動きベクトル誘導過程については、すでに上述したとおりであるため、重複する説明は省略する。
【００９４】
また、動き補償部８０４は、主参照フィールドまたは補助参照フィールドの動きベクトルを用いて、バッファ８０６に格納された参照フィールドのうちの少なくとも２つの参照フィールドから現在フィールドの予測フィールドを生成する。より詳細に説明すれば、動き補償部８０４は、エントロピー復号化部８０１に復元された情報に含まれた主参照フィールドの動きベクトルまたはこの動きベクトルから誘導された補助参照フィールドの動きベクトルが指示する少なくとも１つの参照フィールドのブロックの値を現在フィールドのブロックの値として決定することで、現在フィールドの予測フィールドを生成する。加算器８０５は、動き補償部８０４によって生成された予測フィールドに逆変換部８０４によって復元された残差フィールドを加算することで、現在フィールドの復元フィールドを生成し、この復元フィールドをバッファ８０６に格納する。
【００９５】
また、本発明の一実施形態によれば、飛越し走査映像符号化装置１００または飛越し走査映像復号化装置８００は、拡張階層でフィールド符号化または復号化を実行することができる。このとき、拡張階層内における符号化または復号化の内容は、図１〜図８を参照しながら説明した基本階層における符号化または復号化と比べて、フィールドの差が存在する場合がある。
【００９６】
図９は、本発明の一実施形態に他の飛越し走査映像符号化方法を説明するためのフローチャートである。図９に示すように、飛越し走査映像符号化方法は、ステップＳ９０１〜ステップＳ９０５で実行することができる。さらに、飛越し走査映像符号化方法は、図１に示す飛越し走査映像符号化装置１００によって実行することができる。
【００９７】
ステップＳ９０１で、飛越し走査映像符号化装置１００は、主参照フィールドを基準として現在映像の半分に該当する現在フィールドの動きを推定することで、主参照フィールドの動きベクトルを算出することができる。
【００９８】
ステップＳ９０２で、飛越し走査映像符号化装置１００は、主参照フィールドと関連した補助参照フィールドを選択することができる。
【００９９】
ステップＳ９０３で、飛越し走査映像符号化装置１００は、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。
【０１００】
ステップＳ９０４で、飛越し走査映像符号化装置１００は、主参照フィールドの動きベクトルまたは補助参照フィールドの動きベクトルを用いて現在フィールドの予測フィールドを生成することができる。
【０１０１】
ステップＳ９０５で、飛越し走査映像符号化装置１００は、現在フィールドおよび予測フィールドの相互間の残差フィールドを符号化することができる。
【０１０２】
また、このような飛越し走査映像符号化方法についても、図９を参照しながら説明しなかった事項は、図１〜図７を参照しながら上述した内容と同じであるか、当業者であれば説明した内容から容易に類推することができるため、以下では説明を省略する。
【０１０３】
図１０は、本発明の一実施形態に他の飛越し走査映像復号化方法を説明するためのフローチャートである。図１０に示すように、飛越し走査映像復号化方法は、ステップＳ１００１〜ステップＳ１００４で実行することができる。さらに、飛越し走査映像符号化方法は、図８に示す飛越し走査映像復号化装置８００によって実行することができる。
【０１０４】
ステップＳ１００１で、飛越し走査映像復号化装置８００は、ビットストリームから現在映像の半分に該当する現在フィールドおよび予測フィールドの相互間の残差フィールドを復元することができる。
【０１０５】
ステップＳ１００２で、飛越し走査映像復号化装置８００は、現在フィールドの参照フィールドのうち、主参照フィールドの動きベクトルから補助参照フィールドの動きベクトルを誘導することができる。
【０１０６】
ステップＳ１００３で、飛越し走査映像復号化装置８００は、主参照フィールドの動きベクトルまたは補助参照フィールドの動きベクトルを用いて予測フィールドを生成することができる。
【０１０７】
ステップＳ１００４で、飛越し走査映像復号化装置８００は、生成された予測フィールドに復元された残差フィールドを加算することで、現在フィールドを復元することができる。
【０１０８】
また、このような飛越し走査映像復号化方法についても、図１０を参照しながら説明しなかった事項は、図８を参照しながら上述した内容と同じであるか、当業者であれば上述した内容から容易に類推できるものであるため、以下では説明を省略する。
【０１０９】
なお、本発明に係る飛越し走査映像符号化または復号化方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０１１０】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【０１１１】
１００  飛越し走査映像符号化装置
１０１  動き推定部
１０２、８０４  動き補償部
１０３  第１減算器
１０４  第１変換部
１０５  量子化部
１０６  エントロピー符号化部
１０８、８０２  逆量子化部
１０９、８０３  逆変換部
１１０、８０５  加算部
１１１、８０６  バッファ
８００  飛越し走査映像復号化装置
８０１  エントロピー復号化部
【図１】
0005356909.tif 000018
【図２】
0005356909.tif 000019
【図３】
0005356909.tif 000020
【図４】
0005356909.tif 000021
【図５】
0005356909.tif 000022
【図６】
0005356909.tif 000023
【図７】
0005356909.tif 000024
【図８】
0005356909.tif 000025
【図９】
0005356909.tif 000026
【図１０】
0005356909.tif 000027