(57)【要約】【課題】時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるように他視点の参照ピクチャ数分を選択して参照ピクチャリストを生成する。【解決手段】特徴量生成部３５は、ディペンデントビューのピクチャに対して、時間方向に相違するピクチャとベースビューのピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する。参照ピクチャリスト生成部３６は、ディペンデントビューのピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補からベースビューのピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する。したがって、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるように他視点の参照ピクチャ数分を選択して参照ピクチャリストを生成できる。【選択図】        図１
2013038623.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、
前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部と
を備える画像符号化装置。
【請求項２】
前記参照ピクチャリスト生成部は、前記第１の視点のピクチャがＧＯＰにおける先頭ピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは前記参照ピクチャリストに前記第２の視点の参照ピクチャを含め、前記判別値が閾値よりも大きい場合、次のピクチャでは前記参照ピクチャリストを前記時間方向の参照ピクチャのみとする
請求項１記載の画像符号化装置。
【請求項３】
前記参照ピクチャリスト生成部は、前記第１の視点のピクチャがＧＯＰにおける先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持する
請求項１記載の画像符号化装置。
【請求項４】
前記参照ピクチャリスト生成部は、前記参照ピクチャリストに前記第２の視点の参照ピクチャを含めた場合、該第２の視点の参照ピクチャを含めた場合の特徴量を保持し、所定期間前記参照ピクチャリストが前記時間方向の参照ピクチャのみである場合、ＧＯＰにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャで算出した特徴量で前記保持している特徴量を更新する
請求項１記載の画像符号化装置。
【請求項５】
前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストが前記時間方向のみの参照ピクチャである場合、当該ピクチャで算出した特徴量と前記保持されている特徴量を比較して、比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う
請求項４記載の画像符号化装置。
【請求項６】
前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストに前記第２の視点の参照ピクチャを含む場合、前記時間方向の参照ピクチャのみの特徴量を推定した推定特徴量と前記第２の視点の参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う
請求項１記載の画像符号化装置。
【請求項７】
前記特徴量生成部は、前記第１の視点のピクチャに対する参照ピクチャリストが前記時間方向の参照ピクチャのみ場合の特徴量と前記第２の視点のピクチャに対する特徴量とを用いて推定処理情報を生成しておき、前記特徴量を推定する前記第１の視点のピクチャに対応する前記第２の視点のピクチャの特徴量と前記推定処理情報から前記推定特徴量を算出する
請求項６記載の画像符号化装置。
【請求項８】
前記参照ピクチャリスト生成部は、所定期間前記参照ピクチャリストが前記第２の視点の参照ピクチャを含む状態が継続した場合、前記参照ピクチャリストを前記時間方向の参照ピクチャのみとし、
前記特徴量生成部は、前記参照ピクチャリストが前記時間方向の参照ピクチャのみとされたことにより前記推定処理情報の更新を行う
請求項７記載の画像符号化装置。
【請求項９】
前記特徴量生成部は、ＳＡＴＤ値またはＳＡＤ値を用いて前記特徴量の生成を行う
請求項１記載の画像符号化装置。
【請求項１０】
前記特徴量生成部は、前記特徴量として参照インデックスの割合を用いる
請求項１記載の画像符号化装置。
【請求項１１】
前記第１と第２のピクチャは、インタレース素材であり、前記参照ピクチャリスト生成部は、前記参照ピクチャリストが前記第２の視点の参照ピクチャを含む場合、前記特徴量に基づき前記時間方向の参照ピクチャから同相または逆相の参照ピクチャを選択する
請求項１記載の画像符号化装置。
【請求項１２】
第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する工程と、
前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する工程と
を含む画像符号化方法。
【請求項１３】
第１と第２の視点のピクチャの符号化処理を参照ピクチャリストを用いてコンピュータで実行させるプログラムであって、
前記第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する前記第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する手順と、
前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して前記参照ピクチャリストを生成する手順と
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像符号化装置と画像符号化方法およびプログラムに関する。詳しくは、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるように他視点の参照ピクチャ数分を選択して参照ピクチャリストを生成できるようにする。
【背景技術】
【０００２】
近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ２（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）13818-2）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及している。また、ＭＰＥＧ２等に比べ、その符号化、復号により多くの演算量が要求されるものの、高い符号化効率が実現されることができるＨ．２６４およびＭＰＥＧ４ Ｐａｒｔ１０（ＡＶＣ（Advanced Video Coding））（以下「Ｈ．２６４／ＡＶＣ」という）と呼ばれる方式も用いられるようになっている。
【０００３】
このような圧縮符号化方式では、参照ピクチャを用いて画面間予測符号化が行われており、例えばＨ．２６４／ＡＶＣ方式においては、既に符号化した複数のピクチャから参照ピクチャを選択することができるようになされている。また、選択された各参照ピクチャは参照インデックスという変数で管理されている。
【０００４】
また、特許文献１では、画質および符号化効率を向上させることができるように、複数の参照ピクチャに含まれる２枚の参照ピクチャのうち、符号化対象ピクチャとの時間的な距離に応じて参照インデックスを割り当てることが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−６３０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、動画像の圧縮符号化では、１視点に限らず多視点の動画像の圧縮符号化も行われている。多視点の動画像の圧縮符号化では、何れか１つ視点の動画像をベースビューとし、他の視点の動画像をディペンデントビューとして、ディペンデントビューは、ベースビューのピクチャや多視点の符号化済みのピクチャを参照ピクチャとして用いることが行われている。
【０００７】
ここで、時間方向のみの参照ピクチャを用いるベースビューと、時間方向と視差方向の参照ピクチャを用いることが可能なディペンデントビューで参照ピクチャ数と等しくすると、ベースビューとディペンデントビューの処理量を同等にできる。したがって、エンコーダをベースビューとディペンデントビューで交互に利用して符号化を行う場合、処理量が同等とされていることから切り替え等の制御が容易となる。また、エンコーダをベースビューとディペンデントビューのそれぞれに設けて符号化を行う場合、処理量が同等とされていることからベースビューの符号化を行うエンコーダに比べて処理能力の高いエンコーダをディペンデントビューの符号化に用いる必要がない。しかし、ディペンデントビューの参照ピクチャ数を制限してベースビューの参照ピクチャ数と等しくすると、どのように参照ピクチャの選択を行うべきかという問題が生じる。
【０００８】
そこで、この技術では、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるように他視点の参照ピクチャ数分を選択して参照ピクチャリストを生成できる、画像符号化装置と画像符号化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
この技術の第１の側面は、第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部とを備える画像符号化装置にある。
【００１０】
この技術の画像符号化装置では、第１の視点のピクチャ例えばディペンデントビューのピクチャに対して、時間方向に相違する参照ピクチャと、第１の視点と相違する第２の視点のピクチャ例えばベースビューの参照ピクチャの候補として、参照ピクチャの候補毎にピクチャの相関を示す特徴量、例えばＳＡＤ値やＳＡＴＤ値が算出される。また、ディペンデントビューのピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補からベースビューのピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストが生成される。ここで、ディペンデントビューのピクチャがＧＯＰの先頭であるアンカーピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは参照ピクチャリストにベースビューのピクチャすなわち視差方向の参照ピクチャが含められる。また、閾値よりも大きい場合、次のピクチャでは参照ピクチャリストが時間方向の参照ピクチャのみとされる。また、他の方法では、第１の視点のピクチャが先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンの更新または直前の参照ピクチャのパターンの維持が行われる。
【００１１】
また、参照ピクチャリストにベースビューの参照ピクチャを含める場合、ベースビューの参照ピクチャを含めるときの特徴量が保持されて、所定期間参照ピクチャリストが時間方向の参照ピクチャのみとされた場合、保持されている特徴量がアンカーピクチャで算出した特徴量で更新される。
【００１２】
また、当該ピクチャの参照ピクチャリストが時間方向の参照ピクチャのみである場合は、当該ピクチャで算出した特徴量と保持されている特徴量が比較されて、比較結果に基づき次のピクチャに対する参照ピクチャの選択が行われる。さらに、当該ピクチャの参照ピクチャリストにベースビューの参照ピクチャが含まれる場合、時間方向の参照ピクチャのみの特徴量が推定されて、推定特徴量とベースビューの参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択が行われる。推定特徴量は、ディペンデントビューのピクチャに対する参照ピクチャリストが時間方向の参照ピクチャのみ場合の特徴量とベースビューのピクチャの特徴量とを用いて推定処理情報を生成しておき、特徴量を推定するディペンデントビューのピクチャに対応するベースビューのピクチャの特徴量と推定処理情報を用いて算出される。推定処理情報は、所定期間参照ピクチャリストがベースビューの参照ピクチャを含む状態が継続した場合、参照ピクチャリストを時間方向の参照ピクチャのみとすることで更新される。
【００１３】
さらに第１と第２のピクチャがインタレース素材であり、参照ピクチャリストがベースビューの参照ピクチャを含む場合、特徴量に基づき時間方向の参照ピクチャから同相または逆相の参照ピクチャが選択される。また、特徴量として参照インデックスの割合等も用いられる。
【００１４】
この技術の第２の側面は、第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する工程と、前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する工程とを含む画像符号化方法にある。
【００１５】
この技術の第３の側面は、第１と第２の視点のピクチャの符号化処理を参照ピクチャリストを用いてコンピュータで実行させるプログラムであって、前記第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する前記第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する手順と、前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して前記参照ピクチャリストを生成する手順とを前記コンピュータで実行させるプログラムにある。
【００１６】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１７】
この技術によれば、特徴量生成部では、第１の視点のピクチャに対して、時間方向に相違する第１の視点のピクチャと、第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量が算出される。また、参照ピクチャリスト生成部では、第１の視点のピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補から第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストが生成される。したがって、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるようにピクチャを選択して第２の視点のピクチャと参照ピクチャ数の等しい参照ピクチャリストを生成できる。
【図面の簡単な説明】
【００１８】
【図１】画像符号化装置の一実施の形態の構成を示す図である。
【図２】画像符号化処理動作を示すフローチャートである。
【図３】特徴量生成部の構成を示す図である。
【図４】参照ピクチャリスト生成部の構成を示す図である。
【図５】参照ピクチャリスト生成部の動作を示すフローチャートである。
【図６】ベースビューとディペンデントビューの一般的な参照関係を示した図である。
【図７】ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照関係を例示した図である。
【図８】最初のピクチャの参照関係を示す図である。
【図９】判別値が閾値よりも大きい場合を示す図である。
【図１０】判別値が閾値以下である場合を示す図である。
【図１１】直前の所定期間において１度も視野方向の参照ピクチャが視差方向の参照ピクチャを含めたパターンとされていない場合を示す図である。
【図１２】現ピクチャが時間予測のみである場合を示す図である。
【図１３】現ピクチャが視差予測を含む場合を示す図である。
【図１４】Ｂピクチャにおいて現ピクチャが時間予測のみである場合を示す図である。
【図１５】参照パターンを時間方向の参照ピクチャのみのパターンに設定して推定処理情報を更新する場合を示す図である。
【図１６】ベースビューとディペンデントビューがインタレース素材である場合の参照関係を示す図である。
【図１７】インタレース素材において、ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照関係を例示した図である。
【図１８】ディペンデントビューにおけるトップフィールドの先頭ピクチャの参照関係を示す図である。
【図１９】ディペンデントビューにおけるボトムフィールドの先頭ピクチャの参照関係を示している。
【図２０】ディペンデントビューにおけるボトムフィールドの先頭ピクチャの処理を示す図である。
【図２１】現ピクチャが時間予測のみである場合を示す図である。
【図２２】現ピクチャが視差予測を含む場合を示す図である。
【図２３】インタレース素材においてＢピクチャを含めてベースビューとディペンデントビューの参照ピクチャ数を等しくした場合の参照関係を例示した図である。
【図２４】特徴量として参照インデックスの割合を用いた場合の動作を示すフローチャートである。
【図２５】参照インデックスの割合を用いて、視差と同相／逆相の何れの参照ピクチャを選択するか判定する動作を示すフローチャートである。
【図２６】記録再生装置の概略的な構成の一例を示す図である。
【図２７】撮像装置の概略的な構成の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．特徴量生成部の構成と動作
４．参照ピクチャリスト生成部の構成と動作
５．プログレッシブ素材の場合の動作
６．インタレース素材の場合の動作
７．参照パターンの他の判定動作
８．ソフトウェア処理の場合
９．応用例
【００２０】
＜１．画像符号化装置の構成＞
図１は、本技術の画像符号化装置の一実施の形態の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ処理部２４、フレームメモリ２５、セレクタ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３、特徴量生成部３５、参照ピクチャリスト生成部３６を備えている。
【００２１】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
【００２２】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
【００２３】
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
【００２４】
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２５】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
【００２６】
可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報や後述する参照ピクチャリスト生成部３６から供給された参照ピクチャリストの情報等を可逆符号化して、符号化ストリームに含める。
【００２７】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００２８】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
【００２９】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００３０】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。
【００３１】
加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ処理部２４とフレームメモリ２５に出力する。
【００３２】
デブロッキングフィルタ処理部２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に出力する。
【００３３】
フレームメモリ２５は、加算部２３から供給された復号画像データとデブロッキングフィルタ処理部２４から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。
【００３４】
セレクタ２６は、イントラ予測を行うためにフレームメモリ２５から読み出されたフィルタ処理前の参照画像データをイントラ予測部３１に供給する。また、セレクタ２６は、インター予測を行うためフレームメモリ２５から読み出されたフィルタ処理後の参照画像データを動き予測・補償部３２に供給する。
【００３５】
イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データとフレームメモリ２５から読み出したフィルタ処理前の参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
【００３６】
動き予測・補償部３２は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ２５から読み出されたフィルタ処理後の参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて参照画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。なお、動き予測・補償部３２は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。
【００３７】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ないほうを、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードの予測モード情報を可逆符号化部１６に出力する。
【００３８】
特徴量生成部３５は、符号化対象ピクチャと参照ピクチャとの相関を表す特徴量を生成する。特徴量の生成では、動き予測・補償部３２で動きベクトルの検出のために算出した例えば差分絶対値和であるＳＡＤ（Sum of Absolute Difference）値、または符号化ピクチャと参照ピクチャとの差分データに対して、アダマール変換をかけたものの差分絶対値和であるＳＡＴＤ（Sum of Absolute Transformed Difference)値を利用して特徴量を生成する。また、動き予測・補償部３２で検出された動きベクトルに基づきグローバル動きベクトルを算出して特徴量として用いてもよい。さらに、レート制御部で得られるComplexityや予測画像・最適モード選択部３３で得られる参照インデックスの割合、およびカメラワーク(固定/パン/チルト/ズーム)や視差情報や奥行情報などを用いることもできる。
【００３９】
参照ピクチャリスト生成部３６は、特徴量生成部３５で生成された特徴量に基づき、視差方向のピクチャを参照ピクチャリストに含めるかどうかを判定する。参照ピクチャリスト生成部３６は、所定単位毎に判定を行う。例えば、参照ピクチャリスト生成部３６は、シーン単位毎に判定を行う場合、シーン判別を行い同一シーン内全体の特徴量を生成して判定を行う。また、参照ピクチャリスト生成部３６は、ＧＯＰ単位毎に判定を行う場合、ＧＯＰ内の全体の特徴量を生成して判別を行う。さらに、参照ピクチャリスト生成部３６は、ピクチャ単位毎に判定を行う場合、ピクチャタイプ別に特徴量を分けて生成して判定を行う。参照ピクチャリスト生成部３６は、所定単位毎に判定を行うことにより得られた判定結果に基づき参照ピクチャリストを生成して可逆符号化部１６に出力する。また、参照ピクチャリスト生成部３６は、参照ピクチャリストで示された参照ピクチャをフレームメモリ２５から動き予測・補償部３２に供給して符号化処理を行うようにする。
【００４０】
＜２．画像符号化装置の動作＞
図２は、画像符号化処理動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００４１】
ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００４２】
ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部３３でイントラ予測部３１から供給された予測画像と動き予測・補償部３２からの予測画像の選択がスライス単位で行われるとき、イントラ予測部３１から供給された予測画像が選択されたスライスでは、イントラ予測が行われる。また、動き予測・補償部３２からの予測画像が選択されたスライスでは、インター予測が行われる。
【００４３】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００４４】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００４５】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００４６】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００４７】
ステップＳＴ１８において加算部２３は、復号画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。
【００４８】
ステップＳＴ１９においてデブロッキングフィルタ処理部２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。また、デブロッキングフィルタ処理部２４は、画像データを記憶するラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようする。具体的には、デブロッキングフィルタ処理部２４は、垂直方向のブロック間の境界検出によって検出された境界に応じて、境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御する。
【００４９】
ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、デブロッキングフィルタ処理前の復号画像データを記憶する。
【００５０】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。この処理により、候補となる予測モードでの予測処理がそれぞれ行われ、候補となる予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。また、予測処理において、動き予測・補償部３２は、参照ピクチャリスト生成部３６で生成された参照ピクチャリストで示された参照ピクチャを用いて予測画像の生成を行う。
【００５１】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００５２】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２２において可逆符号化部１６に入力された予測モード情報や参照ピクチャリストの情報等も可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
【００５３】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
【００５４】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
【００５５】
＜３．特徴量生成部の構成と動作＞
図３は、特徴量生成部の構成を示している。以下、ディペンデントビューの参照ピクチャリストの生成に用いる特徴量の生成について説明する。また、特徴量生成部３５は、例えばピクチャ内で各ブロックの最適モードとして選択されたときのＳＡＴＤ値のピクチャ内の平均値を用いて特徴量の生成を行う。
【００５６】
特徴量生成部３５は、ディペンデントビューのピクチャに対して、時間方向に相違する参照ピクチャと、ベースビューの参照ピクチャを候補として、参照ピクチャの候補毎にピクチャの相関を示す特徴量の生成を行い、生成した特徴量を参照ピクチャリスト生成部３６に出力する。また、特徴量生成部３５は、特徴量を推定するための推定処理情報を生成して参照ピクチャリスト生成部３６に出力する。さらに、特徴量生成部３５は、参照ピクチャリスト生成部３６で生成された参照ピクチャリストに基づき記憶している特徴量や推定処理情報の更新等を行う。
【００５７】
特徴量生成部３５は、視差有り特徴量更新部３５１、視差有り特徴量記憶部３５２、推定処理情報更新部３５３、推定処理情報記憶部３５４を有している。
【００５８】
視差有り特徴量更新部３５１は、時間予測と視差予測が行われる場合において、視差方向の参照ピクチャを動き予測で利用した場合の特徴量を視差有り特徴量ＳＡＴＤivとして視差有り特徴量記憶部３５２に記憶する。また、視差有り特徴量更新部３５１は、その後、視差有り特徴量ＳＡＴＤivが算出される毎に、視差有り特徴量記憶部３５２に記憶されている視差有り特徴量ＳＡＴＤivを更新する。さらに、視差有り特徴量更新部３５１は、所定期間例えば１または複数ＧＯＰ期間で一度も視差有り特徴量ＳＡＴＤivが更新されない場合、後述するようにピクチャタイプ毎に視差有り特徴量ＳＡＴＤivの更新を行う。視差有り特徴量更新部３５１は、更新後の視差有り特徴量ＳＡＴＤivを参照ピクチャリスト生成部３６に出力する。このように、視差有り特徴量更新部３５１は、視差有り特徴量ＳＡＴＤivの更新を行うことで、視差有り特徴量ＳＡＴＤivが更新されないために相関のない特徴量となってしまうことを防止する。
【００５９】
推定処理情報更新部３５３は、時間予測のみが行われる場合の特徴量を推定するために用いる推定処理情報Ｐscを算出して推定処理情報記憶部３５４に記憶させる。また、推定処理情報更新部３５３は、その後、推定処理情報記憶部３５４に記憶されている推定処理情報Ｐscの更新を行う。推定処理情報更新部３５３は、式（１）に示すように、ディペンデントビューが時間予測のみの場合に、ディペンデントビューの特徴量ＳＡＴＤdvとベースビューの特徴量ＳＡＴＤbvの比率を計算して推定処理情報Ｐscとする。また、時間予測と視差予測がある場合は、既に算出されている推定処理情報Ｐsc（ｎ−１）を用いる。時間的な距離が近ければ、異なる時刻の画像であっても推定処理情報Ｐscが似たような値となる(相関が高い)ことが、実験的に明らかとなっているからである。
【数１】
2013038623.tif 000003
【００６０】
さらに、推定処理情報更新部３５３は、視差予測を含む状態が継続すると、推定処理情報Ｐscの更新が行われないため、時間的な距離が離れていくほど推定処理情報Ｐscの相関が低くなる。そのため、所定期間、参照ピクチャリストに視差方向の参照ピクチャが含まれる状態が継続した場合は、後述する時間方向強制符号化判定部３６２で強制的に、参照ピクチャリストを時間方向の参照ピクチャのみとして推定処理情報Ｐscを更新させる。
【００６１】
推定処理情報更新部３５３は、このようにして推定処理情報Ｐscの更新を行い、更新された推定処理情報Ｐscを用いて、時間予測のみを行うものとして推定する特徴量である推定特徴量ＳＡＴＤtmを式（２）に基づき算出して参照ピクチャリスト生成部３６に出力する。
ＳＡＴＤtm＝Ｐsc×ＳＡＴＤbv      ・・・（２）
【００６２】
また、視差有り特徴量更新部３５１や推定処理情報更新部３５３は、過去の情報を考慮して更新を行うようにしてもよい。例えば式（３）（４）で示すようにＩＩＲフィルタで過去の情報を考慮して更新を行うことにより、更新後の視差有り特徴量ＳＡＴＤiv（ｎ）’や推定処理情報Ｐsc（ｎ）’を算出できる。ただし、ＧＯＰ単位で一度も視差有り特徴量が更新されない場合や複数ＧＯＰ期間で一度も推定処理情報が更新されない場合を除く。また、「ｋ1，ｋ2」は係数である。
ＳＡＴＤiv（ｎ）’＝ｋ1×ＳＡＴＤiv（ｎ−１）
＋（１−ｋ1）×ＳＡＴＤiv（ｎ）  ・・・（３）
Ｐsc（ｎ）’      ＝ｋ2×Ｐsc（ｎ−１）
＋（１−ｋ2）×Ｐsc（ｎ）        ・・・（４）
【００６３】
＜４．参照ピクチャリスト生成部の構成と動作＞
図４は、参照ピクチャリスト生成部の構成を示している。参照ピクチャリスト生成部３６は、参照パターン判定部３６１、時間方向強制符号化判定部３６２、参照ピクチャリスト記憶部３６３を有している。
【００６４】
参照パターン判定部３６１は、参照ピクチャリストに視差方向の参照ピクチャを含めるかどうかを判定する。参照パターン判定部３６１は、ＧＯＰ先頭ピクチャで後述するように視差予測のみを行うことから、参照パターンを視差方向の参照ピクチャを含めたパターンとする。
【００６５】
また、参照パターン判定部３６１は、ディペンデントビューがプログレッシブ素材の場合、ＧＯＰ先頭ピクチャの特徴量に基づく判別値と閾値の比較結果に基づき、ＧＯＰ先頭の次のピクチャの参照パターンを判別する。
【００６６】
参照パターン判定部３６１は、例えば式（５）のように先頭ピクチャの特徴量ＳＡＴＤdvに基づく判別値（１／ＳＡＴＤdv）が閾値ＴＨ0よりも大きい場合、次のＰピクチャやＢピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、参照パターン判定部３６１は、判別値が閾値ＴＨ0以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。
（１／ＳＡＴＤdv）＞ＴＨ0      ・・・（５）
【００６７】
参照パターン判定部３６１は、インタレース素材の場合、ディペンデントビューのＧＯＰ先頭の次のピクチャ、すなわちＧＯＰにおける次のフィールドの先頭ピクチャは後述するように常に時間予測と視差予測を行うことから、参照パターンを視差方向の参照ピクチャを含めたパターンとする。さらに、参照パターン判定部３６１は、ディペンデントビューにおける当該ピクチャの特徴量ＳＡＴＤdvとベースビューの特徴量ＳＡＴＤbvとの比較結果に基づきディペンデントビューにおける各ピクチャタイプの参照パターンを判別する。
【００６８】
例えば、式（６）のように、特徴量ＳＡＴＤdvに対する特徴量ＳＡＴＤbvの割合を示す判別値（ＳＡＴＤbv／ＳＡＴＤdv）が閾値ＴＨ1よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値ＴＨ1以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。
ＳＡＴＤbv／ＳＡＴＤdv＞ＴＨ1      ・・・（６）
【００６９】
また、参照パターン判定部３６１は、ディペンデントビューの特徴量ＳＡＴＤdvとベースビューの特徴量ＳＡＴＤbvの差分を判別値として参照パターンを判別することもできる。例えば式（７）に示すように、判別値（ＳＡＴＤbv−ＳＡＴＤdv）が閾値ＴＨ2よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値ＴＨ2以下である場合、参照パターンを時間方向の参照ピクチャのみのパターンとする。
（ＳＡＴＤbv−ＳＡＴＤdv）＞ＴＨ2      ・・・（７）
【００７０】
参照パターン判定部３６１は、その後のピクチャにおいて参照パターンが視差方向の参照ピクチャを含めたパターンである場合、式（８）に示すように、視差有り特徴量ＳＡＴＤivに対する推定特徴量ＳＡＴＤtmの割合を閾値ＴＨ3と比較する。参照パターン判定部３６１は、比較結果に基づき参照パターンを判定する。
ＳＡＴＤtm／ＳＡＴＤiv≦ＴＨ3      ・・・（８）
【００７１】
ここで、参照パターン判定部３６１は、視差有り特徴量ＳＡＴＤivに対する推定特徴量ＳＡＴＤtmの割合が閾値ＴＨ3以下である場合、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、割合が閾値ＴＨ3よりも大きい場合、視差方向の参照ピクチャを含めたパターンを維持する。
【００７２】
また、参照パターン判定部３６１は、その後のピクチャにおいて参照パターンが時間方向の参照ピクチャのみのパターンである場合、式（９）に示すように、直近の視差有り特徴量ＳＡＴＤivｅに対する特徴量ＳＡＴＤdvの割合を閾値ＴＨ4と比較する。参照パターン判定部３６１は、比較結果に基づき参照パターンを判定する。
ＳＡＴＤdv／ＳＡＴＤive＞ＴＨ4        ・・・（９）
【００７３】
ここで、参照パターン判定部３６１は、直近の視差有り特徴量ＳＡＴＤivｅに対するディペンデントビューの特徴量ＳＡＴＤdvの割合が閾値ＴＨ4よりも大きい場合、現ピクチャタイプの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、割合が閾値ＴＨ4以下である場合、時間方向の参照ピクチャのみのパターンを維持する。
【００７４】
直近の視差有り特徴量とは、ピクチャ毎に視差有り特徴量が更新されている場合、最後に更新された視差有り特徴量である。ピクチャタイプ別に視差有り特徴量が更新されている場合、最後に更新された同一のピクチャタイプの視差有り特徴量である。推定処理情報Ｐscも同様に、ピクチャ毎に更新したものでも、ピクチャタイプ別に更新したものでもよい。
【００７５】
また、式（８）（９）のように比率による判定だけでなく、推定特徴量ＳＡＴＤtmと視差有り特徴量ＳＡＴＤivとの差分、ディペンデントビューの特徴量ＳＡＴＤdvと直近の視差有り特徴量ＳＡＴＤivｅとの差分を判別値としてもよい。すなわち、特徴量の比較結果に基づいて、参照パターンの判定を行う。
【００７６】
さらに、参照パターン判定部３６１は、参照パターンの他の判別方法として、ディペンデントビューの先頭ピクチャにおいて得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持するようにしてもよい。
【００７７】
例えば、ディペンデントビューのＧＯＰ先頭ピクチャすなわちトップフィールドの先頭ピクチャでは、時間方向の参照ピクチャを利用できないので、参照ピクチャは常に視差方向の参照ピクチャのみとなる。次に、ＧＯＰ先頭ピクチャの次のフィールドの先頭ピクチャ、すなわちＧＯＰにおけるボトムフィールドの先頭ピクチャでは、特徴量ＳＡＴＤdvに対する特徴量ＳＡＴＤbvの割合を示す判別値（ＳＡＴＤbv／ＳＡＴＤdv）が閾値よりも大きい場合、参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値よりも小さい場合、ピクチャタイプ毎にパターンを判定する。
【００７８】
ピクチャタイプ毎のパターンの判定において、直前の参照ピクチャのパターンが視差方向の参照ピクチャを含めたパターンである場合、視差有り特徴量ＳＡＴＤivに対する推定特徴量ＳＡＴＤtmの割合（ＳＡＴＤtm／ＳＡＴＤiv）を閾値と比較して、割合が閾値以下である場合、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、割合が閾値よりも大きい場合、直前の参照ピクチャのパターンを維持する。
【００７９】
また、ピクチャタイプ毎のパターンの判定において、直前の参照ピクチャのパターンが時間方向の参照ピクチャのみのパターンである場合、直近の視差有り特徴量ＳＡＴＤivｅに対する特徴量ＳＡＴＤdvの割合（ＳＡＴＤdv／ＳＡＴＤive）を閾値と比較して、割合が閾値よりも大きい場合、現ピクチャタイプの参照パターンを視差方向の参照ピクチャを含むパターンとする。また、割合が閾値以下である場合、直前の参照ピクチャのパターンを維持する。このようにして、参照パターンを判別するようにしてもよい。
【００８０】
さらに、シーン別に判定する場合は、シーン全体の時間予測のみの特徴量ＳＡＴＤと視差有りのＳＡＴＤをピクチャ毎に集計して正規化し、２つのＳＡＴＤを比較して参照ピクチャリストパターンを決める。またシーンチェンジ先頭ピクチャなどの常に視差予測が利用できるピクチャのＳＡＴＤとベースビューのＳＡＴＤを比較してシーン全体の参照パターンを判定してもよい。さらに、ＧＯＰ単位の判定も同様にして行うことができる。
【００８１】
時間方向強制符号化判定部３６２は、参照パターン判定部３６１の判別結果に係らず、所定のピクチャを時間予測のみを行うパターンとして設定する処理を行う。時間方向強制符号化判定部３６２は、強制的に時間予測のみを行うように設定するピクチャとして、複数ＧＯＰ期間の最後のピクチャを指定する。また、ピクチャタイプ別に判定する場合は、複数ＧＯＰ期間の最後のピクチャを強制的に時間予測に設定してもよいし、ピクチャタイプ別に複数ＧＯＰ期間の最後のピクチャを強制的に時間予測に設定してもよい。
【００８２】
参照ピクチャリスト記憶部３６３は、参照パターン判定部３６１で判別された参照パターンおよび時間方向強制符号化判定部３６２で強制的に設定された参照パターンに基づく参照ピクチャリストを記憶する。
【００８３】
図５は、特徴量生成部と参照ピクチャリスト生成部の動作を示すフローチャートである。ステップＳＴ３１で画像符号化装置１０は、シーケンス先頭ピクチャであるか判別する。画像符号化装置１０の参照ピクチャリスト生成部３６は、ピクチャがシーケンス先頭ピクチャである場合、ステップＳＴ３２に進み、シーケンス先頭ピクチャでない場合、ステップＳＴ３４に進む。
【００８４】
ステップＳＴ３２で画像符号化装置１０は、参照パターンの初期化を行う。参照ピクチャリスト生成部３６は、参照パターンを時間方向の参照ピクチャのみのパターンに初期化してステップＳＴ３３に進む。
【００８５】
ステップＳＴ３３で画像符号化装置１０は、視差有り特徴量の初期化を行う。画像符号化装置１０の特徴量生成部３５は、視差有り特徴量ＳＡＴＤ-ivを初期値に設定してステップＳＴ３１に戻る。
【００８６】
ステップＳＴ３４で画像符号化装置１０は、ＧＯＰ先頭ピクチャであるか判別する。インタレース素材の場合、画像符号化装置１０は、ピクチャがＧＯＰ先頭である場合にステップＳＴ４６に進み、ＧＯＰ先頭でない場合にステップＳＴ３５に進む。また、プログレッシブ素材の場合、画像符号化装置１０は、ピクチャがＧＯＰ先頭である場合に破線で示すようにステップＳＴ３６に進み、ＧＯＰ先頭でない場合に破線で示すようにステップＳＴ３７に進む。プログレッシブ素材の場合、ＧＯＰ先頭のピクチャは常に視差方向の参照ピクチャを含むが、ＧＯＰ先頭の次のピクチャは参照できる参照ピクチャの枚数が２枚以上ない限り、必ずしも視差方向の参照ピクチャを含むパターンで符号化されるとは限らない。つまり、参照ピクチャの枚数が１枚である場合、時間方向のみの参照ピクチャで符号化されると後述するステップＳＴ３６の処理を正しく行うことができないが、ＧＯＰ先頭のピクチャは、必ず視差方向の参照ピクチャを含むパターンで符号化されるので、ステップＳＴ３６の処理を正しく行うことができるからである。
【００８７】
ステップＳＴ３５で画像符号化装置１０は、ＧＯＰ先頭の次のピクチャであるか判別する。画像符号化装置１０は、ピクチャがＧＯＰ先頭の次のピクチャである場合にステップＳＴ３６に進み、ＧＯＰ先頭の次のピクチャでない場合にステップＳＴ３７に進む。
【００８８】
ステップＳＴ３６で画像符号化装置１０は、所定期間更新されていない視差有り特徴量の更新を行う。視差有り特徴量ＳＡＴＤivは、更新が長期間行われないと相関が低下する。また、インタレース素材の場合、ＧＯＰ先頭の次のピクチャでは、後述するように参照パターンが視差方向の参照ピクチャを含めたパターンとされる。したがって、特徴量生成部３５は、所定期間例えば直前のＧＯＰ間で一度も更新されていないピクチャタイプの視差有り特徴量ＳＡＴＤivを、ＧＯＰ先頭の次のピクチャの特徴量を用いて更新してステップＳＴ４６に進む。
【００８９】
ステップＳＴ３７で画像符号化装置１０は、参照パターンは時間予測のみであるか判別する。参照ピクチャリスト生成部３６は、参照パターンが時間予測のみであるか判別して、参照パターンが時間方向の参照ピクチャのみのパターンである場合にステップＳＴ３８に進み、参照パターンが視差方向の参照ピクチャを含むパターンである場合にステップＳＴ３９に進む。
【００９０】
ステップＳＴ３８で画像符号化装置１０は、推定処理情報の更新を行う。特徴量生成部３５は、ベースビューの特徴量ＳＡＴＤbvとディペンデントビューの特徴量ＳＡＴＤdvを用いて推定処理情報Ｐscの更新を行ってステップＳＴ４０に進む。
【００９１】
ステップＳＴ３９で画像符号化装置１０は、視差有り特徴量ＳＡＴＤivの更新を行う。特徴量生成部３５は、参照パターンが視差方向の参照ピクチャを含めたパターンであることから、ディペンデントビューの特徴量ＳＡＴＤdvを用いて視差有り特徴量ＳＡＴＤivの更新を行ってステップＳＴ４０に進む。
【００９２】
ステップＳＴ４０で画像符号化装置１０は、参照パターンの判定を行う。参照ピクチャリスト生成部３６は、当該ピクチャの参照パターンが視差方向の参照ピクチャを含めたパターンである場合、視差有り特徴量ＳＡＴＤivと推定特徴量ＳＡＴＤtmに基づく判定値を閾値と比較して、比較結果に基づき次のピクチャの参照パターンを判定する。また、参照ピクチャリスト生成部３６は、当該ピクチャの参照パターンが時間方向の参照ピクチャのみのパターンである場合、直近の視差有り特徴量ＳＡＴＤiveとディペンデントビューの特徴量ＳＡＴＤdvに基づく判定値と閾値を比較する。参照ピクチャリスト生成部３６は、比較結果に基づき次のピクチャの参照パターンを判定する。このように、参照ピクチャリスト生成部３６は、当該ピクチャの参照パターンに応じた特徴量の比較を行い、比較結果に基づいて次のピクチャの参照パターンを判定してステップＳＴ４１に進む。
【００９３】
ステップＳＴ４１で画像符号化装置１０は、所定期間の最後のピクチャであるか判定する。参照ピクチャリスト生成部３６は、ピクチャが所定期間例えば複数ＧＯＰの最後のピクチャである場合にステップＳＴ４２に進み、最後のピクチャでない場合にステップＳＴ４６に進む。
【００９４】
ステップＳＴ４２で画像符号化装置１０は、所定期間中に参照パターンが時間予測のみと判定されていないか判別する。参照ピクチャリスト生成部３６は、所定期間例えば複数ＧＯＰ期間で一度も参照パターンが時間方向の参照ピクチャのみのパターンと判定されていない場合にステップＳＴ４３に進む。また、参照ピクチャリスト生成部３６は、少なくとも一度、時間方向の参照ピクチャのみのパターンと判定されている場合にステップＳＴ４６に進む。
【００９５】
ステップＳＴ４３で画像符号化装置１０は、参照パターンを時間予測のみに設定する。参照ピクチャリスト生成部３６は、参照パターンを強制的に時間方向の参照ピクチャのみのパターンに設定してステップＳＴ４４に進む。
【００９６】
ステップＳＴ４４で画像符号化装置１０は、推定処理情報Ｐscの更新を行う。特徴量生成部３５は、参照パターンを強制的に時間方向の参照ピクチャのみのパターンに設定されたことから、所定期間例えば複数ＧＯＰ中に一度も更新されていないピクチャタイプの推定処理情報Ｐscの更新を行ってステップＳＴ４５に進む。
【００９７】
ステップＳＴ４５で画像符号化装置１０は、参照パターンを元に戻す。参照ピクチャリスト生成部３６は、参照パターンを強制的に時間方向の参照ピクチャのみで符号化する前に決まっていた参照パターンに戻してステップＳＴ３１に戻り、次のピクチャの判定を行う。
【００９８】
ステップＳＴ４６で画像符号化装置１０は、所定ピクチャの参照パターン設定処理を行う。プログレッシブ素材である場合、参照ピクチャリスト生成部３６は、後述するようにアンカーピクチャであるＧＯＰ先頭のピクチャの参照パターンを視差有りのパターンに設定する。さらに、参照パターン判定部３６１は、ＧＯＰ先頭ピクチャの特徴量に基づく判別値と閾値の比較結果に基づき、ＧＯＰ先頭の次のピクチャの参照パターンを判別する。参照パターン判定部３６１は、例えば先頭ピクチャの特徴量ＳＡＴＤdvに基づく判別値（１／ＳＡＴＤdv）が閾値ＴＨ0以下である場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。また、参照パターン判定部３６１は、判別値が閾値よりも大きい場合、次のピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとしてステップＳＴ３１に戻る。
【００９９】
ピクチャタイプ毎の参照パターンの判別において、参照パターンが視差方向の参照ピクチャを含めたパターンである場合、上述のように判別値（ＳＡＴＤtm／ＳＡＴＤiv）と閾値ＴＨ3との比較結果に基づき、現ピクチャタイプの参照パターンを時間方向の参照ピクチャのみのパターン、または視差方向の参照ピクチャが含まれている直前のパターンと判別する。また、参照パターンが時間方向の参照ピクチャのみのパターンである場合、上述のように判別値（ＳＡＴＤdv／ＳＡＴＤive）と閾値ＴＨ4との比較結果に基づき、視差方向の参照ピクチャを含めたパターン、または時間方向の参照ピクチャのみである直前のパターンと判別する。
【０１００】
また、インタレース素材である場合、後述するようにＧＯＰ先頭のピクチャがアンカーピクチャであることから、参照ピクチャリスト生成部３６は、ＧＯＰ先頭のピクチャと次のピクチャ（ＧＯＰ先頭とフィールドが相違する）の参照パターンを視差方向の参照ピクチャを含めたパターンに設定する。さらに、参照パターン判定部３６１は、ＧＯＰ先頭の次のピクチャ、すなわちＧＯＰにおける次フィールドの先頭ピクチャで算出した特徴量ＳＡＴＤdvとベースビューの特徴量ＳＡＴＤbvを比較する。参照パターン判定部３６１は、比較結果に基づきディペンデントビューにおける次のピクチャタイプの参照パターンを判別する。すなわち、参照パターン判定部３６１は、特徴量ＳＡＴＤdvと特徴量ＳＡＴＤbvに基づく判別値と閾値との比較結果に基づきディペンデントビューにおける次のピクチャタイプの参照パターンを判別してステップＳＴ３１に戻る。
【０１０１】
このようにして、参照ピクチャリスト生成部３６は、ディペンデントビューの各ピクチャについて参照パターンの判定を行い、判定結果に基づいて参照ピクチャリストを生成する。なお、参照パターンの判定は、上述の他の方法を用いてもよい。
【０１０２】
参照ピクチャリストにおいて、参照ピクチャに対する参照インデックスの割り当ては、例えば特徴量ＳＡＴＤが小さい方の参照ピクチャに対して符号長の短い参照インデックスを割り当てる。また、参照インデックスの割り当ては、他の方法として参照インデックスの割合を利用する方法も考えられる。すなわち、次のピクチャの参照パターンが視差方向の参照ピクチャを含む場合は、時間方向と視差方向の参照ピクチャのインター予測時に選ばれる参照インデックスの割合の多い方を、次のピクチャの参照リストの符号長の短い参照インデックスに割り当てる。また、次のピクチャの参照パターンが時間方向の参照ピクチャのみの場合は、時間方向の参照ピクチャのインター予測時に選ばれる参照インデックスの割合の多い方を、次のピクチャの参照リストの符号長の短い参照インデックスに割り当てる。このように、参照インデックスの割合を利用して参照インデックスの割り当てを行うこともできる。
【０１０３】
＜５．プログレッシブ素材の場合の動作＞
次に、プログレッシブ素材の場合の動作について具体的に説明する。図６は、ベースビューとディペンデントビューの一般的な参照関係を示している。ディペンデントビューの参照ピクチャ数は、ベースビューの参照ピクチャ数に対してベースビュー方向のピクチャが参照可能であることから、図６に示す参照関係の場合、ベースビューよりも１枚多い枚数となる。具体的には、ベースビューにおけるＰピクチャの参照ピクチャは１枚でＢピク  
【０１０４】
チャの参照ピクチャは２枚となり、ディペンデントビューにおけるＰピクチャの参照ピクチャは２枚でＢピクチャの参照ピクチャは３枚となる。なお、最初のピクチャはアンカーピクチャである。
【０１０５】
図７は、ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照関係を例示している。具体的には、ベースビューにおけるＰピクチャの参照ピクチャは１枚でＢピクチャの参照ピクチャは２枚、ディペンデントビューにおけるＰピクチャの参照ピクチャは１枚でＢピクチャの参照ピクチャは２枚とする。この図７から明らかなように、ディペンデントビューでは、時間方向または視差方向の何れかの参照ピクチャを削減しなければならない。
【０１０６】
次に、ベースビューとディペンデントビューで参照ピクチャ数を等しくした場合の参照ピクチャリストの生成動作を説明する。
【０１０７】
図８は、最初のピクチャの参照関係を示している。ベースビューとディペンデントビューにおけるＧＯＰの最初のピクチャはアンカーピクチャ（anchor I，anchor P）である。したがって、参照ピクチャリスト生成部３６は、ディペンデントビューの先頭のＰピクチャ（Ｐd0）では、ベースビューのＩピクチャ（Ｉb0）のみを参照ピクチャとする。
【０１０８】
図９は、ディペンデントビューの処理において、判別値が閾値よりも大きい場合、図１０はディペンデントビューの処理において、判別値が閾値以下である場合をそれぞれ示している。判別値（１／ＳＡＴＤdv）が閾値よりも大きい場合、参照ピクチャリスト生成部３６は、図９に示すように、ディペンデントビューの２番目以降のＢピクチャ（Ｂd1）やＰピクチャ（Ｐd2）の参照パターンを、視差方向の参照ピクチャを含めたパターンとする。なお、特徴量（１／ＳＡＴＤdv）が閾値よりも大きい場合、上述のように、視差方向の参照ピクチャを含めたパターンとする。参照ピクチャリスト生成部３６は、判別値（１／ＳＡＴＤdv）が閾値以下である場合、図１０に示すように、ディペンデントビューの２番目以降のＢピクチャ（Ｂd1）やＰピクチャ（Ｐd2）の参照パターンを、時間方向の参照ピクチャのみのパターンとする。
【０１０９】
また、図１１に示すように、直前の所定期間において１度も参照パターンが視差方向の参照ピクチャを含めたパターンとされていない場合、特徴量生成部３５は、当該ピクチャの特徴量ＳＡＴＤdvを視差有り特徴量ＳＡＴＤivとする。例えば、直前の１ＧＯＰの期間において、ディペンデントビューにおけるアンカーピクチャ以外、１度も視差方向の参照ピクチャを含めたパターンとされていない場合、特徴量生成部３５は、当該ＧＯＰのディペンデントビューにおけるアンカーピクチャで求めた特徴量、すなわちＰピクチャ（Ｐd0）で求めた特徴量ＳＡＴＤdvを、以降のピクチャの視差有り特徴量ＳＡＴＤivとしてピクチャのタイプ別に保存する。
【０１１０】
参照ピクチャリスト生成部３６は、次のＰピクチャにおいて、現Ｐピクチャが時間予測のみである場合、保存されている直近の視差有り特徴量ＳＡＴＤiveと現Ｐピクチャで算出した特徴量ＳＡＴＤdvを比較して、比較結果に基づき参照ピクチャを決定する。
【０１１１】
特徴量の比較は、２つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値（ＳＡＴＤdv−ＳＡＴＤive）が閾値ＴＨaよりも大きい場合、または判別値（ＳＡＴＤdv／ＳＡＴＤive）が閾値ＴＨbよりも大きい場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを視差方向の参照ピクチャを含めたパターン、もしくは直前のパターンを維持する。また、閾値ＴＨａ，ＴＨｂ以下である場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。
【０１１２】
図１２は、現ピクチャが時間予測のみである場合を示している。参照ピクチャリスト生成部３６は、例えば現Ｐピクチャ（Ｐd2）の参照パターンが時間方向の参照ピクチャのみのパターンである場合、保存されている直近の視差有り特徴量ＳＡＴＤiveとＰピクチャ（Ｐd2）で算出した特徴量ＳＡＴＤdvを比較する。参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv−ＳＡＴＤive）が閾値ＴＨaよりも大きい場合、Ｐピクチャ（Ｐd2）の次のＰピクチャ（Ｐd4）の参照パターンを、一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv／ＳＡＴＤive）が閾値ＴＨbよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判別値が閾値以下である場合、次のＰピクチャ（Ｐd4）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。
【０１１３】
また、特徴量生成部３５は、ベースビューとディペンデントビューの特徴量から推定処理情報Ｐsc（Ｐsc＝ＳＡＴＤdv／ＳＡＴＤbv）を算出しておく。
【０１１４】
特徴量生成部３５は、現Ｐピクチャが視差予測を含む場合、推定特徴量ＳＡＴＤtmを算出する。推定特徴量ＳＡＴＤtmは、ベースビューの特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算することで算出する。さらに、参照ピクチャリスト生成部３６は、推定特徴量ＳＡＴＤtmと視差有り特徴量ＳＡＴＤivを比較して、比較結果に基づき参照パターンを設定する。
【０１１５】
特徴量の比較は、上述のように２つの特徴量の差分または比率を判別値として閾値と比較する。判別値（ＳＡＴＤtm−ＳＡＴＤiv）が閾値ＴＨcよりも大きい場合、または判別値（ＳＡＴＤtm／ＳＡＴＤiv）が閾値ＴＨdよりも大きい場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを引き続き視差方向の参照ピクチャを含めたパターンとする。また、判別値が閾値以下である場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。
【０１１６】
図１３は、現ピクチャが視差予測を含む場合を示している。特徴量生成部３５は、例えば現Ｐピクチャ（Ｐd4）の参照パターンが視差方向の参照ピクチャを含むパターンである場合、ベースビューのＰピクチャ（Ｐb4）の特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算して推定特徴量ＳＡＴＤtmを算出する。参照ピクチャリスト生成部３６は、算出された推定特徴量ＳＡＴＤtmとＰピクチャ（Ｐd4）で算出した視差有り特徴量ＳＡＴＤivを比較する。参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤtm−ＳＡＴＤiv）が閾値ＴＨcよりも大きい場合、次のＰピクチャ（Ｐd6）の参照パターンを一点鎖線の矢印で示すように引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤtm／ＳＡＴＤiv）が閾値ＴＨdよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判別値が閾値以下である場合、次のＰピクチャ（Ｐd6）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、現Ｐピクチャで算出された視差有り特徴量ＳＡＴＤ-ivを次のＰピクチャの視差有り特徴量とみなして保存する。
【０１１７】
特徴量生成部３５と参照ピクチャリスト生成部３６は、ＢピクチャにおいてもＰピクチャと同様に処理を行う。参照ピクチャリスト生成部３６は、視差方向の参照ピクチャを含めた場合の特徴量と時間方向の参照ピクチャのみの場合の特徴量に基づく判別値と閾値との比較結果に基づき、参照パターンとして視差方向のピクチャを参照ピクチャに含めるか判定する。
【０１１８】
図１４は、Ｂピクチャにおいて現ピクチャが時間予測のみである場合を示している。参照ピクチャリスト生成部３６は、例えば現Ｂピクチャ（Ｐd1）の参照パターンが時間方向の参照ピクチャのみのパターンである場合、保存されている直近の視差有り特徴量ＳＡＴＤiveと現ピクチャすなわちＢピクチャ（Ｂd1）の特徴量ＳＡＴＤdvを用いて比較を行い、比較結果に基づいて次のＢピクチャ（Ｂd3）の参照パターンを決定する。
【０１１９】
特徴量の比較は、２つの特徴量の差分または比率を判別値として閾値と比較する。判別値（ＳＡＴＤdv−ＳＡＴＤive）が閾値ＴＨeよりも大きい場合、参照ピクチャリスト生成部３６は、次のＢピクチャ（Ｂd3）の参照パターンを一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv／ＳＡＴＤive）が閾値ＴＨfよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判別値が閾値以下である場合、次のＢピクチャ（Ｂd3）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。
【０１２０】
ところで、視差予測を含める場合の特徴量である視差有り特徴量ＳＡＴＤivは、ディペンデントビューにおけるＧＯＰ先頭のＰピクチャで少なくとも１回は更新される。しかし、視差方向の参照ピクチャを含めたパターンが続くと、時間方向の参照ピクチャのみのパターンを用いた参照パターンにおける特徴量ＳＡＴＤdvが算出されないため、推定処理情報Ｐscの更新されない期間は長くなってしまう。推定特徴量ＳＡＴＤtmは、上述のようにベースビューの特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算して算出していることから、推定処理情報Ｐscが更新されない期間が長くなることにより、推定特徴量ＳＡＴＤtmの信頼度が低くなる。したがって、参照ピクチャリスト生成部３６は、参照パターンの判定を適切に行うことができなくなってしまうおそれがある。
【０１２１】
そこで、参照ピクチャリスト生成部３６は、所定期間例えば数ＧＯＰの期間中に、参照パターンが時間方向の参照ピクチャのみのパターンとされていない場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。このように、参照パターンを時間方向の参照ピクチャのみのパターンとすることで、特徴量生成部３５は推定処理情報Ｐscを更新できる。図１５は、参照パターンを時間方向の参照ピクチャのみのパターンに設定して推定処理情報Ｐscを更新する場合を示している。例えば、視差方向の参照ピクチャを含めた参照パターンが所定期間継続された場合、参照ピクチャリスト生成部３６は、次のＢピクチャ（Ｂdr）の参照パターンを時間方向の参照ピクチャのみのパターンとする。また、参照ピクチャリスト生成部３６は、ピクチャタイプが異なるＰピクチャ（Ｐds）についても、参照パターンを時間方向の参照ピクチャのみのパターンとする。
【０１２２】
このように本技術では、ディペンデントビューにおいて、符号化効率が高くなるように時間方向の参照ピクチャ、または視差方向を含めたピクチャがベースビューと同じ枚数だけ参照ピクチャとして選択できるので、ベースビューよりも符号化効率を改善できる。また、ベースビューとディペンデントビューで参照ピクチャの枚数が等しいことから、既存のエンコーダを流用して、交互にベースビューとディペンデントビューを符号化してＭＶＣを実現する場合、ベースビューとディペンデントビューの処理量を同等にできる。また、既存のエンコーダを２つ使って、一方のエンコーダでベースビューの圧縮符号化、他方のエンコーダでディペンデントビューの圧縮符号化を行いＭＶＣを実現する場合、ベースビューとディペンデントビューの処理量を同等とすることができるので、ディペンデントビューのために処理能力の高いエンコーダを用いる必要がない。
【０１２３】
＜６．インタレース素材の場合の動作＞
ところで、上述の実施の形態では、プログレッシブ素材の場合について説明したが、インタレース素材に対しても、同様な処理を行うことで、符号化効率を良好とすることができる。なお、本技術の理解を容易とするため、画像はＩピクチャとＰピクチャで構成されているとする。
【０１２４】
図１６は、ベースビューとディペンデントビューがインタレース素材である場合の参照関係を示している。
【０１２５】
ベースビューにおけるトップフィールドの先頭のＩピクチャは、アンカーピクチャである。また、このＩピクチャは、ベースビューのボトムフィールドとディペンデントビューにおけるトップフィールドの先頭のＰピクチャ、およびベースビューにおけるトップフィールドの次のＰピクチャで参照される。
【０１２６】
ベースビューにおけるボトムフィールドの先頭のＰピクチャは、アンカーピクチャ直後のピクチャであり、トップフィールドのＩピクチャを参照する。また、このピクチャは、ディペンデントビューのボトムフィールドの先頭のＰピクチャ、およびベースビューにおけるトップフィールドおよびボトムフィールドの次のＰピクチャで参照される。
【０１２７】
ディペンデントビューにおけるトップフィールドの先頭のＰピクチャは、アンカーピクチャであり、ベースビューのトップフィールドのＩピクチャを参照する。また、このアンカーピクチャは、ディペンデントビューのボトムフィールドにおける先頭のＰピクチャと、ディペンデントビューにおけるトップフィールドの次のＰピクチャで参照される。
【０１２８】
ディペンデントビューにおけるボトムフィールドの先頭のＰピクチャは、アンカーピクチャ直後のピクチャであり、ディペンデントビューにおけるトップフィールドの先頭のＰピクチャを参照する。また、このピクチャは、ディペンデントビューのトップフィールドやボトムフィールドの次のＰピクチャで参照される。
【０１２９】
また、２枚目以降のＰピクチャは、直前の同じフィールドと異なるフィールドのピクチャを参照ピクチャとする。さらに、ディペンデントビューでは、ベースビューの例えば同じフィールドのピクチャを参照ピクチャに含める。
【０１３０】
ここで、ベースビューの各フィールドの２枚目以降では参照ピクチャ数が２枚である。しかし、ディペンデントビューの各フィールドの２枚目以降では、参照ピクチャ数が３枚である。したがって、図１７に示すように、参照ピクチャリスト生成部３６は、ディペンデントビューの各フィールドの２枚目以降の参照ピクチャ数を２枚として、ベースビューにおける参照ピクチャ数を等しくする。また、参照ピクチャリスト生成部３６は、ディペンデントビューの各フィールドの２枚目以降の参照ピクチャ数を２枚とする際に、符号化効率が良好となるように視差方向の参照ピクチャを参照パターンに含めるか否かの判定を行う。
【０１３１】
図１８は、ディペンデントビューにおけるトップフィールドの先頭ピクチャの参照関係を示している。ベースビューとディペンデントビューにおけるトップフィールドの最初のピクチャ（Ｉb0，Ｐd0）はアンカーピクチャである。また、ディペンデントビューにおけるトップフィールドの先頭のＰピクチャ（Ｐd0）は、ベースビューにおけるトップフィールドのＩピクチャ（Ｉb0）のみを参照ピクチャとする。
【０１３２】
図１９は、ディペンデントビューにおけるボトムフィールドの先頭ピクチャの参照関係を示している。ディペンデントビューにおけるボトムフィールドの先頭のＰピクチャ（Ｐd1）は、ベースビューにおけるボトムフィールドのＰピクチャ（Ｐb1）とディペンデントビューにおけるトップフィールドのＰピクチャ（Ｐd0）を参照ピクチャとする。
【０１３３】
次に、参照ピクチャリスト生成部３６は、ディペンデントビューのＧＯＰ先頭の次のピクチャ、すなわちボトムフィールドの先頭のＰピクチャ（Ｐd1）の特徴量ＳＡＴＤdvとベースビューにおけるボトムフィールドの先頭のＰピクチャ（Ｐb1）の特徴量ＳＡＴＤbvを比較して次のＰピクチャ（Ｐd2）の参照パターンを判別する。
【０１３４】
図２０は、ディペンデントビューにおけるボトムフィールドの先頭ピクチャの処理を示す図である。参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤbv−ＳＡＴＤdv）が閾値ＴＨgよりも大きい場合、Ｐピクチャ（Ｐd1）の次のＰピクチャ（Ｐd2）の参照パターンを、一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤbv／ＳＡＴＤdv）が閾値ＴＨhよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、閾値ＴＨg，ＴＨh以下である場合、次のＰピクチャ（Ｐd2）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、パターンの判別では、上述したように他の判別方法、すなわち判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持するようにしてもよい。
【０１３５】
また、所定期間中に１度もディペンデントビューのトップフィールドおよびボトムフィールドのそれぞれで、先頭のアンカーピクチャ以外のピクチャの参照パターンが視差方向の参照ピクチャを含めたパターンとなっていない場合、現ピクチャで求めた特徴量をそれ以降のピクチャの視差有り特徴量ＳＡＴＤivとみなして、ピクチャタイプ別に保存する。
【０１３６】
その後、保存されている視差有り特徴量や現ピクチャで算出した特徴量、推定特徴量を用いて比較を行い、比較結果からディペンデントビューにおける次のピクチャの参照パターンを判別する。なお、トップフィールドとボトムフィールドを個別に判定する場合、例えば現ピクチャがトップフィールドのピクチャのときはトップフィールドの次のピクチャの判定が行われる。また、トップフィールドとボトムフィールドを区別しない場合、例えば現ピクチャがトップフィールドのピクチャのときは次のボトムフィールドのピクチャの判定が行われる。
【０１３７】
参照ピクチャリスト生成部３６は、現ピクチャが時間予測のみである場合、保存されている直近の視差有り特徴量ＳＡＴＤiveと現ピクチャで計算した特徴量ＳＡＴＤdvを比較する。参照ピクチャリスト生成部３６は、比較結果に基づき参照ピクチャを決定する。
【０１３８】
図２１は、現ピクチャが時間予測のみである場合を示す図である。なお、図２１および後述する図２２では、トップフィールドとボトムフィールドを個別に判定する場合を示している。
【０１３９】
特徴量の比較は、２つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値（ＳＡＴＤdv−ＳＡＴＤive）が閾値ＴＨiよりも大きい場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv／ＳＡＴＤive）が閾値ＴＨjよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判別値が閾値以下である場合、参照ピクチャリスト生成部３６は、次のＰピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。
【０１４０】
例えば、Ｐピクチャ（Ｐd2）の参照パターンが時間方向の参照ピクチャのみのパターンである場合、参照ピクチャリスト生成部３６は、保存されている直近の視差有り特徴量ＳＡＴＤiveとＰピクチャ（Ｐd2）で算出した特徴量ＳＡＴＤdvを比較する。参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv−ＳＡＴＤive）が閾値ＴＨiよりも大きい場合、Ｐピクチャ（Ｐd2）の次のＰピクチャ（Ｐd4）の参照パターンを、図２１の一点鎖線の矢印で示すように視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤdv／ＳＡＴＤive）が閾値ＴＨjよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判別値が閾値以下である場合、次のＰピクチャ（Ｐd4）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、ベースビューとディペンデントビューの特徴量から推定処理情報Ｐsc（Ｐsc＝ＳＡＴＤdv／ＳＡＴＤbv）を算出しておく。
【０１４１】
図２２は、現ピクチャが視差予測を含む場合を示す図である。特徴量生成部３５は、現ピクチャの参照パターンが視差方向の参照ピクチャを含むパターンである場合、推定特徴量ＳＡＴＤtmを算出する。推定特徴量ＳＡＴＤtmは、ベースビューの特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算することで算出する。さらに、参照ピクチャリスト生成部３６は、推定特徴量ＳＡＴＤtmと視差有り特徴量ＳＡＴＤivを比較して、比較結果に基づき参照パターンを設定する。
【０１４２】
特徴量の比較は、上述のように２つの特徴量の差分または比率を判別値として閾値と比較する。ここで、判別値（ＳＡＴＤtm−ＳＡＴＤiv）が閾値ＴＨkよりも大きい場合、参照ピクチャリスト生成部３６は、次のピクチャの参照パターンを引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤtm／ＳＡＴＤiv）が閾値ＴＨmよりも大きい場合も同様とする。さらに、判別値が閾値以下である場合、参照ピクチャリスト生成部３６は、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。
【０１４３】
例えば、Ｐピクチャ（Ｐd4）の参照パターンが視差方向の参照ピクチャを含むパターンである場合、特徴量生成部３５は、ベースビューのＰピクチャ（Ｐb4）の特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算して推定特徴量ＳＡＴＤtmを算出する。参照ピクチャリスト生成部３６は、算出した推定特徴量ＳＡＴＤtmとＰピクチャ（Ｐd4）で算出した視差有り特徴量ＳＡＴＤivを比較する。参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤtm−ＳＡＴＤiv）が閾値ＴＨkよりも大きい場合、次のＰピクチャ（Ｐd6）の参照パターンを、図２２の一点鎖線の矢印で示すように引き続き視差方向の参照ピクチャを含めたパターンとする。また、参照ピクチャリスト生成部３６は、判別値（ＳＡＴＤtm／ＳＡＴＤiv）が閾値ＴＨmよりも大きい場合も同様とする。さらに、参照ピクチャリスト生成部３６は、判定値が閾値以下である場合、次のＰピクチャ（Ｐd6）の参照パターンを、点線の矢印で示すように時間方向の参照ピクチャのみのパターンとする。また、現Ｐピクチャで算出された視差有り特徴量ＳＡＴＤ-ivを次のＰピクチャの視差有り特徴量とみなして保存する。
【０１４４】
以上の説明は、Ｂピクチャが含まれていない場合を説明したが、Ｂピクチャが含まれる場合、ＢピクチャにおいてもＰピクチャと同様の処理を行う。すなわち、参照ピクチャリスト生成部３６は、保存されている視差有り特徴量や現ピクチャで算出した特徴量、推定特徴量を用いて比較を行い、比較結果からディペンデントビューにおける次のピクチャの参照パターンを判別する。なお、図２３に、インタレース素材においてＢピクチャを含めてベースビューとディペンデントビューの参照ピクチャ数を等しくした場合の参照関係を例示している。なお、図２３では、ベースビューとディペンデントビューにおいて、Ｐピクチャにおける参照ピクチャ数を２枚、Ｂピクチャにおける参照ピクチャ数を４枚としている。
【０１４５】
ところで、視差有り特徴量ＳＡＴＤivは、ディペンデントビューにおけるＧＯＰ先頭のＰピクチャで少なくとも１回は更新される。しかし、視差方向の参照ピクチャを含めたパターンが続くと、時間方向の参照ピクチャのみのパターンを用いた参照パターンにおける特徴量ＳＡＴＤdvが算出されないため、推定処理情報Ｐscの更新されない期間は長くなってしまう。推定特徴量ＳＡＴＤtmは、上述のようにベースビューの特徴量ＳＡＴＤbvに推定処理情報Ｐscを乗算して算出していることから、推定処理情報Ｐscが更新されない期間が長くなることにより、推定特徴量ＳＡＴＤtmの信頼度が低くなる。したがって、参照ピクチャリスト生成部３６は、参照パターンの判定を適切に行うことができなくなってしまうおそれがある。
【０１４６】
そこで、参照ピクチャリスト生成部３６は、インタレース素材の場合でも、所定期間参照パターンが時間方向の参照ピクチャのみのパターンとされていない場合、次のピクチャの参照パターンを時間方向の参照ピクチャのみのパターンとする。このように、参照ピクチャリスト生成部３６は、参照パターンを時間方向の参照ピクチャのみのパターンとすることで、特徴量生成部３５で推定処理情報Ｐscの更新を行わせる。
【０１４７】
以上のように、インタレース素材の場合もプログレッシブ素材の場合と同様に処理を行うことで、符号化効率が高くなるように時間方向の参照ピクチャ、または視差方向を含めたピクチャがベースビューと同じ枚数だけ参照ピクチャとして選択できる。また、ベースビューとディペンデントビューで参照ピクチャの枚数が等しいことから、ベースビューとディペンデントビューの処理量を同等にできる。
【０１４８】
＜７．参照パターンの他の判定動作＞
上述の実施の形態では、特徴量としてＳＡＴＤを用いる場合について説明したが、特徴量は動き予測・補償部３２で算出されるＳＡＴＤに限られない。例えば、特徴量としてＳＡＤや、予測画像・最適モード選択部３３で得られる参照インデックスの割合、グローバル動きベクトル、レート制御部１８で得られるComplexity、カメラワーク(固定/パン/チルト/ズーム)や視差情報や奥行情報等を特徴量として用いることもできる。
【０１４９】
図２４は、特徴量として参照インデックスの割合を用いた場合の動作を示すフローチャートである。ステップＳＴ５１で参照ピクチャリスト生成部３６は、シーケンス先頭ピクチャであるか判別する。参照ピクチャリスト生成部３６は、ピクチャがシーケンス先頭である場合にステップＳＴ５２に進み、シーケンス先頭でない場合にステップＳＴ５３に進む。
【０１５０】
ステップＳＴ５２で参照ピクチャリスト生成部３６は、参照パターンの初期化を行う。参照ピクチャリスト生成部３６は、参照パターンを時間方向の参照ピクチャのみのパターンに初期化してステップＳＴ５３に進む。
【０１５１】
ステップＳＴ５３で参照ピクチャリスト生成部３６は、ＧＯＰ先頭ピクチャであるか判別する。参照ピクチャリスト生成部３６は、ピクチャがＧＯＰ先頭である場合にステップＳＴ５７に進み、ＧＯＰ先頭でない場合にステップＳＴ５４に進む。
【０１５２】
ステップＳＴ５４で参照ピクチャリスト生成部３６は、ＧＯＰ先頭の次のピクチャであるか判別する。参照ピクチャリスト生成部３６は、ピクチャがＧＯＰ先頭の次のピクチャでない場合にステップＳＴ５５に進み、ＧＯＰ先頭の次のピクチャである場合にステップＳＴ５６に進む。
【０１５３】
ステップＳＴ５５で参照ピクチャリスト生成部３６は、参照パターンは時間予測のみであるか判別する。参照ピクチャリスト生成部３６は、参照パターンが時間方向の参照ピクチャのみのパターンである場合にステップＳＴ５１に戻り、参照パターンが視差方向の参照ピクチャを含むパターンである場合にステップＳＴ５６に進む。
【０１５４】
ステップＳＴ５６で参照ピクチャリスト生成部３６は、参照パターンの判定を行う。参照ピクチャリスト生成部３６は、時間方向のおよび視差方向の参照インデックスの割合を比較して、比較結果に基づき、参照パターンを時間方向の参照パターンのみパターンまたは視差方向の参照パターンを含むパターンの何れであるか判定する。例えば時間方向に対する視差方向の参照インデックスの割合が閾値よりも大きい場合は視差方向の参照パターンを含むパターンと判別し、割合が閾値以下である場合は時間方向の参照パターンのみパターンと判定してステップＳＴ５１に戻る。
【０１５５】
ステップＳＴ５７で参照ピクチャリスト生成部３６は、所定ピクチャの参照パターン設定処理を行う。参照ピクチャリスト生成部３６は、所定ピクチャすなわちＧＯＰ先頭ピクチャを視差方向の参照パターンを含むパターンとしてステップＳＴ５１に戻る。
【０１５６】
このように、参照インデックスの割合を利用して判定する場合、常に時間予測と視差予測を利用できるピクチャ(ＧＯＰ先頭の次のピクチャ)において、時間予測を示す参照インデックスよりも視差予測を示す参照インデックスの割合が多い場合は、参照パターンを視差予測ありとする。それ以降のピクチャでも時間予測を示す参照インデックスと視差予測を示す参照インデックスを比較して、比較結果に基づき参照ピクチャリストを生成してもよい。画像符号化装置１０は、このようにして生成された参照ピクチャリストに基づいて画像符号化処理を行う。
【０１５７】
また、インタレース素材の場合、一般に同相および逆相の時間方向の参照ピクチャを参照できる。この条件下で参照パターンを視差予測ありにすると、同相/逆相の時間方向の参照ピクチャの中から１枚削らなければならない。つまり、参照パターンとして同相/視差または逆相/視差の何れかを選択する必要がある。どちらの時間方向の参照ピクチャを使用するかを判定する方法として、参照インデックスの割合やグローバル動きベクトル、カメラワークの情報利用できる。
【０１５８】
以下参照インデックスの割合を利用した方法を説明する。具体的には、ベースビューの参照インデックスの割合を利用する。ベースビューの参照ピクチャは同相/逆相なので、より多く予測に利用されているほうの参照ピクチャと同じ位相の参照ピクチャを参照ピクチャリストに含める。
【０１５９】
図２５は、参照インデックスの割合を用いて、視差と同相／逆相の何れの参照ピクチャを選択するか判定する動作を示すフローチャートである。
【０１６０】
ステップＳＴ６１で参照ピクチャリスト生成部３６は、参照パターンの判定を行う。参照ピクチャリスト生成部３６は、図２４と同様にして、参照インデックスの割合に応じて、参照パターンを判定してステップＳＴ６２に進む。
【０１６１】
ステップＳＴ６２で参照ピクチャリスト生成部３６は、参照パターンが視差有りであるか判別する。参照ピクチャリスト生成部３６は、参照パターンが視差方向の参照ピクチャを含むパターンと判定されている場合にステップＳＴ６３に進み、時間方向の参照ピクチャのみのパターンと判定されている場合に処理を終了する。
【０１６２】
ステップＳＴ６３で参照ピクチャリスト生成部３６は、ベースビューにおける参照インデックスの割合を算出する。参照ピクチャリスト生成部３６は、ベースビューの参照ピクチャリストにおける参照インデックスに基づき、同相すなわち同じフィールドのピクチャを参照している割合と逆相すなわち異なるフィールドのピクチャを参照している割合を算出してステップＳＴ６４に進む。
【０１６３】
ステップＳＴ６４で参照ピクチャリスト生成部３６は、同相の割合が大きいか判別する。参照ピクチャリスト生成部３６は、同相のピクチャを参照する割合が逆相のピクチャを参照する割合よりも大きい場合にステップＳＴ６５に進み、大きくない場合にステップＳＴ６６に進む。
【０１６４】
ステップＳＴ６５で参照ピクチャリスト生成部３６は、参照ピクチャリストに同相を含める。参照ピクチャリスト生成部３６は、視差予測を行う参照パターンにおいて、時間方向に参照するピクチャが同相のピクチャとなるように、参照ピクチャリストに同相のピクチャを含めて処理を終了する。
【０１６５】
ステップＳＴ６６で参照ピクチャリスト生成部３６は、参照ピクチャリストに逆相を含める。参照ピクチャリスト生成部３６は、視差予測を行う参照パターンにおいて、時間方向に参照するピクチャが逆相のピクチャとなるように、参照ピクチャリストに逆相のピクチャを含めて処理を終了する。
【０１６６】
なお、時間方向のみの参照パターンでは、同相と逆相のピクチャが参照ピクチャリストに含められる。
【０１６７】
このようにして、参照ピクチャリストを生成すれば、視差予測を含む参照パターンにおいて、ベースビューに基づき同相または逆相のピクチャが選択されて、参照ピクチャリストに含められることから、参照ピクチャを最適に選択できるようになり、符号化効率を改善できる。また、特徴量としてＳＡＤ値やＳＡＴＤ値を用いる場合、参照ピクチャリスト生成部３６は、同相と逆相の何れかＳＡＤ値やＳＡＴＤ値が小さいピクチャを選択すればよい。
【０１６８】
さらに、特徴量としてグローバル動きベクトルやカメラワークを用いることもできる。カメラが固定されている場合は背景が静止しているので、静止している部分の画像が一致する同相の参照ピクチャを参照ピクチャリストに含めたほうがよい。逆にカメラが常に動いているときは、時間的距離が近接している逆相のピクチャのほうが類似性が高いので、逆相のピクチャを参照ピクチャリストに含めたほうがよい。つまり、グローバル動きベクトルの値が「０」に近い値だったり、カメラワーク情報が固定の場合は参照パターンを同相/視差とする。それ以外(チルト/パン/ズームなど)は、参照パターンを逆相/視差とする。このようにグローバル動きベクトルやカメラワークを特徴量として用いることで、参照ピクチャを最適に選択できるようになる。
【０１６９】
さらに、本技術では、足りない特徴量は同時刻のベースビューの特徴量や過去のディペンデントビューの特徴量から推定した。しかし、足りない特徴量として未来の特徴量を利用してもよい。例えば、符号化対象ピクチャよりも未来のピクチャで簡易的に画像を縮小して動き予測を行ったときに計算される、縮小画像のＳＡＴＤなどを利用することも可能である。
【０１７０】
＜８．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０１７１】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１７２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７３】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７４】
＜９．応用例＞
本技術の画像処理装置を用いた上述の実施形態に係る画像符号化装置１０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信等における送信機、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１７５】
［第１の応用例］
図２６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置９４は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置９４は、音声データおよび映像データを復号する。
【０１７６】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）部９４８、制御部９４９、およびユーザインタフェース部９５０を備える。
【０１７７】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。すなわち、チューナ９４１は、記録再生装置９４における伝送手段としての役割を有する。
【０１７８】
外部インタフェース部９４２は、記録再生装置９４と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。すなわち、外部インタフェース部９４２は、記録再生装置９４における伝送手段としての役割を有する。
【０１７９】
エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１８０】
ＨＤＤ９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
【０１８１】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）またはＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像および音声の記録時には、チューナ９４１またはエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像および音声の再生時には、ＨＤＤ９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１８２】
デコーダ９４７は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ部９４８は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を重畳してもよい。
【０１８３】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４の動作を制御する。
【０１８４】
ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１８５】
このように構成された記録再生装置９４において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。それにより、記録再生装置９４で多視点のピクチャの符号化に際して、符号化効率が良好となるようにピクチャを選択して参照ピクチャリストを生成できる。
【０１８６】
［第２の応用例］
図２７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１８７】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０、ユーザインタフェース部９７１、およびバス９７２を備える。
【０１８８】
光学ブロック９６１は、フォーカスレンズおよび絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号をカメラ信号処理部９６３へ出力する。
【０１８９】
カメラ信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１９０】
画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１９１】
ＯＳＤ部９６９は、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１９２】
外部インタフェース部９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６にインストールされ得る。さらに、外部インタフェース部９６６は、ＬＡＮまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部９６６は、撮像装置９６における伝送手段としての役割を有する。
【０１９３】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０１９４】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６の動作を制御する。
【０１９５】
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１９６】
バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、および制御部９７０を相互に接続する。
【０１９７】
このように構成された撮像装置９６において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０の機能を有する。それにより、撮像装置９６で多視点のピクチャの符号化に際して、符号化効率が良好となるようにピクチャを選択して参照ピクチャリストを生成できる。
【０１９８】
なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１９９】
また、本技術は以下のような構成も取ることができる。
（１）  第１の視点のピクチャに対して、時間方向に相違する前記第１の視点のピクチャと、前記第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量を生成する特徴量生成部と、
前記第１の視点のピクチャに対する参照ピクチャを、前記特徴量に基づき前記参照ピクチャの候補から前記第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストを生成する参照ピクチャリスト生成部と
を備える画像符号化装置。
（２）  前記参照ピクチャリスト生成部は、前記第１の視点のピクチャがＧＯＰにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャであるときの特徴量に基づく判別値が閾値以下である場合、次のピクチャでは前記参照ピクチャリストに前記第２の視点の参照ピクチャを含める（１）に記載の画像符号化装置。
（３）  前記参照ピクチャリスト生成部は、前記第１の視点のピクチャがＧＯＰにおける先頭ピクチャであるときに得られている特徴量に基づく判別値と閾値との比較結果に基づき、参照ピクチャのパターンを更新または直前の参照ピクチャのパターンを維持する（１）記載の画像符号化装置。
（４）  前記参照ピクチャリスト生成部は、前記参照ピクチャリストに前記第２の視点の参照ピクチャを含めた場合、該第２の視点の参照ピクチャの含めた場合の特徴量を保持し、所定期間前記参照ピクチャリストが前記時間方向の参照ピクチャのみである場合、ＧＯＰにおける先頭フレームのピクチャまたはフィールド毎の先頭ピクチャで算出した特徴量で前記保持している特徴量を更新する（１）乃至（３）の何れかに記載の画像符号化装置。
（５）  前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストが前記時間方向のみの参照ピクチャである場合、当該ピクチャで算出した特徴量と前記保持されている特徴量を比較して、比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う（４）に記載の画像符号化装置。
（６）  前記参照ピクチャリスト生成部は、当該ピクチャの参照ピクチャリストに前記第２の視点の参照ピクチャを含む場合、前記時間方向の参照ピクチャのみの特徴量を推定して、推定特徴量と前記第２の視点の参照ピクチャを含む場合の特徴量の比較結果に基づき次のピクチャに対する参照ピクチャの選択を行う（１）乃至（５）の何れかに記載の画像符号化装置。
（７）  前記参照ピクチャリスト生成部は、前記第１の視点のピクチャに対する参照ピクチャリストが前記時間方向の参照ピクチャのみ場合の特徴量と前記第２の視点のピクチャに対する特徴量とを用いて推定処理情報を生成しておき、前記特徴量を推定する前記第１の視点のピクチャに対応する前記第２の視点のピクチャの特徴量と前記推定処理情報から前記推定特徴量を算出する（６）に記載の画像符号化装置。
（８）  前記参照ピクチャリスト生成部は、所定期間前記参照ピクチャリストが前記第２の視点の参照ピクチャを含む状態が継続した場合、前記参照ピクチャリストを前記時間方向の参照ピクチャのみとして前記推定処理情報の更新を行う（７）に記載の画像符号化装置。
（９）  前記参照ピクチャリスト生成部は、前記特徴量としてＳＡＴＤ値またはＳＡＤ値を用いる（１）乃至（８）の何れかに記載の画像符号化装置。
（１０）  前記参照ピクチャリスト生成部は、前記特徴量として参照インデックスの割合を用いる（１）に記載の画像符号化装置。
（１１）  前記第１と第２のピクチャは、インタレース素材であり、前記参照ピクチャリストが前記第２の視点の参照ピクチャを含む場合、前記特徴量に基づき前記時間方向の参照ピクチャから同相または逆相の参照ピクチャを選択する（１）乃至（１０）の何れかに記載の画像符号化装置。
【産業上の利用可能性】
【０２００】
この技術の画像符号化装置と画像符号化方法およびプログラムによれば、第１の視点のピクチャに対して、時間方向に相違する第１の視点のピクチャと、第１の視点と相違する第２の視点のピクチャを参照ピクチャの候補として、該参照ピクチャの候補毎にピクチャの相関を示す特徴量が算出される。また、第１の視点のピクチャに対する参照ピクチャを、特徴量に基づき参照ピクチャの候補から第２の視点のピクチャに対する参照ピクチャと等しい数だけ選択して参照ピクチャリストが生成される。このため、時間方向と視差方向の参照ピクチャの候補から符号化効率が良好となるようにピクチャを選択して第２の視点のピクチャと参照ピクチャ数の等しい参照ピクチャリストを生成できる。したがって、多視点画像の記録や編集等を行う電子機器に適している。
【符号の説明】
【０２０１】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１・・・逆量子化部、２２・・・逆直交変換部、２３・・・加算部、２４・・・デブロッキングフィルタ処理部、２５・・・フレームメモリ、２６・・・セレクタ、３１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、３５・・・特徴量生成部、３６・・・参照ピクチャリスト生成部、９４・・・記録再生装置、９６・・・撮像装置、３５１・・・特徴量更新部、３５２・・・特徴量記憶部、３５３・・・推定処理情報更新部、３５４・・・推定処理情報記憶部、３６１・・・参照パターン判定部、３６２・・・時間方向強制符号化判定部、３６３・・・参照ピクチャリスト記憶部
【図１】
2013038623.tif 000004
【図２】
2013038623.tif 000005
【図３】
2013038623.tif 000006
【図４】
2013038623.tif 000007
【図５】
2013038623.tif 000008
【図６】
2013038623.tif 000009
【図７】
2013038623.tif 000010
【図８】
2013038623.tif 000011
【図９】
2013038623.tif 000012
【図１０】
2013038623.tif 000013
【図１１】
2013038623.tif 000014
【図１２】
2013038623.tif 000015
【図１３】
2013038623.tif 000016
【図１４】
2013038623.tif 000017
【図１５】
2013038623.tif 000018
【図１６】
2013038623.tif 000019
【図１７】
2013038623.tif 000020
【図１８】
2013038623.tif 000021
【図１９】
2013038623.tif 000022
【図２０】
2013038623.tif 000023
【図２１】
2013038623.tif 000024
【図２２】
2013038623.tif 000025
【図２３】
2013038623.tif 000026
【図２４】
2013038623.tif 000027
【図２５】
2013038623.tif 000028
【図２６】
2013038623.tif 000029
【図２７】
2013038623.tif 000030