(57)【要約】【課題】画像の予測符号化の符号化効率を向上させる。【解決手段】水平処理部３１は、第１の画像、及び、第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行う。混合部３３は、水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成する。本発明は、例えば、3D画像を構成するL(Left)画像及びR(Right)画像等の、第１及び第２の画像を予測符号化する場合に適用できる。【選択図】図５
2011030184.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行う水平処理手段と、
前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成する混合手段と
を備える画像処理装置。
【請求項２】
前記水平処理後の第１及び第２の間引き画像それぞれの画素の垂直方向の配置を操作する垂直処理として、前記水平処理後の第１及び第２の間引き画像から、奇数ラインと偶数ラインとを分離し、前記奇数ラインのみを配置した画像と、前記偶数ラインのみを配置した画像とを含む複数の垂直処理後画像を生成する処理を行う垂直処理手段をさらに備え、
前記混合手段は、前記複数の垂直処理後画像を並べて配置することにより、前記混合画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記混合画像の予測符号化を行い、前記混合画像を予測符号化した符号化データを出力するエンコード手段と、
前記水平処理後の第１及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されているかどうかを表すセパレートフラグを生成するフラグ生成手段と、
前記符号化データと前記セパレートフラグとを伝送する伝送手段と
をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
前記垂直処理手段は、
前記水平処理後の第１の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第１の間引き画像の偶数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の偶数ラインのみを配置した画像と
の４つの画像を、前記複数の垂直処理後画像として生成し、
前記混合手段は、前記４つの画像を並べて配置することにより、前記混合画像を生成する
請求項２に記載の画像処理装置。
【請求項５】
前記混合画像の予測符号化を行い、前記混合画像を予測符号化した符号化データを出力するエンコード手段と、
前記４つの画像の配置パターンを表すアレンジパターンフラグを生成するフラグ生成手段と、
前記符号化データと前記アレンジパターンフラグとを伝送する伝送手段と
をさらに備える
請求項４に記載の画像処理装置。
【請求項６】
前記垂直処理手段は、
前記水平処理後の第１及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
前記水平処理後の第１及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
の２つの画像を、前記複数の垂直処理後画像として生成し、
前記混合手段は、前記複数の垂直処理後画像としての前記垂直処理後奇数ライン画像と、前記垂直処理後偶数ライン画像とを並べて配置することにより、前記混合画像を生成し、
前記混合画像は、インターレース方式の画像であるとして、予測符号化される
請求項２に記載の画像処理装置。
【請求項７】
前記第１及び第２の画像は、インターレース方式の画像であり、
前記第１の画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる第１の間引き奇数フィールド、及び、第１の間引き偶数フィールドを並べて配置した画像を構成し、前記第１の間引き画像として出力するとともに、
前記第２の画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる第２の間引き奇数フィールド、及び、第２の間引き偶数フィールドを並べて配置した画像を構成し、前記第２の間引き画像として出力する
前処理を行う前処理手段をさらに備える
請求項６に記載の画像処理装置。
【請求項８】
前記前処理手段は、
前記第１の間引き奇数フィールド、及び、第１の間引き偶数フィールドの奇数ラインのみを配置した第１の奇数ラインフィールドと、
前記第１の間引き奇数フィールド、及び、第１の間引き偶数フィールドの偶数ラインのみを配置した第１の偶数ラインフィールドと、
前記第２の間引き奇数フィールド、及び、第２の間引き偶数フィールドの奇数ラインのみを配置した第２の奇数ラインフィールドと、
前記第２の間引き奇数フィールド、及び、第２の間引き偶数フィールドの偶数ラインのみを配置した第２の偶数ラインフィールドと
を構成し、
前記第１の奇数ラインフィールドを、奇数フィールドとし、かつ、前記第１の偶数ラインフィールドを偶数フィールドとするフレームを構成することにより、前記第１の間引き奇数フィールド、及び、前記第１の間引き偶数フィールドを並べて配置した画像を構成するとともに、
前記第２の奇数ラインフィールドを、奇数フィールドとし、かつ、前記第２の偶数ラインフィールドを偶数フィールドとするフレームを構成することにより、前記第２の間引き奇数フィールド、及び、前記第２の間引き偶数フィールドを並べて配置した画像を構成する
請求項７に記載の画像処理装置。
【請求項９】
前記垂直処理手段は、
前記水平処理後の第１の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第１の間引き画像の偶数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の偶数ラインのみを配置した画像と
の４つの画像、又は、
前記水平処理後の第１及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
前記水平処理後の第１及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
の２つの画像を、前記複数の垂直処理後画像として生成し、
前記混合画像の予測符号化を行い、前記混合画像を予測符号化した符号化データを出力するエンコード手段と、
前記複数の垂直処理後画像における、前記水平処理後の第１及び第２の間引き画像の奇数ラインと偶数ラインとの配置を表すバーティカルパターンフラグを生成するフラグ生成手段と、
前記符号化データと前記バーティカルパターンフラグとを伝送する伝送手段と
をさらに備える
請求項２に記載の画像処理装置。
【請求項１０】
画像処理装置が、
第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、
前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成する
ステップを含む画像処理方法。
【請求項１１】
第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、
前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を予測符号化した符号化データをデコードすることにより得られる
前記混合画像を、前記水平処理後の第１及び第２の間引き画像に分離する分離手段と、
前記水平処理後の第１及び第２の間引き画像を、前記第１及び第２の間引き画像に戻す逆水平処理を行う逆水平処理手段と
を備える画像処理装置。
【請求項１２】
前記混合画像は、
前記水平処理後の第１及び第２の間引き画像それぞれの画素の垂直方向の配置を操作する垂直処理として、前記水平処理後の第１及び第２の間引き画像から、奇数ラインと偶数ラインとを分離し、前記奇数ラインのみを配置した画像と、前記偶数ラインのみを配置した画像とを含む複数の垂直処理後画像を生成する処理を行い、
前記複数の垂直処理後画像を並べて配置する
ことにより得られた画像であり、
前記分離手段は、前記混合画像を、前記複数の垂直処理後画像に分離し、
前記複数の垂直処理後画像を、前記水平処理後の第１及び第２の間引き画像に戻す逆垂直処理を行う逆垂直処理手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項１３】
前記符号化データと、前記水平処理後の第１及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されているかどうかを表すセパレートフラグとを受け取る受け取り手段をさらに備え、
前記セパレートフラグが、前記水平処理後の第１及び第２の間引き画像から、奇数ラインと偶数ラインとが分離されていることを表している場合、
前記逆垂直処理手段は、前記逆垂直処理を行う
請求項１２に記載の画像処理装置。
【請求項１４】
前記複数の垂直処理後画像は、
前記水平処理後の第１の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第１の間引き画像の偶数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の偶数ラインのみを配置した画像と
の４つの画像であり、
前記混合画像は、前記４つの画像を並べて配置した画像であり、
前記分離手段は、前記混合画像を、前記複数の垂直処理後画像である前記４つの画像に分離し、
前記逆垂直処理手段は、前記４つの画像を、前記水平処理後の第１及び第２の間引き画像に戻す
請求項１２に記載の画像処理装置。
【請求項１５】
前記符号化データと、前記４つの画像の配置パターンを表すアレンジパターンフラグとを受け取る受け取り手段をさらに備え、
前記分離手段は、前記アレンジパターンフラグに基づき、前記混合画像から、前記４つの画像を区別して分離する
請求項１４に記載の画像処理装置。
【請求項１６】
前記複数の垂直処理後画像は、
前記水平処理後の第１及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
前記水平処理後の第１及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
の２つの画像であり、
前記混合画像は、前記垂直処理後奇数ライン画像と、前記垂直処理後偶数ライン画像とを並べて配置した画像であり、
前記分離手段は、前記混合画像を、前記複数の垂直処理後画像である前記垂直処理後奇数ライン画像と、前記垂直処理後偶数ライン画像とに分離し、
前記逆垂直処理手段は、前記垂直処理後奇数ライン画像と、前記垂直処理後偶数ライン画像とを、前記水平処理後の第１及び第２の間引き画像に戻す
請求項１２に記載の画像処理装置。
【請求項１７】
前記第１及び第２の画像は、インターレース方式の画像であり、
前記第１の間引き画像は、前記第１の画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる第１の間引き奇数フィールド、及び、第１の間引き偶数フィールドを並べて配置した画像であり、
前記第２の間引き画像は、前記第２の画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる第２の間引き奇数フィールド、及び、第２の間引き偶数フィールドを並べて配置した画像であり、
前記逆水平処理によって得られる前記第１の間引き画像を、前記第１の間引き奇数フィールド、及び、前記第１の間引き偶数フィールドに戻すとともに、
前記逆水平処理によって得られる前記第２の間引き画像を、前記第２の間引き奇数フィールド、及び、前記第２の間引き偶数フィールドに戻す
後処理を行う後処理手段をさらに備える
請求項１６に記載の画像処理装置。
【請求項１８】
前記後処理手段は、
前記第１の間引き画像を、
前記第１の間引き奇数フィールド、及び、前記第１の間引き偶数フィールドの奇数ラインのみを配置した、前記第１の間引き画像の奇数フィールドになっている第１の奇数ラインフィールドと、
前記第１の間引き奇数フィールド、及び、前記第１の間引き偶数フィールドの偶数ラインのみを配置した、前記第１の間引き画像の偶数フィールドになっている第１の偶数ラインフィールドと
に分離するとともに、
前記第２の間引き画像を、
前記第２の間引き奇数フィールド、及び、前記第２の間引き偶数フィールドの奇数ラインのみを配置した、前記第２の間引き画像の奇数フィールドになっている第２の奇数ラインフィールドと、
前記第２の間引き奇数フィールド、及び、前記第２の間引き偶数フィールドの偶数ラインのみを配置した、前記第２の間引き画像の偶数フィールドになっている第２の偶数ラインフィールドと
に分離し、
前記第１の奇数ラインフィールド、及び、前記第１の偶数ラインフィールドを、前記第１の間引き奇数フィールド、及び、前記第１の間引き偶数フィールドに戻すとともに、
前記第２の奇数ラインフィールド、及び、前記第２の偶数ラインフィールドを、前記第２の間引き奇数フィールド、及び、前記第２の間引き偶数フィールドに戻す
請求項１７に記載の画像処理装置。
【請求項１９】
前記符号化データと、前記複数の垂直処理後画像における、前記水平処理後の第１及び第２の間引き画像の奇数ラインと偶数ラインとの配置を表すバーティカルパターンフラグとを受け取る受け取り手段をさらに備え、
前記複数の垂直処理後画像は、
前記水平処理後の第１の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第１の間引き画像の偶数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の奇数ラインのみを配置した画像と、
前記水平処理後の第２の間引き画像の偶数ラインのみを配置した画像と
の４つの画像、又は、
前記水平処理後の第１及び第２の間引き画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、
前記水平処理後の第１及び第２の間引き画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像と
の２つの画像であり、
前記分離手段は、前記バーティカルパターンフラグに基づいて、前記混合画像を、前記４つの画像、又は、前記２つの画像に分離し、
前記逆垂直処理手段は、前記バーティカルパターンフラグに基づいて、前記４つの画像、又は、前記２つの画像を、前記水平処理後の第１及び第２の間引き画像に戻す
請求項１４に記載の画像処理装置。
【請求項２０】
画像処理装置が、
第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、
前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を予測符号化した符号化データをデコードすることにより得られる
前記混合画像を、前記水平処理後の第１及び第２の間引き画像に分離し、
前記水平処理後の第１及び第２の間引き画像を、前記第１及び第２の間引き画像に戻す逆水平処理を行う
ステップを含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、及び、画像処理方法に関し、特に、例えば、画像の予測符号化の符号化効率を向上させることができるようにする画像処理装置、及び、画像処理方法に関する。
【背景技術】
【０００２】
近年、画像情報をディジタル信号として取り扱い、その際、効率の高い情報の送信、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG(Moving Picture Expert Group)などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
すなわち、例えば、MPEGや、H.26x等の、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償を採用する符号化方式によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルTV、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる符号化装置及び復号装置が普及しつつある。
【０００４】
例えば、MPEG2（ISO／IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像（インターレース方式の画像）及び順次走査画像（プログレッシブ方式の画像）の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、横×縦が、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまり、より高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO／IEC 14496-2としてその規格が国際標準に承認された。
【０００６】
さらに、近年、当初テレビ会議用の画像符号化を目的として、H.264(ITU-T Q6/16 VCEG)という標準の規格化が進んでいる。H.264は、MPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced−Compression Video Codingとして行われている。
【０００７】
Joint Video Team で標準化が行われている符号化方式（JVT Codec）については、符号化効率を、MPEG2やMPEG4等の既存技術よりも向上させるために、様々な改善が検討されている。例えば、離散コサイン変換では、４×４画素のブロックを対象として、整数の変換係数への変換が行われる。また、動き補償については、ブロックサイズが可変であり、最適な動き補償を行うことができるようになっている。但し、符号化の基本的なアルゴリズムは、MPEG2やMPEG4等の既存技術と同様である。
【０００８】
ところで、上述のような符号化の対象となる画像のコンテンツとしては、２次元画像（2D画像）のコンテンツの他、立体視が可能な立体視画像のコンテンツがある。
【０００９】
立体視画像の表示には、専用のデバイス（以下、立体視用デバイス）が用いられ、そのような立体視用デバイスとしては、例えば、NHK（日本放送協会）が開発したIP(Integral Photography)立体画像システムがある。
【００１０】
立体視画像の画像データは、複数の視点の画像データ（複数の視点から撮影された画像の画像データ）からなり、視点の数が多く、かつ、視点が広範囲にわたるほど、様々な方向から被写体を見ることができる、いわば「のぞけるテレビ」を実現することができる。
【００１１】
ここで、立体視画像の画像データ、すなわち、複数の視点の画像データの符号化と復号の方法については、例えば、特許文献１に記載されている。
【００１２】
立体視画像のうちの、視点の数が最も少ないのは、視点の数が２視点の3D(Dimensional)画像（ステレオ画像）であり、3D画像の画像データは、左眼で観察される画像である左眼画像（以下、L(Left)画像ともいう）の画像データと、右眼で観察される画像である右眼画像（以下、R(Right)画像ともいう）の画像データとからなる。
【００１３】
3D画像（ステレオ画像）は、上述のように、L画像とR画像とから構成されるため、１画面の3D画像の表示に、L画像とR画像との２画面分（2D画像を表示する場合の２画面分）の画像データが必要となる。
【００１４】
しかしながら、3D画像を送信する伝送路の伝送帯域や、3D画像を記録する記録媒体の記録容量、記録媒体への転送レートの制約等によっては、１画面の3D画像の表示のために、２画面分の画像データを伝送すること（記録媒体への記録を含む）が困難な場合がある。
【００１５】
そこで、3D画像を構成するL画像及びR画像それぞれを、空間方向にサブサンプリングする（間引く）ことで、１画面の3D画像の表示のための画像データを、１画面分の画像データに変換する処理を行ってから、画像データの符号化を行う符号化装置が提案されている。
【００１６】
図１は、3D画像を構成するL画像及びR画像（の画素）を間引く間引き方を説明する図である。
【００１７】
図１Ａは、L画像及びR画像を示す図である。
【００１８】
L画像及びR画像は、それぞれ、2D画像（２次元画像）の１画面分の画素を有する。
【００１９】
図１Ｂは、L画像及びR画像それぞれの画素を、垂直方向の１ラインおきに間引くことで、水平方向の空間解像度を、元の1/2にした画像を示している。
【００２０】
なお、垂直方向の１ラインおきの間引きでは、L画像及びR画像の、左から奇数番目、及び、偶数番目のうちのいずれの画素を間引いても良いし、L画像及びR画像のうちのL画像については、奇数番目、及び、偶数番目のうちの一方の画素を間引き、R画像については、他方の画素を間引いても良い。
【００２１】
図１Ｃは、L画像及びR画像それぞれの画素を、水平方向の１ラインおきに間引くことで、垂直方向の空間解像度を、元の1/2にした画像を示している。
【００２２】
なお、水平方向の１ラインおきの間引きでは、垂直方向の１ラインおきの間引きと同様に、L画像及びR画像の、上から奇数番目、及び、偶数番目のうちのいずれの画素を間引いても良いし、L画像及びR画像のうちのL画像については、奇数番目、及び、偶数番目のうちの一方の画素を間引き、R画像については、他方の画素を間引いても良い。
【００２３】
図１Ｄは、L画像及びR画像それぞれの画素を、斜め方向（左上がりの斜め方向、又は、右上がりの斜め方向）の１ラインおきに間引くことで、斜め方向の空間解像度を、元の1/2にした画像を示している。
【００２４】
図１Ｄの間引き後のL画像及びR画像は、画素の斜め方向の間引きによって、チェック模様状に画素が配置された画像になっている。
【００２５】
画素の斜め方向の間引きにおいて、L画像及びR画像のうちの一方の画像から間引く画素は、他方の画像から間引く画素と同一の位置の画素であっても良いし、他方の画像から間引く画素以外の画素（他方の画像の間引き後の画像において画素が残っている位置の画素）であっても良い。
【００２６】
図１Ｂないし図１Ｄのいずれの間引きによっても、間引き後のL画像及びR画像の画素数は、元の1/2となり、その結果、間引き後のL画像及びR画像の全体のデータ量（画素数）は、2D画像の１画面分の画像データのデータ量と等しくなる。
【００２７】
なお、画素を間引くにあたっては、その間引きによって、折り返し歪みが生じるのを防止するために、高域成分をカットするフィルタリングが必要となり、そのフィルタリングによって、間引き後のL画像及びR画像には、ぼけが生じる。
【００２８】
人間の視覚特性は、水平方向や垂直方向と比較して、斜め方向に鈍感であるため、画素の間引きを、斜め方向に行うことで、見た目のぼけを低減することができる。
【００２９】
図２は、L画像及びR画像それぞれの画素を、図１Ｄで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像を符号化する、従来の符号化装置の一例の構成を示すブロック図である。
【００３０】
図２の符号化装置において、フィルタ部１１には、例えば、動画像である3D画像（の画像データ）が、１画面単位で供給される。
【００３１】
すなわち、フィルタ部１１には、１画面の3D画像を構成するL画像及びR画像が供給される。
【００３２】
フィルタ部１１は、L画像、及び、R画像それぞれを間引いた間引きL画像、及び、間引きR画像において、折り返し歪みが生じるのを防止するために、L画像、及び、R画像の（斜め方向の空間周波数の）高域成分をカットするためのフィルタリングを行う。
【００３３】
すなわち、フィルタ部１１は、ローパスフィルタであるフィルタ１１Ｌ及び１１Ｒから構成される。
【００３４】
フィルタ１１Ｌは、フィルタ部１１に供給されるL画像をフィルタリングし、間引き部１２に供給する。フィルタ１１Ｒは、フィルタ部１１に供給されるR画像をフィルタリングし、間引き部１２に供給する。
【００３５】
間引き部１２は、フィルタ部１１から供給されるL画像の画素を、図１Ｄで説明したように、斜め方向の１ラインおきに間引くことで、フィルタ部１１からのL画像を、チェック模様状に画素が配置された間引きL画像に変換する。
【００３６】
さらに、間引き部１２は、フィルタ部１１から供給されるR画像についても、同様に、斜め方向の間引きを行うことで、フィルタ部１１からのR画像を、チェック模様状に画素が配置された間引きR画像に変換する。
【００３７】
すなわち、間引き部１２は、間引き部１２Ｌ及び１２Ｒから構成される。
【００３８】
間引き部１２Ｌは、フィルタ部１１から供給されるL画像の画素を、図１Ｄで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様（市松模様）状に画素が配置された間引きL画像を、混合部１３に供給する。
【００３９】
間引き部１２Ｒは、フィルタ部１１から供給されるR画像の画素を、図１Ｄで説明したように、斜め方向の１ラインおきに間引き、その結果得られる、チェック模様状に画素が配置された間引きR画像を、混合部１３に供給する。
【００４０】
なお、間引き部１２Ｒは、R画像から、例えば、間引き部１２Ｌが間引くL画像の画素以外の画素を間引くこととする。
【００４１】
したがって、間引きL画像（又は、間引きR画像）は、間引きR画像（又は、間引きL画像）において、画素がない位置に画素がある画像となる。
【００４２】
混合部１３は、間引き部１２から供給される間引きL画像と間引きR画像とを混合し、2D画像の１画面分の画像データのデータ量に等しい混合画像を生成して、エンコーダ１４に供給する。
【００４３】
エンコーダ１４は、混合部１３から供給される混合画像を、例えば、MPEG2方式や、H.264/AVC方式等で符号化し、その結果得られる符号化データを出力する。エンコーダ１４が出力する符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
【００４４】
図３は、図２の混合部１３での間引きL画像と間引きR画像との混合を説明する図である。
【００４５】
図３Ａは、混合部１３での混合の対象となる間引きL画像、及び、間引きR画像を示している。
【００４６】
間引きL画像、及び、間引きR画像は、（間引き後に残っている）画素が、チェック模様状に配置された画像になっている。
【００４７】
すなわち、間引きL画像を構成する、左からx番目で、上からy番目の画素（の画素値）を、Lx,yと表すとともに、間引きR画像を構成する、左からx番目で、上からy番目の画素を、Rx,yと表すこととする。
【００４８】
また、AをBで除算した余りがCであることを、式mod(A,B)=Cで表すこととする。
【００４９】
間引きL画像は、例えば、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに（又は、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに）、画素Lx,yが配置された画像になっている。
【００５０】
また、間引きR画像は、例えば、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに（又は、mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに）、画素Rx,yが配置された画像になっている。
【００５１】
図３Ｂは、図２の混合部１３において、間引きL画像と間引きR画像とを混合して得られる混合画像を示している。
【００５２】
混合部１３は、例えば、間引きL画像に対して、間引きL画像の画素Lx,yが配置されていない位置に、間引きR画像の画素Rx,yを、いわばはめ込むように配置することで、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像を生成する。
【００５３】
すなわち、混合部１３は、例えば、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とに、間引きL画像の画素Lx,yを配置するとともに、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とに、間引きR画像の画素Rx,yを配置することで、2D画像の１画面分の画像データのデータ量に等しい混合画像を生成する。
【００５４】
したがって、混合画像の位置(x,y)の画素（の画素値）を、Cx,yと表すこととすると、画素Cx,yは、式mod(x,2)=mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=mod(y,2)=1を満たす位置(x,y)とでは、間引きL画像の画素Lx,yに等しい(Cx,y=Lx,y)。
【００５５】
また、画素Cx,yは、式mod(x,2)=1かつ式mod(y,2)=0を満たす位置(x,y)と、式mod(x,2)=0かつ式mod(y,2)=1を満たす位置(x,y)とでは、間引きR画像の画素Rx,yに等しい(Cx,y=Rx,y)。
【００５６】
図４は、図２の符号化装置が出力する符号化データを復号する、従来の復号装置の一例の構成を示すブロック図である。
【００５７】
図４の復号装置において、デコーダ２１には、符号化装置が出力する符号化データが供給される。
【００５８】
デコーダ２１は、図２のエンコーダ３４が符号化を行う方式に対応する方式で復号を行う。
【００５９】
すなわち、デコーダ２１は、そこに供給される符号化データを、例えば、MPEG2方式や、H.264/AVC方式等で復号し、その結果得られる混合画像を、3D表示装置２２に供給する。
【００６０】
3D表示装置２２は、図３Ｂに示した、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像の3D表示（3D画像として表示すること）に対応した立体視用デバイスであり、デコーダ２１からの混合画像に応じて、例えば、L画像、及び、R画像を表示することにより、3D画像を表示する。
【先行技術文献】
【特許文献】
【００６１】
【特許文献１】特開2008-182669号公報
【発明の概要】
【発明が解決しようとする課題】
【００６２】
間引きL画像と、間引きR画像とは、視差がある画像であり、図２の符号化装置の混合部１３で得られる混合画像は、そのような間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された画像である。
【００６３】
このため、あるシーンの１画面の3D画像（１画面のL画像、及び、１画面のR画像）から得られる混合画像は、そのシーンと同一のシーンの2D画像（あるいは、その3D画像を構成するL画像、又は、R画像）と比較して、データ量（画素数）は同一になっているが、画像の時間方向や空間方向の相関が、著しく低い画像となる。
【００６４】
具体的には、例えば、3D画像に、垂直方向や水平方向等のある方向に連続的に（滑らかに）延びるエッジが写っている場合には、視差がある間引きL画像と間引きR画像とを、図３で説明したように混合した混合画像では、3D画像に写る連続的なエッジは、不連続なエッジとして現れる。
【００６５】
その結果、混合画像では、空間方向の相関（１画面の混合画像のある画素と、その画素の周辺の画素との相関（特に、間引きL画像の画素と、その画素に近接する、間引きR画像の画素との相関））が低くなる。
【００６６】
また、例えば、3D画像に、一定の速度で動いている物体（動体）が写っている場合には、視差がある間引きL画像と間引きR画像とを、図３で説明したように混合した混合画像では、3D画像に写る物体の一定の速度の動きが、画素によって異なる動きとして現れる。
【００６７】
その結果、混合画像では、時間方向の相関（ある画面と、その画面の直前、又は、直後の画面との相関）が低くなる。
【００６８】
以上のように、混合画像の空間方向や時間方向の相関が低いため、図２の符号化装置のエンコーダ１４において、例えば、MPEG2方式や、H.264/AVC方式の符号化等の、画像の時間方向や空間方向の相関を利用して、画像を符号化する予測符号化（例えば、画像の符号化の対象の部分について、その部分に時間的又は空間的に近い部分を予測値として、符号化の対象の部分と予測値との差分を符号化すること）が行われる場合には、混合画像の予測符号化の符号化効率が劣化する。
【００６９】
このような符号化効率の劣化は、3D画像を構成するL画像及びR画像を予測符号化する場合だけでなく、異なる任意の２つの画像から、混合画像を生成して予測符号化を行う場合にも生じる。
【００７０】
本発明は、このような状況に鑑みてなされたものであり、画像の予測符号化の符号化効率を向上させることができるようにするものである。
【課題を解決するための手段】
【００７１】
本発明の第１の側面の画像処理装置は、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行う水平処理手段と、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成する混合手段とを備える画像処理装置である。
【００７２】
本発明の第１の側面の画像処理方法は、画像処理装置が、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を、予測符号化の対象となる画像として生成するステップを含む画像処理方法である。
【００７３】
本発明の第１の側面においては、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めが行われる。そして、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像が、予測符号化の対象となる画像として生成される。
【００７４】
本発明の第２の側面の画像処理装置は、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を予測符号化した符号化データをデコードすることにより得られる前記混合画像を、前記水平処理後の第１及び第２の間引き画像に分離する分離手段と、前記水平処理後の第１及び第２の間引き画像を、前記第１及び第２の間引き画像に戻す逆水平処理を行う逆水平処理手段とを備える画像処理装置である。
【００７５】
本発明の第２の側面の画像処理方法は、画像処理装置が、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を予測符号化した符号化データをデコードすることにより得られる前記混合画像を、前記水平処理後の第１及び第２の間引き画像に分離し、前記水平処理後の第１及び第２の間引き画像を、前記第１及び第２の間引き画像に戻す逆水平処理を行うステップを含む画像処理方法である。
【００７６】
本発明の第２の側面においては、第１の画像、及び、前記第１の画像とは異なる第２の画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された第１の間引き画像、及び、第２の間引き画像それぞれの画素の水平方向の配置を操作する水平処理として、第１及び第２の間引き画像の画素を、水平方向に詰める横詰めを行い、前記水平処理後の第１及び第２の間引き画像を並べて配置することにより混合した混合画像を予測符号化した符号化データをデコードすることにより得られる前記混合画像が、前記水平処理後の第１及び第２の間引き画像に分離される。そして、前記水平処理後の第１及び第２の間引き画像を、前記第１及び第２の間引き画像に戻す逆水平処理が行われる。
【００７７】
なお、第１及び第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【００７８】
また、第１及び第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
【００７９】
さらに、第１の画像処理装置で得られる混合画像を予測符号化した符号化データ、並びに、第１及び第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して送信することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００８０】
本発明の第１及び第２の側面によれば、画像の予測符号化の符号化効率を向上させることができる。
【図面の簡単な説明】
【００８１】
【図１】3D画像を構成するL画像及びR画像を間引く間引き方を説明する図である。
【図２】従来の符号化装置の一例の構成を示すブロック図である。
【図３】混合部１３での間引きL画像と間引きR画像との混合を説明する図である。
【図４】従来の復号装置の一例の構成を示すブロック図である。
【図５】本発明を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【図６】デコーダ３４の構成例を示すブロック図である。
【図７】符号化装置の処理を説明するフローチャートである。
【図８】水平処理部３１が行う水平処理を説明する図である。
【図９】セパレートフラグが、非分離を表している場合の、符号化装置の処理を説明する図である。
【図１０】垂直処理部３２で行われる垂直処理を説明する図である。
【図１１】混合部３３で行われる混合処理を説明する図である。
【図１２】垂直処理部３２で行われる垂直処理を説明する図である。
【図１３】混合部３３で行われる混合処理を説明する図である。
【図１４】セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを説明する図である。
【図１５】セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従って行われる垂直処理、及び、混合処理の詳細を説明するフローチャートである。
【図１６】本発明を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【図１７】デコーダ６１の構成例を示すブロック図である。
【図１８】復号装置の処理を説明するフローチャートである。
【図１９】本発明を適用した符号化装置の他の一実施の形態の構成例を示すブロック図である。
【図２０】合成装置１０２の構成例を示すブロック図である。
【図２１】合成装置１０２の処理を説明する図である。
【図２２】L画像及びR画像が、インターレース方式の画像である場合の、フィルタ部１２１、及び、間引き部１２２の処理を説明する図である。
【図２３】L画像及びR画像が、インターレース方式の画像であり、かつ、前処理が行われない場合の、水平処理の対象となる間引きL画像、及び、間引きR画像のフレームを示す図である。
【図２４】水平処理と垂直処理を説明する図である。
【図２５】前処理を説明する図である。
【図２６】インターリーブ混合処理である水平処理、垂直処理、及び、混合処理を説明する図である。
【図２７】第２方式の前処理を説明する図である。
【図２８】Lフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する方法を説明する図である。
【図２９】第１方式の前処理を説明するフローチャートである。
【図３０】第２方式の前処理を説明するフローチャートである。
【図３１】本発明を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
【図３２】3D画像構成装置１４１の構成例を示すブロック図である。
【図３３】第１方式の後処理を説明するフローチャートである。
【図３４】第２方式の後処理を説明するフローチャートである。
【図３５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００８２】
＜第１実施の形態＞
【００８３】
［符号化装置の一実施の形態］
【００８４】
図５は、本発明の画像処理装置を適用した符号化装置の一実施の形態の構成例を示すブロック図である。
【００８５】
図５において、図２の符号化装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【００８６】
すなわち、図５の符号化装置は、フィルタ部１１、及び、間引き部１２を有する点で、図２の場合と共通する。
【００８７】
但し、図５の符号化装置は、水平処理部３１、垂直処理部３２、及び、制御部３５を有する点で、図２の場合と相違する。さらに、図５の符号化装置は、混合部１３、及び、エンコーダ１４に代えて、それぞれ、混合部３３、及び、エンコーダ３４を有する点でも、図２の場合と相違する。
【００８８】
水平処理部３１には、間引き部１２から、L画像、及び、R画像それぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像が供給される。
【００８９】
すなわち、図５の符号化装置では、フィルタ部１１及び間引き部１２において、3D画像を構成するL画像、及び、R画像が、図２の場合と同様に処理され、その結果得られる間引きL画像、及び、間引きR画像（第１の間引き画像、及び、第２の間引き画像）が、水平処理部３１に供給される。
【００９０】
なお、ここでは、3D画像を構成するL画像、及び、R画像の２つの画像を、符号化装置での処理の対象とするが、符号化装置での処理の対象は、L画像、及び、R画像に限定されるものではない。
【００９１】
すなわち、符号化装置では、3D画像を構成するL画像、及び、R画像以外の、視差のある２つの画像、具体的には、例えば、ある被写体を、ある位置Aから撮影した画像と、被写体を始点として、位置Aを通る半直線上の位置以外の任意の位置から撮影した画像との２つの画像を、処理の対象とすることができる。
【００９２】
また、符号化装置では、任意の第１の画像と、第１の画像とは異なる第２の画像、具体的には、例えば、ある動画像の奇数番目のフレームと偶数番目のフレームとの２つの画像や、任意の２つの動画像の先頭から同一番目のフレーム等を、処理の対象とすることができる。
【００９３】
水平処理部３１は、間引き部１２からの間引きL画像、及び、間引きR画像それぞれの画素の水平方向の配置を操作する水平処理として、間引きL画像、及び、間引きR画像の画素を、水平方向に詰める横詰めを行う。
【００９４】
すなわち、水平処理部３１は、水平処理部３１Ｌ及び３１Ｒから構成される。
【００９５】
水平処理部３１Ｌは、間引き部１２からの間引きL画像に、水平処理を施し、その結果得られる画像（以下、水平処理後L画像ともいう）を、垂直処理部３２に供給する。
【００９６】
すなわち、間引きL画像は、チェック模様状に画素が配置された画像であるから、画素が、同一サイズの2D画像と比較して、いわば隙間を空けて配置されている。
【００９７】
水平処理部３１Ｌは、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像を、水平処理後L画像として生成する。
【００９８】
水平処理部３１Ｒは、水平処理部３１Ｌと同様に、間引き部１２からの間引きR画像に、水平処理を施し、その結果得られる画像（以下、水平処理後R画像ともいう）を、垂直処理部３２に供給する。
【００９９】
垂直処理部３２は、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像（水平処理後の第１の間引き画像、及び、水平処理後の第２の間引き画像）それぞれの画素の垂直方向の配置を操作する垂直処理として、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離し、奇数ラインのみを配置した画像と、偶数ラインのみを配置した画像とを含む複数の垂直処理後画像を生成する処理を行う。
【０１００】
すなわち、垂直処理部３２は、分離部３２Ｌ及び３２Ｒから構成される。
【０１０１】
分離部３２Ｌは、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離する。
【０１０２】
分離部３２Ｒは、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
【０１０３】
ここで、垂直処理部３２には、水平処理部３１から、水平処理後L画像、及び、水平処理後R画像が供給される他、後述する制御部３５から、セパレート(Separate)フラグ、及び、バーティカルパターン(Vertical_pattern)フラグが供給される。
【０１０４】
セパレートフラグは、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離するかどうかを表す（水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとが分離されているかどうかを表す）フラグである。
【０１０５】
また、バーティカルパターンフラグは、垂直処理部３２で得られる複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置を表すフラグである。
【０１０６】
垂直処理部３２は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合には、制御部３５からのバーティカルパターンフラグによらず、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
【０１０７】
したがって、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合、垂直処理部３２では、垂直処理は行われず、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像が、そのまま、複数の垂直処理後画像として、混合部３３に供給される。
【０１０８】
また、垂直処理部３２は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離することを表している場合には、分離部３２Ｌに、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離させるとともに、分離部３２Ｒに、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離させる。
【０１０９】
そして、垂直処理部３２は、制御部３５からのバーティカルパターンフラグに従い、水平処理後L画像の奇数ラインのみを配置した画像と、水平処理後L画像の偶数ラインのみを配置した画像と、水平処理後R画像の奇数ラインのみを配置した画像と、水平処理後R画像の偶数ラインのみを配置した画像との４つの画像、又は、水平処理後L画像、及び、水平処理後R画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、水平処理後L画像、及び、水平処理後R画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成し、混合部３３に供給する。
【０１１０】
ここで、以下、水平処理後L画像の奇数ラインのみを配置した画像を、奇数ラインL画像ともいい、水平処理後L画像の偶数ラインのみを配置した画像を、偶数ラインL画像ともいう。また、水平処理後R画像の奇数ラインのみを配置した画像を、奇数ラインR画像ともいい、水平処理後R画像の偶数ラインのみを配置した画像を、偶数ラインR画像ともいう。
【０１１１】
混合部３３には、垂直処理部３２から、複数の垂直処理後画像が供給される他、制御部３５から、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターン(Arrange_pattern)フラグが供給される。
【０１１２】
ここで、アレンジパターンフラグは、複数の垂直処理後画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像である場合に、その４つの画像を配置して混合画像とするときの、その４つの画像の配置パターンを表すフラグである。
【０１１３】
混合部３３は、制御部３５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像（１画面のL画像、又は、R画像と同一のデータ量の、１画面分の画像）を生成し、後段のエンコーダ３４での予測符号化の対象となる画像として出力する。
【０１１４】
ここで、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないことを表している場合、上述したように、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
【０１１５】
この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
【０１１６】
また、混合部３３は、制御部３５からのセパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離することを表している場合、制御部３５からのバーティカルパターンフラグを参照することにより、垂直処理部３２から、複数の垂直処理後画像として供給される画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像であるのか、又は、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像であるのかを認識する。
【０１１７】
そして、垂直処理部３２から、混合部３３に対して、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像が、複数の垂直処理後画像として供給される場合には、混合部３３は、その複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
【０１１８】
また、垂直処理部３２から、混合部３３に対して、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、複数の垂直処理後画像として供給される場合には、混合部３３は、その複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、制御部３５からのアレンジパターンフラグが表す配置パターンの配置に並べることで、混合画像を生成する。
【０１１９】
エンコーダ３４には、混合部３３が出力する混合画像と、制御部３５が出力するセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとが供給される。
【０１２０】
エンコーダ３４は、混合部３３が出力する混合画像を、例えば、MPEG2方式や、H.264/AVC方式等に従って予測符号化し、その予測符号化の結果得られる符号化データに、制御部３５が出力するセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを多重化すること等によって含める。
【０１２１】
エンコーダ３４で得られる、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを含む符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
【０１２２】
制御部３５は、オペレータ（ユーザ）の操作等に従って、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを設定し、混合部３３、及び、エンコーダ３４に供給する。さらに、制御部３５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部３２に供給する。
【０１２３】
なお、エンコーダ３４において、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグは、符号化データの、例えば、システムレイヤやピクチャレイヤのヘッダ等に含めることができる。具体的には、例えば、エンコーダ３４において、例えば、AVC/H.264方式で符号化が行われる場合には、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグは、例えば、ユーザデータであるSEI (Supplemental Enhancement Information) に含めることができる。但し、エンコーダ３４は、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを、各種の方法で伝送することができる。すなわち、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとの伝送とは、上述のように、符号化データの中のSEI等のシンタクスとして、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを記述して、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを送信することの他、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを、記録媒体に記録することや、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを
別個に送信すること等を含む。
【０１２４】
ここで、図５の符号化装置では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの３つのフラグを用意し、その３つのフラグの設定によって、画素の配置が様々なパターンの混合画像を生成することができるようにしているが、符号化装置で生成する混合画像は、画素の配置が特定の１パターンの画像とすることができる。
【０１２５】
すなわち、図５の符号化装置では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが、ある特定の値に設定されている場合に得られる、画素の配置が特定のパターンの混合画像を生成することができる。
【０１２６】
この場合、符号化データには、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに代えて、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ従来と同様の画像（図３Ｂ）となっているのか、又は、画素の配置が特定のパターンの画像になっているのかを表すフラグを含めることで、符号化データをデコードする復号装置において、デコードの結果得られる混合画像が、その２つの画像のうちのいずれであるのかを認識することができる。
【０１２７】
［エンコーダ３４の構成例］
【０１２８】
図６は、図５のエンコーダ３４の構成例を示すブロック図である。
【０１２９】
エンコーダ３４は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置である。
【０１３０】
符号化対象の画像データは、A／D(Analog/Digital)変換部４１に供給される。
【０１３１】
ここで、本実施の形態では、A／D変換部４１に供給される符号化対象の画像データは、混合部３３（図５）で生成される混合画像の画像データである。
【０１３２】
A／D変換部４１は、そこに供給される画像データがアナログ信号の画像データ（信号）である場合に、その画像データをA/D変換することで、ディジタル信号の画像データに変換し、画面並べ替えバッファ４２に供給する。
【０１３３】
画面並べ替えバッファ４２は、A/D変換部４１からの画像データを一時記憶し、必要に応じて読み出すことで、エンコーダ３４の出力である符号化データのGOP(Group of Pictures)構造に応じて、画像データのピクチャ（フレーム）（フィールド）を符号化順に並べ替える並べ替えを行う。
【０１３４】
画面並べ替えバッファ４２から読み出されたピクチャのうちの、イントラ符号が行われるイントラピクチャは、演算部４３に供給される。
【０１３５】
演算部４３は、画面並べ替えバッファ４２から供給されるイントラピクチャの画素値から、必要に応じて、イントラ予測部５４から供給される予測画像の画素値を減算し、直交変換部４４に供給する。
【０１３６】
直交変換部４４は、イントラピクチャ（の画素値、又は、予測画像が減算された減算値）に対して、離散コサイン変換や、カルーネン・レーベ変換等の直交変換を施し、その結果得られる変換係数を、量子化部４５に供給する。
【０１３７】
量子化部４５は、直交変換部４４からの変換係数を量子化し、その結果得られる量子化値を、可逆符号化部４６に供給する。
【０１３８】
可逆符号化部４６は、量子化部４５からの量子化値に対して、可変長符号化や、算術符号化等の可逆符号化を施し、その結果得られる符号化データを、蓄積バッファ４７に供給する。
【０１３９】
蓄積バッファ４７は、可逆符号化部４６からの符号化データを一時記憶し、所定のレートで出力する。
【０１４０】
レート制御部４８は、蓄積バッファ４７の符号化データの蓄積量を監視しており、その蓄積量に基づき、量子化部４５の量子化ステップ等の、量子化部４５の挙動を制御する。
【０１４１】
量子化部４５で得られる量子化値は、可逆符号化部４６に供給される他、逆量子化部４９にも供給される。逆量子化部４９は、量子化部４５からの量子化値を、変換係数に逆量子化し、逆直交変換部５０に供給する。
【０１４２】
逆直交変換部５０は、逆量子化部４９からの変換係数を逆直交変換し、演算部５１に供給する。
【０１４３】
演算部５１は、逆直交変換部５０から供給されるデータに対して、必要に応じて、イントラ予測部５４から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得て、デブロックフィルタ５２に供給する。
【０１４４】
デブロックフィルタ５２は、演算器５１からの復号画像に対して、ブロック歪み等を低減するためのフィルタリング処理を施し、フレームメモリ５３に供給する。
【０１４５】
フレームメモリ５３は、演算部５１からデブロックフィルタ５２を介して供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部５４や動き予測／動き補償部５５に供給する。
【０１４６】
イントラ予測部５４は、イントラピクチャの中で、演算部４３で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ５３に記憶されている画素から予測画像を生成し、演算部４３及び５１に供給する。
【０１４７】
イントラ符号化が行われるピクチャについて、上述したようにして、イントラ予測部５４から演算部４３に予測画像が供給される場合、演算部４３では、画像並べ替えバッファ４２から供給されるピクチャから、イントラ予測部５４から供給される予測画像が減算される。
【０１４８】
また、演算部５１では、演算部４３で減算された予測画像が、逆直交変換部５０から供給されるデータに加算される。
【０１４９】
一方、インター符号化が行われるノンイントラピクチャは、画像並べ替えバッファ４２から、演算部４３、及び、動き予測／動き補償部５５に供給される。
【０１５０】
動き予測／動き補償部５５は、フレームメモリ５３から、画像並べ替えバッファ４２からのノンイントラピクチャの動き予測に際して参照する復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部５５は、フレームメモリ５３からの参照画像を用いて、画像並べ替えバッファ４２からのノンイントラピクチャについて、動きベクトルを検出する。
【０１５１】
そして、動き予測／動き補償部５５は、動きベクトルに従い、参照画像に動き補償を施すことで、ノンイントラピクチャの予測画像を生成し、演算部４３及び５１に供給する。
【０１５２】
演算部４３では、画像並べ替えバッファ４２から供給されるノンイントラピクチャから、イントラ予測部５４から供給される予測画像が減算され、以下、イントラピクチャの場合と同様にして、符号化が行われる。
【０１５３】
なお、イントラ予測部５４が予測画像を生成するモードを表すイントラ予測モードは、イントラ予測部５４から可逆符号化部４６に供給される。また、動き予測／動き補償部５５で得られる動きベクトル、及び、動き予測／動き補償部５５が動き補償を行うモードを表す動き補償予測モードは、動き予測／動き補償部５５から可逆符号化部４６に供給される。
【０１５４】
さらに、制御部３５（図５）からエンコーダ３４に供給されるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグも、可逆符号化部４６に供給される。
【０１５５】
可逆符号化部４６では、イントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、復号に必要な情報が可逆符号化され、符号化データのヘッダに含められる。
【０１５６】
さらに、可逆符号化部４６では、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが、符号化データに多重化することで含められる。
【０１５７】
［符号化装置の処理］
【０１５８】
図７は、図５の符号化装置の処理（符号化処理としての画像処理）を説明するフローチャートである。
【０１５９】
ステップＳ１１において、制御部３５は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを設定し、混合部３３、及び、エンコーダ３４に供給する。さらに、制御部３５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部３２に供給して、処理は、ステップＳ１１からステップＳ１２に進む。
【０１６０】
ステップＳ１２では、フィルタ部１１は、そこに１画面の3D画像を構成するL画像及びR画像が供給されるのを待って、そのL画像及びR画像を受信する。そして、フィルタ部１１は、L画像及びR画像それぞれをフィルタリングし、間引き部１２に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
【０１６１】
ステップＳ１３では、間引き部１２は、フィルタ部１１から供給されるL画像及びR画像それぞれから、画素を間引き、その結果得られる、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像を、水平処理部３１に供給する。
【０１６２】
その後、処理は、ステップＳ１３からステップＳ１４に進み、水平処理部３１は、間引き部１２からの間引きL画像、及び、間引きR画像それぞれに、水平処理を施す。
【０１６３】
そして、水平処理部３１は、水平処理の結果得られる水平処理後L画像、及び、水平処理後R画像を、垂直処理部３２に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
【０１６４】
ステップＳ１５では、垂直処理部３２は、制御部３５から供給されるセパレートフラグ、及び、バーティカルパターンフラグに従い、水平処理部３１からの水平処理後L画像、及び、水平処理後R画像に、垂直処理を施すことで、複数の垂直処理後画像を生成する。
【０１６５】
そして、垂直処理部３２は、複数の垂直処理後画像を、混合部３３に供給し、処理は、ステップＳ１５からステップＳ１６に進む。
【０１６６】
ステップＳ１６では、混合部３３は、制御部３５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像を生成する混合処理を行う。
【０１６７】
さらに、混合部３３は、混合画像を、エンコーダ３４に供給して、処理は、ステップＳ１６からステップＳ１７に進む。
【０１６８】
ステップＳ１７では、エンコーダ３４は、混合部３３が出力する混合画像を、符号化対象として、例えば、MPEG2方式や、H.264/AVC方式等に従って予測符号化（エンコード）する。
【０１６９】
さらに、エンコーダ３４は、予測符号化の結果得られた符号化データに、制御部３５から供給されるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを含めて出力する。
【０１７０】
エンコーダ３４が出力する符号化データは、伝送媒体を介して送信され、又は、記録媒体に記録される。
【０１７１】
なお、ステップＳ１１ないしＳ１７の処理は、3D画像の各画面を構成するL画像及びR画像を対象に行われる。
【０１７２】
但し、ステップＳ１１での、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの設定は、例えば、ある１つの動画のコンテンツとしての3D画像の最初の画面についてだけ行うことができる。この場合、最初の画面について設定されたセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従った処理が、コンテンツとしての3D画像のすべての画面に施される。
【０１７３】
［水平処理］
【０１７４】
図８は、図５の水平処理部３１が行う水平処理を説明する図である。
【０１７５】
上述したように、水平処理部３１は、画素の水平方向の配置を操作する水平処理として、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像の画素を、水平方向に詰める横詰めを行う。
【０１７６】
図８Ａは、間引きL画像に対する水平処理を示している。
【０１７７】
なお、図８において、LOは、間引きL画像（ひいては、L画像）の奇数ライン（上から奇数(odd)番目の水平ライン）の画素を表し、LEは、間引きL画像の偶数ライン（上から偶数(even)番目の水平ライン）の画素を表す。以降の図においても、同様である。
【０１７８】
間引きL画像では、チェック模様状に画素が配置されており、画素が、同一サイズの2D画像と比較して、隙間を空けて配置されている。
【０１７９】
間引きL画像に対する水平処理では、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすること、すなわち、図８Ａでは、左方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像が、水平処理後L画像として生成される。
【０１８０】
図８Ｂは、間引きR画像に対する水平処理を示している。
【０１８１】
なお、図８において、ROは、間引きR画像（ひいては、R画像）の奇数ラインの画素を表し、REは、間引きR画像の偶数ラインの画素を表す。以降の図においても、同様である。
【０１８２】
間引きR画像では、チェック模様状に画素が配置されており、画素が、同一サイズの2D画像と比較して、隙間を空けて配置されている。
【０１８３】
間引きR画像に対する水平処理では、間引きR画像の画素を、隙間がなくなるように、水平方向にシフトすること、すなわち、図８Ｂでは、左方向にシフトすることで、間引きR画像の画素を横詰めにした状態の画像が、水平処理後R画像として生成される。
【０１８４】
［セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従った処理］
【０１８５】
図９は、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離しないこと（以下、非分離ともいう）を表している場合に、図５の符号化装置で行われる処理を説明する図である。
【０１８６】
セパレートフラグが、非分離を表している場合、垂直処理部３２は、水平処理部３１で生成された水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
【０１８７】
さらに、この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
【０１８８】
すなわち、混合部３３は、例えば、図９に示すように、水平処理後L画像を、左側に配置するとともに、水平処理後R画像を、右側に配置することで、混合画像を生成する。
【０１８９】
以上のように、セパレートフラグが非分離を表している場合に生成される混合画像においては、左側に、水平処理後L画像が配置され、右側に、水平処理後R画像が配置されている。
【０１９０】
そして、水平処理後L画像は、間引きL画像の画素を、隙間がなくなるように、水平方向にシフトすることで、間引きL画像の画素を横詰めにした状態の画像である。水平処理後R画像も、同様である。
【０１９１】
したがって、混合画像のうちの、水平処理後L画像、又は、水平処理後R画像の部分に注目した場合には、画像の空間方向及び時間方向の相関が低くなるのを防止することができ、その結果、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ画像になっている場合に比較して、混合画像の予測符号化の符号化効率を向上させることができる。
【０１９２】
すなわち、例えば、L画像に、水平方向に連続的に延びるエッジが写っている場合に、そのエッジの連続性は、間引きL画像の画素を横詰めにした水平処理後L画像でも維持される。したがって、水平方向に延びるエッジが写っている画素の空間方向及び時間方向の相関は維持されるので、符号化効率の劣化を防止することができる。
【０１９３】
R画像についても、同様である。
【０１９４】
なお、図５の符号化装置において、L画像及びR画像を、90度だけ回転し、その回転後のL画像及びR画像を、処理の対象とすることにより、元（回転前）のL画像及びR画像に、垂直方向に連続的に延びるエッジが写っている場合に、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関を維持し、符号化効率の劣化を防止することができる。
【０１９５】
あるいは、上述の処理において、「水平」を「垂直」に読み替えるとともに、「垂直」を「水平」に読み替えた処理を行うことでも、L画像及びR画像に、垂直方向に連続的に延びるエッジが写っている場合に、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関を維持し、符号化効率の劣化を防止することができる。
【０１９６】
なお、図９では、水平処理後L画像を、左側に、水平処理後R画像を、右側に、それぞれ配置することで、混合画像を生成することとしたが、混合画像の生成において、水平処理後L画像は、右側に、水平処理後R画像は、左側に、それぞれ配置することができる。
【０１９７】
また、水平処理後L画像、及び、水平処理後R画像それぞれを、混合画像の左側、又は、右側に配置するかは、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの他のフラグを用意して、そのフラグによって制御することができる。但し、この場合、そのフラグも、符号化データに含める必要がある。
【０１９８】
ところで、複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、図９に示したように並べることで、混合画像を生成する場合には、水平方向に延びるエッジの連続性は維持されるが、垂直方向に延びるエッジの連続性は損なわれる。
【０１９９】
そこで、図１０は、セパレートフラグが、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離すること（以下、ライン分離ともいう）を表している場合に、図５の垂直処理部３２で行われる垂直処理を説明する図である。
【０２００】
すなわち、図１０は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置として、非インターリーブ配置を表している場合の、垂直処理を説明する図である。
【０２０１】
ここで、バーティカルパターンフラグが表す、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置としては、インターリーブ配置と、非インターリーブ配置との２種類の配置がある。図１０では、非インターリーブ配置について説明し、インターリーブ配置については、後述する。
【０２０２】
セパレートフラグが、ライン分離を表している場合、垂直処理部３２は、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
【０２０３】
さらに、垂直処理部３２は、セパレートフラグが、ライン分離を表している場合には、バーティカルパターンフラグを参照する。
【０２０４】
そして、バーティカルパターンフラグが、非インタリーブ配置を表している場合には、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
【０２０５】
すなわち、図１０Ａは、水平処理後L画像を対象とした垂直処理を説明する図である。
【０２０６】
垂直処理部３２は、水平処理後L画像から、奇数ライン(LO)だけを抽出するとともに、偶数ライン(LE)だけを抽出することで、奇数ラインと偶数ラインとを分離する。
【０２０７】
ここで、水平処理後L画像から抽出された奇数ラインだけからなる画像は、偶数ラインに対応する隙間が空いた画像になっている。水平処理後L画像から抽出された偶数ラインだけからなる画像も、奇数ラインに対応する隙間が空いた画像になっている。
【０２０８】
垂直処理部３２は、水平処理後L画像から抽出された奇数ラインだけからなる画像の奇数ラインを、偶数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、奇数ラインを縦詰めにした状態の画像を、水平処理後L画像の奇数ライン(LO)のみを配置した奇数ラインL画像として生成する。
【０２０９】
さらに、垂直処理部３２は、水平処理後L画像から抽出された偶数ラインだけからなる画像の偶数ラインを、奇数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、偶数ラインを縦詰めにした状態の画像を、水平処理後L画像の偶数ライン(LE)のみを配置した偶数ラインL画像として生成する。
【０２１０】
垂直処理部３２は、水平処理後R画像についても、同様の垂直処理を施す。
【０２１１】
すなわち、図１０Ｂは、水平処理後R画像を対象とした垂直処理を説明する図である。
【０２１２】
垂直処理部３２は、水平処理後R画像から、奇数ライン(RO)だけを抽出するとともに、偶数ライン(RE)だけを抽出することで、奇数ラインと偶数ラインとを分離する。
【０２１３】
ここで、水平処理後R画像から抽出された奇数ラインだけからなる画像は、偶数ラインに対応する隙間が空いた画像になっている。水平処理後R画像から抽出された偶数ラインだけからなる画像も、奇数ラインに対応する隙間が空いた画像になっている。
【０２１４】
垂直処理部３２は、水平処理後R画像から抽出された奇数ラインだけからなる画像の奇数ラインを、偶数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、奇数ラインを縦詰めにした状態の画像を、水平処理後R画像の奇数ライン(RO)のみを配置した奇数ラインR画像として生成する。
【０２１５】
さらに、垂直処理部３２は、水平処理後R画像から抽出された偶数ラインだけからなる画像の偶数ラインを、奇数ラインに対応する隙間を詰めるように、垂直方向にシフトすることで、偶数ラインを縦詰めにした状態の画像を、水平処理後R画像の偶数ライン(RE)のみを配置した偶数ラインR画像として生成する。
【０２１６】
セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合、垂直処理部３２は、以上のようにして、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を生成し、複数の垂直処理後画像として、混合部３３（図５）に供給する。
【０２１７】
図１１は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合に、図５の混合部３３で行われる混合処理を説明する図である。
【０２１８】
セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、非インターリーブ配置を表している場合、垂直処理部３２から混合部３３に対しては、図１０に示した奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、複数の垂直処理後画像として供給される。
【０２１９】
この場合、混合部３３は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、アレンジパターンフラグが表す配置パターンの配置に並べることで、混合画像を生成する。
【０２２０】
アレンジパターンフラグが表す配置パターンとしては、例えば、パターン#0,#1,#2,#3,#4,#5の６パターンがある。
【０２２１】
図１１は、アレンジパターンフラグが表す配置パターンとしてのパターン#0ないし#5を示している。
【０２２２】
すなわち、図１１Ａは、パターン#0を、図１１Ｂは、パターン#1を、図１１Ｃは、パターン#2を、図１１Ｄは、パターン#3を、図１１Ｅは、パターン#4を、図１１Ｆは、パターン#5を、それぞれ示している。
【０２２３】
アレンジパターンフラグが、パターン#0を表している場合、混合部３３は、図１１Ａに示すように、奇数ラインL画像(LO)が左上に、偶数ラインL画像(LE)が左下に、奇数ラインR画像(RO)が右上に、偶数ラインR画像(RE)が右下に、それぞれ配置された混合画像を生成する。
【０２２４】
アレンジパターンフラグが、パターン#1を表している場合、混合部３３は、図１１Ｂに示すように、奇数ラインL画像(LO)が左上に、奇数ラインR画像(RO)が左下に、偶数ラインL画像(LE)が右上に、偶数ラインR画像(RE)が右下に、それぞれ配置された混合画像を生成する。
【０２２５】
アレンジパターンフラグが、パターン#2を表している場合、混合部３３は、図１１Ｃに示すように、奇数ラインL画像(LO)が左上に、奇数ラインR画像(RO)が左下に、偶数ラインR画像(RE)が右上に、偶数ラインL画像(LE)が右下に、それぞれ配置された混合画像を生成する。
【０２２６】
アレンジパターンフラグが、パターン#3を表している場合、混合部３３は、図１１Ｄに示すように、奇数ラインL画像(LO)が左上に、偶数ラインL画像(LE)が左下に、偶数ラインR画像(RE)が右上に、奇数ラインR画像(RO)が右下に、それぞれ配置された混合画像を生成する。
【０２２７】
アレンジパターンフラグが、パターン#4を表している場合、混合部３３は、図１１Ｅに示すように、奇数ラインL画像(LO)が左上に、偶数ラインR画像(RE)が左下に、偶数ラインL画像(LE)が右上に、奇数ラインR画像(RO)が右下に、それぞれ配置された混合画像を生成する。
【０２２８】
アレンジパターンフラグが、パターン#5を表している場合、混合部３３は、図１１Ｆに示すように、奇数ラインL画像(LO)が左上に、偶数ラインR画像(RE)が左下に、奇数ラインR画像(RO)が右上に、偶数ラインL画像(LE)が右下に、それぞれ配置された混合画像を生成する。
【０２２９】
ここで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の、混合画像における配置パターンは、図１１に示した６パターンに限定されるものではない。すなわち、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像の配置パターンは、24(=4×3×2×1）通りだけ存在するので、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の、混合画像における配置パターンとしては、24通りのパターンから任意のパターンを採用することができる。
【０２３０】
なお、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を並べて混合画像を生成する場合、符号化効率の観点からは、同一の画像の画素を近くに配置することが望ましい。
【０２３１】
したがって、間引きL画像から得られた奇数ラインL画像(LO)と偶数ラインL画像(LE)とは、斜め方向ではなく、上下方向、又は、左右方向に隣接するように配置することが望ましい。
【０２３２】
間引きR画像から得られた奇数ラインR画像と偶数ラインR画像も同様である。
【０２３３】
以上のように、水平処理後L画像から、その奇数ラインだけからなる奇数ラインL画像と、偶数ラインだけからなる偶数ラインL画像を生成するとともに、水平処理後R画像から、その奇数ラインだけからなる奇数ラインR画像と、偶数ラインだけからなる偶数ラインR画像を生成し、それらの奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を並べて混合画像を生成することにより、その混合画像を構成する奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像それぞれの部分では、隣接する画素どうしの間で、位相ずれ（元のL画像やR画像において異なる行又は列に位置する画素が、奇数ラインL画像等において同一の行又は列に並ぶこと）が生じない。
【０２３４】
したがって、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像それぞれの部分において、不連続なエッジが現れ、また、一定の速度の動きが、画素によって異なる動きとして現れることによって、画像の空間方向及び時間方向の相関が低くなるのを防止することができ、混合画像が、図３で説明したように、間引きL画像に対して、間引きL画像の画素が配置されていない位置に、間引きR画像の画素をはめ込んだ画像になっている場合は勿論、図９の場合と比較しても、混合画像の予測符号化の符号化効率を向上させることができる。
【０２３５】
すなわち、例えば、奇数ラインL画像等においては、図９で説明した場合と同様に、水平方向に延びるエッジが写っている画素の他、垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関も維持される。
【０２３６】
具体的には、例えば、図８Ａに示した間引きL画像の左から１番目の垂直方向に並ぶ３つの画素LOに、垂直方向に延びるエッジが写っている場合、その３つの画素LOは、図１０Ａに示した奇数ラインL画像の左から１番目の垂直方向に並ぶ３つ画素LOとなるので、混合画像における奇数ラインL画像の部分において、間引きL画像に写るエッジの連続性は維持される。
【０２３７】
したがって、その垂直方向に延びるエッジが写っている画素の空間方向及び時間方向の相関は維持されるので、符号化効率の劣化を防止することができる。
【０２３８】
なお、本件発明者が、ある3D画像を用いて行ったシミュレーションによれば、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像からなる混合画像の符号化データは、図３に示した混合画像の符号化データのデータ量の約1/4になることが確認されている。
【０２３９】
図１２は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置として、インターリーブ配置を表している場合の、垂直処理を説明する図である。
【０２４０】
図１０で説明したように、セパレートフラグが、ライン分離を表している場合、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離するとともに、バーティカルパターンフラグを参照する。
【０２４１】
そして、バーティカルパターンフラグが、インタリーブ配置を表している場合には、垂直処理部３２は、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
【０２４２】
すなわち、垂直処理部３２は、図１０で説明した場合と同様に、水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインだけを抽出するとともに、偶数ラインだけを抽出することで、奇数ラインと偶数ラインとを分離する（図１２）。
【０２４３】
そして、垂直処理部３２は、図１２に示すように、水平処理後L画像の奇数ラインと、水平処理後R画像の奇数ラインとを、インターリーブして配置することで、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とが交互に配置された垂直処理後奇数ライン画像を生成する。
【０２４４】
同様に、垂直処理部３２は、水平処理後L画像の偶数ラインと、水平処理後R画像の偶数ラインとを、インターリーブして配置することで、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とが交互に配置された垂直処理後偶数ライン画像を生成する。
【０２４５】
セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、垂直処理部３２は、以上のようにして、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を生成し、複数の垂直処理後画像として、混合部３３（図５）に供給する。
【０２４６】
なお、図１２では、垂直処理後奇数ライン画像において、水平処理後L画像の奇数ライン(LO)が、上から奇数番目に配置され、水平処理後R画像の奇数ライン(RO)が、上から偶数番目に配置されているが、水平処理後L画像の奇数ライン(LO)を、偶数番目に、水平処理後R画像の奇数ライン(RO)を、奇数番目に、それぞれ配置することが可能である。
【０２４７】
同様に、図１２では、垂直処理後偶数ライン画像において、水平処理後L画像の偶数ライン(LE)が、奇数番目に配置され、水平処理後R画像の偶数ライン(RE)が、偶数番目に配置されているが、水平処理後L画像の偶数ライン(LE)を、偶数番目に、水平処理後R画像の偶数ライン(RE)を、奇数番目に、それぞれ配置することが可能である。
【０２４８】
但し、垂直処理後奇数ライン画像において、水平処理後L画像の奇数ライン(LO)を、奇数番目（又は偶数番目）に配置する場合には、垂直処理後偶数ライン画像において、水平処理後L画像の偶数ライン(LE)も、奇数番目（又は偶数番目）に配置することが望ましい。水平処理後R画像の奇数ライン(RO)、及び、偶数ライン(RE)についても、同様である。
【０２４９】
図１３は、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に、図５の混合部３３で行われる混合処理を説明する図である。
【０２５０】
セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、垂直処理部３２から混合部３３に対しては、図１２に示した垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像が、複数の垂直処理後画像として供給される。
【０２５１】
この場合、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像を生成する。
【０２５２】
すなわち、混合部３３は、例えば、図１３に示すように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像を生成する。
【０２５３】
以上のように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを生成し、それらの垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを並べて、混合画像を生成する場合には、エンコーダ３４（図５）は、混合画像が、インターレース方式の画像であるとして、混合画像の予測符号化を行う。
【０２５４】
すなわち、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合、エンコーダ３４は、混合画像が、プログレッシブの画像であっても、インターレース方式の画像であるとして、混合画像の予測符号化を行う。
【０２５５】
この場合、エンコーダ３４が、例えば、H.264/AVC方式に従った予測符号化を行うこととし、混合画像の、時刻tのフレームである第tフレームを構成する奇数フィールド（奇数ラインからなるフィールド）、及び、偶数フィールド（偶数ラインからなるフィールド）のうちの、例えば、偶数フィールドに注目すると、エンコーダ３４では、第tフレームの偶数フィールドの予測符号化に際して、その偶数フィールドの予測画像を生成するのに、例えば、同一フレームである第tフレームの奇数フィールド、及び、１フレーム前の第t-1フレームの偶数フィールドのうちの、予測誤差が少なくなる方を参照することができる。
【０２５６】
ここで、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に生成される混合画像は、図１３に示したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインをインターリーブして配置することで得られる垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを水平方向に並べた画像である。
【０２５７】
したがって、混合画像の奇数フィールドでは、間引きL画像の奇数ライン(LO)と偶数ライン(LE)とが水平方向に並んでいるので、混合画像の奇数フィールドは、図１０Ａに示した奇数ラインL画像と偶数ラインL画像とが水平方向に並んだ画像になっている。
【０２５８】
同様に、混合画像の偶数フィールドでは、間引きR画像の奇数ライン(RO)と偶数ライン(RE)とが水平方向に並んでいるので、混合画像の偶数フィールドは、図１０Ｂに示した奇数ラインR画像と偶数ラインR画像とが並んだ画像になっている。
【０２５９】
その結果、混合画像の第tフレームの偶数フィールドの予測符号化に際して、１フレーム前の第t-1フレームの偶数フィールドが参照される場合には、混合画像が、図１１に示したように、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像から構成される場合と同様の符号化効率を実現することができる。
【０２６０】
また、エンコーダ３４では、混合画像の第tフレームの偶数フィールドの予測符号化に際して、第t-1フレームの偶数フィールドを参照するよりも、第tフレームの奇数フィールドを参照した方が、予測誤差を少なくすることができるのであれば、第tフレームの奇数フィールドを参照することができる。
【０２６１】
したがって、セパレートフラグが、ライン分離を表しており、バーティカルパターンフラグが、インターリーブ配置を表している場合に、エンコーダ３４において、混合画像が、インターレース方式の画像であるとして、混合画像の予測符号化を行うことにより、混合画像が、図１１に示したように、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像から構成される場合の符号化効率以上の符号化効率を実現することができる。
【０２６２】
なお、図１３では、垂直処理後奇数ライン画像を、左側に、垂直処理後偶数ライン画像を、右側に、それぞれ配置することで、混合画像を生成することとしたが、混合画像の生成において、垂直処理後奇数ライン画像は、右側に、垂直処理後偶数ライン画像は、左側に、それぞれ配置することができる。
【０２６３】
また、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれを、混合画像の左側、又は、右側に配置するかは、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグの他のフラグを用意して、そのフラグによって制御することができる。但し、この場合、そのフラグも、符号化データに含める必要がある。
【０２６４】
［セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグ］
【０２６５】
図１４は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを説明する図である。
【０２６６】
セパレートフラグ(separate_flag)は、非分離、又は、ライン分離、すなわち、水平処理後L画像、及び、水平処理後R画像から、奇数ラインと偶数ラインとを分離するかどうかを表す。
【０２６７】
セパレートフラグが、例えば、0である場合、非分離を表し、1である場合、ライン分離を表す。
【０２６８】
バーティカルパターン(vertical_pattern)フラグは、複数の垂直処理後画像における、水平処理後L画像、及び、水平処理後R画像の奇数ラインと偶数ラインとの配置を表す。
【０２６９】
バーティカルパターンフラグが表す配置としては、非インターリーブ配置と、インターリーブ配置とがある。
【０２７０】
バーティカルパターンフラグが、例えば、0である場合、非インターリーブ配置（図１０）を表し、1である場合、インターリーブ配置（図１２）を表す。
【０２７１】
セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、非インターリーブ配置を表す0である場合、垂直処理部３２（図５）は、図１０で説明したように、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
【０２７２】
さらに、垂直処理部３２は、図１０で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインのそれぞれを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
【０２７３】
また、セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、インターリーブ配置を表す1である場合、垂直処理部３２は、図１２で説明したように、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
【０２７４】
さらに、垂直処理部３２は、図１２で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインとのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
【０２７５】
アレンジパターン(arrange_pattern)フラグは、複数の垂直処理後画像が、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像である場合に、混合画像での、その４つの画像の配置パターンを表す。
【０２７６】
本実施の形態では、アレンジパターンフラグは、0ないし5の範囲の整数値をとる。アレンジパターンフラグが、整数値iである場合、混合部３３では、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、図１１のパターン#iの配置となるように並べることで、混合画像が生成される。
【０２７７】
［垂直処理、及び、混合処理の詳細］
【０２７８】
図１５は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従って行われる、図７のステップＳ１５の垂直処理、及び、ステップＳ１６の混合処理の詳細を説明するフローチャートである。
【０２７９】
ステップＳ３１において、図５の垂直処理部３２、及び、混合部３３は、制御部３５から供給されるセパレートフラグが、0、及び、1のうちのいずれであるかを判定する。
【０２８０】
ステップＳ３１において、セパレートフラグが0であると判定された場合、処理は、ステップＳ３２に進み、垂直処理部３２は、水平処理部３１から供給される水平処理後L画像、及び、水平処理後R画像を、そのまま、複数の垂直処理後画像として、混合部３３に供給する。
【０２８１】
混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される水平処理後L画像、及び、水平処理後R画像を、図９に示したように、水平方向に並べることで、混合画像を生成する。
【０２８２】
一方、ステップＳ３１において、セパレートフラグが1であると判定された場合、処理は、ステップＳ３３に進み、垂直処理部３２は、水平処理部３１からの水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理部３１からの水平処理後R画像から、奇数ラインと偶数ラインとを分離する。
【０２８３】
そして、処理は、ステップＳ３３からステップＳ３４に進み、垂直処理部３２、及び、混合部３３は、制御部３５から供給されるバーティカルパターンフラグが、0、及び、1のうちのいずれであるかを判定する。
【０２８４】
ステップＳ３４において、バーティカルパターンフラグが0であると判定された場合、処理は、ステップＳ３５に進み、垂直処理部３２は、図１０で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインを、垂直方向にシフトすることで、奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像を、複数の垂直処理後画像として生成する。
【０２８５】
そして、垂直処理部３２は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、混合部３３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
【０２８６】
ステップＳ３６では、混合部３３は、垂直処理部３２からの複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を、制御部３５から供給されるアレンジパターンフラグが表す配置パターンの配置に並べることで、図１１で説明した混合画像を生成する。
【０２８７】
一方、ステップＳ３４において、バーティカルパターンフラグが1であると判定された場合、処理は、ステップＳ３７に進み、垂直処理部３２は、図１２で説明したように、水平処理後L画像、及び、水平処理後R画像それぞれから分離した奇数ラインと偶数ラインのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成する。
【０２８８】
そして、垂直処理部３２は、複数の垂直処理後画像としての垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像を、混合部３３に供給して、処理は、ステップＳ３７からステップＳ３８に進む。
【０２８９】
ステップＳ３８では、混合部３３は、混合部３３は、垂直処理部３２から、複数の垂直処理後画像として供給される垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、図１３で説明した混合画像を生成する。
【０２９０】
ステップＳ３２，Ｓ３６、又はＳ３８で生成された混合画像は、混合部３３からエンコーダ３４（図５）に供給され、図７のステップＳ１７で説明したように予測符号化される。
【０２９１】
［復号装置の一実施の形態］
【０２９２】
図１６は、本発明の画像処理装置を適用した復号装置の一実施の形態の構成例を示すブロック図である。
【０２９３】
復号装置のデコーダ６１には、図５の符号化装置が出力する符号化データが供給される。
【０２９４】
デコーダ６１は、そこに供給される符号化データを受け取り（受信し）、その符号化データに含まれるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２に供給する。なお、上述したように、符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとは、別個に伝送（記録媒体からの再生を含む）されてくる場合があるが、その場合には、デコーダ６１は、別個に伝送されてくる符号化データと、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグとを受け取り、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを、分離部６２に供給する。
【０２９５】
さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３に供給する。
【０２９６】
また、デコーダ６１は、エンコーダ３４の符号化の方式と同一の方式で、符号化データを復号し、その結果得られる混合画像を、分離部６２に供給する。
【０２９７】
分離部６２は、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離し、逆垂直処理部６３に供給する。
【０２９８】
逆垂直処理部６３は、合成部６３Ｌ及び６３Ｒを有する。逆垂直処理部６３は、分離部６２からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行い、その結果得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部６４に供給する。
【０２９９】
ここで、符号化データに含まれるセパレートフラグが、非分離を表す場合、混合画像は、複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、図９に示したように水平方向に並べた画像となっている。
【０３００】
そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、非分離を表す場合には、デコーダ６１からの混合画像から、図９に示したように並べられている複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を分離し、逆垂直処理部６３に供給する。
【０３０１】
そして、逆垂直処理部６３は、デコーダ６１から供給されるセパレートフラグが、非分離を表す場合に、逆分離部６２から供給される複数の垂直処理後画像としての水平処理後L画像、及び、水平処理後R画像を、そのまま、逆水平処理部６４に供給する。
【０３０２】
また、符号化データに含まれるセパレートフラグが、ライン分離を表し、かつ、符号化データに含まれるバーティカルパターンフラグが、非インタリーブ配置を表す場合、混合画像は、複数の垂直処理後画像としての奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像の４つの画像が、図１１で説明したように、符号化データに含まれるアレンジパターンフラグに従って配置された画像になっている。
【０３０３】
そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、ライン分離を表し、かつ、デコーダ６１から供給されるバーティカルパターンフラグが、非インタリーブ配置を表す場合には、デコーダ６１からの混合画像から、同じくデコーダ６１からのアレンジパターンフラグに従って、図１１に示したように配置された奇数ラインL画像、偶数ラインL画像、奇数ラインR画像、及び、偶数ラインR画像を区別して分離し、逆垂直処理部６３に供給する。
【０３０４】
逆垂直処理部６３では、合成部６３Ｌが、分離部６２からの奇数ラインL画像、及び、偶数ラインL画像を合成し、水平処理後L画像を復号する。
【０３０５】
すなわち、合成部６３Ｌは、分離部６２からの奇数ラインL画像の各ライン（水平方向のライン）を、水平処理後L画像の奇数ラインに配置するとともに、分離部６２からの偶数ラインL画像の各ラインを、水平処理後L画像の偶数ラインに配置することで、水平処理後L画像を復号する。
【０３０６】
さらに、逆垂直処理部６３では、合成部６３Ｒが、分離部６２からの奇数ラインR画像、及び、偶数ラインR画像を合成し、水平処理後R画像を復号する。
【０３０７】
すなわち、合成部６３Ｒは、分離部６２からの奇数ラインR画像の各ラインを、水平処理後R画像の奇数ラインに配置するとともに、分離部６２からの偶数ラインR画像の各ラインを、水平処理後R画像の偶数ラインに配置することで、水平処理後R画像を復号する。
【０３０８】
また、符号化データに含まれるセパレートフラグが、ライン分離を表し、かつ、符号化データに含まれるバーティカルパターンフラグが、インタリーブ配置を表す場合、混合画像は、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像を、図１３で説明したように、水平方向に並べた画像になっている。
【０３０９】
そこで、分離部６２は、デコーダ６１から供給されるセパレートフラグが、ライン分離を表し、かつ、デコーダ６１から供給されるバーティカルパターンフラグが、インタリーブ配置を表す場合には、デコーダ６１からの混合画像から、図１３に示したように並べられた垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を分離し、逆垂直処理部６３に供給する。
【０３１０】
逆垂直処理部６３では、合成部６３Ｌが、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の一部のラインを合成し、水平処理後L画像を復号する。
【０３１１】
すなわち、図１２で説明したことから、垂直処理後奇数ライン画像は、水平処理後L画像の奇数ライン(LO)を含んでおり、垂直処理後偶数ライン画像は、水平処理後L画像の偶数ライン(LE)を含んでいる。
【０３１２】
合成部６３Ｌは、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後L画像の奇数ライン(LO)、及び、偶数ライン(LE)を抽出し、その奇数ライン(LO)、及び、偶数ライン(LE)を、元の配置に戻すことで、水平処理後L画像を復号する。
【０３１３】
さらに、逆垂直処理部６３では、合成部６３Ｒが、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の残りのラインを合成し、水平処理後R画像を復号する。
【０３１４】
すなわち、図１２で説明したことから、垂直処理後奇数ライン画像は、水平処理後R画像の奇数ライン(RO)を含んでおり、垂直処理後偶数ライン画像は、水平処理後R画像の偶数ライン(RE)を含んでいる。
【０３１５】
合成部６３Ｌは、分離部６２からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後R画像の奇数ライン(RO)、及び、偶数ライン(RE)を抽出し、その奇数ライン(RO)、及び、偶数ライン(RE)を、元の配置に戻すことで、水平処理後R画像を復号する。
【０３１６】
逆水平処理部６４は、逆垂直処理部６３からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行う。
【０３１７】
すなわち、逆水平処理部６４は、逆水平処理部６４Ｌ及び６４Ｒから構成される。
【０３１８】
逆水平処理部６４Ｌは、逆垂直処理部６３からの水平処理後L画像の画素を、図５の水平処理部３１Ｌとは逆方向にシフトすることで、間引きL画像を復号し、補間部６５に供給する。
【０３１９】
逆水平処理部６４Ｒは、逆垂直処理部６３からの水平処理後R画像の画素を、図５の水平処理部３１Ｒとは逆方向にシフトすることで、間引きR画像を復号し、補間部６５に供給する。
【０３２０】
補間部６５は、補間部６５Ｌ及び６５Ｒから構成される。
【０３２１】
補間部６５Ｌは、逆水平処理部６４から供給される間引きL画像に対し、図５の間引き部１２Ｌで間引かれた画素を補間し、補間後の画像（以下、補間L画像ともいう）を、フィルタ部６６に供給する。
【０３２２】
補間部６５Ｒは、逆水平処理部６４から供給される間引きR画像に対し、図５の間引き部１２Ｒで間引かれた画素を補間し、補間後の画像（以下、補間R画像ともいう）を、フィルタ部６６に供給する。
【０３２３】
フィルタ部６６は、ローパスフィルタであるフィルタ６６Ｌ及び６６Ｒから構成される。
【０３２４】
フィルタ６６Ｌは、補間部６５からの補間L画像をフィルタリングし、これにより、L画像を復号して、3Dフォーマット変換部６７に供給する。
【０３２５】
フィルタ６６Ｒは、補間部６５からの補間R画像をフィルタリングし、これにより、R画像を復号して、3Dフォーマット変換部６７に供給する。
【０３２６】
3Dフォーマット変換部６７は、フィルタ部６６からのL画像、及び、R画像（の画像データ）を、後段の3D表示装置６８が3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
【０３２７】
3D表示装置６８は、3Dフォーマット変換部６７からの信号に対応して、3D画像を表示する。
【０３２８】
ここで、3D表示装置６８が、例えば、図４の3D表示装置２２と同様に、図３Ｂに示した、間引きL画像の画素Lx,yと、間引きR画像の画素Rx,yとが、チェック模様状に配置された混合画像の3D表示に対応した立体視用デバイスである場合には、3Dフォーマット変換部６７では、例えば、図２のフィルタ部１１、間引き部１２、及び、混合部１３と同様の処理が行われることで、フィルタ部６６からのL画像、及び、R画像が、3D表示装置６８で3D画像を表示するのに対応したフォーマットの信号に変換される。
【０３２９】
［デコーダ６１の構成例］
【０３３０】
図１７は、図１６のデコーダ６１の構成例を示すブロック図である。
【０３３１】
デコーダ６１は、例えば、離散コサイン変換若しくはカルーネン・レーベ変換等の直交変換と動き補償により画像圧縮を実現する画像情報符号化装置であるエンコーダ３４（図６）で得られる符号化データを復号する画像情報復号装置である。
【０３３２】
デコーダ６１には、図５の符号化装置が出力する符号化データが、復号の対象となる符号化データとして供給される。
【０３３３】
復号の対象となる符号化データは、蓄積バッファ７１に供給される。蓄積バッファ７１は、そこに供給される符号化データを一時記憶し、可逆符号復号部７２に供給する。
【０３３４】
可逆符号復号部７２は、蓄積バッファ７１からの符号化データに対して、その符号化データのフォーマットに基づき、可変長復号や、算術復号等の処理を施すことで、量子化値と、符号化データのヘッダに含められたイントラ予測モード、動きベクトル、動き補償予測モード、その他、各ピクチャのピクチャタイプ等の、画像の復号に必要な情報を復号する。
【０３３５】
可逆符号復号部７２で得られる量子化値は、逆量子化部７３に供給され、イントラ予測モードは、イントラ予測部７８に供給される。また、可逆符号復号部７２で得られる動きベクトル(MV)、動き補償予測モード、及び、ピクチャタイプは、動き予測／動き補償部７９に供給される。
【０３３６】
さらに、可逆符号復号部７２は、符号化データから、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２（図１６）に供給する。また、可逆符号復号部７２は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３（図１６）に供給する。
【０３３７】
逆量子化部７３、逆直交変換部７４、演算部７５、デブロックフィルタ７６、フレームメモリ７７、イントラ予測部７８、及び、動き予測／動き補償部７９は、図６の逆量子化部４９、逆直交変換部５０、演算部５１、デブロックフィルタ５２、フレームメモリ５３、イントラ予測部５４、及び、動き予測／動き補償部５５とそれぞれ同様の処理を行い、これにより、画像が復号される（復号画像が得られる）。
【０３３８】
すなわち、逆量子化部７３は、可逆符号復号部７２からの量子化値を、変換係数に逆量子化し、逆直交変換部７４に供給する。
【０３３９】
逆直交変換部７４は、逆量子化部７３からの変換係数を逆直交変換し、演算部７５に供給する。
【０３４０】
演算部７５は、逆直交変換部７４から供給されるデータのうちの、イントラピクチャのデータについては、必要に応じて、イントラ予測部７８から供給される予測画像の画素値を加算することで、イントラピクチャの復号画像を得る。また、演算部７５は、逆直交変換部７４から供給されるデータのうちの、ノンイントラピクチャのデータについては、動き予測／動き補償部７９から供給される予測画像の画素値を加算することで、ノンイントラピクチャの復号画像を得る。
【０３４１】
演算部７５で得られた復号画像は、デブロックフィルタ７６に供給される。
【０３４２】
デブロックフィルタ７６は、演算部７５からの復号画像に、図６のデブロックフィルタ５２と同様のフィルタリング処理を施し、必要に応じて、フレームメモリ７７に供給するとともに、画像並べ替えバッファ８０に供給する。
【０３４３】
フレームメモリ７７は、演算部７５からデブロックフィルタ７６を介して供給される復号画像を一時記憶し、その復号画像を、必要に応じて、予測画像を生成するのに用いる参照画像として、イントラ予測部７８や動き予測／動き補償部７９に供給する。
【０３４４】
イントラ予測部７８は、演算部７５で処理の対象となっているデータが、イントラピクチャのデータである場合、そのイントラピクチャの予測画像を、フレームメモリ７７からの参照画像としての復号画像を用いて、必要に応じて生成し、演算部７５に供給する。
【０３４５】
すなわち、イントラ予測部７８は、可逆符号復号部７２からのイントラ予測モードに従い、演算部７５で処理の対象となっている部分（ブロック）の近傍の画素のうちの、既にフレームメモリ７７に記憶されている画素から予測画像を生成し、演算部７５に供給する。
【０３４６】
一方、動き予測／動き補償部７９は、演算部７５で処理の対象となっているデータが、ノンイントラピクチャのデータである場合、そのノンイントラピクチャの予測画像を生成し、演算部７５に供給する。
【０３４７】
すなわち、動き予測／動き補償部７９は、可逆符号復号部７２からのピクチャタイプ等に従い、フレームメモリ７７から、予測画像の生成に用いる復号画像のピクチャを、参照画像として読み出す。さらに、動き予測／動き補償部７９は、フレームメモリ７７からの参照画像に対して、可逆符号復号部７２からの動きベクトル、及び、動き補償予測モードに従った動き補償を施すことにより、予測画像を生成し、演算部７５に供給する。
【０３４８】
演算部７５では、以上のようにして、イントラ予測部７８、又は、動き予測／動き補償部７９から供給される予測画像を、逆直交変換部７４から供給されるデータに加算することで、ピクチャ（の画素値）が復号される。
【０３４９】
画像並べ替えバッファ８０は、演算部７５からデブロックフィルタ７６を介して供給されるピクチャ（復号画像）を一時記憶して読み出すことで、ピクチャの並びを、元の並び（表示順）に並び替え、D/A(Digital/Analog)変換部８１に供給する。
【０３５０】
D/A変換部８１は、画像並べ替えバッファ８０からの復号画像をアナログ信号で出力する必要がある場合に、その復号画像をD/A変換して出力する。
【０３５１】
［復号装置の処理］
【０３５２】
図１８は、図１６の復号装置の処理（復号処理としての画像処理）を説明するフローチャートである。
【０３５３】
なお、図１８のフローチャートに従った処理は、１画面の3D画像の符号化データに対して行われる処理である。
【０３５４】
ステップＳ５１において、デコーダ６１は、そこに、１画面の3D画像の符号化データが供給されるのを待って、その符号化データを受信する。そして、デコーダ６１は、符号化データから、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部６２に供給する。
【０３５５】
さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部６３に供給する。
【０３５６】
また、デコーダ６１は、符号化データを復号（デコード）し、その結果得られる混合画像を、分離部６２に供給して、処理は、ステップＳ５１からステップＳ５２に進む。
【０３５７】
ステップＳ５２では、分離部６２は、デコーダ６１からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離し、逆垂直処理部６３に供給して、処理は、ステップＳ５３に進む。
【０３５８】
ステップＳ５３では、逆垂直処理部６３は、デコーダ６１からのセパレートフラグ、及び、バーティカルパターンフラグに従い、分離部６２からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行う。
【０３５９】
さらに、ステップＳ５３では、逆垂直処理部６３は、逆垂直処理によって得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部６４に供給して、処理は、ステップＳ５４に進む。
【０３６０】
ステップＳ５４では、逆水平処理部６４は、逆垂直処理部６３からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行う。
【０３６１】
さらに、ステップＳ５４では、逆水平処理部６４は、逆水平処理によって得られる間引きL画像、及び、間引きR画像を、補間部６５に供給して、処理は、ステップＳ５５に進む。
【０３６２】
ステップＳ５５では、補間部６５が、逆水平処理部６４から供給される間引きL画像、及び、間引きR画像の画素を補間し、フィルタ部６６に供給する。
【０３６３】
フィルタ部６６は、補間部６５からの画像をフィルタリングすることで、L画像、及び、R画像を復号し、3Dフォーマット変換部６７に供給して、処理は、ステップＳ５５からステップＳ５６に進む。
【０３６４】
ステップＳ５６では、3Dフォーマット変換部６７は、フィルタ部６６からのL画像、及び、R画像を、3D表示装置６８で3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
【０３６５】
その後、3D表示装置６８では、3Dフォーマット変換部６７からの信号に対応して、3D画像が表示される。
【０３６６】
なお、図１６の復号装置は、例えば、3D表示装置６８、さらには、3Dフォーマット変換部６７を設けずに構成することができる。
【０３６７】
また、図１６の復号装置は、例えば、3D表示装置６８、及び、3Dフォーマット変換部６７の他、補間部６５、及び、フィルタ部６６をも設けずに構成することができる。
【０３６８】
さらに、図５の符号化装置、及び、図１６の復号装置は、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像の他、図１Ｂに示したように、水平方向の空間解像度を、元の1/2にした画像や、図１Ｃに示したように、垂直方向の空間解像度を、元の1/2にした画像（を90度だけ回転した画像）にも適用可能である。
【０３６９】
＜第２実施の形態＞
【０３７０】
［符号化装置の他の一実施の形態］
【０３７１】
図１９は、本発明の画像処理装置を適用した符号化装置の他の一実施の形態の構成例を示すブロック図である。
【０３７２】
図１９において、図５の符号化装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３７３】
すなわち、図１９の符号化装置は、エンコーダ３４を有する点で、図５の場合と共通する。
【０３７４】
但し、図１９の符号化装置は、撮像装置１０１Ｌ及び１０１Ｒを有する点で、図５の場合と相違する。さらに、図１９の符号化装置は、フィルタ部１１、間引き部１２、水平処理部３１、垂直処理部３２、混合部３３、及び、制御部３５に代えて、合成装置１０２を有する点でも、図５の場合と相違する。
【０３７５】
上述の図５の符号化装置では、L画像及びR画像が、プログレッシブ（ノンインターレース方式）の画像であっても、また、インターレース方式の画像であっても、符号化を行うことが可能であるが、図１９の符号化装置は、L画像及びR画像が、インターレース方式の画像である場合に、そのインターレース方式の画像であるL画像及びR画像の符号化に適している。
【０３７６】
撮像装置１０１Ｌ及び１０１Ｒは、インターレース方式の画像を撮像するビデオカメラであり、視差のある画像を撮像して、合成装置１０２に供給する。
【０３７７】
すなわち、撮像装置１０１Ｌは、L画像となるインターレース方式の画像を撮像し、合成装置１０２に供給する。
【０３７８】
撮像装置１０１Ｒは、R画像となるインターレース方式の画像を、撮像装置１０１ＬによるL画像の撮像に同期して撮像し、合成装置１０２に供給する。
【０３７９】
合成装置１０２は、撮像装置１０１ＬからのL画像の画素を間引き、後述する前処理を行うことで、間引きL画像を生成するとともに、撮像装置１０１ＲからのR画像の画素を間引き、前処理を行うことで、間引きR画像を生成する。
【０３８０】
さらに、合成装置１０２は、前処理によって得られる間引きL画像、及び、間引きR画像に対して、図５の水平処理部３１、垂直処理部３２、及び、混合部３３が、セパレートフラグ、及び、バーティカルパターンフラグが、いずれも1である場合に行う水平処理、垂直処理、及び、混合処理と同様の処理を施すことで、混合画像を生成し、エンコーダ３４に供給する。
【０３８１】
ここで、セパレートフラグが、ライン分離を表す1であり、バーティカルパターンフラグが、インターリーブ配置を表す1である場合、図５の符号化装置では、図１２や図１４で説明したように、水平処理部３１での水平処理の後、垂直処理部３２が、垂直処理において、水平処理後L画像から、奇数ラインと偶数ラインとを分離するとともに、水平処理後R画像から、奇数ラインと偶数ラインとを分離し、水平処理後L画像、及び、水平処理後R画像それぞれから分離された奇数ラインと偶数ラインとのそれぞれを、インターリーブして配置することで、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを生成する。
【０３８２】
そして、混合部３３が、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを並べて配置することで、混合画像を生成する。
【０３８３】
以上のように、セパレートフラグ、及び、バーティカルパターンフラグが、いずれも1である場合に、図５の水平処理部３１、垂直処理部３２、及び、混合部３３でそれぞれ行われる水平処理、垂直処理、及び、混合処理を、以下、まとめて、インターリーブ混合処理ともいう。
【０３８４】
［合成装置１０２の構成例］
【０３８５】
図２０は、図１９の合成装置１０２の構成例を示すブロック図である。
【０３８６】
合成装置１０２は、フィルタ部１２１、間引き部１２２、前処理部１２３、インターリーブ混合処理部１２４、及び、制御部１２５を有する。
【０３８７】
フィルタ部１２１には、撮像装置１０１ＬからのL画像、及び、撮像装置１０１ＲからのR画像が供給される。
【０３８８】
フィルタ部１２１は、図５のフィルタ部１１と同様に、L画像、及び、R画像それぞれの画素を間引いた間引きL画像、及び、間引きR画像において、折り返し歪みが生じるのを防止するために、L画像、及び、R画像の高域成分をカットするためのフィルタリングを行う。
【０３８９】
ここで、フィルタ部１２１の後段の間引き部１２２では、図５の間引き部１２と同様に、画素が、斜め方向に間引かれるため、フィルタ部１２１では、斜め方向の高域成分をカットするフィルタリングが行われる。
【０３９０】
また、フィルタ部１２１は、インターレース方式のL画像及びR画像のフィルタリングを、そのL画像及びR画像のフレームを構成する奇数フィールドと、偶数フィールドとのそれぞれを対象として行う。
【０３９１】
すなわち、インターレース方式の画像のフレームを構成する奇数フィールドと、偶数フィールドとは、異なる時刻に撮像されている。
【０３９２】
したがって、そのような奇数フィールドと偶数フィールドとから構成されるフレームを対象としてフィルタリングを行うと、奇数フィールドと偶数フィールドのうちの一方のフィールドの画素のフィルタリング（例えば、ディジタルフィルタでの積和演算）に、その一方のフィールドとは異なる時刻に撮像された他方のフィールドの画素が用いられ、その画素の影響によって、フィルタリングの結果得られる画素が、一方のフィールドの画素のみを用いる場合に比較してぼける。
【０３９３】
このため、フィルタ部１２１では、インターレース方式のL画像及びR画像については、フレームを構成する奇数フィールドと偶数フィールドとに分けて、フィルタリングが行われる。
【０３９４】
フィルタ部１２１は、L画像のフレームを構成する奇数フィールド、及び、偶数フィールド、並びに、R画像のフレームを構成する奇数フィールド、及び、偶数フィールドのフィルタリング結果を、間引き部１２２に供給する。
【０３９５】
ここで、L画像のフレームを構成する奇数フィールド、及び、偶数フィールド、並びに、R画像のフレームを構成する奇数フィールド、及び、偶数フィールドを、それぞれ、L奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドともいう。
【０３９６】
間引き部１２２は、図５の間引き部１２がL画像の画素を間引くのと同様に、L奇数フィールドの画素を、斜め方向の１ラインおきに間引くことで、そのL奇数フィールドを、チェック模様状に画素が配置されたフィールド（以下、間引きL奇数フィールドともいう）に変換する。
【０３９７】
さらに、間引き部１２２は、図５の間引き部１２がL画像の画素を間引くのと同様に、L偶数フィールドの画素を、斜め方向の１ラインおきに間引くことで、そのL偶数フィールドを、チェック模様状に画素が配置されたフィールド（以下、間引きL偶数フィールドともいう）に変換する。
【０３９８】
また、間引き部１２２は、図５の間引き部１２がR画像の画素を間引くのと同様に、R奇数フィールド、及び、R偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことで、そのR奇数フィールド、及び、R偶数フィールドを、チェック模様状に画素が配置されたフィールドに変換する。
【０３９９】
ここで、R奇数フィールド、及び、R偶数フィールドの、間引き部１２２での画素の間引き後のフィールドを、それぞれ、間引きR奇数フィールド、及び、間引きR偶数フィールドともいう。
【０４００】
間引き部１２２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、前処理部１２３に供給する。
【０４０１】
前処理部１２３は、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを用いて、間引きL画像、並びに、間引きR画像のフレームを構成する前処理を行う。
【０４０２】
すなわち、前処理部１２３は、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、つまり、撮像装置１０１Ｌで撮像されたインターレース方式のL画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる間引きL奇数フィールド（第１の間引き奇数フィールド）、及び、間引きL偶数フィールド（第１の間引き偶数フィールド）を並べて配置した画像を、間引きL画像（第１の間引き画像）として構成する処理を、前処理として行う。
【０４０３】
さらに、前処理部１２３は、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールド、つまり、撮像装置１０１Ｒで撮像されたインターレース方式のR画像のフレームを構成する奇数フィールド、及び、偶数フィールドそれぞれの画素を、斜め方向の１ラインおきに間引くことにより得られる間引きR奇数フィールド（第２の間引き奇数フィールド）、及び、間引きR偶数フィールド（第２の間引き偶数フィールド）を並べて配置した画像を、間引きR画像（第２の間引き画像）として構成する処理を、前処理として行う。
【０４０４】
そして、前処理部１２３は、前処理の結果得られる間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４に供給する。
【０４０５】
インターリーブ混合部１２４は、水平処理部１３１、垂直処理部１３２、及び、混合部１３３を有し、インターリーブ混合処理を行う。
【０４０６】
すなわち、水平処理部１３１には、前処理部１２３から、間引きL画像、及び、間引きR画像（のフレーム）が供給される。
【０４０７】
水平処理部１３１は、図５の水平処理部３１と同様に、前処理部１２３からの間引きL画像、及び、間引きR画像（のフレーム）それぞれに、水平処理を施し、その結果得られる水平処理後L画像、及び、水平処理後R画像を、垂直処理部１３２に供給する。
【０４０８】
垂直処理部１３２には、水平処理部１３１から、水平処理後L画像、及び、水平処理後R画像が供給される他、制御部１２５から、ライン分離を表すセパレートフラグと、インターリーブ配置を表すバーティカルパターンフラグが供給される。
【０４０９】
垂直処理部１３２は、図５の垂直処理部３２と同様に、制御部１２５からのセパレートフラグ、及び、バーティカルパターンフラグに従い、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像に、垂直処理を施す。
【０４１０】
すなわち、垂直処理部１３２は、制御部１２５からの、ライン分離を表すセパレートフラグに従い、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像（のフレーム）から、奇数ラインと偶数ラインとを分離する。
【０４１１】
さらに、垂直処理部１３２は、制御部１２５からの、インターリーブ配置を表すバーティカルパターンフラグに従い、水平処理後L画像、及び、水平処理後R画像の奇数ラインをインターリーブして配置した垂直処理後奇数ライン画像と、水平処理後L画像、及び、水平処理後R画像の偶数ラインをインターリーブして配置した垂直処理後偶数ライン画像との２つの画像を、複数の垂直処理後画像として生成し、混合部１３３に供給する。
【０４１２】
混合部１３３には、垂直処理部１３２から、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像が供給される他、制御部１２５から、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグが供給される。
【０４１３】
混合部１３３は、図５の混合部３３と同様に、制御部１２５からのセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、垂直処理部１３２からの複数の垂直処理後画像を並べて配置することにより、その複数の垂直処理後画像を混合した混合画像を生成し、予測符号化の対象となる画像として、エンコーダ３４に出力する。
【０４１４】
ここで、上述したように、制御部１２５からのセパレートフラグは、ライン分離を表し、バーティカルパターンフラグは、インターリーブ配置を表している。
【０４１５】
したがって、混合部１３３では、図５の混合部３３と同様に、ライン分離を表しているセパレートフラグと、インターリーブ配置を表しているバーティカルパターンフラグとに従い、垂直処理部１３２から、複数の垂直処理後画像として供給される画像が、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像であることが認識され、アレンジパターンフラグにかかわらず、垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を、あらかじめ決められた配置に並べることで、混合画像が生成される。
【０４１６】
制御部１２５は、セパレートフラグを、ライン分離を表す1に、バーティカルパターンフラグを、インターリーブ配置を表す1に、アレンジパターンフラグを、任意の値（又は、デフォルトの値）に、それぞれ設定し、混合部１３３、及び、エンコーダ３４に供給する。さらに、制御部１２５は、セパレートフラグ、及び、バーティカルパターンフラグを、垂直処理部１３２に供給する。
【０４１７】
［合成装置１０２の処理］
【０４１８】
図２１は、L画像及びR画像が、プログレッシブの画像である場合の、図２０の合成装置１０２の処理を説明する図である。
【０４１９】
なお、図８で説明したように、図２１において、LOは、L画像（のフレーム）の奇数ラインの画素を、LEは、L画像の偶数ラインの画素を、ROは、R画像（のフレーム）の奇数ラインの画素を、REは、R画像の偶数ラインの画素を、それぞれ表す。
【０４２０】
さらに、図２１において、斜線を付してある画素は、左から偶数列目の画素を表し、斜線を付していない画素は、左から奇数列目の画素を表す。以降の図においても、同様である。
【０４２１】
L画像及びR画像が、プログレッシブの画像である場合、フィルタ部１２１（図２０）は、そのプログレッシブのL画像及びR画像のフィルタリングを、そのL画像及びR画像のフレームを対象として行い、間引き部１２２に供給する。
【０４２２】
間引き部１２２（図２０）は、フィルタ部１２１からのL画像及びR画像のフレームそれぞれの画素を、図２１に示すように、斜め方向の１ラインおきに間引くことで、そのL画像及びR画像のフレームを、それぞれ、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像のフレームに変換し、前処理部１２３に供給する。
【０４２３】
L画像及びR画像が、プログレッシブの画像である場合、前処理部１２３（図２０）は、前処理を行わす、間引き部１２２からの間引きL画像、及び、間引きR画像のフレームを、そのまま、インターリーブ混合処理部１２４の水平処理部１３１に供給する。
【０４２４】
水平処理部１３１（図２０）は、前処理部１２３からの、チェック模様状に画素が配置された間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２１に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
【０４２５】
垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
【０４２６】
さらに、垂直処理部１３２は、図２１に示すように、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とを、インターリーブして配置することで、水平処理後L画像の奇数ライン(LO)と、水平処理後R画像の奇数ライン(RO)とが交互に配置された垂直処理後奇数ライン画像（のフレーム）を生成する。
【０４２７】
また、垂直処理部１３２は、図２１に示すように、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とを、インターリーブして配置することで、水平処理後L画像の偶数ライン(LE)と、水平処理後R画像の偶数ライン(RE)とが交互に配置された垂直処理後偶数ライン画像（のフレーム）を生成する。
【０４２８】
そして、垂直処理部１３２は、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
【０４２９】
混合部１３３（図２０）は、例えば、図１３で説明したように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
【０４３０】
したがって、L画像及びR画像が、プログレッシブの画像である場合、混合画像の左半分である垂直処理後奇数ライン画像において、奇数フィールド（奇数ライン）は、L画像の奇数ライン(LO)の画素だけで構成され、偶数フィールド（偶数ライン）は、R画像の奇数ライン(RO)の画素だけで構成される。
【０４３１】
また、混合画像の右半分である垂直処理後偶数ライン画像において、奇数フィールドは、L画像の偶数ライン(LE)の画素だけで構成され、偶数フィールドは、R画像の偶数ライン(RE)の画素だけで構成される。
【０４３２】
したがって、混合画像を、インターレース方式の画像であるとして、予測符号化を行うことにより、図１３で説明したように、高い符号化効率を実現することができる。
【０４３３】
図２２ないし図２４は、L画像及びR画像が、インターレース方式の画像である場合の、図２０の合成装置１０２の処理を説明する図である。
【０４３４】
すなわち、図２２は、L画像及びR画像が、インターレース方式の画像である場合の、フィルタ部１２１、及び、間引き部１２２の処理を説明する図である。
【０４３５】
なお、図２２において、LOOは、L画像（のフレーム）の奇数フィールド（L奇数フィールド）の奇数ラインを、LOEは、L奇数フィールドの偶数ラインを、LEOは、L画像の偶数フィールド（L偶数フィールド）の奇数ラインを、LEEは、L偶数フィールドの偶数ラインを、ROOは、R画像（のフレーム）の奇数フィールド（R奇数フィールド）の奇数ラインを、ROEは、R奇数フィールドの偶数ラインを、REOは、R画像の偶数フィールド（R偶数フィールド）の奇数ラインを、REEは、R偶数フィールドの偶数ラインを、それぞれ表す。以降の図においても、同様である。
【０４３６】
L画像及びR画像が、インターレース方式の画像である場合、フィルタ部１２１（図２０）は、そのインターレース方式のL画像及びR画像のフィルタリングを、そのL画像及びR画像のフィールドを対象として行い、間引き部１２２に供給する。
【０４３７】
すなわち、フィルタ部１２１は、図２２に示すように、L画像のフレームを構成するL奇数フィールド、及び、L偶数フィールド、並びに、R画像のフレームを構成するR奇数フィールド、及び、R偶数フィールドのそれぞれをフィルタリングし、間引き部１２２に供給する。
【０４３８】
間引き部１２２（図２０）は、フィルタ部１２１からのL奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドそれぞれの画素を、図２２に示すように、斜め方向の１ラインおきに間引くことで、そのL奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールドを、それぞれ、チェック模様状に画素が配置された間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドに変換し、前処理部１２３に供給する。
【０４３９】
ここで、L画像及びR画像が、プログレッシブの画像である場合、図２１で説明したように、前処理部１２３は、前処理を行わす、間引き部１２２からの間引きL画像、及び、間引きR画像のフレームを、そのまま、インターリーブ混合処理部１２４の水平処理部１３１に供給する。
【０４４０】
いま、仮に、L画像及びR画像が、プログレッシブの画像である場合と同様に、前処理部１２３が、前処理を行わず、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、そのまま、インターリーブ混合処理部１２４（の水平処理部１３１）に供給する場合に、そのインターリーブ混合処理部１２４によるインターリーブ混合処理によって得られる混合画像について説明する。
【０４４１】
図２３は、L画像及びR画像が、インターレース方式の画像であり、かつ、前処理部１２３が、前処理を行わない場合に、前処理部１２３から、インターリーブ混合処理部１２４の水平処理部１３１に供給され、水平処理の対象となる間引きL画像、及び、間引きR画像のフレームを示す図である。
【０４４２】
間引きL画像のフレームは、間引きL奇数フィールドを奇数フィールドとするとともに、間引きL偶数フィールドを偶数フィールドとするフレームとなる。また、間引きR画像のフレームは、間引きR奇数フィールドを奇数フィールドとするとともに、間引きR偶数フィールドを偶数フィールドとするフレームとなる。
【０４４３】
したがって、この場合、間引きL画像のフレームでは、図２３に示すように、縦（垂直方向）方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されない。
【０４４４】
そして、間引きL画像のフレームでは、図２３に示すように、奇数フィールドには、L奇数フィールドの奇数ライン(LOO)の画素だけで構成されるラインと、L奇数フィールドの偶数ライン(LOE)の画素だけで構成されるラインとが混在し、偶数フィールドには、L偶数フィールドの奇数ライン(LEO)の画素だけで構成されるラインと、L偶数フィールドの偶数ライン(LEE)の画素だけで構成されるラインとが混在する。
【０４４５】
すなわち、間引きL画像のフレームにおいて、第4n+1ライン（上から4n+1（n=0,1,2,・・・）番目の水平ライン）は、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
【０４４６】
同様に、間引きR画像のフレームでも、図２３に示すように、縦方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されない。
【０４４７】
そして、間引きR画像のフレームでは、図２３に示すように、奇数フィールドには、R奇数フィールドの奇数ライン(ROO)の画素だけで構成されるラインと、R奇数フィールドの偶数ライン(ROE)の画素だけで構成されるラインとが混在し、偶数フィールドには、R偶数フィールドの奇数ライン(REO)の画素だけで構成されるラインと、R偶数フィールドの偶数ライン(REE)の画素だけで構成されるラインとが混在する。
【０４４８】
すなわち、間引きR画像のフレームにおいて、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
【０４４９】
図２４は、図２３の間引きL画像、及び、間引きR画像のフレームを対象として、図２０の水平処理部１３１と垂直処理部１３２でそれぞれ行われる水平処理と垂直処理を説明する図である。
【０４５０】
水平処理部１３１（図２０）は、前処理部１２３からの間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２４に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
【０４５１】
ここで、上述したように、間引きL画像のフレームにおいて、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
【０４５２】
また、間引きR画像のフレームにおいて、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
【０４５３】
したがって、水平処理後L画像のフレームでも、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
【０４５４】
同様に、水平処理後R画像のフレームでは、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
【０４５５】
垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
【０４５６】
さらに、垂直処理部１３２は、図２４に示すように、水平処理後L画像のフレームの奇数ラインと、水平処理後R画像のフレームの奇数ラインとを、インターリーブして配置することで、垂直処理後奇数ライン画像（のフレーム）を生成する。
【０４５７】
水平処理後L画像の奇数ラインには、第4n+1ラインと、第4n+3ラインとがあり、上述したように、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、それぞれ構成される。
【０４５８】
また、水平処理後R画像の奇数ラインには、第4n+1ラインと、第4n+3ラインとがあり、上述したように、第4n+1ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+3ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、それぞれ構成される。
【０４５９】
したがって、そのような水平処理後L画像のフレームの奇数ラインと、水平処理後R画像のフレームの奇数ラインとを、インターリーブして配置することで生成される垂直処理後奇数ライン画像のフレームでは、図２４に示すように、第4n+1ラインは、L奇数フィールドの奇数ライン(LOO)の画素だけで、第4n+2ラインは、R奇数フィールドの奇数ライン(ROO)の画素だけで、第4n+3ラインは、L奇数フィールドの偶数ライン(LOE)の画素だけで、第4n+4ラインは、R奇数フィールドの偶数ライン(ROE)の画素だけで、それぞれ構成される。
【０４６０】
また、垂直処理部１３２は、図２４に示すように、水平処理後L画像のフレームの偶数ラインと、水平処理後R画像のフレームの偶数ラインとを、インターリーブして配置することで、垂直処理後偶数ライン画像（のフレーム）を生成する。
【０４６１】
垂直処理後L画像の偶数ラインには、第4n+2ラインと、第4n+4ラインとがあり、上述したように、第4n+2ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+4ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、それぞれ構成される。
【０４６２】
また、水平処理後R画像の偶数ラインには、第4n+2ラインと、第4n+4ラインとがあり、上述したように、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
【０４６３】
したがって、そのような水平処理後L画像のフレームの偶数ラインと、水平処理後R画像のフレームの偶数ラインとを、インターリーブして配置することで生成される垂直処理後偶数ライン画像のフレームでは、図２４に示すように、第4n+1ラインは、L偶数フィールドの奇数ライン(LEO)の画素だけで、第4n+2ラインは、R偶数フィールドの奇数ライン(REO)の画素だけで、第4n+3ラインは、L偶数フィールドの偶数ライン(LEE)の画素だけで、第4n+4ラインは、R偶数フィールドの偶数ライン(REE)の画素だけで、それぞれ構成される。
【０４６４】
垂直処理部１３２は、以上のような垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
【０４６５】
混合部１３３（図２０）は、例えば、図１３で説明したように、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
【０４６６】
したがって、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行わないときには、混合画像の左半分である垂直処理後奇数ライン画像において、奇数フィールド（奇数ライン）には、  L奇数フィールドの奇数ライン(LOO)と、L奇数フィールドの偶数ライン(LOE)とが、交互に並ぶ。
【０４６７】
さらに、混合画像の左半分である垂直処理後奇数ライン画像において、偶数フィールド（偶数ライン）には、R奇数フィールドの奇数ライン(ROO)と、R奇数フィールドの偶数ライン(ROE)とが、交互に並ぶ。
【０４６８】
図２４において、垂直処理後奇数ライン画像の奇数フィールドを構成する、L奇数フィールドの奇数ライン(LOO)、及び、偶数ライン(LOE)のうちの、奇数ライン(LOO)の画素は、斜線が付されていないので、図２１で説明したように、L奇数フィールドの奇数列目の画素であり、偶数ライン(LOE)の画素は、斜線が付されているので、図２１で説明したように、L奇数フィールドの偶数列目の画素である。
【０４６９】
したがって、垂直処理後奇数ライン画像の奇数フィールドを構成する、L奇数フィールドの奇数ライン(LOO)の画素と、偶数ライン(LOE)の画素とは、L奇数フィールドにおいて、横方向（水平方向）の位相（位置）が、1画素分だけずれた画素であり、（空間的な）相関が低い（画素値の変化が連続的でなく、高周波数成分が発生する）。
【０４７０】
同様に、混合画像の左半分である垂直処理後奇数ライン画像の偶数フィールドを構成する、R奇数フィールドの奇数ライン(ROO)の画素と、R奇数フィールドの偶数ライン(ROE)の画素も、R奇数フィールドにおいて、横方向の位相が、1画素分だけずれた画素であり、相関が低い。
【０４７１】
さらに、混合画像の右半分である垂直処理後偶数ライン画像でも、同様である。
【０４７２】
すなわち、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行わないときには、混合画像の右半分である垂直処理後偶数ライン画像において、奇数フィールドには、L偶数フィールドの奇数ライン(LEO)と、L偶数フィールドの偶数ライン(LEE)とが、交互に並び、偶数フィールドには、R偶数フィールドの奇数ライン(REO)と、R偶数フィールドの偶数ライン(REE)とが、交互に並ぶ。
【０４７３】
そして、混合画像の右半分である垂直処理後偶数ライン画像の奇数フィールドを構成する、L偶数フィールドの奇数ライン(LEO)の画素と、L偶数フィールドの偶数ライン(LEE)の画素とは、相関が低く、偶数フィールドを構成する、R偶数フィールドの奇数ライン(REO)の画素と、R偶数フィールドの偶数ライン(REE)の画素も、相関が低い。
【０４７４】
したがって、混合画像を、インターレース方式の画像であるとして、予測符号化を行っても、高い符号化効率を実現することは困難である。
【０４７５】
また、図２３に示したように、間引きL画像、及び、間引きR画像のフレームでは、縦方向に、２画素おきに、２画素が並び、画素は、チェック模様状に配置されないため、画素が、チェック模様状に配置される場合に比較して、空間解像度が劣化する。
【０４７６】
そこで、合成装置１０２（図２０）では、L画像及びR画像が、インターレース方式の画像である場合には、前処理部１２３において、前処理が行われる。
【０４７７】
［前処理］
【０４７８】
図２５は、前処理部１２３が行う前処理を説明する図である。
【０４７９】
前処理部１２３は、図２５に示すように、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールドを、例えば、垂直方向に並べて配置した画像を、間引きL画像のフレームとして構成する処理を、前処理として行う。
【０４８０】
さらに、前処理部１２３は、図２５に示すように、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールドを、例えば、垂直方向に並べて配置した画像を、間引きR画像のフレームとして構成する処理を、前処理として行う。
【０４８１】
そして、前処理部１２３は、前処理の結果得られる間引きL画像、及び、間引きR画像のフレームを、インターリーブ混合処理部１２４に供給する。
【０４８２】
図２５の間引きL画像のフレームでは、上側（上半分）に、間引きL奇数フィールドが、下側（下半分）に、間引きL偶数フィールドが、それぞれ配置されている。同様に、間引きR画像のフレームでは、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置されている。
【０４８３】
図２６は、図２５の間引きL画像、及び、間引きR画像のフレームを対象として、図２０のインターリーブ混合処理部１２４で行われるインターリーブ混合処理である水平処理、垂直処理、及び、混合処理を説明する図である。
【０４８４】
水平処理部１３１（図２０）は、前処理部１２３からの間引きL画像、及び、間引きR画像のフレームそれぞれの画素を、水平方向に詰める横詰めを、水平処理として行うことにより、図２６に示す、水平処理後L画像、及び、水平処理後R画像（のフレーム）を生成し、垂直処理部１３２に供給する。
【０４８５】
ここで、上述したように、前処理で得られる間引きL画像のフレームでは、上側に、間引きL奇数フィールドが、下側に、間引きL偶数フィールドが、それぞれ配置され、前処理で得られる間引きR画像のフレームでは、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置される。
【０４８６】
したがって、水平処理後L画像のフレームでは、図２６に示すように、上側には、L奇数フィールドの奇数ライン(LOO)と偶数ライン(LOE)とが交互に並び、下側には、L偶数フィールドの奇数ライン(LEO)と偶数ライン(LEE)とが交互に並ぶ。
【０４８７】
すなわち、水平処理後L画像のフレームの上側では、奇数ラインが、L奇数フィールドの奇数ライン(LOO)になり、偶数ラインが、L奇数フィールドの偶数ライン(LOE)になる。
【０４８８】
さらに、水平処理後L画像のフレームの下側では、奇数ラインが、L偶数フィールドの奇数ライン(LEO)になり、偶数ラインが、L偶数フィールドの偶数ライン(LEE)になる。
【０４８９】
また、水平処理後R画像のフレームでは、図２６に示すように、上側には、R奇数フィールドの奇数ライン(ROO)と偶数ライン(ROE)とが交互に並んでおり、下側には、R偶数フィールドの奇数ライン(REO)と偶数ライン(REE)とが交互に並んでいる。
【０４９０】
すなわち、水平処理後R画像のフレームの上側では、奇数ラインが、R奇数フィールドの奇数ライン(ROO)になり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)になる。
【０４９１】
また、水平処理後R画像のフレームの下側では、奇数ラインが、R偶数フィールドの奇数ライン(REO)になり、偶数ラインが、R偶数フィールドの偶数ライン(REE)になる。
【０４９２】
垂直処理部１３２（図２０）は、水平処理部１３１からの水平処理後L画像、及び、水平処理後R画像それぞれから、奇数ラインと偶数ラインとを分離する。
【０４９３】
さらに、垂直処理部１３２は、図２６に示すように、水平処理後L画像のフレームの奇数ライン(LOOとLEO)と、水平処理後R画像のフレームの奇数ライン(ROOとREO)とを、インターリーブして配置することで、垂直処理後奇数ライン画像（のフレーム）を生成するとともに、水平処理後L画像のフレームの偶数ライン(LOEとLEE)と、水平処理後R画像のフレームの偶数ライン(ROEとREE)とを、インターリーブして配置することで、垂直処理後偶数ライン画像（のフレーム）を生成する。
【０４９４】
したがって、垂直処理後奇数ライン画像のフレームでは、図２６に示すように、上側に、L奇数フィールドの奇数ライン(LOO)と、R奇数フィールドの奇数ライン(ROO)とが、交互に並び、下側に、L偶数フィールドの奇数ライン(LEO)と、R偶数フィールドの奇数ライン(REO)とが、交互に並ぶ。
【０４９５】
すなわち、垂直処理後奇数ライン画像のフレームの上側では、奇数ラインが、L奇数フィールドの奇数ライン(LOO)となり、偶数ラインが、R奇数フィールドの奇数ライン(ROO)となる。
【０４９６】
さらに、垂直処理後奇数ライン画像のフレームの下側では、奇数ラインが、L偶数フィールドの奇数ライン(LEO)となり、偶数ラインが、R偶数フィールドの奇数ライン(REO)となる。
【０４９７】
一方、垂直処理後偶数ライン画像のフレームでは、図２６に示すように、上側に、L奇数フィールドの偶数ライン(LOE)と、R奇数フィールドの偶数ライン(ROE)とが、交互に並び、下側に、L偶数フィールドの偶数ライン(LEE)と、R偶数フィールドの偶数ライン(REE)とが、交互に並ぶ。
【０４９８】
すなわち、垂直処理後偶数ライン画像のフレームの上側では、奇数ラインが、L奇数フィールドの偶数ライン(LOE)となり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)となる。
【０４９９】
さらに、垂直処理後偶数ライン画像のフレームの下側では、奇数ラインが、L偶数フィールドの偶数ライン(LEE)となり、偶数ラインが、R偶数フィールドの偶数ライン(REE)となる。
【０５００】
垂直処理部１３２は、以上のような垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを、混合部１３３に供給する。
【０５０１】
混合部１３３（図２０）は、例えば、図２６に示すように、図１３の場合と同様に、垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置することで、混合画像（のフレーム）を生成し、エンコーダ３４に供給する。
【０５０２】
したがって、L画像及びR画像が、インターレース方式の画像である場合に、前処理部１２３で前処理を行うときには、混合画像の左半分である垂直処理後奇数ライン画像の上側、つまり、混合画像の左上側の1/4の領域では、図２６に示すように、奇数ラインは、L奇数フィールドの奇数ライン(LOO)となり、偶数ラインは、R奇数フィールドの奇数ライン(ROO)となる。
【０５０３】
また、混合画像の左半分である垂直処理後奇数ライン画像の下側、つまり、混合画像の左下側の1/4の領域では、図２６に示すように、奇数ラインは、L偶数フィールドの奇数ライン(LEO)となり、偶数ラインは、R偶数フィールドの奇数ライン(REO)となる。
【０５０４】
さらに、混合画像の右半分である垂直処理後偶数ライン画像の上側、つまり、混合画像の右上の1/4の領域では、図２６に示すように、奇数ラインが、L奇数フィールドの偶数ライン(LOE)となり、偶数ラインが、R奇数フィールドの偶数ライン(ROE)となる。
【０５０５】
また、混合画像の右半分である垂直処理後偶数ライン画像の下側、つまり、混合画像の右下の1/4の領域では、図２６に示すように、奇数ラインが、L偶数フィールドの偶数ライン(LEE)となり、偶数ラインが、R偶数フィールドの偶数ライン(REE)となる。
【０５０６】
したがって、混合画像の奇数フィールド（奇数ライン）のうちの、左上の1/4領域は、L奇数フィールドの奇数ライン(LOO)の画素のみで、左下の1/4の領域は、L偶数フィールドの奇数ライン(LEO)の画素のみで、右上の1/4の領域は、L奇数フィールドの偶数ライン(LOE)の画素のみで、右下の1/4の領域は、L偶数フィールドの偶数ライン(LEE)の画素のみで、それぞれ構成される。
【０５０７】
また、混合画像の偶数フィールド（偶数ライン）のうちの、左上の1/4の領域は、R奇数フィールドの奇数ライン(ROO)の画素のみで、左下の1/4の領域は、R偶数フィールドの奇数ライン(REO)の画素のみで、右上の1/4の領域は、R奇数フィールドの偶数ライン(ROE)の画素のみで、右下の1/4の領域は、R偶数フィールドの偶数ライン(REE)の画素のみで、それぞれ構成される。
【０５０８】
以上のように、混合画像の奇数フィールド、及び、偶数フィールドでは、左上、左下、右上、及び、右下の４つの領域に分かれて、L画像及びR画像の一方の同一のフィールド（奇数フィールド、又は、偶数フィールド）の同一のライン（奇数ライン、又は、偶数ライン）の画素が集中するので、混合画像を、インターレース方式の画像であるとして、予測符号化を行うことにより、高い符号化効率を実現することができる。
【０５０９】
なお、図２５では、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した画像を、間引きL画像のフレームとして構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した画像を、間引きR画像のフレームとして構成することとしたが、間引きL画像のフレームとしては、間引きL奇数フィールド、及び、間引きL偶数フィールドを、水平方向に並べて配置した画像を採用するとともに、間引きR画像のフレームとして、間引きR奇数フィールド、及び、間引きR偶数フィールドを、水平方向に並べて配置した画像を採用することが可能である。
【０５１０】
但し、この場合、混合部１３３では、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを水平方向に並べて配置する（垂直処理後奇数ライン画像を、左側に配置するとともに、垂直処理後偶数ライン画像を、右側に配置する）ことで、混合画像を生成するのではなく、垂直処理後奇数ライン画像と、垂直処理後偶数ライン画像とを垂直方向に並べて配置することで、混合画像を生成する。
【０５１１】
また、前処理部１２３では、例えば、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像（のフレーム）を構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成することができる。
【０５１２】
さらに、前処理部１２３では、間引きL奇数フィールドの奇数ライン(LOO)のみを集めたL奇数フィールド奇数ライン画像、間引きL奇数フィールドの偶数ライン(LOE)のみを集めたL奇数フィールド偶数ライン画像、間引きL偶数フィールドの奇数ライン(LEO)のみを集めたL偶数フィールド奇数ライン画像、及び、間引きL偶数フィールドの偶数ライン(LEE)のみを集めたL偶数フィールド偶数ライン画像、並びに、間引きR奇数フィールドの奇数ライン(ROO)のみを集めたR奇数フィールド奇数ライン画像、間引きR奇数フィールドの偶数ライン(ROE)のみを集めたR奇数フィールド偶数ライン画像、間引きR偶数フィールドの奇数ライン(REO)のみを集めたR偶数フィールド奇数ライン画像、及び、間引きR偶数フィールドの偶数ライン(REE)のみを集めたR偶数フィールド偶数ライン画像の８つの画像を構成し、その８つの画像を用いて、間引きL画像、及び、間引きR画像を構成することができる。
【０５１３】
ここで、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像を構成するとともに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成する前処理を、第１方式の前処理ともいう。
【０５１４】
また、L奇数フィールド奇数ライン画像、L奇数フィールド偶数ライン画像、L偶数フィールド奇数ライン画像、L偶数フィールド偶数ライン画像、R奇数フィールド奇数ライン画像、R奇数フィールド偶数ライン画像、R偶数フィールド奇数ライン画像、及び、R偶数フィールド偶数ライン画像の８つの画像を構成し、その８つの画像を用いて、間引きL画像、及び、間引きR画像を構成する前処理を、第２方式の前処理ともいう。
【０５１５】
図２７は、第２方式の前処理を説明する図である。
【０５１６】
第２方式の前処理では、前処理部１２３は、間引きL奇数フィールドの奇数ライン(LOO)のみを集めて、L奇数フィールド奇数ライン画像を構成するとともに、間引きL奇数フィールドの偶数ライン(LOE)のみを集めて、L奇数フィールド偶数ライン画像を構成する。
【０５１７】
さらに、前処理部１２３は、間引きL偶数フィールドの奇数ライン(LEO)のみを集めて、L偶数フィールド奇数ライン画像を構成するとともに、間引きL偶数フィールドの偶数ライン(LEE)のみを集めて、L偶数フィールド偶数ライン画像を構成する。
【０５１８】
また、前処理部１２３は、間引きR奇数フィールドの奇数ライン(ROO)のみを集めて、R奇数フィールド奇数ライン画像を構成するとともに、間引きR奇数フィールドの偶数ライン(ROE)のみを集めて、R奇数フィールド偶数ライン画像を構成する。
【０５１９】
さらに、前処理部１２３は、間引きR偶数フィールドの奇数ライン(REO)のみを集めて、R偶数フィールド奇数ライン画像を構成するとともに、間引きR偶数フィールドの偶数ライン(REE)のみを集めて、R偶数フィールド偶数ライン画像を構成する。
【０５２０】
そして、前処理部１２３は、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、垂直方向に並べて配置することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドの奇数ラインのみを配置したLフィールド奇数ライン画像を構成する。
【０５２１】
さらに、前処理部１２３は、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、垂直方向に並べて配置することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドの偶数ラインのみを配置したLフィールド偶数ライン画像を構成する。
【０５２２】
また、前処理部１２３は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、垂直方向に並べて配置することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドの奇数ラインのみを配置したRフィールド奇数ライン画像を構成する。
【０５２３】
さらに、前処理部１２３は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、垂直方向に並べて配置することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドの偶数ラインのみを配置したRフィールド偶数ライン画像を構成する。
【０５２４】
以上のように、前処理部１２３は、間引きL奇数フィールド、及び、間引きL偶数フィールドの奇数ラインのみを配置したLフィールド奇数ライン画像（第１の奇数ラインフィールド）、間引きL奇数フィールド、及び、間引きL偶数フィールドの偶数ラインのみを配置したLフィールド偶数ライン画像（第１の偶数ラインフィールド）、間引きR奇数フィールド、及び、間引きR偶数フィールドの奇数ラインのみを配置したRフィールド奇数ライン画像（第２の奇数ラインフィールド）、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドの偶数ラインのみを配置したRフィールド偶数ライン画像（第２の偶数ラインフィールド）を構成した後、それらのLフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する。
【０５２５】
すなわち、図２８は、Lフィールド奇数ライン画像、及び、Lフィールド偶数ライン画像、並びに、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像を用いて、間引きL画像、及び、間引きR画像を構成する方法を説明する図である。
【０５２６】
前処理部１２３は、Lフィールド奇数ライン画像を、奇数フィールドとし、かつ、Lフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドを並べて配置した画像（図２５）を、間引きL画像（のフレーム）として構成する。
【０５２７】
さらに、前処理部１２３は、Rフィールド奇数ライン画像を、奇数フィールドとし、かつ、Rフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドを並べて配置した画像（図２５）を、間引きR画像（のフレーム）として構成する。
【０５２８】
図２９は、第１方式の前処理を説明するフローチャートである。
【０５２９】
前処理部１２３（図２０）は、間引き部１２２から、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドが供給されると、ステップＳ１０１において、図２５に示したように、間引き部１２２からの間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置することで、間引きL画像（のフレーム）を構成する。
【０５３０】
さらに、ステップＳ１０１では、前処理部１２３は、図２５に示したように、間引き部１２２からの間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置することにより、間引きR画像を構成する。
【０５３１】
そして、前処理部１２３は、間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４に供給する。
【０５３２】
図３０は、第２方式の前処理を説明するフローチャートである。
【０５３３】
前処理部１２３（図２０）は、間引き部１２２から、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドが供給されると、ステップＳ１１１において、図２７に示したように、間引きL奇数フィールドの奇数ライン(LOO)のみを集めて、L奇数フィールド奇数ライン画像(LOO)を構成するとともに、間引きL奇数フィールドの偶数ライン(LOE)のみを集めて、L奇数フィールド偶数ライン画像(LOE)を構成する。
【０５３４】
さらに、前処理部１２３は、図２７に示したように、間引きL偶数フィールドの奇数ライン(LEO)のみを集めて、L偶数フィールド奇数ライン画像(LEO)を構成するとともに、間引きL偶数フィールドの偶数ライン(LEE)のみを集めて、L偶数フィールド偶数ライン画像(LEE)を構成する。
【０５３５】
また、前処理部１２３は、図２７に示したように、間引きR奇数フィールドの奇数ライン(ROO)のみを集めて、R奇数フィールド奇数ライン画像(ROO)を構成するとともに、間引きR奇数フィールドの偶数ライン(ROE)のみを集めて、R奇数フィールド偶数ライン画像(ROE)を構成する。
【０５３６】
さらに、前処理部１２３は、図２７に示したように、間引きR偶数フィールドの奇数ライン(REO)のみを集めて、R偶数フィールド奇数ライン画像(REO)を構成するとともに、間引きR偶数フィールドの偶数ライン(REE)のみを集めて、R偶数フィールド偶数ライン画像(REE)を構成し、処理は、ステップＳ１１１からステップＳ１１２に進む。
【０５３７】
ステップＳ１１２では、前処理部１２３は、図２７に示したように、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、垂直方向に並べて配置することにより、Lフィールド奇数ライン画像を構成する。
【０５３８】
さらに、前処理部１２３は、図２７に示したように、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、垂直方向に並べて配置することにより、Lフィールド偶数ライン画像を構成する。
【０５３９】
また、前処理部１２３は、図２７に示したように、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、垂直方向に並べて配置することにより、Rフィールド奇数ライン画像を構成する。
【０５４０】
さらに、前処理部１２３は、図２７に示したように、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、垂直方向に並べて配置することにより、Rフィールド偶数ライン画像を構成し、処理は、ステップＳ１１２からステップＳ１１３に進む。
【０５４１】
ステップＳ１１３では、前処理部１２３は、図２８に示したように、Lフィールド奇数ライン画像を、奇数フィールドとし、かつ、Lフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きL奇数フィールド、及び、間引きL偶数フィールドを並べて配置した画像（図２５）を、間引きL画像のフレームとして構成する。
【０５４２】
さらに、前処理部１２３は、図２８に示したように、Rフィールド奇数ライン画像を、奇数フィールドとし、かつ、Rフィールド偶数ライン画像を偶数フィールドとするフレームを構成することにより、間引きR奇数フィールド、及び、間引きR偶数フィールドを並べて配置した画像（図２５）を、間引きR画像のフレームとして構成する。
【０５４３】
そして、前処理部１２３は、間引きL画像、及び、間引きR画像を、インターリーブ混合処理部１２４（図２０）に供給する。
【０５４４】
［復号装置の他の一実施の形態］
【０５４５】
図３１は、本発明の画像処理装置を適用した復号装置の他の一実施の形態の構成例を示すブロック図である。
【０５４６】
図３１において、図１６の復号装置と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５４７】
すなわち、図３１の復号装置は、デコーダ６１、及び、3D表示装置６８を有する点で、図１６の場合と共通する。
【０５４８】
但し、図３１の復号装置は、分離部６２、逆垂直処理部６３、逆水平処理部６４、補間部６５、フィルタ部６６、及び、3Dフォーマット変換部６７に代えて、3D画像構成装置１４１を有する点で、図１６の場合と相違する。
【０５４９】
復号装置のデコーダ６１には、図１８の符号化装置が出力する符号化データが供給され、デコーダ６１は、符号化データを、混合画像に復号し、3D画像構成装置１４１に供給する。
【０５５０】
3D画像構成装置１４１は、デコーダ６１からの混合画像から、L画像及びR画像からなる3D画像を構成し、3D表示装置６８に供給する。
【０５５１】
［3D画像構成装置１４１の構成例］
【０５５２】
図３２は、図３１の3D画像構成装置１４１の構成例を示すブロック図である。
【０５５３】
3D画像構成装置１４１は、分解部１５１、後処理部１５２、補間部１５３、フィルタ部１５４、及び、3Dフォーマット変換部１５５を有する。
【０５５４】
分解部１５１は、分離部１６１、逆垂直処理部１６２、及び、逆推定処理部１６３を有し、図２０のインターリーブ混合処理部１２４のインターリーブ混合処理によって得られる、デコーダ６１からの混合画像を、間引きL画像と間引きR画像とに分解する。
【０５５５】
すなわち、デコーダ６１は、そこに供給される符号化データに含まれるセパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグを抽出し、分離部１６１に供給する。
【０５５６】
さらに、デコーダ６１は、セパレートフラグ、及び、バーティカルパターンフラグを、逆垂直処理部１６２に供給する。
【０５５７】
また、デコーダ６１は、エンコーダ３４（図１９）の符号化の方式と同一の方式で、符号化データを復号し、その結果得られる混合画像、すなわち、図２０のインターリーブ混合処理部１２４のインターリーブ混合処理によって得られる混合画像を、分離部１６１に供給する。
【０５５８】
分離部１６１は、図１６の分離部６２と同様に、セパレートフラグ、バーティカルパターンフラグ、及び、アレンジパターンフラグに従い、デコーダ６１からの混合画像を、複数の垂直処理後画像に分離する分離処理を行い、その結果得られる複数の垂直処理後画像を、逆垂直処理部１６２に供給する。
【０５５９】
逆垂直処理部１６２は、図１６の逆垂直処理部６３と同様に、分離部１６１からの複数の垂直処理後画像を、水平処理後L画像、及び、水平処理後R画像に戻す逆垂直処理を行い、その結果得られる水平処理後L画像、及び、水平処理後R画像を、逆水平処理部１６３に供給する。
【０５６０】
ここで、図１９の符号化装置からの符号化データに含まれるセパレートフラグ、及び、バーティカルパターンフラグは、上述したように、それぞれ、ライン分離、及び、インタリーブ配置を表しており、混合画像は、複数の垂直処理後画像としての垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の２つの画像を、図２６で説明したように、水平方向に並べた画像になっている。
【０５６１】
この場合、分離部１６１は、デコーダ６１から供給されるセパレートフラグ、及び、バーティカルパターンフラグに従い、デコーダ６１からの混合画像から、図２６に示したように並べられた垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像を分離し、逆垂直処理部１６２に供給する。
【０５６２】
逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の一部のラインを合成し、水平処理後L画像を復号するとともに、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像の残りのラインを合成し、水平処理後R画像を復号する。
【０５６３】
すなわち、図２６で説明したように、垂直処理後奇数ライン画像は、水平処理後L画像のフレームの奇数ライン（LOO及びLEO）と、水平処理後R画像のフレームの奇数ライン（ROO及びREO）とを、インターリーブして配置した画像になっている。
【０５６４】
同様に、垂直処理後偶数ライン画像は、水平処理後L画像のフレームの偶数ライン（LOE及びLEE）と、水平処理後R画像のフレームの偶数ライン（ROE及びREE）とを、インターリーブして配置した画像になっている。
【０５６５】
逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後L画像の奇数ライン（LOO及びLEO）、及び、偶数ライン（LOE及びLEE）を抽出し、その奇数ライン（LOO及びLEO）、及び、偶数ライン（LOE及びLEE）を、元の配置に戻すことで、水平処理後L画像（のフレーム）を復号する。
【０５６６】
さらに、逆垂直処理部１６２は、分離部１６１からの垂直処理後奇数ライン画像、及び、垂直処理後偶数ライン画像それぞれから、水平処理後R画像の奇数ライン（ROO及びREO）、及び、偶数ライン（ROE及びREE）を抽出し、その奇数ライン（ROO及びREO）、及び、偶数ライン（ROE及びREE）を、元の配置に戻すことで、水平処理後R画像（のフレーム）を復号する。
【０５６７】
逆水平処理部１６３は、図１６の逆水平処理部６４と同様に、逆垂直処理部１６２からの水平処理後L画像、及び、水平処理後R画像を、間引きL画像、及び、間引きR画像に戻す逆水平処理を行い、その結果得られる間引きL画像、及び、間引きR画像を、後処理部１５２に供給する。
【０５６８】
ここで、以上のように、セパレートフラグ、及び、バーティカルパターンフラグが、それぞれ、ライン分離、及び、インタリーブ配置を表している場合に、分離部１６１、逆垂直処理部１６２、及び、逆水平処理部１６３でそれぞれ行われる分離処理、逆垂直処理、及び、逆水平処理を、以下、まとめて、インターリーブ分解処理ともいう。
【０５６９】
分解部１５１（の分離部１６１、逆垂直処理部１６２、及び、逆水平処理部１６３）でのインターリーブ分解処理の結果得られる得られる間引きL画像（のフレーム）は、図２５で説明したように、上側に、間引きL奇数フィールドが、下側に、間引きL偶数フィールドが、それぞれ配置された画像になっている。
【０５７０】
また、インターリーブ分解処理の結果得られる間引きR画像（のフレーム）は、上側に、間引きR奇数フィールドが、下側に、間引きR偶数フィールドが、それぞれ配置された画像になっている。
【０５７１】
後処理部１５２は、分解部１５１（の逆水平処理部１６３）からの間引きL画像（のフレーム）を、間引きL奇数フィールドと、間引きL偶数フィールドとに戻すとともに、分解部１５１からの間引きR画像（のフレーム）を、間引きR奇数フィールドと、間引きR偶数フィールドとに戻す後処理を行う。
【０５７２】
なお、後処理部１５２が行う後処理としては、第１方式の前処理の、いわば逆の処理である第１方式の後処理と、第２方式の前処理の逆の処理である第２方式の後処理とがある。
【０５７３】
後処理部１５２は、後処理によって得られる間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
【０５７４】
補間部１５３は、図１６の補間部６５と同様に、後処理部１５２からの間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドのそれぞれに対して、図２０の間引き部１２２で間引かれた画素を補間し、その結果得られる画像を、それぞれ、補間L奇数フィールド、及び、補間L偶数フィールド、並びに、補間R奇数フィールド、及び、補間R偶数フィールドとして、フィルタ部１５４に供給する。
【０５７５】
フィルタ部１５４は、図１６のフィルタ部６６と同様に、補間L奇数フィールド、及び、補間L偶数フィールド、並びに、補間R奇数フィールド、及び、補間R偶数フィールドのそれぞれをフィルタリングすることにより、L奇数フィールド、及び、L偶数フィールド、並びに、R奇数フィールド、及び、R偶数フィールド（図２２）を復号する。
【０５７６】
そして、フィルタ部１５４は、L奇数フィールド、及び、L偶数フィールドを、それぞれ奇数フィールド、及び、偶数フィールドとするインターレース方式のL画像と、R奇数フィールド、及び、R偶数フィールドを、それぞれ奇数フィールド、及び、偶数フィールドとするインターレース方式のR画像とを、3Dフォーマット変換部１５５に供給する。
【０５７７】
3Dフォーマット変換部１５５は、図１６の3Dフォーマット変換部６７と同様に、フィルタ部１５４からのL画像、及び、R画像（の画像データ）を、後段の3D表示装置６８が3D画像を表示するのに対応したフォーマットの信号に変換し、3D表示装置６８に供給する。
【０５７８】
［後処理］
【０５７９】
図３３は、第１方式の後処理を説明するフローチャートである。
【０５８０】
後処理部１５２は、分解部１５１（の逆水平処理部１６３）から、図２５に示した、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した間引きL画像（のフレーム）と、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した間引きR画像とが供給されると、ステップＳ１３１において、分解部１５１からの間引きL画像を、垂直方向に二分して（分離して）、間引きL奇数フィールド、及び、間引きL偶数フィールドを復号する。
【０５８１】
さらに、後処理部１５２は、分解部１５１からの間引きR画像を、垂直方向に二分して、間引きR奇数フィールド、及び、間引きR偶数フィールドを復号する。
【０５８２】
そして、後処理部１５２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
【０５８３】
図３４は、第２方式の後処理を説明するフローチャートである。
【０５８４】
後処理部１５２は、分解部１５１から、図２５に示した、間引きL奇数フィールド、及び、間引きL偶数フィールドを、垂直方向に並べて配置した間引きL画像（のフレーム）と、間引きR奇数フィールド、及び、間引きR偶数フィールドを、垂直方向に並べて配置した間引きR画像とが供給されると、ステップＳ１４１において、分解部１５１からの間引きL画像のフレームを、図２８に示した、奇数フィールドであるLフィールド奇数ライン画像と、偶数フィールドであるLフィールド偶数ライン画像とに分離する。
【０５８５】
さらに、後処理部１５２は、分解部１５１からの間引きR画像のフレームを、図２８に示した、奇数フィールドであるRフィールド奇数ライン画像と、偶数フィールドであるRフィールド偶数ライン画像とに分離する。
【０５８６】
そして、処理は、ステップＳ１４１からステップＳ１４２以降に順次進み、後処理部１５２は、Lフィールド奇数ライン画像（第１の奇数ラインフィールド）、及び、Lフィールド偶数ライン画像（第１の偶数ラインフィールド）を、間引きL奇数フィールド（第１の間引き奇数フィールド）、及び、間引きL偶数フィールド（第１の間引き偶数フィールド）に戻すとともに、Rフィールド奇数ライン画像（第２の奇数ラインフィールド）、及び、Rフィールド偶数ライン画像（第２の偶数ラインフィールド）を、間引きR奇数フィールド（第２の間引き奇数フィールド）、及び、間引きR偶数フィールド（第２の間引き偶数フィールド）に戻す。
【０５８７】
すなわち、ステップＳ１４２では、後処理部１５２は、Lフィールド奇数ライン画像、Lフィールド偶数ライン画像、Rフィールド奇数ライン画像、及び、Rフィールド偶数ライン画像から、図２７のL奇数フィールド奇数ライン画像、L奇数フィールド偶数ライン画像、L偶数フィールド奇数ライン画像、L偶数フィールド偶数ライン画像、R奇数フィールド奇数ライン画像、R奇数フィールド偶数ライン画像、R偶数フィールド奇数ライン画像、及び、R偶数フィールド偶数ライン画像を復号する。
【０５８８】
ここで、図２８で説明したように、Lフィールド奇数ライン画像は、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを、Lフィールド偶数ライン画像は、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを、Rフィールド奇数ライン画像は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを、Rフィールド偶数ライン画像は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを、それぞれ、垂直方向に並べて配置した画像になっている。
【０５８９】
そこで、後処理部１５２は、Lフィールド奇数ライン画像を、垂直方向に二分して、L奇数フィールド奇数ライン画像(LOO)と、L偶数フィールド奇数ライン画像(LEO)とを復号するとともに、Lフィールド偶数ライン画像を、垂直方向に二分して、L奇数フィールド偶数ライン画像(LOE)と、L偶数フィールド偶数ライン画像(LEE)とを復号する。
【０５９０】
さらに、後処理部１５２は、Rフィールド奇数ライン画像を、垂直方向に二分して、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)とを復号するとともに、Rフィールド偶数ライン画像を、垂直方向に二分して、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)とを復号する。
【０５９１】
その後、処理は、ステップＳ１４２からステップＳ１４３に進み、後処理部１５２は、L奇数フィールド奇数ライン画像(LOO)と、L奇数フィールド偶数ライン画像(LOE)との各ライン（水平ライン）を、インターリーブして配置し、図２７の間引きL奇数フィールドを復号する。
【０５９２】
さらに、後処理部１５２は、L偶数フィールド奇数ライン画像(LEO)と、L偶数フィールド偶数ライン画像(LEE)との各ラインを、インターリーブして配置し、図２７の間引きL偶数フィールドを復号する。
【０５９３】
また、後処理部１５２は、R奇数フィールド奇数ライン画像(ROO)と、R偶数フィールド奇数ライン画像(REO)との各ラインを、インターリーブして配置し、図２７の間引きR奇数フィールドを復号する。
【０５９４】
さらに、後処理部１５２は、R奇数フィールド偶数ライン画像(ROE)と、R偶数フィールド偶数ライン画像(REE)との各ラインを、インターリーブして配置して、図２７の間引きR偶数フィールドを復号する。
【０５９５】
そして、後処理部１５２は、間引きL奇数フィールド、及び、間引きL偶数フィールド、並びに、間引きR奇数フィールド、及び、間引きR偶数フィールドを、補間部１５３に供給する。
【０５９６】
以上のように、L画像及びR画像が、インターレース方式の画像である場合には、符号化装置（図２０）において、L画像の奇数フィールド（L奇数フィールド）、及び、偶数フィールド（L偶数フィールド）、並びに、R画像の奇数フィールド（R奇数フィールド）、及び、偶数フィールド（R偶数フィールド）の画素の間引き後に、前処理を施してから、インターリーブ混合処理を行うとともに、復号装置（図３２）において、インターリーブ分解処理後に、後処理を行ってから、画素が間引かれたL奇数フィールド（間引きL奇数フィールド）、及び、L偶数フィールド（間引きL偶数フィールド）、並びに、R奇数フィールド（間引きR奇数フィールド）、及び、R偶数フィールド（間引きR偶数フィールド）の補間を行うことで、インターレース方式の3D画像について、空間解像度の劣化を防止しつつ、高い符号化効率を実現することができる。
【０５９７】
［本発明を適用したコンピュータの説明］
【０５９８】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５９９】
そこで、図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０６００】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
【０６０１】
あるいはまた、プログラムは、リムーバブル記録媒体２１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０６０２】
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク２０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０６０３】
コンピュータは、CPU(Central Processing Unit)２０２を内蔵しており、CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されている。
【０６０４】
CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、入力部２０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、CPU２０２は、ハードディスク２０５に格納されたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。
【０６０５】
これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
【０６０６】
なお、入力部２０７は、キーボードや、マウス、マイク等で構成される。また、出力部２０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０６０７】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０６０８】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０６０９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０６１０】
１１  フィルタ部，  １１Ｌ，１１Ｒ  フィルタ，  １２，１２Ｌ，１２Ｒ  間引き部，  １３  混合部，  １４  エンコーダ，  ２１  デコーダ，  ２２  3D表示装置，  ３１，３１Ｌ，３１Ｒ  水平処理部，  ３２  垂直処理部，  ３２Ｌ，３２Ｒ  分離部，  ３３  混合部，  ３４  エンコーダ，  ３５  制御部，  ４１  A/D変換部，  ４２  画像並べ替えバッファ，  ４３  演算部，  ４４  直交変換部，  ４５  量子化部，  ４６  可逆符号化部，  ４７  蓄積バッファ，  ４８  レート制御部，  ４９  着量子化部，  ５０  逆直交変換部，  ５１  演算部，  ５２  デブロックフィルタ，  ５３  フレームメモリ，  ５４  イントラ予測部，  ５５  動き予測／動き補償部，  ６１  デコーダ，  ６２  分離部，  ６３  逆垂直処理部，  ６３Ｌ，６３Ｒ  合成部，  ６４，６４Ｌ，６４Ｒ  逆水平処理部，  ６５，６５Ｌ，６５Ｒ  補間部，  ６６  フィルタ部，  ６６Ｌ，６６Ｒ  フィルタ，  ６７  3Dフォーマット変換部，  ６８  3D表示装置，  ７１  蓄積バッファ，  ７２  可逆符号復号部，  ７３  逆量子化部，  ７４  逆直交変換部，  ７５  演算部，  ７６  デブロックフィルタ，  ７７  フレームメモリ，  ７８  イントラ予測部，  ７９  動き予測／動き補償部，  ８０  画像並べ替えバッファ，  ８１  D/A変換部，  １０１Ｌ，１０１Ｒ  撮像装置，  １０２  合成装置，  １２１  フィルタ部，  １２２  間引き部，  １２３  前処理部，  １２４  インターリーブ混合処理部，  １２５  制御部，  １３１  水平処理部，  １３２  垂直処理部，  １３３  混合部，  １４１  3D画像構成装置，  １５１  分解部，  １５２  後処理部，  １５３  補間部，  １５４  フィルタ部，  １５５  3Dフォーマット変換部，  １６１  分離部，  １６２  着垂直処理部，  １６３  逆水平処理部，  ２０１  バス，  ２０２  CPU，  ２０３  ROM，  ２０４  RAM，  ２０５  ハードディスク，  ２０６  出力部，  ２０７  入力部，  ２０８  通信部，  ２０９  ドライブ，  ２１０  入出力インタフェース，  ２１１  リムーバブル記録媒体
【図１】
2011030184.tif 000003
【図２】
2011030184.tif 000004
【図３】
2011030184.tif 000005
【図４】
2011030184.tif 000006
【図５】
2011030184.tif 000007
【図６】
2011030184.tif 000008
【図７】
2011030184.tif 000009
【図８】
2011030184.tif 000010
【図９】
2011030184.tif 000011
【図１０】
2011030184.tif 000012
【図１１】
2011030184.tif 000013
【図１２】
2011030184.tif 000014
【図１３】
2011030184.tif 000015
【図１４】
2011030184.tif 000016
【図１５】
2011030184.tif 000017
【図１６】
2011030184.tif 000018
【図１７】
2011030184.tif 000019
【図１８】
2011030184.tif 000020
【図１９】
2011030184.tif 000021
【図２０】
2011030184.tif 000022
【図２１】
2011030184.tif 000023
【図２２】
2011030184.tif 000024
【図２３】
2011030184.tif 000025
【図２４】
2011030184.tif 000026
【図２５】
2011030184.tif 000027
【図２６】
2011030184.tif 000028
【図２７】
2011030184.tif 000029
【図２８】
2011030184.tif 000030
【図２９】
2011030184.tif 000031
【図３０】
2011030184.tif 000032
【図３１】
2011030184.tif 000033
【図３２】
2011030184.tif 000034
【図３３】
2011030184.tif 000035
【図３４】
2011030184.tif 000036
【図３５】
2011030184.tif 000037