(57)【要約】【課題】  符号化に共有するメモリへのアクセスの集中を緩和する。【解決手段】  左眼用画像符号化部（１０１）は左眼用映像信号を画面内符号化、画面間順方向予測符号化及び画面間双方向予測符号化の何れかで符号化する。右眼用画像符号化部（１０２）は右眼用映像信号を画面内符号化、画面間順方向予測符号化及び画面間双方向予測符号化の何れかで符号化する。左眼用画像符号化部（１０１）及び右眼用画像符号化部（１０２）は、メモリＩ／Ｆ１０３を介してメモリ１０４を共有する。ピクチャタイプ制御部（１０５）は、左眼用画像符号化部（１０１）及び右眼用画像符号化部（１０２）における符号化のピクチャタイプを、画面間双方向予測符号化のタイミングが同時にならないように制御する。【選択図】  図１
2011109350.tif 000002
【特許請求の範囲】
【請求項１】
左眼用映像信号と右眼用映像信号を符号化する立体映像符号化装置であって、
左眼用映像信号を符号化する左眼用画像符号化手段と、
右眼用映像信号を符号化する右眼用画像符号化手段と、
前記左眼用画像符号化手段及び前記右眼用画像符号化手段により共有され、符号化に伴うデータを記憶するメモリ手段と、
前記左眼用画像符号化手段及び前記右眼用画像符号化手段における符号化のピクチャタイプを、画面内符号化、画面間順方向予測符号化及び画面間双方向予測符号化の何れかに制御するピクチャタイプ制御手段
とを有し、
前記ピクチャタイプ制御手段は、前記左眼用画像符号化手段及び前記右眼用画像符号化手段において画面間双方向予測符号化のタイミングが同時にならないように前記ピクチャタイプを制御する
ことを特徴とする立体映像符号化装置。
【請求項２】
前記ピクチャタイプ制御手段は、前記左眼用画像符号化手段及び前記右眼用画像符号化手段で発生するそれぞれの符号化映像データのＧＯＰ構造を異ならせるよう制御することを特徴とする請求項１に記載の立体映像符号化装置。
【請求項３】
前記ピクチャタイプ制御手段は、前記左眼用画像符号化手段及び前記右眼用画像符号化手段で発生するそれぞれの符号化映像データのＧＯＰ構造が同じである場合、前記左眼用画像符号化手段及び前記右眼用画像符号化手段のうち、一方の符号化タイミングを所定画面分遅延させるよう制御することを特徴とする請求項１に記載の立体映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像符号化装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２５２８５９号公報
【０００４】
従来、２眼式立体映像テレビにおいては、２台のカメラにより異なる２方向から撮像された左眼用画像と右眼用画像を生成し、これを同一画面に合成して表示することで立体映像として表示する。このような立体映像を記録する場合、左眼用画像と右眼用画像をそれぞれ記録するのでは、従来の２倍のデータ量となってしまう。
【０００５】
全体のデータ量を削減する方法として、副画像（例えば、右眼用画像）を主画像（例えば、左眼用画像）との視点間の冗長度を利用した視差補償予測を用いる圧縮符号化を行うことが提案されている（特許文献１）。主画像は、動き補償予測で符号化される。副画像には、視差補償予測と動き補償予測の両方を適用可能であり、視差補償予測と動き補償予測の予測精度の評価値を算出し、その評価値に応じて、視差補償予測か動き補償予測かを決定する。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
２眼式立体映像の左眼用画像と右眼用画像を符号化する場合、従来の２倍に相当する処理を必要とする。各画像の符号化に伴う参照用画像を格納するメモリを共有する場合、そのメモリに必要とされる伝送帯域幅も高くなる。左眼用画像と右眼用画像で画面間双方向予測符号化を同時に処理する場合が最もメモリアクセスが集中し、それに応じた周波数の高いクロックでメモリアクセスを行う必要がある。これは、消費電力の観点からも好ましくない。
【０００７】
本発明は、このような不都合を緩和する立体映像符号化装置を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る立体映像符号化装置は、左眼用映像信号と右眼用映像信号を符号化する立体映像符号化装置であって、左眼用映像信号を符号化する左眼用画像符号化手段と、右眼用映像信号を符号化する右眼用画像符号化手段と、前記左眼用画像符号化手段及び前記右眼用画像符号化手段により共有され、符号化に伴うデータを記憶するメモリ手段と、前記左眼用画像符号化手段及び前記右眼用画像符号化手段における符号化のピクチャタイプを、画面内符号化、画面間順方向予測符号化及び画面間双方向予測符号化の何れかに制御するピクチャタイプ制御手段とを有し、前記ピクチャタイプ制御手段は、前記左眼用画像符号化手段及び前記右眼用画像符号化手段において画面間双方向予測符号化のタイミングが同時にならないように前記ピクチャタイプを制御することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、左眼用画像符号化と右眼用画像符号化において画面間双方向予測符号化が同時にならないようにピクチャタイプを制御することで、メモリ手段へのアクセスを緩和出来る。例えば、より低周波数のクロックでメモリを駆動することが可能となり、符号化における消費電力の低減が期待できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施例である立体映像符号化装置の概略構成ブロック図である。
【図２】左眼用画像符号化部（及び右眼用画像符号化部）の概略構成ブロック図である。
【図３】左眼用画像及び右眼用画像のＧＯＰ構造を示す図である。
【図４】本発明の第２実施例の概略構成ブロック図である。
【図５】第２実施例での左眼用画像及び右眼用画像の符号化タイミング例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明の一実施例である立体映像符号化装置の概略構成ブロック図を示す。左眼用映像信号を符号化する左眼用画像符号化部１０１と、右眼用映像信号を符号化する右眼用画像符号化部１０２は、メモリＩ／Ｆ１０３を介してメモリ１０４を共有している。メモリ１０４には符号化に伴うデータが一時的に記憶される。メモリＩ／Ｆ１０３は、左眼用画像符号化部１０１及び右眼用画像符号化部１０２からのメモリアクセスを調停してメモリ１０４への読み出し及び書き込みを行う。左眼用画像符号化部１０１と右眼用画像符号化部１０２は、符号化におけるピクチャタイプを制御するピクチャタイプ制御部１０５からの指示に従うピクチャタイプで、それぞれ左眼用画像及び右眼用画像を符号化する。本実施例では、ピクチャタイプは、画面内符号化ピクチャ（Ｉピクチャ）、画面間順方向予測符号化ピクチャ（Ｐピクチャ）及び画面間双方向予測符号化（Ｂピクチャ）の３種類からなる。
【００１３】
左眼用画像符号化部１０１と右眼用画像符号化部１０２は、ＭＰＥＧ−４  ＡＶＣ（ISO/IEC 14496-10）方式に対応し、同じ構成からなる。図２は、左眼用画像符号化部１０１及び右眼用画像符号化部１０２の概略構成ブロック図を示す。図２に示す画像符号化部は、符号化対象画面を１６×１６画素ブロックに分割したマクロブロック単位で処理する。
【００１４】
予測方法決定部２０１は、ピクチャタイプ制御部１０５から指示されたピクチャタイプに応じた符号化対象画面内の各マクロブロックに対する予測方法を決定する。具体的には、予測方法決定部２０１は、入力映像信号とメモリ１０４から読み出した符号化済み画素値とから簡易的な画面内予測又は動き検出を含む画面間予測処理を行い、符号化効率が最適となる予測方式を決定する。符号化対象マクロブロックがＩスライスの場合、画面内予測画素ブロックサイズ及び予測モードを決定する。Ｐスライス又はＢスライスの場合には、画面内予測又は画面間予測の内、符号化効率の高い方を選択する。そして、画面間予測の場合には画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。画面間予測の場合には、参照画像フレーム、マクロブロック分割パターン、及び動きベクトル等の画面間予測符号化用パラメータを決定する。
【００１５】
予測処理部２０２は、予測方法決定部２０１により指定される予測符号化用パラメータに応じて、メモリ１０４からの符号化済み画像から予測画像を生成し、局所復号化部２０４に出力する。予測処理部２０２はまた、符号化対象画像（画素ブロック）と予測画像との差分となる予測残差信号を生成し、直交変換量子化部２０３に出力する。
【００１６】
直交変換量子化部２０３は、指定された画素ブロック単位（８×８画素又は、４×４画素ブロック単位）で整数精度離散コサイン変換及び離散アダマール変換による直交変換処理を行う。離散アダマール変換は、特定の整数精度離散コサイン変換で得られる直流（ＤＣ）成分に適用される。輝度成分については、１６×１６画素ブロック単位で画面内予測処理が行われた場合の直流（ＤＣ）成分に適用される。色差信号については、各画素ブロックを整数精度離散コサイン変換した結果のＤＣ（直流）成分に適用される。
【００１７】
直交変換量子化部２０３は、直交変換で得られた変換係数を、指定された量子化パラメータに応じた量子化ステップで量子化し、量子化変換係数データをエントロピー符号化部２０５と局所復号化部２０４に供給する。
【００１８】
局所復号化部２０４は、直交変換量子化部２０３からの量子化変換係数データを逆量子化及び逆直交変換し、予測処理部２０２からの予測画像データを加算して、局所復号化する。こうして復号化された画像データは、メモリ１０４に格納される。メモリ１０４に格納された画像データは、以降の画面内予測処理に利用される。更に、復号化されデブロッキングフィルタ処理が施された画像データも、メモリ１０４に格納され、以降の画面間予測処理に利用される。
【００１９】
エントロピー符号化部２０５は、直交変換量子化部２０３からの量子化変換係数データをエントロピー符号化する。エントロピー符号化には、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：Context-based Adaptive Variable Length Coding）等がある。他に、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Coding）を採用しても良い。エントロピー符号化部２０５による符号化データは、多重化処理部２０６に供給される。
【００２０】
多重化処理部２０６は、エントロピー符号化部２０５からの符号化映像データに、図示しないシステムデータ（スライスヘッダ等）を多重化し、符号化データとして出力する。
【００２１】
Ｉピクチャ、Ｐピクチャ及びＢピクチャの内、２枚のピクチャを参照可能なＢピクチャによる符号化処理が、メモリ１０４に対するメモリアクセスが最も多い。例えば、図３（ａ）に示すように、左眼用画像と右眼用画像とで同様のＧＯＰ（Group Of Pictures）構造で符号化する場合を考える。そして、Ｉピクチャの符号化に伴うメモリ１０４へのデータ伝送量に対し、Ｐピクチャの符号化に伴うデータ伝送量が２倍、Ｂピクチャの符号化に伴うデータ伝送量が４倍であると仮定する。図３（ａ）の下のグラフに示すように、Ｂピクチャの符号化処理タイミングでのメモリアクセスが極端に集中する。
【００２２】
そこで、ピクチャタイプ制御部１０５は、Ｂピクチャによる符号化処理が左眼用画像と右眼用画像とで同時に発生しないようなＧＯＰ構造でピクチャタイプを制御する。図３（ｂ）は、ピクチャタイプ制御部１０５により制御される左眼用画像と右眼用画像のＧＯＰ構造の一例を示す。この例では、右眼用画像の３フレーム目にＰピクチャを配置することで、左眼用画像と右眼用画像とで同時にＢピクチャ符号化タイミングにならないようにしている。
【００２３】
このように、左眼用画像と右眼用画像とで異なるＧＯＰ構造で符号化することで、符号化におけるメモリアクセスを平準化できる。すなわち、図３（ｂ）の下のグラフに示すように、図３（ａ）に対してメモリ１０４に要求される最大伝送帯域を抑えることが可能となる。
【実施例２】
【００２４】
図４は、本発明の第２実施例の概略構成ブロック図を示す。左眼用画像を符号化する左眼用画像符号化部４０１と、右眼用画像を符号化する右眼用画像符号化部４０２は、メモリＩ／Ｆ４０３を介してメモリ４０４を共有している。メモリＩ／Ｆ４０３は、左眼用画像符号化部４０１及び右眼用画像符号化部４０２からのメモリアクセスを調停してメモリ４０４への読み出し及び書き込みを行う。左眼用画像符号化部４０１と右眼用画像符号化部４０２は、符号化におけるピクチャタイプを制御するピクチャタイプ制御部４０５からの指示に従うピクチャタイプで、それぞれ左眼用画像及び右眼用画像を符号化する。本実施例では、ピクチャタイプは、画面内符号化ピクチャ（Ｉピクチャ）、画面間順方向予測符号化ピクチャ（Ｐピクチャ）及び画面間双方向予測符号化（Ｂピクチャ）の３種類からなる。
【００２５】
左眼用画像符号化部４０１及び右眼用画像符号化部４０２の詳細は、左眼用画像符号化部１０１及び右眼用画像符号化部１０２と同じであるので、説明を省略する。
【００２６】
ピクチャタイプ制御部４０５は、Ｂピクチャによる符号化処理が左眼用画像と右眼用画像とで同時に発生しないように、以下に説明するように左眼用画像符号化部４０１及び右眼用画像符号化部４０２を制御する。
【００２７】
図５は、左眼用画像符号化と右眼用画像符号化のＧＯＰ構造が同じである場合において、ピクチャタイプ制御部４０５による左眼用画像と右眼用画像の符号化処理タイミング例を示す。この例では、右眼用画像の符号化タイミングを１画面分遅延させている。これにより、左眼用画像と右眼用画像とでＢピクチャの符号化タイミングが同時になることがない。なお、上記１画面分の遅延以外に、左眼用画像符号化および右眼用画像符号化の一方の符号化タイミングを３画面や５画面といった所定画面分遅延させるようにして制御しても良い。
【００２８】
このように左眼用画像と右眼用画像とで異なるタイミングで符号化することで符号化におけるメモリアクセスを平準化できる。図５の下のグラフに示すように、図３（ａ）に対してメモリ１０４に要求される最大伝送帯域を抑えることが可能となる。
【符号の説明】
【００２９】
１０１：左眼用画像符号化部
１０２：右眼用画像符号化部
１０４：メモリ
１０５：ピクチャタイプ制御部
【図１】
2011109350.tif 000003
【図２】
2011109350.tif 000004
【図３】
2011109350.tif 000005
【図４】
2011109350.tif 000006
【図５】
2011109350.tif 000007