(57)【要約】【課題】３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録する画像符号化装置を提供する。【解決手段】画像符号化装置１００は、３Ｄ再生される際に、立体視用の映像が２Ｄ映像として再生されるように、立体視用の映像を符号化する２Ｄ符号化モードと、立体視用の映像が３Ｄ映像として再生されるように、立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する制御部１２０と、制御部１２０が３Ｄ符号化モードから２Ｄ符号化モードに切り替える場合、３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた３Ｄ用の符号化規格によって立体視用の映像を符号化する符号化部１１０とを備える。【選択図】図２Ａ
2012034356.tif 000002
【特許請求の範囲】
【請求項１】
立体視用の映像を符号化する画像符号化装置であって、
符号化された前記立体視用の映像が復号化されて３Ｄ再生される際に、前記立体視用の映像が２Ｄ映像として再生されるように、前記立体視用の映像を符号化する２Ｄ符号化モードと、前記立体視用の映像が３Ｄ映像として再生されるように、前記立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する制御部と、
前記制御部が前記３Ｄ符号化モードから前記２Ｄ符号化モードに切り替える場合、前記３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって前記立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、前記立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた前記３Ｄ用の符号化規格によって前記立体視用の映像を符号化する符号化部と、
を備える画像符号化装置。
【請求項２】
前記制御部は、符号化された前記立体視用の映像が復号化されて３Ｄ再生される際における視聴者の疲労度に関連する画像特徴量に基づいて、前記符号化モードを設定する
請求項１に記載の画像符号化装置。
【請求項３】
前記制御部は、
前記立体視用の映像に含まれる画素データに基づいて、前記画像特徴量を検出する検出部と、
前記検出部によって検出された画像特徴量に基づいて前記符号化モードを設定し、前記符号化モードとして前記２Ｄ符号化モードを設定する場合には、前記符号化条件を決定する条件決定部とを備える
請求項２に記載の画像符号化装置。
【請求項４】
前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像間の視差を前記画像特徴量として検出する
請求項３に記載の画像符号化装置。
【請求項５】
前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの少なくとも一方の時間軸方向の動き量を前記画像特徴量として検出する
請求項３に記載の画像符号化装置。
【請求項６】
前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの少なくとも一方に適用される量子化パラメータを前記画像特徴量として検出する
請求項３に記載の画像符号化装置。
【請求項７】
前記条件決定部は、
前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像が他方の映像に置き換えられることを前記符号化条件として決定し、
前記符号化部は、当該符号化条件にしたがって前記一方の映像を他方の映像に置き換え、置き換えが行われた前記２つの映像を前記３Ｄ用の符号化規格によって符号化する
請求項３〜６のうちの何れか１項に記載の画像符号化装置。
【請求項８】
前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像は、第１視点の第１視点画像を含み、前記２つの映像のうちの他方の映像は、前記第１視点とは異なる第２視点の第２視点画像を含み、
前記条件決定部は、
前記２Ｄ符号化モードを設定する場合、前記３Ｄ符号化モードを設定する場合よりも、前記第１視点画像と前記第２視点画像とが同一に近づいて符号化されるように前記符号化条件を決定する
請求項３〜６のうちの何れか１項に記載の画像符号化装置。
【請求項９】
前記条件決定部は、前記２Ｄ符号化モードを設定する場合、
前記第１視点画像を第１参照リストの所定の参照インデックスに設定し、前記第２視点画像に含まれるマクロブロックの符号化条件として、参照画像が前記参照インデックスに設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差が０となる符号化条件を決定する
請求項８に記載の画像符号化装置。
【請求項１０】
前記条件決定部は、前記２Ｄ符号化モードを設定する場合、
前記第１視点画像を第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＰピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する
請求項８に記載の画像符号化装置。
【請求項１１】
前記条件決定部は、前記２Ｄ符号化モードを設定する場合、
前記第１視点画像を第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる複数のマクロブロックのうち、周辺のマクロブロックの情報が利用できない第１マクロブロックの符号化条件として、参照画像が参照インデックス０番に設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差が０となる符号化条件を決定し、かつ、前記第２視点画像に含まれる複数のマクロブロックのうち、前記第１マクロブロック以外の第２マクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する
請求項８に記載の画像符号化装置。
【請求項１２】
前記条件決定部は、前記２Ｄ符号化モードを設定する場合、
前記第１視点画像を、第１参照リストの参照インデックス０番と、第２参照リストの参照インデックス０番とに設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する
請求項８に記載の画像符号化装置。
【請求項１３】
前記条件決定部は、前記２Ｄ符号化モードを設定する場合、
前記第１視点画像を、第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、ピクチャタイプがＰピクチャであり、かつ、符号化タイプがスキップマクロブロックとなる符号化条件を決定する
請求項８に記載の画像符号化装置。
【請求項１４】
立体視用の映像を符号化する画像符号化方法であって、
符号化された前記立体視用の映像が復号化されて３Ｄ再生される際に、前記立体視用の映像が２Ｄ映像として再生されるように、前記立体視用の映像を符号化する２Ｄ符号化モードと、前記立体視用の映像が３Ｄ映像として再生されるように、前記立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定するモード設定ステップと、
前記モード設定ステップによって前記符号化モードが前記３Ｄ符号化モードから前記２Ｄ符号化モードに切り替えられる場合、前記３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって前記立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、前記立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた前記３Ｄ用の符号化規格によって前記立体視用の映像を符号化する符号化ステップと、
を含む画像符号化方法。
【請求項１５】
立体視用の映像を符号化するためのプログラムであって、
符号化された前記立体視用の映像が復号化されて３Ｄ再生される際に、前記立体視用の映像が２Ｄ映像として再生されるように、前記立体視用の映像を符号化する２Ｄ符号化モードと、前記立体視用の映像が３Ｄ映像として再生されるように、前記立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定するモード設定ステップと、
前記モード設定ステップによって前記符号化モードが前記３Ｄ符号化モードから前記２Ｄ符号化モードに切り替えられる場合、前記３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって前記立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、前記立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた前記３Ｄ用の符号化規格によって前記立体視用の映像を符号化する符号化ステップと、
をコンピュータに実行させるプログラム。
【請求項１６】
立体視用の映像を符号化する集積回路であって、
符号化された前記立体視用の映像が復号化されて３Ｄ再生される際に、前記立体視用の映像が２Ｄ映像として再生されるように、前記立体視用の映像を符号化する２Ｄ符号化モードと、前記立体視用の映像が３Ｄ映像として再生されるように、前記立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する制御部と、
前記制御部が前記３Ｄ符号化モードから前記２Ｄ符号化モードに切り替える場合、前記３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって前記立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、前記立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた前記３Ｄ用の符号化規格によって前記立体視用の映像を符号化する符号化部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置および画像符号化方法に関し、特に、視聴者が立体的に感じる３Ｄ映像を符号化する画像符号化装置および画像符号化方法に関する。
【背景技術】
【０００２】
Ｈ．２６４規格を拡張する形で多視点映像符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）が規格化された。このＭＶＣ規格は、Ｂｌｕ−ｒａｙ  Ｄｉｓｃに３Ｄ映像を記録および再生する方式として採用されており、カムコーダ等での３Ｄ映像の撮影および記録フォーマットへの応用が検討されている。
【０００３】
３Ｄ映像の視聴時には、通常の２Ｄ映像を視聴する場合に比べて、目が疲労しやすいと言われている。特に、表示している物体の左右の視差量が大きい場合は、手前への飛び出し量が大きく、目の疲れを生じさせやすい。あるいは、物体の動きが大きいときも目の疲れを生じさせやすい。
【０００４】
これらの課題に対して、目の疲れが発生しやすい３Ｄ映像を２Ｄ映像に変更する技術が開示されている。例えば、特許文献１では、被写体の動き度合いを検出し、通常時は右眼用の画像と左眼用の画像とを交互に表示し、動きが大きいと検出した場合に右眼か左眼のいずれか一方の画像のみを表示する立体テレビジョン装置が開示されている。また、特許文献２では、視差量を検出し、視聴者に与える影響度を評価し、その評価結果に基づいて３Ｄ映像と２Ｄ映像とを切り替える映像システムが開示されている。
【０００５】
また、３Ｄ映像を２Ｄ映像に記録する方法として、特許文献３では、３Ｄ映像と２Ｄ映像とを別々のファイルとして保存する、あるいは、３Ｄ映像のうち右眼もしくは左眼の一方の画像を抽出して、２Ｄ映像として、通常の２Ｄ映像フォーマットで記録する画像記録装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−２８６６９３号公報
【特許文献２】特開平１１−３５５８０８号公報
【特許文献３】特許第４１８３５８７号公報
【非特許文献】
【０００７】
【非特許文献１】ＩＳＯ／ＩＥＣ  １４４９６−１０：２００９
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術では、以下のような課題がある。
【０００９】
まず、特許文献１および特許文献２に記載の技術では、映像を表示する際に３Ｄ映像と２Ｄ映像とを切り替える技術であって、映像の記録時に、３Ｄ映像と２Ｄ映像とを切り替えて符号化することはできない。例えば、３Ｄ映像を符号化してストリーム配信する場合などにおいて、表示側で３Ｄ映像と２Ｄ映像との切り替えを行うのではなく、符号化の際に目の疲れが発生しにくいようにしておくことが望まれる。
【００１０】
また、特許文献３に記載の技術では、３Ｄ映像と２Ｄ映像とを別ファイルで保存するため、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが困難である。
【００１１】
そこで、本発明は、上記の事情に鑑みてなされたものであり、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる画像符号化装置および画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明の一態様に係る画像符号化装置は、立体視用の映像を符号化する画像符号化装置であって、符号化された前記立体視用の映像が復号化されて３Ｄ再生される際に、前記立体視用の映像が２Ｄ映像として再生されるように、前記立体視用の映像を符号化する２Ｄ符号化モードと、前記立体視用の映像が３Ｄ映像として再生されるように、前記立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する制御部と、前記制御部が前記３Ｄ符号化モードから前記２Ｄ符号化モードに切り替える場合、前記３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって前記立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、前記立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた前記３Ｄ用の符号化規格によって前記立体視用の映像を符号化する符号化部と、を備える。
【００１３】
これにより、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。
【００１４】
また、前記制御部は、符号化された前記立体視用の映像が復号化されて３Ｄ再生される際における視聴者の疲労度に関連する画像特徴量に基づいて、前記符号化モードを設定する。
【００１５】
これにより、視聴者の疲労度に関連する画像特徴量に基づいて符号化モードが設定されるため、立体視用の映像のうち視聴者の疲労が発生しやすいシーンを部分的に２Ｄ映像として記録することができる。
【００１６】
また、前記制御部は、前記立体視用の映像に含まれる画素データに基づいて、前記画像特徴量を検出する検出部と、前記検出部によって検出された画像特徴量に基づいて前記符号化モードを設定し、前記符号化モードとして前記２Ｄ符号化モードを設定する場合には、前記符号化条件を決定する条件決定部とを備える。
【００１７】
これにより、立体視用の映像の画像特徴量に応じて自動的に符号化モードを切り替えて符号化条件を決定することができる。
【００１８】
また、前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像間の視差を前記画像特徴量として検出する。この場合には例えば、条件決定部は、視差量が予め定められた閾値より大きい場合に、２Ｄ符号化モードを設定してもよい。
【００１９】
これにより、視差量に基づいて２Ｄ符号化モードが設定されるため、視差を伴う映像の視聴に対する視聴者の負担を軽減することができる。つまり、視差量が閾値より大きい場合は、立体視用の映像を３Ｄ映像として見たときに視聴者の目にとっての疲労度が高まる。そこで本発明の一態様に係る画像符号化装置では、このような場合に、立体視用の映像を２Ｄ映像として符号化することで、視差を伴う映像の視聴に対する視聴者の負担を軽減することができる。
【００２０】
また、前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの少なくとも一方の時間軸方向の動き量を前記画像特徴量として検出する。この場合には例えば、条件決定部は、動き量が予め定められた閾値より大きい場合に、２Ｄ符号化モードを設定してもよい。
【００２１】
これにより、時間軸方向の動き量に基づいて２Ｄ符号化モードが設定されるため、時間軸方向の動きを伴う映像の視聴に対する視聴者の負担を軽減することができる。つまり、時間軸方向の動き量が閾値より大きい場合は、立体視用の映像を３Ｄ映像として見たときに視聴者の目にとっての疲労度が高まる。そこで本発明の一態様に係る画像符号化装置では、このような場合に、立体視用の映像を２Ｄ映像として符号化することで、時間軸方向の動きを伴う映像の視聴に対する視聴者の負担を軽減することができる。
【００２２】
また、前記検出部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの少なくとも一方に適用される量子化パラメータを前記画像特徴量として検出する。この場合には例えば、条件決定部は、量子化パラメータが予め定められた閾値より大きい場合に、２Ｄ符号化モードを設定してもよい。
【００２３】
これにより、量子化パラメータに基づいて２Ｄ符号化モードが設定されるため、量子化を伴う映像の視聴に対する視聴者の負担を軽減することができる。つまり、量子化パラメータが閾値よりも大きい場合には、３Ｄ映像が粗くなるため、３Ｄ映像として見たときに視聴者の目にとっての疲労度が高まる。そこで本発明の一態様に係る画像符号化装置では、このような場合に、２Ｄ映像として符号化することで、量子化を伴う映像の視聴に対する視聴者の負担を軽減することができる。
【００２４】
また、前記条件決定部は、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像が他方の映像に置き換えられることを前記符号化条件として決定し、前記符号化部は、当該符号化条件にしたがって前記一方の映像を他方の映像に置き換え、置き換えが行われた前記２つの映像を前記３Ｄ用の符号化規格によって符号化する。
【００２５】
これにより、３Ｄ用の符号化規格による符号化の対象とされる２つの映像が同一となるため、立体視用の映像を確実に２Ｄ映像として視聴者に視認させることができる。また、３Ｄ用の符号化規格による符号化には特別な処理が必要ではないため、符号化処理の負担を抑えることができる。
【００２６】
また、前記立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像は、第１視点の第１視点画像を含み、前記２つの映像のうちの他方の映像は、前記第１視点とは異なる第２視点の第２視点画像を含み、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記３Ｄ符号化モードを設定する場合よりも、前記第１視点画像と前記第２視点画像とが同一に近づいて符号化されるように前記符号化条件を決定する。
【００２７】
これにより、２Ｄ符号化モードが設定された場合には、３Ｄ符号化モードが設定される場合よりも、第１視点画像と第２視点画像とが同一に近づいて符号化されるため、立体視用の映像を２Ｄ映像として適切に視聴者に視認させることができる。
【００２８】
また、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記第１視点画像を第１参照リストの所定の参照インデックスに設定し、前記第２視点画像に含まれるマクロブロックの符号化条件として、参照画像が前記参照インデックスに設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差が０となる符号化条件を決定する。
【００２９】
これにより、視差補償を利用して、第１視点画像と第２視点画像とが同じになるように符号化することができる。つまり、Ｈ．２６４  ＭＶＣ規格に従って、第１視点画像と第２視点画像とが同じになるように符号化することができる。
【００３０】
また、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記第１視点画像を第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＰピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する。
【００３１】
これにより、第１視点画像と第２視点画像とが同一に近づくように符号化する際に、第２視点画像に含まれる全てのマクロブロックがスキップマクロブロックであるという情報だけ符号化すればよいので、符号化効率を高めることができる。
【００３２】
また、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記第１視点画像を第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる複数のマクロブロックのうち、周辺のマクロブロックの情報が利用できない第１マクロブロックの符号化条件として、参照画像が参照インデックス０番に設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差が０となる符号化条件を決定し、かつ、前記第２視点画像に含まれる複数のマクロブロックのうち、前記第１マクロブロック以外の第２マクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する。
【００３３】
これにより、第１視点画像と第２視点画像とが同一に近づくように符号化する際に、第２視点画像に含まれるほとんどのマクロブロックがスキップマクロブロックであるという情報だけ符号化すればよいので、符号化効率を高めることができる。
【００３４】
また、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記第１視点画像を、第１参照リストの参照インデックス０番と、第２参照リストの参照インデックス０番とに設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、符号化タイプがスキップマクロブロックとなる符号化条件を決定する。
【００３５】
これにより、第１視点画像と第２視点画像とが同一に近づくように符号化する際に、第２視点画像に含まれる全てのマクロブロックがスキップマクロブロックであるという情報だけ符号化すればよいので、符号化効率を高めることができる。
【００３６】
また、前記条件決定部は、前記２Ｄ符号化モードを設定する場合、前記第１視点画像を、第１参照リストの参照インデックス０番に設定し、前記第２視点画像のピクチャタイプがＢピクチャである場合、前記第２視点画像に含まれる全てのマクロブロックの符号化条件として、ピクチャタイプがＰピクチャであり、かつ、符号化タイプがスキップマクロブロックとなる符号化条件を決定する。
【００３７】
これにより、第１視点画像と第２視点画像とが同一に近づくように符号化する際に、第２視点画像に含まれる全てのマクロブロックがスキップマクロブロックであるという情報だけ符号化すればよいので、符号化効率を高めることができる。
【００３８】
なお、本発明は、画像符号化装置として実現できるだけではなく、当該画像符号化装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データまたは信号として実現してもよい。そして、それらプログラム、情報、データおよび信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【００３９】
また、上記の各画像符号化装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００４０】
本発明の画像符号化装置および画像符号化方法によれば、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。
【図面の簡単な説明】
【００４１】
【図１】図１は、Ｈ．２６４  ＭＶＣ規格の動き補償と視差補償とを説明するための図である。
【図２Ａ】図２Ａは、本発明の実施の形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２Ｂ】図２Ｂは、本発明の実施の形態１に係る符号化部の構成の一例を示すブロック図である。
【図３】図３は、視差量の一例を示す図である。
【図４】図４は、本発明の実施の形態に係る画像符号化装置の動作の一例を示すフローチャートである。
【図５】図５は、本発明の実施の形態１に係る符号化条件の設定処理の一例を示すフローチャートである。
【図６】図６は、本発明の実施の形態１に係る符号化対象画像と参照画像との関係の一例を示す図である。
【図７Ａ】図７Ａは、本発明の実施の形態１に係る符号化部の構成の他の例を示すブロック図である。
【図７Ｂ】図７Ｂは、本発明の実施の形態１に係る、図７Ａに示す符号化部の処理を示すフローチャートである。
【図８】図８は、本発明の実施の形態２に係る符号化条件の設定処理の一例を示すフローチャートである。
【図９】図９は、本発明の実施の形態３に係る符号化条件の設定処理の一例を示すフローチャートである。
【図１０】図１０は、本発明の実施の形態３に係る符号化対象画像と参照画像との関係の一例を示す図である。
【図１１】図１１は、本発明の実施の形態４に係る符号化条件の設定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下、本発明の実施の形態について、図面を用いて説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
【００４３】
以下の実施の形態では、Ｈ．２６４  ＭＶＣ規格に基づいて立体視用の映像を符号化することを前提とするため、まずＭＶＣ規格の概略を説明する。なお、立体視用の映像は、複数の視点の複数の画像を含み、視聴者が立体的に感じる、すなわち、立体視するための映像である。例えば、立体視用の映像に含まれる第１視点の第１視点画像（左眼画像）が視聴者の左眼によって、立体視用の映像に含まれる第２視点の第２視点画像（右眼画像）が視聴者の右眼によって視聴されることで、視聴者は、立体視用の映像を立体視することができる。
【００４４】
ＭＶＣ規格では、各視点の映像をｖｉｅｗと呼び、通常のＨ．２６４符号化と同様にｖｉｅｗ内の情報のみを使った画面内予測および動き補償（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）を使って符号化を行うだけではなく、ｖｉｅｗ間でフレーム間予測符号化を適用した視差補償（ｉｎｔｅｒ−ｖｉｅｗ  ｐｒｅｄｉｃｔｉｏｎ）を使って符号化することも可能である。
【００４５】
図１を用いて、ｖｉｅｗが２つである立体視用の映像の場合を説明する。図１は、Ｈ．２６４  ＭＶＣ規格の動き補償と視差補償とを説明するための模式図である。
【００４６】
符号化された画像はｖｉｅｗ＿ｉｄという識別情報を用いてｖｉｅｗの区別を行う。図１では、左眼画像にｖｉｅｗ＿ｉｄ＝０を割り当て、右眼画像にｖｉｅｗ＿ｉｄ＝１を割り当てている。つまり、ｖｉｅｗ＿ｉｄ＝０が割り当てられた左眼画像が、第１視点の第１視点画像の一例であり、ｖｉｅｗ＿ｉｄ＝１が割り当てられた右眼画像が、第２視点の第２視点画像の一例である。
【００４７】
左眼画像を基準の画像として符号化するときは、通常のＨ．２６４と同様に画面内予測および動き補償を用いて符号化する。例えば、Ｂ０（１）ピクチャはＩＤＲ０（０）ピクチャとＰ０（３）ピクチャとを参照画像として動き補償を行う。
【００４８】
一方で、右眼画像を符号化するときは、画面内予測および動き補償に加えて視差補償を用いることができる。例えば、Ｂ１（１）ピクチャは、Ｐ１（０）ピクチャとＰ１（３）ピクチャとを参照画像として動き補償を行うのに加えて、左眼のｖｉｅｗのＢ０（１）ピクチャを参照画像として視差補償を行うことができる。
【００４９】
また、参照画像を指定する方法として、参照ピクチャリストが利用される。例えば、Ｂ１（１）ピクチャを符号化する際には、図１に示すように、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）にＰ１（０）ピクチャが設定され、第１参照リストの参照インデックス１番（Ｌ０Ｒ１）にＢ０（１）ピクチャが設定され、第２参照リストの参照インデックス０番（Ｌ１Ｒ０）にＰ１（３）ピクチャが設定される。
【００５０】
なお、ＭＶＣ規格では、視差補償を行うことができる画像は、ストリーム中の同一アクセスユニットに配置されているｖｉｅｗ間のみと規定されている。例えば、図１に示すようにＢ０（１）ピクチャとＢ１（１）ピクチャとのみが同一アクセスユニットに配置されている場合、別のアクセスユニットの画像であるＢ１（２）ピクチャは、Ｂ０（１）ピクチャを参照画像とした視差補償を行うことができない。
【００５１】
以下では、上記のようなＨ．２６４  ＭＶＣ規格に基づいて立体視用の映像を符号化する本発明に係る画像符号化装置および画像符号化方法の実施の形態について、図面を用いて説明する。なお、本発明に係る画像符号化装置および画像符号化方法は、Ｈ．２６４  ＭＶＣ規格に限らず他の３Ｄ用の符号化規格によって立体視用の映像を符号化してもよい。この他の３Ｄ用の符号化規格は、例えば将来において定められる規格であってもよい。ここで、３Ｄ用の符号化規格とは、左眼および右眼のそれぞれに対して個別に映像が表示されることによって、映像が立体的に視聴者に視認され得るように定められた規格である。
【００５２】
（実施の形態１）
実施の形態１に係る画像符号化装置は、立体視用の映像を符号化する画像符号化装置である。実施の形態１に係る画像符号化装置は、符号化された立体視用の映像が復号化されて３Ｄ再生される際に、立体視用の映像が２Ｄ映像として再生されるように、立体視用の映像を符号化する２Ｄ符号化モードと、立体視用の映像が３Ｄ映像として再生されるように、立体視用の映像を符号化する３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する制御部と、制御部が３Ｄ符号化モードから２Ｄ符号化モードに切り替える場合、３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた３Ｄ用の符号化規格によって立体視用の映像を符号化する符号化部とを備えることを特徴とする。
【００５３】
ここで、立体視用の映像は、その立体視用の映像が３Ｄ再生される際に対になる２つの映像を含む。また、その２つの映像のうちの一方の映像は第１の視点の第１視点画像を含み、他方の映像は第２視点の第２視点画像を含む。３Ｄ再生とは、左眼および右眼のそれぞれに対して個別に映像が表示される再生である。３Ｄ映像とは、視聴者に立体視される映像である。２Ｄ映像とは、視聴者に平面視される、つまり平面的に見られる映像である。符号化条件とは、立体視用の映像が３Ｄ再生される際に対になる２つの映像から符号化対象を選択して符号化するための条件である。
【００５４】
図２Ａおよび図２Ｂは実施の形態１に係る画像符号化装置１００の構成の一例を示すブロック図である。画像符号化装置１００は立体視用の映像を符号化する。立体視用の映像は、上述したように、第１視点の第１視点画像（例えば、左眼画像）と、第２視点の第２視点画像（例えば、右眼画像）とを含んでいる。右眼画像を符号化する際には、画面内予測および動き補償だけでなく、左眼画像を参照画像として用いる視差補償を行うことができる。
【００５５】
図２Ａに示すように、画像符号化装置１００は、符号化部１１０と制御部１２０とを備える。
【００５６】
符号化部１１０は、第１視点画像と第２視点画像とをＨ．２６４  ＭＶＣ規格に基づいて符号化し、符号化結果を符号化ストリームとして出力する。具体的には、符号化部１１０は、制御部１２０によって決定された符号化条件に従って、第１視点画像と第２視点画像とを符号化する。
【００５７】
図２Ｂに示すように、符号化部１１０は、第１視点符号化部１１０ａと、第２視点符号化部１１０ｃと、記憶部１１０ｂと、切り替え部１１０ｄとを備える。
【００５８】
第１視点符号化部１１０ａは、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像を符号化する。この一方の映像は第１視点画像を含み、他方の映像に依存することなく符号化される。また、第１視点符号化部１１０ａは、その映像に対する符号化および復号によって生成された復号画像を参照画像として記憶部１１０ｂに格納する。第２視点符号化部１１０ｃは、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの他方の映像を符号化する。なお、この他方の映像は第２視点画像を含む。また、第２視点符号化部１１０ｃは、上述の他方の映像を符号化する際には、記憶部１１０ｂに格納されている参照画像を参照して符号化を行う。つまり、視差補償を用いて上述の他方の映像が符号化される。切り替え部１１０ｄは、第１視点符号化部１１０ａによる符号化によって生成された符号化画像と、第２視点符号化部１１０ｃによる符号化によって生成された符号化画像とを切り替えて出力する。その結果、立体視用の映像が３Ｄ符号化規格によって符号化され、符号化ストリームが出力される。
【００５９】
このような符号化部１１０は、制御部１２０が３Ｄ符号化モードから２Ｄ符号化モードに切り替える場合、３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって立体視用の映像を符号化する。一方、２Ｄ符号化モードの設定時は、符号化部１１０は、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた３Ｄ用の符号化規格によって立体視用の映像を符号化する。ここで、２Ｄ符号化モードは、符号化された立体視用の映像が復号化されて３Ｄ再生される際に、立体視用の映像が２Ｄ映像として再生されるように、立体視用の映像を符号化するモードである。また、３Ｄ符号化モードは、立体視用の映像が３Ｄ映像として再生されるように、立体視用の映像を符号化するモードである。
【００６０】
制御部１２０は、２Ｄ符号化モードと３Ｄ符号化モードとのうち、いずれかの符号化モードを設定する。ここで、制御部１２０は、符号化された立体視用の映像が復号化されて３Ｄ再生される際における視聴者の疲労度に関連する画像特徴量に基づいて、符号化モードを設定する。また、制御部１２０は、第１視点画像および第２視点画像の符号化条件を決定する。例えば、制御部１２０は、ピクチャ単位で符号化条件を決定する。つまり、制御部１２０は、第１視点の第１ピクチャ（第１視点画像）と第２視点の第２ピクチャ（第２視点画像）との符号化条件を決定する。なお、第１ピクチャおよび第２ピクチャは、例えば、同一の撮影時刻に撮影された画像であって、同一のアクセスユニットに配置される。
【００６１】
図２Ａに示すように、制御部１２０は、特徴量検出部１２１と、符号化条件決定部１２２とを備える。制御部１２０は、特徴量検出部１２１が検出した画像特徴量に基づいて符号化条件決定部１２２が決定した符号化条件に従った符号化を行うように符号化部１１０を制御する。
【００６２】
特徴量検出部１２１は、立体視用の映像に含まれる画素データに基づいて、上述の画像特徴量を検出する。つまり、特徴量検出部１２１は、第１視点画像および第２視点画像の画像特徴量を検出する。ここでは、特徴量検出部１２１は、画像特徴量の一例として、第１視点画像と第２視点画像との間の視差量を検出する。
【００６３】
画像特徴量は、上述のように視聴者の疲労度に関連する特徴量である。この疲労度は、視聴者が立体視用の画像を見た場合に感じる生体的な負担度合いである。例えば、視聴者の疲労度が大きい程、画像特徴量は大きな値となる。視聴者の疲労度は、例えば、第１視点画像と第２視点画像との間の視差量が大きい場合に、大きくなる。
【００６４】
ここで、図３を用いて視差の説明をする。図３に示すように、右眼で見える物体と左眼で見える物体とを重ね合わせると、図３下の画像（重ね合わせた画像）のように右眼と左眼とのそれぞれによって見える物体の水平位置がずれている。このずれが視差であり、そのずれ量が視差量である。
【００６５】
視差量を求めるときは、動き補償の際にマクロブロック（以下、ＭＢ）ごとに動きベクトルを求める処理と同様に、左眼画像を参照画像として右眼画像内の物体の動きベクトルを、視差量として求める。なお、動きベクトルを求める方法は様々な方法があるが、ここではその方法を限定しない。
【００６６】
また、この視差量は、同一アクセスユニットに配置される各ｖｉｅｗ間でのみ求められる値である。この同一アクセスユニットに配置される２つｖｉｅｗの画像は、立体視用の映像が３Ｄ再生される際に対になる２つの画像である。言い換えれば、その２つのｖｉｅｗの画像は、同一時間または実質的に同一時間に表示される２つの画像である。また、ここでは視差量を物体の動きベクトルとしたが、ＭＢ単位で求めた動きベクトルの平均値もしくは最大値、または、任意の閾値以上の動きベクトルを有するＭＢの平均ベクトルを視差量として求めてもよい。
【００６７】
また、特徴量検出部１２１が、画像特徴量として視差量を検出する例を説明したが、画像特徴として、時間軸方向の動き量を検出してもよい。この場合、特徴量検出部１２１は、通常の動き検出を行い、第１視点画像と第２視点画像との少なくとも一方の画像における時間軸方向の動き量を求める。なお、第１視点画像および第２視点画像の少なくとも一方の時間軸方向の動き量が大きい場合も同様に、立体視用の画像を見た場合の視聴者の疲労度は大きくなる。
【００６８】
また、特徴量検出部１２１は、すでに符号化した画像の動きベクトルから時間軸方向の動き量を、画像特徴量として検出してもよい。あるいは、特徴量検出部１２１は、カメラ撮影時に検出する情報のうち、パン、チルト、ズーム等の情報や、視差に関する情報を利用してもよい。例えば、パン情報であれば、水平方向にカメラを振る速度を取得することができるため、特徴量検出部１２１は、取得した速度とフレームレートとから時間軸方向の動き量を求めることができる。
【００６９】
符号化条件決定部１２２は、特徴量検出部１２１によって検出された第１視点画像および第２視点画像の少なくとも一方の画像特徴量（視差量または動き量）に基づいて、第１視点画像および第２視点画像を３Ｄ画像および２Ｄ画像のいずれとして符号化するかを決定する。つまり、符号化条件決定部１２２は、特徴量検出部１２１よって検出された画像特徴量に基づいて符号化モードを２Ｄ符号化モードまたは３Ｄ符号化モードに設定する。ここで、符号化条件決定部１２２は、符号化モードとして２Ｄ符号化モードを設定する場合には、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を決定する。
【００７０】
なお、第１視点画像および第２視点画像を３Ｄ画像として符号化するとは、例えば、第１視点画像の符号化画像と第２視点画像の符号化画像とが視差を有するように符号化することである。また、このことは、符号化された立体視用の映像が復号化されて３Ｄ再生される際に、その立体視用の映像が３Ｄ映像として再生されるように、その立体視用の映像を符号化することである。一方、第１視点画像および第２視点画像を２Ｄ画像として符号化するとは、例えば、第１視点画像の符号化画像と第２視点画像の符号化画像とが視差を有しないように符号化することである。また、このことは、符号化された立体視用の映像が復号化されて３Ｄ再生される際に、その立体視用の映像が２Ｄ映像として再生されるように、その立体視用の映像を符号化することである。
【００７１】
そして、符号化条件決定部１２２は、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定した場合、第１視点画像と第２視点画像とが同じ画像または実質的に同じ画像として符号化されるように、第１視点画像および第２視点画像の符号化条件を決定する。つまり、符号化条件決定部１２２は、符号化モードとして２Ｄ符号化モードを設定する場合、３Ｄ符号化モードを設定する場合よりも、第１視点画像と第２視点画像とが同一に近づいて符号化されるように符号化条件を決定する。
【００７２】
例えば、符号化条件決定部１２２は、画像特徴量（視差量または動き量）が所定の閾値より大きい場合に、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定する。つまり、画像特徴量が閾値より大きい場合は、視聴者の疲労度合いが大きくなると判断して、立体視用の映像に含まれる複数のピクチャのうち、閾値を超えたピクチャのみ、同じ画像として符号化されるように符号化条件を決定する。
【００７３】
言い換えると、符号化条件決定部１２２は、画像特徴量が閾値より大きい場合、第１視点画像の符号化画像と第２視点画像の符号化画像とが同じ画像または実質的に同じ画像になるように符号化条件を決定する。なお、符号化画像とは、符号化結果（符号化ストリーム）をデコードしたときの画像を指す。符号化条件の決定処理の詳細については、後で説明する。また、符号化条件には、いわゆる符号化パラメータと符号化対象画像の選択とがある。符号パラメータは、立体視用の映像が３Ｄ再生される際に対になる２つの映像を符号化するために用いられるパラメータである。符号化対象画像の選択は、立体視用の映像が３Ｄ再生される際に対になる２つの画像の中から、符号化対象画像を選択することである。つまり、その２つの画像がそれぞれ符号化対象とされる場合と、何れか一方の画像、および、その一方の画像と同一の画像が符号化対象とされる場合とがある。符号化条件が符号化対象画像の選択である場合には、符号化部１１０は、符号化の対象とされる２の画像を通常の３Ｄ用の符号化規格によって符号化する。
【００７４】
なお、上記の閾値の設定によっては入力される信号を、２Ｄ画像として符号化する方式と３Ｄ画像として符号化する方式とが頻繁に切り替わる可能性がある。この場合、通常の３Ｄ画像を視聴するよりも眼が疲れてしまう。それを避けるために、閾値にヒステリシス特性を持たすようにしても構わない。つまり、前回に入力される信号を２Ｄ画像として符号化する方式を選択した場合、次回における２Ｄ画像として符号化する方式の選択確率が高くなるように、閾値を変動させる。このようにすることで、選択した符号化形式を基に閾値を変動させることが可能となる。
【００７５】
これにより、２Ｄ画像として符号化する方式と３Ｄ画像として符号化する方式とが頻繁に切り替わること、つまり符号化モードが頻繁に切り替わることを低減できる。また、一定の期間、符号化方式が切り替わらないように符号化条件を設定する構成でも構わない。
【００７６】
続いて、実施の形態１に係る画像符号化装置１００の動作の一例について説明する。
【００７７】
図４は、実施の形態１に係る画像符号化装置１００の動作の一例を示すフローチャートである。
【００７８】
まず、画像符号化装置１００が第１視点画像と第２視点画像とを取得し、特徴量検出部１２１は、第１視点画像と第２視点画像とを用いて、画像特徴量を検出する（Ｓ１１０）。例えば、特徴量検出部１２１は、第１視点画像と第２視点画像との間の視差量を、画像特徴量として検出する。
【００７９】
次に、符号化条件決定部１２２は、第１視点画像および第２視点画像を２Ｄ画像として符号化するか否かを決定する（Ｓ１２０）。言い換えると、符号化条件決定部１２２は、符号化モードを２Ｄ符号化モードに設定するか否かを決定する。具体的には、符号化条件決定部１２２は、特徴量検出部１２１によって検出された画像特徴量が、予め定められた閾値より大きいか否かを判定する。
【００８０】
画像特徴量が閾値より大きい場合は、符号化条件決定部１２２は、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定する。つまり、符号化条件決定部１２２は、符号化モードを２Ｄ符号化モードに設定する。また、画像特徴量が閾値以下である場合は、符号化条件決定部１２２は、第１視点画像および第２視点画像を３Ｄ画像として符号化すると決定する。つまり、符号化条件決定部１２２は、符号化モードを３Ｄ符号化モードに設定する。
【００８１】
なお、言い換えると、符号化条件決定部１２２は、第１視点画像および第２視点画像を３Ｄ画像として表示した場合に、視聴者にとって目が疲れてしまうなどの疲労を感じさせてしまうか否かを判定する。視差量が閾値より大きい場合、および、時間軸方向の動き量が閾値より大きい場合、視聴者の目に対する負担が大きく、視聴者は大きな疲労を感じてしまう。したがって、視差量または動き量が閾値より大きい場合は、符号化条件決定部１２２は、第１視点画像および第２視点画像を２Ｄ画像として符号化し、視聴者に負担を与えないようにすると決定する。
【００８２】
２Ｄ画像として符号化すると決定された場合（Ｓ１２０でＹｅｓ）、符号化条件決定部１２２は、２Ｄ用の符号化条件を決定し、符号化部１１０は、決定された符号化条件に従って第１視点画像および第２視点画像を符号化する（Ｓ１３０）。２Ｄ用の符号化条件とは、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件である。具体的には、符号化条件決定部１２２は、第１視点画像および第２視点画像が同じ画像または実質的に同じ画像として符号化されるような符号化条件を決定する。符号化条件の詳細については、後で説明する。
【００８３】
３Ｄ画像として符号化すると決定された場合（Ｓ１２０でＮｏ）、符号化条件決定部１２２は、３Ｄ用の符号化条件を決定し、符号化部１１０は、決定された符号化条件に従って第１視点画像および第２視点画像を符号化する（Ｓ１４０）。具体的には、符号化条件決定部１２２は、Ｈ．２６４  ＭＶＣ規格に従った符号化条件を決定し、符号化部１１０は、決定された符号化条件に基づいて符号化を行う。
【００８４】
なお、以上の処理は、アクセスユニット単位、すなわち、１対のピクチャ（第１ピクチャおよび第２ピクチャ）ごとに実行される。
【００８５】
次に、２Ｄ用の符号化条件、すなわち、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件として、２つの符号化画像が同じ画像になる符号化パラメータの一例を説明する。図５は、実施の形態１に係る符号化条件の設定処理の一例を示すフローチャートである。具体的には、図５は、視差補償を行う第２視点画像（右眼画像）の符号化条件を決定する処理（図４のＳ１３０）を示している。
【００８６】
まず、符号化条件決定部１２２は、参照画像となる第１視点画像をＬｉｓｔ０の参照インデックスの０番に設定する（Ｓ１３１）。ここで、Ｌｉｓｔ０は、第１参照リストの一例である。第１参照リストは、ＢピクチャまたはＰピクチャを符号化する際に行うことができるＬ０予測に利用される参照画像を指定するためのリストである。参照インデックスの番号（０番から開始）のそれぞれに、参照画像として利用されるピクチャを設定することができる。
【００８７】
なお、参照インデックスの０番は、通常、符号化した際に、符号量が最も小さくなるため、符号化効率を高めることができる。つまり、符号化条件決定部１２２は、符号化効率が最も高まるような参照リストの参照インデックスに、第１視点画像を設定することが好ましい。
【００８８】
次に、符号化条件決定部１２２は、符号化対象画像である第２視点画像のＭＢのＭＢタイプをＩｎｔｅｒ１６ｘ１６に設定し、参照画像がＬｉｓｔ０の参照インデックス０番に設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差成分が０となる符号化条件を決定する（Ｓ１３２）。そして、符号化部１１０は、決定された符号化条件に従って対象ＭＢを符号化する。
【００８９】
例えば、符号化条件決定部１２２は、図６のＢ０（１）ピクチャ（第１視点画像）とＢ１（１）ピクチャ（第２視点画像）とを同じ符号化画像にする場合、この２ピクチャ間で視差補償を行うように符号化条件を決定する。すなわち、左眼画像を基準としてＢ０（１）ピクチャをＬｉｓｔ０の参照インデックス０番（Ｌ０Ｒ０）に設定し、Ｂ１（１）ピクチャ内のＭＢがＢ０（１）ピクチャのみを参照画像として用いるように符号化条件を決定する。さらに、符号化条件決定部１２２は、動きベクトルが０であり、かつ、残差成分が０となるように強制的に符号化条件を設定する。
【００９０】
これによって、Ｂ１（１）ピクチャの符号化画像とＢ０（１）ピクチャの符号化画像とを同一のものにできる。なお、ＭＢタイプをＩｎｔｅｒ１６ｘ１６に設定するとは、Ｈ．２６４規格のシンタックス的には、Ｐピクチャの場合はＰ＿Ｌ０＿１６ｘ１６で、Ｂの場合はＢ＿Ｌ０＿１６ｘ１６に設定するということである。
【００９１】
以上の符号化条件の決定処理（Ｓ１３２）が、第２視点画像に含まれる全てのＭＢについて、繰り返される（Ｓ１３３でＮｏ）。
【００９２】
なお、図６に示す例では、Ｂ１（１）ピクチャを符号化する際には、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）にＢ０（１）ピクチャが設定され、第１参照リストの参照インデックス１番（Ｌ０Ｒ１）にＰ１（０）ピクチャが設定され、第２参照リストの参照インデックス０番（Ｌ１Ｒ０）にＰ１（３）ピクチャが設定されている。ただし、実際に、Ｂ１（１）ピクチャを符号化する際には、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）に設定されたＢ０（１）ピクチャのみを参照するので、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）にＢ０（１）ピクチャを設定しておくだけでよい。
【００９３】
ここで、符号化条件が上述の符号化対象画像の選択である場合について説明する。この場合、上述の２Ｄ用の符号化条件は、立体視用の映像が３Ｄ再生される際に対になる２つの画像のうちの一方の画像と、その一方の画像と同一の画像とを符号化対象とすることである。言い換えれば、２Ｄ用の符号化条件は、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像が他方の映像に置き換えられることである。つまり、符号化条件決定部１２２は、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像が他方の映像に置き換えられることを上述の２Ｄ用の符号化条件として決定する。そして符号化部は、２Ｄ用の符号化条件にしたがってその一方の映像を他方の映像に置き換え、置き換えが行われた２つの映像を３Ｄ用の符号化規格によって符号化する。
【００９４】
図７Ａは、符号化条件にしたがって符号化対象画像を置き換えて符号化する符号化部のブロック図である。この符号化部１１０’は、第１視点符号化部１１０ａと、第２視点符号化部１１０ｃと、記憶部１１０ｂと、切り替え部１１０ｄと、置き換え部１１０ｅとを備える。置き換え部１１０ｅは、立体視用の映像が３Ｄ再生される際に対になる２つの映像、つまり、第１視点画像および第２視点画像を取得する。そして、置き換え部１１０ｅは、２Ｄ用の符号化条件が決定されていない場合には、第２視点画像を符号化対象画像として第２視点符号化部１１０ｃに出力する。一方、置き換え部１１０ｅは、２Ｄ用の符号化条件が決定された場合には、第２視点画像を第１視点画像に置き換え、その第１視点画像を符号化対象画像として第２視点符号化部１１０ｃに出力する。
【００９５】
図７Ｂは、符号化部１１０’の処理を示すフローチャートである。
【００９６】
符号化部１１０’の置き換え部１１０ｅは、決定された２Ｄ用の符号化条件の通知を符号化条件決定部１２２から受けると、２Ｄ用の符号化条件にしたがって一方の映像を他方の映像に置き換える。つまり、置き換え部１１０ｅは、第２視点画像を第１視点画像に置き換える（Ｓ１３４）。そして置き換え部１１０ｅは、第１視点画像を第２視点符号化部１１０ｃに出力する。その結果、第１視点符号化部１１０ａおよび第２視点符号化部１１０ｃは、２つの第１視点画像を３Ｄ用の符号化規格によって符号化する（Ｓ１３５）。
【００９７】
以上のように、実施の形態１に係る画像符号化装置１００によれば、２Ｄ符号化モードと３Ｄ符号化モードとのうちいずれかの符号化モードを設定する。ここで、３Ｄ符号化モードから２Ｄ符号化モードに切り替える場合、３Ｄ符号化モードの設定時は、３Ｄ用の符号化規格によって立体視用の映像を符号化し、２Ｄ符号化モードの設定時は、立体視用の映像が再生時に２Ｄ映像として視認される符号化条件を用いた３Ｄ用の符号化規格によって立体視用の映像を符号化する。例えば、画像符号化装置１００は、符号化された立体視用の映像が復号化されて３Ｄ再生される際における視聴者の疲労度に関連する画像特徴量に基づいて、その符号化モードを設定する。つまり、画像符号化装置１００は、立体視用の映像に含まれる画素データに基づいて、その画像特徴量を検出する。そして、画像符号化装置１００は、検出された画像特徴量に基づいて符号化モードを設定し、符号化モードとして２Ｄ符号化モードを設定する場合には、上述の２Ｄ映像として視認される符号化条件を決定する。
【００９８】
具体的には、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像は、第１視点の第１視点画像を含み、その２つの映像のうちの他方の映像は、第１視点とは異なる第２視点の第２視点画像を含む。ここで、画像符号化装置１００は、２Ｄ符号化モードを設定する場合、３Ｄ符号化モードを設定する場合よりも、第１視点画像と前記第２視点画像とが同一に近づいて符号化されるように、上述の２Ｄ映像として視認される符号化条件を決定する。言い換えれば、画像符号化装置１００は、第１視点画像および第２視点画像の少なくとも一方の画像特徴量に基づいて、第１視点画像および第２視点画像を３Ｄ画像および２Ｄ画像のいずれとして符号化するかを決定する。２Ｄ画像として符号化すると決定した場合は、画像符号化装置１００は、第１視点画像と第２視点画像とが同じ画像として符号化されるように、第１視点画像および第２視点画像の符号化条件を決定する。
【００９９】
より具体的には、実施の形態１に係る画像符号化装置１００は、第１視点画像を第１参照リストの所定の参照インデックスに設定し、第２視点画像に含まれるマクロブロックの符号化条件として、参照画像が上記参照インデックスに設定された第１視点画像のみであり、動きベクトルが０であり、かつ、残差が０となる符号化条件を決定する。
【０１００】
または、画像符号化装置１００は、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの一方の映像が他方の映像に置き換えられることを、上述の２Ｄ映像として視認される符号化条件として決定する。そして、画像符号化装置１００は、その符号化条件にしたがって一方の映像を他方の映像に置き換え、置き換えが行われたその２つの映像を３Ｄ用の符号化規格によって符号化する。
【０１０１】
画像特徴量が閾値より大きい場合は、３Ｄ画像を見たときの視聴者の疲労度が大きいと判定することができる。したがって、実施の形態１に係る画像符号化装置１００は、視聴者の疲労度が大きい場合には、第１視点画像と第２視点画像とが同じ画像または実質的に同じ画像として符号化されるような符号化条件を決定することで、２Ｄ映像として立体視用の映像を符号化する。また、画像符号化装置１００は、第１視点画像および第２視点画像を３Ｄ画像として符号化している間に、部分的に２Ｄ画像として符号化した方が好ましい場合に、２Ｄ画像として符号化する。
【０１０２】
これにより、実施の形態１に係る画像符号化装置１００によれば、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。例えば、立体視用の映像のうち目の疲れが発生しやすいシーンを部分的に２Ｄ映像として記録することができる。つまり、部分的に２Ｄ映像が含まれる１つのファイル（映像データ）として第１視点画像および第２視点画像を符号化するので、再生時には、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することができる。
【０１０３】
（実施の形態２）
実施の形態２では、実施の形態１で説明した構成を用いて、符号化画像が同じ画像になる別の符号化条件（符号化パラメータ）を説明する。前提条件も同じものとする。したがって、以下では、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定した場合における符号化条件の決定処理について説明し、他の動作については、実施の形態１と同様であるため、説明を省略する。
【０１０４】
実施の形態２に係る画像符号化装置は、２Ｄ符号化モードを設定する場合、つまり２Ｄ画像として符号化すると決定した場合に、第２視点画像のピクチャタイプがＰピクチャである場合、第２視点画像に含まれる全てのマクロブロックの符号化タイプをスキップマクロブロックにすることを特徴とする。また、第２視点画像のピクチャタイプがＢピクチャである場合、第２視点画像に含まれるマクロブロックの符号化タイプを、周辺マクロブロックのタイプに応じて、スキップマクロブロックにするか否かを変更することを特徴とする。
【０１０５】
図８は、実施の形態２に係る符号化条件の設定処理の一例を示すフローチャートである。
【０１０６】
まず、符号化条件決定部１２２は、実施の形態１と同様に、参照画像となる第１視点画像をＬｉｓｔ０の参照インデックス０番に設定する（Ｓ２３１）。
【０１０７】
次に、符号化条件決定部１２２は、符号化対象画像（第２視点画像）のピクチャタイプを判定する（Ｓ２３２）。符号化対象画像のピクチャタイプがＰであれば（Ｓ２３２で“Ｐ”）、符号化条件決定部１２２は、第２視点画像に含まれるＭＢの符号化タイプ（ＭＢタイプ）がスキップマクロブロックとなる符号化条件を決定する（Ｓ２３３）。そして、符号化部１１０は、決定された符号化条件に従って、対象ＭＢを符号化する。
【０１０８】
以上の符号化条件の決定処理および符号化（Ｓ２３３）が、第２視点画像に含まれる全てのＭＢについて、繰り返される（Ｓ２３４でＮｏ）。
【０１０９】
なお、スキップマクロブロックは、周囲の動きに合わせた符号化が実行されるマクロブロックである。具体的には、スキップマクロブロックである対象ＭＢは、対象ＭＢの周辺ＭＢの動きベクトルのメディアン値が、対象ＭＢの動きベクトルであり、残差が０である条件で符号化される。
【０１１０】
ここで、スキップマクロブロックである対象ＭＢが、周辺ＭＢの情報を利用することができないＭＢ、例えば、ピクチャの左上のＭＢである場合について説明する。この場合、対象ＭＢがＰピクチャであれば、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）に設定された第１視点画像が参照画像であり、動きベクトルが０であり、かつ、残差成分が０である条件で符号化される。したがって、上記のように、第１参照リストの参照インデックス０番に第１視点画像を設定し、第２視点画像に含まれる全てのＭＢの符号化タイプをスキップマクロブロックと設定することで、第１視点画像と第２視点画像とが同じ画像になるように符号化することができる。
【０１１１】
符号化対象画像のピクチャタイプがＢの場合は（Ｓ２３２で“Ｂ”）、符号化条件決定部１２２は、符号化対象ＭＢの周辺ＭＢの情報が利用できるか否か、すなわち、周辺ＭＢがｎｏｔ  ａｖａｉｌａｂｌｅであるか否かを判定する（Ｓ２３５）。より具体的には、符号化条件決定部１２２は、対象ＭＢが第２視点画像の左上のＭＢであるか否かを判定する。
【０１１２】
周辺ＭＢがｎｏｔ  ａｖａｌｉａｂｌｅであれば（Ｓ２３５で“Ｙｅｓ”）、符号化条件決定部１２２は、対象ＭＢのＭＢタイプがＩｎｔｅｒ１６ｘ１６であり、参照画像がＬｉｓｔ０の参照インデックス０番のみであり、動きベクトルが０であり、かつ、残差成分が０となる符号化条件を決定する（Ｓ２３６）。そして、符号化部１１０は、決定された符号化条件に従って、対象ＭＢを符号化する。
【０１１３】
周辺ＭＢがａｖａｉｌａｂｌｅであれば（Ｓ２３５で“Ｎｏ”）、符号化条件決定部１２２は、対象ＭＢのＭＢタイプがスキップマクロブロックとなる符号化条件を決定する（Ｓ２３７）。そして、符号化部１１０は、決定された符号化条件に従って、対象ＭＢを符号化する。
【０１１４】
以上の符号化条件の決定処理および符号化（Ｓ２３５〜Ｓ２３７）が、第２視点画像に含まれる全てのＭＢについて、繰り返される（Ｓ２３８でＮｏ）。
【０１１５】
なお、符号化対象画像がＢピクチャである場合、周辺ＭＢがｎｏｔ  ａｖａｉｌａｂｌｅの対象ＭＢの符号化タイプをスキップマクロブロックに設定すると、動きベクトルが０の双方向予測を行うことになるため、符号化画像を同一にすることができない。具体的には、対象ＭＢは、第１参照リストの参照インデックス０番に設定された第１視点画像の参照ＭＢと、第２参照リストの参照インデックス０番に設定された画像（通常、第１視点画像とは異なる）の参照ＭＢとの平均値として符号化される。
【０１１６】
ピクチャの左上端にあるＭＢがこの状態になるため、第２視点画像に含まれる全てのＭＢの符号化タイプをスキップマクロブロックに設定すると、ピクチャの左上端にあるＭＢと同様に動きベクトルが０で双方向予測を行うことになってしまう。したがって、実施の形態２では、これを回避するには、周辺ＭＢの状態に応じてＭＢタイプを切り替えている。つまり、周辺ＭＢの情報が利用できないＭＢについては、実施の形態１と同様の符号化条件に設定することで、強制的に、第１視点画像のＭＢと同じ画像として符号化することができる。なお、ピクチャに複数のスライスが含まれている場合には、各スライスの左上端にあるＭＢを、周辺ＭＢの情報が利用できないＭＢとして扱ってもよい。
【０１１７】
以上のように、実施の形態２に係る画像符号化装置は、２Ｄ画像として符号化すると決定した場合に、第２視点画像のピクチャタイプがＰピクチャである場合、第２視点画像に含まれる全てのＭＢの符号化タイプをスキップマクロブロックにする。また、第２視点画像のピクチャタイプがＢピクチャである場合は、周辺ＭＢの情報が利用できないＭＢの符号化条件を、実施の形態１と同様に設定し、その他のＭＢの符号化タイプがスキップマクロブロックになるように符号化条件を決定する。
【０１１８】
これにより、実施の形態１と同様に、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。例えば、立体視用の映像のうち目の疲れが発生しやすいシーンを部分的に２Ｄ映像として記録することができ、再生時には、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することができる。さらに、実施の形態２によれば、ほとんどのＭＢがスキップマクロブロックであるという情報だけを符号化すればよいので、符号化効率を高めることができる。
【０１１９】
（実施の形態３）
実施の形態３では、実施の形態１で説明した構成を用いて、符号化画像が同じ画像になる別の符号化条件（符号化パラメータ）を説明する。前提条件も同じものとする。したがって、以下では、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定した場合における符号化条件の決定処理について説明し、他の動作については、実施の形態１と同様であるため、説明を省略する。
【０１２０】
実施の形態３に係る画像符号化装置は、２Ｄ符号化モードを設定する場合、つまり２Ｄ画像として符号化すると決定した場合に、第２視点画像のピクチャタイプがＢピクチャである場合、第１参照リストの参照インデックス０番だけでなく、第２参照リストの参照インデックス０番にも、第１視点画像を設定し、第２視点画像に含まれる全てのマクロブロックの符号化タイプをスキップマクロブロックにすることを特徴とする。
【０１２１】
図９は、実施の形態３に係る符号化条件の設定処理の一例を示すフローチャートである。
【０１２２】
まず、符号化条件決定部１２２は、実施の形態１と同様に、参照画像となる第１視点画像を第１参照リストであるＬｉｓｔ０の参照インデックス０番に設定する（Ｓ３３１）。
【０１２３】
次に、符号化条件決定部１２２は、符号化対象画像（第２視点画像）のピクチャタイプを判定する（Ｓ３３２）。符号化対象画像のピクチャタイプがＢであれば（Ｓ３３２で“Ｂ”）、Ｌｉｓｔ０の０番に設定した第１視点画像をＬｉｓｔ１の参照インデックス０番にも設定する（Ｓ３３３）。
【０１２４】
なお、Ｌｉｓｔ１は、第２参照リストの一例である。第２参照リストは、Ｂピクチャを符号化する際に行うことができるＬ１予測に利用される参照画像を指定するためのリストである。参照インデックスの番号（０番から開始）のそれぞれに、参照画像として利用されるピクチャを設定することができる。
【０１２５】
例えば、図１０に示すように、第２視点画像であるＢ１（１）ピクチャを符号化する場合、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）にＢ０（１）ピクチャが設定され、さらに、第２参照リストの参照インデックス０番（Ｌ１Ｒ０）にもＢ０（１）ピクチャが設定される。すなわち、同一の参照画像を複数の参照インデックスが示すように設定される。
【０１２６】
そして、符号化条件決定部１２２は、第２視点画像に含まれるＭＢの符号化タイプに依存せず、符号化対象画像（第２視点画像）のＭＢのＭＢタイプがスキップマクロブロックになるように符号化条件を決定する（Ｓ３３４）。そして、符号化部１１０は、決定された符号化条件に従って対象ＭＢを符号化する。
【０１２７】
以上の符号化条件の決定処理および符号化（Ｓ３３４）が、第２視点画像に含まれる全てのＭＢについて、繰り返される（Ｓ３３５でＮｏ）。
【０１２８】
なお、図１０に示す例では、Ｂ１（１）ピクチャを符号化する際には、第１参照リストの参照インデックス１番（Ｌ０Ｒ１）にＰ１（０）ピクチャが設定され、第２参照リストの参照インデックス１番（Ｌ１Ｒ１）にＰ１（３）ピクチャが設定されている。ただし、実際にＢ１（１）ピクチャを符号化する際には、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）および第２参照リストの参照インデックス０番（Ｌ１Ｒ０）に設定されたＢ０（１）ピクチャのみを参照するので、第１参照リストの参照インデックス０番（Ｌ０Ｒ０）および第２参照リストの参照インデックス０番（Ｌ１Ｒ０）にＢ０（１）ピクチャを設定しておくだけでよい。
【０１２９】
以上のように、実施の形態３に係る画像符号化装置１００によれば、２Ｄ画像として符号化すると決定した場合に、第１参照リストの参照インデックス０番だけでなく、第２参照リストの参照インデックス０番にも、第１視点画像を設定し、第２視点画像に含まれる全てのＭＢの符号化タイプをスキップマクロブロックとなる符号化条件を決定する。
【０１３０】
これにより、第２視点画像に含まれるＭＢのタイプを判定する必要がなくなるので、処理量を削減することができる。また、第２視点画像に含まれる全てのＭＢがスキップマクロブロックであるという情報だけを符号化すればよいので、符号化効率を高めることができる。そして、実施の形態１と同様に、実施の形態３に係る画像符号化装置１００によれば、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。例えば、立体視用の映像のうち目の疲れが発生しやすいシーンを部分的に２Ｄ映像として記録することができ、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することができる。
【０１３１】
（実施の形態４）
実施の形態４では、実施の形態１で説明した構成を用いて、符号化画像が同じ画像になる別の符号化条件（符号化パラメータ）を説明する。前提条件も同じものとする。したがって、以下では、第１視点画像および第２視点画像を２Ｄ画像として符号化すると決定した場合における符号化条件の決定処理について説明し、他の動作については、実施の形態１と同様であるため、説明を省略する。
【０１３２】
実施の形態４に係る画像符号化装置は、２Ｄ符号化モードを設定する場合、つまり２Ｄ画像として符号化すると決定した場合に、第２視点画像のピクチャタイプがＢピクチャである場合、当該第２視点画像のピクチャタイプをＰピクチャに変更するとともに、第２視点画像に含まれる全てのマクロブロックの符号化タイプをスキップマクロブロックにすることを特徴とする。
【０１３３】
図１１は、実施の形態４に係る符号化条件の設定処理の一例を示すフローチャートである。
【０１３４】
まず、符号化条件決定部１２２は、実施の形態１と同様に、参照画像となる第１視点画像をＬｉｓｔ０の参照インデックス０番に設定する（Ｓ４３１）。
【０１３５】
次に、符号化条件決定部１２２は、符号化対象画像（第２視点画像）のピクチャタイプを判定する（Ｓ４３２）。符号化対象画像のピクチャタイプがＢであれば（Ｓ４３２で“Ｂ”）、符号化条件決定部１２２は、符号化対象ピクチャのピクチャタイプを強制的にＰに変更する（Ｓ４３３）。
【０１３６】
そして、符号化条件決定部１２２は、符号化対象画像（第２視点画像）に含まれるＭＢのＭＢタイプがスキップマクロブロックとなる符号化条件を決定する（Ｓ４３４）。そして、符号化部１１０は、決定された符号化条件に従って、対象ＭＢを符号化する。
【０１３７】
以上の符号化条件の決定処理および符号化（Ｓ４３４）が、第２視点画像に含まれる全てのＭＢについて、繰り返される（Ｓ４３５でＮｏ）。
【０１３８】
以上のように、実施の形態４に係る画像符号化装置１００は、２Ｄ画像として符号化すると決定した場合に、第２視点画像のピクチャタイプがＢピクチャである場合は、当該第２視点画像のピクチャタイプをＰピクチャに変更するとともに、第２視点画像に含まれる全てのＭＢの符号化タイプがスキップマクロブロックになる符号化条件を決定する。
【０１３９】
これにより、第２視点画像に含まれるＭＢのタイプを判定する必要がなくなるので、処理量を削減することができる。また、第２視点画像に含まれる全てのＭＢがスキップマクロブロックであるという情報だけを符号化すればよいので、符号化効率を高めることができる。そして、実施の形態１と同様に、実施の形態３に係る画像符号化装置１００によれば、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することが可能となるように、立体視用の映像を部分的に２Ｄ映像として記録することができる。例えば、立体視用の映像のうち目の疲れが発生しやすいシーンを部分的に２Ｄ映像として記録することができ、３Ｄ映像と２Ｄ映像とをシームレスに切り替えて再生することができる。
【０１４０】
以上、本発明に係る画像符号化装置および画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１４１】
例えば、上記の各実施の形態では、プログレッシブ形式の３Ｄ映像について説明したが、３Ｄ映像はインターレース形式でもよい。この場合、１つのアクセスユニットに、左眼画像のトップフィールドと右眼画像のトップフィールドとが配置される。また、別のアクセスユニットには、左眼画像のボトムフィールドと右眼画像のボトムフィールドとが配置される。
【０１４２】
例えば、左眼画像のトップフィールドおよび左眼画像のボトムフィールドは、第１視点の第１視点画像の一例であり、右眼画像のトップフィールドおよび右眼画像のボトムフィールドは、第２視点の第２視点画像の一例である。よって、右眼画像のトップフィールドを２Ｄ画像として符号化する場合は、左眼画像のトップフィールドと右眼画像のトップフィールドとが同じ画像として符号化されるように符号化条件を決定すればよい。具体的な符号化条件の設定方法は、上述した実施の形態と同様である。
【０１４３】
また、上記の各実施の形態では、特徴量検出部１２１は、画像特徴量として、視差量または時間軸方向の動き量を検出したが、第１視点画像および第２視点画像の異なり具合を検出してもよい。第１視点画像と第２視点画像とが異なっているほど、３Ｄ画像として視聴者が見たときに、視聴者の疲労度が高まってしまうためである。具体的には、特徴量検出部１２１は、第１視点画像および第２視点画像の輝度値の差、上下方向のズレ量、または、回転方向のズレ量を画像特徴量として検出してもよい。
【０１４４】
また、特徴量検出部１２１は、立体視用の映像が３Ｄ再生される際に対になる２つの映像のうちの少なくとも一方に適用される量子化パラメータを画像特徴量として検出してもよい。つまり、特徴量検出部１２１は、第１視点画像および第２視点画像のうちの少なくとも一方に適用される量子化パラメータを検出する。
【０１４５】
この場合には、符号化条件決定部１２２は、量子化パラメータが予め定められた閾値より大きい場合に、２Ｄ符号化モードを設定する。これにより、量子化パラメータに基づいて２Ｄ符号化モードが設定されるため、量子化を伴う映像の視聴に対する視聴者の負担を軽減することができる。つまり、量子化パラメータが閾値よりも大きい場合には、３Ｄ映像が粗くなるため、立体視用の映像を３Ｄ映像として見たときに視聴者の目にとっての疲労度が高まる。そこで、このような場合に、立体視用の映像を２Ｄ映像として符号化することで、量子化を伴う映像の視聴に対する視聴者の負担を軽減することができる。
【０１４６】
なお、本発明は、上述したように、画像符号化装置および画像符号化方法として実現できるだけではなく、本実施の形態の画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データまたは信号として実現してもよい。そして、これらプログラム、情報、データおよび信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
【０１４７】
また、本発明は、画像符号化装置を構成する構成要素の一部または全部を、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）から構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどを含んで構成されるコンピュータシステムである。
【産業上の利用可能性】
【０１４８】
本発明に係る画像符号化装置および画像符号化方法は、Ｈ．２６４  ＭＶＣ規格で符号化し、放送、録画を行う用途として有用であり、例えば、デジタルテレビ、デジタルビデオレコーダ、デジタルカメラなどに利用することができる。
【符号の説明】
【０１４９】
１００  画像符号化装置
１１０  符号化部
１２０  制御部
１２１  特徴量検出部
１２２  符号化条件決定部
【図１】
2012034356.tif 000003
【図２Ａ】
2012034356.tif 000004
【図２Ｂ】
2012034356.tif 000005
【図３】
2012034356.tif 000006
【図４】
2012034356.tif 000007
【図５】
2012034356.tif 000008
【図６】
2012034356.tif 000009
【図７Ａ】
2012034356.tif 000010
【図７Ｂ】
2012034356.tif 000011
【図８】
2012034356.tif 000012
【図９】
2012034356.tif 000013
【図１０】
2012034356.tif 000014
【図１１】
2012034356.tif 000015