(57)【要約】【課題】  多視点映像を撮影した撮影部の動作に応じて参照ピクチャリストの順序を設定し、設定された参照ピクチャリストを用いて符号化することにより圧縮率の向上を図ること。【解決手段】複数の視点からの映像をピクチャ単位で符号化する画像符号化装置は、入力されたピクチャをイントラ符号化するイントラ符号化部と、映像を撮影した撮影部の動作に応じて参照ピクチャリストの順序を設定し、参照ピクチャリストを用いて入力されたピクチャを予測符号化する予測符号化部と、イントラ符号化部と予測符号化部からの出力を選択する符号化モード選択部と、を備える。【選択図】  図３
2014107588.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点からの映像をピクチャ単位で符号化する画像符号化装置であって
入力されたピクチャをイントラ符号化するイントラ符号化手段と、
前記映像を撮影した撮影手段の動作に応じて参照ピクチャリストの順序を設定し、当該参照ピクチャリストを用いて前記入力されたピクチャを予測符号化する予測符号化手段と、
前記イントラ符号化手段と前記予測符号化手段からの出力を選択する符号化モード選択手段と、
を備えることを特徴とする画像符号化装置。
【請求項２】
前記予測符号化手段は、
前記撮影手段の動作を検出する動作検出手段と、
前記動作検出手段の検出結果に基づいて前記参照ピクチャリストの順序を設定する参照ピクチャリスト設定手段と、
ブロック毎に前記参照ピクチャリストで指定されたピクチャを参照して動きベクトルまたは視差ベクトルを探索するベクトル探索手段と、
を備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記参照ピクチャリスト設定手段は、前記撮影手段が動作中の場合、前記参照ピクチャリストの中から他視点のピクチャを指定するインデクス値に割り当てられる符号が小さくなるように、前記参照ピクチャリストの順序を設定することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記参照ピクチャリスト設定手段は、前記撮影手段が動作中の場合、他視点のピクチャを前記参照ピクチャリストの最初の要素に設定することを特徴とする請求項２または３に記載の画像符号化装置。
【請求項５】
前記動作検出手段は、前記撮影手段の動作としてズーム動作を検出することを特徴とする請求項２乃至４のいずれか１項に記載の画像符号化装置。
【請求項６】
前記予測符号化手段は、少なくとも２つの予測モードおよび、それぞれの予測モードに対応する複数の参照ピクチャリストを持ち、
前記参照ピクチャリスト設定手段は、前記撮影手段の動作がズームイン動作中の場合、同一時刻の他視点のピクチャと、同一視点の前の時刻のピクチャと、を前記複数の参照ピクチャリストの最初の要素に設定することを特徴とする請求項５に記載の画像符号化装置。
【請求項７】
前記予測符号化手段は、少なくとも２つの予測モードおよび、それぞれの予測モードに対応する複数の参照ピクチャリストを持ち、
前記参照ピクチャリスト設定手段は、前記撮影手段の動作がズームアウト動作中の場合、同一時刻の他視点のピクチャと、同一視点の後の時刻のピクチャとを、前記複数の参照ピクチャリストの最初の要素に設定することを特徴とする請求項５に記載の画像符号化装置。
【請求項８】
前記動作検出手段は前記撮影手段のズーム倍率を検出し、
前記参照ピクチャリスト設定手段は、前記ズーム倍率が閾値以上である場合、他視点のピクチャを前記参照ピクチャリストの最初の要素に設定することを特徴とする請求項４乃至７のいずれか１項に記載の画像符号化装置。
【請求項９】
前記動作検出手段は前記撮影手段のズーム速度を検出し、
前記参照ピクチャリスト設定手段は、ズーム速度が閾値以下である場合、前のピクチャの参照ピクチャリストと同一の参照ピクチャリストを設定することを特徴とする請求項４乃至７のいずれか１項に記載の画像符号化装置。
【請求項１０】
前記動作検出手段は前記撮影手段の本体の動き量を検出し、
前記本体の動き量が閾値以上である場合、前記参照ピクチャリスト設定手段は他視点のピクチャを参照ピクチャリストの最初の要素に設定することを特徴とする請求項２乃至９のいずれか１項に記載の画像符号化装置。
【請求項１１】
複数の視点からの映像をピクチャ単位で符号化する画像符号化装置の画像符号化方法であって
イントラ符号化手段が、入力されたピクチャをイントラ符号化するイントラ符号化工程と、
予測符号化手段が、前記映像を撮影した撮影手段の動作に応じて参照ピクチャリストの順序を設定し、当該参照ピクチャリストを用いて前記入力されたピクチャを、参照ピクチャから予測符号化する予測符号化工程と、
符号化モード選択手段が、前記イントラ符号化工程と前記予測符号化工程からの出力を選択する符号化モード選択工程と、
を有することを特徴とする画像符号化方法。
【請求項１２】
前記予測符号化工程は、
動作検出手段が、前記撮影手段の動作を検出する動作検出工程と、
参照ピクチャリスト設定手段が、前記動作検出工程の検出結果に基づいて前記参照ピクチャリストの順序を設定する参照ピクチャリスト設定工程と、
ベクトル探索手段が、ブロック毎に前記参照ピクチャリストで指定されたピクチャを参照して動きベクトルまたは視差ベクトルを探索するベクトル探索工程と、
を有することを特徴とする請求項１１に記載の画像符号化方法。
【請求項１３】
前記参照ピクチャリスト設定工程は、前記撮影手段が動作中の場合、前記参照ピクチャリストの中から他視点のピクチャを指定するインデクス値に割り当てられる符号が小さくなるように、前記参照ピクチャリストの順序を設定することを特徴とする請求項１２に記載の画像符号化方法。
【請求項１４】
前記参照ピクチャリスト設定工程は、前記撮影手段が動作中の場合、他視点のピクチャを前記参照ピクチャリストの最初の要素に設定することを特徴とする請求項１２または１３に記載の画像符号化方法。
【請求項１５】
前記動作検出工程は、前記撮影手段の動作としてズーム動作を検出することを特徴とする請求項１２乃至１４のいずれか１項に記載の画像符号化方法。
【請求項１６】
前記予測符号化工程は、少なくとも２つの予測モードおよび、それぞれの予測モードに対応する複数の参照ピクチャリストを持ち、
前記参照ピクチャリスト設定工程は、前記撮影手段の動作がズームイン動作中の場合、同一時刻の他視点のピクチャと、同一視点の前の時刻のピクチャと、を前記複数の参照ピクチャリストの最初の要素に設定することを特徴とする請求項１５に記載の画像符号化方法。
【請求項１７】
前記予測符号化工程は、少なくとも２つの予測モードおよび、それぞれの予測モードに対応する複数の参照ピクチャリストを持ち、
前記参照ピクチャリスト設定工程は、前記撮影手段の動作がズームアウト動作中の場合、同一時刻の他視点のピクチャと、同一視点の後の時刻のピクチャとを、前記複数の参照ピクチャリストの最初の要素に設定することを特徴とする請求項１５に記載の画像符号化方法。
【請求項１８】
前記動作検出工程は前記撮影手段のズーム倍率を検出し、
前記参照ピクチャリスト設定工程は、前記ズーム倍率が閾値以上である場合、他視点のピクチャを前記参照ピクチャリストの最初の要素に設定することを特徴とする請求項１４乃至１７のいずれか１項に記載の画像符号化方法。
【請求項１９】
前記動作検出工程は前記撮影手段のズーム速度を検出し、
前記参照ピクチャリスト設定工程は、ズーム速度が閾値以下である場合、前のピクチャの参照ピクチャリストと同一の参照ピクチャリストを設定することを特徴とする請求項１４乃至１７のいずれか１項に記載の画像符号化方法。
【請求項２０】
前記動作検出工程は前記撮影手段の本体の動き量を検出し、
前記本体の動き量が閾値以上である場合、前記参照ピクチャリスト設定工程は他視点のピクチャを前記参照ピクチャリストの最初の要素に設定することを特徴とする請求項１２乃至１９のいずれか１項に記載の画像符号化方法。
【請求項２１】
コンピュータを、請求項１乃至１０のいずれか１項に記載の画像符号化装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化装置、画像符号化方法およびプログラムに関する。
【背景技術】
【０００２】
近年、２眼カメラで撮影した立体映像コンテンツが普及し始めている。多視点で撮影した映像を圧縮符号化するための技術としてＨ.２６４ＭＶＣ符号化方式が標準化されており、２眼カメラで撮影した立体映像コンテンツの圧縮符号化にも採用されている。
【０００３】
Ｈ.２６４ＭＶＣでは、従来のＨ.２６４における動きベクトルを用いたフレーム間予測に加えて、同一時刻で異なる視点（以降、他視点と記す）のピクチャを、視差ベクトルを用いて予測符号化する視点間予測が可能となっている。Ｈ.２６４では複数の参照ピクチャの候補の中から予測符号化に用いる参照ピクチャを選ぶことができる仕組みとして、参照ピクチャリストがある。Ｈ.２６４ＭＶＣでは、参照ピクチャリストに対して他視点のピクチャを設定できるようにすることにより、従来のＨ.２６４をサポートするハードウェアでもＨ.２６４ＭＶＣによる符号化ができるようになっている。以下、参照ピクチャリストについて説明する。
【０００４】
まず、説明を簡単にするためＨ.２６４における参照ピクチャリストについて説明する。Ｈ.２６４における予測モードにはＬ０予測とＬ１予測の２種類があり、Pピクチャ（前方向予測ピクチャ）ではＬ０予測のみが使用可能で、Bピクチャ（双予測ピクチャ）ではＬ０予測とＬ１予測の両方が使用可能である。Ｌ０予測とＬ１予測の各々に対応する参照ピクチャリストがあり、現在のピクチャの予測符号化に使用可能なピクチャを、ピクチャの符号化を開始する前に予め参照ピクチャリストに設定しておく。
【０００５】
フレーム間予測符号化において動きベクトルを探索する際には、参照ピクチャリストに設定されたピクチャの中から動きベクトルを探索する。Ｈ.２６４ではフレーム間予測で参照するピクチャを最小で８ｘ８画素のブロック毎に参照ピクチャリストの中から選択可能である。ブロック毎に選択された参照ピクチャに対応する参照ピクチャリスト内の要素の番号（インデクス値）が指数ゴロム符号で符号化される。例えば、図１１のBピクチャB4を符号化する際に、表１のように参照ピクチャリストが設定されているときの処理を挙げて説明する。ここで、RefPicListL0[x]はＬ０予測の参照ピクチャリストであり、RefPicListL1[x]はＬ１予測の参照ピクチャリストである。RefPicListL0[1]に設定されたＩピクチャI0と、RefPicListL1[0]に設定されたＰピクチャP6とを参照して符号化する場合、各々インデクス値0と1を指数ゴロム符号化する。表２に指数ゴロム符号の符号表を示す。インデクス値0は符号”1”で符号化され、インデクス値1は符号”010”で符号化される。
【０００６】
【表１】
2014107588.tif 000003
【０００７】
【表２】
2014107588.tif 000004
【０００８】
指数ゴロム符号では値が小さいほど短い長さの符号語が割り当てられるため、ブロック毎に参照される回数の多い参照ピクチャを参照ピクチャリストの前方の要素に設定することが、圧縮率を向上させるうえで重要となる。一般的には、現在、符号化対象のピクチャから時間的に最も近いピクチャから順番に参照ピクチャリストが設定される。また、Ｌ０予測の参照ピクチャリストには時間的に前のピクチャをリストの前半に設定し、Ｌ１予測の参照ピクチャリストには時間的に後のピクチャをリストの前半に設定することが一般的である。
【０００９】
さらに、Ｈ.２６４ＭＶＣでは、基準視点（ベースビュー）と呼ばれる視点のピクチャを除いて、同一時刻の他視点の映像のピクチャを参照ピクチャリストに設定することができる。視点間予測符号化において視差ベクトルを探索する際には、参照ピクチャリストに設定されたピクチャの中から視差ベクトルを探索する。Ｈ.２６４ＭＶＣにおいても、ブロック毎に選択された参照ピクチャリストのインデクス値は指数ゴロム符号化される。よって、同一視点の前後の時刻のピクチャと、同一時刻の他視点の映像のピクチャの中から、最適なピクチャを選んで参照ピクチャリストの順序を設定することが、圧縮率を向上させる上で重要となる。
【００１０】
フレーム間予測と視点間予測を最適に選択する従来技術として、例えば、特許文献１に記載の技術が提案されている。特許文献１の技術ではブロック毎に動き量を解析し、動き量がないと判断したときはフレーム間予測を選択している。また、フレーム間予測でのブロックの予測誤差と視点間予測での予測誤差とを基に、どちらの予測を選択するかを決定している。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１０-１９１３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、従来技術においては参照ピクチャリストのインデクス値の符号量をコストとして考慮しておらず、参照ピクチャリストを最適に設定する方法については述べられていない。ここで、参照ピクチャリストの最初の要素（インデクス値が０）に同一視点の前後の時刻のピクチャが設定され、参照ピクチャリストの２番目の要素（インデクス値が１）に他視点のピクチャが設定された場合を考える。
【００１３】
予測誤差に基づいてブロック毎に予測方法を選択した結果、例えばピクチャ内の全てのブロックにおいて視点間予測が選択された場合、表２の符号表より全てのブロックについて参照ピクチャリストのインデクス値が符号”010”で符号化されてしまう。ピクチャに対する符号化を開始する前に、参照される回数の多いピクチャを予め解析することできれば、参照回数の多いピクチャから順に参照ピクチャリストに設定することが可能である。しかしながらデジタルカメラのようなリアルタイム処理が必要とされる機器においては、そのような２パス処理を必要とする解析の実現は困難である。
【課題を解決するための手段】
【００１４】
そこで本発明は、多視点映像を撮影した撮影部の動作に応じて参照ピクチャリストの順序を設定し、設定された参照ピクチャリストを用いて符号化することにより圧縮率の向上を図ることが可能な画像符号化技術の提供を目的とする。
【００１５】
上記の目的を達成する本発明の一つの側面に係る画像符号化装置は、複数の視点からの映像をピクチャ単位で符号化する画像符号化装置であって
入力されたピクチャをイントラ符号化するイントラ符号化手段と、
前記映像を撮影した撮影手段の動作に応じて参照ピクチャリストの順序を設定し、当該参照ピクチャリストを用いて前記入力されたピクチャを予測符号化する予測符号化手段と、
前記イントラ符号化手段と前記予測符号化手段からの出力を選択する符号化モード選択手段と、を備えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、多視点映像を撮影した撮影部の動作に応じて参照ピクチャリストの順序を設定し、設定された参照ピクチャリストを用いて符号化することにより圧縮率の向上を図ることが可能になる。
【００１７】
例えば、本発明の画像符号化装置によれば、カメラ動作の検出結果に基づいて参照ピクチャリストの順序が設定され、カメラ動作中は他視点のピクチャを参照ピクチャリストの中から指定するインデクス値に割り当てられる符号が小さくなる。ズーム、パン、チルトなどの動作がカメラに加えられているときは、ブロック毎のベクトル探索処理において他視点のピクチャが選択されるブロックの数が多くなるため、ブロック毎に参照ピクチャを指定する符号量が削減される。よって、本発明によれば、多視点映像を圧縮する際の符号化効率を向上させることが可能になる。
【図面の簡単な説明】
【００１８】
【図１】第１実施形態の画像符号化装置を用いたカメラの構成を示す図。
【図２】第１実施形態の画像符号化装置の構成を示す図。
【図３】第１実施形態の画像符号化装置の予測符号化部２０４の構成を示す図。
【図４】フレーム間予測及び視点間予測の参照関係を例示する図。
【図５】第１実施形態の参照ピクチャリスト設定部の動作を示すフローチャート。
【図６】別の実施形態における参照ピクチャリスト設定部の動作を示すフローチャート。
【図７】第２実施形態の参照ピクチャリスト設定部の動作を示すフローチャート。
【図８】ズームイン動作時の映像に対する予測符号化を例示する図。
【図９】ズームアウト動作時の映像に対する予測符号化を例示する図
【図１０】別の実施形態での参照ピクチャリスト設定部の動作を示すフローチャート。
【図１１】フレーム間予測における参照関係を例示する図。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００２０】
（実施形態１）
本発明の第１実施形態の画像符号化装置ならびにそれを用いた撮影装置としてデジタルカメラ（以降、カメラと記す）について、図１を参照して説明する。図１は、本実施形態の画像符号化装置を用いたカメラの構成を表すブロック図である。ＣＰＵ１０１はカメラを構成する各部を制御する。撮像部１０２はレンズとセンサから構成され、視点の異なる２つの映像(以下、２視点映像と記す)を撮像することができる。画像処理部１０３は、撮像部１０２から出力された２視点映像に対して現像処理を行う。現像処理された映像はバス１０５を介してメインメモリ１０７へ出力される。
【００２１】
符号化部１０４は本実施形態の画像符号化装置を搭載し、画像処理部１０３から出力されメインメモリ１０７に保持されている２視点映像を符号化し、ストリームを出力する。本実施形態の画像符号化装置は、入力された２視点映像をＨ.２６４ ＭＶＣ方式で符号化するが、本発明はこれに限定されない。符号化部１０４から出力されたストリームはバス１０５を介してメモリカード１０８へ保存される。ユーザインタフェース１０６は、撮影開始、ズームアウト／ズームイン操作等、ユーザからカメラの操作を受け付ける。ＣＰＵ１０１はユーザからの操作に応じて、撮像部１０２、画像処理部１０３および符号化部１０４を制御する。また、ＣＰＵ１０１は、ユーザから受け付けたカメラの操作に関する情報であるカメラ動作情報を、符号化部１０４へ入力する。
【００２２】
次に、符号化部１０４の構成を、図２を用いて詳細に説明する。映像入力端子２０１はメインメモリ１０７から読み出された２視点映像を１ピクチャずつ入力する。カメラ動作情報入力端子２０２は、カメラ動作情報をＣＰＵ１０１から受け付ける。イントラ符号化部２０３は、入力されたピクチャをイントラ符号化する。予測符号化部２０４は、入力されたピクチャを、後述するフレームメモリ２１０に保持された参照ピクチャを参照してフレーム間予測符号化または視点間予測符号化を行う。符号化モード選択部２０５は、イントラ符号化または予測符号化されたピクチャのいずれかを選択する。変換・量子化部２０６は、符号化モード選択部２０５によって選択されたピクチャに対し直交変換及び量子化を行う。可変長符号化部２０７は、量子化された変換係数を可変長符号化する。また、可変長符号化部２０７は、予測符号化部２０４から出力され符号化モード選択部２０５を介して送られる動きベクトル、視差ベクトル及び参照ピクチャリストのインデクス値を含む、種々の符号化パラメータも可変長符号化する。逆変換・逆量子化部２０８は、量子化された変換係数を逆量子化し、逆変換を行う。デブロッキングフィルタ２０９は、逆変換されたピクチャに対しブロック歪除去を行う。デブロッキングフィルタ２０９から出力されたピクチャは、後続するピクチャの予測符号化で参照するためにフレームメモリ２１０に保持される。
【００２３】
なお、本実施形態ではフレームメモリ２１０は符号化装置内部に専用のメモリとして設けられているが、本発明はこれに限定されない。例えば、図１のメインメモリ１０７上にフレームメモリ領域を割り当ててもよい。また、本実施形態では量子化された変換係数及び符号化パラメータを可変長符号化しているが、算術符号化してもよい。
【００２４】
次に、図３を参照して予測符号化部２０４を説明する。図３は予測符号化部２０４の構成を表すブロック図である。図３において、カメラ動作検出部３０１は入力されたカメラ動作情報を検出する。参照ピクチャリスト設定部３０２は、カメラ動作情報に基づいて、フレーム間予測及び視点間予測で用いる参照ピクチャリストの順序を、ピクチャ単位で設定する。ベクトル探索部３０３は、参照ピクチャリストを参照してフレームメモリ２１０から参照ピクチャを読み出し、映像入力端子２０１から入力されたピクチャの動きベクトルまたは視差ベクトルをブロック単位で探索し、最適なベクトルを決定する。動きベクトルまたは視差ベクトル、及び選択した参照ピクチャを指定する参照ピクチャリストのインデクス値は符号化モード選択部２０５へ出力される。例えば、Ｌ０予測の参照ピクチャリストRefPicListL0[x]に設定された参照ピクチャのうち、インデクス値１で指定されるピクチャが選択された場合、インデクス値１が符号化モード選択部２０５へ出力される。
【００２５】
次に、図４及び図５を参照して、参照ピクチャリスト設定部３０２の動作を説明する。図４は、フレーム間予測および視点間予測の参照関係を例示する図である。図４で示した例において、右視点映像は、予測符号化において他視点のピクチャを参照しない、フレーム間予測符号化のみが行われる基準視点の映像である。言い換えると、右視点映像のピクチャの予測符号化においては、右視点（同一視点）の異なる時刻のピクチャのみ参照し得る。一方、左視点映像のピクチャの予測符号化においては、同一時刻の右視点映像のピクチャ及び左視点（同一視点）の異なる時刻のピクチャのいずれも参照できる。なお、本発明はこれに限定されず、左視点を基準視点に設定してもよい。図５は、基準視点ではない視点の映像に属するピクチャを符号化する際の、参照ピクチャリスト設定部３０２の動作を示すフローチャートである。本実施形態では左視点映像のピクチャを符号化する際の参照ピクチャリスト設定部３０２の動作を示している。
【００２６】
なお、基準視点である右視点映像のピクチャを符号化する際の参照ピクチャリストの設定は公知技術と同様に行われる。具体的には、Ｌ０予測の参照ピクチャリストには同一視点に属する前の時刻のピクチャを設定し、Ｌ１予測の参照ピクチャリストには同一視点に属する後の時刻のピクチャを設定すればよい。
【００２７】
図５のフローチャートを用いて、参照ピクチャリストの順序を設定する処理について具体的に説明する。まずステップＳ５０１において、カメラ動作検出部３０１で検出されたカメラ動作情報を基に、ズーム動作中であるか否かを判定する。ズーム動作中であれば（ステップＳ５０１でＹｅｓ）、ステップＳ５０２へ進む。そうでなければ（ステップＳ５０１でＮｏ）、ステップＳ５０３へ進む。
【００２８】
ステップＳ５０２ではズーム動作中であるので、参照ピクチャリストの最初の要素を同一時刻の他視点のピクチャに設定する。具体的には、Ｌ０/Ｌ１各々の予測モードに対応する参照ピクチャリストの最初の要素RefPicListL0[0]及びRefPicListL1[0]に同一時刻の他視点のピクチャを設定する。一方、Ｌ０予測の参照ピクチャリストの２番目の要素RefPicListL0[1]には同一視点の前の時刻のピクチャを設定し、Ｌ１予測の参照ピクチャリストの２番目の要素RefPicListL1[1]には同一視点の後の時刻のピクチャを設定する。なお、本発明は参照ピクチャリストの２番目の要素の設定方法について限定されるものではない。例えば、RefPicListL0[1]に同一視点の後の時刻のピクチャを設定してもよい。
【００２９】
ステップＳ５０３ではズーム動作が行われていないので、参照ピクチャリストの最初の要素を同一視点の前後の時刻のピクチャに設定する。具体的には、RefPicListL0[0]を同一視点の前の時刻のピクチャに設定し、RefPicListL1[0]を同一視点の後の時刻のピクチャに設定する。また、参照ピクチャリストの２番目の要素RefPicListL0[1]及びRefPicListL1[1]には同一時刻の他視点のピクチャを設定する。
【００３０】
なお、本発明は図５に例示したフローチャートに限定されない。例えば、ズーム動作中でない場合は、ベクトル探索部３０３によって選択された動きベクトル（フレーム間予測）と視差ベクトル（視点間予測）のうち、選択された回数が多い方に基づいて、図６のように参照ピクチャリストを設定してもよい。図６のフローチャートのうち、ステップＳ６０１、Ｓ６０２は図５のステップＳ５０１、Ｓ５０２と共通である。図６のステップＳ６０３の判定で、視点間予測が選択される回数が多い場合（ステップＳ６０３でＹｅｓ）は、参照ピクチャリストの最初の要素を同一時刻の他視点のピクチャに設定する（ステップＳ６０４）。そうでない場合（ステップＳ６０３でＮｏ）は、参照ピクチャリストの最初の要素を同一視点の前後の時刻のピクチャに設定する（ステップＳ６０５）。なお、インデクス値２以降の参照ピクチャリストの設定は本発明では規定されず、従来技術に従って設定すればよい。
【００３１】
以上に説明したように本実施形態の画像符号化装置では、ズーム動作が行われていることを検知した場合、参照ピクチャリストの最初の要素に、同一時刻の他視点の参照ピクチャが設定される。図４に示す映像のピクチャL_B2を符号化する場合を例に挙げて、参照ピクチャリストの設定例を説明する。L_B2が参照可能なピクチャは右視点（他視点）映像のR_B2、左視点（同一視点）映像のL_P0およびL_B4であり、参照ピクチャリストの各要素にはこれらのピクチャを設定できるものとする。ズーム動作が行われたとき、他視点の映像を参照ピクチャリストの最初の要素（インデクス値０）に設定するので、参照ピクチャリストの設定は表３のようになる。一方、ズーム動作が行われていないときは、参照ピクチャリストの設定は表４のようになる。
【００３２】
【表３】
2014107588.tif 000005
【００３３】
【表４】
2014107588.tif 000006
【００３４】
一般的に、ズーム動作中は物体が拡大・縮小されるため時間軸方向で予測符号化を行うフレーム間予測は予測残差が増加する傾向にあるので、視点間で予測符号化を行う視点間予測がベクトル探索部３０３により選択される可能性が高い。よって、ズーム動作中は、ブロック毎のベクトル探索処理において、参照ピクチャリストの最初の要素に設定された他視点のピクチャが選択される回数が多くなる。前述のように、ブロック単位で選択した参照ピクチャを示す参照ピクチャリストのインデクス値は符号化モード選択部２０５を介して可変長符号化部２０７へ出力される。参照ピクチャリストのインデクス値はＨ.２６４符号化方式においては指数ゴロム符号によりブロック単位で符号化される。インデクス値０は１ビットの符号’１’で符号化される。一方、インデクス値１は３ビットの符号”010”で符号化される。よって、本実施形態の画像符号化装置では、参照ピクチャリストのインデクス値を表す符号を１ブロックあたり２ビット削減することができる。
【００３５】
なお、本発明はこれに限定されるものではなく、ズーム速度に応じて参照ピクチャリストの最初の要素の設定を行ってもよい。Ｈ.２６４符号化方式では、ピクチャ単位で参照ピクチャリストの変更が可能だが、変更する場合は符号をストリームに挿入する必要がある。ズーム動作がゆっくりである場合はフレーム間予測の予測残差が増加しないので、ズーム速度が予め設定された閾値以下である場合は参照ピクチャリストの設定変更を行わない実施形態も考えられる。
【００３６】
また、光学ズームの倍率に応じて参照ピクチャリストの最初の要素の設定を行ってもよい。ズーム倍率が高い場合は、カメラの近くに位置する物体の画面上での移動量が大きくなる。よって、予測誤差や動きベクトルが大きくなることにより符号量が増加したり、物体がすぐにフレームアウトすることによりフレーム間予測ができずイントラ符号化が選択されて符号量が増加する可能性が高い。さらに、カメラを三脚等に固定せずに手で保持して撮影する場合は、手振れの量も大きくなり符号量が増加する可能性もある。ゆえに、ズーム倍率が高いときは視点間予測が有効であるので、ズーム動作が停止している場合であってもズーム倍率が予め設定された閾値以上であれば、参照ピクチャリストの最初の要素に同一時刻の他視点のピクチャを設定するようにしてもよい。
【００３７】
一方、デジタルズームの場合は画像がボケるため、フレーム間予測の予測誤差や動きベクトルがさほど増加しない可能性がある。ゆえに、デジタルズームの場合は参照ピクチャリストの設定変更を行わない実施形態であってもよいし、上述の光学ズームと同様に参照ピクチャリストを設定してもよい。
【００３８】
さらに、本実施形態の画像符号化装置ではカメラのズーム動作を検出しているが、別の実施形態として、パン・チルト操作などデジタルカメラ本体の動き量を検出するようにしてもよい。カメラ本体の動き量が大きい場合は、上述したズーム倍率が高いときと同様にフレーム間予測が効きにくい可能性が高い。よって、カメラの動き量が大きい場合は参照ピクチャリストの最初の要素に同一時刻の他視点のピクチャを設定するようにしてもよい。
【００３９】
また、本実施形態の画像符号化装置では、ＣＰＵ１０１から入力されたカメラ動作情報をカメラ動作検出部３０１が検出し、カメラ動作情報を基に参照ピクチャリスト設定部３０２が参照ピクチャリストを設定しているが、本発明はこれに限定されない。入力されたピクチャをカメラ動作検出部３０１が解析して参照ピクチャリスト設定部３０２に入力してもよい。例えば、カメラ動作検出部３０１がピクチャ内の動きベクトルを解析することにより、カメラ動作情報を推定する方法が考えられる。
【００４０】
なお、本実施形態の画像符号化装置を組み込んだカメラでは、左右に並んだ２視点の映像を撮影するようにしているが、本発明はこれに限定されない。撮像素子を縦に並べてもよいし、２つよりも多い複数の視点の映像を撮影するようにしてもよい。
【００４１】
（実施形態２）
本発明の第２実施形態の画像符号化装置について説明する。本実施形態の画像符号化装置の構成は、図２に示した本発明の第１実施形態の画像符号化装置の構成と同一である。また、参照ピクチャリスト設定部３０２の構成も図３と同一であるが、参照ピクチャリスト設定部３０２の処理が第１実施形態の画像符号化装置と異なる。以下、図７に示すフローチャートを用いて、本実施形態の画像符号化装置の参照ピクチャリスト設定部の動作を説明する。
【００４２】
まず、ステップＳ７０１でズームイン動作中であるか否かを判定する。ズームイン動作中である場合（ステップＳ７０１でYes）は、ステップＳ７０２へ処理を進める。ステップＳ７０２では、L0予測の参照ピクチャリストの最初の要素RefPicListL0[0]に同一時刻の他視点のピクチャを設定する。また、L1予測の参照ピクチャリストの最初の要素RefPicListL1[0]に同一視点の前の時刻のピクチャを設定する。Ｌ０予測の参照ピクチャリストの２番目の要素RefPicListL0[1]には同一視点の前の時刻のピクチャを設定し、Ｌ１予測の参照ピクチャリストの２番目の要素RefPicListL1[1]には同一時刻の他視点のピクチャを設定する。
【００４３】
一方、ズームイン動作中でない場合（ステップＳ７０１でNo）は、ステップＳ７０３へ処理を進める。ステップＳ７０３ではズームアウト動作中であるか否かを判定する。ズームアウト動作中である場合（ステップＳ７０３でＹｅｓ）は、ステップＳ７０４へ処理を進める。Ｌ０予測の参照ピクチャリストの最初の要素RefPicListL0[0]に同一時刻の他視点のピクチャを設定する。また、Ｌ１予測の参照ピクチャリストの最初の要素RefPicListL1[0]に同一視点の後の時刻のピクチャを設定する。Ｌ０予測の参照ピクチャリストの２番目の要素RefPicListL0[1]には同一視点の後の時刻のピクチャを設定し、Ｌ１予測の参照ピクチャリストの２番目の要素RefPicListL1[1]には同一時刻の他視点のピクチャを設定する。
【００４４】
ズームイン・ズームアウトのいずれの動作も行われていない場合（ステップＳ７０３でＮｏ）は、ステップＳ７０５へ処理を進める。ステップＳ７０５の処理は、図５のステップＳ５０３と同一である。
【００４５】
次に、本実施形態の画像符号化装置により行われる予測処理を図８及び図９を用いて説明する。図８はズームイン動作時の映像に対する予測符号化を例示するものであり、図９はズームアウト動作時の映像に対する予測符号化を例示するものである。図８と図９のいずれも、Ｒ１からＲ３は右視点映像のピクチャであり、Ｌ１からＬ３は左視点映像のピクチャである。ここでは、右視点を基準視点とし、左視点映像のピクチャを符号化する例を挙げて動作を説明する。
【００４６】
ズームイン動作中は、図８に示すように時間が経つにつれて画面の端に位置するオブジェクトが画面からフレームアウトするため、視点間予測が有効であるケースが多い。例えば、ピクチャＬ２の右端に位置するブロック８０３は右視点映像のピクチャＲ２に映っているので、視点間予測符号化が行われる。しかしながら、左視点映像のピクチャＬ２の左端の画像（例えばブロック８０１）は、視差が生じるため同一時刻の右視点映像のピクチャＲ２には映っていない。このような場合は、同一視点の前の時刻のピクチャL-1の画像（例えばブロック８０２）を参照して予測符号化が行われる。そこで、ズームイン動作中は、同一時刻の他視点の映像のピクチャと、同一視点の前の時刻のピクチャとを参照ピクチャリストの最初の要素に設定することにより、参照ピクチャリストのインデクス値0で指定されるピクチャが選択される回数が増える。よって、例えばＨ.２６４符号化方式で符号化する場合、実施形態１の画像符号化装置と同様に、参照ピクチャリストのインデクス値の符号語に割り当てられるビット数を削減することができる。
【００４７】
また、ズームアウト動作中は、図９に示すように時間が経つにつれて画面の端に位置するオブジェクトが画面にフレームインするため、視点間予測が有効であるケースが多い。例えば、ピクチャＬ２の右端に位置するブロック９０３は右視点映像のピクチャＲ２に映っているので、視点間予測符号化が行われる。しかしながら、左視点映像のピクチャＬ２の左端の画像（例えばブロック９０１）は、視差が生じるため同一時刻の右視点映像のピクチャＲ２には映っていない。このような場合は、同一視点の後の時刻のピクチャＬ３の画像（例えばブロック９０２）を参照して予測符号化が行われる。そこで、ズームイン動作中は、同一時刻の他視点の映像のピクチャと、同一視点の後の時刻のピクチャとを参照ピクチャリストの最初の要素に設定することにより、参照ピクチャリストのインデクス値0で指定されるピクチャが選択される回数が増える。
【００４８】
なお本発明の参照ピクチャリストの設定方法はこれに限定されるものではない。例えば、図１０に示すように、ズーム動作中である場合（ステップＳ１００１でＹｅｓ）、Ｌ０/Ｌ１いずれの予測の参照ピクチャリストに対しても、最初の要素を同一時刻の他視点のピクチャに設定してもよい。そして、２番目の要素を同一視点の前の時刻のピクチャ（ステップＳ１００２）に設定してもよい。あるいは、ズームイン動作でない場合（ステップＳ１００１でＮｏ）、ステップＳ１００３へ処理を進める。ステップＳ１００３において、ズームアウト動作中である場合（ステップＳ１００３でＹｅｓ）、Ｌ０/Ｌ１いずれの予測の参照ピクチャリストに対しても、最初の要素を同一時刻の他視点のピクチャに設定してもよい。そして、２番目の要素を同一視点の後の時刻のピクチャ（ステップＳ１００４）に設定してもよい。ズームアウト動作中でない場合（ステップＳ１００３でＮｏ）、あるいは、ステップＳ１００２、ステップＳ１００４の処理の後、ステップＳ１００５へ処理を進める。ステップＳ１００５の処理は図５のステップＳ５０３と同一である。
【００４９】
以上のように本発明の実施形態を例示的に説明したが、本発明の趣旨は、上記の実施形態に限定されるものではなく、各実施形態で述べられた構成要素を組み合わせることにより応用して展開することも容易に可能である。
また、以上の実施形態では撮影装置としてデジタルカメラにおける実施形態を説明したが、本発明の趣旨はこの例に限定されるものではない。例えば、視点毎に独立にＨ.２６４符号化方式で符号化されたストリームをネットワーク上のサーバへ送信し、サーバでＨ.２６４ＭＶＣ符号化方式にトランスコードする場合にも適用可能である。この場合、ストリームにカメラ動作情報を埋め込んでおき、トランスコードする際にカメラ動作情報を基に参照ピクチャリストを設定してもよい。あるいは、ストリームを復号する際に撮影シーンの解析を行い、カメラ動作の検出結果に応じて参照ピクチャリストを設定してもよい。  （その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014107588.tif 000007
【図２】
2014107588.tif 000008
【図３】
2014107588.tif 000009
【図４】
2014107588.tif 000010
【図５】
2014107588.tif 000011
【図６】
2014107588.tif 000012
【図７】
2014107588.tif 000013
【図８】
2014107588.tif 000014
【図９】
2014107588.tif 000015
【図１０】
2014107588.tif 000016
【図１１】
2014107588.tif 000017