(57)【要約】【課題】従来の技術では、多視点画像を符号化する際、データ量が多くなる可能性がある。【解決手段】画像符号化装置１００は、符号化対象画像を符号化する際に使用可能な複数の参照画像について、カメラの撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則を保持し、カメラから、カメラの撮影状況を特定する情報を取得し、その撮影状況と規則とに基づいて、符号化対象画像毎に、複数の参照画像の順位を決定し、順位とそれに対応する参照画像とをそれぞれ関連付けた参照画像リストを生成するリスト生成部２６と、ブロック毎に、データ量の最も少ない符号化後データが得られる参照画像を選択し、選択した参照画像を用いるとともに対応する参照画像リストにおいて選択した参照画像の順位を特定する情報を含めて符号化を行う可変長符号化部７とを有する。【選択図】図３
2011087270.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置から得られる符号化対象画像を符号化する際に使用可能な複数の参照画像について、前記撮影装置の撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則を保持する保持部と、
前記撮影装置から、その撮影装置の撮影状況を特定する情報を取得し、その情報が示す撮影状況と前記規則とに基づいて、前記符号化対象画像毎に、前記複数の参照画像の順位を決定し、決定した順位と、その順位に対応する参照画像とをそれぞれ関連付けた参照画像リストを生成するリスト生成部と、
前記符号化対象画像のうちの一の符号化対象画像を複数のブロックに分割し、この分割したブロック毎に、前記複数の参照画像のうち符号化後のデータ量が最も少なくなる参照画像を選択し、この選択した参照画像を用いるとともに、前記一の符号化対象画像に対応する前記参照画像リストにおいてその選択した参照画像の順位を特定する情報を含めて符号化を行う符号化部と
を備える画像符号化装置。
【請求項２】
前記リスト生成部は、前記撮影装置から被写体までの距離が所定の閾値より大きい場合、前記参照画像リストにおいて、視差補償予測の参照画像の順位を動き補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項３】
前記リスト生成部は、前記撮影装置がパン又はチルトする際の移動速度が所定の閾値より小さい場合、前記参照画像リストにおいて、動き補償予測の参照画像の順位を視差補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項４】
前記リスト生成部は、ズーム速度が所定の閾値より大きい場合、前記参照画像リストにおいて、視差補償予測の参照画像の順位を動き補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項５】
前記リスト生成部は、ズーム倍率が所定の閾値以上である場合、前記参照画像リストにおいて、動き補償予測の参照画像の順位を視差補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項６】
前記リスト生成部は、前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出し、算出した視差補償予測評価値が所定の閾値より小さい場合、前記参照画像リストにおいて、視差補償予測の参照画像の順位を動き補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項７】
前記リスト生成部は、前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出し、算出した視差補償予測評価値が所定の閾値より小さい場合、前記参照画像リストにおいて、視差補償予測の参照画像のみを設定し、算出した視差補償予測評価値が前記閾値以上である場合、前記参照画像リストにおいて、動き補償予測の参照画像のみを設定する
請求項１に記載の画像符号化装置。
【請求項８】
前記リスト生成部は、前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出し、算出した動き補償予測評価値が所定の閾値より小さい場合、前記参照画像リストにおいて、動き補償予測の参照画像の順位を視差補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項９】
前記リスト生成部は、前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出し、算出した動き補償予測評価値が所定の閾値より小さい場合、前記参照画像リストにおいて、動き補償予測の参照画像のみを設定し、算出した動き補償予測評価値が前記閾値以上である場合、前記参照画像リストにおいて、視差補償予測の参照画像のみを設定する
請求項１に記載の画像符号化装置。
【請求項１０】
前記リスト生成部は、（１）前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出するとともに、前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出し、（２）算出した視差補償予測評価値が算出した動き補償予測評価値より小さい場合、前記参照画像リストにおいて、視差補償予測の参照画像の順位を動き補償予測の参照画像よりも上位に設定し、算出した視差補償予測評価値が算出した動き補償予測評価値以上である場合、前記参照画像リストにおいて、動き補償予測の参照画像の順位を視差補償予測の参照画像よりも上位に設定する
請求項１に記載の画像符号化装置。
【請求項１１】
前記リスト生成部は、（１）前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出するとともに、前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出し、（２）算出した視差補償予測評価値が算出した動き補償予測評価値より小さい場合、前記参照画像リストにおいて、視差補償予測の参照画像のみを設定し、算出した視差補償予測評価値が算出した動き補償予測評価値以上である場合、前記参照画像リストにおいて、動き補償予測の参照画像のみを設定する
請求項１に記載の画像符号化装置。
【請求項１２】
前記リスト生成部は、２視点の画像のうちの非基準視点の画像が符号化される場合、
前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出し、
算出した視差補償予測評価値が所定の閾値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、
算出した視差補償予測評価値が前記閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１３】
前記リスト生成部は、２視点の画像のうちの非基準視点の画像が符号化される場合、
前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる中間値に、非基準視点の前記一の符号化対象画像と前記一の符号化対象画像の直前に取得された非基準視点の画像との時間間隔を乗じて第１の動き補償予測評価値を算出するとともに、前記中間値に、非基準視点の前記一の符号化対象画像と前記一の符号化対象画像の直前より前に取得された非基準視点の画像との時間間隔を乗じて第２の動き補償予測評価値を算出し、
算出した第１の動き補償予測評価値及び第２の動き補償予測評価値が所定の閾値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像より上位に設定し、
算出した第１の動き補償予測評価値が前記閾値より小さく、かつ算出した第２の動き補償予測評価値が前記閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、
算出した第１の動き補償予測評価値が前記閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１４】
前記リスト生成部は、２視点の画像のうちの非基準視点の画像が符号化される場合、
前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる視差補償予測評価値を算出するとともに、前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる中間値に、非基準視点の前記一の符号化対象画像と前記一の符号化対象画像の直前に取得された非基準視点の画像との時間間隔を乗じて第１の動き補償予測評価値を算出し、更に、前記中間値に、非基準視点の前記一の符号化対象画像と前記一の符号化対象画像の直前より前に取得された非基準視点の画像との時間間隔を乗じて第２の動き補償予測評価値を算出し、
算出した第１の動き補償予測評価値及び第２の動き補償予測評価値が算出した視差補償予測評価値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像より上位に設定し、
算出した第１の動き補償予測評価値が算出した視差補償予測評価値より小さく、かつ算出した第２の動き補償予測評価値が算出した視差補償予測評価値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定し、
算出した第１の動き補償予測評価値が算出した視差補償予測評価値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前に取得された非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前より前に取得された非基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１５】
前記リスト生成部は、３視点の画像のうちの基準視点からより遠い方の非基準視点の画像が符号化される場合、
前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出し、
算出した動き補償予測評価値が所定の閾値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、
算出した動き補償予測評価値が所定の閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１６】
前記リスト生成部は、３視点の画像のうちの基準視点からより遠い方の非基準視点の画像が符号化される場合、
前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる中間値に、前記基準視点からより遠い方の非基準視点の撮影装置のレンズと前記基準視点により近い方の非基準視点の撮影装置のレンズとの距離を乗じて第１の視差補償予測評価値を算出し、更に、前記中間値に、前記基準視点からより遠い方の非基準視点の撮影装置のレンズと前記基準視点の撮影装置のレンズとの距離を乗じて第２の視差補償予測評価値を算出し、
算出した第１の視差補償予測評価値及び第２の視差補償予測評価値が所定の閾値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像より上位に設定し、
算出した第１の視差補償予測評価値が前記閾値より小さく、かつ算出した第２の視差補償予測評価値が前記閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、
算出した第１の視差補償予測評価値が前記閾値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１７】
前記リスト生成部は、３視点の画像のうちの基準視点からより遠い方の非基準視点の画像が符号化される場合、
前記撮影装置がパン又はチルトする際の移動速度と、ズーム速度とのうちの少なくとも一つをパラメータとし、前記移動速度が速くなればなるほど大きな値となり、前記ズーム速度が速くなればなるほど大きな値となる動き補償予測評価値を算出するとともに、前記撮影装置から被写体までの距離と、ズーム倍率とのうちの少なくとも一つをパラメータとし、前記距離が長くなればなるほど小さな値となり、前記ズーム倍率が大きくなればなるほど大きな値となる中間値に、前記基準視点からより遠い方の非基準視点の撮影装置のレンズと前記基準視点により近い方の非基準視点の撮影装置のレンズとの距離を乗じて第１の視差補償予測評価値を算出し、更に、前記中間値に、前記基準視点からより遠い方の非基準視点の撮影装置のレンズと前記基準視点の撮影装置のレンズとの距離を乗じて第２の視差補償予測評価値を算出し、
算出した第１の視差補償予測評価値及び第２の視差補償予測評価値が算出した動き補償予測評価値より小さいとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像より上位に設定し、
算出した第１の視差補償予測評価値が算出した動き補償予測評価値より小さく、かつ算出した第２の視差補償予測評価値が算出した動き補償予測評価値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定し、
算出した第１の視差補償予測評価値が算出した動き補償予測評価値以上であるとき、前記参照画像リストにおいて、前記一の符号化対象画像の直前に取得された前記基準視点からより遠い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像より上位に設定し、前記一の符号化対象画像が取得された時に取得された前記基準視点により近い方の非基準視点の画像についての参照画像の順位を、前記一の符号化対象画像が取得された時に取得された前記基準視点の画像についての参照画像より上位に設定する
請求項１に記載の画像符号化装置。
【請求項１８】
撮影装置から、その撮影装置の撮影状況を特定する情報を取得し、その情報が示す撮影状況と、前記撮影装置から得られる符号化対象画像を符号化する際に使用可能な複数の参照画像について、前記撮影装置の撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則とに基づいて、前記符号化対象画像毎に、前記複数の参照画像の順位を決定し、決定した順位と、その順位に対応する参照画像とをそれぞれ関連付けた参照画像リストを生成するステップと、
前記符号化対象画像のうちの一の符号化対象画像を複数のブロックに分割し、この分割したブロック毎に、前記複数の参照画像のうち符号化後のデータ量が最も少なくなる参照画像を選択し、この選択した参照画像を用いるとともに、前記一の符号化対象画像に対応する前記参照画像リストにおいてその選択した参照画像の順位を特定する情報を含めて符号化を行うステップと
を含む画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像を符号化する技術に関する。
【背景技術】
【０００２】
従来、複数のカメラで撮影された多視点画像を符号化する際、動き補償予測と視差補償予測とを用いてデータ量を抑える手法が提案されている。
【０００３】
特許文献１には、符号化対象画像と時間的又は空間的に異なる複数の参照画像とをパターンマッチングし、誤差が最小となる参照画像を選択する技術が開示されている。しかしながら、特許文献１の技術には、予測が複雑となるため符号化におけるコストが増大するという問題がある。
【０００４】
特許文献２には、次の技術が開示されている。すなわち、多視点のうちのいずれかを基準視点と設定し、基準視点の画像を符号化する際、基準視点の復号された画像を参照画像として用いる。非基準視点の画像を符号化する際、それと同じ視点の復号された画像、又は、基準視点寄りの隣接視点画像を参照画像として用いる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−９８３１２号公報
【特許文献２】特開平９−２６１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献２の技術では、非基準視点の画像を符号化する際、ブロック毎に、複数の参照画像のなかから符号化後のデータ量が最も少なくなる参照画像を選択し、この選択した参照画像を用いるとともに、使用可能な複数の参照画像の順位が記載された参照画像リストにおける、選択した参照画像の順位を特定する情報を含んで符号化を行う。参照画像リストにおける各参照画像の順位は固定されており、参照画像リストの下位の参照画像を特定する情報のデータ量は上位の参照画像を特定する情報のデータ量より多い。そのため、特許文献２の技術では、撮影状況によっては下位の参照画像を利用して符号化することになるブロックが多くなる場合があり、その場合、データ量が多くなる。
【０００７】
本発明は、多視点画像を符号化する際のデータ量をより少なくする画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決し上記目的を達成するために、本発明の画像符号化装置は、撮影装置から得られる符号化対象画像を符号化する際に使用可能な複数の参照画像について、前記撮影装置の撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則を保持する保持部と、前記撮影装置から、その撮影装置の撮影状況を特定する情報を取得し、その情報が示す撮影状況と前記規則とに基づいて、前記符号化対象画像毎に、前記複数の参照画像の順位を決定し、決定した順位と、その順位に対応する参照画像とをそれぞれ関連付けた参照画像リストを生成するリスト生成部と、前記符号化対象画像のうちの一の符号化対象画像を複数のブロックに分割し、この分割したブロック毎に、前記複数の参照画像のうち符号化後のデータ量が最も少なくなる参照画像を選択し、この選択した参照画像を用いるとともに、前記一の符号化対象画像に対応する前記参照画像リストにおいてその選択した参照画像の順位を特定する情報を含めて符号化を行う符号化部とを有する。
【０００９】
本発明の画像符号化方法は、撮影装置から、その撮影装置の撮影状況を特定する情報を取得し、その情報が示す撮影状況と、前記撮影装置から得られる符号化対象画像を符号化する際に使用可能な複数の参照画像について、前記撮影装置の撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則とに基づいて、前記符号化対象画像毎に、前記複数の参照画像の順位を決定し、決定した順位と、その順位に対応する参照画像とをそれぞれ関連付けた参照画像リストを生成するステップと、前記符号化対象画像のうちの一の符号化対象画像を複数のブロックに分割し、この分割したブロック毎に、前記複数の参照画像のうち符号化後のデータ量が最も少なくなる参照画像を選択し、この選択した参照画像を用いるとともに、前記一の符号化対象画像に対応する前記参照画像リストにおいてその選択した参照画像の順位を特定する情報を含めて符号化を行うステップとを含む。
【発明の効果】
【００１０】
本発明は、多視点画像を符号化する際のデータ量をより少なくする画像符号化装置及び画像符号化方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１において符号化される画像を示す図である。
【図２】実施の形態１の画像符号化装置の構成を示すブロック図である。
【図３】実施の形態１のベクトル検出部の構成を示すブロック図である。
【図４】視差補償予測の参照画像の順位が動き補償予測の参照画像より上位に設定されている第１の参照画像リストを示す図である。
【図５】動き補償予測の参照画像の順位が視差補償予測の参照画像より上位に設定されている第２の参照画像リストを示す図である。
【図６】図３のリスト生成部の第３の動作の各ステップを示すフローチャートである。
【図７】図３のリスト生成部の第４の動作の各ステップを示すフローチャートである。
【図８】カメラの撮影状況毎の参照画像リストを生成するための規則を示す図である。
【図９】視差補償予測評価値を用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【図１０】動き補償予測評価値を用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【図１１】視差補償予測評価値と動き補償予測評価値とを用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【図１２】実施の形態２において符号化される画像を示す図である。
【図１３】実施の形態２のベクトル検出部の構成を示すブロック図である。
【図１４】３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第１の動作の各ステップを示すフローチャートである。
【図１５】第３の参照画像リストを示す図である。
【図１６】第４の参照画像リストを示す図である。
【図１７】３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第２の動作の各ステップを示すフローチャートである。
【図１８】第５の参照画像リストを示す図である。
【図１９】３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第３の動作の各ステップを示すフローチャートである。
【図２０】実施の形態３において符号化される画像を示す図である。
【図２１】実施の形態３の画像符号化装置の構成を示すブロック図である。
【図２２】実施の形態３のベクトル検出部の構成を示すブロック図である。
【図２３】第３の視点のピクチャを符号化する場合において参照画像リストを生成する第１の動作の各ステップを示すフローチャートである。
【図２４】第６の参照画像リストを示す図である。
【図２５】第７の参照画像リストを示す図である。
【図２６】第３の視点のピクチャを符号化する場合において参照画像リストを生成する第２の動作の各ステップを示すフローチャートである。
【図２７】第８の参照画像リストを示す図である。
【図２８】第３の視点のピクチャを符号化する場合において参照画像リストを生成する第３の動作の各ステップを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態を図面を参照して説明する。
【００１３】
（実施の形態１）
実施の形態１の画像符号化装置の構成及び動作を説明する前に、実施の形態１において符号化される画像を図１を用いて説明する。図１は、実施の形態１において符号化される画像を示す図である。図１には、符号化される画像として、左の視点Ｖ１の画像ａ，画像ｂ，及び画像ｃが示されている。また図１には、符号化される画像として、右の視点Ｖ２の画像ｒ，画像ｓ，及び画像ｔも示されている。図１における「Ｉ」は、それが付されている画像がＩピクチャであることを示している。「Ｐ」は、それが付されている画像がＰピクチャであることを示している。
【００１４】
左の視点Ｖ１の画像ａ，画像ｂ，及び画像ｃでは、画像ａが最先に符号化される画像であり、画像ｂが２番目に符号化される画像であり、画像ｃが最後に符号化される画像である。右の視点Ｖ２の画像ｒ，画像ｓ，及び画像ｔでは、画像ｒが最先に符号化される画像であり、画像ｓが２番目に符号化される画像であり、画像ｔが最後に符号化される画像である。画像ａと画像ｒは同じ時に取得されており、その次に、画像ｂと画像ｓが同じ時に取得されており、最後に、画像ｃと画像ｔが同じ時に取得されている。
【００１５】
実施の形態１では、左の視点Ｖ１が基準視点である。図１の矢印は、符号化が可能な向きを示している。すなわち、左の視点Ｖ１の画像を符号化する場合、左の視点Ｖ１の直前に復号された画像のみが参照画像となり、右の視点Ｖ２の復号された画像は参照画像とはならない。他方、右の視点Ｖ２の画像を符号化する場合、同じ時に取得された左の視点Ｖ１の復号された画像、又は、右の視点Ｖ２の直前に復号された画像が参照画像となる。
【００１６】
次に、実施の形態１の画像符号化装置１００の構成を図２を用いて説明する。図２は、実施の形態１の画像符号化装置１００の構成を示すブロック図である。
【００１７】
実施の形態１の画像符号化装置１００は、図２に示すように、第１取得部１と、第２取得部２と、マルチプレクサ部３と、減算部４と、直交変換部５と、量子化部６と、可変長符号化部７と、逆量子化部８と、逆直交変換部９と、加算部１０と、記憶部１１と、ベクトル検出部１２と、予測補償部１３とを有する。
【００１８】
第１取得部１は、第１カメラＡからの画像を取得し、取得した画像をマルチプレクサ部３に出力する。第２取得部２は、第２カメラＢからの画像を取得し、取得した画像をマルチプレクサ部３に出力する。以下では、第１取得部１が取得する画像を「Ｖ１画像」と記載し、第２取得部２が取得する画像を「Ｖ２画像」と記載する。
【００１９】
ところで、第１カメラＡは図１の左の視点Ｖ１に対応し、第２カメラＢは図１の右の視点Ｖ２に対応しており、第１カメラＡと第２カメラＢとはそれぞれのレンズが被写体に向かい、かつ隣接して配置されていると仮定する。また、第１カメラＡの動作と第２カメラＢの動作は等しいと仮定する。すなわち、第１カメラＡから被写体までの距離と、第２カメラＢから被写体までの距離は等しい。また、ズーム倍率、及びパンチルトの速度等についても、第１カメラＡの状況と第２カメラＢの状況は等しい。
【００２０】
マルチプレクサ部３は、第１取得部１からのＶ１画像と、第２取得部２からのＶ２画像とを取得し、Ｖ１画像とＶ２画像とを交互に、減算部４及びベクトル検出部１２に出力する。すなわち、図１の複数の画像については、マルチプレクサ部３は、画像ａを最初に出力し、次に画像ｒを出力し、その次に画像ｂを出力し、以後、画像ｓ、画像ｃ、画像ｔを順に出力する。したがって、画像ａ、画像ｒ、画像ｂ、画像ｓ、画像ｃ、画像ｔの順に符号化が行われる。以下では、マルチプレクサ部３が出力する画像を「符号化対象画像」と記載する。
【００２１】
減算部４は、符号化対象画像がイントラ・ピクチャである場合、符号化対象画像を直交変換部５に出力する。符号化対象画像が非イントラ・ピクチャである場合、減算部４は、符号化対象画像から、予測補償部１３によって生成された予測補償画像を減じて予測誤差を生成し、生成した予測誤差を直交変換部５に出力する。直交変換部５は、減算部４からの符号化対象画像又は予測誤差を直交変換する。量子化部６は、直交変換部５によって得られた係数を量子化する。
【００２２】
可変長符号化部７は、量子化部６によって得られた値と、ベクトル検出部１２から得られた動きベクトルと、符号化対象画像毎に、ベクトル検出部１２から得られた参照画像リストと、符号化対象画像を構成する複数のブロックそれぞれについて、ベクトル検出部１２から得られた参照画像特定情報とを可変長符号化し、得られた符号化データを画像符号化装置１００の外部に出力する。
【００２３】
参照画像リストは、符号化を行う際に用いられる、使用可能な複数の参照画像それぞれに順位が関連付けられたリストである。参照画像特定情報は、符号化対象画像を構成する複数のブロックそれぞれについて、複数の参照画像のなかから実際に選択された参照画像の参照画像リストにおける順位を特定する情報である。更にいうと、符号化対象画像は複数のブロックに分割されて符号化されるが、各ブロックでは、複数の参照画像のなかから符号化後のデータ量が最も少なくなる参照画像が選択される。参照画像特定情報は、ブロック毎に選択された参照画像の、そのブロックを含む符号化対象画像に対応する参照画像リストにおける順位を特定する情報である。上述したように、参照画像特定情報は、可変長符号化部７によって、対応するブロックの符号化データに付加される。
【００２４】
逆量子化部８は、量子化部６によって得られた値を逆量子化する。逆直交変換部９は、逆量子化部８によって得られた係数を逆直交変換する。
【００２５】
加算部１０は、符号化対象画像がイントラ・ピクチャである場合、逆量子化部８によって得られた復号された符号化対象画像を記憶部１１に出力する。符号化対象画像が非イントラ・ピクチャである場合、加算部１０は、逆量子化部８によって得られた復号された予測誤差に予測補償部１３によって得られた予測補償画像を加えて復号画像を生成し、生成した復号画像を記憶部１１に出力する。記憶部１１は、加算部１０からの画像を保持する。以下では、記憶部１１によって保持される画像を「参照画像」と記載する。
【００２６】
ベクトル検出部１２は、符号化対象画像が非イントラ・ピクチャである場合、マルチプレクサ部３からの符号化対象画像と、記憶部１１によって保持されている参照画像とをブロック毎にパターンマッチングして動きベクトルを検出する。また、ベクトル検出部１２は、符号化対象画像毎に、第１カメラＡ及び第２カメラＢからのカメラ情報に基づいて、参照画像リストを生成する。カメラ情報は、例えばカメラから被写体までのフォーカス距離を特定する情報である。また、ベクトル検出部１２は、符号化対象画像毎に、生成した参照画像リストを可変長符号化部７に出力し、ブロック毎に、参照画像特定情報及び動きベクトルを可変長符号化部７に出力する。更に、ベクトル検出部１２は、ブロック毎に、動きベクトルを予測補償部１３に出力する。ベクトル検出部１２は、複数の構成部を有する。ベクトル検出部１２の構成の詳細は、図３を用いて後述する。
【００２７】
予測補償部１３は、記憶部１１によって保持されている参照画像と、ベクトル検出部１２によって検出された動きベクトルとを用いて予測補償を行って予測補償画像を生成する。
【００２８】
次に、ベクトル検出部１２の構成を図３を用いて説明する。図３は、ベクトル検出部１２の構成を示すブロック図である。
【００２９】
ベクトル検出部１２は、図３に示すように、参照画像供給部２１と、第１パターンマッチング部２２と、第２パターンマッチング部２３と、コスト計算部２４と、選択部２５と、リスト生成部２６とを有する。
【００３０】
参照画像供給部２１は、符号化対象画像がＶ１画像である場合、記憶部１１から符号化対象画像の直前のＶ１画像についての参照画像を取得し、取得した参照画像を第１パターンマッチング部２２に出力する。
【００３１】
符号化対象画像がＶ２画像である場合、参照画像供給部２１は、記憶部１１から、符号化対象画像が取得された時のＶ１画像についての参照画像と、符号化対象画像の直前のＶ２画像についての参照画像とを取得する。以下では、符号化対象画像がＶ２画像である場合において、符号化対象画像が取得された時のＶ１画像についての参照画像を「視差補償予測の参照画像」と記載し、符号化対象画像の直前のＶ２画像についての参照画像を「動き補償予測の参照画像」と記載する。そして、参照画像供給部２１は、リスト生成部２６によって生成される参照画像リストの上位の参照画像を第１パターンマッチング部２２に出力し、下位の参照画像を第２パターンマッチング部２３に出力する。
【００３２】
参照画像リストは図４及び図５を用いて後述するが、「視差補償予測の参照画像」が参照画像リストの上位に設定されていれば、参照画像供給部２１は、「視差補償予測の参照画像」を第１パターンマッチング部２２に出力し、「動き補償予測の参照画像」を第２パターンマッチング部２３に出力する。他方、「動き補償予測の参照画像」が参照画像リストの上位に設定されていれば、参照画像供給部２１は、「動き補償予測の参照画像」を第１パターンマッチング部２２に出力し、「視差補償予測の参照画像」を第２パターンマッチング部２３に出力する。
【００３３】
第１パターンマッチング部２２は、マルチプレクサ部３からの符号化対象画像と、参照画像供給部２１からの参照画像とを取得し、符号化対象画像と参照画像とをブロック毎にパターンマッチングして、動きベクトル、予測誤差、及び符号量を検出する。第２パターンマッチング部２３の機能は、第１パターンマッチング部２２の機能と同じである。
【００３４】
コスト計算部２４は、第１パターンマッチング部２２からの予測誤差及び符号量に基づいて符号化対象画像を符号化する際のコストを計算する。また、コスト計算部２４は、第２パターンマッチング部２３からの予測誤差及び符号量に基づいて符号化対象画像を符号化する際のコストを計算する。選択部２５は、コスト計算部２４によって得られた結果に基づいて、ブロック毎に、コストが最小となる動きベクトル及び参照画像を選択し、選択した動きベクトルを可変長符号化部７及び予測補償部１３に出力し、選択した参照画像の参照画像リストにおける順位を特定する情報（参照画像特定情報）を可変長符号化部７に出力する。
【００３５】
リスト生成部２６は、第１カメラＡ及び第２カメラＢからカメラ情報を取得し、カメラ情報に基づいて、符号化対象画像毎に、参照画像供給部２１を制御するための参照画像リストを生成する。また、リスト生成部２６は、符号化対象画像毎に、生成した参照画像リストを可変長符号化部７へ出力する。
【００３６】
次に、リスト生成部２６が参照画像リストを生成する動作を説明する。ところで、カメラから被写体までの距離が遠いと、視差が小さくなるので、「視差補償予測の参照画像」を用いる方が「動き補償予測の参照画像」を用いるよりも符号化効率が良くなると考えられる。すなわち、符号量がより少なくなると考えられる。また、パンチルトが行われておらずカメラが静止している場合、「動き補償予測の参照画像」を用いた方が「視差補償予測の参照画像」を用いるよりも符号化効率が良くなると考えられる。すなわち、符号量がより少なくなると考えられる。
【００３７】
そこで、リスト生成部２６は、カメラの実際の撮影状況を特定するカメラ情報を取得し、取得したカメラ情報が示す撮影状況と、符号化対象画像を符号化する際に使用可能な複数の参照画像について撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則とにしたがって、符号化対象画像毎に、複数の参照画像の順位を決定し、決定した順位と、その順位に対応する参照画像とをそれぞれ関連付けた参照画像リストを生成する。
【００３８】
参照画像リストの順位（インデックス）を特定する情報のデータ量は、順位が高いほど（インデックス番号が小さいほど）少なくなるように規定されている。つまり、参照画像リストの上位に位置する参照画像を利用して符号化を行ったときのデータ量は、下位に位置する参照画像を利用して符号化を行ったときのデータ量より少なくなる。上記の規則は、データ量をより少なくするために、より多く選択される参照画像を参照画像リストの上位に位置させる規則になっている。なお、リスト生成部２６は、上記の規則を保持している。
【００３９】
例えば、リスト生成部２６は、符号化対象画像がＶ２画像である場合、先ず、第１カメラＡ及び第２カメラＢからフォーカス距離を特定する情報を取得し、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。そして、リスト生成部２６は、距離Ｄが第１の閾値Ｔｄより長い場合、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する。
【００４０】
つまり、リスト生成部２６は、距離Ｄが第１の閾値Ｔｄより長い場合、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」よりインデックス番号が小さい位置に設定する。図４は、「視差補償予測の参照画像」の順位が「動き補償予測の参照画像」より上位に設定されている参照画像リストを示す図である。例えば、符号化対象画像が図１の画像ｔである場合、リスト生成部２６は、図１の画像ｃについての参照画像をインデックス「０」の参照画像に設定し、図１の画像ｓについての参照画像をインデックス「１」の参照画像に設定する。
【００４１】
また、リスト生成部２６は、符号化対象画像がＶ２画像である場合、カメラからパンチルトの速度を特定する情報を取得し、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓより遅い場合、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する。
【００４２】
つまり、リスト生成部２６は、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓより遅い場合、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」よりインデックス番号が小さい位置に設定する。図５は、「動き補償予測の参照画像」の順位が「視差補償予測の参照画像」より上位に設定されている参照画像リストを示す図である。例えば、符号化対象画像が図１の画像ｔである場合、リスト生成部２６は、図１の画像ｓについての参照画像をインデックス「０」の参照画像に設定し、図１の画像ｃについての参照画像をインデックス「１」の参照画像に設定する。
【００４３】
リスト生成部２６は、次の第３又は第４の動作を実行してもよい。リスト生成部２６の第３の動作を図６を用いて説明する。図６は、リスト生成部２６の第３の動作の各ステップを示すフローチャートである。
【００４４】
リスト生成部２６は、カメラから被写体までの距離Ｄが第１の閾値Ｔｄより長いかどうかを判断し（Ｓ１）、距離Ｄが第１の閾値Ｔｄ以下である場合（Ｓ１でＮｏ）、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ２）。
【００４５】
他方、距離Ｄが第１の閾値Ｔｄより長い場合（Ｓ１でＹｅｓ）、リスト生成部２６は、カメラのズーム倍率Ｍが第３の閾値Ｔｍより小さいかどうかを判断する（Ｓ３）。ズーム倍率Ｍが第３の閾値Ｔｍ以上である場合（Ｓ３でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ４）。それに対して、ズーム倍率Ｍが第３の閾値Ｔｍより小さい場合（Ｓ３でＹｅｓ）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する（Ｓ５）。
【００４６】
次に、リスト生成部２６の第４の動作を図７を用いて説明する。図７は、リスト生成部２６の第４の動作の各ステップを示すフローチャートである。
【００４７】
リスト生成部２６は、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓより速いかどうかを判断し（Ｓ１１）、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓ以下である場合（Ｓ１１でＮｏ）、カメラのズーム速度Ｚが第４の閾値Ｔｚより速いかどうかを判断する（Ｓ１２）。カメラのズーム速度Ｚが第４の閾値Ｔｚ以下である場合（Ｓ１２でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ１３）。
【００４８】
他方、カメラのパンチルトの速度Ｓが第２の閾値Ｔより速い場合（Ｓ１１でＹｅｓ）、及び、カメラのズーム速度Ｚが第４の閾値Ｔｚより速い場合（Ｓ１２でＹｅｓ）、リスト生成部２６は、カメラから被写体までの距離Ｄが第１の閾値Ｔｄより長いかどうかを判断する（Ｓ１４）。距離Ｄが第１の閾値Ｔｄ以下である場合（Ｓ１４でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ１５）。
【００４９】
それに対して、距離Ｄが第１の閾値Ｔｄより長い場合（Ｓ１４でＹｅｓ）、リスト生成部２６は、カメラのズーム倍率Ｍが第３の閾値Ｔｍより小さいかどうかを判断する（Ｓ１６）。ズーム倍率Ｍが第３の閾値Ｔｍ以上である場合（Ｓ１６でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ１７）。
【００５０】
逆に、ズーム倍率Ｍが第３の閾値Ｔｍより小さい場合（Ｓ１６でＹｅｓ）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する（Ｓ１８）。
【００５１】
また、リスト生成部２６は、図８に示す規則にしたがって参照画像リストを生成してもよい。図８は、カメラの撮影状況毎の参照画像リストを生成するための規則を示す図である。
【００５２】
すなわち、距離Ｄが第１の閾値Ｔｄより長く、かつズーム倍率Ｍが第３の閾値Ｔｍより小さい場合（条件Ａ１）で、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓより速いか、又はズーム速度Ｚが第４の閾値Ｔｚより速いとき（条件Ｂ１）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する。
【００５３】
距離Ｄが第１の閾値Ｔｄより長く、かつズーム倍率Ｍが第３の閾値Ｔｍより小さい場合（条件Ａ１）で、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓ以下であって、かつズーム速度Ｚが第４の閾値Ｔｚ以下であるとき（条件Ｂ２）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する。
【００５４】
距離Ｄが第１の閾値Ｔｄ以下であるか、又はズーム倍率Ｍが第３の閾値Ｔｍ以上である場合（条件Ａ２）で、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓより速いか、又はズーム速度Ｚが第４の閾値Ｔｚより速いとき（条件Ｂ１）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する。
【００５５】
距離Ｄが第１の閾値Ｔｄ以下であるか、又はズーム倍率Ｍが第３の閾値Ｔｍ以上である場合（条件Ａ２）で、カメラのパンチルトの速度Ｓが第２の閾値Ｔｓ以下であって、かつズーム速度Ｚが第４の閾値Ｔｚ以下であるとき（条件Ｂ２）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する。
【００５６】
また、リスト生成部２６は、次のようにして参照画像リストを生成してもよい。すなわち、リスト生成部２６は、カメラのズーム速度Ｚが第４の閾値Ｔｚより大きい場合、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定してもよい。また、リスト生成部２６は、ズーム倍率Ｍが第３の閾値Ｔｍ以上である場合、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定してもよい。
【００５７】
なお、第１の閾値Ｔｄ、第２の閾値Ｔｓ、第３の閾値Ｔｍ、及び第４の閾値Ｔｚは、符号化対象画像と参照画像との時間間隔に基づいて決定されてもよい。又は、各閾値は、実験によって決定されてもよい。
【００５８】
また、リスト生成部２６は、図９に示す手順にしたがって、参照画像リストを生成してもよい。図９は、後述する視差補償予測評価値Ｅｖを用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【００５９】
すなわち、リスト生成部２６は、符号化対象画像がＶ２画像である場合、視差補償予測評価値Ｅｖを算出するためのカメラ情報を取得する（Ｓ２１）。具体的には、リスト生成部２６は、先ず、右の視点Ｖ１のカメラのレンズと左の視点Ｖ１のカメラのレンズとの距離Ｈを特定する情報を取得する（Ｓ２１）。すなわち、リスト生成部２６は、第１カメラＡのレンズと第２カメラＢのレンズとの距離Ｈを特定する情報を取得する（Ｓ２１）。また、リスト生成部２６は、カメラのズーム倍率Ｍを特定する情報を取得する（Ｓ２１）。更に、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ２１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【００６０】
次に、リスト生成部２６は、下記の式（１）を用いて視差補償予測評価値Ｅｖを算出する（Ｓ２２）。
【００６１】
Ｅｖ＝ａ×Ｈ×Ｍ×（１／Ｄ）＋ｂ      ・・・（１）
式（１）において、「Ｈ」は「右の視点Ｖ１のカメラのレンズと左の視点Ｖ１のカメラのレンズとの距離」であり、「Ｍ」は「カメラのズーム倍率」であり、「Ｄ」は「カメラから被写体までの距離」である。「ａ」は「正の定数」であり、「ｂ」は「定数」である。
【００６２】
そして、リスト生成部２６は、算出した視差補償予測評価値Ｅｖが第５の閾値Ｔｖより小さいか否かを調べる（Ｓ２３）。視差補償予測評価値Ｅｖが第５の閾値Ｔｖより小さい場合（Ｓ２３でＹｅｓ）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する（Ｓ２４）。他方、視差補償予測評価値Ｅｖが第５の閾値Ｔｖ以上である場合（Ｓ２３でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ２５）。
【００６３】
なお、第５の閾値Ｔｖは、例えば実験によって決定される。また、上記の式（１）は、「Ｍ＝１」又は「Ｄ＝１」として簡略化されてもよい。
【００６４】
また、視差補償予測評価値Ｅｖが第５の閾値Ｔｖより小さい場合（Ｓ２３でＹｅｓ）、リスト生成部２６は、参照画像リストにおいて「視差補償予測の参照画像」のみを設定してもよい。逆に、視差補償予測評価値Ｅｖが第５の閾値Ｔｖ以上である場合（Ｓ２３でＮｏ）、リスト生成部２６は、参照画像リストにおいて「動き補償予測の参照画像」のみを設定してもよい。
【００６５】
また、リスト生成部２６は、図１０に示す手順にしたがって、参照画像リストを生成してもよい。図１０は、後述する動き補償予測評価値Ｅｍを用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【００６６】
すなわち、リスト生成部２６は、符号化対象画像がＶ２画像である場合、動き補償予測評価値Ｅｍを算出するためのカメラ情報を取得する（Ｓ３１）。具体的には、リスト生成部２６は、先ず、符号化対象画像と、右の視点Ｖ２の符号化対象画像の直前に復号された画像との時間間隔Ｎを特定する情報を取得する（Ｓ３１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ３１）。更に、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ３１）。
【００６７】
次に、リスト生成部２６は、下記の式（２）を用いて動き補償予測評価値Ｅｍを算出する（Ｓ３２）。
【００６８】
Ｅｍ＝ｃ×Ｎ×Ｓ×Ｚ＋ｄ      ・・・（２）
式（２）において、「Ｎ」は「符号化対象画像と、符号化対象画像と同じ視点の符号化対象画像の直前に復号された画像との時間間隔」であり、「Ｓ」は「カメラのパンチルトの速度」であり、「Ｚ」は「カメラのズーム速度」である。「ｃ」は「正の定数」であり、「ｄ」は「定数」である。
【００６９】
そして、リスト生成部２６は、算出した動き補償予測評価値Ｅｍが第６の閾値Ｔｎより小さいか否かを調べる（Ｓ３３）。動き補償予測評価値Ｅｍが第６の閾値Ｔｎより小さい場合（Ｓ３３でＹｅｓ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ３４）。他方、動き補償予測評価値Ｅｍが第６の閾値Ｔｎ以上である場合（Ｓ３３でＮｏ）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する（Ｓ３５）。
【００７０】
なお、第６の閾値Ｔｎは、例えば実験によって決定される。また、上記の式（２）は、「Ｓ＝１」又は「Ｚ＝１」として簡略化されてもよい。
【００７１】
また、動き補償予測評価値Ｅｍが第６の閾値Ｔｎより小さい場合（Ｓ３３でＹｅｓ）、リスト生成部２６は、参照画像リストにおいて「動き補償予測の参照画像」のみを設定してもよい。逆に、動き補償予測評価値Ｅｍが第６の閾値Ｔｎ以上である場合（Ｓ３３でＮｏ）、リスト生成部２６は、参照画像リストにおいて「視差補償予測の参照画像」のみを設定してもよい。
【００７２】
また、リスト生成部２６は、図１１に示す手順にしたがって、参照画像リストを生成してもよい。図１１は、視差補償予測評価値Ｅｖと動き補償予測評価値Ｅｍとを用いて参照画像リストを生成する動作の各ステップを示すフローチャートである。
【００７３】
すなわち、リスト生成部２６は、符号化対象画像がＶ２画像である場合、先ず、視差補償予測評価値Ｅｖを算出するためのカメラ情報を取得する（Ｓ４１）。具体的には、リスト生成部２６は、右の視点Ｖ１のカメラのレンズと左の視点Ｖ１のカメラのレンズとの距離Ｈを特定する情報を取得する（Ｓ４１）。また、リスト生成部２６は、カメラのズーム倍率Ｍを特定する情報を取得する（Ｓ４１）。また、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ４１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【００７４】
また、リスト生成部２６は、動き補償予測評価値Ｅｍを算出するためのカメラ情報を取得する（Ｓ４１）。具体的には、リスト生成部２６は、符号化対象画像と、右の視点Ｖ２の符号化対象画像の直前に復号された画像との時間間隔Ｎを特定する情報を取得する（Ｓ４１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ４１）。更に、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ４１）。
【００７５】
次に、リスト生成部２６は、上述したようにして、式（１）を用いて視差補償予測評価値Ｅｖを算出するとともに、式（２）を用いて動き補償予測評価値Ｅｍを算出する（Ｓ４２）。
【００７６】
次に、リスト生成部２６は、算出した視差補償予測評価値Ｅｖが算出した動き補償予測評価値Ｅｍより小さいか否かを調べる（Ｓ４３）。視差補償予測評価値Ｅｖが動き補償予測評価値Ｅｍより小さい場合（Ｓ４３でＹｅｓ）、リスト生成部２６は、図４に示すように、参照画像リストにおいて「視差補償予測の参照画像」を「動き補償予測の参照画像」より上位に設定する（Ｓ４４）。他方、視差補償予測評価値Ｅｖが動き補償予測評価値Ｅｍ以上である場合（Ｓ４３でＮｏ）、リスト生成部２６は、図５に示すように、参照画像リストにおいて「動き補償予測の参照画像」を「視差補償予測の参照画像」より上位に設定する（Ｓ４５）。
【００７７】
また、視差補償予測評価値Ｅｖが動き補償予測評価値Ｅｍより小さい場合（Ｓ４３でＹｅｓ）、リスト生成部２６は、参照画像リストにおいて「視差補償予測の参照画像」のみを設定してもよい。逆に、視差補償予測評価値Ｅｖが動き補償予測評価値Ｅｍ以上である場合（Ｓ４３でＮｏ）、リスト生成部２６は、参照画像リストにおいて「動き補償予測の参照画像」のみを設定してもよい。
【００７８】
上述したように、実施の形態１の画像符号化装置１００では、ベクトル検出部１２のリスト生成部２６が、実際のカメラの撮影状況と、符号化対象画像を符号化する際に使用可能な複数の参照画像について撮影状況毎に予め決定されている、符号化後データのデータ量が少なくなる可能性が高い参照画像ほど順位を高くする規則とにしたがって、撮影状況に応じて、上位の参照画像を利用して符号化することになるブロックがより多くなるように、参照画像リストにおける参照画像の順位を決定する。
【００７９】
すなわち、リスト生成部２６は、ピクチャ毎に、撮影状況に応じて参照画像リストの上位に位置する参照画像を用いて符号化されるブロックを多くする。上述したように、参照画像リストの順位（インデックス）を特定する情報のデータ量は、順位が高いほど（インデックス番号が小さいほど）少なくなるように規定されている。そのため、参照画像リストの上位の参照画像を利用して符号化を行う方が、下位の参照画像を利用して符号化を行うよりもデータ量は少なくなる。したがって、実施の形態１の画像符号化装置１００により、データ量をより少なくすることができる。
【００８０】
（実施の形態２）
上述した実施の形態１では、図１を用いて説明したように、右の視点Ｖ２の画像を符号化する場合、同じ時に取得された左の視点Ｖ１の復号された画像と、右の視点Ｖ２の直前に復号された画像とのいずれかが参照画像となる。
【００８１】
しかしながら、右の視点Ｖ２の画像を符号化する場合、同じ時に取得された左の視点Ｖ１の復号された画像と、右の視点Ｖ２の直前に復号された画像と、右の視点Ｖ２の直前より前に復号された画像とのいずれが参照画像となってもよい。具体例を図１２を用いて説明する。
【００８２】
図１２は、実施の形態２において符号化される画像を示す図である。図１２には、符号化される画像として、左の視点Ｖ１のピクチャＩ１１，ピクチャＰ１２，及びピクチャＰ１３が示されている。また図１２には、符号化される画像として、右の視点Ｖ２のピクチャＰ２１，ピクチャＰ２２，及びピクチャＰ２３も示されている。図１２における「Ｉ」は、それが付されているピクチャがＩピクチャであることを示している。「Ｐ」は、それが付されているピクチャがＰピクチャであることを示している。
【００８３】
左の視点Ｖ１のピクチャＩ１１，ピクチャＰ１２，及びピクチャＰ１３では、ピクチャＩ１１が最先に符号化されるピクチャであり、ピクチャＰ１２が２番目に符号化されるピクチャであり、ピクチャＰ１３が最後に符号化されるピクチャである。右の視点Ｖ２のピクチャＰ２１，ピクチャＰ２２，及びピクチャＰ２３では、ピクチャＰ２１が最先に符号化されるピクチャであり、ピクチャＰ２２が２番目に符号化されるピクチャであり、ピクチャＰ２３が最後に符号化されるピクチャである。ピクチャＩ１１とピクチャＰ２１は同じ時に取得されており、その次に、ピクチャＰ１２とピクチャＰ２２が同じ時に取得されており、最後に、ピクチャＰ１３とピクチャＰ２３が同じ時に取得されている。
【００８４】
実施の形態２においても、左の視点Ｖ１が基準視点であり、右の視点Ｖ２は非基準視点である。図１２の矢印は、符号化が可能な向きを示している。すなわち、左の視点Ｖ１の画像を符号化する場合、左の視点Ｖ１の直前に復号された画像のみが参照画像となり、右の視点Ｖ２の復号された画像は参照画像とはならない。他方、右の視点Ｖ２の画像を符号化する場合、同じ時に取得された左の視点Ｖ１の復号された画像と、右の視点Ｖ２の直前に復号された画像と、右の視点Ｖ２の直前より前に復号された画像とのいずれかが参照画像となる。具体的には、ピクチャＰ２３を符号化する場合、左の視点Ｖ１の復号されたピクチャＰ１３と、右の視点Ｖ２のピクチャＰ２３の直前に復号されたピクチャＰ２２と、右の視点Ｖ２のピクチャＰ２３の直前より前に復号されたピクチャＰ２１とのいずれかが参照画像となる。
【００８５】
実施の形態２では、右の視点Ｖ２の画像を符号化する場合において、同じ時に取得された左の視点Ｖ１の復号された画像と、右の視点Ｖ２の直前に復号された画像と、右の視点Ｖ２の直前より前に復号された画像とのいずれかが参照画像となるときの、参照画像リストにおける参照画像の順位を決定する方法を説明する。
【００８６】
ところで、実施の形態２のベクトル検出部１２の構成は、実施の形態１のベクトル検出部１２の構成と異なる。次に、実施の形態２のベクトル検出部１２の構成を図１３を用いて説明する。図１３は、実施の形態２のベクトル検出部１２の構成を示すブロック図である。
【００８７】
実施の形態２のベクトル検出部１２は、図１３に示すように、参照画像供給部２１と、第１パターンマッチング部２２と、第２パターンマッチング部２３と、第３パターンマッチング部２７と、コスト計算部２４と、選択部２５と、リスト生成部２６とを有する。
【００８８】
参照画像供給部２１は、符号化対象画像がＶ１画像である場合、記憶部１１から符号化対象画像の直前のＶ１画像についての参照画像を取得し、取得した参照画像を第１パターンマッチング部２２に出力する。
【００８９】
符号化対象画像がＶ２画像である場合、参照画像供給部２１は、記憶部１１から、符号化対象画像が取得された時のＶ１画像についての参照画像と、符号化対象画像の直前のＶ２画像についての参照画像と、符号化対象画像の直前より前のＶ２画像についての参照画像とを取得する。具体的には、符号化対象画像が図１２のピクチャＰ２３である場合、参照画像供給部２１は、記憶部１１から、ピクチャＰ２３が取得された時のＶ１画像であるピクチャＰ１３についての参照画像と、ピクチャＰ２３の直前のＶ２画像であるピクチャＰ２２についての参照画像と、ピクチャＰ２３の直前より前のＶ２画像であるピクチャＰ２１についての参照画像とを取得する。
【００９０】
そして、参照画像供給部２１は、リスト生成部２６によって生成される参照画像リストの第１位の参照画像を第１パターンマッチング部２２に出力し、第２位の参照画像を第２パターンマッチング部２３に出力し、第３位の参照画像を第３パターンマッチング部２７に出力する。
【００９１】
第１パターンマッチング部２２は、マルチプレクサ部３からの符号化対象画像と、参照画像供給部２１からの参照画像とを取得し、符号化対象画像と参照画像とをブロック毎にパターンマッチングして、動きベクトル、予測誤差、及び符号量を検出する。第２パターンマッチング部２３及び第３パターンマッチング部２７それぞれの機能は、第１パターンマッチング部２２の機能と同じである。
【００９２】
コスト計算部２４は、第１パターンマッチング部２２からの予測誤差及び符号量に基づいて符号化対象画像を符号化する際のコストを計算する。また、コスト計算部２４は、第２パターンマッチング部２３からの予測誤差及び符号量に基づいて符号化対象画像を符号化する際のコストを計算する。更に、コスト計算部２４は、第３パターンマッチング部２７からの予測誤差及び符号量に基づいて符号化対象画像を符号化する際のコストを計算する。選択部２５は、コスト計算部２４によって得られた結果に基づいて、ブロック毎に、コストが最小となる動きベクトル及び参照画像を選択し、選択した動きベクトルを可変長符号化部７及び予測補償部１３に出力し、選択した参照画像の参照画像リストにおける順位を特定する情報（参照画像特定情報）を可変長符号化部７に出力する。
【００９３】
リスト生成部２６は、第１カメラＡ、第２カメラＢ、及び第３カメラＣからカメラ情報を取得し、カメラ情報に基づいて、符号化対象画像毎に、参照画像供給部２１を制御するための参照画像リストを生成する。また、リスト生成部２６は、符号化対象画像毎に、生成した参照画像リストを可変長符号化部７へ出力する。
【００９４】
次に、リスト生成部２６が参照画像リストを生成する動作を説明する。以下では、説明を簡単にするために、図１２の右の視点Ｖ２のピクチャＰ２３を符号化する場合を例にとり、図１４を用いて参照画像リストにおける参照画像の使用順序を決定する動作を説明する。図１４は、３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第１の動作の各ステップを示すフローチャートである。
【００９５】
リスト生成部２６は、符号化対象画像がピクチャＰ２３である場合、先ず、復号されたピクチャＰ１３についての視差補償予測評価値Ｅｖを算出するためのカメラ情報を取得する（Ｓ５１）。具体的には、リスト生成部２６は、右の視点Ｖ２のカメラのレンズと左の視点Ｖ１のカメラのレンズとの距離Ｈを特定する情報を取得する（Ｓ５１）。また、リスト生成部２６は、同じように動作する視点Ｖ２及び視点Ｖ１のカメラのズーム倍率Ｍを特定する情報を取得する（Ｓ５１）。更に、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ５１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【００９６】
次に、リスト生成部２６は、上記の式（１）を用いて視差補償予測評価値Ｅｖを算出する（Ｓ５２）。
【００９７】
次に、リスト生成部２６は、算出した視差補償予測評価値Ｅｖが第５の閾値Ｔｖより小さいか否かを調べる（Ｓ５３）。視差補償予測評価値Ｅｖが第５の閾値Ｔｖより小さい場合（Ｓ５３でＹｅｓ）、リスト生成部２６は、図１５に示す第３の参照画像リストを生成する（Ｓ５４）。すなわち、リスト生成部２６は、復号されたピクチャＰ１３を最上位に位置させ、復号されたピクチャＰ２２をその次の順位に位置させ、復号されたピクチャＰ２１を最下位に位置させた第３の参照画像リストを生成する（Ｓ５４）。
【００９８】
他方、算出した視差補償予測評価値Ｅｖが第５の閾値Ｔｖ以上である場合（Ｓ５３でＮｏ）、リスト生成部２６は、図１６に示す第４の参照画像リストを生成する（Ｓ５５）。すなわち、リスト生成部２６は、復号されたピクチャＰ２２を最上位に位置させ、復号されたピクチャＰ２１をその次の順位に位置させ、復号されたピクチャＰ１３を最下位に位置させた第４の参照画像リストを生成する（Ｓ５５）。
【００９９】
リスト生成部２６は、図１７に示す手順にしたがって、参照画像リストを生成してもよい。図１７は、３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第２の動作の各ステップを示すフローチャートである。
【０１００】
すなわち、リスト生成部２６は、符号化対象画像がピクチャＰ２３である場合、先ず、復号されたピクチャＰ２２についての第１の動き補償予測評価値Ｅｍ１を算出するためのカメラ情報を取得する（Ｓ６１）。具体的には、リスト生成部２６は、ピクチャＰ２３とピクチャＰ２２との時間間隔Ｎ１を特定する情報を取得する（Ｓ６１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ６１）。また、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ６１）。更に、リスト生成部２６は、復号されたピクチャＰ２１についての第２の動き補償予測評価値Ｅｍ２を算出するためのカメラ情報を取得する（Ｓ６１）。具体的には、リスト生成部２６は、ピクチャＰ２３とピクチャＰ２１との時間間隔Ｎ２を特定する情報を取得する（Ｓ６１）。
【０１０１】
次に、リスト生成部２６は、下記の式（３）を用いて第１の動き補償予測評価値Ｅｍ１を算出する（Ｓ６２）。
【０１０２】
Ｅｍ１＝ｃ×Ｎ１×Ｓ×Ｚ＋ｄ      ・・・（３）
式（３）において、「Ｎ１」は「ピクチャＰ２３とピクチャＰ２２との時間間隔」であり、「Ｓ」は「カメラのパンチルトの速度」であり、「Ｚ」は「カメラのズーム速度」である。「ｃ」は「正の定数」であり、「ｄ」は「定数」である。
【０１０３】
また、リスト生成部２６は、下記の式（４）を用いて第２の動き補償予測評価値Ｅｍ２を算出する（Ｓ６２）。
【０１０４】
Ｅｍ２＝ｃ×Ｎ２×Ｓ×Ｚ＋ｄ      ・・・（４）
式（４）において、「Ｎ２」は「ピクチャＰ２３とピクチャＰ２１との時間間隔」であり、「Ｓ」は「カメラのパンチルトの速度」であり、「Ｚ」は「カメラのズーム速度」である。「ｃ」は「正の定数」であり、「ｄ」は「定数」である。
【０１０５】
そして、リスト生成部２６は、算出した第１の動き補償予測評価値Ｅｍ１が第６の閾値Ｔｎより小さいか否かを調べる（Ｓ６３）。第１の動き補償予測評価値Ｅｍ１が第６の閾値Ｔｎ以上である場合（Ｓ６３でＮｏ）、リスト生成部２６は、図１５に示す第３の参照画像リストを生成する（Ｓ６４）。
【０１０６】
他方、第１の動き補償予測評価値Ｅｍ１が第６の閾値Ｔｎより小さい場合（Ｓ６３でＹｅｓ）、リスト生成部２６は、算出した第２の動き補償予測評価値Ｅｍ２が第６の閾値Ｔｎより小さいか否かを調べる（Ｓ６５）。第２の動き補償予測評価値Ｅｍ２が第６の閾値Ｔｎ以上である場合（Ｓ６５でＮｏ）、リスト生成部２６は、図１８に示す第５の参照画像リストを生成する（Ｓ６６）。すなわち、リスト生成部２６は、復号されたピクチャＰ２２を最上位に位置させ、復号されたピクチャＰ１３をその次の順位に位置させ、復号されたピクチャＰ２１を最下位に位置させた第５の参照画像リストを生成する（Ｓ６６）。
【０１０７】
それに対して、第２の動き補償予測評価値Ｅｍ２が第６の閾値Ｔｎより小さい場合（Ｓ６５でＹｅｓ）、リスト生成部２６は、図１６に示す第４の参照画像リストを生成する（Ｓ６７）。
【０１０８】
リスト生成部２６は、図１９に示す手順にしたがって、参照画像リストを生成してもよい。図１９は、３個の画像のいずれかが参照画像となる場合において参照画像リストを生成する第３の動作の各ステップを示すフローチャートである。
【０１０９】
すなわち、リスト生成部２６は、符号化対象画像がピクチャＰ２３である場合、先ず、復号されたピクチャＰ１３についての視差補償予測評価値Ｅｖを算出するためのカメラ情報を取得する（Ｓ７１）。具体的には、リスト生成部２６は、右の視点Ｖ２のカメラのレンズと左の視点Ｖ１のカメラのレンズとの距離Ｈを特定する情報を取得する（Ｓ７１）。また、リスト生成部２６は、カメラのズーム倍率Ｍを特定する情報を取得する（Ｓ７１）。また、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ７１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【０１１０】
また、リスト生成部２６は、復号されたピクチャＰ２２についての第１の動き補償予測評価値Ｅｍ１を算出するためのカメラ情報を取得する（Ｓ７１）。具体的には、リスト生成部２６は、ピクチャＰ２３とピクチャＰ２２との時間間隔Ｎ１を特定する情報を取得する（Ｓ７１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ７１）。また、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ７１）。更に、リスト生成部２６は、復号されたピクチャＰ２１についての第２の動き補償予測評価値Ｅｍ２を算出するためのカメラ情報を取得する（Ｓ７１）。具体的には、リスト生成部２６は、ピクチャＰ２３とピクチャＰ２１との時間間隔Ｎ２を特定する情報を取得する（Ｓ７１）。
【０１１１】
次に、リスト生成部２６は、上記の式（１）を用いて視差補償予測評価値Ｅｖを算出する（Ｓ７２）。また、リスト生成部２６は、上記の式（３）を用いて第１の動き補償予測評価値Ｅｍ１を算出する（Ｓ７２）。更に、リスト生成部２６は、上記の式（４）を用いて第２の動き補償予測評価値Ｅｍ２を算出する（Ｓ７２）。
【０１１２】
そして、リスト生成部２６は、算出した第１の動き補償予測評価値Ｅｍ１が算出した視差補償予測評価値Ｅｖより小さいか否かを調べる（Ｓ７３）。第１の動き補償予測評価値Ｅｍ１が視差補償予測評価値Ｅｖ以上である場合（Ｓ７３でＮｏ）、リスト生成部２６は、図１５に示す第３の参照画像リストを生成する（Ｓ７４）。
【０１１３】
他方、第１の動き補償予測評価値Ｅｍ１が視差補償予測評価値Ｅｖより小さい場合（Ｓ７３でＹｅｓ）、リスト生成部２６は、算出した第２の動き補償予測評価値Ｅｍ２が視差補償予測評価値Ｅｖより小さいか否かを調べる（Ｓ７５）。第２の動き補償予測評価値Ｅｍ２が視差補償予測評価値Ｅｖ以上である場合（Ｓ７５でＮｏ）、リスト生成部２６は、図１８に示す第５の参照画像リストを生成する（Ｓ７６）。
【０１１４】
それに対して、第２の動き補償予測評価値Ｅｍ２が視差補償予測評価値Ｅｖより小さい場合（Ｓ７５でＹｅｓ）、リスト生成部２６は、図１６に示す第４の参照画像リストを生成する（Ｓ７７）。
【０１１５】
なお、ピクチャＰ２３とピクチャＰ２２との時間間隔Ｎ１は、ピクチャＰ２３とピクチャＰ２１との時間間隔Ｎ２より短い。そのため、式（３）と式（４）とを比較すると明らかなように、第１の動き補償予測評価値Ｅｍ１は、第２の動き補償予測評価値Ｅｍ２より小さくなる。したがって、いずれの参照画像リストにおいても、ピクチャＰ２２はピクチャＰ２１より上位に位置することになる。つまり、実施の形態２の参照画像リストは、第３参照画像リスト（図１５参照）と、第４参照画像リスト（図１６参照）と、第５参照画像リスト（図１８参照）とのいずれかとなる。
【０１１６】
（実施の形態３）
上述した実施の形態１及び実施の形態２では、左の視点Ｖ１の画像と、右の視点Ｖ２の画像とを符号化する場合を説明した。つまり、実施の形態１及び実施の形態２では、２視点の画像を符号化する場合を説明した。実施の形態３では、第１の視点の画像と、第２の視点の画像と、第３の視点の画像とを符号化する場合を説明する。つまり、実施の形態３では、３視点の画像を符号化する場合を説明する。
【０１１７】
図２０は、実施の形態３において符号化される画像を示す図である。図２０には、符号化される画像として、第１の視点Ｖ１のピクチャＩ１１，ピクチャＰ１２，及びピクチャＰ１３が示されている。また図２０には、符号化される画像として、第２の視点Ｖ２のピクチャＰ２１，ピクチャＰ２２，及びピクチャＰ２３も示されている。更に図２０には、第３の視点Ｖ３のピクチャＰ３１，ピクチャＰ３２，及びピクチャＰ３３も示されている。図２０における「Ｉ」は、それが付されているピクチャがＩピクチャであることを示している。「Ｐ」は、それが付されているピクチャがＰピクチャであることを示している。
【０１１８】
第１の視点Ｖ１のピクチャＩ１１，ピクチャＰ１２，及びピクチャＰ１３では、ピクチャＩ１１が最先に符号化されるピクチャであり、ピクチャＰ１２が２番目に符号化されるピクチャであり、ピクチャＰ１３が最後に符号化されるピクチャである。第２の視点Ｖ２のピクチャＰ２１，ピクチャＰ２２，及びピクチャＰ２３では、ピクチャＰ２１が最先に符号化されるピクチャであり、ピクチャＰ２２が２番目に符号化されるピクチャであり、ピクチャＰ２３が最後に符号化されるピクチャである。第３の視点Ｖ３のピクチャＰ３１，ピクチャＰ３２，及びピクチャＰ３３では、ピクチャＰ３１が最先に符号化されるピクチャであり、ピクチャＰ３２が２番目に符号化されるピクチャであり、ピクチャＰ３３が最後に符号化されるピクチャである。
【０１１９】
ピクチャＩ１１と、ピクチャＰ２１と、ピクチャＰ３１は同じ時に取得されており、その次に、ピクチャＰ１２と、ピクチャＰ２２と、ピクチャＰ３２が同じ時に取得されており、最後に、ピクチャＰ１３と、ピクチャＰ２３と、ピクチャＰ３３が同じ時に取得されている。
【０１２０】
実施の形態３では、第１の視点Ｖ１が基準視点であり、第２の視点Ｖ２及び第３の視点Ｖ３は非基準視点である。更に言うと、第２の視点Ｖ２は、基準視点である第１の視点Ｖ１により近い方の非基準視点であり、第３の視点Ｖ３は、基準視点である第１の視点Ｖ１からより遠い方の非基準視点である。
【０１２１】
図２０の矢印は、符号化が可能な向きを示している。すなわち、第１の視点Ｖ１のピクチャを符号化する場合、第１の視点Ｖ１の直前に復号された画像のみが参照画像となり、第２の視点Ｖ２及び第３の視点Ｖ３の復号された画像は参照画像とはならない。第２の視点Ｖ２のピクチャを符号化する場合、同じ時に取得された第１の視点Ｖ１の復号された画像、又は、第２の視点Ｖ２の直前に復号された画像が参照画像となる。
【０１２２】
第３の視点Ｖ３のピクチャを符号化する場合、矢印が示す通り、同じ時に取得された第１の視点Ｖ１の復号された画像と、同じ時に取得された第２の視点Ｖ２の復号された画像と、第３の視点Ｖ３の符号化対象画像の直前に復号された画像とのいずれかが参照画像となる。具体的には、ピクチャＰ３２を符号化する場合、第１の視点Ｖ１の復号されたピクチャＰ１２と、第２の視点Ｖ２の復号されたピクチャＰ２２と、第３の視点Ｖ３のピクチャＰ３２の直前に復号されたピクチャＰ３１とのいずれかが参照画像となる。
【０１２３】
次に、実施の形態３の画像符号化装置１００の構成を図２１を用いて説明する。図２１は、実施の形態３の画像符号化装置１００の構成を示すブロック図である。実施の形態３の画像符号化装置１００は、図２１に示すように、実施の形態１の画像符号化装置１００が有する構成部に加えて、第３取得部１４を有する。第３取得部１４が設けられた点と、マルチプレクサ部３の機能と、図２２を用いて後述するベクトル検出部１２の内部構成とが、実施の形態１の画像符号化装置１００と実施の形態３の画像符号化装置１００との相違点である。したがって、実施の形態３では、実施の形態１において説明した事項については、説明を省略する。
【０１２４】
第３取得部１４は、第３カメラＣからの画像を取得し、取得した画像をマルチプレクサ部３に出力する。以下では、第３取得部１４が取得する画像を「Ｖ３画像」と記載する。なお、実施の形態１において説明したように、第１取得部１が取得する画像は「Ｖ１画像」であり、第２取得部２が取得する画像は「Ｖ２画像」である。
【０１２５】
図２１において、第１カメラＡは図２０の第１の視点Ｖ１に対応し、第２カメラＢは図２０の第２の視点Ｖ２に対応し、第３カメラＣは図２０の第３の視点Ｖ３に対応している。また、第１カメラＡ、第２カメラＢ、及び第３カメラＣは、第２カメラＢを中心にしてそれぞれのレンズが被写体に向かい、かつ隣接して配置されていると仮定する。更に、第１カメラＡ、第２カメラＢ、及び第３カメラＣそれぞれの動作は等しいと仮定する。すなわち、第１カメラＡから被写体までの距離と、第２カメラＢから被写体までの距離と、第３カメラＣから被写体までの距離とは等しい。また、ズーム倍率、及びパンチルトの速度等についても、各カメラの状況は等しい。
【０１２６】
マルチプレクサ部３は、第１取得部１からのＶ１画像と、第２取得部２からのＶ２画像と、第３取得部１４からのＶ３画像とを取得し、Ｖ１画像とＶ２画像とＶ３画像とをその順に、減算部４及びベクトル検出部１２に出力する。
【０１２７】
ベクトル検出部１２は、符号化対象画像が非イントラ・ピクチャである場合、マルチプレクサ部３からの符号化対象画像と、記憶部１１によって保持されている参照画像とをブロック毎にパターンマッチングして動きベクトルを検出する。また、ベクトル検出部１２は、符号化対象のピクチャ毎に、第１カメラＡ、第２カメラＢ、及び第３カメラＣからのカメラ情報に基づいて、参照画像リストを生成する。また、ベクトル検出部１２は、ピクチャ毎に、生成した参照画像リストを可変長符号化部７に出力し、ブロック毎に、参照画像特定情報及び動きベクトルを可変長符号化部７に出力する。更に、ベクトル検出部１２は、ブロック毎に、動きベクトルを予測補償部１３に出力する。
【０１２８】
次に、実施の形態３のベクトル検出部１２の構成の詳細を図２２を用いて説明する。図２２は、実施の形態３のベクトル検出部１２の構成を示すブロック図である。
【０１２９】
実施の形態３のベクトル検出部１２は、図２２に示すように、参照画像供給部２１と、第１パターンマッチング部２２と、第２パターンマッチング部２３と、第３パターンマッチング部２７と、コスト計算部２４と、選択部２５と、リスト生成部２６とを有する。図２２と図１３とを比較すると明らかなように、実施の形態３のベクトル検出部１２の構成は、実施の形態２のベクトル検出部１２の構成と同じである。しかしながら、実施の形態３のベクトル検出部１２の機能は、実施の形態２のベクトル検出部１２の機能と一部異なる。
【０１３０】
参照画像供給部２１は、符号化対象画像がＶ１画像である場合、記憶部１１から符号化対象画像の直前のＶ１画像についての参照画像を取得し、取得した参照画像を第１パターンマッチング部２２に出力する。
【０１３１】
符号化対象画像がＶ２画像である場合、参照画像供給部２１は、記憶部１１から、符号化対象画像が取得された時のＶ１画像についての参照画像と、符号化対象画像の直前のＶ２画像についての参照画像とを取得する。そして、参照画像供給部２１は、リスト生成部２６によって生成される参照画像リストの第１位の参照画像を第１パターンマッチング部２２に出力し、第２位の参照画像を第２パターンマッチング部２３に出力する。
【０１３２】
符号化対象画像がＶ３画像である場合、参照画像供給部２１は、記憶部１１から、符号化対象画像が取得された時のＶ１画像についての参照画像と、符号化対象画像が取得された時のＶ２画像についての参照画像と、符号化対象画像の直前のＶ３画像についての参照画像とを取得する。そして、参照画像供給部２１は、リスト生成部２６によって生成される参照画像リストの第１位の参照画像を第１パターンマッチング部２２に出力し、第２位の参照画像を第２パターンマッチング部２３に出力し、第３位の参照画像を第３パターンマッチング部２７に出力する。
【０１３３】
第１パターンマッチング部２２、第２パターンマッチング部２３、第３パターンマッチング部２７、コスト計算部２４、及び、選択部２５の機能は、実施の形態２において説明した機能と同じである。したがって、それらについての説明は省略する。
【０１３４】
リスト生成部２６は、第１カメラＡ、第２カメラＢ、及び第３カメラＣからカメラ情報を取得し、カメラ情報に基づいて、符号化対象画像毎に、参照画像供給部２１を制御するための参照画像リストを生成する。リスト生成部２６は、符号化対象画像毎に、生成した参照画像リストを可変長符号化部７へ出力する。
【０１３５】
次に、リスト生成部２６が参照画像リストを生成する動作を説明する。リスト生成部２６は、符号化対象画像が第２の視点Ｖ２のピクチャである場合、実施の形態１において説明したようにして参照画像リストを生成する。符号化対象画像が第３の視点Ｖ３のピクチャである場合、リスト生成部２６は、以下に示すようにして参照画像リストを生成する。以下では、説明を簡単にするために、図２０の第３の視点Ｖ３のピクチャＰ３２を符号化する場合を例にとり、図２３を用いて参照画像リストにおける参照画像の使用順序を決定する動作を説明する。図２３は、第３の視点のピクチャを符号化する場合において参照画像リストを生成する第１の動作の各ステップを示すフローチャートである。
【０１３６】
リスト生成部２６は、符号化対象画像が第３の視点Ｖ３のピクチャＰ３２である場合、先ず、復号されたピクチャＰ３１についての動き補償予測評価値Ｅｍを算出するためのカメラ情報を取得する（Ｓ８１）。具体的には、リスト生成部２６は、ピクチャＰ３２とピクチャＰ３１との時間間隔Ｎを特定する情報を取得する（Ｓ８１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ８１）。更に、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ８１）。
【０１３７】
次に、リスト生成部２６は、上記の式（２）を用いて動き補償予測評価値Ｅｍを算出する（Ｓ８２）。
【０１３８】
次に、リスト生成部２６は、算出した動き補償予測評価値Ｅｍが第６の閾値Ｔｎより小さいか否かを調べる（Ｓ８３）。動き補償予測評価値Ｅｍが第６の閾値Ｔｎより小さい場合（Ｓ８３でＹｅｓ）、リスト生成部２６は、図２４に示す第６の参照画像リストを生成する（Ｓ８４）。すなわち、リスト生成部２６は、復号されたピクチャＰ３１を最上位に位置させ、復号されたピクチャＰ２２をその次の順位に位置させ、復号されたピクチャＰ１２を最下位に位置させた第６の参照画像リストを生成する（Ｓ８４）。
【０１３９】
他方、算出した動き補償予測評価値Ｅｍが第６の閾値Ｔｎ以上である場合（Ｓ８３でＮｏ）、リスト生成部２６は、図２５に示す第７の参照画像リストを生成する（Ｓ８５）。すなわち、リスト生成部２６は、復号されたピクチャＰ２２を最上位に位置させ、復号されたピクチャＰ１２をその次の順位に位置させ、復号されたピクチャＰ３１を最下位に位置させた第７の参照画像リストを生成する（Ｓ８５）。
【０１４０】
リスト生成部２６は、図２６に示す手順にしたがって、参照画像リストを生成してもよい。図２６は、第３の視点のピクチャを符号化する場合において参照画像リストを生成する第２の動作の各ステップを示すフローチャートである。
【０１４１】
すなわち、リスト生成部２６は、符号化対象画像が第３の視点Ｖ３のピクチャＰ３２である場合、先ず、復号されたピクチャＰ２２についての第１の視差補償予測評価値Ｅｖ１を算出するためのカメラ情報を取得する（Ｓ９１）。具体的には、リスト生成部２６は、第３の視点Ｖ３のカメラのレンズと第２の視点Ｖ２のカメラのレンズとの距離Ｈ１を特定する情報を取得する（Ｓ９１）。すなわち、リスト生成部２６は、第３カメラＣのカメラのレンズと第２カメラＢのカメラのレンズとの距離Ｈ１を特定する情報を取得する（Ｓ９１）。また、リスト生成部２６は、カメラのズーム倍率Ｍを特定する情報を取得する（Ｓ９１）。また、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ９１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【０１４２】
また、リスト生成部２６は、復号されたピクチャＰ１２についての第２の視差補償予測評価値Ｅｖ２を算出するためのカメラ情報を取得する（Ｓ９１）。具体的には、リスト生成部２６は、第３の視点Ｖ３のカメラのレンズと第１の視点Ｖ１のカメラのレンズとの距離Ｈ２を特定する情報を取得する（Ｓ９１）。すなわち、リスト生成部２６は、第３カメラＣのカメラのレンズと第１カメラＡのカメラのレンズとの距離Ｈ２を特定する情報を取得する（Ｓ９１）。
【０１４３】
次に、リスト生成部２６は、下記の式（５）を用いて第１の視差補償予測評価値Ｅｖ１を算出する（Ｓ９２）。
【０１４４】
Ｅｖ１＝ａ×Ｈ１×Ｍ×（１／Ｄ）＋ｂ      ・・・（５）
式（５）において、「Ｈ１」は「第３の視点Ｖ３のカメラのレンズと第２の視点Ｖ２のカメラのレンズとの距離」であり、「Ｍ」は「カメラのズーム倍率」であり、「Ｄ」は「カメラから被写体までの距離」である。「ａ」は「正の定数」であり、「ｂ」は「定数」である。
【０１４５】
また、リスト生成部２６は、下記の式（６）を用いて第２の視差補償予測評価値Ｅｖ２を算出する（Ｓ９２）。
【０１４６】
Ｅｖ２＝ａ×Ｈ２×Ｍ×（１／Ｄ）＋ｂ      ・・・（６）
式（６）において、「Ｈ２」は「第３の視点Ｖ３のカメラのレンズと第１の視点Ｖ１のカメラのレンズとの距離」であり、「Ｍ」は「カメラのズーム倍率」であり、「Ｄ」は「カメラから被写体までの距離」である。「ａ」は「正の定数」であり、「ｂ」は「定数」である。
【０１４７】
そして、リスト生成部２６は、算出した第１の視差補償予測評価値Ｅｖ１が第５の閾値Ｔｖより小さいか否かを調べる（Ｓ９３）。第１の視差補償予測評価値Ｅｖ１が第５の閾値Ｔｖ以上である場合（Ｓ９３でＮｏ）、リスト生成部２６は、図２４に示す第６の参照画像リストを生成する（Ｓ９４）。
【０１４８】
他方、第１の視差補償予測評価値Ｅｖ１が第５の閾値Ｔｖより小さい場合（Ｓ９３でＹｅｓ）、リスト生成部２６は、算出した第２の視差補償予測評価値Ｅｖ２が第５の閾値Ｔｖより小さいか否かを調べる（Ｓ９５）。第２の視差補償予測評価値Ｅｖ２が第５の閾値Ｔｖ以上である場合（Ｓ９５でＮｏ）、リスト生成部２６は、図２７に示す第８の参照画像リストを生成する（Ｓ９６）。すなわち、リスト生成部２６は、復号されたピクチャＰ２２を最上位に位置させ、復号されたピクチャＰ３１をその次の順位に位置させ、復号されたピクチャＰ１２を最下位に位置させた第８の参照画像リストを生成する（Ｓ９６）。
【０１４９】
それに対して、第２の視差補償予測評価値Ｅｖ２が第５の閾値Ｔｖより小さい場合（Ｓ９５でＹｅｓ）、リスト生成部２６は、図２５に示す第７の参照画像リストを生成する（Ｓ９７）。
【０１５０】
リスト生成部２６は、図２８に示す手順にしたがって、参照画像リストを生成してもよい。図２８は、第３の視点のピクチャを符号化する場合において参照画像リストを生成する第３の動作の各ステップを示すフローチャートである。
【０１５１】
すなわち、リスト生成部２６は、符号化対象画像が第３の視点Ｖ３のピクチャＰ３２である場合、先ず、復号されたピクチャＰ３１についての動き補償予測評価値Ｅｍを算出するためのカメラ情報を取得する（Ｓ１０１）。具体的には、リスト生成部２６は、ピクチャＰ３２とピクチャＰ３１との時間間隔Ｎを特定する情報を取得する（Ｓ１０１）。また、リスト生成部２６は、カメラのパンチルトの速度Ｓを特定する情報を取得する（Ｓ１０１）。更に、リスト生成部２６は、カメラのズーム速度Ｚを特定する情報を取得する（Ｓ１０１）。
【０１５２】
また、リスト生成部２６は、復号されたピクチャＰ２２についての第１の視差補償予測評価値Ｅｖ１を算出するためのカメラ情報を取得する（Ｓ１０１）。具体的には、リスト生成部２６は、第３の視点Ｖ３のカメラのレンズと第２の視点Ｖ２のカメラのレンズとの距離Ｈ１を特定する情報を取得する（Ｓ１０１）。また、リスト生成部２６は、カメラのズーム倍率Ｍを特定する情報を取得する（Ｓ１０１）。また、リスト生成部２６は、カメラのフォーカス距離を特定する情報を取得し（Ｓ１０１）、その情報に基づいて、カメラから被写体までの距離Ｄを特定する。
【０１５３】
更に、リスト生成部２６は、復号されたピクチャＰ１２についての第２の視差補償予測評価値Ｅｖ２を算出するためのカメラ情報を取得する（Ｓ１０１）。具体的には、リスト生成部２６は、第３の視点Ｖ３のカメラのレンズと第１の視点Ｖ１のカメラのレンズとの距離Ｈ２を特定する情報を取得する（Ｓ１０１）。
【０１５４】
次に、リスト生成部２６は、上記の式（２）を用いて動き補償予測評価値Ｅｍを算出する（Ｓ１０２）。また、リスト生成部２６は、上記の式（５）を用いて、第１の視差補償予測評価値Ｅｖ１を算出する（Ｓ１０２）。更に、リスト生成部２６は、上記の式（６）を用いて、第２の視差補償予測評価値Ｅｖ２を算出する（Ｓ１０２）。
【０１５５】
そして、リスト生成部２６は、算出した第１の視差補償予測評価値Ｅｖ１が算出した動き補償予測評価値Ｅｍより小さいか否かを調べる（Ｓ１０３）。第１の視差補償予測評価値Ｅｖ１が動き補償予測評価値Ｅｍ以上である場合（Ｓ１０３でＮｏ）、リスト生成部２６は、図２４に示す第６の参照画像リストを生成する（Ｓ１０４）。
【０１５６】
他方、第１の視差補償予測評価値Ｅｖ１が動き補償予測評価値Ｅｍより小さい場合（Ｓ１０３でＹｅｓ）、リスト生成部２６は、算出した第２の視差補償予測評価値Ｅｖ２が動き補償予測評価値Ｅｍより小さいか否かを調べる（Ｓ１０５）。第２の視差補償予測評価値Ｅｖ２が動き補償予測評価値Ｅｍ以上である場合（Ｓ１０５でＮｏ）、リスト生成部２６は、図２７に示す第８の参照画像リストを生成する（Ｓ１０６）。
【０１５７】
それに対して、第２の視差補償予測評価値Ｅｖ２が動き補償予測評価値Ｅｍより小さい場合（Ｓ１０５でＹｅｓ）、リスト生成部２６は、図２５に示す第７の参照画像リストを生成する（Ｓ１０７）。
【０１５８】
なお、第３の視点Ｖ３のカメラのレンズと第２の視点Ｖ２のカメラのレンズとの距離Ｈ１は、第３の視点Ｖ３のカメラのレンズと第１の視点Ｖ１のカメラのレンズとの距離Ｈ２より短い。そのため、式（５）と式（６）とを比較すると明らかなように、第１の視差補償予測評価値Ｅｖ１は、第２の視差補償予測評価値Ｅｖ２より小さくなる。したがって、いずれの参照画像リストにおいても、ピクチャＰ２２はピクチャＰ１２より上位に位置することになる。つまり、実施の形態３の参照画像リストは、第６参照画像リスト（図２４参照）と、第７参照画像リスト（図２５参照）と、第８参照画像リスト（図２７参照）とのいずれかとなる。
【０１５９】
また、上述した実施の形態１及び実施の形態２では、符号化される画像は、左の視点Ｖ１と右の視点Ｖ２との２視点の画像であり、上述した実施の形態３では、符号化される画像は、第１の視点Ｖ１、第２の視点Ｖ２、及び第３の視点Ｖ３の３視点の画像である。しかしながら、符号化される画像は、４以上の視点の画像であってもよい。その場合においても、リスト生成部２６は、より多く選択される参照画像の順位をより高くして参照画像リストを生成する。参照画像リストにおける順位を特定する情報のデータ量は、順位が高いほど少ない。したがって、本実施の形態の画像符号化装置１００は、リスト生成部２６の動作により、符号化後のデータ量をより少なくすることができる。
【０１６０】
また、上述した実施の形態１では、画像符号化装置１００は、左の視点Ｖ１の画像と右の視点Ｖ２の画像とをマルチプレクスし、一個の符号化部により符号化を実行する。また、上述した実施の形態３では、画像符号化装置１００は、第１の視点Ｖ１の画像と、第２の視点Ｖ２の画像と、第３の視点Ｖ３の画像とをマルチプレクスし、一個の符号化部により符号化を実行する。しかしながら、画像符号化装置は、視点毎に符号化部を有していてもよい。その場合、記憶部は、全視点で共通に使用される１個のみ設けられ、同時刻の画像は、基準視点の画像が最先に符号化されるように設定される。また、視点毎の符号化部の出力をマルチプレクスするマルチプレクサ部が各符号化部の後段に設けられる。
【０１６１】
また、図１、図１２、及び図１９には、符号化される画像として、ＩピクチャとＰピクチャが示されている。しかしながら、符号化される画像には、Ｉピクチャ及びＰピクチャとともに、２個のピクチャを参照して符号化することになるＢピクチャが含まれる。符号化対象画像がＢピクチャである場合、ベクトル検出部１２のリスト生成部２６は、２個の参照ピクチャの少なくとも一方について、上述した参照画像リストを生成する動作を実行する。
【０１６２】
また、上述した各実施の形態では、リスト生成部２６は、カメラ情報に基づいて、ピクチャ毎に参照画像リストを生成する。しかしながら、リスト生成部２６は、スライス毎に参照画像リストを生成してもよい。
【０１６３】
更に、本実施の形態の画像符号化装置１００の各構成部の機能は、例えばコンピュータのＣＰＵ（プロセッサ）及びメモリ等のハードウェアと、その機能を実現するためのコンピュータプログラムとが協働することによって実現される。しかしながら、上記各機能は、専用の回路により実現される等、どのような形態により実現されてもよい。また、本実施の形態の画像符号化装置１００の各構成部の機能を実現するためのコンピュータプログラムは、記録媒体に格納されてもよい。
【符号の説明】
【０１６４】
１００  画像符号化装置、  １  第１取得部、  ２  第２取得部、  ３  マルチプレクサ部、  ４  減算部、  ５  直交変換部、  ６  量子化部、  ７  可変長符号化部、  ８  逆量子化部、  ９  逆直交変換部、  １０  加算部、  １１  記憶部、  １２  ベクトル検出部、  １３  予測補償部、  ２１  参照画像供給部、  ２２  第１パターンマッチング部、  ２３  第２パターンマッチング部、  ２４  コスト計算部、  ２５  選択部、  ２６  リスト生成部。
【図１】
2011087270.tif 000003
【図２】
2011087270.tif 000004
【図３】
2011087270.tif 000005
【図４】
2011087270.tif 000006
【図５】
2011087270.tif 000007
【図６】
2011087270.tif 000008
【図７】
2011087270.tif 000009
【図８】
2011087270.tif 000010
【図９】
2011087270.tif 000011
【図１０】
2011087270.tif 000012
【図１１】
2011087270.tif 000013
【図１２】
2011087270.tif 000014
【図１３】
2011087270.tif 000015
【図１４】
2011087270.tif 000016
【図１５】
2011087270.tif 000017
【図１６】
2011087270.tif 000018
【図１７】
2011087270.tif 000019
【図１８】
2011087270.tif 000020
【図１９】
2011087270.tif 000021
【図２０】
2011087270.tif 000022
【図２１】
2011087270.tif 000023
【図２２】
2011087270.tif 000024
【図２３】
2011087270.tif 000025
【図２４】
2011087270.tif 000026
【図２５】
2011087270.tif 000027
【図２６】
2011087270.tif 000028
【図２７】
2011087270.tif 000029
【図２８】
2011087270.tif 000030