(57)【特許請求の範囲】
【請求項１】
画像符号化方法であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化方法。
【請求項２】
前記第２フレームに対する記録において、
前記第１フレームへ前記陽領域と記録された座標を透領域として記録する、
ことを特徴とする請求項１に記載の画像符号化方法。
【請求項３】
前記第１フレームへの記録において、
前記陰領域と記録された座標の前記第２画像の画素値を記録する、
ことを特徴とする請求項１または請求項２に記載の画像符号化方法。
【請求項４】
前記第２フレーム内の前記陰領域の有無を判定し、前記陰領域が有ると判定した場合に、前記第２画像を前記方向に前記第１シフト量だけ更に画素シフトし、
前記第１画像および前記更に画像シフトした後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第３差分値を求め、前記第３差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１および第２フレームとは異なる第３フレームに記録する、
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像符号化方法。
【請求項５】
前記副カメラを複数有する、
ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像符号化方法。
【請求項６】
画像符号化装置であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化装置。
【請求項７】
画像符号化プログラムであって、
演算処理装置に
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、のを実行させる、
ことを特徴とする画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で言及する実施例は、画像符号化方法および画像符号化装置に関する。
【背景技術】
【０００２】
近年、三次元空間の静止画や動画(映像)を記録する技術が注目され、研究が進められている。しかしながら、撮影した三次元空間の情報をすべて符号化・復号化するには様々な課題がある。
【０００３】
そこで、視点の移動範囲を、例えば、一般的なテレビ視聴時における範囲(微小視点移動範囲：首を動かす(平行移動する)程度の範囲)に限定することで技術的な障壁を下げた、微小視点移動対応画像、並びに、画像の符号化および復号化技術が提案されている。このような微小視点移動を前提とした場合であっても、三次元画像の符号化および復号化には、演算量とデータ量が問題となる。
【０００４】
ところで、従来、三次元空間の静止画や動画を記録する技術、すなわち、三次元画像を符号化および復号化する技術としては、様々な提案がなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０４６２６３号公報
【特許文献２】特開平０９−０２７９６９号公報
【特許文献３】特開２００９−２５１１４１号公報
【特許文献４】特開２００１−２５６４８２号公報
【特許文献５】特開２００４−１５２１３３号公報
【特許文献６】特開２００７−３３４５８３号公報
【非特許文献】
【０００６】
【非特許文献１】谷本 正幸(Masayuki Tanimoto), 『自由視点テレビの実用化を目指す国際標準技術の研究［093106002］("International Standard Technology for Practical Use of Free-viewpoint Television")』, ICT Innovation Forum 2013, October 1, 2013.
【非特許文献２】Tehrani et al., "Use Cases and Requirements on Free-viewpoint Television (FTV)," ISO/IEC JTC1/SC29/WG11, MPEG2013/N14104, October 2013.
【非特許文献３】Arai et al., "Integral three-dimensional television with video system using pixel-offset method," OPTICS EXPRESS, Vol.21, No.3, pp.3474-3485, February 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、三次元画像を符号化および復号化する技術としては様々な提案がなされているが、微小視点移動を前提とした場合であっても、三次元画像を符号化および復号化するには、演算量とデータ量の問題がある。
【０００８】
例えば、カメラを中央／左／右に配置し、その中央／左／右カメラから取得した静止画およびデプス(奥行き)マップに基づいて、中心画像および左／右の視点のうち正面画(中心画像)に含まれない物体のみ画像とデプスを記録するものが提案されている。
【０００９】
そして、復号化時には、視聴者の視点移動量に合わせてジオメトリ計算により各奥行き(デプス)に応じた画素シフトを行う。なお、シフトにより画素データが抜けた個所は、左／右の符号化データを用いて補間する。
【００１０】
しかしながら、この手法は、例えば、符号化データ量を低減することが可能であるものの、符号化した三次元画像情報に対するジオメトリ計算を行うため演算量が膨大なものとなる。
【００１１】
また、例えば、高精度なカメラセンサーの全面にレンズアレイと集光レンズを並べ、各視点位置からの映像を全て符号化するものも提案されている。なお、復号化時は、符号化時と逆の手順を踏むことで視点移動を可能とする。
【００１２】
しかしながら、この手法は、例えば、ジオメトリ計算を行わないため、演算量を低減することが可能であるものの、複数の視点画像を符号化することになるため、符号化データが膨大なものとなる。
【００１３】
このように、たとえ、微小視点移動範囲に特化したとしても、全ての三次元画像情報を符号化するものと比較すれば演算量・データ量を低減することは可能であるが、それでも、まだ十分なものとは言えず、非常に大きな負荷となっている。
【課題を解決するための手段】
【００１４】
一実施形態の画像符号化方法は、符号化システムが、主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取る。
【００１５】
前記符号化システムは、前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録する。
【００１６】
さらに、前記符号化システムは、前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する。
【発明の効果】
【００１７】
開示の画像符号化方法および画像符号化装置は、演算量およびデータ量を低減することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】図１は、画像符号化方法の第１実施例を説明するための図である。
【図２】図２は、画像符号化方法の第２実施例を説明するための図である。
【図３】図３は、画像符号化方法の第３実施例を説明するための図である。
【図４】図４は、本実施形態に係る画像符号化方法におけるフレームのデータフォーマットを説明するための図である。
【図５】図５は、第１実施例の画像符号化方法が適用される符号化システムの全体構成を示す図である。
【図６】図６は、図５に示す符号化システムの処理を説明するための図である。
【図７】図７は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図(その１)である。
【図８】図８は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図(その２)である。
【図９】図９は、画像符号化方法が適用される符号化システムの一例を示すブロック図である。
【図１０】図１０は、図９に示す符号化システムにおける符号化部をより詳細に示すブロック図である。
【図１１】図１１は、第２実施例の画像符号化プログラムが適用される実行システムの一例を示すブロック図である。
【図１２】図１２は、第２実施例の画像符号化方法における処理の一例を説明するためのフローチャートである。
【図１３】図１３は、第１実施例の画像符号化方法による処理手順の一例を説明するための図(その１)である。
【図１４】図１４は、第１実施例の画像符号化方法による処理手順の一例を説明するための図(その２)である。
【図１５】図１５は、第２実施例の画像符号化方法による処理手順の一例を説明するための図(その１)である。
【図１６】図１６は、第２実施例の画像符号化方法による処理手順の一例を説明するための図(その２)である。
【図１７】図１７は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その１)である。
【図１８】図１８は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その２)である。
【図１９】図１９は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図(その３)である。
【図２０】図２０は、本実施形態に係る画像復号化方法による処理の一例を説明するための図である。
【図２１】図２１は、本実施形態の画像復号化方法が適用される復号化システムの一例を示すブロック図である。
【図２２】図２２は、図２１に示す復号化システムにおける復号化部をより詳細に示すブロック図である。
【図２３】図２３は、本実施形態の画像復号化プログラムが適用される実行システムの一例を示すブロック図である。
【図２４】図２４は、本実施形態の画像復号化方法における処理の一例を説明するためのフローチャートである。
【図２５】図２５は、本実施形態の画像復号化方法において視点移動なし時の処理を説明するための図である。
【図２６】図２６は、本実施形態の画像復号化方法において視点移動あり時の処理を説明するための図である。
【図２７】図２７は、本実施形態に係る画像復号化方法による処理手順の一例を説明するための図である。
【図２８】図２８は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図(その１)である。
【図２９】図２９は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図(その２)である。
【図３０】図３０は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その１)である。
【図３１】図３１は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その２)である。
【図３２】図３２は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図(その３)である。
【発明を実施するための形態】
【００１９】
以下、画像符号化方法および画像符号化装置の実施例を、添付図面を参照して詳述する。なお、本実施形態に係る画像符号化方法および画像符号化装置は、演算量とデータ量が少ない微小視点移動を前提とする。
【００２０】
本実施形態に係る画像符号化方法および画像符号化装置は、１つの主カメラと少なくとも１つの副カメラを含むカメラセット(カメラ群)を基に、「シフト＋画素値比較」という簡単な処理で三次元画像情報を複数枚の二次元画像に符号化する。さらに、本実施形態に係る画像符号化方法および画像符号化装置は、上記カメラ群を複数組み合わせることで、視点移動範囲を同一平面内における任意の方向に拡張する。
【００２１】
また、本実施形態に係る画像復号化方法および画像復号化装置は、視聴者の位置に応じて符号化データである複数の二次元画像をシフトして上書き描画を行うことにより、視聴者の視点画像を生成する。
【００２２】
ここで、符号化画像には、上書き描画を行わない領域(透領域：Ｔ領域)が含まれ、適切な描画順序とシフト量によって上書きを行うことにより、その視点位置から見える物体のみが画面上に残る。さらに、本実施形態に係る画像復号化方法および画像復号化装置は、ジオメトリ計算などの特別な計算を行うことなく、任意の視点の視差を生成することが可能となる。
【００２３】
まず、画像符号化方法および画像符号化装置の実施例を詳述した後、画像復号化方法および画像復号化装置の実施例を詳述する。
【００２４】
［符号化］
図１は、画像符号化方法の第１実施例を説明するための図である。図１において、参照符号ＭＣは主カメラ、ＳＣは副カメラ、ＰＩＣmは主カメラＭＣにより撮影された画像(主カメラ撮像画)、ＰＩＣsは副カメラＳＣにより撮影された画像(副カメラ撮像画)、そして、Ｆ0〜Ｆgはフレームを示す。
【００２５】
図１に示されるように、第１実施例の画像符号化方法は、光軸が水平となるように配置され、同じ撮像条件／同じタイミング(同設定／同タイミング)で撮像可能な２個の撮像部(主カメラＭＣおよび副カメラＳＣ)を有する符号化システムに適用される。
【００２６】
ここで、主カメラＭＣおよび副カメラＳＣは、所定の方向(シフト方向)において、異なる位置に配置されている。なお、主カメラＭＣと副カメラＳの距離は、様々な条件に基づいて適切な長さに設定されるが、例えば、数ｍｍ〜数ｃｍ程度に設定することができる。
【００２７】
そして、主カメラＭＣおよび副カメラＳＣの両撮像部において、以下の(11)〜(14)の処理を行う。すなわち、まず、図１中の(11)に示されるように、同時に撮影した２枚の画像(主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣs)において、同じ座標の画素同士の画素値を比較する。
【００２８】
次に、図１中の(12)に示されるように、シフトを行わない２枚の画(画像)ＰＩＣm，ＰＩＣsの比較で、所定の閾値以下の近さであれば同一物体(被写体)とみなして撮像画と同じ解像度の二次元画像(フレーム０：Ｆ0)の同一座標に記録する。
【００２９】
すなわち、処理(12)により、同じ座標の画素同士の画素値が所定の閾値以下の近さ、換言すると、同じ座標の画素同士の画素値の差が所定の閾値以下となる領域を、陽領域(Ｐ領域)として記録(領域の種別Ｐを示す情報を記録)する。
【００３０】
また、処理(12)により、画素値が埋められなかったフレームＦ0の領域は、陰領域(Ｎ領域)として記録(領域の種別Ｎを示す情報を記録)する。なお、フレームＦ0におけるＰ領域およＮ領域に関しては、図４(a)を参照して、後に、詳述する。
【００３１】
そして、全画素に対する初回の比較処理(12)が終わったら、続いて、副カメラ撮像画ＰＩＣsを、主カメラＭＣと副カメラＳＣの位置関係に基づいた方向とシフト量だけ画素シフトした上で２回目の比較処理(13)を行う。
【００３２】
この処理(13)は、フレームＦ0においてＮ領域になった画素の座標(主カメラ撮像画ＰＩＣmを基準)に対して、再度、主カメラ撮像画ＰＩＣmと画素シフトした副カメラ撮像画ＰＩＣsの比較を行う。
【００３３】
ここで、画素シフトに関して、主カメラＭＣおよび副カメラＳＣを被写体側に向けた状態で、副カメラＳＣが主カメラＭＣに対して左(右)側に位置するときは、左(右)側にシフトさせる。そして、図１中の(12)に示されるように、比較結果は、撮像画と同じ解像度の別の二次元画像(フレーム１：Ｆ1)の主カメラＭＣの同じ座標に記録する。
【００３４】
また、例えば、フレームＦ1において，以前のフレーム(フレームＦ0)の時点でＰ領域になったことのある座標に対しては、画素データのない透領域(Ｔ領域)として記録(領域の種別Ｔを示す情報を記録)する。
【００３５】
以降、上述した処理(13)と同様の処理を繰り返し、例えば、予め定めた画素数分シフトおよび比較を行ってＮ領域がなくなる、或いは、予め定めた画素数のシフトが完了する最後の処理(シフトおよびｎ回目の比較処理)(14)を行う。
【００３６】
ここで、フレームＦ0〜Ｆgの枚数、すなわち、比較を行うごとのシフト画素数、或いは、シフトが完了するまでの画素数は、微小視点移動を可能とする長さやフレームＦ0〜Ｆgを格納するためのメモリ容量等の様々な要因に基づいて決められる。
【００３７】
このように、第１実施例の画像符号化方法によれば、主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsに対してシフトと画素値比較のみを行うことで、容易に微小視点移動対応画像の視点移動をしていない時の視点位置の画像を符号化することが可能となる。
【００３８】
図２は、画像符号化方法の第２実施例を説明するための図である。図２において、参照符号ＭＣは主カメラ、ＳＣ1は第１副カメラ(副１)、ＳＣ2は第２副カメラ(副２)、ＳＣ3は第３副カメラ(副３)、そして、ＳＣ4は第４副カメラ(副４)を示す。
【００３９】
図２に示されるように、第２実施例の画像符号化方法は、第１実施例における１個の副カメラＳＣを、複数個(４個)の副カメラＳＣ1〜ＳＣ4としている。なお、図２において(他の図も同様)、破線「----」は、それぞれの副カメラＳＣ1〜ＳＣ4により撮影される画像のシフト方向(各副カメラ撮像画のシフト方向)を示す。
【００４０】
すなわち、第２実施例の画像符号化方法は、第１実施例が適用される主カメラＭＣおよび副カメラＳＣ(副カメラＳＣ1に対応)を有する符号化システムに対して、さらに、少なくとも１個(３個：副カメラＳＣ2〜ＳＣ4)を追加した符号化システムに適用される。
【００４１】
ここで、副カメラＳＣ1〜ＳＣ4は、それぞれ主／副カメラを通り主／副カメラの光軸に垂直な平面上に位置し、光軸が主／副カメラと水平となる位置に配置されている。なお、副カメラの数は、４個に限定されず、任意のｎ個であってもよい。
【００４２】
そして、主カメラＭＣおよび複数の副カメラＳＣ1〜ＳＣ4において、以下の(21)〜(24)の処理を行う。ここで、主カメラＭＣを挟まない限り、同一直線上に２台以上の副カメラは存在しないものとする。なお、副カメラＳＣ2およびＳＣ3は、同一直線上ではあるが、間に主カメラＭＣを挟んだ位置に配置されている。
【００４３】
これにより、主カメラＭＣと各副カメラＳＣ1〜ＳＣ4間のそれぞれの方向において、微小視点移動が可能、すなわち、視聴者がそれぞれの方向に視点を移動させて三次元画像を取得することが可能となる。
【００４４】
＜処理手順＞
まず、主カメラＭＣおよび各副カメラＳＣ1〜ＳＣ4で同設定／同タイミングにて撮影する。そして、主カメラ撮像画および各副カメラ撮像画に対して、第１実施例で説明した主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsの処理をそれぞれ行う。
【００４５】
すなわち、主カメラ撮像画と各副カメラ撮像画に対して、それぞれ同一座標の画素値を比較し、全ての画像の画素値の差が所定の閾値以下であればあれば、同一物体とみなして撮像画と同じ解像度の二次元画像(フレームＦ0)の同一座標にＰ領域として記録する。さらに、画素値が埋められなかったフレームＦ0の領域をＮ領域として記録する。
【００４６】
そして、全画素の比較が終わったら、続いて各副カメラ撮像画をそれぞれのカメラの撮像部配置位置に応じた方向とシフト量だけ画素シフトした上で、フレームＦ0でＮ領域になった画素の座標(主カメラ撮像画基準)に対して、再度、主カメラ撮像画と比較する。
【００４７】
ここで、副カメラ撮像画は、被写体側に向いた状態で自身と主カメラを結ぶ直線上に主カメラから離れる方向にシフトする。また、シフトさせる画素数は、主カメラとその副カメラとの距離に比例させる。さらに、保存されるデータは、視差のない領域の画像データ１枚＋視差領域画像データ複数枚となる。
【００４８】
なお、微小視点移動において、視差部分は、画像全体では非常に少ない領域であるため、実質的に、１枚の画像データ＋α程度のデータ量で、主カメラＭＣから各副カメラＳＣ1〜ＳＣ4の間の高い精度の中間視点画像が保存可能となる。
【００４９】
図３は、画像符号化方法の第３実施例を説明するための図である。図３において、参照符号ＧＲ1〜ＧＲ3は、同一平面上に配置されたカメラ群を示し、カメラ群ＧＲ1は、主カメラＭＣ1および副カメラＳＣ11を含み、カメラ群ＧＲ2は、主カメラＭＣ2および副カメラＳＣ21〜ＳＣ24を含む。また、カメラ群ＧＲ3は、主カメラＭＣ3および副カメラＳＣ31〜ＳＣ34を含む。
【００５０】
カメラ群ＧＲ1の主カメラＭＣ1は、カメラ群ＧＲ2の副カメラＳＣ22と兼用され、また、カメラ群ＧＲ1の副カメラＳＣ11は、カメラ群ＧＲ3の副カメラＳＣ33と兼用されている。
【００５１】
さらに、カメラ群ＧＲ2の副カメラＳＣ21は、カメラ群ＧＲ3の副カメラＳＣ32と兼用され、また、カメラ群ＧＲ2の副カメラＳＣ24は、カメラ群ＧＲ3の副カメラＳＣ34と兼用されている。
【００５２】
すなわち、第３実施例の画像符号化方法では、前述した第１および第２実施例のシステム(カメラ群)が複数存在し、隣接するシステムが１台以上のカメラを共有するようになっている。
【００５３】
ここで、複数のシステムで共有されるカメラは、それぞれのカメラ群において主カメラとなるか副カメラとなるかは任意である。なお、１個のカメラは、「同一システムにおいて、主カメラを挟まない限り、同一直線上に２台以上の副カメラは存在しない」を満たす限り、任意のシステムに属することができ、隣接する２システム間で共有するカメラの個数も任意の数が可能である。
【００５４】
これにより、それぞれの主カメラＭＣ1，ＭＣ2および〜ＭＣ3と、各副カメラＳＣ11，ＳＣ21〜ＳＣ24およびＭＣ3１〜ＭＣ3４間のそれぞれの方向において、視聴者が視点を移動させて三次元画像を取得することが可能となる。
【００５５】
すなわち、第３実施例によれば、主カメラＭＣ1〜ＭＣ3に対応して、符号化処理するフレーム数が増加するため、メモリ容量および演算量が多少とも増加することになるが、視聴者の視点移動の自由度を向上させることが可能となる。
【００５６】
そして、第１〜第３実施例の画像符号化方法によれば、微小視点移動に使用する三次元画像情報を「シフト＋画素比較」という簡単な処理で符号化できるため、例えば、従来のジオメトリ計算を行うものに対して演算量を大幅に低減することが可能となる。さらに、符号化する視点データは「１視点＋視差データ」となるため、符号化データ量を削減することも可能となる。
【００５７】
上述した第１〜第３実施例において、例えば、フレームＦ0のＮ領域(陰領域)とその座標の副カメラの画素値を記録することにより、復号化時に、視聴者が視点を移動させた際の背景部分の描画データが不足する問題への緩和策(第４実施例)とすることができる。
【００５８】
すなわち、第４実施例の画像符号化方法は、視差補間フレーム(Ｆi0，Ｆi1)を生成し、その視差補間フレームを、復号化時に、視聴者が視点を移動させた際の違和感を低減するための描画データとして利用する。なお、視点の移動がない場合は、フレームＦ0のＮ領域は全画素上書きされるはずなので、Ｎ領域の描画は行わなくてもよい。
【００５９】
以上において、記録フォーマットは、任意のものを適用することができ、符号フレームと同サイズの画像を副フレーム(副カメラ撮像画)ごとに用意してその中に記録してもよく、或いは、専用のフォーマットを用意して符号化効率や処理効率を上げることも可能である。すなわち、データの記録は、知られている様々なフォーマットや圧縮手法や適用することが可能である。
【００６０】
ここで、上述した第１〜第４実施例の画像符号化方法は、例えば、演算処理装置(ＣＰＵ：Central Processing Unit)により実行される画像符号化プログラムとして実現することも可能である。
【００６１】
図４は、本実施形態に係る画像符号化方法におけるフレームのデータフォーマットを説明するための図であり、図４(a)は、前述した図１におけるフレームＦ0に相当し、図４(b)は、前述した図１におけるフレームＦ1に相当する。なお、図４(b)では、分かりやすくするために、Ｔ領域に画素データを描いているが、符号データにおけるＴ領域には、画素データは含まれない。
【００６２】
図４(a)および図４(b)に示されるように、それぞれのフレームに保存する画像は、Ｐ領域(陽領域：ハッチング部)、Ｎ領域(陰領域：クロスハッチング部)およびＴ領域(透領域：ドット部)の３種類の領域に分けられる。
【００６３】
ここで、Ｐ領域は、物体(被写体)が存在する領域であり、カメラに写った画像をそのまま記録する、すなわち、画素データを記録する唯一の領域である。また、Ｎ領域は、物体は存在するが、例えば、前面にある物体により見えない隠れた領域である。
【００６４】
さらに、Ｎ領域は、復号化時において、視点移動がなければ上書きされて残らず、視点移動がある場合には残るように、領域の一部を何らかの手段で補間して画を完成させる領域である。なお、本実施形態においては、主カメラのみではＮ領域になってしまう部分の一部を、副カメラの画素データにより補間する。
【００６５】
そして、Ｔ領域は、その空間内に物体が何も存在しない透明の領域であり、領域データのみを保持し、画素値は保持しない。ここで、符号化時において、以前に処理したフレームで一度Ｐ領域となった座標が、それ以降のフレームではＴ領域に設定される。また、復号化時において、画素がＴ領域の場合には、上書きを行わない。
【００６６】
図５は、第１実施例の画像符号化方法が適用される符号化システムの全体構成を示す図であり、図１を参照して説明した主カメラＭＣおよび副カメラＳＣの２個のカメラによる第１実施例の画像符号化方法が適用されるシステムの一例を示すものである。図５において、参照符号１は、符号化システム(画像符号化装置)を示し、ＯＡ〜ＯＣは、それぞれ被写体(撮影される物体)を示す。
【００６７】
ここで、観察対象点Ｐoにおいて、主カメラＭＣと副カメラＳＣのなす角度をθとし、観察対象点Ｐoから主カメラＭＣまでの長さ(半径)をｒとすると、主カメラＭＣと副カメラＳＣの距離ｄは、ほぼｄ＝ｒθと近似できる微小視点移動範囲を前提とする。
【００６８】
すなわち、視点の移動範囲を、例えば、一般的なテレビ視聴時における範囲(微小視点移動範囲：首を動かす(平行移動する)程度の範囲)に限定する。これは、例えば、主カメラＭＣから副カメラＳＣの間の視点において、被写体とｄ＝ｒθの関係を満たす距離にある物体は、画面上で主カメラＭＣからの視点の移動距離に比例して平行移動することになる。
【００６９】
なお、図１では、副カメラＳＣが主カメラＭＣの左側に配置されているが、図５のように、副カメラＳＣが主カメラＭＣの右側に配置された場合と同様に考えることができるのはいうまでもない。
【００７０】
符号化システム１は、それぞれの光軸が水平に配置された主カメラＭＣおよび副カメラＳＣにより同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを受け取って、空間符号化フレーム(視差別の複数の二次元画像)を生成する。
【００７１】
すなわち、符号化システム１は、同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを入力とし、それらの画像に対してシフトと画素比較を行い、微小視点移動対応画像の生成に使用する三次元画像情報を複数のフレームＦ0〜Ｆ2に符号化する。
【００７２】
図６は、図５に示す符号化システムの処理を説明するための図であり、図６(a)は、主カメラＭＣおよび副カメラＳＣと、物体(被写体)ＯＭおよび背景ＢＫの配置を示すものであり、図６(b)は、符号化システム１による処理の例を説明するためのものである。
【００７３】
図６(a)に示されるように、主カメラＭＣと副カメラＳＣは、距離ｄだけ水平方向に離れていて、物体ＯＭを同時撮影して主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを得る。ここで、例えば、主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsにおいて、物体ＯＭは、ｓ画素だけずれて撮影(描画)されているものとする。
【００７４】
また、本実施形態では、手前の物体は同じ奥行きであっても視点位置によって物体形状が変わるため大きな視差が生じるが、一定以上奥にある物体は変形せず物体中央部はほとんど一致しており、視差は異なる奥行きと接する境界面のみとなることを前提とする。すなわち、本実施形態では、「同一奥行き上では視差はほとんど生まれず、他の奥行きとの境界部分でのみ視差が生まれるような奥行き」を含む画像が対象となる。
【００７５】
さらに、本実施形態の前提として、物体ＯＭの形状が変わらない微小な動き(視点移動)のみを扱うため、副カメラ撮像画ＰＩＣs上の被写体(物体ＯＭ)は、主カメラ撮像画ＰＩＣm上の被写体に対して右に一定量(ｓ画素)だけ水平にシフトした形で描画される。なお、この撮像画がシフトしている量(ｓ)は、主カメラＭＣおよび副カメラＳＣの距離ｄと、物体ＯＭまでの距離に応じて変化する。
【００７６】
第１実施例の画像符号化方法では、例えば、副カメラ撮像画ＰＩＣsの画像を右側に少しずつシフトさせながら画素値の比較を行い、新たに一致した座標のみをフレームに保存するという手法を繰り返す。
【００７７】
まず、一例として、副カメラ撮像画ＰＩＣsの画像をｓ／２画素単位でシフトさせる場合を説明する。すなわち、図６(b)<Ｉ>に示されるように、フレームＦ0では、副カメラ撮像画ＰＩＣsは、主カメラ撮像画ＰＩＣmに対してシフトされずに、そのまま同じ座標の画素同士の画素値を比較する。
ここで、同じ座標の画素同士の画素値の差が所定の閾値以下のであれば同一物体とみなしてＰ領域としてフレームＦ0に記録すると共に、画素値が埋められなかった領域をＮ領域としてフレームＦ0に記録する。
【００７８】
さらに、副カメラ撮像画ＰＩＣsの画像を右方向にｓ／２画素だけシフトさせ、再度画素値の比較を行い、Ｐ領域およびＮ領域をフレームＦ1に記録する。ここで、フレームＦ1に対しては、以前のフレームＦ0の時点でＰ領域になったことのある座標に対するＴ領域の記録も行う。
【００７９】
また、副カメラ撮像画ＰＩＣsの画像を右方向にｓ／２画素だけシフトさせると、全体としてｓ画素だけシフトさせたことになる。そして、再度画素値の比較を行い、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ2に記録する。
【００８０】
このように、ｓ／２画素だけシフトさせるということは、フレームＦ0には、主および副カメラＭＣ，ＳＣの両方のカメラから見て同じ画素値が記録され、フレームＦ1，Ｆ2には、視差部分が２つに分断されて記録されることになる。
【００８１】
次に、他の例として、副カメラ撮像画ＰＩＣsの画像を１画素単位でシフトさせる場合を説明する。図６(b)<II>に示されるように、１画素単位でシフトさせる場合、ｓ画素分だけシフトさせるには、ｓ回のシフト処理を行うため、ｓ＋１枚のフレームＦ0〜Ｆsが生成されることになり、それを格納するだけの容量のメモリが求められる。
【００８２】
すなわち、シフト単位の画素数を少なくすれば、分断が細かくなり復号化時の視点画像の再現度を向上させることができるが、フレーム数が多くなって符号化データが比較的多くなり、また、符号化／復号化における演算量が増加するトレードオフの関係にある。従って、１回の処理でシフトさせる画素数は、適用する装置や設計仕様に基づいて適切な値に設定される。
【００８３】
なお、上述のようにして得られた複数のフレームＦ0〜Ｆ2，Ｆ0〜Ｆsを重ね合わせることで主カメラＭＣの撮像画になり、フレームＦ1，Ｆ2，Ｆ1〜Ｆsをシフトさせて重ね合わせることで視点移動した画像を生成することができる。詳細は、［復号化］の項目において説明する。
【００８４】
図７および図８は、第２実施例の画像符号化方法が適用される符号化システムの処理を説明するための図である。ここで、図７は、上述した図６(a)に対応し、図８は、上述した図６(b)に対応する。
【００８５】
図７に示されるように、３個のカメラ(主カメラＭＣ，副カメラＳＣ2，ＳＣ3)は、主カメラＭＣを間に挟んで副カメラＳＣ2，ＳＣ3が両側に配置され、３個のカメラが一直線上に(副(左)ＳＣ2／主ＭＣ／副(右)ＳＣ3)配列される場合を考える。ここで、主カメラＭＣと副(左)カメラＳＣ2間の距離をｄ1とし、主カメラＭＣと副(右)カメラＳＣ3間の距離をｄ2のとし、２×ｄ1＝ｄ2の関係が成立するものとする。
【００８６】
図８に示されるように、物体ＯＭは水平移動するため、副(左)カメラＳＣ2による撮像画ＰＩＣs2において物体がｓ／２画素だけ右方向の位置に描画される場合、副(右)カメラＳＣ3の撮像画ＰＩＣs3においては、ｓ画素左側に描画されることになる。このズレを戻すように、副(左)カメラ撮像画および副(右)カメラ撮像画をシフトしながら画素値の比較を行う。
【００８７】
例えば、図８＜Ｉ＞に示されるように、副(左)カメラ撮像画を左方向にｓ／４画素だけシフトさせると共に、副(右)カメラ撮像画を右方向にｓ／２画素だけシフトさせ、画素値の比較を行って、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ1に記録する。
【００８８】
さらに、副(左)カメラ撮像画を左方向にｓ／４画素だけシフトさせると共に、副(右)カメラ撮像画を右方向にｓ／２画素だけシフトさせ、画素値の比較を行って、Ｐ領域，Ｎ領域およびＴ領域をフレームＦ2に記録する。
【００８９】
このように、第２実施例の画像符号化方法においても、上述した第１実施例(主カメラおよび副カメラの２個のカメラ)と同様に、視差を分割する形でフレームを符号化することができる。なお、画素値の比較において、全ての画像上の画素値が一致する画素のみをＰ領域とみなすようにする。
【００９０】
また、シフトさせる画素数は、ｓ／４およびｓ／２画素単位に限定されるものではなく、例えば、１画素単位の場合には、図８＜II＞に示されるように、ｓ回のシフト処理を行うため、ｓ＋１枚のフレームＦ0〜Ｆsが生成されることになる。従って、１回の処理でシフトさせる画素数は、適用する装置や設計仕様に基づいて適切な値に設定される。
【００９１】
このように、本実施形態の画像符号化方法によれば、主カメラおよび副カメラの各撮像画の画素値を比較して、値が異なる画素が連続する長さ基づいて、対応するフレームに差分画素値を保持する。すなわち、同一のフレーム上に、近い長さの視差画素値が保持される。
【００９２】
図９は、画像符号化方法が適用される符号化システムの一例を示すブロック図であり、主として、第２実施例の画像符号化方法が適用される符号化システムを示すものである。図９において、参照符号１は符号化システム(画像符号化装置)を示し、２は撮像デバイスを示す。
【００９３】
図９に示されるように、符号化システム１は、メモリ(ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory)１０，符号化部１１およびメタ情報生成部１２を含み、撮像デバイス２は、主カメラＭＣ，副カメラＳＣ2，ＳＣ3およびカメラ制御部２０を含む。
【００９４】
撮像デバイス２は、図７に対応させて３個のカメラ(主カメラＭＣ、副(左)カメラＳＣ2および副(右)カメラＳＣ3)を含むように描かれているが、カメラの数は様々に変化させることができる。
【００９５】
すなわち、第１実施例の場合には、カメラは、主カメラＭＣおよび副カメラＳＣの２個でよく、また、第３実施例のように、複数のカメラ群ＧＲ1〜ＧＲ3を設ける場合には、多数のカメラが設けられることになる。
【００９６】
カメラ制御部２０は、それら全てのカメラにおける位置情報のキャリブレーション、および、被写体の同時撮影等を制御する。なお、カメラ制御部２０は、カメラＭＣ，ＳＣ２，ＳＣ３毎に別々に設けることもできる。
【００９７】
ＳＤＲＡＭ１０は、副(右)カメラＳＣ3からの副(右)カメラ撮像画ＰＩＣs3，主カメラＭＣからの主カメラ撮像画ＰＩＣmおよび副(左)カメラＳＣ2からの副(左)カメラ撮像画ＰＩＣs2を格納(記憶)する。
【００９８】
さらに、ＳＤＲＡＭ１０は、前述した画素値の比較およびシフト処理により得られた視差別フレーム(Ｆ0〜Ｆg)，メタ情報生成部１２により生成された撮像環境メタ情報ＭＩ並びに視差補間フレームＦi0，Ｆi1を格納する。
【００９９】
ここで、撮像環境メタ情報ＭＩには、撮像デバイス２における各カメラの位置関係、並びに、実装によっては撮像条件および撮像時の環境情報(場所およびカメラの向き等)が含まれるものとする。
【０１００】
また、メタ情報生成部１２では、撮像デバイス２から受け取った撮像条件および撮像デバイス等の情報に基づいて出力用のメタ情報を生成する。さらに、受け取った情報に基づいて各撮像画の符号化におけるシフト量の算出、並びに、符号化部１１への転送といった処理も行う。また、メタ情報には、受け取った情報以外の情報を載せることもできる。
【０１０１】
なお、第４実施例が適用される符号化システムにおいて、符号化は連結している撮像デバイス単位で独立して行われるため、符号化システム１を撮像デバイス２のセット数分設けてもよい。
【０１０２】
或いは、符号化システム１を、撮像デバイス２のセット数分より少なく用意し、時分割で符号化を行うようにすることもできる。ただし、全てのカメラで同時に撮影を行うため、符号化を時分割で行うと場合でも、全カメラの撮像データは、撮像時にＳＤＲＡＭ１０に格納することが求められる。
【０１０３】
図１０は、図９に示す符号化システムにおける符号化部をより詳細に示すブロック図である。図１０に示されるように、符号化部１１は、ＳＤＲＡＭ１０に格納された撮像画(ＰＩＣm，ＰＩＣs2，ＰＩＣs3)を読み出して保持するラインバッファ１１１、並びに、視差別フレームＦ1〜Ｆgに書き込むデータを保持するラインバッファ１１２を含む。さらに、符号化部１１は、視差補間フレームＦi1，Ｆi2に書き込むデータを保持するラインバッファ１１３、および、画素値の比較を行う画素値比較部１１４を含む。
【０１０４】
ここで、撮像画の読出しは、フレーム全てをまとめて読みだすのではなく、例えば、参照画素と同一ラインのみ同時に読み出し、それをラインバッファ１１１に保持する。厳密には、同時に読み出すデータは、参照画素のデータのみが存在すればよいが、実際のシステムでは、ライン単位でＳＤＲＡＭ１０から読み出すことが多いため、ラインバッファ１１１を設けるようにしている。もちろん、ライン単位の読み出し以外にも、可能であれば画素単位／複数ライン単位／フレーム単位等の読み出しを行うこともできる。
【０１０５】
また、撮像画用のバッファ(ラインバッファ)１１１は、撮像画の枚数分だけ設けられているが、視差別フレーム用のバッファ１１２は、直前に符号化が終わったフレームと符号化中のフレームの２枚分だけでよい。さらに、視差補間フレーム用のバッファ１１３は、副カメラの個数分(図９および図１０の例では２枚分)だけでよい。
【０１０６】
図１１は、第２実施例の画像符号化プログラムが適用される実行システムの一例を示すブロック図である。前述したように、本実施例の画像符号化方法は、例えば、演算処理装置により実行される画像符号化プログラムとして実現することも可能である。
【０１０７】
図１１に示されるように、実行システム(画像符号化装置)１００は、ＳＤＲＡＭ１０，カメラ用Ｉ／Ｏ(Input/Output)部１０１，ＣＰＵ(演算処理装置)１０２，バス１０３および外部データ出力用Ｉ／Ｏ部１０４を含む。カメラ用Ｉ／Ｏ部１０１は、撮像デバイス２におけるカメラ制御部２０との間で信号を遣り取りすると共に、各カメラＭＣ，ＳＣ２，ＳＣ３からの画像データを受け取る。
【０１０８】
なお、カメラ用Ｉ／Ｏ部１０１としては、例えば、ＭＩＰＩ(Mobile Industry Processor Interface)等のインタフェースを適用することができる。また、図１１では、１つのカメラ用Ｉ／Ｏ部１０１として描いているが、各カメラおよびカメラ制御部に対してそれぞれＩ／Ｏ部を設けることもできる。
【０１０９】
ＳＤＲＡＭ１０は、例えば、撮像デバイス２におけるカメラＭＣ，ＳＣ２，ＳＣ３により撮影された撮像画を、カメラ用Ｉ／Ｏ部１０１およびバス１０３を介して受け取り、撮像画ＰＩＣ(ＰＩＣm，ＰＩＣs2，ＰＩＣs3)を格納する。
【０１１０】
さらに、ＳＤＲＡＭ１０は、図９および図１０を参照して説明したように、視差別フレームＦ(Ｆ0〜Ｆg)，撮像環境メタ情報ＭＩおよび視差補間フレームＦi(Ｆi0，Ｆi1，…)等を格納する。
【０１１１】
ＣＰＵ１０２は、例えば、カメラ制御部２０を介してカメラＭＣ，ＳＣ２，ＳＣ３による撮影を制御し、また、ＳＤＲＡＭ１００に格納された撮像画ＰＩＣに対してシフトおよび比較処理を行って視差別フレームＦを生成するといった様々な処理を行う。
【０１１２】
外部データ出力用Ｉ／Ｏ部１０４は、例えば、ＣＰＵ１０２により符号化処理された符号化データを外部へ出力する。また、ＣＰＵ１０２が実行するプログラムは、例えば、外部のメモリ(図示しない)に格納しておき、外部データ出力用Ｉ／Ｏ部１０４を介してＣＰＵ１０２に実行させることができる。
【０１１３】
なお、ＣＰＵ１０２が実行するプログラムは、例えば、実行システム１００に内蔵したフラッシュメモリ等の不揮発性メモリに格納することもできるのはいうまでもない。この外部データ出力用Ｉ／Ｏ部１０４としては、例えば、ＵＳＢ(Universal Serial Bus)やＭＩＰＩ等を適用することができる。
【０１１４】
図１２は、第２実施例の画像符号化方法が適用される画像符号化処理の一例を説明するためのフローチャートである。なお、第１実施例の画像符号化方法が適用される画像符号化処理は、以下に説明において、ｋ＝２の場合に対応する。
【０１１５】
以下の説明において、参照符号ｘは、水平インデックス、ｙは、ラインインデックス、ｋは、副カメラの総数、そして、ｎは、フレーム番号を示す。また、ｓxiは、各副カメラの撮像画におけるシフト時の水平移動単位(単位は画素数：ｉ＝１，２，３，…，ｋ)を示し、ｓyiは、各副カメラの撮像画におけるシフト時の垂直移動単位(単位は画素数：ｉ＝１，２，３，…，ｋ)を示す。なお、ｓxiおよびｓyiは、カメラ位置，撮像条件および符号化の設定等によって決まり、撮像中は変化しないものとする。
【０１１６】
さらに、Ｐi(水平座標，垂直座標)は、各カメラの座標を示す。なお、ｉはカメラ番号を示し、ｉ＝０は主カメラを示し、ｉ＝１，２，３，…，ｋは副カメラを示す。そして、ｐfn(水平座標，垂直座標)は、フレームｎの座標を示し、ｎmaxは、最大シフト量(ｎの最大値)を示す。
【０１１７】
図１２に示されるように、画像符号化処理が開始すると、ステップＳＴ１において、カメラ制御部２０にて主カメラＭＣおよび各副カメラＳＣ(ＳＣ1〜ＳＣk(ＳＣ4))を同期させるように設定および補正を行って、ステップＳＴ２に進む。
【０１１８】
ステップＳＴ２では、主カメラＭＣおよび各副カメラＳＣにおいて、視点位置以外は同じ条件となるようにして同時撮影を行う。すなわち、全てのカメラが同じ撮像条件／同じタイミング(同設定／同タイミング)で被写体を撮影して、ステップＳＴ３に進み、撮像画像および撮像環境メタ情報を受信する。
【０１１９】
そして、ステップＳＴ４において、フレーム番号ｎを、ｎ＝０に設定して、ステップＳＴ５に進み、画素値比較部１１４にてフレームｎを符号化する。ここで、ステップＳＴ５では、前フレームまでにＰ領域(陽領域)になったことのある画素は、Ｔ領域(透領域)に設定する。
【０１２０】
さらに、ステップＳＴ５では、それ以外の画素でＰ0(ｘ，ｙ)，Ｐ1(ｘ＋ｎ×Ｓx1，ｙ＋ｎ×Ｓy1)，…，Ｐk(ｘ＋ｎ×Ｓx1，ｙ＋ｎ×Ｓy1)の全画素値が一致、或いは、所定のしきい値以内の場合には、Ｐfn(ｘ，ｙ)をＰ領域としてその値を保持する。
【０１２１】
次に、ステップＳＴ６に進んで、フレームｎにＮ領域(陰領域)がなくなったかどうか、すなわち、全ての画素が一度Ｐ領域になったかどうかを判定する。ステップＳＴ６において、フレームｎにＮ領域がなくなった(Ｙｅｓ)と判定すると、ステップＳＴ１０に進み、フレームｎにＮ領域がなくなっていない(Ｎｏ：Ｎ領域が残っている)と判定すると、ステップＳＴ７に進む。
【０１２２】
ステップＳＴ７では、ｎ＝＝ｎmaxかどうかを判定し、ｎ＝＝ｎmaxが成立する、すなわち、フレームｎのシフトが最大シフト量ｎmaxになった(Ｙｅｓ)と判定すると、ステップＳＴ９に進む。ステップＳＴ９では、フレームｎに残ったＮ領域の補間を行い、そして、ステップＳＴ１０に進む。ここで、ステップＳＴ９におけるＮ領域の補間は、任意であり、知られている様々な補間手法を適用することができる。
【０１２３】
一方、ステップＳＴ７において、ｎ＝＝ｎmaxが成立しない(Ｎｏ)と判定すると、ステップＳＴ８に進んで、ｎ＝ｎ＋１としてステップＳＴ５に戻り、上述したステップＳＴ５〜ＳＴ９の処理を繰り返す。
【０１２４】
そして、ステップＳＴ１０では、画素値比較部１１４にてフレームＦ0のＮ領域座標と、そのＮ領域座標と同じ座標のＰ1〜Ｐk(各副カメラの座標：(水平座標，垂直座標))を記録する。なお、記録方法は、任意であり、様々な記録手法を適用することができる。また、ステップＳＴ１０の処理は、前述した第４実施例の画像符号化方法のみに対応する処理である。
【０１２５】
次に、符号化処理を詳述する。図１３および図１４は、第１実施例の画像符号化方法による処理手順の一例を説明するための図である。ここで、前述した図５と同様に、奥に位置する物体(被写体)から物体ＯＡ，ＯＢ，ＯＣとし、主カメラＭＣと副カメラＳＣにおいて、視点移動時の画面上での各物体の移動量の比率ＲOA〜ＲOCは、ＲOA：ＲOB：ＲOC＝０：１：２となるものとする。
【０１２６】
すなわち、手前の物体(カメラＭＣ，ＳＣに近い物体)ほど、視点移動に対して動く距離が大きくなる。また、物体ＯＡは、無限遠方と同等に遠い位置にあるため、距離比率が０となるもの(動きなし)とする。
【０１２７】
なお、本実施形態の適用は、微小視点移動対応画像を前提としており、ｄ／ｒ＝tanθ＝θが成立するのが前提となる。従って、図１３において、例えば、tanθ＝θが成立しなくなる境界線ＬＬよりも手前に位置する物体は、撮像画像に含まれない。
【０１２８】
図１４(a)は、主カメラＭＣと副カメラＳＣにより同時撮影された主カメラ撮像画ＰＩＣmおよび副カメラ撮像画ＰＩＣsを示し、図１４(b)は、生成されたフレーム(視差別フレーム)Ｆ0〜Ｆ2を示す。なお、図中の数値(-14〜0，0〜+14)は、画像をシフトする画素単位の水平座標であり、１画素(ピクセル)ごとの座標ではない。
【０１２９】
ここで、説明を簡略化するために、画素のシフト範囲内では全て同じ画素値という条件を付けるが、実際の画像ではそうはならないため、画素値の比較は画素単位(１ピクセルごと)に行うことになる。
【０１３０】
また、図１４(a)において、画像(ＰＩＣm，ＰＩＣs)のアスペクト比が縦長になっているが、紙面上の都合であり特別な意味はない。そして、説明を簡略化するために、図１４(a)における破線で囲った領域ＲＲ内のラインのみについて説明する。すなわち、第１実施例の説明では、画像のシフトを水平方向のみとするため、同一ラインのみを考えればよく、これは、領域ＲＲ内のラインについて説明すればよいことになる。
【０１３１】
図１４(b)に示されるように、まず、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
【０１３２】
この場合、−１４〜−１１と＋１２〜＋１４の背景、−１０，−９および＋９〜＋１１の物体ＯＡ、−７，＋５および＋６の物体ＯＢ、並びに、−４〜＋２の物体ＯＣが画素一致するため、Ｐ領域となる。これにより、フレームＦ0を符号化することができる。
【０１３３】
次に、フレームＦ1を生成する。すなわち、副カメラ撮像画ＰＩＣsを右方向に１だけ移動させた状態で、フレームＦ0でＰ領域にならなかった領域において画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
【０１３４】
この場合、−８の物体ＯＡ、−６および＋７の物体ＯＢ、並びに、＋３の物体ＯＣにおいて画素が一致する。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
【０１３５】
さらに、フレームＦ2を生成する。すなわち、副カメラ撮像画ＰＩＣsをさらに右方向に１だけ移動させ、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
【０１３６】
この場合、−５の物体ＯＢ、＋４の物体ＯＣにおいて画素が一致する。これにより、フレームＦ2を符号化することができ、そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
【０１３７】
図１５および図１６は、第２実施例の画像符号化方法による処理手順の一例を説明するための図であり、前述した図７と同様に、３個のカメラが一直線上に(副(左)ＳＣL／主ＭＣ／副(右)ＳＣR)配列されている。
【０１３８】
ここで、図７では、主カメラＭＣと副(左)カメラＳＣ2間の距離ｄ1と、主カメラＭＣと副(右)カメラＳＣ3間の距離をｄ2の間に、２×ｄ1＝ｄ2の関係が成立していた。これに対して、図１５および図１６では、主カメラＭＣと副(左)カメラＳＣL間の距離２ｄが、主カメラＭＣと副(右)カメラＳＣR間の距離ｄの２倍となっている。なお、空間内における物体ＯＡ〜ＯＣは、図１３と同様の配置となっている。
【０１３９】
図１６(a)は、副(左)カメラＳＣL，主カメラＭＣおよび副(右)カメラＳＣRで同時撮影された、副(左)カメラ撮像画ＰＩＣSL，主カメラ撮像画ＰＩＣmおよび副(右)カメラ撮像ＰＩＣSRを示し、図１６(b)は、生成されたフレーム(視差別フレーム)Ｆ0〜Ｆ2を示す。なお、第２実施例の説明でも、説明を簡略化するために、図１６(a)における破線で囲った領域ＲＲ内のラインのみについて説明する。
【０１４０】
図１６(b)に示されるように、まず、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
【０１４１】
この場合、−１４〜−１１と＋１２〜＋１４の背景、−１０，−９および＋１０〜＋１１の物体ＯＡ、−７，＋５および＋６の物体ＯＢ、並びに、０〜＋２の物体ＯＣが画素一致するため、Ｐ領域となる。これにより、フレームＦ0を符号化することができる。
【０１４２】
次に、フレームＦ1を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRを右方向に１だけ移動させ、副(左)カメラ撮像画ＰＩＣSLを左方向に２だけ移動させた状態で、フレームＦ0でＰ領域にならなかった領域において画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
【０１４３】
この場合、−８，＋８および＋９の物体ＯＡ、−７，−６および＋７の物体ＯＢ、並びに、０，＋１および＋３の物体ＯＣにおいて画素が一致する。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
【０１４４】
さらに、フレームＦ2を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRをさらに右方向に１だけ移動させ、副(左)カメラ撮像画ＰＩＣSLをさらに左方向に２だけ移動させ、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
【０１４５】
この場合、−５および＋５の物体ＯＢ、−４、−３および＋４の物体ＯＣにおいて画素が一致する。これにより、フレームＦ2を符号化することができ、そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
【０１４６】
図１７〜図１９は、第２実施例の画像符号化方法による処理手順の他の例を説明するための図である。上述した図１５および図１６では、直線上に配列された３つのカメラ(ＳＣL，ＭＣ，ＳＣR)による撮像画(ＰＩＣSL，ＰＩＣm，ＰＩＣSR)を処理したが、図１７〜図１９では、クロス状に配置した５個のカメラによる撮像画を処理する。
【０１４７】
すなわち、図１７に示されるように、５個のカメラは、主カメラＭＣに対して、左側に副(左)カメラＳＣL、右側に副(右)カメラＳＣR、上側に副(上)カメラＳＬU、そして、下側に副(下)カメラＳＬDを配置する。
【０１４８】
ここで、副(左)カメラＳＣL−主カメラＭＣ−副(右)カメラＳＣRは、直線上に配列され、それらの水平位置は等しいものとする。また、副(上)カメラＳＬU−主カメラＭＣ−副(下)カメラＳＬDも直線上に配列され、それらの垂直位置は等しいものとする。なお、主カメラＭＣと、各副ＳＣL，ＳＣR，ＳＬU，ＳＬD間の距離は、全て等しくｄとなっている。
【０１４９】
まず、図１９に示されるように、シフトを行わない状態で画素比較を行って、フレームＦ0を生成する。このとき、背景(ＢＫ)および物体ＯＡは、全ての画像で似ており、同じ座標に位置する。
【０１５０】
この場合、背景領域はすべて一致するためＰ領域となり、物体ＯＡは、各副画像の物体ＯＢのずれ出した領域(上下左右１ラインずつ)を差し引いた領域にて一致するためＰ領域となる。
【０１５１】
また、物体ＯＢは、物体ＯＣのぶれ分が大きいため、上下左右斜め方向に２画素ずつのみで一致するためＰ領域となり、物体ＯＣは、−６〜−２の列で、且つ、−６〜＋５の行の矩形状の領域にて一致するためＰ領域となる。これにより、フレームＦ0を符号化することができる。
【０１５２】
次に、フレームＦ1を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSRを右方向に、副(左)カメラ撮像画ＰＩＣSLを左方向に、副(上)カメラ撮像画ＰＩＣSUを上方向に、副(下)カメラ撮像画ＰＩＣSDを下方向に、それぞれ１だけ移動させる。そして、この状態で、フレームＦ0においてＰ領域にならなかった領域で画素値の比較を行う。このとき、物体ＯＢは、全ての画像で似ており、同じ座標に位置する。
【０１５３】
この場合、物体ＯＡは、物体ＯＢのズレ分が収まったため、残っていた領域が全て一致してＰ領域となり、物体ＯＢは、物体ＯＣのぶれ分が収まったため、左右２ラインおよび上下１ラインが一致するためＰ領域となる。
【０１５４】
また、物体ＯＣは、全体のずれ量が小さくなり、フレームＦ0で一致した矩形領域の外周１ラインが新たに一致するためＰ領域となる。なお、フレームＦ1において、フレームＦ0でＰ領域だった領域は、Ｔ領域に設定する。これにより、フレームＦ1を符号化することができる。
【０１５５】
さらに、フレームＦ2を生成する。すなわち、副(右)カメラ撮像画ＰＩＣSR，副(左)カメラ撮像画ＰＩＣSL，副(上)カメラ撮像画ＰＩＣSUおよび副(下)カメラ撮像画ＰＩＣSDを、それぞれ同じ方向に１だけ移動させる。そして、この状態で、フレームＦ1のＰ領域でもＴ領域でもない領域において画素値の比較を行う。このとき、物体ＯＣは、全ての画像で似ており、同じ座標に位置する。
【０１５６】
この場合、残っていた物体ＯＢの内周と物体ＯＣの外周それぞれの１ラインが一致するため、Ｐ領域となる。そして、Ｐ領域にならなかった画素がなくなるため符号化処理が完了する。
【０１５７】
以上において、第３実施例の画像符号化方法による処理手順は、上述した第１および第２実施例の画像符号化方法による１つのカメラ群(カメラセット)における処理手順を、複数のカメラ群に対して同様に適用することになる。
【０１５８】
さらに、第４実施例の画像符号化方法は、第１〜第３実施例において、例えば、フレームＦ0のＮ領域とその座標の副カメラの画素値を記録することで、復号化時に、視聴者が視点を移動させた際の背景部分の描画データ不足を緩和する。
【０１５９】
なお、第１〜第４実施例の画像符号化方法は、例えば、図９および図１０に示す画像符号化装置(符号化システム)により実施され、或いは、図１１に示す画像符号化装置(実行システム)の画像符号化プログラムとして演算処理装置(ＣＰＵ)により実行される。以上により、三次元画像情報を複数枚の二次元画像に符号化することができる。次に、画像復号化方法および画像復号化装置の実施例を詳述する。
【０１６０】
［復号化］
上述のようにして符号化された空間情報は、その空間情報を表示するための画面と視聴者の視点移動距離を測定する視点移動距離測定部を備えた再生環境において、視聴者の視点位置情報から描画する各フレームのシフト画素量を算出する。
【０１６１】
すなわち、第５実施例の画像復号化方法(画像復号化方法の一実施例)によれば、フレームＦ0から若いフレーム番号順に、算出したシフト量だけシフトして上書き描画を行う。その際、Ｔ領域(透領域)に設定されている画素は、上書き描画を行わない。
【０１６２】
ここで、視聴者による視点の移動範囲は任意であるが、本明細書では、主カメラと各副カメラとを結ぶ直線上のみ(主カメラと副カメラとの中間視点)を説明する。なお、視点の移動が直線から外れると、記録されていない画素が増えるため、視点再現度が低下することになる。
【０１６３】
また、前述した符号化の処理手順であれば、符号化時にフレームＦ0，Ｆ1，…の生成順序と同様に、フレームＦ0から順番に上書き処理を行うことになる。これにより、主カメラと副カメラ、並びに、主カメラと副カメラの間にある中間視点からの視点画像を生成することができる。
【０１６４】
このように、本実施形態に係る画像復号化方法および画像復号化装置は、例えば、ジオメトリの計算を行うことなく、「シフト＋上書き描画」という簡単な処理のみで目的とする視点画像を生成することができる。
【０１６５】
さらに、前述した第４実施例の画像符号化方法により、例えば、記録されたフレームＦ0のＮ領域(陰領域)とその座標の副カメラの画素値を使用することで、復号化時に、視聴者が視点を移動させた際の背景部分の描画データ不足を緩和することが可能となる。
【０１６６】
すなわち、第６実施例の画像復号化方法(画像復号化方法の他の実施例)によれば、上述した第５実施例の画像復号化方法を適用して復号化する際、例えば、フレームＦ0のＮ領域を、視点移動方向に対応する副カメラの画像(副カメラ撮像画)のデータで置き換える。これにより、視点移動時の画素欠落を容易に補間することが可能となる。
【０１６７】
また、フレームを描画した後、対応する副カメラの撮像画のフレーム(フレームＦ0のＮ領域以外はＰ領域(陽領域)になっているものとする)で上書き描画することで、特別な処理をすることなく、データの置き換えを行うことも可能となる。
【０１６８】
図２０は、本実施形態に係る画像復号化方法による処理の一例を説明するための図であり、例えば、図６を参照して説明した２個のカメラ(主カメラＭＣおよび副カメラＳＣ)による三次元情報を符号化した場合の復号化処理を説明するためのものである。
【０１６９】
ここで、図２０(a)に示されるように、視聴者ＶＲは、主カメラＭＣと副カメラＳＣ間の距離ｄのちょうど中間に位置している場合、すなわち、視点位置がｄ／２の複合画を生成する場合を説明する。
【０１７０】
本実施形態に係る画像復号化方法によれば、視点位置に応じたシフトを行った上で、若い番号のフレームから順に、すなわち、フレームＦ0→Ｆ1→Ｆ2→…と順番に、上書き描画を行う。なお、上述したように、視点位置は、ちょうど主カメラＭＣと副カメラＳＣの中間位置となるため、各フレームを生成するときの副カメラの画像(副カメラ撮像画)のシフト量の１／２の画素数だけシフトすればよい。
【０１７１】
具体的に、符号化フレームの総枚数をｇ枚、副カメラＳＣの水平および垂直シフト単位画素数をｓxf，ｓyfとすると、フレームａ(１≦ａ≦ｇ)のシフト量は、水平方向：(a/2)ｓxf画素、垂直方向：(a/2)ｓyf画素となる。なお、シフト方向は、主カメラＭＣから見て、視点移動方向に対して逆向きにシフトする。
【０１７２】
すなわち、このときは、図２０(b)に示されるように、視差部分が折り重なり、物体がｓ／２だけ右にずれた中間視点の画像が生成される。ここで、物体の右側がずれ出ていないが、視点拡張カメラを含めて符号化すれば右側もずれ出る。このズレ出た領域は、例えば、後に詳述する第６実施例の画像復号化方法(画像復号化方法の第２実施例)による補間で埋めることで中間視点画像を生成する。
【０１７３】
なお、シフト量は、同じ符号化フレーム内であれば、空間中の物体の奥行きに関係なく等価となるため、例えば、ジオメトリ計算を行うことなく、移動後の視点位置に応じた画像を容易に生成することが可能となる。
【０１７４】
図２１は、本実施形態の画像復号化方法が適用される復号化システムの一例を示すブロック図である。図２１において、参照符号３は復号化システム(画像復号化装置)、４は表示デバイス、そして、５は視聴者視点位置検出デバイスを示す。
【０１７５】
図２１に示されるように、復号化システム３は、メモリ(ＳＤＲＡＭ)３０および復号化部３１を含む。ＳＤＲＡＭ３０は、撮像環境メタ情報ＭＩ、符号化システム１により生成された視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…、並びに、処理結果フレームＦprを格納(記憶)する。
【０１７６】
ここで、撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…は、本実施形態の画像符号化装置により既に取得されたものであり、処理結果フレームＦprは、復号化部３１による復号化処理により生成されたものである。また、処理結果フレームＦprは、例えば、液晶表示装置等の表示デバイス４に画像表示され、視聴者ＶＲにより観察される。
【０１７７】
視聴者視点位置検出デバイス５は、例えば、表示デバイス４に取り付けられ、知られている様々な手法により視聴者ＶＲの視点位置を検出し、その視聴者の視点位置情報を復号化部３１に供給する。
【０１７８】
なお、表示デバイス４としては、例えば、テレビ放送やブルーレイディスクによる動画を表示する大型液晶ディスプレイ、或いは、スマートフォンやタブレット等の携帯機器の小型ディスプレイといった様々なものが適用され得る。また、撮像環境メタ情報ＭＩには、撮像デバイス２における各カメラの位置関係、並びに、実装によっては撮像条件および撮像時の環境情報が含まれている。
【０１７９】
復号化部３１は、例えば、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi0，Ｆi1，…の各種データ、並びに、視聴者視点位置検出デバイス５からの視聴者の視点位置情報を受け取って、復号化を行う。なお、復号化部３１は、例えば、視差の外側から順に描画する。
【０１８０】
図２２は、図２１に示す復号化システムにおける復号化部をより詳細に示すブロック図である。図２２に示されるように、復号化部３１は、復号フレーム選択部３１１，描画部３１２，復号結果フレームバッファ３１３，フレームシフト量算出部３１４および補間フレーム決定部３１５を含む。
【０１８１】
補間フレーム決定部３１５は、ＳＤＲＡＭ３０に格納された視差補間フレームＦiおよび撮像環境メタ情報ＭＩを受け取り、補間フレームインデックスを生成して復号フレーム選択部３１１に出力する。
【０１８２】
復号フレーム選択部３１１は、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩおよび視差別フレームＦ0〜Ｆg、並びに、補間フレーム決定部３１５からの補間フレームインデックスを受け取り、復号フレームを選択して描画部３１２に出力する。フレームシフト量算出部３１４は、視聴者視点位置検出デバイス５からの視聴者の視点位置情報に基づいてシフト量を算出し、描画部３１２に出力する。
【０１８３】
描画部３１２は、復号フレーム選択部３１１により選択されたフレームデータ，ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩおよびフレームシフト量算出部３１４で算出されたシフト量を受け取って、シフトおよび描画を行って復号結果フレームを生成する。
【０１８４】
なお、描画部３１２により生成された復号結果フレームは、例えば、復号結果フレームバッファ３１３を介して表示デバイス４に出力され、或いは、ＳＤＲＡＭ３０に復号結果フレームＦprとして格納される。また、ＳＤＲＡＭ３０に格納される視差補間フレームＦiおよび補間フレーム決定部３１５は、前述した第４実施例の画像符号化方法に対応したものである。
【０１８５】
図２３は、本実施形態の画像復号化プログラムが適用される実行システムの一例を示すブロック図である。本実施形態の画像復号化方法は、例えば、演算処理装置により実行される画像復号化プログラムとして実現することも可能である。
【０１８６】
図２３に示されるように、実行システム(画像復号化装置)３００は、ＳＤＲＡＭ３０，検出デバイス用Ｉ／Ｏ部３０１，表示デバイス用Ｉ／Ｏ部３０２，ＣＰＵ(演算処理装置)３０３，バス３０４および外部データ入力用Ｉ／Ｏ部３０５を含む。
【０１８７】
検出デバイス用Ｉ／Ｏ部３０１は、視聴者視点位置検出デバイスとの間で信号を遣り取りして、視聴者の視点位置の情報を取得する。表示デバイス用Ｉ／Ｏ部３０２は、表示デバイス４との間で信号を遣り取りして、処理結果フレーム(復号画像データ：視点復号画)Ｆprを表示デバイス４に表示させる。
【０１８８】
ＳＤＲＡＭ３０は、前述したように、例えば、撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆg，視差補間フレームＦiおよび処理結果フレームＦprを格納する。外部データ入力用Ｉ／Ｏ部３０５は、例えば、外部から符号化データや撮像環境メタ情報ＭＩ等を受け取り、或いは、他の様々なデータの遣り取りを行う。この外部データ入力用Ｉ／Ｏ部３０５としては、例えば、ＵＳＢやＭＩＰＩ等を適用することができる。
【０１８９】
ＣＰＵ３０３は、本実施形態の画像復号化プログラムを実行し、例えば、ＳＤＲＡＭ３０に格納された撮像環境メタ情報ＭＩ、視差別フレームＦ0〜Ｆgおよび視差補間フレームＦi、並びに、視聴者の視点位置情報を受け取って、復号化処理を行う。
【０１９０】
なお、ＣＰＵ３０３が実行するプログラムは、例えば、外部のメモリ(図示しない)に格納しておき、外部データ入力用Ｉ／Ｏ部３０５を介してＣＰＵ３０３に実行させることができる。或いは、ＣＰＵ３０３が実行するプログラムは、例えば、実行システム３００に内蔵したフラッシュメモリ等の不揮発性メモリに格納することもできる。
【０１９１】
図２４は、本実施形態の画像復号化方法における処理の一例を説明するためのフローチャートである。以下の説明において、参照符号ｘは、水平インデックス、ｙは、ラインインデックス、ｅは、視差幅、ｎは、フレームカウント(フレーム番号)を示す。
【０１９２】
また、ｇは、フレーム総枚数、ｉは、視差データインデックス、ｖは、視聴者の視点移動距離に対するフレームＦ1のシフト量の比率、そして、ｈx，ｈyは、視聴者視点位置検出デバイスで検出した視聴者の頭部の水平座標，垂直座標(視聴者視点座標)を示す。なお、ｈx＝ｈy＝０のとき、主カメラＭＣと同じ視野となる。
【０１９３】
さらに、ｏ(水平座標，垂直座標)は、復号画像データ(視点復号画，復号画)、ｊは、フレームＦ0のＮ領域補間用の副カメラインデックス、そして、ｐhj(水平座標，垂直座標)は、フレームＦ0のＮ領域補間用の副カメラ撮像画(ｊ＝１，２，…，ｋ)を示す。なお、フレームＦ0において、Ｎ領域の座標では、ｐhj(ｘ，ｙ)＝＝ｐk(ｘ，ｙ)が成立し、また、フレームＦ0において、Ｐ領域の座標では、ｐhj(ｘ，ｙ)＝＝Ｔ領域が成立する。
【０１９４】
図２４に示されるように、画像復号化処理が開始すると、ステップＳＴ２１において、再生を開始する。すなわち、再生データを入力し、視聴者視点位置検出デバイス５により、視聴者ＶＲの視点位置のトラッキングを開始する。
【０１９５】
さらに、ステップＳＴ２２に進んで、視聴者視点座標(ｈx，ｈy)を取得し、フレームシフト量算出部３１４により比率ｖを決定し、補間フレーム決定部３１５により副カメラインデックスｊを決定する。
【０１９６】
ここで、ｖの算出は、例えば、視聴者ＶＲが符号化時の主カメラ(ＭＣ)から副ａカメラ(ＳＣa)の位置まで視点移動した場合、視聴者視点位置検出デバイス５により検出した視聴者ＶＲの水平および垂直移動を符号化カメラの画素数に置き換える。すなわち、その画素数に置き換えたものをｈxa，ｈyaとすると、ｖ＝(ｓxa2＋ｓya2)1/2／(ｈxa2＋ｈya2)1/2として求めることができる。また、副カメラインデックスｊの決定方法としては、現在の視聴者ＶＲの視点位置と、主カメラ−副カメラ間を結ぶ直線との距離が最も小さい副カメラを選ぶ方法など適用可能である。
【０１９７】
次に、ステップＳＴ２３において、ｎ＝０，ｕ＝falseとしてステップＳＴ２４に進み、フレームＦnをずらして描画を行う。すなわち、ｏ(ｘ，ｙ)＝ｐfn(ｘ＋(１−ｎ×ｖ)ｈx，ｙ＋(１−ｎ×ｖ)ｈy)となる。ここで、Ｔ領域およびＮ領域は、描画せず、Ｐ領域のみ上書き描画を行う。なお、座標(ｘ−ｖ×ｈx，ｙ−ｖ×ｈy)がフレームの範囲外の場合には、描画は行わない。また、ｎが０でｕがtrueのとき、すなわち、ｎ＝０，ｕ＝trueのときは、ｐf0ではなくｐfjを参照する。
【０１９８】
さらに、ステップＳＴ２５に進んで、ｎ＝＝ｇかどうかを判定し、ｎ＝＝ｇが成立する(Ｙｅｓ)と判定すると、ステップＳＴ２６に進んで、表示デバイス４に復号画像データｏを描画してステップＳＴ２７に進む。
【０１９９】
ステップＳＴ２７では、視聴者ＶＲが視聴を終了したかどうかを判定し、終了した(Ｙｅｓ)と判定すると、画像復号化処理を終了し、終了していない(Ｎｏ)と判定すると、ステップＳＴ２８に進む。
【０２００】
ステップＳＴ２８では、視聴者ＶＲの視点位置に変化があるかどうかを判定し、変化がある(Ｙｅｓ)と判定すると、ステップＳＴ２２に戻って同様の処理を繰り返し、変化がない(Ｎｏ)と判定すると、ステップＳＴ２７に戻る。すなわち、視聴者ＶＲが視点を移動させた場合には、新たな視点位置に対応した処理を行い、視聴者ＶＲが視点を移動させない場合には、視聴を終了するまでその状態を維持する。
【０２０１】
一方、ステップＳＴ２５において、ｎ＝＝ｇが成立しない(Ｎｏ)と判定すると、ステップＳＴ２９に進み、ｎ＝＝０且つｕ＝＝falseかどうかを判定し、成立する(Ｙｅｓ)と判定すると、ステップＳＴ３０に進んで、ｕ＝＝trueとしてステップＳＴ２３に戻る。なお、ステップＳＴ２９において、ｎ＝＝０且つｕ＝＝falseが成立しない(Ｎｏ)と判定すると、ステップＳＴ３１に進んで、ｎ＝ｎ＋１としてステップＳＴ２３に戻る。
【０２０２】
ここで、ステップＳＴ２９〜ＳＴ３１は、前述した第４実施例の画像符号化方法に対応した復号化処理であり、これにより、復号化時に、視聴者ＶＲが視点を移動させた際の背景部分の描画データ不足を緩和することができるようになっている。なお、この例では、フラグを１つ用意し、フレームＦ0を描画した後に、補間画像を上書きしている。
【０２０３】
次に、復号化想定再生環境(水平視点移動時)を説明する。再生(視聴)環境は、例えば、視聴者ＶＲが一般的なテレビを視聴する環境のような、視聴者ＶＲが表示デバイス４のほぼ正面にいる環境を想定する。
【０２０４】
また、視聴者ＶＲは、適切な視聴距離(映像の視野角に表示デバイス４がほぼ一致する距離)をとると想定する。そのため、視聴者ＶＲの位置は、撮影時の焦点位置にほぼ合致することになる。
【０２０５】
さらに、再生環境として、知られている様々な手法を適用することで、視聴者ＶＲの視点位置を視聴者視点位置検出デバイス５で検出し、その検出した視点位置情報を、ほぼリアルタイムで復号化部３１に出力することができるものとする。
【０２０６】
なお、視聴者視点位置検出デバイス５は、例えば、光学カメラを利用した顔認識技術等であってもよいが、その形態は問わない。また、視聴者視点位置検出デバイス５は、表示デバイス４に内蔵されていてもよいが、単独の機器とすることも可能である。このような再生環境において、視聴者ＶＲは、首を動かす(平行移動する)といった微小な視点移動を行うものとする。
【０２０７】
図２５は、本実施形態の画像復号化方法において視点移動なし時の処理を説明するための図である。図２５に示されるように、視聴者ＶＲが視点を移動させないとき(視点移動なし時)、ｈx＝ｈy＝０が成立し、この状態でフレームＦ0，Ｆ1，Ｆ2，Ｆ3の順に上書き描画を行う。
【０２０８】
ここで、Ｔ領域(透領域)およびＮ領域(陰領域)の画素は、上書きしない。また、各フレームにおけるＰ領域(陽領域)は、上書きされずに残る。その結果、主カメラＭＣから見た視差がそのまま復元され、主カメラＭＣの撮像画ＰＩＣmと同じ画像が復元されることになる。
【０２０９】
図２６は、本実施形態の画像復号化方法において視点移動あり時の処理を説明するための図である。図２６に示されるように、視聴者ＶＲが視点を移動させるとき(視点移動あり時)、ｈx≠０若しくはｈy≠０が成立する。
【０２１０】
視聴者ＶＲが表示デバイス４の正面以外の位置にいる場合は、フレームのシフト量を変更することにより中間視点を生成する。ここで、視点移動時において、シフト量は、２つの変化が適用される。
【０２１１】
すなわち、第１のシフト量の変化は、画面全体を視聴者ＶＲの位置に適合させるために、(ｘ，ｙ)から(ｘ＋ｈx，ｙ＋ｈy)へシフトするものである。また、第２のシフト量の変化は、フレームＦ1以降のフレームに関して、視聴者ＶＲの視点位置の視差を生成するために、(ｘ，ｙ)から(ｘ−ｎ×ｖ×ｈx，ｙ−ｎ×ｖ×ｈy)へ、フレームごとに異なる量だけシフトするものである。
【０２１２】
その結果、フレームＦnでは、(ｘ，ｙ)から(ｘ＋(１−ｎ×ｖ)ｈx，ｙ＋(１−ｎ×ｖ)ｈy)へシフトして描画されることになる。すなわち、フレームＦ0では、(ｘ，ｙ)から(ｘ＋ｈx，ｙ＋ｈy)へ、フレームＦ1では、(ｘ，ｙ)から(ｘ＋(１−ｖ)ｈx，ｙ＋(１−ｖ)ｈy)へ、フレームＦ2では、(ｘ，ｙ)から(ｘ＋(１−２ｖ)ｈx，ｙ＋(１−２ｖ)ｈy)へシフトして描画される。
【０２１３】
このように、本実施形態の画像復号化方法によれば、復号化時には、視聴者の視点位置に基づいて算出した量だけフレームをシフトして上書き描画していくことで、視聴者の視点位置の画像を復元することができる。この効果は、以下に詳述する画像復号化方法の各実施例でも発揮され得るものである。
【０２１４】
図２７は、本実施形態に係る画像復号化方法による処理手順の一例を説明するための図であり、２個のカメラが水平に配置された場合の復号化の処理手順を説明するためのものである。
【０２１５】
すなわち、図２７は、主カメラＭＣと副カメラＳＣを水平方向に配列した第１実施例の符号化方法により得られた、前述した図１４(b)に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。
【０２１６】
ここで、図２７(a)は、主カメラＭＣの視点画像復号化(ｈx＝０)を示し、図２７(b)は、主カメラＭＣおよび副カメラＳＣの中間位置の視点画像復号化(ｈxがｄ／２相当)を示し、そして、図２７(c)は、副カメラＳＣの視点画像復号化(ｈxがｄ相当)を示す。
【０２１７】
なお、図２７において、移動は、水平方向のみなので、常に、ｈy＝０となる。また、説明を簡略化するために、上述した第１のシフト量の変化(視点位置に合わせた画面全体のシフト)は無視して、第２のシフト量の変化(各フレームのシフト)について説明する。
【０２１８】
まず、図２７(a)に示されるように、主カメラＭＣの視点画像復号化では、ｈx＝ｈy＝０であり、フレームＦ0のＮ領域を、フレームＦ1およびＦ2におけるＰ領域が補い、視点移動がない画(主カメラ撮像画ＰＩＣm)が復号される。
【０２１９】
ここで、視点移動がない場合は、視差部分の移動による画素抜けは発生しないため、前述した第４実施例の画像符号化方法に対応する第６実施例の画像復号化方法の有無で結果は変わらない。
【０２２０】
次に、図２７(b)に示されるように、主カメラＭＣおよび副カメラＳＣの中間位置の視点画像復号化(ｈxがｄ／２相当)では、ちょうど中間視点なので、符号化時のシフト量の半分だけ視点移動方向の＋側とは逆の−側にシフトさせればよい。
【０２２１】
また、符号化時の単位シフト量が『１』なので、それに対応させて、フレームＦ1では、−１／２＝−０．５だけシフトさせ、また、フレームＦ2では、−２／２＝−１だけシフトさせる。
【０２２２】
ここで、フレームＦ1，Ｆ2のシフトにより、画素データが存在しない領域ができるが、このような領域に対しては、前述した第６実施例の画像復号化方法(視点移動時の画素欠落を補間するもの)を適用することにより、補間することが可能となる。結果として、例えば、物体ＯＢが０．５だけマイナス方向に移動し、物体ＯＣが１だけマイナス方向に移動した復号画(復号画像データ：処理結果フレームＦpr)が得られる。
【０２２３】
さらに、図２７(c)に示されるように、副カメラＳＣの視点画像復号化(ｈxがｄ相当)では、副カメラＳＣの位置と同じであるため、符号化時のシフト量と同量のシフトをマイナス方向に行えばよい。
【０２２４】
すなわち、フレームＦ1では、−１だけシフトさせ、また、フレームＦ2では、−２だけシフトさせる。結果として、物体ＯＢが１だけマイナス方向に移動し、物体ＯＣが２だけマイナス方向に移動した復号画像データが得られる。
【０２２５】
図２８および図２９は、本実施形態に係る画像復号化方法による処理手順の他の例を説明するための図であり、３個のカメラが水平に配置された場合の復号化の処理手順を説明するためのものである。
【０２２６】
すなわち、図２８および図２９は、３個のカメラを水平方向の一直線上に(副(左)ＳＣL／主ＭＣ／副(右)ＳＣR)配列した第２実施例の符号化方法により得られた、図１６(b)に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。まず、図２８を参照して、視点移動がない場合と視点が左方向に移動した場合を説明し、その後、図２９を参照して、視点が右方向に移動した場合を説明する。
【０２２７】
ここで、図２８(a)は、主カメラＭＣの視点画像復号化(ｈx＝０)を示し、図２８(b)は、主カメラＭＣおよび副(左)カメラＳＣLの中間位置の視点画像復号化(ｈxが−ｄ相当)を示す。さらに、図２８(c)は、副(左)カメラＳＣLの視点画像復号化(ｈxが−２ｄ相当)を示す。
【０２２８】
なお、視点移動がない場合と視点が左方向に移動した場合、視点移動時の画素欠落の補間処理(第６実施例の画像復号化方法)は、視点が、主カメラＭＣと副(左)カメラＳＣLを結ぶ線分上になるため、副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いる。
【０２２９】
また、図２９(a)は、主カメラＭＣおよび副(右)カメラＳＣRの中間位置の視点画像復号化(ｈxが−ｄ／２相当)を示し、図２９(b)は、副(右)カメラＳＣRの視点画像復号化(ｈxが−ｄ相当)を示す。
【０２３０】
なお、視点が右方向に移動した場合、視点移動時の画素欠落の補間処理は、視点が、主カメラＭＣと副(右)カメラＳＣRを結ぶ線分上になるため、副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いる。
【０２３１】
さらに、図２８および図２９においても、移動は、水平方向のみなので、常に、ｈy＝０となる。また、説明を簡略化するために、上述した第１のシフト量の変化(視点位置に合わせた画面全体のシフト)は無視して、第２のシフト量の変化(各フレームのシフト)について説明する。
【０２３２】
まず、図２８(a)に示されるように、主カメラＭＣの視点画像復号化では、ｈx＝ｈy＝０であり、フレームＦ0のＮ領域を、フレームＦ1およびＦ2におけるＰ領域が補い、視点移動がない画像(主カメラ撮像画ＰＩＣm)が復号される。
【０２３３】
ここで、視点移動がない場合は、視差部分の移動による画素抜けは発生しないため、前述した第４実施例の画像符号化方法に対応する第６実施例の画像復号化方法の有無で結果は変わらない。
【０２３４】
また、図２８(b)に示されるように、主カメラＭＣおよび副(左)カメラＳＣLの中間位置の視点画像復号化(ｈxが−ｄ相当)では、副(左)カメラＳＣLの画像はシフト単位『２』であり、視点移動距離は、副(左)カメラＳＣLまでの半分の距離となる。
【０２３５】
従って、フレームＦ1では、(２×１)／２＝１だけシフトし、フレームＦ2では、(２×２)／２＝２だけシフトする。結果として、副(左)カメラＳＣLで補間した場合、例えば、物体ＯＢが１だけプラス方向に移動し、物体ＯＣが２だけプラス方向に移動した復号画像データが得られる。なお、補間に副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いると、画像(復号画像データ)が破綻してしまう。
【０２３６】
さらに、図２８(c)に示されるように、副(左)カメラＳＣLの視点画像復号化(ｈxが−２ｄ相当)では、視点移動距離が中間フレームの２倍の距離となるため、フレームＦ1では、(２×２)／２＝２だけシフトし、フレームＦ2では、(２×４)／２＝４だけシフトする。
【０２３７】
結果として、副(左)カメラＳＣLで補間すれば、例えば、物体ＯＢが２だけプラス方向に移動し、物体ＯＣが４だけプラス方向に移動した復号画像データが得られる。なお、この場合も、補間に副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いると、画像が破綻する。
【０２３８】
次に、視点が右方向に移動した場合を説明する。この場合、視点は、主カメラＭＣと副(右)カメラＳＣRを結ぶ線分上になるため、副(右)カメラＳＣRによる撮像画ＰＩＣSRを用いる。
【０２３９】
ここで、前述した図１５に示されるように、主カメラＭＣと副(左)カメラＳＣLの距離は２ｄであるため、視点は、−２ｄまで移動可能であったが、主カメラＭＣと副(右)カメラＳＣRの距離はｄであるため、視点の移動距離範囲は、０〜ｄとなる。なお、視点を０〜ｄの範囲を逸脱して移動させた場合でも、復号画像データ(画像)を生成することは可能であるが、破綻する領域が大きくなってしまう。
【０２４０】
図２９(a)に示されるように、主カメラＭＣおよび副(右)カメラＳＣRの中間位置の視点画像復号化(ｈxが−ｄ／２相当)では、副(右)カメラの画像はシフト単位『１』であり、視点移動距離は、副(右)カメラＳＣRまでの半分の距離となる。
【０２４１】
従って、フレームＦ1では、(−１×１)／２＝−０．５だけシフトし、フレームＦ2では、(−１×２)／２＝−１だけシフトする。結果として、副(右)カメラＳＣRで補間した場合、例えば、物体ＯＢが０．５だけマイナス方向に移動し、物体ＯＣが１だけマイナス方向に移動した復号画像データが得られる。なお、補間に副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いると、画像が破綻してしまう。
【０２４２】
そして、図２９(b)に示されるように、副(右)カメラＳＣRの視点画像復号化(ｈxが−ｄ相当)では、視点移動距離が中間フレームの２倍の距離となるため、フレームＦ1では、−１×１＝−１だけシフトし、フレームＦ2では、−１×２＝−２だけシフトする。
【０２４３】
結果として、副(右)カメラＳＣRで補間すれば、例えば、物体ＯＢが１だけマイナス方向に移動し、物体ＯＣが２だけマイナス方向に移動した復号画像データが得られる。なお、この場合も、補間に副(左)カメラＳＣLによる撮像画ＰＩＣSLを用いると、画像が破綻する。
【０２４４】
図３０〜図３２は、本実施形態に係る画像復号化方法による処理手順のさらに他の例を説明するための図であり、５個のカメラがクロス状に配置された場合の復号化の処理手順を説明するためのものである。
【０２４５】
すなわち、図３０〜図３２は、主カメラＭＣに対して、左側に副(左)カメラＳＣL、右側に副(右)カメラＳＣR、上側に副(上)カメラＳＬU、そして、下側に副(下)カメラＳＬDを配置した第２実施例の符号化方法により得られデータを復号化するものである。換言すると、図３０〜図３２は、前述した図１９に示されるフレームＦ0〜Ｆ2を、復号化処理する手順を説明するものである。
【０２４６】
ここで、図３０は、視点移動がないとき(ｈx＝ｈy＝０)の復号画(視点復号画，復号画像データ)を示し、図３１は、視点移動が主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ／２相当)の復号画を示す。さらに、図３２は、視点移動が主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ相当)の復号画を示す。
【０２４７】
まず、図３０に示されるように、視点移動がないとき(ｈx＝ｈy＝０)、フレームＦ0，Ｆ1，Ｆ2の順に上書き描画を行う。これにより、基本的には、図２７〜図２９を参照して説明したのと同様に、主カメラＭＣによる画像(主カメラ撮像画ＰＩＣm)を復号(復元)することができる。
【０２４８】
次に、図３１に示されるように、視点移動が、主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ／２相当)、視点は主カメラＭＣと副(上)カメラＳＣUを結ぶ線分上になるため、補間には副(上)カメラＳＣUによる撮像画ＰＩＣSUを用いる。ここで、シフト単位量が『１』で、視点移動がその半分の位置なので、フレームＦ1は、下方向に０．５だけシフトし、フレームＦ2は、下方向に１だけシフトする。
【０２４９】
そして、副(上)カメラＳＣUによる撮像画ＰＩＣSUを補間に用いると、物体ＯＢが０．５だけ下方向に移動し、物体ＯＣが１だけ下方向に移動した復号画像データが得られる。なお、補間に副(上)カメラＳＣUによる撮像画ＰＩＣSU以外を用いると、画像が破綻する。
【０２５０】
さらに、図３２に示されるように、視点移動が、主カメラＭＣおよび副(上)カメラＳＣUの中間位置のとき(ｈyが−ｄ相当)、視点は中間視点の倍になるため、フレームＦ1は、下方向に１だけシフトし、フレームＦ2は、下方向に２だけシフトする。
【０２５１】
そして、副(上)カメラＳＣUによる撮像画ＰＩＣSUを補間に用いると、物体ＯＢが１だけ下方向に移動し、物体ＯＣが２だけ下方向に移動した復号画像データが得られる。なお、この場合も、補間に副(上)カメラＳＣUによる撮像画ＰＩＣSU以外を用いると、画像が破綻する。
【０２５２】
このように、補間を行う場合には、視点移動に対応するに副カメラによる撮像画を使用し、それ以外の副カメラによる撮像画を使用して補間を行うと、画像が破綻することになる。
【０２５３】
なお、本実施形態の画像復号化方法において、前述した第３実施例の画像符号化方法として説明した、主カメラおよび副カメラによるカメラセット(カメラ群)を複数組設けた場合には、それぞれのカメラ群に関して、上述した復号化処理を行うことになる。
【０２５４】
以上、詳述したように、本実施例に係る画像符号化方法および画像符号化装置によれば、演算量およびデータ量を低減することができる。
【０２５５】
これにより、微小視点移動対応画像の符号化(生成／記録)および復号化(再生)を、例えば、演算処理能力や記憶容量の限られた組み込み機器などでも容易に実現することが可能となる。さらに、本実施例に係る画像符号化方法および画像復号化方法は、演算処理装置により実行する画像符号化プログラムおよび画像復号化プログラムとして実現することも可能である。
【０２５６】
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
【０２５７】
以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
画像符号化方法であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化方法。
【０２５８】
（付記２）
前記第２フレームに対する記録において、
前記第１フレームへ前記陽領域と記録された座標を透領域として記録する、
ことを特徴とする付記１に記載の画像符号化方法。
【０２５９】
（付記３）
前記第１フレームへの記録において、
前記陰領域と記録された座標の前記第２画像の画素値を記録する、
ことを特徴とする付記１または付記２に記載の画像符号化方法。
【０２６０】
（付記４）
前記第２フレーム内の前記陰領域の有無を判定し、前記陰領域が有ると判定した場合に、前記第２画像を前記方向に前記第１シフト量だけ更に画素シフトし、
前記第１画像および前記更に画像シフトした後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第３差分値を求め、前記第３差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１および第２フレームとは異なる第３フレームに記録する、
ことを特徴とする付記１乃至付記３のいずれか１項に記載の画像符号化方法。
【０２６１】
（付記５）
前記副カメラは、複数設けられ、
それぞれの前記副カメラは、前記主カメラを挟まない限り、同一直線上に２台以上存在しないように配置される、
ことを特徴とする付記１乃至付記４のいずれか１項に記載の画像符号化方法。
【０２６２】
（付記６）
前記副カメラは、前記主カメラを挟んで水平方向に直線上に配列された２つの副カメラを含む、
ことを特徴とする付記５に記載の画像符号化方法。
【０２６３】
（付記７）
前記副カメラを複数有する、
ことを特徴とする付記１乃至付記６のいずれか１項に記載の画像符号化方法。
【０２６４】
（付記８）
複数の前記副カメラは、
同一平面内で隣接する第１カメラ群および第２カメラ群を含み、
前記第１カメラ群における前記主カメラは、前記第２カメラ群における前記副カメラと兼用され、若しくは、
前記第１カメラ群における前記副カメラは、前記第２カメラ群における前記副カメラと兼用される、
ことを特徴とする付記７に記載の画像符号化方法。
【０２６５】
（付記９）
画像符号化装置であって、
符号化システムが、
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、
ことを特徴とする画像符号化装置。
【０２６６】
（付記１０）
画像符号化プログラムであって、
演算処理装置に
主カメラにより撮影された第１画像と、前記主カメラと同一平面内に設けられた副カメラにより前記第１画像と同時に撮影された第２画像とを受け取り、
前記第１画像および前記第２画像それぞれの第１座標の画素の画素値を比較して第１差分値を求め、
前記第１差分値が第１閾値以下の場合に前記第１座標を陽領域と判定し、前記第１閾値よりも大きい場合に前記座標を陰領域と判定して第１フレームに記録し、
前記第２画像を、前記主カメラと前記副カメラの位置関係に基づいた方向に第１シフト量だけ画素シフトし、
前記第１画像および前記画素シフト後の前記第２画像それぞれの前記第１座標の画素の画素値を比較して第２差分値を求め、前記第２差分値に基づいて前記第１座標が前記陽領域或いは前記陰領域かを判定して前記第１フレームとは異なる第２フレームに記録する、のを実行させる、
ことを特徴とする画像符号化プログラム。
【０２６７】
（付記１１）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する画像復号化方法であって、
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、
ことを特徴とする画像復号化方法。
【０２６８】
（付記１２）
前記複数のフレームは、
同時撮影された前記主カメラ撮像画および前記副カメラ撮像画を受け取り、前記主カメラ撮像画および前記副カメラ撮像画における同じ座標の画素同士の画素値を比較し、前記同じ座標の画素同士の画素値の差が所定の閾値以下であれば同一物体とみなして陽領域として記録すると共に、画素値が埋められなかった領域を陰領域として記録する第１フレームと、
前記副カメラ撮像画を、前記主カメラと前記副カメラの位置関係に基づいた方向とシフト量だけ画素シフトし、前記主カメラ撮像画および前記副カメラ撮像画における同じ座標の画素同士の画素値を再度比較して、前記陽領域および前記陰領域を記録する前記第１フレームとは異なる第２フレームと、を含む、
ことを特徴とする付記１１に記載の画像復号化方法。
【０２６９】
（付記１３）
前記陰領域に設定されている画素は、上書き描画を行わないで、前記視点画像を復号する、
ことを特徴とする付記１２に記載の画像復号化方法。
【０２７０】
（付記１４）
前記第２フレームに対する記録は、
以前のフレームの時点で前記陽領域になったことのある座標に対する透領域の記録を含む、
ことを特徴とする付記１２または付記１３に記載の画像復号化方法。
【０２７１】
（付記１５）
前記透領域に設定されている画素は、上書き描画を行わないで、前記視点画像を復号する、
ことを特徴とする付記１４に記載の画像復号化方法。
【０２７２】
（付記１６）
前記第２フレームに対する記録は、
前記第１フレームにおける前記陰領域とその座標の副カメラによる副カメラ撮像画の画素値の記録を含み、
前記第２フレームに記録された前記副カメラ撮像画の画素値により、前記視点移動させた際の背景部分の描画データ不足を緩和する、
ことを特徴とする付記１３乃至付記１５のいずれか１項に記載の画像復号化方法。
【０２７３】
（付記１７）
前記視点移動させた際の背景部分の描画データ不足の緩和に使用する、前記副カメラ撮像画は、前記視点移動に基づいて規定される、
ことを特徴とする付記１６に記載の画像復号化方法。
【０２７４】
（付記１８）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する復号化部を含む画像復号化装置であって、
前記復号化部は、
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、
ことを特徴とする画像復号化装置。
【０２７５】
（付記１９）
前記視点位置情報は、表示デバイスに取り付けられ、或いは、前記表示デバイスの近傍に設けられた視聴者視点位置検出デバイスの出力である、
ことを特徴とする付記１８に記載の画像復号化装置。
【０２７６】
（付記２０）
同一平面内に設けられた少なくとも１つの主カメラからの主カメラ撮像画、および、前記主カメラに対して設けられた少なくとも１つの副カメラからの副カメラ撮像画に基づいた三次元画像情報を複数枚の二次元画像に符号化された複数のフレームにより、視点位置情報に基づいて、その視点位置に対応した復号画を生成する画像復号化プログラムであって、
演算処理装置に
前記符号化された複数のフレームにおいて、符号化時の生成順序と同じ順番で、算出したシフト量だけシフトして上書き描画を行って、前記視点位置に対応した視点画像を復号する、のを実行させる、
ことを特徴とする画像復号化プログラム。
【符号の説明】
【０２７７】
１    符号化システム(画像符号化装置)
２    撮像デバイス
３    復号化システム(画像復号化装置)
４    表示デバイス
５    視聴者視点位置検出デバイス
１０，３０    メモリ(ＳＤＲＡＭ)
１１    符号化部
１２    メタ情報生成部
２０    カメラ制御部
３１    復号化部
１００    実行システム(画像符号化装置)
１０１    カメラ用Ｉ／Ｏ部
１０２，３０３    ＣＰＵ(演算処理装置)
１０３，３０４    バス
１０４，３０５    外部データ出力用Ｉ／Ｏ部
１１１，１１２，１１３    ラインバッファ
１１４    画素値比較部
３００    実行システム(画像復号化装置)
３０１    検出デバイス用Ｉ／Ｏ部
３０２    表示デバイス用Ｉ／Ｏ部
３１１    復号フレーム選択部
３１２    描画部
３１３    復号結果フレームバッファ
３１４    フレームシフト量算出部
３１５    補間フレーム決定部
Ｆ0〜Ｆ3，Ｆ0〜Ｆg，Ｆn    フレーム
Ｆi，Ｆi0，Ｆi2    視差補間フレーム
Ｆpr    処理結果フレーム(復号画像データ)
ＧＲ1〜ＧＲ3    カメラ群
ＭＣ，ＭＣ1，ＭＣ2，ＭＣ3    主カメラ
ＯＡ，ＯＢ，ＯＣ    物体(被写体)
ＰＩＣm    主カメラ撮像画
ＰＩＣs，ＰＩＣSL，ＰＩＣSR，ＰＩＣSU，ＰＩＣSD    副カメラ撮像画
ＳＣ，ＳＣ1〜ＳＣ4，ＳＣ11，ＳＣ21〜ＳＣ24，ＳＣ31〜ＳＣ34    副カメラ
ＶＲ    視聴者
【図１】
0006365153.tif 000002
【図２】
0006365153.tif 000003
【図３】
0006365153.tif 000004
【図４】
0006365153.tif 000005
【図５】
0006365153.tif 000006
【図６】
0006365153.tif 000007
【図７】
0006365153.tif 000008
【図８】
0006365153.tif 000009
【図９】
0006365153.tif 000010
【図１０】
0006365153.tif 000011
【図１１】
0006365153.tif 000012
【図１２】
0006365153.tif 000013
【図１３】
0006365153.tif 000014
【図１４】
0006365153.tif 000015
【図１５】
0006365153.tif 000016
【図１６】
0006365153.tif 000017
【図１７】
0006365153.tif 000018
【図１８】
0006365153.tif 000019
【図１９】
0006365153.tif 000020
【図２０】
0006365153.tif 000021
【図２１】
0006365153.tif 000022
【図２２】
0006365153.tif 000023
【図２３】
0006365153.tif 000024
【図２４】
0006365153.tif 000025
【図２５】
0006365153.tif 000026
【図２６】
0006365153.tif 000027
【図２７】
0006365153.tif 000028
【図２８】
0006365153.tif 000029
【図２９】
0006365153.tif 000030
【図３０】
0006365153.tif 000031
【図３１】
0006365153.tif 000032
【図３２】
0006365153.tif 000033