(57)【要約】  【課題】被写体の表面が隣接する２個の局所領域の境界線上にある場合であっても、生成された自由視点画像に網目状の雑音が生じないようにする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法を提供する。  【解決手段】被写体空間を局所領域に分割する際に、局所領域４ａ、４ｂ、４ｃ、・・・同士の間隔を空け、被写体の表面が局所領域の境界上に生じないようにする。他の方法として、被写体空間を、隙間無く密着させて配置された局所領域に分割する。局所領域同士の位置関係から、各局所領域におけるオクルージョン部分を把握し、オクルージョンと判定された部分の画素情報を消去する。ただし、オクルージョン領域の画像を単一の局所領域で生成できるか判定し、生成できる場合はこれらの画素情報を消去せず、その上で、局所領域に射影された画素情報を内挿補間する。  【選択図】図５
2008250477.tif 000002
【特許請求の範囲】
【請求項１】
被写体空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して補間を行い自由視点映像を生成する局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法であって、
被写体空間を複数の局所領域に分割する際に、各局所領域が重なりを持たぬように配置し、それぞれの局所領域で自由視点画像を生成し、全体空間で合成することを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項２】
請求項１に記載のオクルージョン処理方法において、
実撮影画像上のすべての画素が、いずれか１個以上の局所領域に射影されるように、局所領域を配置することを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項３】
請求項１に記載のオクルージョン処理方法において、
被写体の存在位置に合わせて、各局所領域を配置することを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項４】
被写体空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して補間を行い自由視点映像を生成する局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法であって、
被写体空間を複数の局所領域に分割し、それぞれの局所領域で自由視点からの画像を補間生成し、それらを合成する際に、オクルージョン領域の画像を単一の局所領域では生成できない場合のみ、別の局所領域の画像で上書きすることを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項５】
請求項４に記載のオクルージョン処理方法において、
仮想視点から見て、オクルージョンと判定された部分の面積の内で、他の部分の光線情報を用いて補間できている部分の面積の占める割合が、予め定めておいた閾値よりも大きい場合には、その局所領域に隣接する局所領域による上書き描画を行わないことを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項６】
請求項４に記載のオクルージョン処理方法において、
被写体空間内の物体と空間のうち、物体が占める面積の大きい局所領域から優先的に画像を補間生成することを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【請求項７】
請求項１ないし６のいずれかに記載のオクルージョン処理方法において、
各局所領域で光線空間を生成し、その上で自由視点画像を補間生成することを特徴とする局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法に関し、特に、被写体の表面が隣接する２個の局所領域の境界線上にある場合に、生成された自由視点映像の中に網目状の雑音が生じるのを防止するオクルージョン処理方法に関する。
【背景技術】
【０００２】
近年、画像処理技術や画像通信技術の発達に伴い、次世代の画像コンテンツとして、３次元自由視点画像が注目されている。そこで、被写体の周囲にビデオカメラを配置して撮影した多視点画像を用いて全周囲自由視点画像を生成する技術が、研究、開発されている。
【０００３】
この場合、任意の視点に対応するように、被写体の周りにカメラを密に配置すると、カメラの台数が多くなり、高コストとなり、現実的ではない。そこで、カメラを、被写体の周りに疎に配置することが行われるが、このようにすると、ビデオカメラ間の画像が得られなくなる。
【０００４】
この不具合を解決するために、従来、カメラによって撮影されない視点からの画像を、イメージ・ベースド・レンダリングを用い、画像間の画像を補間することによって生成する方法が提案されている。
【０００５】
多視点画像間の補間を行うイメージ・ベースド・レンダリングの代表的な方法として、「光線空間方式」があり、該光線空間方式を用いた補間画像の生成を説明する技術文献として、下記の特許文献１、２に示されているものがある。
【０００６】
しかしながら、被写体が被写体空間中に広範囲に分布していて、奥行きの違いによる視差（奥行き視差）が大きい場合には、前記従来技術によって奥行き視差を補正しようとすると、光線情報の補間処理が煩雑になり、実用的ではないという課題があった。
【０００７】
そこで、本発明者等は、被写体空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して個別にイメージ・ベースド・レンダリングの手法を適用して補間を行う発明をし、特許出願した（特願２００６−１８５６４８号）。この出願発明によれば、被写体が被写体空間中の広範囲に分布していて奥行きの違いによる視差が大きい場合であっても、局所領域内の物体は、その局所領域の中心軸を通る平面で近似できるので光線情報の補間処理が容易になり、現実に近い被写体空間上の任意の視点の画像を生成することができるようになる。
【０００８】
例えば、図８(a)のような実視点画像があった場合、これを多数の局所領域に分割する。そして、同図（b）のような１つの局所領域の人物に着目する。いま、この人物が、周囲に疎に配置された複数のビデオカメラで撮影されているとすると、それぞれのカメラで撮影された同図(c)のような画像が得られる。これらの画像を、例えばイメージ・ベースド・レンダリングを用いて処理すると、人物の例えば腰のラインの光線情報は同図(d)のようになり、該光線情報からなる光線空間を内挿補間すると同図(e)のように螺旋状になる。図示はされていないが、人物の頭から足先までの各部位の光線情報も前記図(d)のように得られ、該各部位の光線情報からなる光線空間を内挿補間すると同図(f)のようになる。この図(f)は、人物の例えば頭、肩、腿、足などの光線情報からなる光線空間を内挿補間した図である。そこで、任意の角度から見た画像を得るために、図(e)、(f)から該角度の光線情報を切り出して合成すると同図(g)の人物全体の任意視点画像が得られる。これを元の画像位置に戻せば同図(h)の仮想視点画像を生成することができる。
【特許文献１】特開２００４−２５８７７５号公報
【特許文献２】特開平１０−１１１９５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記の出願発明では、各局所領域の自由視点画像を統合する処理に際して、ユーザが選択した仮想視点の位置から見て遠い所にある局所領域から先に描画し、近い局所領域を後から上書き描画している。このため、図９に示されているように、カメラ位置から見て奥の局所領域６０から描画された被写体５０に、手前の局所領域６１による被写体５１のオクルージョン（occlusion；すなわち、隠蔽）が生ずる。このような通常のオクルージョンは、局所領域間のオクルージョン関係を求め、多視点画像毎にオクルージョン部分を求め、オクルージョン部分の光線情報を消去して光線情報の内挿補間をすることで、オクルージョン部分を正常な画像に復元できるので格別の問題は生じない。
【００１０】
しかしながら、例えば図１０に示されているように、被写体５２の表面５３が隣接する２個の局所領域６２，６３の境界線上にある場合には、仮想視点から見て奥の局所領域６２から描画された被写体表面が、手前の局所領域６３によるオクルージョンとみなされ、手前の局所領域６３から描画された被写体表面で上書きされてしまう。つまり、被写体５２が自分の被写体の一部５３で隠されているという誤判断が生ずる。そうすると、それぞれの局所領域６２，６３から描画された被写体表面の間には、局所領域内の物体が平面で近似されている都合上、位置のズレがあるため、奥の局所領域６２から描画された範囲よりも手前の局所領域６３から描画された範囲の方が狭い場合、生成された自由視点映像の中に網目状の雑音が生じるという課題があった。
【００１１】
本発明は、前記した従来技術の課題を解消するためになされたものであり、その目的は、被写体の表面が隣接する２個の局所領域の境界線上にある場合であっても、生成された自由視点画像に網目状の雑音が生じないようにする、または該雑音を軽減する局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法を提供することにある。
【課題を解決するための手段】
【００１２】
前記した目的を達成するために、本発明は、被写体空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して補間を行い自由視点映像を生成する局所領域分割型自由視点映像生成方式におけるオクルージョン処理方法であって、被写体空間を複数の局所領域に分割する際に、各局所領域が重なりを持たぬように配置し、それぞれの局所領域で自由視点画像を生成し、全体空間で合成するようにした点に特徴がある。
【００１３】
また、被写体空間を複数の局所領域に分割し、それぞれの局所領域で自由視点からの画像を補間生成し、それらを合成する際に、オクルージョン領域の画像を単一の局所領域では生成できない場合のみ、別の局所領域の画像で上書きするようにした点に他の特徴がある。
【発明の効果】
【００１４】
本発明によれば、生成された自由視点映像の中に網目状の雑音が生じることが防がれ、高精度な自由視点映像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の前提となる局所領域分割による自由視点画像の生成方法について、その概略を説明する。なお、詳細は、前記出願発明（特願２００６−１８５６４８号）に説明されている。
【００１６】
図１は、前記局所領域分割による自由視点画像の生成方法で使用する被写体とビデオカメラ（以下、単にカメラと呼ぶ）との位置関係を示す概念図である。
【００１７】
図示されているように、撮影対象２である被写体を取り囲む被写体空間１の外周（例えば、円周、楕円、四角形などの多角形の外周上）に、光軸が水平な複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎが疎の間隔で配置されている。この被写体２には、無視できない奥行き視差があるものとする。本発明は、該カメラ３ａ、３ｂ、３ｃ、・・・、３ｎで撮影した画像を合成して、カメラの置かれていない仮想視点（例えば、３Ｘ）から見た自由視点画像を得ようとするものである。
【００１８】
次に、図２のブロック図を参照して、本発明の一実施形態の自由視点画像生成方法の概略を説明する。
【００１９】
ステップＳ１では、前記複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎで多視点映像を撮影する。ステップＳ２では、該多視点画像からボクセルデータを取得する。なお、ボクセルは、３次元の空間を格子状に区切った１つ１つの区画を意味する。ステップＳ３では、被写体空間を局所領域に分割する。例えば、図３，図４に示されているように、撮影した舞台の全体を余すことなく覆うように、円筒状の局所領域４ａ、４ｂ、４ｃ、・・・、４ｎ、５に分割する。ステップＳ４では、前記局所領域間のオクルージョン関係を求める。次いで、ステップＳ５では、多視点画像毎にオクルージョン部分を求める。
【００２０】
一方、ステップＳ６では、各局所領域において、光線空間に光線情報が格納される（図８(c)、(d)参照）。ステップＳ７では、ステップＳ５で求められたオクルージョン部分の光線情報を消去する。ステップＳ８では、光線情報の内挿補間および光線空間の充填を行う（図８(e)、(f）参照）。次いで、ステップＳ９に進み、光線空間から仮想視点の光線情報を切り出し、局所的な自由視点画像を生成する（図８(g)参照）。なお、前記仮想視点の位置情報は、ユーザによって与えられる。
【００２１】
ステップＳ１０では、仮想視点から見て奥の局所領域の自由視点画像を手前の局所領域の自由視点画像で上書きする。ステップＳ１１では、全体の自由視点画像を生成する。ステップＳ１２では、前記の処理により得られた自由視点画像を出力する。なお、前記ステップＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ１０，Ｓ１１は、フレーム毎に繰り返し行われる処理であり、前記ステップＳ６，Ｓ７，Ｓ８，Ｓ９は局所領域毎に、光線空間を構築するために行われる処理である。また、細い線は、データのやり取りを表している。
【００２２】
上記ステップＳ８〜Ｓ１１の処理は、ステップＳ７でオクルージョン部分の光線情報を消去した光線情報についてなされているので、図９のような、カメラ位置から見て手前の局所領域６１による被写体５１により、奥の局所領域６０から描画された被写体５０が隠されるという、通常のオクルージョンは解消されるが、図１０のように、被写体５２の表面５３が隣接する２個の局所領域６２，６３の境界線上にあり、仮想視点から見て奥の局所領域６２から描画された被写体表面が、手前の局所領域６３によるオクルージョンとみなされる場合、つまり、被写体５２が自分の被写体の一部５３で隠されているという誤判断が生じた場合には、生成された自由視点映像の中に色の違う網目状の雑音が生じるという問題が生じる。
【００２３】
そこで、該オクルージョンの問題に対処する第１の実施形態を以下に説明する。
【００２４】
本実施形態では、前記ステップＳ３の局所領域への分割の処理（図２参照）で、被写体空間を局所領域に分割する際に、図５に示すように、局所領域４ａ、４ｂ、４ｃ、・・・同士の間隔を空け、被写体の表面が局所領域の境界上に生じないようにする。ただし、撮影視点および仮想視点のいずれ（例えば、矢視のａ、ｂ等）から見ても、撮影画像または仮想視点から見た場合の画像（仮想画像）の全ての画素がいずれか１個以上の局所領域に射影されるように、局所領域の間隔と大きさを調整する。例えば、円筒形の局所領域をハニカム状に配置する場合は、円筒の半径が隣接する円筒の中心軸間の距離Ｒの√３／４（≒0.433）倍よりも大きく、１／２倍よりも小さければよい。
【００２５】
上記のように局所領域を分割すれば、被写体５２の表面は、図６に示すように、１つの局所領域４ｂ内に収まり、他の局所領域４ａとの境界上に位置することはなくなる。したがって、被写体５２が自分の被写体の一部で隠されていると誤判断することがなくなる。つまり、仮想視点から見て奥の局所領域から描画された被写体表面が、手前の局所領域によるオクルージョンとみなされる心配は無くなる。
【００２６】
上記のように局所領域を分割した後、図２のステップＳ４以下の処理を行うが、この処理の説明は省略する。なお、本実施形態では、局所領域の間隔と大きさを前記のように調整してあるため、被写体の表面が局所領域の隙間に存在する場合でも、その画素情報はいすれかの局所領域に射影されることになり、欠落することはない。
【００２７】
次に、本発明の第２の実施形態を説明する。
【００２８】
この実施形態では、まず、被写体空間中の被写体が存在する領域にのみ局所領域を設定する。例えば、１個々々の被写体に対して、その重心を通る鉛直線を中心軸とし、その被写体を内包する円筒型の局所領域を設定する。そのため、各局所領域において、それが内包する被写体の画素情報は、その局所領域に射影される。
【００２９】
本実施形態によれば、被写体は円筒型の局所領域に内包されているから被写体５２の表面は１つの局所領域内に収まり、局所領域の境界上に位置することはなくなる。
【００３０】
次に、本発明の第３の実施形態を説明する。この実施形態では、被写体空間を複数の局所領域に分割し、それぞれの局所領域で自由視点からの画像を補間生成し、それらを合成する際に、オクルージョン領域の画像を単一の局所領域では生成できない場合のみ、別の局所領域の画像で上書きするようにする。
【００３１】
まず、被写体空間を、隙間無く密着させて配置された局所領域に分割する。次に、各局所領域で実撮影画像の画素情報を処理する。局所領域は隙間無く密着させて配置されているため、その画素情報はいずれかの局所領域に射影される。
【００３２】
続いて、局所領域同士の位置関係から、各局所領域におけるオクルージョン部分を把握し、オクルージョンと判定された部分の画素情報を消去する。ただし、オクルージョン領域の画像を単一の局所領域で生成できるか判定し、生成できる場合はこれらの画素情報を消去しない。その上で、局所領域に射影された画素情報を内挿補間する。
【００３３】
この実施形態によれば、図１０のような被写体５２は、１つの局所領域６２で生成できると判定されるから、被写体５２の表面５３はオクルージョンとみなされなくなり、前記ステップＳ７（図２参照）で該表面５３は消去されなくなる。よって、従来技術の問題は解消される。
【００３４】
次に、本発明の第４の実施形態を説明する。
【００３５】
この実施形態は、上記の第３の実施形態において、オクルージョン領域の画像が単一の局所領域で生成できない場合でも、予め定めた閾値を超える割合（例えば95%）の画素が生成できているか、もしくは、特定の１個の被写体の予め定めていた閾値を超える割合（例えば80%）の体積がその局所領域に属しているような場合には、図７に示されているように、その局所領域１０に隣接する局所領域１１〜１６による上書き描画は行わないようにする。
【００３６】
この実施形態によれば、例えば図１０の表面５３は隣接する局所領域による上書き描画はなくなるので、該表面に網目状の雑音が生ずることはなくなる。
【００３７】
なお、被写体空間内の物体と空間のうち、物体が占める面積の大きい局所領域から優先的に画像を補間生成するようにしてもよい。
【図面の簡単な説明】
【００３８】
【図１】カメラが疎の間隔に配置された多視点映像の撮影現場の概念図である。
【図２】本発明が適用される自由視点画像生成方法の処理手順を示すフローチャートである。
【図３】被写体空間を局所領域に分割する一例の説明図である。
【図４】分割された局所領域を上から見た場合の図である。
【図５】本発明の第１実施形態の局所領域分割の説明図である。
【図６】被写体の表面が１つの局所領域内に収まり、他の局所領域との境界上に位置することがなくなることを説明する図である。
【図７】本発明の第３、第４実施形態のオクルージョン処理の説明図である。
【図８】出願発明の自由視点画像生成方法の概略の説明図である。
【図９】局所領域分割におけるオクルージョンの発生を説明する図である。
【図１０】従来技術の課題を説明する図である。
【符号の説明】
【００３９】
１・・・被写体空間、３ａ、３ｂ、３ｃ・・・ビデオカメラ、３Ｘ・・・仮想視点位置、４ａ、４ｂ、４ｃ、・・・、５、１０〜１６、６０〜６３・・・局所領域、５０，５１，５２・・・被写体、５３・・・表面。
【図１】
2008250477.tif 000003
【図２】
2008250477.tif 000004
【図３】
2008250477.tif 000005
【図４】
2008250477.tif 000006
【図５】
2008250477.tif 000007
【図６】
2008250477.tif 000008
【図７】
2008250477.tif 000009
【図９】
2008250477.tif 000010
【図１０】
2008250477.tif 000011
【図８】
2008250477.tif 000012