(57)【要約】      （修正有）【課題】カメラコストを抑えた高品質な仮想視点画像を生成する自由視点画像生成装置を提供する。【解決手段】画像取得部において、入力画像は、解像度の異なる画像とする。画像処理コンピュータにより、高解像度画像Ｂを低解像度画像Ｃの画像サイズに合わせたサブサンプリング画像を生成し（Ｓ３０５）、低解像度画像とのマッチングにより被写体の奥行き画像を生成する（Ｓ３１０）。該奥行き画像をもとに、該高解像度画像を優先して参照し、操作入力部に対応した仮想視点画像を生成する（Ｓ３１５）ことで、高解像度の仮想視点画像が得られる。よって小型でカメラコストを抑えた自由視点画像生成装置が得られる。【選択図】図２
2012150614.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像データから該被写体を所望の仮想視点から見た画像に変換して出力するための自由視点画像生成装置であって、
前記被写体を撮像する少なくとも１つの第１カメラと、
該第１カメラより解像度の低い少なくとも一つの第２カメラと、
前記第１カメラにより撮像された少なくとも１つの第１被写体画像、前記第２カメラにより撮像された少なくとも１つの第２被写体画像及び前記第１被写体画像と前記第２被写体画像間の空間的な相関から求められた奥行き値とに基づいて前記仮想視点の画像を生成する画像処理演算制御装置と、
を備えたことを特徴とする自由視点画像生成装置。
【請求項２】
前記画像処理演算制御装置は、
前記第１被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第１ステップと、
前記第１ステップで生成したサブサンプリング画像及び前記第２被写体画像から前記被写体の奥行き画像を生成する第２ステップと、
前記第２ステップで生成した前記被写体の奥行き画像をもとに前記第１被写体画像を前記仮想視点にワーピングした高解像度投影画像及び前記第２被写体画像を前記仮想視点にワーピングした低解像度投影画像を生成する第３ステップと、
前記高解像度投影画像および前記低解像度投影画像を統合する第４ステップと、
により前記仮想視点から見た画像生成することを特徴とする請求項１に記載の自由視点画像生成装置。
【請求項３】
前記第４ステップにおいて、
前記高解像度投影画像と、前記低解像度投影画像とを統合する際に、該高解像度投影画像の全ての画素に対して前記低解像度投影画像の画素に優先して参照することを特徴とする請求項２に記載の自由視点画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の撮像データからその被写体を所望の仮想視点から見た画像である仮想視点画像に変換して出力するための自由視点画像生成装置に関するものであり、さらに詳しくは、この発明は解像度の異なる複数のカメラで撮影した画像を用いて、高解像度な自由視点画像を生成する方法および装置に関するものである。
【背景技術】
【０００２】
従来、見る者があたかもその場にいるかのように、自由に視点を変えて３次元シーンを見ることのできる自由視点テレビ（Ｆｒｅｅ  ｖｉｅｗｐｏｉｎｔ  ＴＶ：ＦＴＶ）の技術があった。この技術は、自由視点画像を合成するために、被写体の周囲に複数台のカメラを用いて撮影し、取得された多視点画像をもとに自由視点画像を合成するものであった（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】谷本正幸、「自由視点テレビ」、日本工業出版、画像ラボ、２００５年２月号、２３〜２８頁
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、上記従来技術では、自由視点画像を高解像度化する場合には、全てのカメラを高解像度カメラにする必要があった。そのため、高解像度の自由視点画像を生成するためには装置が大型化するとともに、カメラに多大な費用をかけなければならないという問題があった。
【０００５】
本発明は、このような問題点に鑑み、小型かつ低コストで高解像度の自由視点画像を得ることができる自由視点画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、前記目的を達成するための請求項１に係る発明の要旨とするところは、被写体の撮像データから、被写体を所望の仮想視点から見た画像である仮想視点画像に変換して出力するための自由視点画像生成装置であって、被写体を撮像する少なくとも１つの第１カメラ（１１０）と、第１カメラ（１１０）より解像度の低い少なくとも一つの第２カメラ（１２０）と、第１カメラ（１１０）により撮像された少なくとも１つの第１被写体画像と、第２カメラ（１２０）により撮像された少なくとも１つの第２被写体画像と、第１被写体画像と第２被写体画像間の空間的な相関から求められた奥行き値とに基づいて仮想視点の画像を生成する画像処理演算制御装置（３００）と、を備えたことにある。
【０００７】
また、請求項２に係る発明の要旨とするところは、請求項１の発明において、画像処理演算制御装置（３００）は、画像処理演算制御装置（３００）は、第１被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第１ステップ（Ｓ３０５）と、第１ステップ（Ｓ３０５）で生成したサブサンプリング画像及び第２被写体画像から被写体の奥行き画像を生成する第２ステップ（Ｓ３１０）と、第２ステップ（Ｓ３１０）で生成した被写体の奥行き画像をもとに第１被写体画像を仮想視点にワーピングした高解像度投影画像及び第２被写体画像を仮想視点にワーピングした低解像度投影画像を生成する第３ステップ（Ｓ４０５，Ｓ４１０）と、高解像度投影画像および低解像度投影画像を統合する第４ステップ（Ｓ４１５〜Ｓ４４０）と、により仮想視点から見た画像生成することにある。
【０００８】
また、請求項３に係る発明の要旨とするところは、請求項２の発明において、第４ステップ（Ｓ４１５〜Ｓ４４０）において、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することにある。
【発明の効果】
【０００９】
請求項１に係る本発明の自由視点画像生成装置（１０）によれば、画像処理演算処理装置（３００）において、被写体を撮像する少なくとも１つの第１カメラ（１１０）により撮像された少なくとも１つの第１被写体画像と、第１カメラ（１１０）より解像度の低い少なくとも一つの第２カメラ（１２０）により撮像された少なくとも１つの第２被写体画像と、第１被写体画像と第２被写体画像間の空間的な相関から求められた奥行き値とに基づいて、入力を全て第１カメラ（１１０）で撮像した第１被写体画像と同等の解像度を持つ画像としたときと同じ解像度の仮想視点画像が生成される。
【００１０】
このため、全てを第１カメラ（１１０）と同じ解像度をもつカメラで構成した自由視点画像生成装置に比べて、小型でかつカメラのコストを抑えた自由視点画像生成装置（１０）が得られる。
【００１１】
請求項２に係る発明の自由視点画像生成装置（１０）によれば、画像処理演算制御装置（３００）は、第１被写体画像を低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成する第１ステップ（Ｓ３０５）と、サブサンプリング画像及び第２被写体画像から被写体の奥行き画像を生成する第２ステップ（Ｓ３１０）と、奥行き画像をもとに第１被写体画像を仮想視点にワーピングした高解像度投影画像及び第２被写体画像を仮想視点にワーピングした低解像度投影画像を生成する第３ステップ（Ｓ４０５，Ｓ４１０）と、高解像度投影画像および低解像度投影画像を統合する第４ステップ（Ｓ４１５〜Ｓ４４０）と、により仮想視点画像を生成する。
【００１２】
第１ステップ（Ｓ３０５）の効果は、第１被写体画像に対して、第２被写体画像の持ちうる最高周波数以上の周波数成分を除去し、第２被写体画像と画像周波数が揃ったサブサンプリング画像を生成し、第２ステップ（Ｓ３１０）において、サブサンプリング画像を用いることにより、被写体の奥行き推定を可能にすることにある。
【００１３】
これにより、入力画像が高解像度画像と低解像度画像であっても仮想視点画像を生成することができる。
請求項３に係る発明の自由視点画像生成装置（１０）によれば、第４ステップ（Ｓ４１５〜Ｓ４４０）において、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することで、高解像度な仮想視点の画像が得られる。
【図面の簡単な説明】
【００１４】
【図１】自由視点画像生成装置１０の概略の構成を示すブロック図である。
【図２】画像処理コンピュータのＣＰＵが実行する画像処理の流れを示すフローチャートである。
【図３】ワーピング処理の流れを示すフローチャートである。
【図４】奥行き画像の生成ステップにおいての、視差とカメラの焦点距離および一対のカメラ間の距離に基づく奥行き値の算出方法を説明する図である。
【図５】ワーピングを用いて仮想視点への投影画像を生成する際の、奥行き値とカメラの焦点距離および仮想視点とカメラとの距離に基づく投影される画像座標の算出方法を説明する図である。
【図６】カメラによって撮影された画像を例示する図である。
【図７】奥行き画像を例示する図である。
【図８】従来法と本発明による仮想視点画像の生成結果を例示する図である。
【発明を実施するための形態】
【００１５】
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
（自由視点画像生成装置１０の構成）
図１は、本発明の一実施形態の自由視点画像生成装置１０の概略の構成を示すブロック図である。図１において、自由視点画像生成装置１０は、被写体を撮像し、被写体像を取得する画像取得部１００と、予め記憶されたプログラムに従ってそれらの像信号を処理して自由視点画像を生成する画像処理コンピュータ３００と、自由視点の位置を指定する操作信号などを入力する操作入力部２００と、画像処理コンピュータから出力された画像を表示する液晶モニタや、３Ｄディスプレイなどの画像表示装置４００とを備えている。
【００１６】
操作入力部２００は、仮想視点の３次元位置データを含むデータを入力するための装置であり、キーボードなどの入力装置である。
画像取得部１００は、高解像度カメラ１１０と、低解像度カメラ１２０と、それぞれのカメラ１１０，１２０で被写体Ａを撮影して得ることのできる高解像度画像Ｂを記憶させておくための高解像度画像記憶部１３０と、低解像度画像Ｃを記憶させておくための低解像度記憶部１４０とを備える。
【００１７】
高解像度カメラ１１０および低解像度カメラ１２０は、たとえば、レンズにより結像される位置に配置されたＣＣＤ素子やＣＭＯＳ素子などから成る映像センサと、その映像センサからの信号をＡ／Ｄ変換して所定のデジタル画像信号に変換する画像処理チップとを備えている。
【００１８】
高解像度カメラ１１０及び低解像度カメラ１２０によって取得される所定の画素数ｕ×ｖ  の画素毎の濃淡をＲＧＢ毎に示す画像信号Ｉｉ（ｕ、ｖ）（但し、ｉ＝Ｒ、Ｇ、Ｂ）をそれぞれ高解像度画像Ｂと、低解像度画像Ｃとする。
【００１９】
たとえば画素（ピクセル）数が４８０×６４０である画像であれば、ｕ＝０〜４７９、ｎ＝０〜６３９の範囲の値となる。
なお、高解像度画像Ｂの画素数をＵＨ×ＶＨとし、低解像度画像Ｃの画素数をＵＬ×ＶＬとした場合、高解像度画像Ｂにおいて、ＵＨ＞ＵＬまたはＶＨ＞ＶＬのいずれかが成り立つものとする。
【００２０】
画像処理コンピュータ３００は、図示しないＣＰＵ，ＲＯＭ、ＲＡＭ及びＩ／Ｏなどを備えており、以下の画像処理を実行する。
（画像処理の説明）
次に、図２に基づき、画像処理コンピュータ３００で実行される画像処理について説明する。図２は、画像処理コンピュータ３３０のＣＰＵが実行する画像処理の流れを示すフローチャートである。
【００２１】
画像処理では、まず、Ｓ３００において、被写体Ａを高解像度カメラ１１０で撮像した高解像度画像Ｂ及び被写体Ａを低解像度カメラ１２０で撮像した低解像度画像Ｃがそれぞれ高解像度画像記憶部１３０及び低解像度記憶部１４０から取得される。
【００２２】
続く、Ｓ３０５において、高解像度画像Ｂが低解像度画像Ｃの画像サイズに合わせてサブサンプリングされ、サブサンプリング画像Ｂｓｕｂが生成される。
Ｓ３０５の目的は、後述するＳ３１０における奥行き画像の生成を行うために、高解像度画像のもつ周波数成分と、低解像度画像の持つ周波数成分をそろえることにある。サブサンプリングには、線形補間法が用いられる。
【００２３】
続く、Ｓ３１０では、Ｓ３０５において生成されたサブサンプリング画像Ｂｓｕｂ、Ｓ３００において取得された低解像度画像Ｃから被写体Ａの奥行き画像が生成される。
サブサンプリング画像Ｂｓｕｂおよび低解像度画像Ｃの一方の画像中の１画素（１ピクセル）毎の単位で画像中の同じ高さ位置において濃淡或いは色度において相関係数の高いものを他方の画像中から探索（ピクセルマッチング）し、或いは一方の画像中の１群の画素（たとえば３×３の９ピクセル）毎の単位で、画像中の同じ高さ位置（ｙ位置）において濃淡或いは色度において相関係数の高いものを他方の画像中から探索し（ブロックマッチング）、最も相関係数の高いものを決定し、視差ｄを算出する。
【００２４】
たとえば、相互に最も相関の高い関係にある一対の画素が、サブサンプリング画像Ｂｓｕｂの画像平面内におけるｕ方向の位置がｕｌ、低解像度画像Ｃの画像平面内におけるｕ方向の位置がｕｒ  であるとすると、図４に示す視差ｄ（＝ｕｌ  −ｕｒ  ）が算出され、幾何学的な関係から、その視差ｄと、予め求められた高解像度カメラ１１０  および低解像度カメラ１２０の焦点距離ｆＲおよびｆＬ（ｆＲ＝ｆＬ＝ｆ）、高解像度カメラ１１０および低解像度カメラ１２０の間のｘ  方向の距離Ｔとに基づいて奥行き値Ｚ’（＝（ｆ×Ｔ）／ｄ）が算出される。
【００２５】
図４に基づき、視差ｄを詳細に説明する。上記のように、相互に最も相関の高い関係にある一対の画素が、サブサンプリング画像Ｂｓｕｂの画像平面内におけるｕ方向の位置がｕｌ  、低解像度画像Ｃの画像平面内におけるｕ方向の位置がｕｒである場合に、サブサンプリング画像Ｂｓｕｂ  と低解像度画像Ｃとを左上の基準点が同じとなるように重ねて、サブサンプリング画像Ｂｓｕｂの画像平面内におけるｕ方向の位置ｕｌを、低解像度画像Ｃの画像平面内の点Ｐとし、サブサンプリング画像Ｂｓｕｂの画像平面内におけるその点Ｐと低解像度画像Ｃの画像平面内におけるｕ方向の位置ｕｒとの間の相対位置である距離が、視差ｄとして示される。
【００２６】
上記の視差推定手法を用いて、画素毎に奥行き値Ｚを算出し、３次元の奥行きをグレースケールで表した奥行き画像を得る。図７は、図６の画像に対応する奥行き画像を例示している。図７のグレースケール画像は、黒くなるほど遠く（奥行きＺが大きく）なり、白くなるほど近く（奥行き値Ｚが小さく）なることを示している。
【００２７】
続くＳ３１５では、仮想視点の３次元位置Ｖ、Ｓ３１０において生成された奥行き画像、Ｓ３００において取得された高解像度画像Ｂ及び低解像度画像Ｃをもとに仮想視点にワーピングするワーピング処理が実行される。
【００２８】
続くＳ３２０において、Ｓ３１５のワーピング処理において生成された高解像度仮想視点画像が画像表示装置４００に表示された後、画像処理が終了される。
（ワーピング処理）
次に、図３に基づき、画像処理中で実行されるワーピング処理について説明する。図３は、ワーピング処理の流れを示すフローチャートである。
【００２９】
ワーピング処理では、まず、Ｓ４００において、高解像度画像Ｂ、低解像度画像Ｃ、Ｓ３１０において生成された奥行き画像及び操作入力部２００から仮想視点の３次元位置Ｖが取得される。
【００３０】
続くＳ４０５では、Ｓ３１０により生成された奥行き画像をもとに、高解像度画像Ｂが、仮想視点の３次元位置Ｖに対して３Ｄワーピング処理を用いて投影され、高解像度投影画像が生成される。
【００３１】
続くＳ４１０では、Ｓ４０５と同様の処理が低解像度画像Ｃも行われ、低解像度投影画像が生成される。
続くＳ４１５では、高解像度画像Ｂの画素を仮想視点Ｖに投影できるか否かが一画素毎に判定される。
【００３２】
そして、仮想視点において、高解像度投影画像が参照可能な画素と判定された場合（Ｓ４１５：Ｙｅｓ）、処理がＳ４２０へ移行され、高解像度投影画像において参照できない画素と判定された場合（Ｓ４１５：Ｎｏ）処理がＳ４２５へ移行される。
【００３３】
Ｓ４２０では、高解像度投影画像の同座標の輝度値が、仮想視点画像の輝度値とされる。
一方、Ｓ４２５では、低解像度投影画像において参照できる画像であるか否かが判定される。低解像度投影画像において参照できる画素であると判定された場合（Ｓ４２５：Ｙｅｓ）、処理がＳ４３０へ移行され、低解像度投影画像において参照できない画素であると判定された場合（Ｓ４２５：Ｎｏ）、処理がＳ４３５へ移行される。
【００３４】
Ｓ４３０では、低解像度投影画像をアップサンプリングした輝度値が仮想視点画像の輝度値とされる。
一方、Ｓ４３５では、低解像度投影画像がイメージインペインティングや、線形補間などの手法を用いて、周囲の画素から補間される。
【００３５】
ここで、イメージペインティングの手法としては、［ＢＥＲＴＡＬＭＩＯ、  Ｍ．、  ＳＡＰＩＲＯ、  Ｇ．、  ＣＡＳＥＬＬＥＳ、  Ｖ．、  ＡＮＤ  ＢＡＬＬＥＳＴＥＲ、  Ｃ．  ２０００．      “Ｉｍａｇｅ  Ｉｎｐａｉｎｔｉｎｇ．  ”  Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ２０００、  ＡＣＭ  Ｐｒｅｓｓ  ／ＡＣＭ  ＳＩＧＧＲＡＰＨ、  Ｎｅｗ−Ｙｏｒｋ、  Ｅ．  Ｆｉｕｍｅ、  Ｅｄ．、  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ、  Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ、  ＡＣＭ、  ４１７−４２４．］などの手法が用いられる。
【００３６】
上記３Ｄワーピング手法を、仮想視点位置の全画素に対して行い、操作入力部２００で与えた仮想視点Ｖに対応した、高解像度な仮想視点画像を得る。
図５は、３Ｄワーピングの概念を示す概略図である。カメラ１からＸ方向にｘ１だけ離れた仮想視点の仮想視点画像を生成する場合について、カメラ１の画像である画像１の１画素Ｉ１（ｕｌ  、  ｖｌ）を例にとって説明する。
【００３７】
このとき、カメラ１において、Ｓ３１５において奥行き画像が計算されている場合を想定している。画素Ｉ１（ｕｌ  、  ｖｌ）に対応する奥行き値をＺとすると、三角形の相似関係から、仮想視点画像中の画素Ｉ２に投影され、その座標は、カメラ１および仮想カメラの焦点距離をｆとすると、Ｉ２（ｕ２  、  ｖ２）＝（ｕｌ−ｆｘ２／Ｚ、  ｖｌ）  より求められる。
【００３８】
以上のように求めた画素において、画素Ｉ１の輝度値をコピーし、画素Ｉ２の輝度値とする。この工程を画像１の全画素について行うことで、仮想視点位置に画像１を投影した投影画像を得ることができる。
【００３９】
図８に、従来法に基づき高解像度画像のみを用いて仮想視点画像を生成した結果（図８（ａ）及びその一部を拡大した図８（ｂ））と、本発明を用いて仮想視点画像を生成した結果（図８（ｃ）及びその一部を拡大した図８（ｄ））の一例を示す。条件として、低解像度画像は、高解像度画像に比べて縦横２分の１の解像度を持つ。
【００４０】
仮想視点の３次元位置は、従来法および提案法ともに等しい位置とした。図８の右側上下の一部拡大図を比較すると、本発明手法を用いて生成した画像は、高解像度の画像のみを用いた従来法と遜色なく、解像度が高い画像が得られていると判る。
（自由視点画像生成装置１０の特徴）
以上のような、自由視点画像生成装置１０によれば、画像処理コンピュータ３００において、被写体Ａを撮像する高解像度カメラ１１０により撮像された高解像度画像Ｂと、高解像度カメラ１１０より解像度の低い低解像度カメラ１２０により撮像された低解像度画像Ｃと、高解像度画像Ｂと低解像度画像Ｃ間の空間的な相関から求められた奥行き値とに基づいて、入力を全て高解像度カメラ１１０で撮像した高解像度画像Ｂと同等の解像度を持つ画像としたときと同じ解像度の仮想視点画像が生成される。
【００４１】
このため、全てを高解像度カメラ１１０と同じ解像度をもつカメラで構成した自由視点画像生成装置に比べて、小型でかつカメラのコストを抑えた自由視点画像生成装置１０とすることができる。
【００４２】
また、画像処理において、高解像度画像Ｂを低解像度画像にサブサンプリングを行い、サブサンプリング画像を生成している。したがって、高解像度画像に対して、低解像度画像の持ちうる最高周波数以上の周波数成分を除去し、低解像度画像と画像周波数が揃ったサブサンプリング画像を生成し、そのサブサンプリング画像を用いることにより、被写体の奥行き推定を可能にすることができる。
【００４３】
これにより、入力画像が高解像度画像と低解像度画像であっても仮想視点画像を生成することができるようになっている。
また、高解像度投影画像と、低解像度投影画像とを統合する際に、高解像度投影画像の全ての画素に対して低解像度投影画像の画素に優先して参照することで、高解像度な仮想視点の画像が得られるようになっている。
【符号の説明】
【００４４】
１…カメラ、１０…自由視点画像生成装置、１００…画像取得部、１１０…高解像度カメラ、１２０…低解像度カメラ、１３０…高解像度画像記憶部、１４０…低解像度記憶部、２００…操作入力部、３００…画像処理コンピュータ、３３０…画像処理コンピュータ、４００…画像表示装置。
【図１】
2012150614.tif 000003
【図２】
2012150614.tif 000004
【図３】
2012150614.tif 000005
【図４】
2012150614.tif 000006
【図５】
2012150614.tif 000007
【図６】
2012150614.tif 000008
【図７】
2012150614.tif 000009
【図８】
2012150614.tif 000010