(57)【要約】多視点画像を用いて、任意の所望解像度を有する仮想焦点面画像を簡単且つ迅速に生成できる、高解像度仮想焦点面画像生成方法を提供する。  異なる撮影位置を有する複数の画像で構成する多視点画像に対し、ステレオマッチングを行うことにより、視差を推定し、視差画像を取得する、視差推定処理ステップと、多視点画像のうち、１枚の画像を基準画像とし、残りの全ての画像を参照画像とし、基準画像上における所定の領域を注目領域として選択する、領域選択処理ステップと、視差画像を基に、注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする、仮想焦点面推定処理ステップと、仮想焦点面に対して、各参照画像を基準画像へと変形するための画像変形パラメータを求め、求めた画像変形パラメータを用いて変形することにより、仮想焦点面画像を生成する、画像統合処理ステップとを有する。
2008050904.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる視点から取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、
前記多視点画像中の所定の任意領域に対して、前記多視点画像を構成する各画像が重なるように変形することにより、前記仮想焦点面画像を生成することを特徴とする高解像度仮想焦点面画像生成方法。
【請求項２】
前記変形は、前記多視点画像に対し、ステレオマッチングを行うことにより、視差を取得し、取得された視差を利用して求める請求の範囲第１項に記載の高解像度仮想焦点面画像生成方法。
【請求項３】
前記変形は、画像同士を重ね合わせるための２次元射影変換を利用する請求の範囲第２項に記載の高解像度仮想焦点面画像生成方法。
【請求項４】
前記変形を、前記多視点画像を構成する前記複数の画像に施した上で、これら複数の画像を統合し、統合された画素群を任意の細かさの格子で区切り、当該格子を画素とすることにより、任意の解像度を持つ前記仮想焦点面画像を生成する請求の範囲第３項に記載の高解像度仮想焦点面画像生成方法。
【請求項５】
撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、
前記多視点画像に対し、ステレオマッチングを行うことにより、視差を推定し、視差画像を取得する、視差推定処理ステップと、
前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、前記基準画像上における所定の領域を注目領域として選択する、領域選択処理ステップと、
前記視差画像を基に、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする、仮想焦点面推定処理ステップと、
前記仮想焦点面に対して、前記各参照画像を前記基準画像へと変形するための画像変形パラメータを求め、求めた前記画像変形パラメータを用いて、前記多視点画像を変形することにより、前記仮想焦点面画像を生成する、画像統合処理ステップと、
を有することを特徴とする高解像度仮想焦点面画像生成方法。
【請求項６】
前記多視点画像は、２次元状に配置した複数のカメラから構成されるカメラ群によって取得される請求の範囲第５項に記載の高解像度仮想焦点面画像生成方法。
【請求項７】
前記多視点画像は、１台の撮像装置を移動手段に固定し、２次元状に配置した複数のカメラから構成されるカメラ群を想定して、カメラを移動し、撮影を行って取得されたものである請求の範囲第５項に記載の高解像度仮想焦点面画像生成方法。
【請求項８】
前記仮想焦点面推定処理ステップでは、前記基準画像における前記注目領域に属する画像上のエッジを抽出し、エッジの存在する部分で求められた視差のみを用いて、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする請求の範囲第５項乃至第７項のいずれかに記載の高解像度仮想焦点面画像生成方法。
【請求項９】
前記画像統合処理ステップは、
前記基準画像上の前記注目領域の各頂点に対応する視差を求める第１のステップと、
前記基準画像上の前記注目領域の各頂点に対応する、前記参照画像上での対応点の座標位置を求める第２のステップと、
頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める第３のステップと、
全ての参照画像に対して、第２のステップと第３のステップでの処理を行い、平面同士を重ねるための変換を与える射影変換行列を求める第４のステップと、
求めた射影変換行列を用いて、それぞれの参照画像を変形することにより、画像統合処理を行い、統合された画素群を所定の大きさを有する格子で区切り、前記格子を画素とすることにより、前記格子の大きさに決められる解像度を持つ前記仮想焦点面画像を生成する第５のステップと、
を有する請求の範囲第５項乃至第８項のいずれかに記載の高解像度仮想焦点面画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数の視点から撮影された画像（多視点画像）、即ち、撮影位置の異なる複数の画像を用いて、新たな高解像度画像を生成するための画像生成方法に関する。
【背景技術】
【０００２】
従来、多数の画像を組み合わせることで、高画質な画像を生成する方法が知られている。例えば、撮影位置の異なる複数の画像から高解像度画像を得るための手法として、超解像処理などが知られている（非特許文献１を参照）。
また、ステレオマッチングで求められた視差から画素の対応関係を求め、対応する画素を平均化して統合することで、ノイズを低減する方法も提案されている（非特許文献２を参照）。この方法は、多眼ステレオ化することで、視差推定精度を向上することができ（非特許文献３を参照）、画質改善の効果も向上する。更に、視差をサブピクセル精度で求める（非特許文献４を参照）ことによって、高解像度化処理も可能である。
一方、ウィルバンら（非特許文献５を参照）に提案された方法によれば、カメラアレイによって撮影される画像を組み合わせることにより、ダイナミックレンジの向上を行うことや、視野角の広いパノラマ画像を生成することなどの処理を行うことができる。さらに、非特許文献５に開示されている方法では、擬似的に開口の大きく被写界深度の浅い画像を合成するなど、通常の単眼カメラでは撮影の困難な画像を生成することもできる。
また、バイシュら（非特許文献６を参照）は、同様にカメラアレイで撮影された画像を組み合わせることにより、単に被写界深度の浅い画像を生成するだけでなく、通常の光学系を持ったカメラでは撮影できない、画像上でカメラに正対しない平面に焦点を持った画像を生成する方法を提案している。
しかし、非特許文献６に開示されている方法では、仮想焦点面画像を生成するためには、ユーザが必要とする焦点面（即ち、画像上から合焦させたい平面、以下、単に「仮想焦点面」とも称する）の位置を手動で逐次調整する必要があり、これに伴って仮想焦点面画像を生成するために必要なパラメータも逐次推定する必要があった。
つまり、非特許文献６に開示されている方法を用いて、仮想焦点面画像を生成するには、仮想焦点面の位置の「逐次調整」及び、必要なパラメータの「逐次推定」という大変時間のかかる作業が必要になるので、仮想焦点面画像を迅速に生成できないという問題点がある。
また、非特許文献６に開示されている方法により生成された仮想焦点面画像は、生成前の画像、即ち、カメラアレイで撮影された画像と同等の解像度しか持っていなかった為、画像の高解像度化を実現することはできないという問題点もある。
【発明の開示】
【０００３】
本発明は、上述のような事情から成されたものであり、本発明の目的は、撮影対象に対して複数の異なる視点から撮影を行って取得された多視点画像を用いて、任意の所望解像度を有する仮想焦点面画像を簡単且つ迅速に生成できる、高解像度仮想焦点面画像生成方法を提供することにある。
本発明は、複数の異なる視点から取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法に関し、本発明の上記目的は、前記多視点画像中の所定の任意領域に対して、前記多視点画像を構成する各画像が重なるように変形することにより、前記仮想焦点面画像を生成することにより、或いは、前記変形は、前記多視点画像に対し、ステレオマッチングを行うことにより、視差を取得し、取得された視差を利用して求めることにより、或いは、前記変形は、画像同士を重ね合わせるための２次元射影変換を利用することにより、或いは、前記変形を、前記多視点画像を構成する前記複数の画像に施した上で、これら複数の画像を統合し、統合された画素群を任意の細かさの格子で区切り、当該格子を画素とすることにより、任意の解像度を持つ前記仮想焦点面画像を生成することによって達成される。
また、本発明の上記目的は、撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像で構成する１組の多視点画像を用いて、仮想焦点面画像を生成するための高解像度仮想焦点面画像生成方法であって、前記多視点画像に対し、ステレオマッチングを行うことにより、視差を推定し、視差画像を取得する、視差推定処理ステップと、前記多視点画像を構成する前記複数の画像のうち、１枚の画像を基準画像とし、前記基準画像を除いて残りの全ての画像を参照画像とし、前記基準画像上における所定の領域を注目領域として選択する、領域選択処理ステップと、前記視差画像を基に、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とする、仮想焦点面推定処理ステップと、前記仮想焦点面に対して、前記各参照画像を前記基準画像へと変形するための画像変形パラメータを求め、求めた前記画像変形パラメータを用いて、前記多視点画像を変形することにより、前記仮想焦点面画像を生成する、画像統合処理ステップとを有することにより、或いは、前記多視点画像は、２次元状に配置した複数のカメラから構成されるカメラ群によって取得されるようにすることにより、或いは、前記多視点画像は、１台の撮像装置を移動手段に固定し、２次元状に配置した複数のカメラから構成されるカメラ群を想定してカメラを移動し、撮影を行って取得されたものであることにより、或いは、前記仮想焦点面推定処理ステップでは、前記基準画像における前記注目領域に属する画像上のエッジを抽出し、エッジの存在する部分で求められた視差のみを用いて、前記注目領域に対する視差空間中の平面を推定し、推定した平面を仮想焦点面とすることにより、或いは、前記画像統合処理ステップは、前記基準画像上の前記注目領域の各頂点に対応する視差を求める第１のステップと、前記基準画像上の前記注目領域の各頂点に対応する、前記参照画像上での対応点の座標位置を求める第２のステップと、頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める第３のステップと、全ての参照画像に対して、第２のステップと第３のステップでの処理を行い、平面同士を重ねるための変換を与える射影変換行列を求める第４のステップと、求めた射影変換行列を用いて、それぞれの参照画像を変形することにより、画像統合処理を行い、統合された画素群を所定の大きさを有する格子で区切り、前記格子を画素とすることにより、前記格子の大きさに決められる解像度を持つ前記仮想焦点面画像を生成する第５のステップとを有することによってより効果的に達成される。
【図面の簡単な説明】
【０００４】
第１図は、本発明で用いられる「多視点画像」を取得するためのカメラ配置の一例（格子状配置の２５眼ステレオカメラ）を示す模式図である。
第２図は、第１図に示された２５眼ステレオカメラを用いて撮影して取得した１組の多視点画像の一例を示す図である。
第３図は、第１図に示された２５眼ステレオカメラにおいて、配置の中心となるカメラから撮影された画像、即ち、第２図の中央の画像を第３図（Ａ）に示し、第３図（Ａ）の画像を基準画像として多眼ステレオ３次元計測で得られた視差マップを第３図（Ｂ）に示す。
第４図は、第２図の多視点画像の撮影シーンにおける物体配置関係及び仮想焦点面の配置を説明するための模式図である。
第５図は、第２図の多視点画像に基づいて合成された、異なる位置の仮想焦点面を有する仮想焦点面画像を示す図である。第５図（Ａ）に、第４図における点線で示された（ａ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示し、第５図（Ｂ）に、第４図における点線で示された（ｂ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。
第６図は、第２図の多視点画像に基づいて生成された、任意位置の仮想焦点面を有する仮想焦点面画像を示す図である。即ち、第６図に示す画像は、第７図における（ｃ）の位置に仮想焦点面を置いた場合の仮想焦点面画像である。
第７図は、第２図の多視点画像の撮影シーンにおける物体配置関係及び、任意の仮想焦点面の配置を説明するための模式図である。
第８図は、本発明による仮想焦点面画像を生成するための処理の概略を説明するための模式図である。
第９図は、本発明の視差推定処理で用いられる「２平面キャリブレーション」において、一般化された視差と射影変換行列の関係を説明するための模式図である。
第１０図は、本発明の視差推定処理で求められる視差推定結果の一例を示す図である。第１０図（Ａ）に基準画像を示し、第１０図（Ｂ）に視差マップを示す。また、第１０図（Ｃ）のグラフは、第１０図（Ａ）及び第１０図（Ｂ）に示された矩形領域に対応する視差（緑点）と、平面推定に使用するエッジ上の視差（赤点）をプロットしたものである。
第１１図は、本発明において、実空間での幾何学的な関係を説明するための模式図である。
第１２図は、本発明の画像統合処理において、平面同士を重ねるための射影変換行列の推定を説明するための模式図である。
第１３図は、本発明の画像統合処理において、画像の組み合わせによる高解像度化を説明するための模式図である。
第１４図は、合成ステレオ画像を用いた実験の設定条件を説明するための図である。第１４図（Ａ）における矩形領域１、２は、第１６図の各実験結果における処理領域（注目領域）に対応している。
第１５図は、２５眼合成ステレオ画像を示す図である。
第１６図は、第１５図に示す２５眼合成ステレオ画像を用いた実験の結果を示す図である。
第１７図は、２５眼実画像を示す図である。
第１８図は、第１７図に示す２５眼実画像を用いた実験の結果を示す図である。
第１９図は、基準原画像（ＩＳＯ１２２３３解像度チャート）を示す図である。
第２０図は、第１９図に示す基準原画像に基づいた実画像の実験結果を示す図である。
【発明を実施するための最良の形態】
【０００５】
本発明は、撮影対象に対して、複数の異なる視点から撮影を行って取得された複数の画像（以下、単に、「多視点画像」）を用いて、所望の任意解像度を持つ仮想焦点面画像を簡単かつ迅速に生成するための高解像度仮想焦点面画像生成方法に関する。
以下、本発明を実施するための最良の形態を図面を参照して詳細に説明する。
＜１＞仮想焦点面画像
まず、本発明に係る高解像度仮想焦点面画像生成方法の着眼点と、本発明の高解像度仮想焦点面画像生成方法によって生成される、新たな画像である「仮想焦点面画像」について、以下のように詳細に述べる。
＜１−１＞撮像面に平行な仮想焦点面
本発明では、「仮想焦点面画像」を生成するために、まず、撮影対象に対して複数の視点から撮影を行うことにより、１組の多視点画像を取得する必要がある。
この多視点画像は、例えば、第１図に示すような格子状配置の２５眼ステレオカメラ（以下、単に、カメラアレイとも称する）を用いて、取得することができる。第１図の２５眼ステレオカメラを用いて撮影して得られた多視点画像の一例を第２図に示す。
このとき、第１図に示す格子状配置の中心となるカメラから撮影された画像を基準画像（第３図（Ａ）を参照）として、第２図に示す多視点画像に対し、多眼ステレオ３次元計測を行うことにより、第３図（Ｂ）に示すような視差マップ（以下、単に「視差画像」とも言う）を得ることができる。
このとき、第２図に示す多視点画像の撮影シーンにおける物体配置関係及び仮想焦点面の配置を模式的に表すと、第４図のようになり、これらを比較することで、視差は実空間中の奥行きと対応し、カメラに近い位置に存在する物体ほど値が大きく、カメラから離れた位置に存在する物体ほど値が小さくなることがわかる。また、同一の奥行きに存在する物体は同一の値となり、視差の値が同一となる実空間中の平面は、カメラに対してフロントパラレルな平面となる。
ここで、視差は参照画像と基準画像のずれ量を示していることから、ある奥行きに存在する点について、対応する視差を用いてすべての参照画像を基準画像と重なるように変形することができる。ここで言う「参照画像」とは、１組の多視点画像を構成する複数の画像のうち、基準画像として選択された画像を除いて残りの全ての画像を意味する。
第５図には、この「ある奥行きに存在する点について、対応する視差を用いてすべての参照画像を基準画像と重なるように変形する」といった方法を用いて、第２図の多視点画像に基づいて合成した仮想焦点面画像の例を示す。第５図（Ａ）は、奥の壁面に対応した視差で変形して合成した場合の例であり、また、第５図（Ｂ）は、手前の箱の前面に対応した視差で変形して合成した場合の例である。
本発明では、このときに注目した視差に対応して生じた仮想的な焦点面を「仮想焦点面」と呼び、そして、仮想焦点面に対して合成された画像を、「仮想焦点面画像」と呼ぶこととする。第５図（Ａ）及び第５図（Ｂ）は、それぞれ奥の壁面、手前の箱の前面に仮想焦点面を置いたときの仮想焦点面画像である。つまり、第５図（Ａ）に、第４図における点線で示された（ａ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。また、第５図（Ｂ）に、第４図における点線で示された（ｂ）の位置に仮想焦点面を置いた場合において、合成された仮想焦点面画像を示す。
一般的に、被写界深度の浅い画像では、焦点は画像上でもっとも関心の高い被写体の存在する奥行きに対して合わせられる。このとき、合焦対象となる被写体では鮮鋭度の高い高画質の画像を得ることができ、他の不要な奥行きでは、ぼけの生じた画像となる。「仮想焦点面画像」もこれに似た性質を持ち、仮想焦点面上では画像の鮮鋭度が高く、仮想焦点面から離れた点になるにつれ、画像にぼけが生じる。また、仮想焦点面上では、複数の異なるカメラで同一場面の画像を複数枚撮影することと、同様の効果を得られる。そのため、ノイズを低減し、画質の向上した画像を得ることができる。さらに、視差をサブピクセル単位で推定することで、基準画像と参照画像のサブピクセル単位でのずれ量を推定することもできるため、高解像度化の効果を得ることもできる。
＜１−２＞任意の仮想焦点面
＜１−１＞では、「仮想焦点面」をある一定の奥行き上に存在するものとして考えた。しかしながら、一般にユーザが画像から何らかの情報を得ようとする場合に、注目する領域は、カメラに対してフロントパラレルな平面上に存在するとは限らない。
例えば、第３図（Ａ）に示すようなシーンで、斜めに配置された横断幕上の文字に注目したとすると、必要とする文字の情報が、カメラに対してフロントパラレルな平面ではない平面上に存在していることとなる。
そこで、本発明では、第６図に示すように、画像上で指定した任意の領域に仮想焦点面を持つ仮想焦点面画像を生成する。第６図に示す任意の仮想焦点面に対する仮想焦点面画像の場合において、その任意の仮想焦点面の配置を第７図に示す。第７図から分かるように、点線で示された（ｃ）の位置に仮想焦点面を置いた場合において、その仮想焦点面は、カメラに対してフロントパラレルな平面ではない平面なので、つまり、任意の仮想焦点面である。
本発明で生成する「仮想焦点面画像」は、カメラに対してフロントパラレルな平面に限らず、空間中の任意の平面を焦点面とする。つまり、本発明によって生成される「仮想焦点面画像」は、画像上で任意の平面に合焦した画像であるといえる。
本発明で生成する「仮想焦点面画像」は、一般的にレンズ光軸と受光素子が直交していないようなカメラを用いないかぎり撮影を行うことが難しく、任意の平面に対して焦点を合わせた撮影を行うことは、通常の固定された光学系のカメラでは不可能である。
また、＜１−１＞で述べた撮像面に平行な仮想焦点面を持つ画像は、任意に設定された焦点面が撮像面に平行となった特殊な場合に、本発明を用いて生成された「仮想焦点面画像」であると言える。このことから、ここで述べる任意の仮想焦点面を持つ仮想焦点面画像は、より一般性がある。
要するに、本発明の高解像度仮想焦点面画像生成方法によって生成される「仮想焦点面画像」とは、任意の仮想焦点面を持つ画像（以下、「一般化された仮想焦点面画像」、或いは、単に、「仮想焦点面画像」と称する）である。
第８図に、本発明による一般化された仮想焦点面画像を生成するための処理の概略を模式的に示す。第８図に示されるように、本発明では、まず、撮影位置の異なる複数の画像が構成する１組の多視点画像（例えば、２次元状に配置した２５眼カメラアレイで撮影して得られた多眼ステレオ画像）を取得する。
そして、取得された多視点画像に対し、ステレオマッチング（即ち、ステレオ３次元計測）を行うことにより、対象シーンの視差を推定し、視差画像（以下、単に視差マップとも言う）を得るといった処理（視差推定処理）を行う。
次に、多視点画像を構成する複数の画像から「基準画像」として選択された１枚の画像に対して、ユーザは、注目したい画像上の任意の領域を指定する。即ち、基準画像上における所望の任意の領域を「注目領域」として選択する「領域選択処理」が行われる。
それから、「視差推定処理」で得られた「視差画像」を基に、「領域選択処理」で指定された画像上の「注目領域」に対する視差空間中の平面を推定し、推定した平面を「仮想焦点面」とする「仮想焦点面推定処理」が行われる。
最後に、「仮想焦点面推定処理」で推定された「仮想焦点面」に対して、多視点画像を構成する全ての画像を変形するための画像の対応関係を示す「画像変形パラメータ」を求めて、求めた「画像変形パラメータ」を用いて、多視点画像を構成する全ての画像を変形することにより、基準画像より高い画質を有する「仮想焦点面画像」を生成する「画像統合処理」が行われる。
上述した処理の流れに沿って、本発明は、低画質の多視点画像から高画質でかつ任意所望の仮想焦点面を持つ仮想焦点面画像を生成する。即ち、本発明によれば、低画質の多視点画像に基づいて、画像上に指定された任意の注目領域に対して焦点の合った高画質な画像を合成することができる。
＜２＞本発明による多視点画像を用いた仮想焦点面画像生成処理
以下では、本発明に係る高解像度仮想焦点面画像生成方法について、更に具体的に説明する。
＜２−１＞本発明における視差推定処理
まず、本発明における視差推定処理（即ち、第８図の視差推定処理）についてより詳細に説明する。
＜２−１−１＞２平面を用いたキャリブレーション
本発明の視差推定処理とは、多視点画像（多眼ステレオ画像）を用いて、基準画像に対する参照画像の対応点を探索することにより視差を推定し、視差画像（視差マップ）を取得する処理である。
このとき、ステレオカメラ間では、非特許文献７に開示された「２平面を用いたキャリブレーション」が行われており、キャリブレーション平面は、基準カメラの光軸と垂直であるとする。ここで「基準カメラ」とは、基準画像を撮影したカメラのことを意味する。
非特許文献７に開示された「２平面を用いたキャリブレーション」では、ステレオ３次元計測対象となる空間中のある２平面について、それぞれの平面同士を一致させる射影変換行列の形式で、画像間の関係を取得しておく。
即ち、第９図に示すように、この２平面をそれぞれΠ０，Π１とすると、それぞれの平面上での画像間の関係を与える射影変換行列は、Ｈ０，Ｈ１となる。
本発明の視差推定処理では、この２平面を用いたキャリブレーションから導かれる、下記数１に示す射影変換行列Ｈαを利用する。
【数１】
2008050904.tif 000003
このとき、αを「一般化された視差」と呼び、以下、このαを単に「視差」とも呼ぶ。
ここで、ある視差αについて、数１より求められる射影変換行列Ｈαを用いて、参照画像を変形する。即ち、射影変換行列Ｈαにより、参照画像を基準画像へと重ねるように行う変形は、下記数２のように表せる。
【数２】
2008050904.tif 000004
2008050904.tif 000005
照画像上の座標ｍ′の同次座標を表す。更に、記号〜は、同値関係を表し、両辺が定数倍の違いを許して等しいことを意味している。
＜２−１−２＞視差推定処理
上記数１及び数２から分かるように、数２によって与えられる変形（即ち、参照画像を基準画像へと重ねるように行う変形）は、数１により、一般化された視差αによってのみ変化する。
よって、αの値を変化させながら、基準画像と変形された参照画像の各画素ごとの値を比較し、両者の画素ごとの値が一致するようになるαの値を探索するようにする。これにより、一般化された視差αを推定することができる。
なお、画素値の比較の評価値には、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を用いた領域ベースの手法を用い、また、多眼ステレオ画像を用いた結果の統合には、ＳＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）を用いた（非特許文献３を参照）。
上述した本発明の視差推定処理によれば、多眼ステレオ画像（多視点画像）を用いて、画像上のすべての画素に対する密な視差マップ（視差画像）を推定することができる。
＜２−２＞本発明における仮想焦点面推定処理
次に、本発明における仮想焦点面推定処理（即ち、第８図の仮想焦点面推定処理）について、より詳細に説明する。
本発明の仮想焦点面推定処理では、＜１−２＞で述べた「領域選択処理」により、基準画像上からユーザの選択した「注目領域」（以下、この「注目領域」を「処理領域」とも言う）を取得し、この注目領域内の点が存在する視差空間中での平面を求め、求めた平面を仮想焦点面とする。
本発明では、ユーザの指定する注目領域内（処理領域内）に存在する点は、実空間中でほぼ同一の平面上にあるものと仮定する。
第１０図は、＜２−１＞で述べた視差推定処理により求められた視差推定結果の一例であり、また、ユーザの指定する注目領域（処理領域）は、第１０図（Ａ）の基準画像上に緑の実線で示された矩形範囲であり、第１０図（Ｂ）の視差マップ上にも緑の実線でその注目領域を示している。
第１０図に示されるように、処理領域内での視差マップは、（ｕ，ｖ，α）視差空間中で同一平面上に存在する。ここで、（ｕ，ｖ）は画像上の２軸を表し、αは視差である。
このとき、視差空間で同一平面上に存在する点の集合は、実空間中においても、同一平面上に存在するとみなすことができる。その理由については、即ち、実空間と視差空間の関係について、後述する。
このことから、実空間中の注目平面に対応する視差空間中での領域は、平面として求められ、推定された視差マップを最良近似する平面を、最小二乗法を用いて、下記数３のように推定することができる。
【数３】
2008050904.tif 000006
ここで、αは視差空間中で平面として求められた視差である。また、ａ，ｂ，ｃは、それぞれ推定される平面パラメータである。
実際には、推定された視差マップから全てのデータを用いると、テクスチャレス領域での視差推定ミスなどが推定結果に反映されてしまう。第１０図（Ｂ）の視差マップにおいても、視差推定ミスが生じ、一部の点が平面から外れた値をとっていることが分かる。
そのため、本発明では、画像上のエッジを抽出し、エッジの存在する部分で求められる視差のみを用いて平面を推定することで、視差推定ミスの影響を軽減することができる。第１０図（Ｃ）では、赤で示された点がこうしたエッジ上の視差であり、視差推定ミスの影響を軽減されていることがよく分かる。
ここで、実空間と視差空間の関係について、以下のように述べる。
上述したように、視差空間中で平面として求められた視差は、数３のように表される。このとき、実空間（Ｘ，Ｙ，Ｚ）上において、視差空間（ｕ，ｖ，α）上の平面が、どのような分布を取るのかについて考える。
視差空間中で視差αをとる、実空間中に存在するある点の奥行きＺｗは、下記数４で与えられる。
【数４】
2008050904.tif 000007
ここで、Ｚ０，Ｚ１は、第９図のように定められる、基準カメラからキャリブレーション平面Π０，Π１までの距離である。
一方、第１１図に示すような実空間での幾何学的な関係を考えることにより、ある奥行きＺｗに存在する点Ｐ（Ｘｗ，Ｙｗ，Ｚｗ）のＸ座標Ｘｗについて、ｘ：ｆ＝Ｘｗ：Ｚｗの関係が成り立つ。
このとき、ｘは画像平面上の点であるから、ｘ∝ｕと考えてよい。また、これらの関係はＹ座標に関しても同様であるため、ｋ１，ｋ２をある定数とすることで、下記数５が得られる。
【数５】
2008050904.tif 000008
ここで、数４に数３を代入してαを消去すると、下記数６が得られる。
【数６】
2008050904.tif 000009
数６に数５を代入することで、最終的に下記数７が得られる。
【数７】
2008050904.tif 000010
ただし、Ｚｗが（Ｘ，Ｙ，Ｚ）実空間中において、平面に分布することを表している。
すなわち、視差空間中において平面に分布する点は、実空間中においても平面をとることが示される。
このことから、視差空間において仮想焦点面を推定することは、実空間における仮想焦点面を推定することと一致する。本発明では、仮想焦点面を推定することで、画像変形パラメータを推定しているが、この画像変形パラメータは、視差空間中の関係を求めることで得られる。よって、本発明では、実空間中の仮想焦点面ではなく、視差空間中の仮想焦点面を求めている訳である。
＜２−３＞本発明における画像統合処理
ここで、本発明における画像統合処理（即ち、第８図の画像統合処理）について、より詳細に説明する。
＜１−２＞で既述したように、本発明の画像統合処理とは、推定された仮想焦点面に対して、各参照画像を基準画像に重ねるようにして変形するための画像変形パラメータを推定し、推定した画像変形パラメータを用いて各参照画像を変形することにより、仮想焦点面画像を生成する処理である。
つまり、仮想焦点面画像を生成する（合成する）ためには、仮想焦点面に対して基準画像と全ての参照画像の座標系を一致させる変換を求める必要がある。
このとき、仮想焦点面は（ｕ，ｖ，α）視差空間中の平面として推定され、これは実空間中の平面と対応することから、平面同士を重ねるための変換は、射影変換として表されることが分かる。
即ち、本発明の画像統合処理は、次の手順（ステップ１〜ステップ５）に沿って行われる。
ステップ１：基準画像上の注目領域の各頂点（ｕｉ，ｖｉ）に対応する視差αｉを求める
基準画像上において、選択された注目領域（処理領域）の各頂点について処理する。本実施例では、矩形範囲として選択した注目領域の各頂点（ｕ１，ｖ１），…，（ｕ４，ｖ４）について処理する。このとき、第１２図に示されるように、（ｕ，ｖ，α）視差空間での仮想焦点面は、＜２−２＞で述べた仮想焦点面推定処理によって求められている。よって、仮想焦点面を表す数３より、注目領域の各頂点（ｕｉ，ｖｉ）に対応する視差αｉを求めることができる。
ステップ２：基準画像上の注目領域の各頂点（ｕｉ，ｖｉ）に対応する、参照画像上での対応点の座標位置を求める
ステップ１によって求められた視差αｉから、数１により、注目領域の各頂点（ｕｉ，ｖｉ）に対する座標の変換を求めることができる。よって、視差αｉから、基準画像上の注目領域の４頂点（ｕｉ，ｖｉ）に対応する参照画像上の４頂点（ｕ′ｉ，ｖ′ｉ）への対応関係を４組求めることができる。
ステップ３：頂点同士の対応関係から、これらの座標組を重ね合わせる射影変換行列を求める
画像間の射影変換の関係式は、下記数８のように表される。
【数８】
2008050904.tif 000011
このとき、射影変換行列Ｈは３×３の行列であり、８の自由度を持つ。このことから、ｈ３３＝１として固定し、Ｈの要素を書き下したベクトルｈ＝（ｈ１１，ｈ１２，ｈ１３，ｈ２１，ｈ２２，ｈ１３，ｈ３１，ｈ３２）Ｔを考えることにより、数８を下記数９と整理することができる。
【数９】
2008050904.tif 000012
2008050904.tif 000013
更に、記号〜は、同値関係を表し、両辺が定数倍の違いを許して等しいことを意味している。
2008050904.tif 000014
ことができる。このことから、頂点同士の対応関係を用いて、射影変換行列Ｈを求めることができる。
ステップ４：射影変換行列Ｈを求める
全ての参照画像に対して、ステップ２、ステップ３の処理を行い、平面同士を重ねるための変換を与える射影変換行列Ｈを求める。なお、求めた射影変換行列Ｈは、本発明で言う「画像変形パラメータ」の一具体例である。各参照画像を基準画像に重ねるようにして変形することができるパラメータであれば、本発明の画像変形パラメータとすることができる。
ステップ５：各参照画像を基準画像へと変形し、画像統合処理を行うことにより、仮想焦点面画像を生成する
ステップ１〜ステップ４によって求められた射影変換行列Ｈを用いて、それぞれの参照画像上の注目領域を、基準画像上の注目領域に重ねるようにして変形することができる。即ち、参照画像について変形を行うことで、注目領域について、多視点から撮影された画像を一枚の画像へと重なるように変形し、統合することができる。即ち、画像を一枚に統合することによって、仮想焦点面画像を合成することができる。
特に、本発明では、視差がサブピクセル精度で求められることから、第１３図に模式的に図示されたように、多視点画像を構成する各原画像（即ち、各参照画像）の画素をサブピクセル精度で射影し、組み合わせて統合することができる。
そして、第１３図に示されたように、統合された画素群を任意の細かさの格子で区切り、この格子を画素とする画像を生成することで、任意の解像度の画像を得ることができる。区切られた各格子に割り当てる画素値は、各格子に含まれる、各参照画像から射影された画素の画素値を平均化して求める。射影された画素が含まれない格子については、補間を用いて画素値を割り当てる。
このようにして、任意の解像度を持つ仮想焦点面画像を合成することができる。つまり、本発明によれば、多視点画像より高い解像度を持つ仮想焦点面画像、すなわち、高解像度仮想焦点面画像を簡単に生成することができることは言うまでも無い。
＜３＞実験結果
多視点画像を用いて、多視点画像より高い解像度を持つ仮想焦点面画像を簡単且つ迅速に生成できるといった本発明の優れた効果を検証するために、多視点画像として、合成ステレオ画像及び多眼実画像をそれぞれ用いて、本発明の高解像度仮想焦点面画像生成方法による仮想焦点面画像を合成する実験を行った。以下、それらの実験結果を示す。
＜３−１＞合成ステレオ画像を用いた実験
第１４図には、合成ステレオ画像を用いた実験の設定条件を示している。第１４図（Ｂ）の撮影状況に示すように、合成ステレオ画像は、２５眼カメラを用いて、壁面、カメラに相対する平面、直方体の撮影を想定したものである。
第１５図には、合成されたすべての画像（合成ステレオ画像）が示されている。また、第１４図（Ａ）には、第１５図に示す合成ステレオ画像から選択された基準画像を拡大して示している。なお、第１４図（Ａ）における矩形領域１、２は、それぞれユーザの指定した処理領域（注目領域）である。また、本実験では２５眼のカメラを５×５の等間隔の格子状に配置して実験を行った。
第１５図に示す合成ステレオ画像を用いた実験の結果を第１６図に示す。第１６図（Ａ１）及び第１６図（Ａ２）は、それぞれ第１４図（Ａ）における注目領域１、２に対応する仮想焦点面画像である。
第１６図（Ａ１）及び第１６図（Ａ２）に示される仮想焦点面画像から、それぞれ注目領域（処理領域）の存在する平面に対して焦点が合い、他の領域がぼけた画像が得られていることがよく分かる。特に、第１６図（Ａ１）では、焦点面が斜めに存在し、空間中の直方体の一面と、その延長線上の床面に焦点があっていることが分かる。
一方、第１６図（Ｂ１）及び第１６図（Ｂ２）には、それぞれ基準画像における注目領域１、注目領域２を示している。また、第１６図（Ｃ１）及び第１６図（Ｃ２）は、３×３倍に高解像度化した仮想焦点面画像である。これらの画像を比較することにより、それぞれ本発明による実現した高解像度化により、画質が向上していることが分かる。
＜３−２＞多眼実画像を用いた実験
第１７図に、多眼実画像を用いる実験に、使用された２５枚の実画像を示す。第１７図に示す多眼実画像は、１台のカメラを平行移動ステージに固定し、５×５の２５眼格子状配置のカメラを想定して撮影した画像である。
ちなみに、カメラ間隔は３ｃｍである。また、カメラはＢａｙｅｒカラーパターンを用いた単板ＣＣＤカメラであり、レンズ歪みは２平面によるキャリブレーションとは別にキャリブレーションを行った上で、ｂｉｌｉｎｅａｒ補間法を用い、補正した。
第１８図に、第１７図に示す多眼実画像を用いた実験の結果を示す。第１８図（Ａ）は基準画像及び注目領域（緑の実線で示された矩形範囲）を表し、第１８図（Ｂ）は合成された仮想焦点面画像を表している。また、第１８図（Ｅ）は基準画像における注目領域（処理領域）を拡大したものであり、第１８図（Ｆ）は、注目領域に対して３×３倍の高解像度化処理を行った仮想焦点面画像である。
これらの画像を比較することにより、画像上に含まれるノイズ成分が大幅に低減されていることがよく分かる。また、画像中の文字の可読性が向上し、精細なテクスチャ情報がより鮮明に得られることから、本発明による高解像度化の効果も確認できる。
第２０図は、第１７図に示す多眼実画像を撮影したカメラ配置と同様のカメラ配置を用いて、ＣＩＰＡ  ＤＣ−００３に基づく解像度測定（非特許文献８を参照）を行った実験結果である。この規格は、デジタルカメラで撮像されたＩＳＯ  １２２３３標準解像度測定チャート上のくさびの解像本数を求めることにより、デジタルカメラの有効解像度を算出するものである。撮影された２５眼実画像のうち、中央の一枚を第１９図に示す。この画像上のくさびの解像度を、本発明の方法を用いることにより向上した。
第２０図において、画像を比較することにより、原画像よりも２×２倍、３×３倍の画像で、それぞれ解像感が向上していることが確認できる。また、第２０図におけるグラフは、縦軸に解像度測定法を用いて測定された解像度を、横軸に倍率を示したものであり、グラフは、倍率の増加に伴い、解像度が大きく向上していることがよく分かる。これにより、本発明が高解像度化に対しても有効であることが、定量的にも裏付けられる。つまり、本発明により生成された仮想焦点面画像において、注目領域に対する原画像より所望の高画質画像が得られることも実験により確認された。
【産業上の利用可能性】
【０００６】
本発明に係る高解像度仮想焦点面画像生成方法は、撮影対象に対して複数の異なる視点から撮影を行って取得された多視点画像を用いて、所望の任意の解像度を有する仮想焦点面画像を簡単且つ迅速に生成できるようにした方法である。
非特許文献６に開示されている従来の方法では、ユーザは焦点面を希望の平面に合わせる際に、満足できる仮想焦点面画像を得られるまでパラメータを逐次に調整する必要があったのに対し、本発明により、仮想焦点面画像を生成する際のユーザの負担が大幅に削減され、即ち、本発明では、ユーザの操作は画像中から注目する領域を指定するという操作のみとなる。
また、本発明によって生成される仮想焦点面画像は、任意の解像度を持つことが可能であるため、本発明によれば、原画像（多視点画像）と比較して、高い解像度を持った画像を生成できるといった優れた効果を奏する。
即ち、画像上の注目領域では、ノイズ低減や高解像度化といった高画質化の効果を得ることができる。
＜参考文献一覧＞
【非特許文献１】パーク  エス．シー．（Ｐａｒｋ，Ｓ．Ｃ．）、パーク  エム．ケイ．（Ｐａｒｋ，Ｍ．Ｋ．）、カン  エム．ジイ．（Ｋａｎｇ，Ｍ．Ｇ．）共著，「スーパーレゾルーション  イメージ  リコンストラクション：ア  テクニカル  オーバービュー（Ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ  ｉｍａｇｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ：ａ  ｔｅｃｈｎｉｃａｌ  ｏｖｅｒｖｉｅｗ）」，ＩＥＥＥ  シグナル  プロセシング  マガジン（ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ），２００３年，第２０巻，第３号，ｐ．２１−３６
【非特許文献２】池田薫・清水雅夫・奥富正敏共著，「ステレオ画像を用いた画質と視差推定精度の同時改善」，情報処理学会論文誌：コンピュータビジョンとイメージメディア，２００６年，第４７巻，第ＮＳＩＧ９号（ＣＶＩＭ１４），ｐ．１１１−１１４
【非特許文献３】オクトミ  エム．（Ｏｋｕｔｏｍｉ，Ｍ．）、カナデ  ティー．（Ｋａｎａｄｅ，Ｔ．）共著，「ア  マルチプルベースライン  ステレオ．（Ａ  ｍｕｌｔｉｐｌｅｂａｓｅｌｉｎｅ  ｓｔｅｒｅｏ．）」，ＩＥＥＥ  トランス．オン  ＰＡＭＩ（ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  ＰＡＭＩ），１９９３年，第１５巻，第４号，ｐ．３５３−３６３
【非特許文献４】シミズ  エム．（Ｓｈｉｍｉｚｕ，Ｍ．）、オクトミ  エム．（Ｏｋｕｔｏｍｉ，Ｍ．）共著，「サブピクセル  エスティメイション  エラー  キャンセレイション  オン  エリアベーセド  マッチング（Ｓｕｂ−ｐｉｘｅｌ  Ｅｓｔｉｍａｔｉｏｎ  Ｅｒｒｏｒ  Ｃａｎｃｅｌｌａｔｉｏｎ  ｏｎ  Ａｒｅａ−Ｂａｓｅｄ  Ｍａｔｃｈｉｎｇ）」，インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ），２００５年，第６３巻，第３号，ｐ．２０７−２２４
【非特許文献５】ウィルバン  ビー．（Ｗｉｌｂｕｒｎ，Ｂ．）、ジョーシー  エヌ．（Ｊｏｓｈｉ，Ｎ．）、バイシュ  ブィ．（Ｖａｉｓｈ，Ｖ．）、タルヴァラ  イー．ブィ．（Ｔａｌｖａｌａ，Ｅ．−Ｖ．）、アンチュネザ  イー．（Ａｎｔｕｎｅｚ，Ｅ．）、バルト  エイ．（Ｂａｒｔｈ，Ａ．）、アダムス  エイ．（Ａｄａｍｓ，Ａ．）、ホロビッツ  エム．（Ｈｏｒｏｗｉｔｚ，Ｍ．）、レボイ  エム．（Ｌｅｖｏｙ，Ｍ．）共著，「ハイ  パフォーマンス  イメージング  ユシング  ラージ  カメラ  アレイス（Ｈｉｇｈ  ｐｅｒｆｏｒｍａｎｃｅ  ｉｍａｇｉｎｇ  ｕｓｉｎｇ  ｌａｒｇｅ  ｃａｍｅｒａ  ａｒｒａｙｓ）」，ＡＣＭ  トランスアクションズ  オン  グラフィックス（ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ），２００５年，第２４巻，第３号，ｐ．７６５−７７６
【非特許文献６】バイシュ  ブィ．（Ｖａｉｓｈ，Ｖ．）、ガルガ  ジィー．（Ｇａｒｇ，Ｇ．）、タルヴァラ  イー．ブィ．（Ｔａｌｖａｌａ，Ｅ．−Ｖ．）、アンチュネザ  イー．（Ａｎｔｕｎｅｚ，Ｅ．）、ウィルバン  ビー．（Ｗｉｌｂｕｒｎ，Ｂ．）、ホロビッツ  エム．（Ｈｏｒｏｗｉｔｚ，Ｍ．）、レボイ  エム．（Ｌｅｖｏｙ，Ｍ．）共著，「シンセティック  アパーチャー  フォーカシング  ユシング  ア  シーア  ワープ  ファクトライザション  オフ  ザ  ビューイング  トランスフォーム（Ｓｙｎｔｈｅｔｉｃ  Ａｐｅｒｔｕｒｅ  Ｆｏｃｕｓｉｎｇ  ｕｓｉｎｇ  ａ  Ｓｈｅａｒ−Ｗａｒｐ  Ｆａｃｔｏｒｉｚａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｖｉｅｗｉｎｇ  Ｔｒａｎｓｆｏｒｍ）」，ＣＶＰＲ（ＣＶＰＲ），２００５年，第３巻，ｐ．１２９−１２９
【非特許文献７】蚊野浩・金出武雄共著，「任意のカメラ配置におけるステレオ視とステレオカメラ校正」，電子情報通信学会論文誌，１９９６年，第Ｊ７９−Ｄ−ＩＩ巻，第１１号，ｐ．１８１０−１８１８
【非特許文献８】カメラ映像機器工業会標準化委員会著，「デジタルカメラの解像度測定方法」，ＣＩＰＡ  ＤＣ−００３
【図１１】
2008050904.tif 000015
【図１】
2008050904.tif 000016
【図２】
2008050904.tif 000017
【図３】
2008050904.tif 000018
【図４】
2008050904.tif 000019
【図５】
2008050904.tif 000020
【図６】
2008050904.tif 000021
【図７】
2008050904.tif 000022
【図８】
2008050904.tif 000023
【図９】
2008050904.tif 000024
【図１０】
2008050904.tif 000025
【図１２】
2008050904.tif 000026
【図１３】
2008050904.tif 000027
【図１４】
2008050904.tif 000028
【図１５】
2008050904.tif 000029
【図１６】
2008050904.tif 000030
【図１７】
2008050904.tif 000031
【図１８】
2008050904.tif 000032
【図１９】
2008050904.tif 000033
【図２０】
2008050904.tif 000034
【国際調査報告】
2008050904.tif 000035
2008050904.tif 000036
2008050904.tif 000037
2008050904.tif 000038