(57)【特許請求の範囲】
【請求項１】
三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、
前記三次元形状を再構成する工程は、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。
【請求項２】
三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、
前記三次元形状を再構成する工程は、
複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。
【請求項３】
前記表面模様を生成する工程は、
一様な平面または平面に近い領域全域が獲得されている画像から、該領域を切り出す工程と、
前記切り出された領域内の表面模様に歪み補正や色及び濃淡補正を行う工程とを有することを特徴とする請求項１又は２記載の三次元シーンの形状と表面模様の再構成方法。
【請求項４】
前記歪み補正や色及び濃淡補正を行う工程は、
前記切り出された領域に、撮像面と撮影領域とが平行でないことから生じる幾何歪みが存在する場合に、幾何歪みを補正する工程と、
光源の位置や光量などの影響で、均一な陰影及び明暗が得られていない場合に、不均一な陰影及び明暗を補正する工程と、
障害物等によって隠された部分がある場合に、その部分を内挿外挿により補正する工程の全部または一部を含むことを特徴とする請求項３記載の三次元シーンの形状と表面模様の再構成方法。
【請求項５】
前記領域を切り出す工程は、
平面または平面に近い一様な領域が、複数の画像にわたって獲得されている場合に、該複数画像を融合してひとつの大きな画像を生成する工程と、
前記生成された大きな画像から、前記模様領域を切り出す工程とを有することを特徴とする請求項３記載の三次元シーンの形状と表面模様の再構成方法。
【請求項６】
三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、
三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、
前記複数画像の集まりから、三次元形状を再構成する再構成手段と、
前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、
前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、
前記再構成手段は、
各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、
前記第１の指定手段で指定した接続関係及び接続角度情報をもとに、各単眼画像の三次元形状情報を復元する第１の復元手段と、
複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、
前記第２の指定手段で指定された接続関係をもとに、前記第１の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第２の復元手段とを備えることを特徴とする三次元シーンの形状と表面模様の再構成装置。
【請求項７】
三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、
三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、
前記複数画像の集まりから、三次元形状を再構成する再構成手段と、
前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、
前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、
前記再構成手段は、
複数視点から撮影された単眼画像群のうち、近い視点方向から撮影された２つの画像を選ぶ選択手段と、
各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、
前記２つの画像間において同一稜線を指定して、三角測量の原理により３次元的位置を算出することにより三次元形状情報を復元する第３の復元手段と、
複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、
前記第２の指定手段で指定された接続関係をもとに、前記第３の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第４の復元手段とを備えることを特徴とする三次元シーンの形状と表面模様の再構成装置。
【請求項８】
前記生成手段は、
一様な平面または平面に近い領域全域が獲得されているような画像から、該領域を切り出す切出手段と、
前記切り出された領域の歪み補正や色及び濃淡補正を行う補正手段とを備えることを特徴とする請求項６又は７記載の三次元シーンの形状と表面模様の再構成装置。
【請求項９】
前記補正手段は、切り出された領域の撮像場面と撮影領域とが平行でないことから幾何歪みが生じる場合には、幾何歪みを補正し、光源の位置や光量などの影響で均一な陰影及び明暗が得られていない場合には、不均一な陰影及び明暗を補正し、障害物等によって隠された部分がある場合には、その部分を内挿外挿により補正することを特徴とする請求項８記載の三次元シーンの形状と表面模様の再構成装置。
【請求項１０】
前記切出手段は、
平面または平面に近い一様な領域が複数の画像にわたって獲得されている場合に、前記複数画像を融合して１つの大きな画像を生成する手段と、
前記大きな画像から前記模様領域を切り出す手段とを有することを特徴とする請求項８記載の三次元シーンの形状と表面模様の再構成装置。
【請求項１１】
三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、
所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、
前記三次元形状を再構成する工程は、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。
【請求項１２】
三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、
所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、
前記三次元形状を再構成する工程は、
複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は三次元シーンの形状と表面模様の再構成方法およびその装置に関するものである。
【０００２】
【従来の技術】
室内などの三次元シーンの形状や表面模様を三次元的に再構成する場合には、▲１▼ＣＡＤを用いて幾何形状をモデリングした幾何形状モデルを用いたり、▲２▼室内の設計図の数値データをもとに幾何形状を入力し幾何形状モデルを作成したり、▲３▼実際の室内で壁の高さや幅を巻き尺などにより計測して数値を求め幾何形状モデルを作成する、等の種々の方法により幾何形状モデルを作成し、一方で、その形状モデルの表面の模様として別途模様画像を用意しておき、テクスチャーマッピングの技術により三次元空間を構築する手法がある。ここで、別途用意する模様画像には、実写の画像やコンピュータグラフィックス技術によって作成した画像等を用いることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来は、設計図などの数値データがない場合やＣＡＤで作成した形状モデルデータがない場合には、実際の建物の壁の高さや幅を巻き尺等で計測しなければならず、このような手間のかかる作業を行うことなく建物の写真などから簡便に幾何形状モデルが作成できないという問題があった。
【０００４】
本発明は、前記従来の欠点を除去し、実際の建物の壁の高さや幅を巻き尺等で計測せずに、建物の写真などから簡便に幾何形状モデルを作成する三次元シーンの形状と表面模様の再構成方法およびその装置を提供する。
【０００５】
【課題を解決するための手段】
この課題を解決するために、本発明の三次元シーンの形状と表面模様の再構成方法は、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、前記三次元形状を再構成する工程は、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、前記三次元形状を再構成する工程は、複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
【０００６】
ここで、前記表面模様を生成する工程は、一様な平面または平面に近い領域全域が獲得されている画像から、該領域を切り出す工程と、前記切り出された領域内の表面模様に歪み補正や色及び濃淡補正を行う工程とを有する。また、前記歪み補正や色及び濃淡補正を行う工程は、前記切り出された領域に、撮像面と撮影領域とが平行でないことから生じる幾何歪みが存在する場合に、幾何歪みを補正する工程と、光源の位置や光量などの影響で、均一な陰影及び明暗が得られていない場合に、不均一な陰影及び明暗を補正する工程と、障害物等によって隠された部分がある場合に、その部分を内挿外挿により補正する工程の全部または一部を含む。また、前記領域を切り出す工程は、平面または平面に近い一様な領域が、複数の画像にわたって獲得されている場合に、該複数画像を融合してひとつの大きな画像を生成する工程と、前記生成された大きな画像から、前記模様領域を切り出す工程とを有する。
【０００７】
又、本発明の三次元シーンの形状と表面模様の再構成装置は、三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、前記複数画像の集まりから、三次元形状を再構成する再構成手段と、前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、前記再構成手段は、各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、前記第１の指定手段で指定した接続関係及び接続角度情報をもとに、各単眼画像の三次元形状情報を復元する第１の復元手段と、複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、前記第２の指定手段で指定された接続関係をもとに、前記第１の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第２の復元手段とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、前記複数画像の集まりから、三次元形状を再構成する再構成手段と、前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、前記再構成手段は、複数視点から撮影された単眼画像群のうち、近い視点方向から撮影された２つの画像を選ぶ選択手段と、各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、前記２つの画像間において同一稜線を指定して、三角測量の原理により３次元的位置を算出することにより三次元形状情報を復元する第３の復元手段と、複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、前記第２の指定手段で指定された接続関係をもとに、前記第３の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第４の復元手段とを備える。
【０００８】
ここで、前記生成手段は、一様な平面または平面に近い領域全域が獲得されているような画像から、該領域を切り出す切出手段と、前記切り出された領域の歪み補正や色及び濃淡補正を行う補正手段とを備える。また、前記補正手段は、切り出された領域の撮像場面と撮影領域とが平行でないことから幾何歪みが生じる場合には、幾何歪みを補正し、光源の位置や光量などの影響で均一な陰影及び明暗が得られていない場合には、不均一な陰影及び明暗を補正し、障害物等によって隠された部分がある場合には、その部分を内挿外挿により補正する。また、前記切出手段は、平面または平面に近い一様な領域が複数の画像にわたって獲得されている場合に、前記複数画像を融合して１つの大きな画像を生成する手段と、前記大きな画像から前記模様領域を切り出す手段とを有する。
【０００９】
又、本発明の三次元シーンの形状と表面模様の再構成方法は、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、前記三次元形状を再構成する工程は、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、前記三次元形状を再構成する工程は、複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面に従って、本発明の実施例を説明する。
＜本実施例の装置の構成例＞
図１は本実施例を実現する装置の構成を示すブロック図である。
１は、本装置を制御する演算・制御用のＣＰＵ、２は、後述の制御プログラム及び演算・制御に必要なデータを記憶するデータ記憶部を有する、ＲＯＭあるはＲＡＭから成る記憶装置、３は、オペレータから指令を入力するためのマウス等のポインティングデバイス、４は、データ及び指令を入力するためにキーボード、５は、画像表示装置から成り本実施例ではウインドウシステムにより制御されている。６は、スキャナ等の画像呼び取り装置、あるいは媒体や通信を介して画像データを入力する画像入力インタフェース、７は、上記各構成要素を接続するバスである。
【００１１】
＜本実施例の装置の処理例＞
図２に本実施例の流れ図を示し、図２を用いて動作手順を詳細に説明する。
ステップＳ２０１にて、室内シーンなどの単眼二次元画像を読み込む。この画像は、一般的なフィルム式のスチルカメラにより室内などの三次元空間のシーンを様々な方向から様々な場所の撮影を数回行い、フィルムスキャナにより画像データ化したり、あるいは、ビデオカメラなどにより動画を撮影して、静止画としてテジタイズする、あるいは、電子スチルカメラを用いて直接的に電子的に画像データをするなどの方法を用いる。
【００１２】
これらの画像の集まりから、ステップＳ２０２により、三次元空間のシーンの形状を再構成する。また、ステップＳ２０３により、三次元シーンを例えば壁一枚といった平面または平面に近い領域の集まりと考え、それらの表面の模様をテクスチャー画像として獲得する。そして、ステップＳ２０３で得られた各テクスチャー画像が、ステップＳ２０２にて得られた三次元形状のどの場所のどの位置にあたるかを、ステップＳ２０４にて指定する。三次元形状とその表面の模様は形状に付随した形で得られるので、ステップＳ２０５にて、表面模様付き幾何形状データとして、再構成された三次元幾何形状とそれと対応のとれたテクスチャー画像とを保存する。以後、このデータを一般的な三次元幾何形状のテクスチャーマッピングの技術を用いることによって、模様付きの三次元空間として再構成できる。
【００１３】
これらのステップＳ２０２、ステップＳ２０３、ステップＳ２０４の各ステップを、以下に更に詳細に説明する。
（再構成手順Ｉ；Ｓ２０２）
ステップＳ２０２の、三次元空間のシーンの形状を再構成する処理手順について、図３を用いて詳しく述べる。
【００１４】
まず、ステップＳ３０１にて、ある１つの画像を選択する。その画像において、例えば壁と壁の境界のような、シーンの三次元形状の稜線に相当する画像中でのエッジをマウスで指定する（ステップＳ３０２）。このとき、（ａ）得られるエッジが画像中に両端点を持つ場合は、線分として、（ｂ）一方の端点は画像中にあり、他方が画像の外への解放端となっている場合は、半直線として、（ｃ）両端点が共に画像中にない場合は、直線として表現する。図４にその例を模式図で示す。
【００１５】
次に、ステップＳ３０３にて、ステップＳ３０２で得られた線分／半直線／直線の接続関係と接続角度情報とを入力する。例えば、図４の撮影画像例１の場合、（１）線分Ａと半直線Ｂとは端点で接続しており直交する、（２）線分Ａと線分Ｃとは端点で接続しており直交する、（３）半直線Ｂと線分Ｃとは端点で接続しており直交する、などといった情報を入力する。このステップＳ３０３を指定が可能な情報の入力が終了するまで繰り返す（ステップＳ３０４）。
【００１６】
次に、ステップＳ３０５にて、その画像から消失点が２点計算できるかを調べる。ここで、２点の消失点は、ステップＳ３０３にて指定した線分／半直線／直線のうちに実空間で平行する２線があり、各々の平行な線が作る面同士が直交する場合で、かつ、平行する２線が画像面上で平行でない場合に計算できる。このステップＳ３０５が真の場合、ステップＳ３０６に進む。ステップＳ３０６にて消失点の算出を行う。これは、画面上の２直線の交点として求める。
【００１７】
次に、ステップＳ３０７にて画像中の線分／半直線／直線の方向ベクトルを求める。このステップＳ３０７の手法を以下に詳しく述べる。
まず、画像を撮影したカメラの焦点距離を求める。図５のように三次元空間中の４直線Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 が、
Ｌ1 ‖Ｌ2 ，Ｌ3 ‖Ｌ4
Ｌ1 ⊥Ｌ2 ，Ｌ3 ⊥Ｌ4
（‖は平行、⊥は垂直を表す）であるとき、Ｌ1 とＬ2 との交点（消失点）をｖ1 、Ｌ3 とＬ4 の交点（消失点）をｖ2 とすると（ｖ1 ＝（ｖ11，ｖ12），ｖ2 ＝（ｖ21，ｖ22）とする）、撮像面と焦点位置との距離、すなわち焦点距離（画面距離）ｃは、
ｃ＝（ｖ1 ・ｖ2 ）1/2                             …式（１）
として求まる。
【００１８】
さらに、Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 の方向ベクトルをＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とすると、
【００１９】
【数１】
0003703178.tif 000002
として方向ベクトルが求まる。
これらの方向ベクトルをもとに、線分／半直線／直線の関係を利用して、他の線分／半直線／直線の方向ベクトルも計算する。
【００２０】
ステップＳ３０５が偽の場合には、ステップＳ３０６とＳ３０７は飛ばされ、次のステップＳ３０８に進む。これらステップＳ３０１〜Ｓ３０７の処理を各画像で行い、すべての画像にて処理が行われるまで繰り返す（ステップＳ３０８）。
以上ステップＳ３０１〜Ｓ３０８により、各画像１枚のみから求められる形状がそれぞれ復元される。さらに、ステップＳ３０９にて、撮影時のカメラの位置向きが近く、隣接した関係にある画像を選ぶ。そして、ステップＳ３１０で、画像間における線分／半直線／直線の接続関係、同一性を指定する。
【００２１】
この処理を全ての指定が終わるまで繰り返す（ステップＳ３１１）。さらにすべての隣接画像間での指定が終わるまで繰り返す（ステップＳ３１２）。そして、ステップＳ３１３により、ステップＳ３０１〜Ｓ３０８で求められた形状を基に、ステップＳ３０９からＳ３１２の処理によって新たに付加された形状情報からシーン全体の形状を求める。
【００２２】
（模様の獲得手順；Ｓ２０３）
次に、ステップＳ２０３の三次元シーンの表面の模様を模様画像として獲得する工程に関して図６に流れ図を示し、これを用いて更に詳しく説明する。
まず、ステップＳ６０１にて、壁一枚などの獲得したいテクスチャーを選定する。ステップＳ６０２で、そのテクスチャーを含む画像を全画像の中から選ぶ。次に、ステップＳ６０３にて、獲得したいテクスチャーが１枚の画像に収まっているか否かをチェックする。ステップＳ６０３が真ならばステップＳ６０５へ、偽ならばステップＳ６０４に進む。
【００２３】
ステップＳ６０３が偽の場合、獲得したいテクスチャーは複数画像にまたがって存在している。そのため、ステップＳ６０４により、該テクスチャーを含む複数の画像をつなぎ合せて、ひとつの大きな画像に融合する。
（複数画像の合成手順；Ｓ６０４）
このステップＳ６０４の処理を図７を用いて詳しく説明する。
【００２４】
まず、該テクスチャーが含まれる画像群を視点の移動順に並べて通し番号を付け、全枚数をＮ枚とし１〜Ｎ番までの画像とする（ステップＳ７０１）。さらに、各画像をＩmi（i=1,2,…N ）と表す。次に、それらの画像の中のある１つの画像ＩmKをステップＳ７０２にて基準画像として指定する。このステップＳ７０２の指定方法は、先頭の画像、最後の画像、真ん中の画像、任意の画像を操作者が指定する、など、どのような方法でもよい。
【００２５】
該画像群は、視点の移動順に並んでいるため、画像群のうち隣接した画像間ＩmiとＩmi+1（i ＝1,2,…N-1 ）の相関は高い。そこで、ステップＳ７０３にて、すべての隣接画像間にて、この画像間で同一点が移されている点を対応点としてマウスなどの位置指定装置により指定する。この模式図を図８に示す。次に、ステップＳ７０３にて指定された対応点を用いて、隣接画像間で対応点が一致するように一方の画像が他方の画像に座標変換されるアフィン変換の変換行列をステップＳ７０４にて求める。ここで、アフィン変換とは、（ｘ，ｙ）を（ｘ’，ｙ’）へと次式
ｘ’＝ｂ1 ｘ＋ｂ2 ｙ＋ｂ3 ， ｙ’＝ｂ4 ｘ＋ｂ5 ｙ＋ｂ6
のように変換する座標変換である。そして、
【００２６】
【数２】
0003703178.tif 000003
と行列演算により表現でき、Ｂをアフィン変換の変換行列と呼ぶ。
このとき、基準画像ＩmKよりも画像列で前にある画像Ｉmiの場合、すなわち、ｉ＜Ｋのときは、ＩmiからＩmi+1に変換するアフィン変換行列Ｍi を求める。また、基準画像ＩmKよりも画像列で後ろにある画像Ｉmiの場合、すなわち、ｉ＞Ｋの時は、ＩmiからＩmi-1に変換するアフィン変換行列Ｍi を求める。次に、ステップＳ７０５に示すように、各画像Ｉmiから基準画像ＩmKへのアフィン変換行列Ｍi を用いて、ｉ＜ＫのときＴi ＝ＭK-1 ・…・Ｍi+1 ・Ｍi を、ｉ＞ＫのときＴi ＝ＭK+1 ・…Ｍi-1 ・Ｍi を求める。以上により、静止画像列の各画像から基準画像へのアフィン変換行列が求まったことになる。
【００２７】
次に、２次元空間Ｒ2 であるＡをステップＳ７０６にて用意しておく。ステップＳ７０７にて静止画像列Ｉmi（i=1,2,…N ）の画像中心点を求めＣi とする。Ｃi をアフィン変換Ｔi により変換し、Ｃ'i＝Ｔi ・Ｃi として、Ｃ'iを求める。このＣ'iをＡ中に置く（ステップＳ７０８）。すなわち、データ記憶部の２次元位置情報収納領域に点位置情報を格納していく。
【００２８】
次に、ステップＳ７０９にて、図９に示すように Ｃ'iを母点として空間ＡをVoroni分割する。この処理は、該２次元位置情報収納領域中にVoronoi 分割の領域の境界線を線分式として格納し、各Voronoi 領域を線分の集合として記憶しておく。そして、このＣ'iを母点とする各Voronoi 領域をＶi とする（ステップＳ７１０）。そして、ステップＳ７１１により各画像Ｉmiをアフィン変換し、Ｉm'i ＝Ｔi ・ＩmiとしてＩm'i を求める。すなわち、Ｉmiを保存してある記憶装置２の記憶領域上で、各画素に対しアフィン変換した画素位置の座標値を記憶領域に保存しておくことにより、座標変換後のデータを保持しておく。これにより、必要によりＶi ∩Ｉm'i となる２次元空間にＩm'i の値をはめ込むことが可能となる。
【００２９】
さらに、ステップＳ７１２にて、空間Ａの一部に対応した必要とする適当な大きさの画像Ｇを用意する（記憶装置２に記憶領域を用意する）。Ｇは初期状態では、画素に値を持たない状態である。そして、ステップＳ７１３にてＧ上のＶi ∩Ｉm'i となる画像領域にＩm'i の値を代入することにより、Ｇを生成する。ステップＳ７１１，Ｓ７１２の模式図を図１０に示す。
【００３０】
以上により該テクスチャーを含む画像群から、該テクスチャーを内部に包含するひとつの大きな画像を生成することができる。
次に、ステップＳ６０５により、該テクスチャーを内部に包含する該大きな画像からテクスチャー領域を切り出す。これは、マウスなどのポインティングデバイスを用いて操作者の指示により行う。次に、ステップＳ６０５にて得られた該テクスチャーの面は、３次元的空間中で一般に撮像面に対して平行でないため、画像中では幾何歪みが生じている。これを補正するため、ステップＳ６０６にて該テクスチャーの幾何変換を施す。図１１にその例の概念図を示す。
【００３１】
尚、上記実施例では幾何歪みの補正のついてのみ示したが、光源の位置や光量などの影響で均一な陰影及び明暗が得られていない場合には、不均一な陰影及び明暗を補正し、障害物等によって隠された部分がある場合には、その部分を内挿外挿により補正するようにしても良い。
＜他の実施例＞
実施例１と同様に、全体の流れは図２に従い、ステップＳ２０１〜Ｓ２０５という流れである。このうち、ステップＳ２０２の処理を以下のように行う。このステップＳ２０２の処理を図１２を用いて詳細に説明する。
【００３２】
（再構成手順II；Ｓ２０２）
まず、ステップＳ１２０１にて、視点の隣接する２枚の画像を選択する。この２枚の画像において、例えば壁と壁の境界のような、シーンの三次元形状の稜線に相当する画像中でのエッジのうち、その両画像に共通に表れるエッジとその端点をマウスで指定する（ステップＳ１２０２）。このとき、（ａ）得られるエッジが画像中に両端点を持つ場合、線分として、（ｂ）一方の端点は画像中にあり、他方が画像の外への解放端となっている場合、半直線として、（ｃ）両端点が共に画像中にない場合、直線として表現する。図４にその例を模式図で示す。また、指定した端点は両画像の対応点となる。次に、ステップＳ１２０３にて、ステップＳ１２０２で得られた線分／半直線／直線の接続関係、接続角度情報を入力する。たとえば、図４の撮影画像例１の場合、（１）線分Ａと半直線Ｂは端点で接続しており直交する、（２）線分Ａと線分Ｃは端点で接続しており直交する、（３）半直線Ｂと線分Ｃは端点で接続しており直交する、などといった情報を入力する。このステップＳ１２０３を指定が可能な情報の入力が終了するまで繰り返す（ステップＳ１２０４）。
【００３３】
次に、ステップＳ１２０５にて、両画像の対応点の三次元位置を三角測量の原理で求める。これらステップＳ１２０１〜Ｓ１２０５の処理を、すべての隣接画像に対して行い、すべての画像にて処理が行われるまで繰り返す（ステップＳ１２０６）。
さらに、ステップＳ１２０７にて、視点の隣接した関係にある画像を選ぶ。そして、ステップＳ１２０８にて、画像間にて直線・半直線・直線の接続関係、同一性を指定する。この処理をすべての指定が終わるまで繰り返す（ステップＳ１２０９）。さらに、すべての隣接画像間で終わるまで繰り返す（ステップＳ１２１０）。そして、ステップＳ１２１１により、ステップＳ１２０５で求められたエッジの端点の位置をもとに、ステップＳ１２０３とステップＳ１２０８の処理によって得られる形状情報からシーン全体の形状を求める。
【００３４】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明に係るプログラムを格納した記憶媒体が本発明を構成することになる。そして、該記憶媒体からそのプログラムをシステム或は装置に読み出すことによって、そのシステム或は装置が、予め定められた仕方で動作する。
【００３５】
【発明の効果】
本発明により、実際の建物の壁の高さや幅を巻き尺等で計測せずに、建物の写真などから簡便に幾何形状モデルを作成する三次元シーンの形状と表面模様の再構成方法およびその装置を提供できる。すなわち、設計図などの数値データがない場合や、ＣＡＤで作成した形状モデルデータがない場合に、実際の建物の壁の高さや幅を巻き尺等で長さを計測するなどの手間のかかる作業を行うことなく、建物の写真などから簡便に幾何形状モデルを作成する手法がないという問題を解決することが可能となる。
【図面の簡単な説明】
【図１】本実施例の画像処理装置の構成を示すブロック図である。
【図２】本実施例の全体の処理の流れを示すフローチャートである。
【図３】実施例１のステップＳ２０２の処理の流れを示すフローチャートである。
【図４】撮影画像の中に現れる直線／半直線／線分の模式図である。
【図５】消失点の算出式の説明のための補助図である。
【図６】図２のステップＳ２０３の処理の流れを示すフローチャートである。
【図７】図６のステップＳ６０４の処理の流れを示すフローチャートである。
【図８】画像間の対応点指定の模式図である。
【図９】空間ＡをVoronoi 分割する模式図である。
【図１０】画像Ｇの生成の模式図である。
【図１１】テクスチャーの幾何変換の例の模式図である。
【図１２】実施例２のステップＳ２０２の処理の流れを示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ 処理プログラムや画像データを保存するための記憶装置
３ マウス
４ キーボード
５ ウインドウシステム
６ 画像入力のためのインターフェース
７ バス
【図１】
0003703178.tif 000004
【図２】
0003703178.tif 000005
【図３】
0003703178.tif 000006
【図４】
0003703178.tif 000007
【図５】
0003703178.tif 000008
【図６】
0003703178.tif 000009
【図７】
0003703178.tif 000010
【図８】
0003703178.tif 000011
【図９】
0003703178.tif 000012
【図１０】
0003703178.tif 000013
【図１１】
0003703178.tif 000014
【図１２】
0003703178.tif 000015