(57)【特許請求の範囲】
【請求項１】
実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ方法であって、
レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手順と、
対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手順と、
前記算出された凹凸特徴量及び前記算出された画像特徴量を利用して前記対象画像と前記レンジデータの位置合わせを行う位置補正処理手順とを有し、
前記凹凸特徴量算出処理手順では、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、
当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手順では、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること、
前記位置補正処理手順では、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手順と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手順とを有すること
を特徴とする実写画像とレンジデータの位置合わせ方法。
【請求項２】
前記移動量投票処理手順では、
Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とすることを特徴とする請求項１記載の実写画像とレンジデータの位置合わせ方法。
【請求項３】
前記移動量算出処理手順では、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうこと
を特徴とする請求項１または２記載の実写画像とレンジデータの位置合わせ方法。
【請求項４】
実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ装置であって、
レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手段と、
対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手段と、
前記算出された凹凸特徴量、及び前記算出された画像特徴量を利用して、実写画像とレンジデータの位置合わせを行う位置補正処理手段とを備え、
前記凹凸特徴量算出処理手段は、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、
当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手段は、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること
前記位置補正処理手段は、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手段と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手段とを備えたこと
を特徴とする実写画像とレンジデータの位置合わせ装置。
【請求項５】
前記移動量投票処理手段は、
Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とすることを特徴とする請求項４記載の実写画像とレンジデータの位置合わせ装置。
【請求項６】
前記移動量算出処理手段は、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうこと
を特徴とする請求項４または５記載の実写画像とレンジデータの位置合わせ装置。
【請求項７】
請求項１から３のいずれか１項に記載の実写画像とレンジデータの位置合わせ方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元モデルを生成する手法に関して、特に、対象画像を構成する各画素に奥行き情報を付与するための、実写画像とレンジデータの位置合わせ方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、景観のシミュレーションやアミューズメント利用を目的として、精度の高い見た目にもきれいな３次元モデルを利用したいという要望が高まっている。このようなモデルには、精度の高い見た目にもきれいなリアリティの高いものが要求されるので、実写による画像情報に奥行き情報を付与するという手法がしばしば利用される。
【０００３】
このような奥行き情報をより高精度に取得する手段として、これまで、レーザ測距装置などを利用してレンジデータを計測するという技術が開発されている。例えば、公表平１１−５０８３５９号あるいは特開平８−２１７２９号に記載の装置が開発され、比較的簡単にレンジデータを取得することができる。このレンジデータを利用することにより、実写による画像情報に奥行き情報を付与し、３次元モデルを生成することが可能となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したようなレンジデータには、一般的に計測誤差が多く含まれている。また、他の方法により撮影された実写画像についても、撮影したカメラの位置情報や姿勢情報は撮影状況によって誤差が大きくなっている。このような各データを計測する際に生じる誤差の影響により、レンジデータと実写画像の間で位置すれが生じてしまう。このようなデータをそのまま利用すると、実際の距離とは異なる奥行き情報を持った３次元モデルが生成されることになり、見た目のきれいさや精度を求められるような場合での効果的な利用は難しい。また、精度を上げようとすると、このような情報を取得するためのセンサが大きくなったり、高額になったりする。そのため、ヘリコプターや大きなワゴン車といったものに載せる必要があり、例えば、人が持ち歩くといった状況での利用は難しい。
【０００５】
上述したように、従来の技術では、実写による画像情報に奥行き情報を高精度で付与することは難しい。このため、位置精度の高い情報を取得するための大がかりな装置を用意する必要がある。あるいは、人手を介して計測誤差の補正を行う必要がある。この誤差の補正は一意でなく計測された箇所によってばらばらであるため、この作業はかなりの時間と経験を要するものである。そのため、その省力化、更には自動化が強く望まれている。
【０００６】
本発明は上述したような従来の技術が有する問題点や技術的な背景に鑑みてなされたものであって、３次元モデルを生成する際の実写された対象画像を構成する各画素に奥行き情報を付与するための、実写画像とレンジデータの位置合わせ方法及び装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明の実写画像とレンジデータの位置合わせ方法は、実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ方法であって、レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手順と、対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手順と、前記算出された凹凸特徴量及び前記算出された画像特徴量を利用して前記対象画像と前記レンジデータの位置合わせを行う位置補正処理手順とを有し、
前記凹凸特徴量算出処理手順では、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手順では、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること、
前記位置補正処理手順では、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手順と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手順とを有することを特徴とする。
【０００８】
前記移動量投票処理手順では、Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とするとよい。
【０００９】
前記移動量算出処理手順では、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうとよい。
【００１０】
本発明の実写画像とレンジデータの位置合わせ装置は、実写した対象画像を構成する各画素に奥行き情報を付与し、３次元モデルを生成するための実写画像とレンジデータの位置合わせ装置であって、レンジデータから得られる奥行き情報から凹凸に関する凹凸特徴量を算出する凹凸特徴量算出処理手段と、対象画像の方向エッジ画像から画像に関する画像特徴量を算出する画像特徴量算出処理手段と、前記算出された凹凸特徴量、及び前記算出された画像特徴量を利用して、実写画像とレンジデータの位置合わせを行う位置補正処理手段とを備え、
前記凹凸特徴量算出処理手段は、対象点と該対象点について座標軸方向の前後に隣接する２点を含む連続する４点の当該座標軸方向の凹凸を算出し、該凹凸が規定した「平ら（→）、のぼり（↑）、平ら（→）」または「平ら（→）、下り（↓）、平ら（→）」のパターンのいずれかに該当するパターンを有する場合、その対象点に対して、各座標軸方向におけるパターンが前記規定したパターンのいずれかの旨の情報、及び当該対象点の位置情報と含む情報である、凹凸特徴量として算出するとともに、当該対象点を、各方向共に同じパターンを有する各凹凸特徴量を有し、かつ、その間の最短距離が閾値を満たす集まりに分類し、その分類に基づき、当該対象点の凹凸特徴量に分類番号を付与すること、
前記画像特徴量算出処理手段は、対象画像の方向エッジ画像をある方向にスキャンして、対象画素と逆方向のエッジ画素から構成されるエッジペアの間隔が閾値を満たす場合、その方向、及び位置を画像特徴量として算出すること
前記位置補正処理手段は、
指定された方向を有する画像特徴量と凹凸特徴量とを取得した後、同じ分類番号を有する凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後、この算出した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出した後、この算出された距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、この算出値を処理対象集合毎の移動量候補とする移動量投票処理手段と、
前記算出した処理対象集合毎の移動量候補において、移動量が閾値を満たす候補を削除した後、処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出し、これらの組み合わせの中で、得票数が最大の組み合わせを算出した後に、該処理対象集合と隣接する処理対象集合の間の領域の移動量を算出する移動量算出処理手段とを備えたことを特徴とする。
【００１１】
前記移動量投票処理手段としては、Ｘ方向またはＹ方向を有する凹凸特徴量と画像特徴量を取得し、同じ分類番号を有する前記凹凸特徴量をひとつの処理対象集合として、最短距離で結ばれる他の凹凸特徴量と接続した線分の構成点を全て算出した後に、取得した全ての点から指定された方向にスキャンして、重なる前記画像特徴量までの距離を算出し、その距離毎の頻度を投票し、この得票数の全投票数に対する割合が閾値を満たす移動量を算出し、これを移動量候補とするものがある。
【００１２】
前記移動量算出処理手段としては、Ｘ方向またはＹ方向の移動量のうち、移動量の大きい方の方向での移動量の算出を行なうものがある。
【００１３】
本発明の実写画像とレンジデータの位置合わせ方法は、前記実写画像とレンジデータの位置合わせ方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に記録すれば、コンピュータによって実施できる。
【００１６】
本発明では、対象画像を構成する各画素に奥行き情報を付与するための実写画像とレンジデータの位置合わせをする際、レンジデータから抽出した凹凸特徴量（例えば、凹凸のパターン）に関する特徴量、及び画像特徴量（例えば、対象画像から抽出したエッジペア）に関する特徴量を利用して、実写画像とレンジデー夕の位置合わせを行うことにより、その位置合わせを高精度に行い、きれいな３次元モデルを生成する。
【００１７】
また、レンジデータから対象点とそれに隣接する点との凹凸を算出し、凹凸が特定のパターンを有する場合、その方向におけるパターン、及び位置を凹凸特徴量として算出することにより、位置合わせのための移動量の推定においてレンジデータの計測誤差により生じるノイズを軽減し、非常に効率の良い高速な処理を実現する。
【００１８】
また、対象画像の方向エッジ画像をある方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔が閾値を満たす場合の画素の対をエッジペアとして算出すること、更には、その方向、及び位置を画像特徴量として算出することにより、位置合わせのための移動量の推定において、画像処理により生じるノイズを軽減し、効率の良い非常に高速な処理を実現する。
【００１９】
また、算出された凹凸特徴量、及び画像特徴量に対して、同じ凹凸パターンを有する凹凸特徴量の集まりを処理単位として、特徴量の方向が一致するものだけを移動量の投票処理の対象にすることにより、移動量の推定におけるノイズを軽減し、移動量の推定の高精度化、高速化を実現する。
【００２０】
また、算出された前記処理単位の移動量、及び隣接する処理単位における移動量を指定された方向に対して比例配分して、該処理単位間の領域の移動量を算出することにより、特徴量として選択されない領域の移動量を算出し、移動量の推定の高精度化を実現する。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００２２】
本発明の一実施形態例の実写画像とレンジデータの位置合わせ方法を実現する装置の構成を図１に示す。
【００２３】
本実施形態例の装置は、オペレータから処理を受け付け、処理結果を３次元モデルデータベース７ヘ格納する入出力処理手段１と、レンジデータから得られる奥行き情報から対象点に隣接する点との凹凸を算出し、その凹凸が或る特定のパターンとなる凹凸に関する特徴量を算出する凹凸特徴量算出処理手段２と、対象画像の方向エッジ画像からエッジペアを算出し、その間隔が閾値を満たす画像に関する特徴量を算出する画像特徴量算出処理手段３と、前記処理手段２にて算出された凹凸特徴量、及び処理手段３にて算出された画像特徴量を利用して画像とレンジデータの位置合わせを行う位置補正処理処理手段４と、を備えている。
【００２４】
また、この位置補正処理処理手段４は、隣接する同じ分類の凹凸特徴量の集まりを処理単位として、処理対象となる方向を有する画像特徴量との位置の差を算出し投票処理を行うことにより移動量の候補を算出する移動量投票処理処理手段５と、前記処理手段５にて算出された移動量の候補から移動量を算出する方向において隣接する処理単位の移動量を考慮して移動量を決定する移動量算出処理処理手段６と、を備えている。
【００２５】
３次元モデルデータベース７は、画像の各画素に対する奥行き情報を含む３次元座標値のデータを含むデータを格納する。画像データベース８は、画像中の各フレームに対して、そのフレームが撮影されたカメラの位置情報（Ｘ，Ｙ，Ｚ）と姿勢情報（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を含む撮影情報、及び画像情報（各画素のＲＧＢ値）を含むデータを格納する。また、レンジデータベース９は、格子上の点（ｉ，ｊ）に対する奥行きＲａｎｇｅ（ｉ，ｊ）、及びこの格子間隔、（０，０）に対応する座標値を含むデータを格納する。
【００２６】
入出力処理手段１は、オペレータからの指示により処理対象画像を受け付け、処理結果を３次元モデルデータベース７ヘ格納する。この処理は、図２に示す手順で以下のように行われる。
［ステップ１］  画像データベースから処理対象となる画像情報（Ｔｉ）、及び撮影情報を取得する。
［ステップ２］  取得された撮影情報から処理範囲を算出する。
［ステップ３］  レンジデータベースから処理範囲のレンジデータを取得する。
［ステップ４］  凹凸特徴量算出処理を行う。
［ステップ５］  画像特徴量算出処理を行う。
［ステップ６］  位置補正処理を行う。
［ステップ７］  対象となるすべての画像に対して処理が終わるまで、［ステップ１］〜［ステップ６］を繰り返す。
［ステップ８］  ３次元モデルデータベースに処理結果を格納する。
【００２７】
凹凸特徴量算出処理手段２は、レンジデータから得られる奥行き情報から対象点とそれに隣接する点との凹凸を算出し、その凹凸が或る特定のパターンとなる凹凸に関する特徴量を算出する。この処理は、図３に示す手順で以下のように行われる。
［ステップ１］  対象点（ｉ，ｊ）に対して、（ｉ−１，ｊ）、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）とＸ方向にスキャンして、凹凸を算出する。
［ステップ２］  算出された凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類する。
［ステップ３］  分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦ＝（分類番号、Ｘ方向のパターン、Ｙ方向のパターン、位置）を格納する。→↑→となる場合には、（ＮＵＬＬ，Ｕｐ，ＮＵＬＬ，（ｉ，ｊ））、（ＮＵＬＬ，Ｕｐ，ＮＵＬＬ，（ｉ＋１，ｊ））となり、→↓→となる場合には、（ＮＵＬＬ，Ｄｏｗｎ，ＮＵＬＬ，（ｉ，ｊ））、（ＮＵＬＬ，Ｄｏｗｎ，ＮＵＬＬ，（ｉ＋１，ｊ））となる。
［ステップ４］  （ｉ，ｊ）に対して、（ｉ，ｊ−１）、（ｉ，ｊ）、（ｉ，ｊ＋１）、（ｉ，ｊ＋２）とＹ方向にスキャンして、凹凸を算出する。
［ステップ５］  算出された凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類する。
［ステップ６］  分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦを格納する。→↑→となる場合には、（ＮＵＬＬ，ＮＵＬＬ，Ｕｐ，（ｉ，ｊ））、（ＮＵＬＬ，ＮＵＬＬ，Ｕｐ，（ｉ＋１，ｊ））となり、→↓→となる場合には、（ＮＵＬＬ，ＮＵＬＬ，Ｄｏｗｎ，（ｉ，ｊ）、（ＮＵＬＬ，ＮＵＬＬ，Ｄｏｗｎ，（ｉ＋１，ｊ））となる。
［ステップ７］  対象となるすべての（ｉ，ｊ）に対して処理が終わるまで、［ステップ１］〜［ステップ７］を繰り返す。
［ステップ８］  Ｘ方向、及びＹ方向共に同じパターンを有する各凹凸特徴量ＤＦで、その間の最短距離が閾値を満たす集まりに分類し、各ＤＦに分類番号を格納する。
【００２８】
この閾値は処理対象地域毎の値としてあらかじめ決めておくとしてもよいし、算出された特徴量の位置の分散幅に応じて動的に設定するとしてもよい。
【００２９】
画像特徴量算出処理手段３は、対象画像の方向エッジ画像からエッジペアを算出し、その間隔が閾値を満たす画像に関する特徴量を算出する。この処理は、図４に示す手順で以下のように行われる。
［ステップ１］  画像情報Ｔｉから方向エッジ画像Ｔｅを算出する。
［ステップ２］  ＴｅのＸ方向の方向エッジを有する画素を対象として、ＴｅをＸ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔Ｄｉｓｔを算出する。
［ステップ３］  Ｄｉｓｔが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦ＝（方向、位置）を格納する。ここでは、ＩＦ＝（Ｘ，（ｋ，ｌ））となる。
［ステップ４］  ＴｅのＹ方向の方向エッジを有する画素を対象として、ＴｅをＹ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔Ｄｉｓｔを算出する。
［ステップ５］  Ｄｉｓｔが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦを格納する。ここでは、ＩＦ＝（Ｙ，（ｋ，ｌ））となる。
【００３０】
上記の閾値は、画像毎あるいは処理対象地域毎の値として、あらかじめ決めておくとしてもよいし、処理対象画像サイズに応じて動的に設定するとしてもよい。なお、この［ステップ１］の方向エッジ画像を算出する方法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３１】
位置補正処理手段４は、前記処理にて算出された凹凸特徴量、及び画像特徴量を利用して画像とレンジデータの位置合わせを行う。この処理は、図５に示す手順で以下のように行われる。
［ステップ１］  凹凸特徴量ＤＦ、画像特徴量ＩＦを取得する。
［ステップ２］  Ｘ方向、及びＹ方向で移動量投票処理を行う。
［ステップ３］  移動量候補の移動量が大きい方向を算出する。
［ステップ４］  算出された方向で移動量算出処理を行う。
［ステップ５］  ＤＦの位置に算出された移動量を反映する。
［ステップ６］  未処理の方向で移動量投票処理を行う。
［ステップ７］  未処理の方向で移動量算出処理を行う。
【００３２】
なお、Ｘ方向、及びＹ方向で同時に処理を行うとして、先に算出された移動量を反映せずに処理するとしてもよい。
【００３３】
移動量投票処理手段５は、隣接する同じ分類の凹凸特徴量の集まりを処理単位として、処理対象となる方向を有する画像特徴量との位置の差を算出し、投票処理を行うことにより移動量の候補を算出する。この処理は、図６に示す手順で以下のように行われる。
［ステップ１］  指定された方向を有する画像特徴量ＩＦ、及び凹凸特徴量ＤＦを取得する。
［ステップ２］  同じ分類番号を有するＤＦをひとつの処理対象集合として、最短距離で結ばれる他ＤＦと接続した線分の構成点を全て算出する。
［ステップ３］  算出した全ての点から指定された方向にスキャンして、重なるＩＦまでの距離を算出する。
［ステップ４］  算出された距離毎の頻度を投票する。
［ステップ５］  得票数／全投票数が閾値を満たす上位Ｎ個の移動量を算出し、処理対象集合毎の移動量候補とする。
［ステップ６］  対象となるすべての処理対象集合に対して処理が終わるまで、［ステップ２］〜［ステップ５］を繰り返す。
【００３４】
なお、この［ステップ３］において距離を算出する際に、あらかじめ決められた距離よりも大きな場合は処理を行わず、処理効率を高めるとしてもよい。また、取得基準の第Ｎ位、及び閾値はあらかじめ決めておくとしてもよいし、最低の得票数を決めておいて動的に設定するとしてもよい。
【００３５】
移動量算出処理手段６は、前記手順にて算出された移動量の候補から移動量を決定する。この処理は、図７に示す手順で以下のように行われる。
［ステップ１］  処理対象集合毎の移動量候補を取得し、移動量が閾値を満たす候補を削除する。
［ステップ２］  処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、取得する。
［ステップ３］  該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出する。
［ステップ４］  これらの組み合わせの中で、得票数が最大の組み合わせを算出する。
［ステップ５］  該処理対象集合と隣接する処理対象集合の間の領域の移動量を、指定された方向に対して各移動量を比例配分して算出する。
［ステップ６］  対象となるすべての処理対象集合に対して処理が終わるまで、［ステップ１］〜［ステップ５］を繰り返す。
【００３６】
なお、この閾値はあらかじめ決めておくとしてもよいし、移動候補となった移動量の値から動的に設定するとしてもよい。
【００３７】
以降では、上述した処理手順を実際のデータに即して、具体的に示す。
【００３８】
入出力処理にて、オペレータから処理を受け付け、画像データベースから処理対象となる画像情報（Ｔｉ）、及び撮影情報を取得し、該撮影情報から処理範囲を算出し、レンジデータベースから該範囲のレンジデータを取得する。図８（ａ）の８０１にＴｉを、図８（ｂ）の８０２にレンジデータのＲａｎｇｅ（ｉ，ｊ）を濃淡値として画像で表したものを示す。
【００３９】
凹凸特徴量算出処理にて、対象点（ｉ，ｊ）に対して、（ｉ−１，ｊ）、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋２，ｊ）とＸ方向にスキャンして、凹凸を算出し、その凹凸差が閾値を満たすかどうかを調べ、各対象点間の凹凸関係を↑、↓、→と分類し、その分類された凹凸関係のパターンを調べ、凹凸特徴量ＤＦを格納する。例えば、（ＮＵＬＬ，Ｕｐ，Ｕｐ，（ｉ，ｊ））となる位置（ｉ，ｊ）を示すと、図９（ａ）の９０１のようになる。更に、同じ方向、同じパターンを有する各ＤＦで、その間の最短距離が閾値を満たす集まりに分類し、各ＤＦに分類番号を格納する。例えば、図９（ａ）の９０１は、図９（ｂ）の９０２内の楕円で囲まれる９０３〜９０７の５つの集まりに分類できる。また、この図９（ａ）の９０１に表されている凹凸特徴量の位置を、図８（ａ）の８０１に表されているＴｉに重畳表示すると、図１０の１００１のようになる。この状態では、レンジデータの計測誤差や撮影情報の誤差のため、実写画像とレンジデータの位置がずれていることが分かる。
【００４０】
この画像情報Ｔｉに対して、画像特徴量算出処理にて、方向エッジ画像Ｔｅを算出する。例えば、Ｙ方向の方向エッジ画像を示すと、図１１の１１０１のようになる。ＴｅのＸ方向の方向エッジを有する画素を対象として、ＴｅをＸ方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔を算出し、これが閾値を満たす場合に、その画素の対をエッジペアとして算出し、画像特徴量ＩＦを格納する。また、Ｙ方向についても、同様の処理を行う。
【００４１】
更に位置補正処理にて、凹凸特徴量ＤＦ、画像特徴量ＩＦを取得し、このＤＦ，ＩＦに対して、Ｘ方向、及びＹ方向で移動量投票処理を行う。移動量投票処理では、まず、Ｘ方向を有するＤＦ，ＩＦを取得する。同じ分類番号を有するＤＦをひとつの処理対象集合として、最短距離で結ばれる他ＤＦと接続した線分の構成点を全て算出する。次に、取得した全ての点から指定された方向にスキャンして、重なるＩＦまでの距離を算出し、その距離毎の頻度を投票する。こうして得られた得票数から、得票数／全投票数が閾値を満たす上位Ｎ個の移動量を取得し、移動量候補とする。これらの処理を対象となるすべての処理対象集合に対して行う。また、Ｙ方向についても、同様の処理を行う。例えば、図１２に示すような場合、算出された線分の構成点に対して、Ｙ方向にスキャンして重なるＩＦまでの距離が−２１，−１８，１６，１２，２４，２５，３８，４３となり、その距離毎に各１票ずつ投票されることになる。これを全ての構成点に対して処理を行い、移動量の候補を算出する。
【００４２】
次に、移動量候補の移動量が大きい方向を算出し、ここでは、Ｙ方向の移動量が大きかったとして、このＹ方向で移動量算出処理を行う。移動量算出処理では、まず、処理対象集合毎の移動量候補を取得し、移動量が閾値を満たす候補を削除する。処理対象となる処理対象集合の構成点から指定された方向にスキャンして、隣接する他の処理対象集合を算出し、該組み合わせで、元の位置関係と矛盾がなく、移動量の差が閾値を持たす組み合わせを算出する。この元の位置関係と矛盾がない場合とは、例えば、図９（ｂ）の９０２に示すような場合、９０３〜９０７の元の位置関係が上下に入れ替わらないような場合である。これらの組み合わせの中で、得票数が最大の組み合わせを算出し、該処理対象集合と隣接する処理対象集合の間の領域の移動量を指定された方向に対して各移動量を比例配分して算出する。例えば、図１３の１３０１に示すように、隣接する２つの処理対象集合１３０２と１３０３の移動量が算出されたとすると、各構成点間の領域１３０４の移動量は１３０２と１３０３の移動量を比例配分して算出する。更に位置補正処理にて、凹凸特徴量ＤＦの位置に算出された移動量を反映し、Ｘ方向についても同様に処理を行う。こうして、実写画像とレンジデータの位置合わせが行われ、最後に、入出力処理にて、処理結果を３次元モデルデータベースヘ格納する。
【００４３】
なお、図１で示した装置各部の一部もしくは全部の機能を、コンピュータを用いて実現することができること、あるいは、図２〜図７で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記憶媒体、例えば、ＦＤ（フロッピーディスク：登録商標）や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したり、配布したりすることが可能である。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００４５】
【発明の効果】
本発明によれば、対象画像を構成する各画素に奥行き情報を付与するための実写画像とレンジデータの位置合わせをする際、レンジデータから抽出した凹凸（例えば、凹凸のパターン）に関する特徴量、及び対象画像から抽出した画像（例えばエッジペア）に関する特徴量を利用して、実写画像とレンジデータの位置合わせを行うようにしたので、その位置合わせを高精度に行うことができる効果が得られる。
【００４６】
また、レンジデータから対象点に隣接する点との凹凸を算出し、ある方向における凹凸が特定のパターンを有する場合、その方向、及び位置を凹凸特徴量として算出するようにしたので、位置合わせのための移動量の推定においてレンジデータの計測誤差により生じるノイズが軽減できる効果が得られる。
【００４７】
また、対象画像の方向エッジ画像をある方向にスキャンして、ある対象画素と逆方向のエッジ画素までの間隔が閾値を満たす場合の画素の対をエッジペアとして算出すること、更には、その方向、及び位置を画像特徴量として算出するようにしたので、移動量の推定において画像処理により生じるノイズが軽減できる効果が得られる。
【００４８】
また、算出された凹凸特徴量、及び画像特徴量に対して、同じ凹凸パターンを有する凹凸特徴量の集まりを処理単位として、特徴量の方向が一致するものだけを移動量の投票処理の対象にするようにしたので、位置合わせのための移動量の推定におけるノイズが軽減できる効果が得られる。
【００４９】
また、算出された前記処理単位の移動量、及び隣接する処理単位における移動量を指定された方向に対して比例配分して、該処理単位間の領域の移動量を算出するようにしたので、特徴量として選択されない領域の移動量を算出することができる効果が得られる。
【図面の簡単な説明】
【図１】本発明の一実施形態例における実写画像とレンジデータの位置合わせ方法を実現する装置の構成図である。
【図２】本実施形態例における入出力処理フローを説明するための図である。
【図３】本実施形態例における凹凸特徴量算出処理フローを説明するための図である。
【図４】本実施形態例における画像特徴量算出処理フローを説明するための図である。
【図５】本実施形態例における位置補正処理フローを説明するための図である。
【図６】本実施形態例における移動量投票処理フローを説明するための図である。
【図７】本実施形態例における移動量算出処理フローを説明するための図である。
【図８】本実施形態例における画像情報の一例（ａ）と、画像として表したレンジデータの一例（ｂ）とを説明する図である。
【図９】（ａ），（ｂ）は、本実施形態例における凹凸特徴量算出処理の一例を説明する図である。
【図１０】本実施形態例における凹凸特徴量の位置を画像情報に重畳表示したものの一例を説明する図である。
【図１１】本実施形態例におけるＹ方向の方向エッジ画像の一例を説明する図である。
【図１２】本実施形態例における移動量投票処理の一例を説明する図である。
【図１３】本実施形態例における移動量算出処理の一例を説明する図である。
【符号の説明】
１…入出力処理手段
２…凹凸特徴量算出処理手段
３…画像特徴量算出処理手段
４…位置補正処理手段
５…移動量投票処理手段
６…移動量算出処理手段
７…３次元モデルデータベース
８…画像データベース
９…レンジデータデータベース
【図１】
0003572252.tif 000002
【図２】
0003572252.tif 000003
【図３】
0003572252.tif 000004
【図４】
0003572252.tif 000005
【図５】
0003572252.tif 000006
【図６】
0003572252.tif 000007
【図７】
0003572252.tif 000008
【図８】
0003572252.tif 000009
【図９】
0003572252.tif 000010
【図１０】
0003572252.tif 000011
【図１１】
0003572252.tif 000012
【図１２】
0003572252.tif 000013
【図１３】
0003572252.tif 000014