(57)【特許請求の範囲】
【請求項１】
（ａ）平行光線が照射された物体を一つの視点から見た像を投影面に投影した投影画像を生成する処理と、
（ｂ）前記投影画像を前記平行光線の照明領域と非照明領域とに分割する処理と、
（ｃ）前記照明領域の輪郭線を第一光源側輪郭線と第一影側輪郭線とに分割する処理と、
（ｄ）前記（ａ）〜（ｃ）の処理を、前記物体を互いに異なる複数の方向から見た視点について繰返す処理と、
（ｅ）各投影画像について、投影画像中の第一光源側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く境界曲面をそれぞれ求め、各投影画像についての境界曲面によって囲まれた空間を前記物体の粗存在範囲として求める処理と、
（ｆ）いずれかの前記投影画像の照明領域内に島状の非照明領域が存在する場合に、前記粗存在範囲中で、当該非照明領域の輪郭線上の各点と当該投影画像の視点と通る母線の全体が描く錐の内部に含まれ、かつ、当該投影画像における平行光線が通過している凹部影空間を求め、前記粗存在範囲から当該凹部影空間を除去した空間を前記物体の修正存在範囲として求める処理と
を含むことを特徴とする物体形状推定方法。
【請求項２】
前記（ｃ）の処理において、
前記投影面上の前記平行光線の消失点を通り、かつ、前記照明領域の両側で前記輪郭線にそれぞれ接する二本の直線の、当該輪郭線との接点をそれぞれ分割点として当該輪郭線を分割し、光源側に分割された輪郭線部分を第一光源側輪郭線とし、光源と反対側に分割された輪郭線部分を第一影側輪郭線とする
ことを特徴とする請求項１記載の物体形状推定方法。
【請求項３】
前記凹部影空間を、
前記錐を横切る、他の投影画像について求めた境界曲面である第一曲面と、
前記非照明領域の輪郭線を第二光源側輪郭線と第二影側輪郭線とに分割したうちの当該第二光源側輪郭線上の各点と前記視点とを通る母線の全体が描く曲面と前記第一曲面との交線を通り、前記平行光線に平行な第二曲面と、
当該第二影側輪郭線上の各点と前記視点とを通る母線の全体が描く第三曲面とにより囲まれた空間とする
ことを特徴とする請求項１又は２記載の物体形状推定方法。
【請求項４】
前記非照明領域の輪郭線を第二光源側輪郭線と第二影側輪郭線とに分割するにあたり、
前記投影面上の前記平行光線の消失点を通り、かつ、島状の前記非照明領域の両側で前記輪郭線にそれぞれ接する二本の直線の、当該輪郭線との接点をそれぞれ分割点として、当該輪郭線を二つの輪郭線部分に分割し、前記二つの輪郭線部分のうち光源側の輪郭線部分を前記第二光源側輪郭線とし、光源と反対側の輪郭線部分を前記第二影側輪郭線とする
ことを特徴とする請求項３記載の物体形状推定方法。
【請求項５】
前記影空間を、
前記平行光線を照射した際の投影画像における前記第一影側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く影側曲面と交わる、他の投影画像について求めた境界曲面である第四曲面と、
前記影側曲面と前記第四曲面との交線を通り、前記平行光線に平行な曲面である第五曲面と、
前記交線に対して前記平行光線の光源と反対側で、前記第四及び第五曲面と交わる他の境界曲面である第六曲面とにより囲まれた空間とする
ことを特徴とする請求項１〜４のいずれかに記載の物体形状推定方法。
【請求項６】
平行光線が照射された物体を一つの視点から見た像を投影面に投影した投影画像を、当該物体を互いに異なる複数の方向から見た視点についてそれぞれ生成する画像生成手段と、
前記画像生成手段により生成された前記投影画像の各々を前記平行光線の照明領域と非照明領域とに分割し、さらに、前記照明領域の輪郭線を第一光源側輪郭線と第一影側輪郭線とに分割する領域分割手段と、
前記投影画像の各々について、投影画像中の第一光源側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く境界曲面をそれぞれ求め、各投影画像についての境界曲面によって囲まれた空間を前記物体の粗存在範囲として求める粗存在範囲決定手段と、
いずれかの前記投影画像の照明領域内に島状の非照明領域が存在する場合に、前記粗存在範囲中で、当該非照明領域の輪郭線上の各点と当該投影画像の視点と通る母線の全体が描く錐の内部に含まれ、かつ、当該投影画像における平行光線が通過している凹部影空間を求め、前記粗存在範囲から当該凹部影空間を除去した空間を前記物体の修正存在範囲として求める存在範囲修正手段と
を備えることを特徴とする物体形状推定装置。
【請求項７】
前記投影画像ごとに前記平行光線の照射方向を表す光線ベクトルが入力され、当該光線ベクトルに基づいて、当該投影画像の投影面上の消失点を求める照明パラメータ入力・計算手段を備える
ことを特徴とする請求項６記載の物体形状推定装置。
【請求項８】
前記存在範囲修正手段により求められた修正存在範囲に基づいて、物体形状を構成する形状構成手段と、
前記形状構成手段により構成された物体形状を出力する出力手段と
を備えることを特徴とする請求項６又は７記載の物体形状推定装置。
【請求項９】
前記画像生成手段は、前記物体を撮像する撮像手段と、
当該物体を平行光線により照明する照明手段とにより構成してある
ことを特徴とする請求項６〜８のいずれかに記載の物体形状推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体の投影画像から物体の三次元形状を推定する技術に関する。
【０００２】
【従来の技術】
物体の投影画像からその物体の三次元形状を推定する従来技術の一例として、輪郭法が、「電子情報通信学会論文誌Ｄ−ＩＩ  Ｖｏ．Ｊ７６−Ｄ−ＩＩ  Ｎｏ．６  ｐｐ．１１１４−１１２２  １９９３年６月」に「連続シルエットを用いた３次元モデルの復元とその未知領域の検出」として記載されている。
【０００３】
ここで、図９を参照して、輪郭法による物体形状の推定方法について簡単に説明する。
輪郭法においては、まず、物体を様々な方向から撮影して画像を入力する（図９のＳ１）。続いて、撮影された各画像から、物体の輪郭情報を得る（図９のＳ２）。そして、互いに異なる複数の視点から撮影した輪郭情報を足し合せることにより、物体が存在する範囲を限定する（図９のＳ３）。次に、限定された存在範囲をポリゴン等の形状表現方法により表現して、物体の形状を構成する（図９のＳ４）。そして、物体形状をディスプレイ等に表示することにより出力する（図９のＳ５）。
【０００４】
そして、輪郭法は、形状を推定しようとする物体が大きな場合や、物体が遠方にある場合にも適用できる点で、例えば、パタン投影法（尾上編、昭晃堂刊「画像処理ハンドブック」、ｐｐ３９７−４０５）よりも優れている。また、輪郭法は、推定精度が物体の形状や表面材質に依存しない点で、物体の形状や表面材質に大きく依存する画像マッチングにより物体形状を推定するステレオ法（尾上編、昭晃堂刊「画像処理ハンドブック」、ｐｐ３９５−３９６）よりも優れている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の輪郭法により物体形状を推定すると、推定形状が実際の形状よりも大きくなる傾向があるという問題があった。より多くの方向から物体を撮影して輪郭情報を増やせば、推定形状と実際の物体形状との差を小さくすることは可能であるが、輪郭情報を無限に増やすことは現実的ではない。
【０００６】
さらに、対象物体に凹部が存在する場合に輪郭法で物体形状を推定すると、その凹部が埋まった状態で形状が推定される。このため、特に凹部については、常に実際の形状よりも大きめに形状が推定されてしまうという問題があった。
【０００７】
本発明は、上記の問題を解決すべくなされたものであり、物体の投影画像から物体の三次元形状を推定するにあたり、より正確に物体形状を推定することができる技術の提供を目的とする。
【０００８】
【課題を解決するための手段】
この目的の達成を図るため、本発明の請求項１に係る物体形状推定方法によれば、（ａ）平行光線が照射された物体を一つの視点から見た像を投影面に投影した投影画像を生成する処理と、
（ｂ）投影画像を平行光線の照明領域と非照明領域とに分割する処理と、
（ｃ）照明領域の輪郭線を第一光源側輪郭線と第一影側輪郭線とに分割する処理と、
（ｄ）（ａ）〜（ｃ）の処理を、物体を互いに異なる複数の方向から見た視点について繰返す処理と、
（ｅ）各投影画像について、投影画像中の第一光源側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く境界曲面をそれぞれ求め、各投影画像についての境界曲面によって囲まれた空間を前記物体の粗存在範囲として求める処理と、
（ｆ）いずれかの前記投影画像の照明領域内に島状の非照明領域が存在する場合に、前記粗存在範囲中で、当該非照明領域の輪郭線上の各点と当該投影画像の視点と通る母線の全体が描く錐の内部に含まれ、かつ、当該投影画像における平行光線が通過している凹部影空間を求め、前記粗存在範囲から当該凹部影空間を除去した空間を前記物体の修正存在範囲として求める処理とを含む方法としてある。
【０００９】
このように、本発明によれば、投影画像に物体の凹部の存在を示す島状の非照明領域が存在する場合に、粗存在範囲から、平行光線が通過している影空間のうちの特に凹部影空間を除去して修正存在範囲を求める。粗存在範囲内で平行光線が通過している空間に、仮に物体が存在すれば、島状の非照明領域中に照明領域が存在することになるからである。これにより、特に、輪郭法では除去することが困難であった物体の凹部を埋める余分な空間を、物体の推定存在範囲から除去することができる。このため、推定形状を実際の物体形状により近づけて形状推定の精度を向上させることができる。
【００１０】
また、請求項２記載の発明によれば、（ｃ）の処理において、投影面上の平行光線の消失点を通り、かつ、照明領域の両側で輪郭線にそれぞれ接する二本の直線の、当該輪郭線との接点をそれぞれ分割点として当該輪郭線を分割し、光源側に分割された輪郭線部分を第一光源側輪郭線とし、光源と反対側に分割された輪郭線部分を第一影側輪郭線とする方法としてある。
【００１１】
このように、消失点を用いて輪郭線の分割点を求めれば、容易に、輪郭線を分割することができる。
なお、消失点とは、平行光線に平行で、視点を通る直線が投影面に交わる点を指す。したがって、平行光線の光源が、視点から見て投影面の向こう側に存在する場合には、平行光線がこの消失点から放射されるように見える。また、光源が、視点から見て、投影面と反対方向に存在する場合には、平行光線がこの消失点に収束するように見える。
【００１４】
また、請求項３記載の発明によれば、凹部影空間を、錐を横切る、他の投影画像について求めた境界曲面である第一曲面と、非照明領域の輪郭線を第二光源側輪郭線と第二影側輪郭線とに分割したうちの当該第二光源側輪郭線上の各点とその視点とを通る母線の全体が描く曲面と第一曲面との交線を通り、平行光線に平行な第二曲面と、当該第二影側輪郭線上の各点と視点とを通る母線の全体が描く第三曲面とにより囲まれた空間とする方法としてある。
【００１５】
このように、粗存在範囲内の平行光線が通過する凹部影空間は、第一曲面、第二曲面及び第三曲面の三つの曲面により囲まれた空間として求めることができる。そして、このように求めた凹部影空間を除去することにより、形状推定精度を向上させることができる。
【００１６】
また、請求項４記載の発明によれば、非照明領域の輪郭線を第二光源側輪郭線と第二影側輪郭線とに分割するにあたり、投影面上の平行光線の消失点を通り、かつ、島状の非照明領域の両側で輪郭線にそれぞれ接する二本の直線の、当該輪郭線との接点をそれぞれ分割点として、当該輪郭線を二つの輪郭線部分に分割し、二つの輪郭線部分のうち光源側の輪郭線部分を第二光源側輪郭線とし、光源と反対側の輪郭線部分を第二影側輪郭線とする方法としてある。
このように、消失点を用いて分割点を求めれば、島状の非照明領域の輪郭線を容易に分割することができる。
【００１７】
また、請求項５記載の発明によれば、影空間を、平行光線を照射した際の投影画像における第一影側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く影側曲面と交わる、他の投影画像について求めた境界曲面である第四曲面と、影側曲面と第四曲面との交線を通り、平行光線に平行な曲面である第五曲面と、交線に対して平行光線の光源と反対側で、第四及び第五曲面と交わる他の境界曲面である第六曲面とにより囲まれた空間とする方法としてある。
【００１８】
このように、粗存在範囲内の凹部影空間以外の平行光線が通過する影空間は、第四曲面、第五曲面及び第六曲面の三つの曲面により囲まれた空間として求めることができる。そして、このように求めた影空間を除去することにより、形状推定の精度を向上させることができる。
【００１９】
また、本発明の請求項６記載の物体形状推定装置によれば、平行光線が照射された物体を一つの視点から見た像を投影面に投影した投影画像を、当該物体を互いに異なる複数の方向から見た視点についてそれぞれ生成する画像生成手段と、画像生成手段により生成された投影画像の各々を平行光線の照明領域と非照明領域とに分割し、さらに、照明領域の輪郭線を第一光源側輪郭線と第一影側輪郭線とに分割する領域分割手段と、各投影画像について、投影画像中の第一光源側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く境界曲面をそれぞれ求め、各投影画像についての境界曲面によって囲まれた空間を物体の粗存在範囲として求める粗存在範囲決定手段と、いずれかの前記投影画像の照明領域内に島状の非照明領域が存在する場合に、前記粗存在範囲中で、当該非照明領域の輪郭線上の各点と当該投影画像の視点と通る母線の全体が描く錐の内部に含まれ、かつ、当該投影画像における平行光線が通過している凹部影空間を求め、前記粗存在範囲から当該凹部影空間を除去した空間を前記物体の修正存在範囲として求める存在範囲修正手段とを備える構成としてある。
【００２０】
このように、本発明によれば、粗存在範囲決定手段により求めた粗存在範囲から、存在範囲修正手段により、平行光線が通過している影空間を除去して修正存在範囲を求める。これにより、粗存在範囲内であっても実施には物体の含まれない空間部分が減少する。このため、推定形状を実際の物体形状により近づけて、より正確に物体形状を推定することができる。
【００２１】
また、請求項７記載の発明によれば、投影画像ごとに前記平行光線の照射方向を表す光線ベクトルが入力され、当該光線ベクトルに基づいて、当該投影画像の投影面上の消失点を求める照明パラメータ入力・計算手段を備える構成としてある。
このように、照明パラメータ入力・計算手段を設ければ、平行光線の通過する領域を容易に求めることができる。
【００２２】
また、請求項８記載の発明によれば、存在範囲修正手段により求められた修正存在範囲に基づいて、物体形状を構成する形状構成手段と、形状構成手段により構成された物体形状を出力する出力手段とを備える構成としてある。
このように、形状構成手段及び出力手段を設ければ、物体の修正存在範囲に基づいて、ポリゴン等により物体の形状を構成し、ディスプレイ表示等により容易に出力することができる。
【００２３】
また、請求項９記載の発明によれば、画像生成手段は、物体を撮像する撮像手段と、当該物体を平行光線により照明する照明手段とにより構成してある。
このように撮像手段及び照明手段を設ければ、物体を任意の方向から照明するとともに、任意の方向から撮像して投影画像を生成することができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の物体形状推定方法及び物体形状推定装置の実施の形態について併せて説明する。
［第一実施形態］
まず、図１を参照して、第一実施形態における物体形状推定装置の構成について説明する。
図１に示すように、本実施形態の物体形状推定装置は、画像生成部１と、照明パラメータ入力・計算部２と、領域分割部３と、粗存在範囲決定部４と、存在範囲修正部部５と、形状構成部６と、形状出力部７とにより構成されている。
【００２５】
この実施形態では、画像生成部１は、画像生成手段は、形状を推定する物体を撮像するカメラ等の撮像手段（図示せず）と、その物体を平行光線により照明する照明手段（図示せず）とにより構成されている。
なお、画像生成部１は、必ずしも照明手段を有する必要はなく、撮像にあたり、例えば、自然光等の外部光源を利用することもできる。また、ここで平行光線とは、必ずしも厳密な平行光線に限定されるものではなく、平行光線には、実用上問題とならない範囲で実質的に平行とみなせる光線も含まれる。
【００２６】
そして、画像生成部１は、平行光線が照射された物体を一つの視点から見た像を投影面に投影した投影画像を生成する。
ここで、図２を参照して、投影面及び投影画像の生成について説明する。図２に示す例では、カメラ座標系としてのｘｙｚ座標系の原点を視点Ｏの位置とする。この視点は、例えば、撮像装置のカメラのレンズの中心に相当する。また、ｚ軸が、このレンズの光軸に相当する。そして、このレンズの焦点距離がｆの場合、ｚ軸と座標（０，０，ｆ）で交わるｘｙ平面に平行な平面が投影面Ｆとなる。図２では、ｚ軸と投影面Ｆとの交点を、投影座標系としてのＸＹ座標系の原点としている。
【００２７】
そして、点ｐ（ｘ，ｙ，ｚ）の投影面Ｆへの投影した点が投影点Ｐ（Ｘ，Ｙ）となる。したがって、物体を投影面に投影した画像が投影画像となる。
なお、図２では、投影面Ｆを、視点Ｏから見て点ｐよりも手前に設けたが、投影面Ｆを点ｐよりも遠方に設けてもよい。
【００２８】
そして、本発明では、この物体を互いに異なる複数の方向の視点から見た投影画像をそれぞれ生成する。
なお、物体を複数方向から撮像するにあたっては、複数の投影画像について共通の方向から物体を照明してもよいし、投影画像ごとに異なる方向から物体を照明してもよい。
【００２９】
また、物体を複数方向から撮像するにあたり、物体を固定しておき、視点方向のみ、又は、視点方向及び照明方向を移動させてもよいし、あるいは、視点のみ、又は、視点と照明方向を固定しておいて、物体を回転させてもよい。
また、物体と視点との距離は、各投影画像どうしで等しくする必要はなく、それぞれ任意好適な距離とすることができる。
【００３０】
照明パラメータ入力・計算部２は、投影画像ごとに、撮像時の照明条件を入力し、平行光線と視点との関係を計算する。すなわち、照明パラメータ入力・計算部２には、平行光線の照射方向を表す光線ベクトルが入力される。この交線ベクトルは、図２に示すように、光線ベクトルｖをカメラ座標系における方向余弦（Ｌｘ，Ｌｙ，Ｌｚ）により表されている。
【００３１】
さらに、照明パラメータ入力・計算部２は、この光線ベクトルに基づいて、投影面Ｆ上の消失点Ｄを求める。消失点Ｄは、平行光線ｖに平行で、視点Ｏを通る直線が投影面Ｆに交わる点である。したがって、消失点Ｄの座標は、Ｄ（ｆ・Ｌｘ／Ｌｚ，ｆ・Ｌｙ／Ｌｚ）と表される。
【００３２】
また、領域分割部３は、画像生成部１により生成された各投影画像を平行光線の照明領域と非照明領域とに分割する。さらに、領域分割部３は、各投影画像について、照明領域の輪郭線を第一光源側輪郭線と第一影側輪郭線とに分割する。また、粗存在範囲決定部４は、各投影画像について、投影画像中の第一光源側輪郭線上の各点と当該投影画像の視点とを通る母線の全体が描く境界曲面をそれぞれ求め、各投影画像についての境界曲面によって囲まれた空間を物体の粗存在範囲として求める。
【００３３】
また、存在範囲修正部５は、粗存在範囲中に含まれ、かつ、少なくとも一つの投影画像についての平行光線が通過している影空間を求め、粗存在範囲から当該影空間を除去した空間を物体の修正存在範囲として求める。
なお、平行光線の方向は、照明パラメータ入力・計算部２に入力された交線ベクトルにより与えられる。
【００３４】
さらに、形状構成部６は、存在範囲修正手段により求められた修正存在範囲に基づいて、ポリゴン等により物体形状を構成する。そして、形状出力部７は、形状構成手段により構成された物体形状を出力するコンピュータディスプレイや情報蓄積装置等により構成される。
【００３５】
次に、図３〜図８を参照して、本実施形態の物体形状推定方法の具体例について説明する。
図３のフローチャートに示すように、物体の形状推定にあたっては、まず、画像生成部１により、形状を推定する対象である物体Ｔを、平行光線が照射された状態で、一つの視点から見た像を投影面Ｆに投影した投影画像Ｐを生成する（図３のＳ１）。
【００３６】
続いて、照明パラメータ入力・計算部２に、投影画像を撮像した際の平行光線の照射方向を表す光線ベクトル（Ｌｘ，Ｌｙ，Ｌｚ）を入力し、投影面Ｆ上の消失点Ｄ（ｆ・Ｌｘ／Ｌｚ，ｆ・Ｌｙ／Ｌｚ）を求める（図３のＳ２）。
【００３７】
次に、図４に示すように、領域分割部３により、投影画像Ｐを平行光線の照明領域Ａと非照明領域Ｂ及びＢｉとに分割する（図３のＳ３）。
図４に示した投影画像Ｐにおいては、照明領域Ａ中に、島状の非照明領域Ｂｉが存在している。
なお、図４では、物体Ｔの背景を黒色とし、非照明領域において、物体Ｔ表面のうち陰となっている部分、すなわち、物体Ｔの表面に物体Ｔ自身の影が映っている部分と、背景部分とを区別していない。
【００３８】
続いて、図４に示すように、投影画像Ｐの照明領域Ａの外周を示す輪郭線である第一輪郭線Ｃ１を第一光源側輪郭線Ｃ１１と第一影側輪郭線Ｃ１２とに分割する。
なお、図４では、第一光源側輪郭線Ｃ１１を実線で示し、第一影側輪郭線Ｃ１２を破線で示している。
【００３９】
第一輪郭線Ｃ１の分割にあたっては、投影面Ｆ上の消失点Ｄを通り、かつ、照明領域Ａの両側で輪郭線Ｃ１にそれぞれ接する二本の直線Ｌ１及びＬ４を求める。続いて、これら輪郭線Ｌ１及びＬ４との輪郭線Ｃ１との接点をそれぞれ分割点ｄ１及びｄ２とし、これら分割点ｄ１及びｄ２で輪郭線Ｃ１を分割する。そして、平行光線ｖの光源側に分割された輪郭線部分を第一光源側輪郭線Ｃ１１とし、光源と反対側に分割された輪郭線部分を第一影側輪郭線Ｃ１２とする。
【００４０】
そして、上記のステップＳ１〜Ｓ４の処理を、物体Ｔを互いに異なる複数の方向から見た視点について繰返す。ここでは、所定の全ての視点から見た投影画像を生成した後、次のステップへ進む（図３のＳ４）。
物体Ｔの形状をより正確に推定するためには、物体Ｔをあらゆる方向から撮影することが望ましい。また、物体Ｔに対する平行光線の照射方向も、変えることが望ましい。ただし、物体Ｔがカメラ等の撮像装置の視野内、すなわち、投影画像内からはみ出さないように撮像を行う。
【００４１】
ところで、図４に示した第一影側輪郭線Ｃ１２の外側であって、かつ、消失点Ｄと分割点ｄ１及びｄ２とを結ぶ直線Ｌ１とＬ４とに挟まれた非照明領域Ｂの部分には、物体が存在していても影で見えない可能性がある。このため、この部分については、物体表面の陰の部分であるのか、背景の黒色であるのか区別がつかない。
【００４２】
ここで、図５を参照して、物体Ｔと投影画像Ｐ上の輪郭線の位置との関係について説明する。図５は、図４の投影画像Ｐの線分ａ−ｂと視点Ｏとを通る平面における断面に相当する、物体Ｔの断面及び投影面Ｆ上の領域分割の様子を示した図である。領域分割を示す線分ａ−ｂ上の、ｅ１及びｅ２は、それぞれ、図４に示した第一光源側輪郭線Ｃ１１及び第一影側輪郭線Ｃ１２と線分ａ−ｂとの交点に相当する。
【００４３】
図５に示すように、投影面Ｆ上の点ｅ２よりも右側の部分の非照明領域Ｂと視点Ｏとを結ぶ空間には、平行光線ｖで照明されていない物体Ｔ部分が存在している。したがって、第一影側輪郭線Ｃ１２は、物体Ｔの存在範囲を必ずしも表していないことが分かる。
【００４４】
これに対して、この第一光源側輪郭線Ｃ１１の外側の非照明領域Ｂの部分には、物体Ｔは存在せず、この非照明領域Ｂの部分は、背景の黒色のみである。なぜならば、この部分に仮に何らかの物体が存在すれば、必ず照明領域が存在することになるからである。したがって、投影画像Ｐにおける物体Ｔの存在範囲は、少なくとも、第一光源側輪郭線Ｃ１１によって規定される。
【００４５】
そこで、存在範囲決定部４では、物体Ｔの粗存在範囲を求めるにあたり、第一光源側輪郭線Ｃ１１を使用する。そのために、各投影画像Ｐについて、投影画像Ｐ中の第一光源側輪郭線Ｃ１２上の各点とその投影画像の視点Ｏとを通る母線の全体が描く境界曲面をそれぞれ求める。
図５では、この境界曲面と線分ａ−ｂでの断面との交線としての線分Ｏ−ｅ１を、境界ラインＬｃとして示している。
【００４６】
そして、存在範囲決定部４により、各投影画像についての境界曲面によって囲まれた空間を物体Ｔの粗存在範囲として求める（図３のＳ５）。
ここで、図６に物体Ｔの断面における粗存在範囲の例を示す。図６では、六つの境界曲面と断面との交線を、それぞれ境界ラインＬｃ１〜Ｌｃ６として示す。そして、断面上で、これら境界ラインＬｃ１〜Ｌｃ６で囲まれた領域に相当する、物体Ｔを囲む空間を粗存在範囲とする。
【００４７】
ところで、本実施形態で形状推定の対象とした物体Ｔの形状は凹部Ｍを有している。そして、上記のステップＳ５において求めた粗存在範囲においては、図６に示すように、この凹部Ｍを埋める空間部分も粗存在範囲に含まれている。このため、この粗存在範囲では、この凹部Ｍの部分で、形状推定に大きな誤差が生じて形状推定の精度が低下している。
【００４８】
そこで、本実施形態では、この凹部における形状推定の精度を向上させるため、粗修正存在範囲を修正する（図３のＳ６）。
そのために、まず、粗存在範囲中に含まれ、かつ、少なくとも一つの投影画像についての平行光線が通過している影空間を求める。
【００４９】
物体Ｔの形状が凹部を有する場合、いずれかの投影画像の照明領域内に島状の非照明領域が存在する。その場合、図４に示した島状の非照明領域Ｂｉの輪郭線Ｃ２に注目しする。そして、粗存在範囲中であって、かつ、非照明領域Ａの輪郭線Ｃ２上の各点と、その投影画像Ｐの視点Ｏとを通る母線（直線）の全体が描く錐、すなわち、輪郭線Ｃ２を導線とし視点Ｏを頂点とする錐（ｃｏｒｎ）の内部に含まれ、かつ、その投影画像Ｐにおける平行光線ｖが通過している凹部影空間Ｍ１を求める。
【００５０】
凹部影空間Ｍ１は、次の第一〜第三曲面の三つの曲面に囲まれた空間として求められる。第一曲面（１）は、他の投影画像について求めた境界曲面であって、上述の錐（ｃｏｒｎ）を横切る境界曲面である。また、第二曲面（２）は、図４に示す島状の非照明領域Ｂｉの輪郭線Ｃ２を第二光源側輪郭線Ｃ２１と第二影側輪郭線Ｃ２２とに分割し、第二光源側輪郭線Ｃ２１上の各点と視点Ｏとを通る母線の全体が描く曲面と第一曲面（１）との交線を通り、かつ、平行光線ｖに平行な曲面である。そして、第三曲面（３）は、第二影側輪郭線Ｃ２２上の各点と視点Ｏとを通る母線の全体が描く曲面である。
【００５１】
第二輪郭線Ｃ２の分割にあたっては、図４に示すように、投影面Ｆ上の消失点Ｄを通り、かつ、島状の非照明領域Ｂｉの両側で輪郭線Ｃ２にそれぞれ接する二本の直線Ｌ２及びＬ３を求める。続いて、これら輪郭線Ｌ２及びＬ３との輪郭線Ｃ２との接点をそれぞれ分割点ｄ３及びｄ４とし、これら分割点ｄ３及びｄ４で輪郭線Ｃ２を分割する。そして、平行光線ｖの光源側に分割された輪郭線部分を第二光源側輪郭線Ｃ２１とし、光源と反対側に分割された輪郭線部分を第二影側輪郭線Ｃ２２とする。
【００５２】
ここで、図７を参照して、上記の第一〜第三曲面に囲まれた凹部空間Ｍ１について、平面に示した例によって説明する。
図７は、図４に示した線分ａ−ｂと、視点Ｏとを通る切断平面での物体Ｔの断面における凹部周辺の拡大図である。
【００５３】
また、図７で投影面Ｆを表す線分ａ−ｂ上の点ｃ１及び点ｃ２は、それぞれ、第二光源側輪郭線Ｃ２１及び第二影側輪郭線Ｃ２２と切断平面との交点である。したがって、点ｃ１及び点ｃ２と視点Ｏとをそれぞれ結ぶ直線ｃ１−Ｏ及び直線ｃ２−Ｏは、輪郭線Ｃ２を導線とし視点Ｏを頂点とする錐（ｃｏｒｎ）の母線である。
【００５４】
また、図７中の、境界ラインＬｃ１の他のもう一つの境界ラインＬｃ２は、上述の第一曲面（１）と、切断平面との交線である。また、図７中の線分ｐ１−ｐ３は、上述の第二曲面（２）と切断平面との交線の一部である。そして、図７中の直線Ｌｂは、上述の第三曲面（３）と切断平面との交線である。
【００５５】
そして、他の境界ラインＬｃ２と線分ｐ１−ｐ３との交点である点ｐ１は、第一曲面（１）と第二曲面（２）と切断平面との交点である。また、他の境界ラインＬｃ２と直線Ｌｂとの交点である点ｐ２は、第一曲面（１）と第三曲面（３）と切断平面との交点である。そして、線分ｐ１−ｐ３と直線Ｌｂとの交点である点ｐ３は、第二曲面（２）と第三曲面（３）と切断平面との交点である。
【００５６】
したがって、切断平面上の点ｐ１、点ｐ２及び点ｐ３の三点で囲まれた三角形の領域が、粗存在範囲から除去されるべき凹部影空間Ｍ１の、切断平面上での切り口となる。そして、粗存在範囲からこの凹部影空間Ｍ１を除去した空間を物体Ｔの修正存在範囲として求める（図３のＳ６）。
【００５７】
そして、複数の投影画像において、照明領域中に島状の非照明領域がそれぞれ存在する場合には、それら各投影画像について、上記のステップＳ６と同様に凹部影空間を除去する。すなわち、少なくとも一つの投影画像についての凹部影空間に含まれる空間は、粗存在範囲から除去される。そして、それら各投影画像について除去された残りの存在範囲が、最終的な修正存在範囲として求められることになる。
【００５８】
次に、上記のステップＳ６で求めた修正存在範囲に基づいて、形状構成部６により、物体形状をポリゴン等の従来公知の任意好適な方法により構成する（図３のＳ７）。
続いて、上記のステップＳ７で構成された物体形状を、ディスプレイ表示等により出力する（図３のＳ８）。
このようにして、より正確に推定された物体Ｔの形状が得られる。
【００５９】
［第二実施形態］
上述の第一実施形態では、物体の凹部を埋める凹部影空間を、粗存在範囲から除去して修正存在範囲を求めることにより物体形状を推定する例について説明したが、第二実施形態では、球体の物体Ｕについて、凹部影空間以外の影空間を除去してその修正存在範囲を求める例について説明する。
なお、物体Ｕの粗存在範囲を求めるまでの処理方法は、上述の第一実施形態と同じであるので、その詳細な説明を省略する。
【００６０】
図８を参照して、第二実施形態の存在範囲修正処理について説明する。
図８では、投影面Ｆのａ−ｂと視点Ｏとを通る切断平面における物体Ｕ及びその推定存在範囲の断面図と、投影面Ｆのａ−ｂより上側部分の投影画像Ｐを示している。そして、図８では、物体Ｕの切断平面上の粗存在範囲が、境界ラインＬｃ１〜Ｌｃ４により規定されている。
【００６１】
そして、第二実施形態においても、形状推定の精度を向上させるため、そのために、まず、粗存在範囲中に含まれ、かつ、少なくとも一つの投影画像についての平行光線が通過している影空間を求める。凹部影空間以外の影空間は、次の第四〜第六曲面の三つの曲面により囲まれた空間として求められる。
【００６２】
第四曲面（４）は、平行光線ｖを照射した際の投影画像Ｐにおける第一影側輪郭線Ｃ３２上の各点と当該投影画像の視点Ｏとを通る母線の全体が描く影側曲面と交わる、他の投影画像について求めた境界曲面である。また、第五曲面（５）は、影側曲面と第四曲面との交線を通り、平行光線に平行な曲面である。また、第六曲面（６）は、その交線に対して平行光線の光源と反対側で、第四及び第五曲面と交わる他の境界曲面である。
【００６３】
また、図８で投影面Ｆのａ−ｂ上の点ｃ３は、影側輪郭線Ｃ３２と切断平面との交点である。したがって、点ｃ３と視点Ｏとを結ぶ直線ｃ３−Ｏは、影側曲面の母線である。
【００６４】
また、図８中の境界ラインＬｃ２は、上述の第四曲面（４）と、切断平面との交線である。また、図８中の線分ｑ１−ｑ３は、上述の第五曲面（５）と切断平面との交線の一部である。そして、図８中の直線Ｌｃ３は、上述の第六曲面（６）と切断平面との交線である。
【００６５】
そして、境界ラインＬｃ２と直線Ｌｄとの交点である点ｑ１は、第四曲面（４）と第五曲面（５）と切断平面との交点である。また、境界ラインＬｃ２と他の境界ラインＬｃ３との交点である点ｑ２は、第四曲面（４）と第六曲面（６）と切断平面との交点である。そして、線分ｑ１−ｑ３と直線Ｌｃ３との交点である点ｑ３は、第五曲面（５）と第六曲面（６）と切断平面との交点である。
【００６６】
したがって、切断平面上の点ｑ１、点ｑ２及び点ｑ３の三点で囲まれた三角形の領域が、粗存在範囲から除去されるべき影空間Ｍ２の、切断平面上での切り口となる。そして、粗存在範囲からこの影空間Ｍ２を除去した空間を物体Ｕの修正存在範囲として求める。
【００６７】
さらに、複数の投影画像において、照明領域中に島状の非照明領域がそれぞれ存在する場合には、それら各投影画像について、影空間を除去する。すなわち、少なくとも一つの投影画像についての影空間に含まれる空間は、粗存在範囲から除去される。そして、それら各投影画像について除去された残りの存在範囲が、最終的な修正存在範囲として求められることになる。
以下、第一実施形態と同様にして、修正損残範囲から形状構成して出力することにより、より正確に推定された物体Ｕの形状が得られる。
【００６８】
なお、上記の第一実施形態において説明した、凹部影空間を除去する存在範囲修正処理において、この第二実施形態において説明した凹部以外の影空間を除去する修正処理を組み合せれば、物体Ｔの形状をより一層精度良く推定することができる。
【００６９】
上述した実施の形態においては、本発明を特定の条件で構成した例について説明したが、本発明は、種々の変更を行うことができる。例えば、上述した実施形態では、凹部が一箇所ある物体の形状を推定する例について説明したが、この発明では、物体に凹部が複数箇所あってもよい。すなわち、照明領域中に複数の島状の非照明領域が存在していてもよい。その場合、各非照明領域について凹部影空間を除去して修正存在範囲を求めるとよい。したがって、本発明は、物体の形状が複雑な場合にも形状推定に用いて好適である。
【００７０】
また、上述した第二実施形態では、球体の物体Ｕの形状を推定する例について説明したが、この発明では、対象とする物体の形状は球体に限定されず、任意の形状の物体の形状推定に適用することができる。
【００７１】
【発明の効果】
以上、詳細に説明したように、本発明によれば、物体の粗存在範囲を求めた後、この粗存在範囲から、平行光線が通過している影空間を除去して修正存在範囲を求める。これにより、粗存在範囲内であっても実際には物体の含まれない空間部分が減少する。このため、推定形状を実際の物体形状により近づけて、より正確に物体形状を推定することができる。
【００７２】
特に、投影画像に物体の凹部の存在を示す島状の非照明領域が存在する場合、粗存在範囲から、平行光線が通過している影空間のうちの得に凹部影空間を除去して修正存在範囲を求める。これにより、特に、輪郭法では除去することが困難であった物体の凹部を埋める余分な空間を、物体の推定存在範囲から除去することができる。このため、推定形状を実際の物体形状により近づけて形状推定精度を向上させることができる。
【図面の簡単な説明】
【図１】第一実施形態における物体形状推定装置の構成を説明するための機能ブロック図である。
【図２】第一実施形態における物体形状推定方法を説明するためのフローチャートである。
【図３】投影法の説明図である。
【図４】第一実施形態における投影画像例を示す図である。
【図５】第一実施形態における領域分割を説明するための断面図である。
【図６】第一実施形態における物体の粗存在範囲を示す断面図である。
【図７】第一実施形態における修正存在範囲の求め方を示す断面図である。
【図８】第二実施形態における修正存在範囲の求め方を示す図である。
【図９】従来の輪郭法による物体形状推定方法を説明するためのフローチャートである。
【符号の説明】
１  画像生成部
２  照明パラメータ入力・計算部
３  領域分割部
４  粗存在範囲決定部
５  存在範囲修正部
６  形状構成部
７  形状出力部
【図１】
0003543741.tif 000002
【図２】
0003543741.tif 000003
【図３】
0003543741.tif 000004
【図４】
0003543741.tif 000005
【図５】
0003543741.tif 000006
【図６】
0003543741.tif 000007
【図７】
0003543741.tif 000008
【図８】
0003543741.tif 000009
【図９】
0003543741.tif 000010