(57)【特許請求の範囲】
【請求項１】
対象物体の画像を撮影する撮影手段と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出手段と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出手段によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を有し、
前記立体形状推定手段は、前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施し、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施することを特徴とする立体情報取得装置。
【請求項２】
複数の視点から対象物体を撮影した画像と前記視点位置の情報を用いて、前記画像中の前記対象物体が占める領域を認識し、前記対象物体の占める領域に基いて前記対象物体の立体形状を推定して、前記対象物体の立体情報を取得する立体情報取得方法であって、
前記対象物体の画像を撮影手段によって撮影する撮影工程と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて前記撮影手段による撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明手段によって照明する照明工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出工程と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出工程によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定工程と、
を有し、
前記立体形状推定工程は、
前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第１の認識推定処理工程と、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第２の認識推定処理工程と、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第３の認識推定処理工程と、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第４の認識推定処理工程と、
を有することを特徴とする立体情報取得方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物体の立体情報を取得する立体情報取得装置及び立体情報取得方法に関する。
【０００２】
【従来の技術】
従来技術としての立体情報取得装置は、特開平１０−１２４７０４号公報に開示されている。
【０００３】
この立体情報取得装置では、画像上の対象物体と背景の境界を用いて、仮定存在領域を算出する。
【０００４】
この仮定存在領域とは、カメラの投影中心を頂点とし、画像上の対象物体と背景の境界を断面形状とする錐体状の領域である。
【０００５】
この錐体状の領域（仮定存在領域）をボクセルモデル（所定の大きさの立方体によるモデル）で記述する。
【０００６】
以上のような処理を対象物体を回転テーブルによって所定角度回転させて繰り返し行う。
【０００７】
そして、共通仮定存在領域を求め、対象物体の立体情報を取得する。
【０００８】
ここで、画像上の対象物体と背景の境界は、対象物体がない状態で背景のみを撮影した画像と、対象物体がある状態で撮影した画像の差分から求める。
【０００９】
【発明が解決しようとする課題】
上述したような従来技術では、立体情報の精度を向上させるためには、前述した所定角度を小さくする必要があるため、撮影回数が増え、撮影時間が増大するという問題がある。
【００１０】
また、撮影角度を最初に設定するため、回転テーブルは運動と停止を繰り返し、対象物体に加速度がかかり、転倒、変形等の恐れがあるという問題がある。
【００１１】
さらに、その停止位置は精度良く制御されている必要があるため、回転テーブルの移動装置や制御装置は複雑かつ高価なものになる。
【００１２】
また、画像上の対象物体と背景の境界を求める際に背景のみの画像との差分を用いているが、カメラの撮影ごとの露出、フォーカス、シャッタースピード等のばらつきにより、精度良く境界を求められない場合があるという問題がある。
【００１３】
また、ボクセルモデルを用いて共通仮定存在領域を直接求めているために、あるボクセルが共通仮定存在領域に含まれでいるか否かを確認するための必要な画像の枚数が多数必要であり、処理時間が膨大になるという問題がある。
【００１４】
また、最初に設定されたボクセルモデルのすべてのボクセルに関する存在確率を保存しておく必要があるためにメモリ容量が膨大になるという問題がある。
【００１５】
本発明は、以上のような問題点を解決するためになされたものであり、精度よく境界を求め、より精度の高い立体情報を取得し得ると共に、対象物体の立体情報取得のためのメモリ容量を大幅に削減し、撮影時間を短縮し、対象物体を安定した状態に保つことができる立体情報取得装置及び立体情報取得方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
（１）  対象物体の画像を撮影する撮影手段と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出手段と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出手段によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を有し、
前記立体形状推定手段は、前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施し、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施し、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施することを特徴とする立体情報取得装置が提供される。
【００１７】
（作用）
本発明は、バックライトシルエット法と定速移動により、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得、さらに精度よく物体色に関係なく切り出すことができる。
また、本発明は、回転限定により、少なくとも回転軸の周囲の情報が得られるという保証がある。
また、本発明は、境界画像処理順番を考慮することにより、より効率よく処理不要な個所を判定できるようにしている。
【００４４】
また、本発明によると、上記課題を解決するために、
（２）  複数の視点から対象物体を撮影した画像と前記視点位置の情報を用いて、前記画像中の前記対象物体が占める領域を認識し、前記対象物体の占める領域に基いて前記対象物体の立体形状を推定して、前記対象物体の立体情報を取得する立体情報取得方法であって、
前記対象物体の画像を撮影手段によって撮影する撮影工程と、
所定の光学的特性を有すると共に、前記対象物体の背後に配置されて前記撮影手段による撮影時に前記対象物体の背景となる背景板、または、少なくとも前記撮影手段の撮影範囲内おける前記対象物体の輪郭部分全体またはその一部を含む範囲を前記対象物体の背後から直接的または間接的に照明手段によって照明する照明工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを回転運動によって相対的かつ連続的に移動させる相対移動工程と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影した各々の視点における前記対象物体と前記撮影手段との相対位置を検出する相対位置検出工程と、
前記撮影手段によって複数の視点から撮影された前記対象物体の画像、及び前記相対位置検出工程によって検出された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定工程と、
を有し、
前記立体形状推定工程は、
前記撮影手段によって複数の視点から撮影した画像の内、第１の視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第１の認識推定処理工程と、
続いて、前記第１の視点位置から対象物体を観察する位置において最も遠い第２の視点位置となる当該第１の視点から前記対象物体に対して１８０度異なる視点位置からの視線で撮影された画像に基いて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記対象物体の立体形状を推定する認識推定処理を実施する第２の認識推定処理工程と、
続いて、前記第１及び第２の視点位置で撮影を行った前記相対移動手段の１回転目に続く２回転目において、前記認識推定処理に用いられていない画像に対応する前記第１及び第２の視点位置を除いたそれ以外の残余の前記視点位置であって、前記回転方向での解像度を徐々に細かくして撮影を行えるための回転位置である前記第１の視点位置に対して９０度と２７０度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第３の認識推定処理工程と、
続いて、さらに３回転目において前記第１の視点位置に対して４５度、１３５度、２２５度、及び３１５度異なる視点位置からの視線で撮影された画像に基づいて前記対象物体が存在すると判定される当該画像内で対象物体が占める領域を認識すると共に、前記認識推定処理を実施する第４の認識推定処理工程と、
を有することを特徴とする立体情報取得方法が提供される。
【００４５】
（作用）
本発明は、境界画像処理順番を考慮することにより、より効率よく処理不要な個所を判定できるようにしている。
【００５４】
【発明の実施の形態】
以下、図面を参照して本発明による立体情報取得装置の実施の形態について説明する。
【００５５】
本発明による立体情報取得装置の実施の形態の説明では、主に、対象物体を移動することを主眼に説明するが、撮影手段を移動してもまったく同様に実現可能である。
【００５６】
（第１の実施の形態）
図１は、本発明による立体情報取得装置の第１の実施の形態の構成を示すブロック図である。
【００５７】
本実施の形態は、図１に示すように、撮影手段としてのカメラＣＵと、被写体照明用のフラッシュＦＵと、相対位置移動手段としての回転テーブル（撮影台回転装置）ＲＵと、この回転テーブルＲＵが一回転したことを認識するセンサＲＵと、背景板としてのブルーバックＢＢと、対象物体ＢＥと、撮影時刻記録装置ＴＭと、相対位置特定手段としての相対位置算出装置ＰＣと、形状推定を行う形状推定装置ＳＲとからなる。
【００５８】
図２は、本実施の形態における大まかな処理の流れを示すフローチャートである。
【００５９】
本実施の形態における大まかな処理の流れは、キャリブレーションを行うステップＳ０と、撮影を行うステップＳ１と、境界画像作成を行うステップＳ２と、形状推定を行うステップＳ３とからなる。
【００６０】
ただし、キャリブレーションを行うステップＳ０は、カメラＣＵのフォーカス位置及びズーム位置、カメラＣＵと回転テーブルＲＵとの位置関係が変わらない限り、一度行えなえばよい。
【００６１】
（ステップＳ０）
まず、このステップＳ０において、キャリブレーションを行う。
【００６２】
本実施の形態によるキャリブレーションとは、３次元空間上の点が撮影された画像のどの点に射影されるかを知るために、カメラＣＵの内部パラメータ及びカメラＣＵと回転テーブルＲＵとの位置関係を求める処理のことである。
【００６３】
まず、カメラＣＵの内部パラメータについて説明する。
【００６４】
ここで、カメラＣＵの内部パラメータとは、撮影された画像の縦の拡大比αu と、横方向の拡大比αv と、光学中心（図３に示すように、主点位置から画像面へ下ろした垂線の足）ｕ0 、ｖ0 である。
【００６５】
ここで、拡大比とは、縦横の画像上のピクセルの幅とカメラＣＵの光学主点と画像面との距離の比である。
【００６６】
図３は、カメラ座標系と画像座標系との関係を示す図である。
【００６７】
例えば、画像面ＩＰ上に左上に原点Ｏｉ、横方向にｕ軸、縦方向にｖ軸を設定した画像座標系Ｏｉ、カメラＣＵの主点位置に原点Ｏｃ、ｕ軸に平行にＸ軸、ｖ軸に平行にＹ軸、画像面方向にＺ軸を設定したカメラ座標系Ｏｃを設定する。
【００６８】
ある点がカメラ座標系Ｏｃで
Ｗ＝（ｘ，ｙ，ｚ）＾Ｔ
画像座標系Ｏｉで
Ｉ＝（ｕ，ｖ）＾Ｔ
と表せるとき、これらの二つの座標系Ｏｃ，Ｏｉの関係は、
Ｉ′＝（ｕ′，ｖ′，ｗ′）＾Ｔ＝Ｕ×Ｗ′
Ｉ＝（ｕ′／ｗ′，ｖ′／ｗ′）＾Ｔ
Ｗ′＝（ｘ，ｙ，ｚ，１）＾Ｔ
となる。
【００６９】
ここで、＾Ｔはベクトルの転置を表し、Ｕはカメラ座標系Ｏｃから画像座標系Ｏｉへの変換行列を表す。
【００７０】
Ｕはｕ，ｖ方向のパースペクティブ比αu と、αv と、光学中心ｕ0 、ｖ0 を用いて、
【数１】
0004094303.tif 000002
と表せる。
【００７１】
これらのパラメータを取得する方法としては、文献「写真から作る３次元ＣＧ、徐  剛著、近代科学社、２００１年」にある。
【００７２】
次に、カメラＣＵと回転テーブルＲＵとの位置関係について説明する。
【００７３】
これは、前述したカメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの関係と同等である。
【００７４】
図４は、カメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの各座標系の関係を示す図である。
【００７５】
ここで、回転テーブル座標系Ｏｒは、回転軸をＺ方向、回転板をＸＹ平面に設定する。
【００７６】
カメラ座標系Ｏｃで
Ｗ＝（ｘ，ｙ，ｚ）＾Ｔ
回転テーブル座標系Ｏｒで
Ｚ＝（ｐ，ｑ，ｒ）＾Ｔ
と表せるとき、これら二つの座標系Ｏｃ，Ｏｒの関係は、
Ｗ＝Ｍ×Ｚ′
Ｗ′＝（ｘ，ｙ，ｚ，１）＾Ｔ
Ｚ′＝（ｐ，ｑ，ｒ，１）＾Ｔ
となる。
【００７７】
ここで、Ｍはカメラ座標系Ｏｃからみた回転テーブル座標系Ｏｒの位置関係を表す回転行列Ｒｃｒと、並進ベクトルＴｃｒとを用いて
【数２】
0004094303.tif 000003
と表せる。
【００７８】
回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める方法としては、例えば、図５に示すようなパターンＰＣを間隔ｄで配置したパターン平板ＰＢを図６のように回転テーブルＲＵに回転板に直立させて１０度づつ回転させた異なる複数の角度からカメラＣＵによって撮影する方法がある。
【００７９】
例えば、５つの異なる角度から撮影を行ったとすると、撮影された画像ＩＰＢ１，ＩＰＢ２，…，ＩＰＢ５の画像内のすべてのパターンＰＣ１１，ＰＣ１２…ＰＣ１５，ＰＣ２１，ＰＣ２２，…，ＰＣ２５，ＰＣ３１，ＰＣ３２，…，ＰＣ３５，ＰＣ４１，ＰＣ４２，…Ｐ，Ｃ４５，ＰＣ５１，ＰＣ５２，…，ＰＣ５５の重心の各画像座標系Ｏｉにおける座標ＰＣ１１１，ＰＣ１１２…ＰＣ１１５，ＰＣ２１１，ＰＣ２１２，…，ＰＣ２１５，ＰＣ３１１，ＰＣ３１２，…，ＰＣ３１５，ＰＣ４１１，ＰＣ４１２，…，ＰＣ４１５，ＰＣ５１１，ＰＣ５１２，…，ＰＣ５１５を求める。
【００８０】
パターン平板の縦方向にＺ方向、横方向にＹ方向、平板の法線方向にＸ方向、平板の左下原点を設定したパタ一ン平板座標系Ｏｐを考えると、各パターンのパターン平板座標系Ｏｐでの座標ＰＣ１１，ＰＣ１２，…，ＰＣ１５，ＰＣ２１，ＰＣ２２，…，ＰＣ２５，ＰＣ３１，ＰＣ３２，…，ＰＣ３５，ＰＣ４１，ＰＣ４２，…，ＰＣ４５，ＰＣ５１，ＰＣ５２，…，ＰＣ５５は
ＰＣｎｍ＝（０，ｍ×ｄ，ｎ×ｄ）＾Ｔ
となる。
【００８１】
ここで、パターン平板座標系Ｏｐから回転テーブル座標系Ｏｒへの変換行列をＧ、変換後のベクトルをＰＣＲｐｎｍとおくと、
ＰＣＲｐｎｍ＝（ＰＣＲｐｎｍｘ，ＰＣＲｐｎｍｙ，ＰＣＲｐｎｍｚ）＾Ｔ
ＰＣＲｐｎｍ′＝（ＰＣＲｐｎｍｘ，ＰＣＲｐｎｍｙ，ＰＣＲｐｎｍｚ，１）
＾Ｔ＝Ｒｐ×Ｇ×ＰＣｎｍ′
ＰＣｎｍ′＝（０，ｍ×ｄ，ｎ×ｄ，１）＾Ｔ
【数３】
0004094303.tif 000004
となる。
【００８２】
ここで、添え字ｐは複数の画像の一枚を表す。
【００８３】
また、Ｒｐは回転テーブルＲＵの回転を表す行列で既知である。
【００８４】
つまり、
Ｐｐｎｍ′＝Ｕ×Ｍ×Ｒｐ×Ｇ×ＰＣｎｍ′
という連立方程式を解けばカメラ座標系Ｏｃと、回転テーブル座標系Ｏｒの関係つまり行列Ｍを求めることができる。
【００８５】
このＭを用いて、ある３次元空間上の点Ｆの回転テーブル座標系Ｏｒから見た座標をＦｒ、画像座標系Ｏｉから見たの座標をＦｉとすれば
Ｆｉ′＝（ｕ′，ｖ′，ｗ′）＾Ｔ＝Ｕ×Ｍ×Ｆｒ′
Ｆｉ＝（ｕ′／ｗ′，ｖ′／ｗ′）＾Ｔ
Ｆｒ′＝（Ｆｒ＾Ｔ，１）＾Ｔ
となり、３次元空間上の任意の点が画像のどの点に射影されるかがわかる。
【００８６】
ここで、パターン平板の代わりに３次元形状を有した円柱、四角柱あるいは特殊形状の立体表面上に特徴となるパターンを配置し、そのパターンの重心の３次元座標が正確にわかるものならば何でも良い。
【００８７】
（ステップＳ１）
次に、ステップＳ１において回転テーブルＲＵに対象物体ＢＥを置き、対象物体ＢＥを回転させながらカメラＣＵによって、対象物体ＢＥを背景ＢＢとともに撮影し、物体画像Ａ１，Ａ２，…，Ａｎを得る。
【００８８】
例えば、対象物体Ｂを回転数１ｒｐｍで回転させながら１回転する間にほぼ等間隔に３６回撮影（つまり６０／３６＝約１．６７秒間隔で撮影）し、図７に示すように複数の物体画像Ａ０１，Ａ０２，…，Ａ３６を得る。
【００８９】
このとき必要に応じて被写体照明用のフラッシュＦＵを同期させて点灯させるようにしても良い。
【００９０】
この場合、シャッタースピード１／５００で撮影したとすると、撮影の間に、対象物体Ｂは３６０÷６０÷５００＝０．０１２度しか回転しないため、画像がぶれるという問題は起こりにくい。
【００９１】
ここで、回転数は対象物体Ｂが安定して回転し、画像がぶれない回転数であれば良い。
【００９２】
ここで、物体画像Ａ０１，Ａ０２，…，Ａ３６を撮影した時刻Ｔ１，Ｔ２，…，Ｔ３６（ｓ）を撮影時刻記録装置ＴＭによって記録しておく。
【００９３】
この時刻Ｔ１，Ｔ２，…，Ｔ３６の保存方法としては、例えば、画像に付記してもよいし、撮影順番とペアにしてテーブルとして別ファイルに保存するようにしてもよい。
【００９４】
ここで、回転テーブルＲＵの回転を認識できるように、テーブルＲＵにセンサＲＳが設けられている。
【００９５】
このことにより、回転テーブルＲＵが１回転する時間を計測することが可能になり、１回転の平均の角速度を算出することにより、回転テーブルＲＵの角速度のふらつきの３次元再構成への影響を軽減することができる。
【００９６】
なお、背景としては、例えば、図１に示したようにブルーバックの背景ＢＢを用いる。
【００９７】
しかるに、この背景としては、背景と認識できるものであれば何でも良い。
【００９８】
例えば、ブルーでなくても赤、黄、緑などでも良いし、格子パターン等の模様があっても良い。
【００９９】
（ステップＳ２）
スデップＳ２では、図１の形状推定装置ＳＲにおいて物体画像Ａ０１，Ａ０２，…，Ａ３６から境界画像を作成する。
【０１００】
つまり、各物体画像Ａ０１，Ａ０２，…，Ａ３６から、背景ＢＢを認識し、図８に示すように複数の境界画像Ｂ０１，Ｂ０２，…，Ｂ３６を作成する。
【０１０１】
これらは、原則的に物体の存在する領域を「１」とし、存在しない場所「０」とする２値画像である。
【０１０２】
ただし、物体なのか背景なのかの区別がつかなかった領域をアナログ的に「０」、「１」以外の数字で保存するようにしても良い。
【０１０３】
物体画像Ａ０１，Ａ０２，…，Ａ３６が３６枚であるため、境界画像も３６枚になる。
【０１０４】
（ステップＳ３）
次に、ステップＳ３では、図１に示した形状推定装置ＳＲにおいて形状推定を行う。
【０１０５】
図９は、ステップＳ３の処理の流れを示すフローチャートである。
【０１０６】
まず、ポクセル設定処理ステップＳ３０１において、回転テーブル座標系Ｏｒに図１０に示すようにボクセルＢＯＸを設定する。
【０１０７】
この場合、ボクセルＢＯＸの設定範囲は、対象物体が完全に覆い隠せる領域に設定する。
【０１０８】
また、一つのボクセルＢＯＸの大きさ、ボクセルＢＯＸの数は所望の精度によって設定する。
【０１０９】
例えば、設定範囲が（−１，−１，０）、（１，１，２）を対角とする立方体であるとすると、一つのボクセルＢＯＸの大きさは０．００１、ボクセルＢＯＸの数は２０００×２０００×２０００＝８×１０＾９である。
【０１１０】
ここで、＾９は９乗を表す。
【０１１１】
この設定範囲では、回転テーブルＲＵのほぼ中央に置かれた直径が２の球が測定できる。
【０１１２】
ここで、ボクセルやボクセルの設定範囲は本実施の形態では立方体を用いたが、例えば、直方体や、三角柱、六角柱などを用いても良いし、円筒座標系で扇型のボクセルＢＯＸを用いても良い。
【０１１３】
特に、物体が扁平な場合は、ボクセルの設定範囲を直方体にすることで計算量、メモリ量を大幅に軽減できる。
【０１１４】
次に、処理画像選択処理ステップＳ３０３で処理していない画像から１枚画像を選び、撮影角度算出処理ステップＳ３０４にて基準角度からの撮影角度Ａａ１，Ａａ２，…，Ａａ３６を求める。
【０１１５】
これは、図１に示した相対位置算出装置ＰＣの中で行われる。
【０１１６】
基準角度は、例えば、最初に撮影された角度を基準としても良いし、その他の撮影角度を基準としても良い。
【０１１７】
本実施の形態は回転テーブルＲＵを１ｒｐｍで回転させているので、１秒間に６度回転する。
【０１１８】
よって、
Ａａｎ＝（Ｔｎ−Ｔ１）×６
となる。
【０１１９】
さらに、判定対象ボクセル選択処理ステップＳ３０６において、外部と判定されていない各ボクセルの頂点のうち、未判定のボクセルを選択する。
【０１２０】
選択されたボクセルを、ボクセル頂点座標射影処理ステップＳ３０８にて、前述した変換行列と撮影角度Ａａ１，Ａａ２，…，Ａａ３６に対応する回転行列Ｒｐを用いて、境界画像Ｂ０１，Ｂ０２，…，Ｂ３６に射影し、さらにボクセル外部判定処理ステップＳ３０９にて物体領域にすべての頂点が含まれていない場合は外部と判定する。
【０１２１】
ここで、外部判定は、ボクセルの重心を境界画像Ｂ０１，Ｂ０２，…，Ｂ３６に射影し、射影された点が物体領域に含まれていない場合を外部と判定するようにしても良い。
【０１２２】
この判定結果は、図示しない判定結果保存部にて保存される。
【０１２３】
図１１は、この判定の例を示す図である。
【０１２４】
すなわち、図１１の（ａ）は、内部と判定される場合であり、図１１の（ｂ）は、外部と判定される場合である。
【０１２５】
また、図１２は、境界画像Ｂ０１によってボクセルが外部と判定される様子を示す図である。
【０１２６】
ここで、斜線部が外部と判定されたボクセルである。
【０１２７】
図１３の（ａ）乃至（ｄ）は、この方法で対象物体が切り出されていく様子を単純な形状に対して２次元の例で示す図である。
【０１２８】
ここで、斜線部が切り出されたボクセルで、網目模様部が以前に外部と判定されたため判定を行わないボクセルである。
【０１２９】
さらに、ボクセル外部判定部において外部と判定された回数が閾値以上のボクセルを外部ボクセルとして登録する。
【０１３０】
この判定は、例えば、外部確率＝判定された回数／判定に用いられた画像数という値を用いて判定するようにしても良い。
【０１３１】
最後に、すべての画像に対して処理が終了したら、外部でないボクセルを対象物体の立体形状とする。
【０１３２】
また、撮影部による撮影は、複数回転を通して行っても良い。
【０１３３】
この場合、各回転で異なる視点で撮影することによって、次のような効果が得られる。
【０１３４】
例えば、１回転目で０、１８０度付近（撮影角度自体が正確にわかっていれば正確にこの角度にならなくてもよい）で撮影し、２回転目で９０、２７０度付近、３回転目で４５、１３５、２２５、３１５度付近というように、回転方向の解像度を徐々に細かくして撮影すると、回転ごとに徐々に細かな形状がわかる。
【０１３５】
このことにより、形状推定部において形状推定すべき領域を処理過程の早い段階で知ることができ、処理を速めることができる。
【０１３６】
また、撮影部によって０、１０、・・・３４０、３５０度付近で順番に撮影された場合でも、０、１８０、９０、２７０、４０、１３０、２２０、３１０…度といった順番で形状推定を行うと、前述したと同様の効果が得られる。
【０１３７】
また、図１４に示すように、さらに、回転軸方向に対象物体ＢＥを一定速度で上下させる撮影テーブル昇降装置ＵＤＵを備え、回転テーブルＲＵの回転にあわせて回転テーブルＲＵを一定速度で持ち上げながら撮影するように構成しても良い。
【０１３８】
この場合、上下方向の相対位置も変わるため、単なる回転運動では、推定できなかった対象物体の部位を推定することができる。
【０１３９】
撮影位置は角度に加え、高さの移動も変化するが、一定速度で移動しているため、前述の角度の算出と同様に一定速度に撮影時刻をかければ高さを求めることができる。
【０１４０】
（第２の実施の形態）
この第２の実施の形態による立体情報取得装置の機器構成は、第１の実施の形態と同じである。
【０１４１】
図１５は、この第２の実施の形態による立体情報取得装置の処理の流れを示すフローチャートである。
【０１４２】
本実施の形態による立体情報取得装置の処理の流れは、ステップＳ０乃至Ｓ３までは第１の実施の形態と同じである。
【０１４３】
テクスチャマッピング処理ステップＳ４では、物体画像Ａ０１，Ａ０２，…，Ａ３６を用いて各表面にあるボクセルの色情報を決定する。
【０１４４】
例えば、まず表面にあるボクセルの中心の座標をそのボクセルが見えている物体画像Ａ０１，Ａ０２，…，Ａ３６へ射影し、射影された画像の色情報を平均してそのボクセルの色情報とする。
【０１４５】
これにより、物体の３次元形状のみならず、各部の色情報も取得できる。
【０１４６】
（第３の実施の形態）
図１６は、この第３の実施の形態による立体情報取得装置の構成を示すブロック図である。
【０１４７】
本実施の形態は、第１の実施の形態の撮影ステップＳ２と境界画像作成ステップＳ３とが異なる。
【０１４８】
まず、背面全体が明るくなるような光源をカメラＣＵに対してオブジェクトとしての対象物体ＢＥの背後に設置する。
【０１４９】
例えば、図１６に示すように拡散板ＦＢを設置し、その背後から撮影に同期させてフラッシュＢＦＵを光らせる。
【０１５０】
さらに、対象物体ＢＥは透明な台ＣＢの上に設置する。
【０１５１】
あとは第１の実施の形態と同様に回転テーブルＲＵを回転させることにより、例えば、３６枚のシルエット画像Ｓ０１，Ｓ０２，…，Ｓ３６を撮影する（図１７参照）。
【０１５２】
このようにして撮影することにより、背景領域は輝度が高く、オブジェクトの存在する領域は非常に暗い、いわゆる、逆光下における撮影と同じ画像を得ることができる。
【０１５３】
次に、境界画像作成処理ステップＳ３では、シルエット画像に対して、暗い領域を抽出する。
【０１５４】
例えば、ある閾値以上の輝度値を持つ画素を背景とし、残りの領域をオブジェクトとする。
【０１５５】
これら撮影方法と切り出し方法に関しての詳しくは、特願２００１−２４５５９３に順ずる。
【０１５６】
（第４の実施の形態）
図１８は、この第４の実施の形態による立体情報取得装置の構成を示すブロック図である。
【０１５７】
本実施の形態は、図１５に示した第２の実施の形態の撮影ステップＳ１と、境界画像作成処理ステップＳ２と、テクスチャマッピング処理ステップＳ４とが異なる。
【０１５８】
まず、背面全体が明るくなるような光源をカメラＣＵに対してオブジェクトの背後に設置する。
【０１５９】
例えば、図１８に示したように拡散板ＦＢを設置し、その背後から撮影にあわせてフラッシュＢＦＵを光らせる。
【０１６０】
このように撮影することにより、背景領域は輝度が高く、オブジェクトの存在する領域は非常に暗い、いわゆる、逆光下における撮影と同じ画像を得ることができる。
【０１６１】
また、前面を照射するためのフラッシュＦＵを備え、背後のフラッシュＢＦＵと交互、もしくは、数回置きに光らせるためのフラッシュ切り替え装置ＦＣＵを備えている。
【０１６２】
回転テーブルＲＵには、透明な台ＣＢが備えており、その上にオブジェクトとしての対象物体ＢＥを置いて、回転テーブルＲＵを回転させながら、複数のＦＵを光らせて撮影したテクスチャ画像Ｔ０１，Ｔ０２，…，Ｔ３６と複数のＢＦＵを光らせて撮影したシルエット画像Ｓ０１，Ｓ０２，…，Ｓ３６を、例えば、交互に撮影する（図１９参照）。
【０１６３】
次に、境界画像作成処理ステップＳ３では、シルエット画像に対して、暗い領域を抽出する。
【０１６４】
例えば、ある閾値以上の輝度値を持つ画素を背景とし、残りの領域をオブジェクトとする。
【０１６５】
これら撮影方法と切り出し方法に関しての詳しくは、特願２００１−２４５５９３に順ずる。
【０１６６】
また、テクスチャマッピング処理ステップでは、テクスチャ画像を用いて、第２の実施の形態同様にボクセルに色情報を付与することにより、物体の３次元形状のみならず、各部の色情報も取得することができる。
【０１６７】
（第５の実施の形態）
この第５の実施の形態は、前述した第１乃至第４の実施の形態の形状推定処理ステップＳ３が異なる形態である。
【０１６８】
図２０の（ａ）乃至（ｄ）は、本実施の形態のボクセルの変化の様子を２次元で示す図である。
【０１６９】
本実施の形態では、まず、一つのボクセルを所望の精度よりも大きめに設定する。
【０１７０】
また、第１乃至第４の実施の形態と同様にボクセルの外部判定を行うが、８つの頂点の判定が外部と内部で混在しているボクセルに対してボクセルの分割を行う。
【０１７１】
図２０では、２次元の説明であるために一つの正方形が４つに分割されているが、３次元では８つの立方体に分割する。
【０１７２】
そして、分割された立方体に対しても同様に外部判定を行い再起的に分割を繰り返す。
【０１７３】
所望の精度が得られるボクセルの大きさになった時点で終了し、まだ処理が終了していない境界画像を用いて同様な処理を行う。
【０１７４】
このように、再起的に分割しながら３次元再構成することによって、物体内部と外部の境界以外は所望の精度よりも大きなボクセルで分割されているため、処理されるボクセル数は激減する。
【０１７５】
また、一度分割してしまったボクセルの中で、そのボクセルの内部にあるすべてのボクセルが外部であると判定されていた場合には、それらのボクセルを統合して一つのボクセルとみなすことによって、ボクセルの数をさらに減少させることも可能である。
【０１７６】
ここで、ボクセルの外部判定を８つの頂点のほかに、例えば、６つの面の角重心や、各辺の中点等も用いて判定するようにしても良い。
【０１７７】
このことにより、より複雑な形状の物体の３次元再構成を行うことができるようになる。
【０１７８】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項１乃至１９以外にも、以下に付記１乃至付記３として示すような発明が含まれている。
【０１７９】
（付記１）  対象物体の画像を撮影する撮影手段と、
前記撮影手段が複数の視点から前記対象物体の画像を撮影できるように、前記対象物体と前記撮影手段を所定の相対速度で移動させる相対移動手段と、
前記対象物体と前記撮影手段の基準相対位置を検出する基準位置検出手段と、
前記基準位置検出手段が前記基準相対位置を検出した時刻と前記撮影手段が前記対象物体の画像を撮影した時刻との差と、前記所定の相対速度とから、前記対象物体と前記撮影手段との相対位置を特定する相対位置特定手段と、
前記撮影手段で撮影された複数の視点からの前記対象物体の画像、及び前記相対位置特定手段によって特定された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を備えることを特徴とする立体情報取得装置。
【０１８０】
（作用）
本発明は、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得る。
【０１８１】
（付記２）  対象物体の画像を撮影する撮影手段と、
少なくとも前記撮影手段の撮影範囲内おける前記対象物体の背景部分との境界全体を含む範囲を前記対象物体の背後から直接的または間接的に照明する照明手段と、
前記撮影手段によって複数の視点から前記対象物体の画像を撮影可能とするように、前記対象物体と前記撮影手段とを所定の相対速度で移動させる相対移動手段と、
前記対象物体と前記撮影手段の基準相対位置を検出する基準位置検出手段と、
前記基準位置検出手段が前記基準相対位置を検出した時刻と前記撮影手段が前記対象物体の画像を撮影した時刻との差と、前記所定の相対速度とから、前記対象物体と前記撮影手段との相対位置を特定する相対位置特定手段と、
前記撮影手段で撮影された複数の視点からの前記対象物体の画像、及び前記相対位置特定手段によって特定された相対位置の情報とを用いて、前記対象物体の立体形状を推定する立体形状推定手段と、
を備え、
前記照明手段は、前記対象物体の立体形状を推定するための撮影を行うとき、点灯していることを特徴とする立体情報取得装置。
【０１８２】
（作用）
本発明は、光切断と切り分けにより、対象物体を運動させたまま撮影が行えるので、移動中の加減速が少ないことによって、撮影時間が減少し、慣性による対象物体の転倒及び変形が少ないものとし得ると共に、エネルギー消費量が少ないものとし得る。
【０１８３】
（付記３）  前記相対位置移動手段は、前記対象物体を一定の角速度で回転させており、
前記相対位置検出手段は、
基準角位置を検出する基準角位置検出手段と、
前記基準角位置検出手段が基準角位置を検出してから前記撮影手段で撮影した時刻までの時間差を算出する時間差算出手段と、
前記一定の角速度と前記時間差算出手段で得られた結果を用いて、前記基準角からの前記撮影手段で撮影された時刻までに回転した角度差を特定する角度差特定手段と、
前記基準角位置検出手段が基準角位置を一度検出してからもう一度検出するまでの時間から、平均角速度を算出し、前記一定の角速度とする一定角速度算出手段とを有することを特徴とする請求項４記載の立体形状情報取得装置。
【０１８４】
（作用）
本発明は、（４）において、定角速度測定として回転台に対象物体を乗せたこと等による角速度の揺らぎ影響を軽減することができる。
【０１８５】
【発明の効果】
従って、以上説明したように、本発明によれば、精度よく境界を求め、より精度の高い立体情報を取得し得ると共に、対象物体の立体情報取得のためのメモリ容量を大幅に削減し、撮影時間を短縮し、対象物体を安定した状態に保つことができる立体情報取得装置及び立体情報取得方法を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明による立体情報取得装置の第１の実施の形態の構成を示すブロック図である。
【図２】図２は、本発明による立体情報取得装置の第１の実施の形態における大まかな処理の流れを示すフローチャートである。
【図３】図３は、カメラ座標系と画像座標系との関係を示す図である。
【図４】図４は、カメラ座標系Ｏｃと、回転テーブルＲＵ上に設定された回転テーブル座標系Ｏｒの各座標系の関係を示す図である。
【図５】図５は、回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める一例として用いられるパターン平板ＰＢを示す図である。
【図６】図６は、回転行列Ｒｃｒと、並進ベクトルＴｃｒを求める一例として図５のパターン平板ＰＢを回転テーブルＲＵに回転板に直立させて１０度づつ回転させた異なる複数の角度からカメラＣＵによって撮影する方法を説明するために示す図である。
【図７】図７は、物体画像Ａ０１，Ａ０２，…，Ａ３６を示す図である。
【図８】図８は、境界画像Ｂ０１，Ｂ０２，…，Ｂ３６を示す図である。
【図９】図９は、図２のステップＳ３の処理の流れを示すフローチャートである。
【図１０】図１０は、設定されるボクセルＢＯＸを示す図である。
【図１１】図１１は、外部判定の例を示す図である。
【図１２】図１２は、境界画像Ｂ０１によってボクセルが外部と判定される様子を示す図である。
【図１３】図１３は、対象物体が切り出されていく様子を単純な形状に対して２次元の例で示す図である。
【図１４】図１４は、第１の実施の形態の変形例の構成を示すブロック図である。
【図１５】図１５は、本発明の第２の実施の形態による立体情報取得装置の処理の流れを示すフローチャートである。
【図１６】図１６は、本発明の第３の実施の形態による立体情報取得装置の構成を示すブロック図である。
【図１７】図１６は、シルエット画像Ｓ０１，Ｓ０２，…Ｓ３６を示す図である。
【図１８】図１８は、本発明の第４の実施の形態による立体情報取得装置の構成を示すブロック図である。
【図１９】図１９は、第４の実施の形態による撮影画像を示す図である。
【図２０】図２０は、本発明の第５の実施の形態のボクセルの変化の様子を２次元で示す図である。
【符号の説明】
ＣＵ…撮影手段としてのカメラ、
ＦＵ…被写体照明用のフラッシュ、
ＲＵ…相対位置移動手段としての回転テーブル（撮影台回転装置）、
ＲＵ…回転テーブルＲＵが一回転したことを認識するセンサ、
ＢＢ…背景板としてのブルーバック、
ＢＥ…対象物体、
ＴＭ…撮影時刻記録装置、
ＰＣ…相対位置特定手段としての相対位置算出装置、
ＳＲ…形状推定を行う形状推定装置、
ＰＢ…パターン平板、
ＦＢ…拡散板、
ＢＦＵ…フラッシュ、
ＣＢ…透明な台。
【図１】
0004094303.tif 000005
【図２】
0004094303.tif 000006
【図３】
0004094303.tif 000007
【図４】
0004094303.tif 000008
【図５】
0004094303.tif 000009
【図６】
0004094303.tif 000010
【図７】
0004094303.tif 000011
【図８】
0004094303.tif 000012
【図９】
0004094303.tif 000013
【図１０】
0004094303.tif 000014
【図１１】
0004094303.tif 000015
【図１２】
0004094303.tif 000016
【図１３】
0004094303.tif 000017
【図１４】
0004094303.tif 000018
【図１５】
0004094303.tif 000019
【図１６】
0004094303.tif 000020
【図１７】
0004094303.tif 000021
【図１８】
0004094303.tif 000022
【図１９】
0004094303.tif 000023
【図２０】
0004094303.tif 000024