(57)【要約】【課題】オクルージョンを緩和した上で精度よく三次元対象物の任意視点距離測定を行う。【解決手段】複数の移動式撮像部１０１，１０２を用い撮像を行い，三次元対象物の距離測定を行う。移動式撮像部１０１，１０２は，ケーブルにより本体１０３から分離され，自由に移動が可能である。移動式撮像部１０１，１０２が移動した場合には，これらの間の三次元位置変位量と，それぞれの姿勢変位量とを検出し，キャリブレーションパラメータを補正する。再キャリブレーションなしに，対象物との間の距離測定を行える。【選択図】  図１
2004193947.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部を具備し該複数の撮像部から得られた複数の画像と該複数の撮像部それぞれにおけるカメラのキャリブレーションパラメータを用いて距離画像を算出する３次元画像撮像装置において，複数の撮像部は相対的に自由に移動可能であり，かつ撮像部間の三次元位置の変位量を検出する三次元位置変位量検出手段と各撮像部の姿勢方向の変位量を検出する姿勢変位量検出手段とを有することを特徴とした三次元画像撮像装置。
【請求項２】
該複数の撮像部の各々のカメラおいて実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段をさらに有する請求項１記載の三次元画像撮像装置。
【請求項３】
該三次元位置変位量検出手段および該姿勢変位量検出手段により求めた撮像部間の三次元位置変位量および各撮像部の姿勢方向の変位量により，該キャリブレーションパラメータ記憶手段に記憶されたキャリブレーションパラメータを補正する請求項２記載の三次元画像撮像装置。
【請求項４】
該複数の撮像部の一つのみを移動可能とする請求項１，２または３記載の三次元画像撮像装置。
【請求項５】
複数の撮像部を用意し，該複数の撮像部におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する三次元画像撮像方法において，該複数の撮像部を相対的に移動可能に保持し，撮像部間の三次元位置の変位量を検出し，各撮像部の姿勢方向の変位量を検出し，撮像部間の三次元位置変位量および各撮像部の姿勢方向の変位量により，キャリブレーションパラメータを補正することを特徴とする三次元画像撮像方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，複数のカメラによるステレオ法により輝度情報とともに距離情報を入手する画像撮影装置およびに方法係り，各カメラのレイアウトをフリーにすることにより，計測領域を広げ，使い勝手を向上させることを可能にする装置および方法に関する。
【０００２】
【従来の技術】
対象物体の形状を測定する手法は，パッシブ手法（ステレオ画像法，ｓｈａｐｅ  ｆｒｏｍ  Ｘ）とアクティブ手法（光飛行時間測定法，ステレオ画像法）に大別される。パッシブ手法とアクティブ手法の違いは，対象物に対し何らかなエネルギーを照射するか否かの差である。両者の手法においてそれぞれ存在するステレオ画像法は，複数のカメラによって同一対象物を撮像し，撮像画像における対応点を抽出し，三角測量により距離画像を算出する方式である。
【０００３】
図９にパッシブ手法のステレオ画像法による三次元画像撮像装置を示す。図９において，本体３０３に固定の撮像部３０１，３０２，画像処理系３０４，電気系３０５が実装されている。これら実装要素は筐体３０７により保持されている。本体３０３には，パーソナルコンピュータ３０９が接続され，種々の処理を行うようになっている。撮像部３０１，３０２により撮像を行い，これらの撮像画像における対応点を抽出し，三角測量により距離を算出する。
【０００４】
一般に，ステレオ画像法は，特殊なデバイスを使用せずに三次元撮像装置を実現できるというメリットがある一方，カメラ（撮像部）のキャリブレーションを必要とし，その工程が煩雑である，計測できない領域であるオクルージョンが必ず存在する等のデメリットがある。キャリブレーションは，カメラ間の相対位置や姿勢などのレイアウトが変わるとカメラキャリブレーションを再度行う必要があり，これがさらに煩雑な工程を招いていた。従ってステレオ画像法を計測手法に用いた三次元画像撮像装置は，撮像部３０１，３０２である複数のカメラは固定である。またその他のコンポーネントである画像処理系３０４，電気系３０５を含めて一つの筐体３０７に作りこまれている場合が多い。そのため装置本体は大型化し可動性が悪く，個別にカメラを移動させることができないため対象物の形状や大きさに応じた任意視点での計測には不向きであり，計測領域が限定されるという問題があった。
【０００５】
オクルージョンは，凹凸がある対象物を二つのカメラで撮像するときにそれぞれのカメラの視線方向が違うために，一方のカメラでは撮像できる領域が他方のカメラでは撮像できない領域が存在することから発生する。そこで対象物の形状に合わせて個々のカメラを自由に移動できれば，オクルージョン領域はかなり低減できる。またカメラの位置やアングルを自由に変えることができれば，装置本体を移動させることなく，対象物の距離画像を手軽に取得することができる。しかしながら，上述した理由により，三次元画像撮像装置内の各コンポーネントは固定であるため，これらの要求は実現できないのが現状である。
【０００６】
【発明が解決しようとする課題】
そこで本発明では，可動性がよく，任意視点での計測が可能であり，オクルージョン領域を緩和でき，キャリブレーションの煩雑さを解消できる三次元画像撮像装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の一側面によれば，上述の目的を達成するために，複数の撮像部を具備し，該複数の撮像部におけるカメラのキャリブレーションパラメータを用いて距離画像を算出する三次元画像撮像装置において，該複数の撮像部は，互いに相対的に自由に移動可能であり，かつ撮像部間の三次元位置の変位量を検出する三次元位置変位量検出手段と，各撮像部の姿勢方向の変位量を検出する姿勢変位量検出手段とを有するようにしている。
【０００８】
この構成においては，該撮像部を相互に移動可能にしているので（少なくとも一方が対象物に対して移動するので）オクルージョン領域を低減することができる。
【０００９】
該複数の撮像部の一部のみを対象物に対して移動させてもよいし，すべてを対象物に対して移動させてもよい。
【００１０】
該複数の撮像部におけるカメラの各々において実施したキャリブレーションにより求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段を設け，正確に距離測定が可能である。
【００１１】
さらに，三次元位置変位量検出手段および該姿勢変位量検出手段により求めた撮像部間の三次元位置変位量および各撮像部の姿勢方向の変位量により，該キャリブレーションパラメータ記憶手段に記憶されたキャリブレーションパラメータを補正することにより，再びキャリブレーションを行う必要がない。
【００１２】
なお，本発明は，装置またはシステムの発明として実現できるのみでなく，方法の態様でも実現可能である。
【００１３】
本発明の上述の側面および本発明の他の側面は特許請求の範囲に記載され，以下実施例を用いて詳細に説明される。
【００１４】
【発明の実施の形態】
以下，図面を参照しながら本発明の実施例を具体的に説明する。図１に本発明の実施例の構成図を示す。図１において，本実施例における三次元画像撮影装置１００は，二つの移動式撮像部（第１の撮像部および第２の撮像部）１０１，１０２，本体１０３，パーソナルコンピュータ１０９が基本的な構成である。本体１０３には，画像処理系１０４と電気系１０５およびカメラのキャリブレーション時に求めたキャリブレーションパラメータを記憶するキャリブレーションパラメータ記憶手段１０６がコンポーネントとして存在し，筐体１０７により一つに収められている。図に示すこれらのコンポーネントのレイアウトおよび結線は図に示す以外に適宜変更される。パーソナルコンピュータ１０９は，本体１０３を制御（図６および図７の処理も含まれる。キャリブレーションパラメータの補正手段）を実行し，かつ得られた三次元画像を表示するための装置である。移動式撮像部１０１，１０２は，ケーブルにより本体１０３から分離され，それぞれ移動保持手段１０８ａ，１０８ｂにより自由に移動が可能である。移動式撮像部１０１，１０２の移動は，手作業で行ってもよいし，所定の駆動手段を用いてもよい。
【００１５】
第１の移動式撮像部１０１には，三次元位置変位量検出手段２０１（図２参照）および姿勢変位量検出手段２０２（図２参照）が具備されている。第２の移動式撮像部１０２には，姿勢変位量検出手段２０３（図２参照）および反射面（その表面が鏡面のものを除く。乱反射等により反射光が三次元位置変位量検出手段２０１に戻るようにする）２０４が具備されている。これらを図２をも用いてさらに説明する。図２において，三次元位置変位量検出手段２０１は，二つの移動式撮像部間における三次元位置の変位量を検出する検出デバイスである。本実施例では，検出法としてＬＥＤやＬＤのスポット光走査と光検出器を組み合わせたＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）法，あるいはＬＥＤやＬＤのスポット光走査とＰＳＤ（Ｐｏｓｉｔｉｏｎ  Ｓｅｎｓｉｎｇ  Ｄｅｖｉｃｅ）を組み合わせた三角測量法を用いた。ＴＯＦ法による検出デバイスでは，図３に示すように，第１の移動式撮像部１０１に光源であるＬＥＤあるいはＬＤ２０１ａと光検出器２０１ｂを具備してある。ＬＥＤあるいはＬＤ２０１ａのパルス状のスポット光を上下左右に走査させる。このスポット光の走査は，例えば図４に示すような２組のガルバノミラー２０１ｃ，２０１ｄを用いて行うことができる。走査光の内，第２の移動式撮像部１０２の反射面２０４で反射したパルス光を第１の移動式撮像部に具備された光検出器により検出し，パルス照射時刻と反射光検出時刻差から算出した距離値とパルス走査角により，二つの移動式撮像部１０１，１０２間における三次元位置の変位量を求めた。光検出器２０１ｂは単一素子でも構わないし，二次元配列された複数の素子により構成された二次元センサを用いても構わない。ＬＥＤやＰＤとＰＳＤを組み合わせた三角測量法による検出デバイスでも，第１の移動式撮像部１０１に光源であるＬＥＤあるいはＬＤ２０１ａとＰＳＤ（図示していない）を具備し，ＬＥＤあるいはＬＤ２０１ａによるスポット光を図４のガルバノミラーを用いて，上下左右に走査させる。走査光の内，第２の移動式撮像部１０２の反射面２０４で反射したスポット光を第１の移動式撮像部１０１に具備されたＰＳＤにより検出した。ＰＳＤによりスポット光が検出された位置が正確に分かり三角測量の原理により，二つの移動式撮像部間における三次元位置の変位量を求めた。またＰＳＤの換わりにエリアセンサであるＣＣＤセンサやＣＭＯＳセンサを用いても構わない。
【００１６】
姿勢変位量検出手段２０２，２０３は，移動式撮像部１０１，１０２の姿勢方向変位量を検出できる検出デバイスであり，本実施例では，ジャイロによる加速度センサ，あるいはコイルによる地磁気センサを用いた。姿勢変位量検出手段２０２，２０３は，第１および第２の移動式撮像部１０１，１０２双方に具備されてある。ジャイロによる加速度センサでは，移動に伴い発生する加速度を積分することにより姿勢方向の変位量を求めた。地磁気センサでは，コイルに発生する磁界の向きと地磁気の向きの差分を検出することにより，姿勢方向を求めた。姿勢方向の変位量は，移動式撮像部１０１，１０２の移動前と移動後の姿勢方向の差分により求めた。これを第１および第２の移動式撮像部１０１０，１０２双方において行うことにより，それぞれの移動式撮像部１０１，１０２の姿勢変位量を求めた。
【００１７】
移動式撮像部１０１，１０２におけるカメラのキャリブレーションは，Ｔｓａｉが提案する手法を用いた（Ｒ  Ｙ．Ｔｓａｉ，「Ａ  Ｖｅｒｓａｔｉｌｅ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｈｉｇｈ−Ａｃｃｕｒａｃｙ  ３Ｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ  Ｍｅｔｒｏｌｏｇｙ  Ｕｓｉｎｇ  Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ  ＴＶ  Ｃａｍｅｒａｓ  ａｎｄＬｅｎｓｅｓ」，  ＩＥＥＥ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ａｕｔｏｍａｔｉｏｎ，ｖｏｌ．ＲＡ−３，Ｎｏ．４，Ａｕｇｕｓｔ  １９８７  参照）。これは，ピンホールカメラにレンズ収差の補正を加えたカメラモデルを想定し，物体の三次元位置（ワールド座標系）と撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータ（カメラ主点位置，回転角，焦点距離，収差，画像中心等）を，校正チャートを用いて高精度に求める手法である。図５に用いた校正チャートを示す。全体サイズは，９９．２×１２１．４ｍｍであり，１０．３×１０．３ｍｍの正方形パッチをピッチ２２．２ｍｍで５×６個分並べたものである。校正チャートを装置のワーキングディスタンスに相当する位置に垂直方向から３０°傾けた状態で固定し，装置と校正チャートの距離を予め求めておいて，二つの移動式撮像部１０１，１０２それぞれにおいて撮像した。これをダイナミックレンジ内において複数回行った。これにより，既知である校正チャートにおける正方形パッチの頂点座標（ワールド座標系）と移動式撮像部の撮像面座標（カメラ座標系）を関連付けるキャリブレーションパラメータであるカメラ主点位置，回転角，焦点距離，収差，画像中心，倍率を求めた。これにより，撮像面上の座標と対象物の座標を結ぶ直線式をそれぞれの移動式撮像部１０１，１０２において算出できる。対象物上の座標は，同一の点（対応点）としているため，二つの直線式の交点の座標を算出することにより，対象物までの距離を求めた。ここで求めたキャリブレーションパラメータは，各移動式撮像部のキャリブレーション時の配置と異なる場合，キャリブレーションパラメータであるカメラ主点位置，回転角に影響を及ぼす。従って，カメラ主点位置，回転角を補正する必要が生じる。本実施例では，カメラ主点位置を三次元位置変位量検出手段により求めた三次元位置変位量により補正し，カメラ回転角を姿勢変位量検出手段により求めた姿勢変位量により補正した。各撮像がキャリブレーション時の配置と異なる場合は，補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出した。
【００１８】
三次元画像を取得するまでの手順を図６および図７に示したフローチャートにより説明する。前段階として，移動式撮像部のキャリブレーションを実施する。これを第１のフローチャート（図６）用いて説明する。二つの移動式撮像部１０１，１０２の距離，二つの移動式撮像部１０１，１０２の姿勢方向が変化しないように配置を決め，固定する（Ｓ１０）。この状態で各移動式撮像部１０１，１０２において，校正チャートを撮像する（Ｓ１１）。撮像画像によりキャリブレーションパラメータを算出し，キャリブレーションパラメータ記憶手段１０６に保存する（Ｓ１２）。
【００１９】
次に第２のフローチャート（図７）用いて，対象物の距離値算出までのフローを説明する。対象物を第１，第２の移動式撮像部１０１，１０２にて撮像する。ここで，第１，第２の移動式撮像部１０１，１０２がキャリブレーション時の配置のままである場合には，キャリブレーションパラメータ記憶手段１０６に保存されたキャリブレーションパラメータを用いて，対象物までの距離値を算出する（Ｓ２１，Ｓ２２）。第１，第２の移動式撮像部１０１，１０２がキャリブレーション時の配置でない場合には，三次元位置変位量検出手段２０１より，移動式撮像部１０１，１０２間の三次元位置変位量を算出し，姿勢変位量検出手段２０２，２０３により，各移動式撮像部１０１，１０２の姿勢変位量を算出する（Ｓ２３，Ｓ２４）。次にカメラ主点位置を三次元位置変位量検出手段２０１により求めた三次元位置変位量により補正し，カメラ回転角を姿勢変位量検出手段２０２，２０３により求めた姿勢変位量により補正する（Ｓ２５）。補正後のキャリブレーションパラメータを用いて対象物までの距離値を算出する（Ｓ２２）。
【００２０】
輝度情報は，距離値算出時の過程において第１あるいは第２の移動式撮像部１０１，１０２により撮像した輝度画像を輝度情報として使用する。これにより，距離情報のみならず輝度情報も取得が可能になり，対象物の形状データに輝度データを貼り付けて表示するコンテンツを作成する際のデータ提供も可能になる。
【００２１】
なお，この発明は上述の実施例に限定されるものではなく，その趣旨を逸脱しない範囲で種々変更が可能である。例えば，反射面２０４は，反射光を三次元位置変位量検出手段２０１，すはわち光源に戻すものであれば，どのようなものであってもよい。例えば，図８に示すような，反射部であれば，その表面が鏡面であってもよい。また，撮像部の一方のみを移動式とし，他方を固定としても良い。撮像部を３つ以上設けても良い。この場合も、すべて移動可能としても良いし、一部を移動可能としてもよい。
【００２２】
【発明の効果】
以上説明したように，本発明によれ，各撮像部がキャリブレーション時の配置と異なる場合でも，補正手段により，初めから全てのキャリブレーション作業をやり直す煩わしさがなく，また各カメラのレイアウトをフリーにすることにより，可動性がよく，任意視点での計測が可能であり，オクルージョン領域を緩和でき，使い勝手を向上させることが可能となる三次元画像を提供できる。
【図面の簡単な説明】
【図１】本発明の実施例における三次元画像撮像装置の構成図である。
【図２】本発明の実施例における撮像部の三次元位置変位量検出手段および姿勢変位量検出手段の構成および検出手法を説明する図である。
【図３】三次元位置変位量検出手段に用いる光源（ＬＥＤあるいはＬＤ）および光検出器を説明する図である。
【図４】三次元位置変位量検出手段に用いる光源からの光を走査する機構を説明する図である。
【図５】本発明の実施例における校正チャートである。
【図６】本発明の実施例におけるキャリブレーションのフローを説明する図である。
【図７】本発明の実施例における距離値算出までのフローを説明する図である。
【図８】上述実施例の変形例を説明する図である。
【図９】従来の三次元画像撮像装置の構成図である。
【符号の説明】
１００      三次元画像撮影装置
１０１      第１の移動式撮像部
１０２      第２の移動式撮像部
１０３      本体
１０４      画像処理系
１０５      電気系
１０６      キャリブレーションパラメータ記憶手段
１０７      筐体
１０８ａ，１０８ｂ      移動保持手段
１０９      パーソナルコンピュータ
２０１      三次元位置変位量検出手段
２０１ａ      光源であるＬＥＤあるいはＬＤ
２０１ｂ      光検出器
２０１ｃ，２０１ｄ      ガルバノミラー
２０２，２０３      姿勢変位量検出手段
２０４      反射面
【図１】
2004193947.tif 000003
【図２】
2004193947.tif 000004
【図３】
2004193947.tif 000005
【図４】
2004193947.tif 000006
【図５】
2004193947.tif 000007
【図６】
2004193947.tif 000008
【図７】
2004193947.tif 000009
【図８】
2004193947.tif 000010
【図９】
2004193947.tif 000011