(57)【特許請求の範囲】
【請求項１】
試写体の画像を記録する際にユーザにプロンプトを出し、記録された画像に基づき前記試写体の三次元画像を再構築する方法であって、
パルスをカメラから被写体に送った時点から、前記被写体により反射された前記パルスが前記カメラにより検出されるまでの時間差を使用して、カメラから被写体への距離を測定するステップと、
第１の画像を第１の位置から記録するステップと、
ユーザに対して、第２の位置へ移動させるように促すプロンプトを出すステップと、
第２の画像を記録するステップと、
前記第１の画像および前記第２の画像を使用して三次元画像を再構築するステップと
を含み、
前記第２の位置は、前記被写体から、前記第１の位置とほぼ等距離であることを特徴とする方法。
【請求項２】
前記第１の画像を記録する前記ステップと前記第２の画像を記録する前記ステップは、２つの異なる時点で発生することを特徴とする請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
（１）発明の分野
本発明は、一般に、三次元画像を生成することに関する。より詳細には、本発明は、動作検出器または加速度計を使用してカメラの動きおよび位置を決定し、この情報を、カメラが撮影した多数の画像と結合して、３−Ｄ画像を生成することに関する。
【０００２】
（２）関連技術
今日の写真および撮像システムは、主として二次元画像の再現に使用するように設計されている。二次元画像では、ただ１つのパースペクティブが必要である。このパースペクティブは、カメラを固定位置に配置して、画像を写真フィルムまたは電子センサに記録することによって生成することができる。しかし、人間の視覚は立体的に見えるものである。したがって、人間の脳は、片目毎に到達する２つの各画像を結合する。脳はこの２つの画像を結合して、追加の次元である奥行を生成し、三次元（３−Ｄ）画像を作成する。近年、カメラおよび電子センサは、２つの画像を撮影してそれらを再び結合し、奥行成分のある三次元画像を再生しようとするように設計されてきた。
【０００３】
従来の三次元撮像システムは、２台のカメラを利用した。この２台のカメラの関係が固定されることが好ましかった。したがって、２つのパースペクティブ（各カメラから１つずつのパースペクティブ）が再び結合されたとき、この２つのパースペクティブに関する情報は、２台のカメラの間の関係が固定されていたので既知であった。２台のカメラを使用する際の問題は、１台のカメラ構成よりも高価になることである。２台のカメラには通常２組のレンズ、２台のカメラ本体、および２組のフィルムが必要である。
【０００４】
３−Ｄ画像を生成するための代替システムは、１台のカメラ本体に２組のレンズを実装することであった。これらのシステムは、なお標準の二次元カメラよりも高価である。これは、多数の画像を作成するために多数のレンズ・システムが必要であるからである。各レンズ・システムは、撮影中の被写体の異なる斜視図に対応する画像を生成する。さらに、２つのレンズ・システムを単一のカメラ本体に配置するには、レンズ・システムを互いにきわめて近接して配置する必要がある。２つのレンズ・システムをきわめて近接させると、その奥行知覚が、レンズ・システムをさらに離して配置できた場合に得られる奥行知覚よりも劣る結果となる。
【０００５】
３−Ｄ画像を生成する代替実施形態は、鏡およびプリズムを使用することで可能である。しかし、このようなシステムはかさばるものであり、複雑である。したがって、単一の３−Ｄ画像に結合するための多数の画像を、迅速かつ容易に生成することができるシステムを設計することが望ましい。このようなシステムを、以下の応用例において説明する。
【０００６】
（発明の簡単な概要）
三次元画像を生成するためのシステムについて説明する。このシステムは撮像装置を含み、この装置は第１の画像を第１の場所で、第２の画像を第２の場所で記録するように構成される。動作センサが、撮像装置の第１の場所から第２の場所までの移動を検出する。プロセッサが、第１の画像、第２の画像、および動作センサの出力から三次元画像を生成するように構成される。
【０００７】
（発明の詳細な説明）
以下の説明では、単一のレンズ・システムを有する単一のカメラを使用して三次元画像を生成するシステムについて説明する。このカメラは１組の動作センサ、好ましくはマイクロ・マシン加工シリコン（「ＭＥＭＳ」）センサを含む。このセンサはカメラの直線と回転の加速度または移動を検出することによって、カメラの変位を計算して、カメラの位置を決定することができる。あるいは、全世界測位（「ＧＰＳ」）システムを使用して、場所を決定することができる。また使用できる別のタイプの動作センサには、振動ＭＥＭセンサまたは市販のレーザ・ジャイロもある。位置情報、および単一のレンズ・システムで撮影した少なくとも２つの画像を使用して、カメラまたは外部プロセッサが、被写体を表現する三次元画像を再現することができる。
【０００８】
添付の説明では、ある説明を提供して本発明の理解を容易にする。たとえば、本明細書では、マイクロ・マシン加工加速度計など、あるＭＥＭＳセンサのタイプを使用して本発明を説明する。しかし、他の位置センサまたは動作検出器が使用できることを理解されたい。特に、ＧＰＳシステムおよび他のタイプのＭＥＭＳが適切であることがある。実際に使用するセンサは、センサの費用、センサが十分な精度を有するデータを提供できるかどうか、センサの電力消費量、およびセンサのサイズに応じて決まる。含まれている詳細は、本発明の理解を容易にするために提供するものであり、本発明の範囲を限定するものと解釈すべきではない。
【０００９】
全体のシステムの動作を図１に示す。図１では、カメラ１０４を使用して被写体１０８の三次元画像を生成する。カメラは、第１の画像を撮影するときに初期位置１１２にある。第１の画像を撮影した後、カメラは第２の位置１１６へ移動される。この移動は、矢印１２０で示す横並進を含み、矢印１２４で示す回転動作も含むことがある。一実施形態では、カメラ内の動作センサ１２８が、カメラの横並進および回転を検出する。一実施形態では、動作センサ１２８が２つのＭＥＭＳセンサを含み、一方のＭＥＭＳセンサが横加速度１２０を検出し、第２のＭＥＭＳセンサが回転を検出する。一代替実施形態では、ＧＰＳセンサを使用して、カメラの位置を決定することができる。
【００１０】
好ましい実施形態では、ＭＥＭＳセンサ１２８が慣性センサである。このようなセンサはＨｏｗｅが開発した櫛形駆動アクチュエータ技術に基づいており、Ｗ．Ｃ．Ｔａｎｇ，Ｔ．Ｃ．ＮｇｕｙｅｎおよびＲ．Ｔ．Ｈｏｗｅ著の論文「Ｌａｔｅｒａｌｌｙ  Ｄｒｉｖｅｎ  Ｐｏｌｙｓｉｌｉｃａｔｅ  Ｒｅｓｉｄｅｎｔ  Ｍｉｃｒｏ  ｓｔｒｕｃｔｕｒｅｓ」、ＩＥＥＥ  Ｍｉｃｒｏｅｌｅｃｔｒｏｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ  Ｗｏｒｋｓｈｏｐ，Ｓａｌｔ  Ｌａｋｅ  Ｃｉｔｙ，Ｕｔａｈ，Ｕ．Ｓ．Ａ．、１９８９年２月、議事録５３〜５９ページに記載されている。適切な加速度計の一例は、Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓによる５０Ｎ１Ｇ加速度計である。Ａｎａｌｏｇ  Ｄｅｖｉｃｅｓは、デバイスの回転を決定するためのマイクロ・マシン・センサと合併した統合ＢｉＣＭＯＳデバイスも製作している。これらのセンサは、高度の自動車ブレーキング・システムに使用されている。これらのセンサは、Ｇｅｎｅｒａｌ  Ｍｏｔｏｒｓによって商品化されており、Ｃｅｎｔｅｒ  ｆｏｒ  Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｎｓｏｒｓ  ａｎｄ  Ｃｉｒｃｕｉｔｓ，Ｄｅｐａｒｔｍｅｎｔ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｍｉｃｈｉｇａｎ，Ａｎｎ  Ａｒｂｏｒ，Ｍｉｃｈｉｇａｎ，４８１０９のＣ．Ｈ．Ｍａｓｔｒａｎｇｅｌｏの論文「Ｏｖｅｒｖｉｅｗ  Ｏｆ  ＭＥＭＳ  Ａｃｔｉｖｉｔｉｅｓ  Ｉｎ  Ｔｈｅ  Ｕ．Ｓ．」に記載されている。Ｍａｓｔｒａｎｇｅｌｏの論文では、カメラの動作を決定するために使用できる光学アクチュエータを含む、動作センサの代替実施形態も記載している。カメラの加速度を積分して速度を出すことができる。２度目の速度の積分によって、カメラの変位を生成できる。この変位情報を用いて、カメラ１０４の第１位置１１２と向きに対する、第２画像を撮るときのカメラ１０４の第２位置と向きを決定する。
【００１１】
カメラの相対的な向きおよび位置は、第１の位置１１２および第２の位置１１６を含めて、カメラ内のメモリ・デバイス１３２に記録され、あるいは代替実施形態では、このデータを、カメラに結合された外部メモリに格納することができる。加速度を測定するセンサなど、いくつかの動作センサは、位置データを生成することができない。これらの実施形態では、加速度データなど、カメラの動作を記述するデータをメモリに記録することができる。後で、プロセッサがこの動作データを使用して、位置データを計算する。それぞれの動作または位置および向きのデータを編成して、記録された各画像を、第１の位置１１２または第２の位置１１６など、対応する位置と相関させることができる。
【００１２】
記録された各画像は、写真フィルムに記録することができ、あるいは電子センサ１３４を使用して記録できることがより好ましい。一実施形態では、この電子センサが相補形金属酸化物半導体（ＣＭＯＳ）センサである。代替実施形態では、感光する電荷結合素子アレイ（「ＣＣＤ」）またはフォト・ダイオードを使用することができる。電子センサが出力した電子画像は、第２のメモリ・デバイス１３６に格納される。画像が写真フィルムに記録された場合、この画像は後の処理のために電子形式に変換される。この変換は、スキャナ、または、化学的または光データを電子データへ変換する他の方法を使用して実施することができる。このようなスキャナは、Ｐａｌｏ  Ａｌｔｏ，ＣａｌｉｆｏｒｎｉａのＨｅｗｌｅｔｔ  Ｐａｃｋａｒｄなど、いくつかの業者から市販されている。デジタル画像はメモリ・デバイス１３６に格納される。
【００１３】
単一の三次元画像を１つの被写体の２つの画像から作成するために、処理装置１４０が、画像および対応する位置および向きの情報を検索して、これらを単一の三次元画像に再び結合する。処理装置１４０は、グラフィックス・プロセッサ・カードに実装することができる。別の実施形態では、プロセッサは、グラフィックス処理機能を扱うためにプログラムを実行する汎用のマイクロプロセッサである。２つの画像を処理して１つの３−Ｄ画像を生成する様々な方法は、Ｍａｓａｔｏｓｈｉ  ＯｋｕｔｏｍｉおよびＴａｋｅｏ  Ｋａｎａｄｅ著「Ａ  Ｍｕｌｔｉｐｌｅ−Ｂａｓｅｌｉｎｅ  Ｓｔｅｒｅｏ」，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１５，Ｎｏ．４、１９９３年４月、に記載されている。
【００１４】
図２は、３−Ｄ画像を図１のカメラから作成するために使用するステップを説明する流れ図である。ステップ２０４で、第１の画像を撮影する前に、ユーザがカメラ位置表示器をリセットする。カメラ位置表示器をリセットすると、動作センサの出力を格納するメモリ１３２をクリアして、あるシーケンスで記録された第１の画像が好ましくはゼロ点基準フレームにあるようにすることが好ましい。ステップ２０８で、カメラが被写体の画像をゼロ点基準フレームで記録する。第１の画像の記録が発生するのとほぼ同時に、カメラの対応する位置および向きがメモリ１３２に記録される。図１のカメラでは、ＣＣＤアレイが、図１の第２のメモリ１３６に格納された画像を生成する。
【００１５】
カメラが第１の画像と対応する位置および向きの情報を記録した後、ステップ２１２でカメラの位置が変更される。この位置変更は、横並進１２０および回転移動１２４を共に含むことができる。人またはモータ駆動装置のいずれかが、カメラを移動させることができる。一実施形態では、カメラが軌道に沿って移動され、回転移動を最小にし、カメラの向きを測定しないカメラの実施形態も可能である。位置変更中に、ステップ２１６で、センサ、好ましくはＭＥＭＳセンサが、デバイスの動作および回転を記録する。本発明の一実施形態では、ＭＥＭＳセンサが加速度を記録し、この加速度を積分して変位を生成する。記録された加速度、回転、または変位の情報が、メモリ・デバイスに記憶される。
【００１６】
カメラが第２の位置に到達したとき、カメラが被写体の第２の画像を記録する。第２の画像を記録するとき、カメラは動作センサからの情報を使用し、第２の画像に対応するカメラの位置および向きを記録する。位置および向きの情報は、位置および向きメモリ・デバイス１３２に記憶される。第２の画像および第１の画像は、十分な量の被写体重複部分を有し、プロセッサがその重なり合う領域を再構築して三次元画像を生成できるようにしなければならない。
【００１７】
前のステップ２０４からステップ２２０までのシーケンスでは、スチール・カメラで使用するシステムを説明した。ＭＥＭＳまたは動作センサをビデオ・カメラに取り付け、カメラが移動するにつれて多数の画像を撮影できることを企図する。各画像は、動作センサが記録した情報から生成された１組の位置データに対応する。次いで、これらの画像を隣接した画像で再構築して、３−Ｄグラフィックの移動を再現できるようにすることができる。このような移動画像の再構築において説明した技術は、ステップ２０４からステップ２２０までの反復を繰り返すこと、およびプロセッサが実行する一連の再構築ステップによって実施される。ステップ２２４で、動作センサによって生成された位置および向きの情報が、対応する記録画像と共に、プロセッサに転送される。
【００１８】
図３は、プロセッサまたは処理デバイス１４０が行うステップを説明する流れ図であり、三次元画像を、二次元画像および対応する位置および向きのデータから再構築するものである。ステップ３０４で、プロセッサは、位置および向きの情報と対応する画像データをカメラから受信する。次いで、ステップ３０８で、プロセッサが、第１および第２の画像における対応点を決定する。対応点とは、被写体の同じ点に対応する、異なる画像またはパースペクティブにおける点である。したがって、対応点は、被写体のある点に対応する第１の画像の点またはピクセルであり、被写体の同じ点に対応する第２の画像の第２のポイントまたはピクセルである。たとえば、人の鼻の先端を、第１および第２の画像の対応点にすることができる。本発明の一実施形態では、パターン認識ソフトウェアを使用して対応点を決定する。対応点を決定するための第２のより簡素な方法は、エンド・ユーザを利用することである。エンド・ユーザが第１の画像の点を選択し、マウスまたは他のポインティング・デバイスを使用して第１の点を選択または「クリック」し、第２の画像の対応点を選択または「クリック」する。ステップ３１２で、これらの選択した対応点およびそれらのｘ、ｙ座標が、メモリ・デバイスに記録される。この記録は通常、二次元の記録である。これは、ｘおよびｙ座標を各点について記録しなければならないからである。
【００１９】
ステップ３１６で、カメラから被写体の識別点までの距離が決定される。この距離は、第１のカメラ位置、第２のカメラ位置、および識別された画像点が三角形を形成するので、決定することができる。三角形の一辺が、カメラの移動距離、すなわち第１のカメラ位置と第２のカメラ位置の間の距離を表し、これは既知である。したがって、この三角形の一辺の次元が既知である。また、マイクロ・センサが、カメラが第１の位置から第２の位置へ移動したときのカメラの回転を検知している。したがって、被写体の点に関するカメラの角変位も既知である。三角法を使用して、各カメラ位置と識別された画像点の間の距離を決定して、ｚ次元を生成することができる。
【００２０】
ステップ３２０で、プロセッサは第３のｚ次元を生成する。ｚ次元は、選択した座標フレームに関連する。ｘ、ｙデカルト座標系を選択した後、ｚ次元が指定され、通常はｘ、ｙ座標系の平面に垂直である。ｚ座標は、画像点からカメラまでの距離、カメラの向き、選択した座標系を使用して決定することができる。対応する各組の座標についての新しいｘ、ｙ、ｚ座標が、対応点に関連付けられたメモリ・デバイスのフィールドに格納される。
【００２１】
ステップ３１６およびステップ３２０が、第１および第２の画像の各組の対応点について繰り返される。１組の対応点の各処理の後、システムは、先に処理した対応点が、画像内の最終組の対応点かどうかを判定する。さらに処理すべき対応点があった場合、システムはステップ３１６へ戻る。システムが、画像の各対応点について完全な組のｘ、ｙ、ｚ座標を完成したとき、プロセッサは三角形メッシュを構築することができる。この三角形メッシュは重なり合うことがなく、すべての３−Ｄ記録の点を３−Ｄ空間内の二次元表面に接続させる。三角形メッシュの構築は、点を規則的グリッド上に展開する構造化手法を使用して行うことができる。Ｄｅｌａｕｎａｉアルゴリズムを使用して、三角形メッシュを再構築することもできる。Ｄｅｌａｕｎａｉアルゴリズムは当分野では周知のものであるため、この応用例では詳細に説明しない。
【００２２】
ステップ３３２で、プロセッサはｘ、ｙ、ｚの記録および三角形メッシュからデータベースを構築して、３−Ｄ画像を記述する。コンピュータはさらにこの表面の記述を追加して、プログラムが異なる角度からの被写体の見え方をシミュレートできるようにすることができる。本発明の一実施形態では、プロセッサが、インターネットの３−Ｄデータ用の共通形式である仮想世界（「ＷＲＬ」）ファイルなどの記述を出力する。第三者の業者によるグラフィックス表示プログラムで使用する３−Ｄファイルを使用して、画像を表示することもできる。典型的な３−Ｄ表示プログラムは、Ｃａｌｌｉｇｒｉ  Ｃｏｍｐａｎｙによる「Ｔｒｕｅ  Ｓｐａｃｅ」である。
【００２３】
図３の流れ図で説明したプロセスによって三次元画像を２組の二次元データから生成することができる。二次元データは、第１の画像を第１の位置で撮影したカメラによって生成された。動作センサは、カメラが第２の位置へ移動されたときのカメラの移動および回転または位置を検出し、そこで第２の画像が撮影された。画像および位置の情報を処理することによって、プロセッサは３−Ｄ画像を生成した。
【００２４】
上述のシステムは、必要となる装置が少ないので、費用を削減できる。特に、ただ１つのレンズ・システムが必要なだけである。単一のレンズ・システムによって、このシステムは従来技術の３−Ｄ撮像システムよりもかさばらなくなる。最後に、上述のシステムは、多数の画像を撮影するビデオ・カメラに適している。これらの多数の画像を結合して、３−Ｄ画像データベースを生成することができる。
【００２５】
上述のシステムはさらに、カメラ１０４の使いやすさおよびデータ収集機能を改善するように精練化することができる。図４は、ユーザがカメラ１０４のデータ収集機能を改善する際に支援する方法を説明する流れ図である。ステップ４０４で、カメラは被写体の第１の画像を第１の場所で撮影する。ステップ４０８で、カメラはまた、被写体からカメラの「ファインダ」までの距離を測定し、記録もする。次いで、カメラは、後続の画像を撮影するための最適なカメラ位置の計算を進めることができる。３−Ｄ画像を生成するための後続の画像は、被写体からほぼ同じ距離で撮影することが好ましい。したがって、カメラが被写体からほぼ一定の距離を維持し、被写体の周囲の円を移動することが好ましい。
【００２６】
自動測距デバイスを使用するなど、いくつかの技術を使用して、カメラから被写体までの距離を決定することができる。このような自動測距デバイスは、画像センサ・データ、赤外線信号またはサウンド信号を使用して、カメラから被写体までの距離を決定することができる。自動測距サウンド信号システムでは、カメラの送信器がサウンド・パルスを送る。カメラの受信器が、被写体からのサウンド・パルスの反射を検出する。パルスを送ってからサウンド・パルス反射が受信されるまでの時間差を使用して、カメラから被写体までの距離を決定する。
【００２７】
ステップ４１２で、カメラは画像取り込みシーケンスを開始する。向きの測定を行い、カメラの向きを決定する。カメラの向きは、レンズが常に被写体に向き合うように維持されることが好ましい。
【００２８】
ステップ４１６で、カメラがユーザに移動させるように促すプロンプトを出す。一実施形態では、このプロンプトを、矢印をカメラのファインダに表示する形式で与えることができる。この矢印は、ユーザに対して、カメラを特定の方向へ移動させるように、あるいはカメラを特定の向きに回転させるように促すプロンプトを出す。この矢印は、液晶ディスプレイ（ＬＣＤ）を使用して表示することができる。自動測距デバイスを使用して、信号をプロセッサへ供給することができる。プロセッサは表示を制御して、ユーザに対して撮像中の被写体からほぼ一定の距離を維持するように促す信号を出力する。代替実施形態では、音または声の信号を使用して、ユーザに対し、カメラを特定の方向へ移動させるか、あるいはカメラを特定の向きに回転させるように伝えることができる。
【００２９】
ステップ４２０で、カメラは、カメラが最適な位置からの許容距離内にあるかどうかを判定する。カメラが最適な位置までの許容距離内にない場合、カメラはステップ４１６へ戻り、ユーザに対してさらにカメラ位置を調整するように促すプロンプトを出す。ステップ４２０で、カメラが許容距離内にあると判定された場合、ステップ４２４で、カメラは被写体の第２または後続の画像を記録する。
【００３０】
ステップ４２８で、カメラが、データベースに必要なすべての画像が記録されたかどうかを判定する。必要な画像の数は、所望の被写体のパースペクティブ数および所望の最終３−Ｄ画像の詳細によって決定される。追加の画像が必要である場合、カメラはステップ４１６へ戻り、ユーザに対し、後続の位置へ移動して後続画像を記録するように促すプロンプトを出す。ステップ４２８で、十分な数の画像が記録されたと判定された場合、カメラが終了し、３−Ｄ画像を再構築することができる。
【００３１】
ある例示的実施形態を詳細に説明し、添付の図面に示したが、このような実施形態は例示的なものにすぎず、幅広い本発明を限定するものではないこと、および、当業者は他の様々な修正を思いつくことができるので、本発明は図示および説明した特定の配置および構成に限定されるものではないことを理解されたい。
【図面の簡単な説明】
【図１】  三次元画像を生成するための、本発明の一実施形態を示す図である。
【図２】  ２つの画像を生成するプロセスを説明する流れ図である。
【図３】  ２つの画像を結合して単一の三次元画像を形成するプロセスを説明する流れ図である。
【図４】  ユーザがカメラのデータ収集機能を改善する際に援助するシステムを示す流れ図である。
【図１】
0004340005.tif 000002
【図２】
0004340005.tif 000003
【図３】
0004340005.tif 000004
【図４】
0004340005.tif 000005