(57)【特許請求の範囲】
【請求項１】
被写体の形状情報及びテクスチャ情報を含む画像を取得し、前記形状情報及び前記テクスチャ情報を含む画像を利用して前記被写体の３次元画像を取得する３次元画像撮影装置であって、
前記被写体に対してパターンを投影するためのパターンフィルタとこのパターンフィルタに設けられたパターンを前記被写体に投影するための投影用光源及び光学系からなり、形状情報取得時に前記被写体にパターンを投影するパターン投影装置と、
前記被写体に対する光軸が前記パターン投影装置の投影光学系と平行に並ぶよう構成されパターン投影がない状態で前記被写体を照明する照明用光源と光学系からなる第１の照明装置と、
前記パターン投影装置から相対的に所定の距離離れて配置固定され前記投影装置及び前記第１の照明装置との位置関係が所定の配置に固定されると共に、前記被写体の画像を撮影する画像撮影装置と、
前記被写体に対して相対的に所定の位置に配置固定されると共に、照明用光源及び光学系からなり、前記被写体を照明する第２の照明装置と、
前記パターン投影用光源と前記第１及び第２の照明装置の各照明用光源の点灯、消灯を切り換える切り換え装置とを有し、
前記第１の照明装置の照明用光源を点灯した状態で得られる被写体の投影パターンなしの投影像データと、前記パターン投影用光源を点灯した状態で得られる前記被写体の投影パターンありの投影像データと、前記第２の照明装置の照明用光源を点灯した状態で得られる前記被写体のテクスチャ画像とを、前記被写体の特定の回転方向位置から撮影して取得し、
前記各投影像データ及びテクスチャ画像の取得が終了すると、前記被写体と前記画像撮影装置の回転方向位置の視点位置を変え、視点位置が変わった状態で、前記第１の照明装置の照明用光源を点灯した状態で得られる被写体の投影パターンなしの投影像データと、前記パターン投影用光源を点灯した状態で得られる前記被写体の投影パターンありの投影像データと、前記第２の照明装置の照明用光源を点灯した状態で得られる前記被写体のテクスチャ画像とを取得することにより、前記被写体に対して複数の回転方向位置の視点からの撮影による前記各投影像データ及びテクスチャ画像の取得を行い、
前記投影パターンありの投影像データと投影パターンなしの投影像データに基づいて被写体の３次元形状データを取得しこの３次元形状データに対して前記テクスチャ画像を重畳して視点位置を変えた撮影に対応した３次元像を得ることを特徴とする３次元画像撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３次元計測装置に適用可能な３次元画像撮影装置に係り、特に、テクスチャ像撮影装置を持つ３次元画像撮影装置に関する。
【０００２】
【従来の技術】
従来より、３次元画像の取得装置として、例えば、特開平８−２９３０４２号公報に開示されているように、複数の３次元画像の貼り合わせを行う技術が知られている。
【０００３】
また、３次元画像の取得装置として、例えば、特開２０００−３３３２０９号公報に開示されているように、被写体に対する照明と投影を同軸で行うことにより、３次元形状を再構成するための画像と、それに貼り付けるテクスチャ像を連写する技術が知られている。
【０００４】
また、３次元画像の取得装置として、特公平４−２５７５８号公報に開示されているように、ステレオ撮影時に、測定不能点があったときに、被写体にパターンを投影して３次元形状を再構成する技術が知られている。
【０００５】
さらに、３次元画像の取得装置として、例えば、特開平１０−１２４７０４号公報に開示されているように、被写体を回転テーブル上に設置して回転させることにより、被写体の３次元形状を計測する技術が知られている。
【０００６】
【発明が解決しようとする課題】
しかるに、上述したような特開平８−２９３０４２号公報に開示されている従来技術では、３次元形状どうしの貼り付けについては考慮されているが、そこに貼り付けるテクスチャ画像の融合については考慮されていない。
【０００７】
本発明は、この点に着目し、テクスチャ画像の貼り込みまでを考慮に入れた３次元撮影装置を提供することを第１の課題とする。
【０００８】
また、特開２０００−３３３２０９号公報に開示されている従来技術では、複数の３次元データの上に貼り込んだテクスチャ画像を撮影する場合、パターン投影に同軸で設けられた光源やその近傍に設けられたカメラとともに移動する光源を用いて撮影するようにしている。
【０００９】
しかるに、これでは、視点の異なるテクスチャ画像内での光量分布が不均一になり、３次元形状に貼り合わせる際のテクスチャ像の輝度分布や影の補正が不可欠であるために、計算機による補正処理のコストが増大するという難点を有している。
【００１０】
本発明は、この点に着目し、異なる視点からの３次元のテクスチャ画像の貼り合わせ時の計算機による補正処理のコストを減少し、より自然な貼り合わせ３次元画像を作成することを第２の課題とする。
【００１１】
また、特公平４−２５７５８号公報に開示されている従来技術では、回転テーブル外に固定された照明により被写体のテクスチャ画像を撮影するものが一般的であり、被写体の回転に伴い被写体上の照明条件が異なる画像を撮影するようにしている。
【００１２】
しかるに、これでは、視点の異なるテクスチャ画像内での光量分布が不均一になり、３次元形状に貼り合わせる際のテクスチャ像の輝度分布や影の補正が不可欠であるために、計算機による補正処理のコストが増大するという難点を有している。
【００１３】
本発明は、この点に着目し、回転に伴って撮影する異なる視点からの３次元のテクスチャ画像の貼り合わせ時の計算機による補正処理のコストを減少し、より自然な貼り合わせ３次元画像を作成することを第３の課題とする。
【００１４】
本発明は、以上のような事情に鑑みてなされたもので、上記第１の課題としてのテクスチャ画像の貼り込みまでを考慮に入れると共に、上記第２及び第３の課題としての異なる視点からの３次元のテクスチャ画像の貼り合わせ時の計算機による補正処理のコストを減少し、より自然な貼り合わせ３次元画像を取得可能な３次元画像撮影装置を提供することを目的とする。
【００３４】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
被写体の形状情報及びテクスチャ情報を含む画像を取得し、前記形状情報及び前記テクスチャ情報を含む画像を利用して前記被写体の３次元画像を取得する３次元画像撮影装置であって、
前記被写体に対してパターンを投影するためのパターンフィルタとこのパターンフィルタに設けられたパターンを前記被写体に投影するための投影用光源及び光学系からなり、形状情報取得時に前記被写体にパターンを投影するパターン投影装置と、
前記被写体に対する光軸が前記パターン投影装置の投影光学系と平行に並ぶよう構成されパターン投影がない状態で前記被写体を照明する照明用光源と光学系からなる第１の照明装置と、
前記パターン投影装置から相対的に所定の距離離れて配置固定され前記投影装置及び前記第１の照明装置との位置関係が所定の配置に固定されると共に、前記被写体の画像を撮影する画像撮影装置と、
前記被写体に対して相対的に所定の位置に配置固定されると共に、照明用光源及び光学系からなり、前記被写体を照明する第２の照明装置と、
前記パターン投影用光源と前記第１及び第２の照明装置の各照明用光源の点灯、消灯を切り換える切り換え装置とを有し、
前記第１の照明装置の照明用光源を点灯した状態で得られる被写体の投影パターンなしの投影像データと、前記パターン投影用光源を点灯した状態で得られる前記被写体の投影パターンありの投影像データと、前記第２の照明装置の照明用光源を点灯した状態で得られる前記被写体のテクスチャ画像とを、前記被写体の特定の回転方向位置から撮影して取得し、
前記各投影像データ及びテクスチャ画像の取得が終了すると、前記被写体と前記画像撮影装置の回転方向位置の視点位置を変え、視点位置が変わった状態で、前記第１の照明装置の照明用光源を点灯した状態で得られる被写体の投影パターンなしの投影像データと、前記パターン投影用光源を点灯した状態で得られる前記被写体の投影パターンありの投影像データと、前記第２の照明装置の照明用光源を点灯した状態で得られる前記被写体のテクスチャ画像とを取得することにより、前記被写体に対して複数の回転方向位置の視点からの撮影による前記各投影像データ及びテクスチャ画像の取得を行い、
前記投影パターンありの投影像データと投影パターンなしの投影像データに基づいて被写体の３次元形状データを取得しこの３次元形状データに対して前記テクスチャ画像を重畳して視点位置を変えた撮影に対応した３次元像を得ることを特徴とする３次元画像撮影装置が提供される。
【００９２】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【００９３】
（第１の実施の形態）
まず、本発明による３次元画像撮影装置の第１の実施の形態の構成を図１の（ａ），  （ｂ），（ｃ）を用いて説明する。
【００９４】
図１の（ａ）は、第１の実施の形態による３次元画像撮影装置の概略的な構成を示す正面図である。
【００９５】
図１の（ｂ）は、第１の実施の形態による３次元画像撮影装置の概略的な接続関係を示す図である。
【００９６】
図１の（ｃ）は、第１の実施の形態による３次元画像撮影装置に用いるパターンフィルタを例示する図である。
【００９７】
この発明の第１の実施の形態は、次のように構成されている。
【００９８】
すなわち、図１の（ａ）に示すように、本実施の形態の３次元画像撮影装置１は、投影装置２と、撮影装置３と、照明装置４とからなる。
【００９９】
ここで、投影装置２は、投影光学系５と、照明光学系６とを有している。
【０１００】
この３次元画像撮影装置１により、被写体７（図２参照）撮影する。
【０１０１】
また、図１の（ｂ）に示すように、投影光学系５は、結像レンズもしくはミラー群からなる結像光学系８と、その焦点面に配置された所定の透過率の幾何学パターンを持つパターンフィルタ９がある。
【０１０２】
本実施の形態では、縞位相を用いたパターン投影法を用いるため、パターンフィルタ９としては、図１の（ｃ）に示すように、縞状にコーディングされた縞パターンフィルタを用いることとする。
【０１０３】
そして、図１の（ｂ）に示すように、パターンフィルタ９をはさみ結像光学系８と反対の位置にはパターンフィルタ９を照明するＸｅ管とミラーやレンズからなる光源光学系からなる光源装置１０−１が配置されている。
【０１０４】
この光源装置１０−１は、投影発光回路１１に接続され、所望の発光量が得られるよう制御される。
【０１０５】
また、照明光学系６は、Ｘｅ管やリフレクタからなる光源装置１０−２と光源装置１０−２からの光を被写体７（図２参照）に照明するためのレンズ、拡散板などからなるディフューザー１２からなる。
【０１０６】
この光源装置１０−２は、照明発光回路１３に接続され、所望の発光量が得られるよう制御される。
【０１０７】
ここで、図１の（ａ）に示すように、投影光学系５と照明光学系６は、後述する固定治具２５の一端に取り付けられているＬ字状の固定部材１４により、撮影装置３に対して所定の配置で固定されている。
【０１０８】
すなわち、投影光学系５は、その光軸が被写体７（図２参照）にパターンフィルタ像１５（図２参照）を投影できる方向に配置されている。
【０１０９】
また、照明光学系６は、被写体７（図２参照）を照明することが可能である方向に向かうように配置されている。
【０１１０】
本実施の形態では、投影光学系５と照明光学系６は、ほぼ平行に光軸が並ぶよう構成している。
【０１１１】
そして、撮影装置３は、例えば、デジタルスチルカメラ（以降、カメラ３）からなり、図１の（ａ）に示すように、撮影光学系１６、撮像素子（図示しない）、シャッター（図示しない）、絞り（図示しない）、シャッターボタン２０、外付けフラッシュ用の制御端子２１（以下、Ｘシンクロ端子２１）を有している。
【０１１２】
また、カメラ３は、周辺機器の接続用に三脚固定ネジ穴２２やフラッシュ取付用のアクセサリシュー２３、フィルタ取り付けネジ２４等の少なくとも一つを有している。
【０１１３】
そして、投影装置２とカメラ３とは、カメラ３の三脚固定ネジ穴２２を用いた固定治具２５で固定されている。
【０１１４】
この固定治具２５は、三脚固定ネジ２６によりカメラ３に締め付けられることにより、三脚固定ネジ２６の推進方向に突き当てで押し付けられ、位置決めされるとともに、図示の場合には三脚固定ネジ２６のネジ回転方向の動きを規制する位置決めピン２７により回転方向にも位置決めされ、カメラ３の撮影光学系１６、投影装置２と、照明光学系６と、投影光学系５との位置関係を所定の配置に固定する。
【０１１５】
また、図１の（ｂ）に示すように、投影装置２は、切替え回路２８を有している。
【０１１６】
この切替え回路２８は、カメラ３のＸシンクロ端子２１からのＸシンクロ信号が入力され、投影発光回路１１と照明発光回路１３への発光指示をＸシンクロ信号の入力に応じて切替えて出力する。
【０１１７】
本実施の形態では、図１の（ａ）に示すように、投影光学系５と、照明光学系６と、撮影光学系１６が略直線状に並んで配置されている。
【０１１８】
また、図１の（ｂ）に示す投影光学系５の光源装置１０−１、照明光学系６の光源装置１０−２とは、図１の（ａ）に示すカメラ３の撮影光学系１６に対して基線長離れた位置に配置されている。
【０１１９】
ここで、図１の（ｃ）に示すパターンフィルタ９の縞パターン模様は、基線に略垂直な方向に配置されている。
【０１２０】
なお、図１の（ａ）及び（ｂ）に示す照明装置４は、本実施の形態では閃光発光光源とし、Ｘｅ管と発光回路からなるフラッシュなどが該当する。
【０１２１】
例えば、照明装置４に外付けのフラッシュ２９等を設け、この照明装置４に接続される外部照明接続回路４４を投影装置２の切替え回路２８に接続して設けることにより、照明装置４を被写体７（図２参照）に対して一定位置からの照明を行える位置に配置する。
【０１２２】
次に、この発明の第１の実施の形態の作用について図１乃至図３を用いて説明する。
【０１２３】
図２は、上述したように構成される本実施の形態の３次元画像撮影装置１により被写体７に対して３次元画像撮影を行う状態を示す図である。
【０１２４】
図３の（ａ），（ｂ）は、上述したように構成される本実施の形態の３次元画像撮影装置１による被写体７に対する視点位置を変えた撮影による立体的な３次元像２００、２００…を順次得る状態と、その後の３次元画像の貼り合わせを行う状態を示す図である。
【０１２５】
まず、本実施の形態の３次元画像撮影装置１を構成するカメラ３では、上記構成によりシャッターボタン２０（図１参照）を押すなどして撮影の指示が行われると、シャッターの開放に同期してＸシンクロ端子２１より外付けフラッシュ発光を指示するＸシンクロ信号が出力される。
【０１２６】
このＸシンクロ信号は、投影装置２内の切替え回路２８に入力される。
【０１２７】
この切替え回路２８は、１度目の撮影では、照明発光回路１３に対して発光指示を出す。
【０１２８】
これにより、光源装置１０−２が発光し、照明光学系６により照射された光線により被写体７が照明される。
【０１２９】
そして、被写体７で反射された光が、カメラ３の撮影光学系１６で撮像素子上に結像されることにより、被写体７の投影パターンなしの投影像データ３１が得られる。
【０１３０】
次に、照明光学系６と、カメラ３と、被写体７との位置関係がほぼ動かない時間範囲で、もう一度シャッターボタン２０が押されると、カメラ３のＸシンクロ端子２１から出力されたＸシンクロ信号が切替え回路２８に入力される。
【０１３１】
ここで、切替え回路２８は、この２度目の撮影では、投影発光回路１１に対して発光指示を出す。
【０１３２】
これにより、光源装置１０−１が発光し、パターンフィルタ９を透過した光が結像レンズ７により被写体７上に投影パターン像を映し出す。
【０１３３】
被写体７の表面に投影された投影パターン像１５が、カメラ３の撮影光学系１６で撮像素子上に結像されることにより、被写体７の投影パターンありの投影像データ３２が得られる。
【０１３４】
さらに、投影装置２の切替え回路２８に接続されて設けられた外部照明接続回路４４に発光信号を送って、照明装置４を発光させることにより、第３の撮影が実施される。
【０１３５】
この照明装置４の発光により、被写体７に対して、実質的に、固定された光源からの照明が実施され、テクスチャ像データ３３が得られる。
【０１３６】
この条件で、図３の（ａ）に示すように、被写体７に対して、カメラ３の撮影光学系１６の視点位置を変えた撮影を実施することにより、カメラ３とともに移動する照明光学系６による照明による投影パターンなしの投影像データ３１のみならず、照明装置４による照明でより一様な照明を受けたテクスチャ像データ３３を得ることができる。
【０１３７】
そして、図示しないパーソナルコンピュータ等の計算装置に投影パターンありの投影像データ３２と、投影パターンなしの投影像データ３１を取り込んで、それらの差分処理を実施し、投影パターン像１５を抽出するステップと、それより投影パターンの変形を計測するステップとを実行することにより、被写体７の３次元形状データを得ることができる。
【０１３８】
そして、この３次元形状データに対応するテクスチャ像データ３３を重畳するステップと実行することにより、図３の（ａ）に示すように、視点位置を変えた撮影による立体的な３次元像２００、２００…を順次得ることができる。
【０１３９】
そして、図３の（ｂ）に示すように、視点位置を変えて撮影した３次元像２００、２００…を貼り合わせて、被写体７の３次元貼り合わせ像２０１を再構成する。
【０１４０】
本実施の形態では、図３の（ａ），（ｂ）に示すように、視点位置を変えて撮影した３次元像２００を貼り合わせて、例えば、被写体７の３次元貼り合わせ像２０４を再構成する場合に、表面のテクスチャ像２０２として、照明を固定で撮影したテクスチャ像データ３３を用いることにより、テクスチャ像２０２の融合において、貼り合わせ端部２０５での輝度差が減少し、さらに視点位置のと被写体７の距離変化に依存しない被写体７の貼り合わせに適した画像を得ることができ、より自然な印象の３次元貼り合わせ像２０４を得ることができる。
【０１４１】
図４の（ａ），（ｂ）は、従来技術による被写体７に対する視点位置を変えた撮影による立体的な３次元像２００、２００…を順次得る状態と、その後の３次元画像の貼り合わせを行う状態を示す図である。
【０１４２】
すなわち、従来技術による場合には、図４の（ａ），（ｂ）に示すように、表面のテクスチャ像２０２の融合において、貼り合わせ端部２０３で各々の画像内での周辺部の輝度の減少や、被写体７の凹凸撮影距離の違いによる照明強度の違いにより固有の輝度値の減少が起きることにより、明暗部が飛び飛び発生するために、被写体７の３次元像貼り合わせ像２０１において不自然で見苦しい画像しか得ることができない。
【０１４３】
これは、被写体７のテクスチャ像２０２として、本実施の形態の投影パターンなしの投影像データ３１を用いた場合に相当する。
【０１４４】
また、本実施の形態には、次のような固有の効果がある。
【０１４５】
閃光発光光源を投影光学系５、照明光学系６、照明装置４の光源として用いているので、シャッタースピードを早くして外光の影響をなくすことにより、投影パターンがよりコントラスト良く撮影されるので、３次元形状の認識がより正確に行える。
【０１４６】
また、これとともに、照明装置４の配置やライティングを工夫することにより、外光の影響の無い任意の照明状態によるテクスチャ像データ３３の撮影を実施することができる。
【０１４７】
なお、この発明の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１４８】
例えば、固定治具２５は、上記実施の形態では、三脚固定ネジ２６を用いて、カメラ３に固定するよう構成されているが、カメラ３の閃光発光機取り付けなどに用いられるＪＩＳＢ７１０１で規定されているカメラの付属品取り付け座、一般に言うアクセサリーシュー２３（他に同規格に準ずるものとしてフラッシュシュー、アクセサリシューなど）に取り付けるための取り付け脚を設け、これを固定治具２５としてカメラ３と投影装置２の取り付け部に用いても良い。
【０１４９】
また、この取り付け部には、アクセサリーシュー２３を締め付ける固定ネジなどによるロック機構を設けても良い。さらに、固定治具２５としてレンズ先端のフィルタねじを用いても良い。
【０１５０】
また、例えば、上記実施の形態では、被写体７のテクスチャ像を撮影した後に投影パターン像を撮影しているが、この順序を逆としても良く、また複数枚の撮影中から任意のペアが選べるように切り替えの順序を変えても良い。
【０１５１】
また、カメラ３に連写機能を持ったものを採用することにより、一度のシャッターボタン１８などの押し下げで複数枚の画像を連続して撮影するようにしても良い。
【０１５２】
こうすることによって、被写体７とカメラ３間の相対運動によるずれを減少できるので、３次元形状データとテクスチャ像データの整合性が良くなる。
【０１５３】
また、シャッターボタン１８によるシャッターレリーズは、延長レリーズを用いたり、別のシャッター作動用の端子信号やリモートコントロール装置による遠隔レリーズなどを用いることによって同様の効果を得るようにしても良い。
【０１５４】
また、投影光学系５と照明光学系６を著しく近接して配置しても良く、この場合、３次元形状として取得できる領域と、影にならずにテクスチャ像が撮れる領域がより一致するので、投影パターン像１５の抽出には効果的である。
【０１５５】
また、照明装置４は、当然、複数用意することができ、被写体７の形状や色、貼り付けたいテクスチャ像データ３３のイメージによって被写体７に対して相対位置で固定されていれば、どのような配置でも良い。
【０１５６】
また、照明装置４に拡散板などを設けたりする写真撮影のライティング手法を妨げるものではない。
【０１５７】
また、上記の実施の形態では、１視点から３回の撮影を行うことになるが、投影装置４による投影パターンありの投影像データのみで３次元形状の測定が十分に行える場合には、照明光学系６によるカメラ３位置からの照明による撮影は不要であるので、１視点から２回の撮影でよい。
【０１５８】
この場合には、投影装置２の照明光学系６は不要となり、投影装置２の形態として、被写体７に対して固定された照明装置４とカメラ３に装着された投影光学系４からなる投影装置２を用いる構成となる。
【０１５９】
（第２の実施の形態）
次に、本発明による３次元画像撮影装置の第２の実施の形態を図５乃至図７を用いて説明する。
【０１６０】
図５の（ａ），（ｂ）は、第２の実施の形態による３次元画像撮影装置１の概略的な構成を示す上面図と正面図である。
【０１６１】
図６は、第２の実施の形態による３次元画像撮影装置１により被写体７に対して３次元画像撮影を行う状態を示す図である。
【０１６２】
図７の（ａ），（ｂ）は、第２の実施の形態による３次元画像撮影装置１に用いられるステレオアダプタ３５によって得られる撮像素子上の視差画像３６（３２，３３）を示す図である。
【０１６３】
この発明の第２の実施の形態は、図５の（ａ），（ｂ）に示すように構成されている。
【０１６４】
すなわち、本実施の形態の３次元画像撮影装置１は、前述した第１の実施の形態と同様に投影装置２と、撮影装置３と、照明装置４とを有している。
【０１６５】
したがって、図示しない各部の構成は、前述した第１の実施の形態と同様になされているものとする。
【０１６６】
本実施の形態の撮影装置３は、少なくとも２以上の視点から被写体７を撮影可能であり、それらの複数画像は、基線長はなれた距離から同一の被写体正面を少なくとも重畳して撮影するいわゆるステレオ撮影を実施可能に構成される。
【０１６７】
本実施の形態では、投影光学系５のパターンフィルタ８は、ステレオ撮影におけるパターンマッチングを容易にするための少なくとも明度によって区分けされたランダムドットパターンを有する。
【０１６８】
ここでは、ＲＧＢ値をランダムに設定したカラーランダムドットパターンを有するパターンフィルタ８を第１の実施の形態のパターンフィルタ８と同一位置に設置する。
【０１６９】
以上の構成により、ランダムドットパターン投影を用いたステレオ撮影法により、３次元形状を計測する。
【０１７０】
この場合、投影装置２は、撮影装置３に装着される後述のステレオアダプタ３５に配置される。
【０１７１】
ここで、ステレオアダプタ３５は視差画像を撮影するために、撮影装置３（以降、カメラ３とする）の撮影光学系１６の前方に取り付けられる。
【０１７２】
図５の（ａ），（ｂ）を用いてステレオアダプタ３５の構成を説明する。
【０１７３】
このステレオアダプタ３５は、カメラ３の撮像光学系１６の前方に取り付けられてカメラ３の撮像素子上に図７の（ａ），（ｂ）に示すような視差画像３６（３２，３３）を形成するために用いられるものである。
【０１７４】
このステレオアダプタ３５には、前記投影装置２の投影光学系５もしくは照明光学系６から発した光もしくは照明装置４により照明された被写体７からの反射光もしくは被写体７自体の発光などによる同一被写体７からの光を、所定距離離間した位置で受光する２つの受光部位（第１のミラー光学系）３７と、この第１のミラー光学系３７で受光した各々の光をカメラ３の撮像光学系１６へと導く第２のミラー光学系３８とが設けられている。
【０１７５】
本実施の形態では、照明光学系５はリングライト３９で構成される。
【０１７６】
この場合、リングライト３９は、投影光学系５の光軸を同軸としてその周囲に光源が配置されるように設置される。
【０１７７】
次に、図５に示すように構成される第２の実施の形態の作用について、図６、図７を参照して説明する。
【０１７８】
まず、第１の撮影として投影光学系５から投影されたランダムドットパターン像は被写体７に照射され、その画像を、２つの受光部位３７から視差画像３６として、ステレオアダプタ３５を通してカメラ３が撮像することにより、ランダムドットパターンを有する投影パターンありの投影像データ３２が得られる。
【０１７９】
次に、第２の撮影により、切替え回路によりリングライト３９が発光して被写体７を照明した光は、２つの受光部位３７から視差画像３６として、ステレオアダプタ３５を通してカメラ３が撮像する。
【０１８０】
これにより、被写体７の表面像が撮影され、投影パターンなしの投影像データ３６が得られる。
【０１８１】
さらに、第１の実施の形態と同様に、投影装置２の切替え回路２８に設けられている外部照明接続回路４４に発光信号を送って、第３の撮影を実施する。
【０１８２】
すなわち、この場合、照明装置４により、被写体７に対して、実質的に、固定された光源からの照明が実施され、テクスチャ像データ３３が得られる。
【０１８３】
この条件で、図６に破線で示すように、視点位置を変えた撮影を実施することにより、カメラ３とともに移動する照明光学系６による照明による投影パターンなしの投影像データのみならず、より一様な照明を受けたテクスチャ像データ３３を得ることができる。
【０１８４】
そして、投影パターンありの投影像データ３２とパターンなし投影像データ３１から差分処理を実施し、パターン像１５を抽出するステップと、それより、左右の視差画像３６間の対応点探索から距離画像を生成するステップとにより被写体７の３次元形状データ３４を得る。
【０１８５】
この３次元形状データ３４に対応するテクスチャ像データ３３を重畳することにより、立体的な３次元像２００を得ることができる。
【０１８６】
第１の実施の形態と同様に、以上のように得られたテクスチャ像データ３３が貼り付けられた視点位置を変えて撮影した３次元像２００を貼り合わせて、例えば、被写体７の３次元貼り合わせ像２０４を再構成する。
【０１８７】
この場合、表面のテクスチャ像２０２として、照明を固定で撮影したテクスチャ像データ３３を用いることにより、テクスチャ像２０２の融合において、貼り合わせ端部２０５での輝度差が減少し、さらに視点位置のと被写体７の距離変化に依存しない被写体７の貼りあわせに適した画像を得ることができ、より自然な印象の３次元貼り合わせ像２０４を得ることができる。
【０１８８】
本実施の形態には、上記に加えて、次のような固有の効果がある。
【０１８９】
まず、本実施の形態の照明光学系６による照明は、投影光学系５と概ね一致した光源からの照明となるため、被写体７上の配光特性が投影によるものと近似される。
【０１９０】
このため、例えば、投影パターンありの投影像データ３２から、投影パターンなしの投影像データを、所定のパラメータに基づいて減算するような差分処理などにより、ランダムドットパターンを強調処理を実施することができる。
【０１９１】
これにより被写体色の影響を減らし、パターンマッチングによる視差量の検出の信頼度が向上するため、よりロバストな３次元再構成が可能となる。
【０１９２】
なお、この発明の第２の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０１９３】
例えば、投影パターンありの投影撮影、投影パターンなしの投影撮影、照明撮影は、どの順序で撮影してもかまわないが、照明によるテクスチャ像データ３３の撮影、投影パターンありの投影像データ３２の撮影、投影パターンなしの投影像データの撮影の順に撮影すると、人物撮影などにおいてはフラッシュ閃光による第１の撮影で目をつぶってしまった後の第２の撮影により、目を閉じたテクスチャ像データを撮影してしまうといったエラーを回避することができる。
【０１９４】
また、リングライト３９ではない照明光学系６を投影光学系５に近接して配置しても良い。
【０１９５】
また、上記の実施の形態では、１視点から３回の撮影を行うことになるが、投影装置５による投影像のみで３次元再構成が十分に行える場合には、照明光学系６によるカメラ３位置からの照明による撮影は不要であり、１視点から２回の撮影で良い。
【０１９６】
この場合、投影装置２の照明光学系６は不要となり、投影装置２の形態として、被写体７に対して固定された照明装置４とカメラ３に装着された投影光学系５からなる３次元画像撮影装置となる。
【０１９７】
（構成例）
次に、本発明の３次元画像撮影装置の構成例を図８を用いて説明する。
【０１９８】
図８は、本発明の構成例による３次元画像撮影装置１０１の概略的な構成を示す側面図である。
【０１９９】
この発明の構成例による３次元画像撮影装置１０１は、次のように構成されている。
【０２００】
すなわち、３次元画像撮影装置１０１は、撮像装置１０２と、照明装置１０３と、回転装置１０４と、照明回転装置１０５と、同期装置１０６と、輪郭抽出装置１０７と、被写体切出し装置１０８と、切替え装置１０９と、３次元再構成装置１１０等からなる。
【０２０１】
このような３次元画像撮影装置１０１により、被写体１１１の３次元形状を撮影する。
【０２０２】
次に、図８を用いて、本構成例による３次元画像撮影装置１０１の各部の構成を説明する。
【０２０３】
まず、撮像装置１０２としては、前述した第１及び第２の実施の形態と同様に、デジタルスチルカメラ（以下、カメラ１０２）が用いられる。
【０２０４】
このカメラ１０２の機能としては、前述した第１及び第２の実施の形態のものと変わらない。
【０２０５】
このカメラ１０２は、撮像光学系１１２、撮像素子（図示しない）、シャッター（図示しない）、絞り（図示しない）、シャッターボタン１１６、外付けフラッシュ用の制御端子（以下、Ｘシンクロ端子、図示しない）を有している。
【０２０６】
そして、照明装置１０３は、本構成例の場合には、外光の影響を減らすために、フラッシュ等の閃光発光光源を用いることにより、速いシャッタースピードをカメラ１０２に設定して撮影を行うことを可能としている。
【０２０７】
また、回転装置１０４は、照明回転装置１０５と回転軸１１８を同軸に持って回転するように配置される。
【０２０８】
この回転装置１０４としては、回転テーブルなどを用いて被写体１１１を載置する透過撮影台１１９からなる回転テーブル装置１０４ａと、図示するようにシンクロナスモータやステッピングモ一タやサーボモータを用いた回転アクチュエータ制御装置１２０と、回転角度出力装置１２１などを持つ。
【０２０９】
また、照明回転装置１０５も、回転装置１０４と同様にシンクロナスモータやステッピングモータやサーボモータを用いた回転アクチュエータと制御装置１２０と、回転角度出力装置（図示しない）などを持つ。
【０２１０】
この照明回転装置１０５には、被写体１１１の照明に適した任意位置に照明装置１０３を配置する。
【０２１１】
そして、同期装置１０６により、回転装置１０４と照明回転装置１０５との同期制御を行うことにより、両者の回転角度が同位相になるように制御される。
【０２１２】
ところで、カメラ１０２の光軸１３１の方向と、被写体１１１の回転軸１１８の方向とは、異なるように配置されている。
【０２１３】
好ましくは、図示されているように、カメラ１０２の光軸１３１と、被写体１１１の回転運動の回転軸１１８は、概ね直角、またはそれに近い角度をなすように配置される。
【０２１４】
これは、被写体１１１の回転運動に伴って、できるだけ被写体１１１の多くの面が撮影可能となるように（オクルージョン領域が最小限になるように）するためである。
【０２１５】
また、輪郭抽出装置１０７は、Ｘシンクロ信号入力装置１２２と、透過スクリーン１２３、Ｘシンクロ信号の入力により発光するフラッシュなどの閃光発光光源装置１２４を有する背景照明装置１２５からなる。
【０２１６】
また、被写体切出し装置１０８は、カメラ１０２から出力される、輪郭抽出装置１０７を用いて照明されたシルエット像３００（図９参照）を入力するシルエット像入力部１２６と、照明装置１０３により照明されたテクスチャ像３０１（図９参照）を入力するテクスチャ像入力部１２７とを有している。
【０２１７】
また、この被写体切出し装置１０８は、輪郭抽出装置１０７を用いた撮影により得られたシルエット像３００から背景照明装置１２５によって影になった被写体領域の境界を抽出し、被写体１１１の存在する領域を示すシルエット像データ３０２（図９参照）として出力するシルエット像データ出力部１２８と、照明装置１０３により照明されたテクスチャ像３０１を上記境界により切り出し、被写体１１１のその視点におけるテクスチャ像データ３０３（図９参照）として出力するテクスチャ像データ出力部１２９とを有している。
【０２１８】
また、切替え装置１０９は、カメラ１０２からのＸシンクロ信号をＸシンクロ信号入力部１３０で受け、Ｘシンクロ信号出力部１３１から交互にＸシンクロ信号を出力することにより、輪郭抽出装置１０７と照明装置１０３とを切替え、シルエット像データ３０２の撮影と、テクスチャ像データ３０３の撮影とを切替える切替え機能を持つ。
【０２１９】
また、回転テーブル装置１０４ａは、カメラ１０２の撮像光学系１１２の光軸１３１方向とは異なる角度に設けられた回転軸１１８で被写体１１１を回転運動可能として、カメラ１０２に対して被写体１１１を載置するように設置されている。
【０２２０】
なお、この場合、カメラ１０２と回転テーブル装置１０４ａとは、三脚や床（図示しない）などを介してそれぞれの位置が撮影時にずれないように固定されている。
【０２２１】
また、輪郭抽出のための輪郭抽出装置１０７は、回転テーブル装置１０４ａを挟んでカメラ１０２とは異なる位置で、かつ、回転テーブル装置１０４ａ上の被写体１１１とともにカメラ１０２の撮像領域内に双方が入るように背景となる位置に背景照明装置１２５が位置するように設置されている。
【０２２２】
また、照明装置１０３は、照明回転装置１０５により、回転テーブル装置１０４ａの回転軸１１８と同軸に回転するように設けられている。
【０２２３】
また、３次元再構成装置１１０は、被写体切出し装置１０８から出力されるシルエット像データ３０２と、テクスチャ像データ３０３及び回転角度検出装置１２１から出力される回転角度情報に基づいて後述するように３次元画像を再構成して、再構成された３次元画像を出力するために設けられている。
【０２２４】
次に、以上のように構成される本構成例による３次元画像撮影装置１０１の作用を図９及び図１０を用いて説明する。
【０２２５】
図９は、本構成例による３次元画像撮影装置１０１の作用を説明するための処理フロー図である。
【０２２６】
図１０は、本構成例による視点位置を変えて撮影したテクスチャ像データ３０３を３次元形状データ３４に重畳する際のテクスチャ像データ３０３の貼り合わせを行う状態を示す図である。
【０２２７】
まず、図８に示す３次元画像撮影装置１０１による第１の撮影として、カメラ１０２のシャッターボタン１１６を操作してシャッターを切るとＸシンクロ信号が出力され、切替え装置１０９にＸシンクロ信号が入力される。
【０２２８】
これにより、切替え装置１０９から輪郭抽出装置１０７にＸシンクロ信号が出力され、図９に示すように、影状になった被写体１１１のシルエット像３００がカメラ１０２によって撮影される。
【０２２９】
このようにして撮影されたシルエット像３００は、被写体切出し装置１０８に入力され、図９に示すように、被写体１１１の存在範囲が示された第１のシルエット像データ３０２が得られる。
【０２３０】
次に、第２の撮影としてカメラ１０２のシャッターボタン１１６を操作してシャッターを切ると、再び、Ｘシンクロ信号が出力され、切替え装置１０９にＸシンクロ信号が入力される。
【０２３１】
これにより、切替え装置１０９から照明装置１０３にＸシンクロ信号が出力されると、照明装置１０３によって被写体１１１が照明され、その照明された被写体１１１がカメラ１０２によって撮影されることにより、図９に示すようなテクスチャ像３０１が撮影される。
【０２３２】
このようにして撮影されたテクスチャ像３０１は、被写体切出し装置１０８に入力され、図９に示すような第１のテクスチャ像データ３０３が得られる。
【０２３３】
第１、第２の撮影後、回転テーブル装置１０４ａは、回転アクチュエータ制御装置１２０により所定の一周をｎ分割した所定の角度分だけ回転され、それに伴って同期装置１０６の動作により照明回転装置１０５も同角度だけ回転する。
【０２３４】
この後、第１、第２の撮影と同様に、第３の撮影、第４の撮影が行われ、第２のシルエット像データ３０２とテクスチャ像データ３０３とが得られ、回転テーブル装置１０４ａがさらに所定の角度分だけ回転する。
【０２３５】
このような撮影がｎ回繰り返されることにより、回転テーブル装置１０４ａと同期して回転している照明装置１０３によって、相対的に、固定された照明状態で照明された被写体１１１のｎ個のシルエット像データ３０２と、テクスチャ像データ３０３とが得られる。
【０２３６】
そして、３次元再構成装置１１０は、図９に示すように、テクスチャ像データ３０３とシルエット像データ３０２から得られた被写体１１１の輪郭情報と、回転テーブル１０４の回転角度出力装置１２１から出力された回転位置情報から、回転軸１１８を中心にボクセル空間の切出しをｎ個のシルエット像データ３０２に対して行うことにより、回転体状の全周で切出した３次元形状を算出するシルエット法により３次元形状データ３４を再構成する。
【０２３７】
この３次元形状データ３４に対し、貼り付けるテクスチャ像として照明装置１０３により照明されたテクスチャ像データ３０３を撮影視点に応じて貼り込むことにより、３次元像２００が得られる。
【０２３８】
この工程で、視点位置を変えて撮影したテクスチャ像データ３０３を３次元形状データ３４に重畳する際には、テクスチャ像データ３０３の貼り合わせが行われる。
【０２３９】
この貼り合わせは図１０に示すようにして行われ、第１、第２のテクスチャ像２０２の作成と同様に貼り合わせ端部２０５の輝度差が少なく良好な自然な印象の３次元貼り合わせ像２０４を得ることができる。
【０２４０】
なお、この発明の第３の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【０２４１】
例えば、照明回転装置１０５と回転テーブル装置１０４ａが機械的連接により同期するように構成されていても良い。
【０２４２】
また、図１１に示すように、回転軸を中心としたリング照明１３２と回転対称のディフューザー１３３などからなる照明装置１０３のように、回転テーブル１０４の回転軸１１８に対して軸対称に設けられることにより、軸周りに均一な照明を実現できる場合には、回転装置による回転を伴わなくても同等の効果を得ることが可能である。
【０２４３】
また、図１２に示すように、カメラおよび輪郭抽出装置１０７側を回転軸１１８周りに回転させることにより、回転テーブル１０４と同様の効果を得ることもできる。
【０２４４】
また、被写体のシルエット像データ３０２やテクスチャ像データ３０３の切出しには、背景照明装置１２５を持つ輪郭抽出装置１０７と被写体切出し装置１０８を用いたが、従来からあるブルーバックなどを用いるクロマキ処理や、背景が無くても輪郭の形状計測が可能な背景画像差分を用いた方法や、２次元画像セグメンテーションによる方式などを用いることができる。
【０２４５】
また、本発明は貼り合わせに適したテクスチャ像データ３０３の取得であるため、回転軸１１８を中心とした回転ステレオ法などで３次元形状データ３４を再構成しても良く、テクスチャ像データ３０３に対応する３次元形状データ３４の取得法に関してはあらゆる方法を用いることができる。
【０２４６】
また、これまでの各実施の形態に共通した事項として、カメラの撮影パラメータ、すなわち、フォーカス、露出、ホワイトバランスなどは一定に保つことが好ましい。
【０２４７】
【発明の効果】
従って、以上説明したように、本発明によれば、テクスチャ画像の貼り込みまでを考慮に入れると共に、異なる視点からの３次元のテクスチャ画像の貼り合わせ時の計算機による補正処理のコストを減少し、より自然な貼り合わせ３次元画像を取得可能な３次元画像撮影装置を提供することができる。
【図面の簡単な説明】
【図１】  図１の（ａ）は、本発明の第１の実施の形態による３次元画像撮影装置の概略的な構成を示す正面図である。
図１の（ｂ）は、本発明の第１の実施の形態による３次元画像撮影装置の概略的な接続関係を示す図である。
図１の（ｃ）は、本発明の第１の実施の形態による３次元画像撮影装置に用いるパターンフィルタを例示する図である。
【図２】  図２は、本発明の第１の実施の形態の３次元画像撮影装置１により被写体７に対して３次元画像撮影を行う状態を示す図である。
【図３】  図３の（ａ），（ｂ）は、本発明の第１の実施の形態の３次元画像撮影装置１による被写体７に対する視点位置を変えた撮影による立体的な３次元像２００、２００…を順次得る状態と、その後の３次元画像の貼り合わせを行う状態を示す図である。
【図４】  図４の（ａ），（ｂ）は、従来技術による被写体７に対する視点位置を変えた撮影による立体的な３次元像２００、２００…を順次得る状態と、その後の３次元画像の貼り合わせを行う状態を示す図である。
【図５】  図５の（ａ），（ｂ）は、本発明の第２の実施の形態による３次元画像撮影装置１の概略的な構成を示す上面図と正面図である。
【図６】  図６は、本発明の第２の実施の形態による３次元画像撮影装置１により被写体７に対して３次元画像撮影を行う状態を示す図である。
【図７】  図７の（ａ），（ｂ）は、本発明の第２の実施の形態による３次元画像撮影装置１に用いられるステレオアダプタ３５によって得られる撮像素子上の視差画像３６（３２，３３）を示す図である。
【図８】  図８は、本発明の構成例による３次元画像撮影装置１０１の概略的な構成を示す側面図である。
【図９】  図９は、本発明の構成例による３次元画像撮影装置１０１の作用を説明するための処理フロー図である。
【図１０】  図１０は、本発明の構成例による視点位置を変えて撮影したテクスチャ像データ３０３を３次元形状データ３４に重畳する際のテクスチャ像データ３０３の貼り合わせを行う状態を示す図である。
【図１１】  図１１は、本発明の構成例による３次元画像撮影装置１０１の変形例を示す図である。
【図１２】  図１２は、本発明の構成例による３次元画像撮影装置１０１の変形例を示す図である。
【符号の説明】
１…３次元画像撮影装置、
２…投影装置、
３…撮影装置、
４…照明装置、
５…投影光学系、
６…照明光学系、
７…被写体、
８…結像光学系、
９…パターンフィルタ、
１０−１…光源装置、
１１…投影発光回路、
１０−２…光源装置、
１２…ディフューザー、
１３…照明発光回路、
１４…固定部材、
１５…パターンフィルタ像、
１６…撮影光学系、
２０…シャッターボタン、
２１…外付けフラッシュ用の制御端子（、Ｘシンクロ端子）、
２２…三脚固定ネジ穴、
２３…フラッシュ取付用のアクセサリシュー、
２４…フィルタ取り付けネジ、
２５…固定治具、
２６…三脚固定ネジ、
２７…位置決めピン、
２８…切替え回路、
２９…外付けのフラッシュ、
４４…外部照明接続回路、
２００、２００…立体的な３次元像、
３２…投影パターンありの投影像データ、
３３…テクスチャ像データ、
３４…３次元形状データ、
３５…ステレオアダプタ、
３６（３２，３３）…撮像素子上の視差画像、
３７…２つの受光部位（第１のミラー光学系）、
３８…第２のミラー光学系、
３９…リングライト、
２０２…表面のテクスチャ像、
２０５…貼り合わせ端部、
２０４…３次元貼り合わせ像、
１０１…３次元画像撮影装置、
１０２…撮像装置（カメラ）、
１１２…撮像光学系、
１１６…シャッターボタン、
１０３…照明装置、
１０４…回転装置、
１０４ａ…回転テーブル装置、
１０５…照明回転装置、
１１１…被写体、
１１９…透過撮影台（回転テーブル）、
１２０…回転アクチュエータ制御装置、
１２１…回転角度出力装置、
１０６…同期装置、
１３１…カメラ１０２の光軸、
１１８…被写体１１１の回転軸、
１０７…輪郭抽出装置、
１２２…Ｘシンクロ信号入力装置、
１２３…透過スクリーン、
１２４…閃光発光光源装置、
１２５…背景照明装置、
１０８…被写体切出し装置、
３００…シルエット像、
１２６…シルエット像入力部、
３０１…テクスチャ像。
１２７…テクスチャ像入力部、
３０２…シルエット像データ、
１２８…シルエット像データ出力部、
３０３…テクスチャ像データ、
１２９…テクスチャ像データ出力部、
１０９…切替え装置、
１１０…３次元再構成装置、
１３０…Ｘシンクロ信号入力部、
１３１…Ｘシンクロ信号出力部。
【図１】
0004043258.tif 000002
【図２】
0004043258.tif 000003
【図３】
0004043258.tif 000004
【図４】
0004043258.tif 000005
【図５】
0004043258.tif 000006
【図６】
0004043258.tif 000007
【図７】
0004043258.tif 000008
【図８】
0004043258.tif 000009
【図９】
0004043258.tif 000010
【図１０】
0004043258.tif 000011
【図１１】
0004043258.tif 000012
【図１２】
0004043258.tif 000013