(57)【要約】【課題】３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができるようにし、以て、３次元再構成を行うのに適した良好な画像を得られるようにすること。【解決手段】パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を投光情報記憶部１４に記憶すると共に、その一組の撮像における撮像の進捗情報を撮像進捗情報記憶部１５に記憶するようにし、制御部１３は、それら記憶した投光情報及び進捗情報に基づいて、投影フラッシュ１２による投光及び撮像系１１による撮像を制御する。【選択図】    図１
2004289613.tif 000002
【特許請求の範囲】
【請求項１】
パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像装置であって、
前記被写体を撮像する撮像系と、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段と、
を具備することを特徴とする３次元撮像装置。
【請求項２】
前記投光情報は、前記投影発光手段から出力される投影発光手段情報を含むことを特徴とする請求項１に記載の３次元撮像装置。
【請求項３】
前記投光情報は、前記撮像系から出力される撮像系情報を含むことを特徴とする請求項１に記載の３次元撮像装置。
【請求項４】
前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段と、
前記適正撮像判断手段の判断結果を提示する手段と、
をさらに具備することを特徴とする請求項１乃至３のいずれかに記載の３次元撮像装置。
【請求項５】
前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段をさらに具備し、
前記制御手段は、前記適正撮像判断手段によって撮像が適切であると判断されなかった場合には、前記撮像進捗情報記憶手段に記憶される進捗情報を１回目の撮像に再設定し直すことを特徴とする請求項１乃至３のいずれかに記載の３次元撮像装置。
【請求項６】
被写体の輝度情報を取得する測光手段をさらに具備し、
前記投光情報は、前記測光手段によって取得される輝度情報を含むことを特徴とする請求項１または４または５に記載の３次元撮像装置。
【請求項７】
前記撮像系の１つの撮像光学系に接続することで、異なる複数の視点から被写体の画像を撮像可能にする光路分割光学系を有するステレオアダプタをさらに具備することを特徴とする請求項１に記載の３次元撮像装置。
【請求項８】
前記撮像系で撮像するときに前記被写体を照明する照明発光手段をさらに具備することを特徴とする請求項１に記載の３次元撮像装置。
【請求項９】
前記投光情報は、前記照明発光手段から出力される照明発光手段情報を含むことを特徴とする請求項８に記載の３次元撮像装置。
【請求項１０】
前記投光情報を入力するための操作部をさらに具備することを特徴とする請求項１に記載の３次元撮像装置。
【請求項１１】
前記投影発光手段が、前記一組の撮像のうち、１回目の撮像時に投光することを特徴とする請求項１に記載の３次元撮像装置。
【請求項１２】
被写体を連続して撮像することが可能であり、前記撮像が行われるタイミングまたは前記被写体にパターンを投影するための投光が行われるタイミングをタイミング信号として出力可能な撮像系に接続して用いる投光ユニットであって、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記連続した撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記連続する撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づくと共に、前記タイミング信号に同期して前記投影発光手段による投光を制御する制御手段と、
を具備することを特徴とする投光ユニット。
【請求項１３】
前記投影発光手段が、前記連続する撮像のうち１回目の撮像が行われるタイミングのタイミング信号に同期して投光することを特徴とする請求項１２に記載の投光ユニット。
【請求項１４】
パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元再構成システムであって、
前記被写体を撮像する撮像系と、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段と、
前記撮像系で得られた画像を元に、前記被写体の３次元再構成を行う計算手段と、
を具備することを特徴とする３次元再構成システム。
【請求項１５】
パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づいて、前記一組の撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【請求項１６】
パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【請求項１７】
パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【請求項１８】
前記進捗情報が２回目以降の撮像に相当する場合は、前記投光情報に基づいて撮像が行われるステップをさらに具備することを特徴とする請求項１６または１７に記載の３次元撮像方法。
【請求項１９】
被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づくと共に、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【請求項２０】
被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【請求項２１】
被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【請求項２２】
前記進捗情報が２回目の撮像に相当する場合は、前記投光情報に基づいて前記パターンを投影するための投光が行われるステップをさらに具備することを特徴とする請求項２０または２１に記載の投光ユニットの投光方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、被写体の３次元再構成を行うために、パターンを投影された被写体を少なくとも１回撮像することを含む２回以上の撮像を行う３次元撮像装置及び３次元撮像方法、並びに、そのような撮像を行うことで前記被写体の３次元再構成を行う３次元再構成システムに関する。
【０００２】
さらに本発明は、被写体を連続して撮像することが可能であり、その撮像が行われるタイミングまたはパターンを投影するための投光を行うタイミングをタイミング信号として出力可能な撮像系に接続して用いる投光ユニット及びそのような投光ユニットの投光方法に関する。
【０００３】
【従来の技術】
特許文献１には、複数のフラッシュを所定時間間隔で切り換えて発光する３次元撮像を行うためのフラッシュユニットが開示されている。このフラッシュユニット装置においては、外部から入力されるフラッシュ発光信号を順次切り換えてパターン有りフラッシュ（投影フラッシュ）と、パターン無しフラッシュ（照明フラッシュ）とを交互に発光させることが可能である。
【０００４】
特許文献２には、カメラの撮像系光学系に接続することで視差画像を撮影可能にする、被写体にパターンを投影するパターン投影部または被写体を照明する発光部を具備するステレオアダプタが記載されている。
【０００５】
【特許文献１】
ＵＳＰ  ６，３７０，３３５  Ｂ１
【０００６】
【特許文献２】
特開２００２−２３６３３２号公報
【０００７】
【発明が解決しようとする課題】
前記特許文献１の発明においては、投影フラッシュに２回以上の撮像のうちいつパターンを投影するための投光をさせるか記憶させることが出来なかったため、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことが困難であった。そのため、３次元再構成を行うのに適した良好な画像を得ることができなかった。
【０００８】
本発明は、上記の点に鑑みてなされたもので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができるようにし、以て、３次元再構成を行うのに適した良好な画像を得ることが可能な３次元撮像装置、投光ユニット及び３次元再構成システム、並びに、３次元撮像方法及び投光ユニットの投光方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記の目的を達成するために、請求項１に記載の発明による３次元撮像装置は、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像装置であって、前記被写体を撮像する撮像系と、前記被写体にパターンを投影するための投光を行う投影発光手段と、前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段とを備えることを特徴とする。
【００１０】
また、請求項２に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記投光情報は、前記投影発光手段から出力される投影発光手段情報を含むことを特徴とする。
【００１１】
また、請求項３に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記投光情報は、前記撮像系から出力される撮像系情報を含むことを特徴とする。
【００１２】
また、請求項４に記載の発明による３次元撮像装置は、請求項１乃至３のいずれかに記載の発明による３次元撮像装置において、前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段と、前記適正撮像判断手段の判断結果を提示する手段とをさらに備えることを特徴とする。
【００１３】
また、請求項５に記載の発明による３次元撮像装置は、請求項１乃至３のいずれかに記載の発明による３次元撮像装置において、前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段をさらに備え、前記制御手段は、前記適正撮像判断手段によって撮像が適切であると判断されなかった場合には、前記撮像進捗情報記憶手段に記憶される進捗情報を１回目の撮像に再設定し直すことを特徴とする。
【００１４】
また、請求項６に記載の発明による３次元撮像装置は、請求項１または４または５に記載の発明による３次元撮像装置において、被写体の輝度情報を取得する測光手段をさらに備え、前記投光情報は、前記測光手段によって取得される輝度情報を含むことを特徴とする。
【００１５】
また、請求項７に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記撮像系の１つの撮像光学系に接続することで、異なる複数の視点から被写体の画像を撮像可能にする光路分割光学系を有するステレオアダプタをさらに備えることを特徴とする。
【００１６】
また、請求項８に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記撮像系で撮像するときに前記被写体を照明する照明発光手段をさらに備えることを特徴とする。
【００１７】
また、請求項９に記載の発明による３次元撮像装置は、請求項８に記載の発明による３次元撮像装置において、前記投光情報は、前記照明発光手段から出力される照明発光手段情報を含むことを特徴とする。
【００１８】
また、請求項１０に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記投光情報を入力するための操作部をさらに備えることを特徴とする。
【００１９】
また、請求項１１に記載の発明による３次元撮像装置は、請求項１に記載の発明による３次元撮像装置において、前記投影発光手段が、前記一組の撮像のうち、１回目の撮像時に投光することを特徴とする。
【００２０】
また、前記の目的を達成するために、請求項１２に記載の発明による投光ユニットは、被写体を連続して撮像することが可能であり、前記撮像が行われるタイミングまたは前記被写体にパターンを投影するための投光が行われるタイミングをタイミング信号として出力可能な撮像系に接続して用いる投光ユニットであって、前記被写体にパターンを投影するための投光を行う投影発光手段と、前記連続した撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、前記連続する撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づくと共に、前記タイミング信号に同期して前記投影発光手段による投光を制御する制御手段とを備えることを特徴とする。
【００２１】
また、請求項１３に記載の発明による投光ユニットは、請求項１２に記載の発明による投光ユニットにおいて、前記投影発光手段が、前記連続する撮像のうち１回目の撮像が行われるタイミングのタイミング信号に同期して投光することを特徴とする。
【００２２】
また、前記の目的を達成するために、請求項１４に記載の発明による３次元再構成システムは、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元再構成システムであって、前記被写体を撮像する撮像系と、前記被写体にパターンを投影するための投光を行う投影発光手段と、前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段と、前記撮像系で得られた画像を元に、前記被写体の３次元再構成を行う計算手段とを備えることを特徴とする。
【００２３】
また、前記の目的を達成するために、請求項１５に記載の発明による３次元撮像方法は、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づいて、前記一組の撮像が行われるステップとを備えることを特徴とする。
【００２４】
また、前記の目的を達成するために、請求項１６に記載の発明による３次元撮像方法は、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップとを備えることを特徴とする。
【００２５】
また、前記の目的を達成するために、請求項１７に記載の発明による３次元撮像方法は、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、前記一組の撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップとを備えることを特徴とする。
【００２６】
また、請求項１８に記載の発明による３次元撮像方法は、請求項１６または１７に記載の発明による３次元撮像方法において、前記進捗情報が２回目以降の撮像に相当する場合は、前記投光情報に基づいて撮像が行われるステップをさらに備えることを特徴とする。
【００２７】
また、前記の目的を達成するために、請求項１９に記載の発明による投光ユニットの投光方法は、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づくと共に、前記撮像に同期して前記パターンを投影するための投光が行われるステップとを備えることを特徴とする。
【００２８】
また、前記の目的を達成するために、請求項２０に記載の発明による投光ユニットの投光方法は、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップとを備えることを特徴とする。
【００２９】
また、前記の目的を達成するために、請求項２１に記載の発明による投光ユニットの投光方法は、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、前記連続した撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップとを備えることを特徴とする。
【００３０】
また、請求項２２に記載の発明による投光ユニットの投光方法は、請求項２０または２１に記載の発明による投光ユニットの投光方法において、前記進捗情報が２回目の撮像に相当する場合は、前記投光情報に基づいて前記パターンを投影するための投光が行われるステップをさらに具備することを特徴とする。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００３２】
［第１の実施の形態］
まず、図１の（Ａ）及び（Ｂ）を参照して、本発明の第１の実施の形態の構成を説明する。
【００３３】
この発明の第１の実施の形態は次のように構成されている。
【００３４】
図１の（Ａ）は、撮像系１１を用いて縞パターン投影により、３次元撮像を行う構成を示した図である。
【００３５】
即ち、本発明の第１の実施の形態に関わる３次元撮像装置は、撮像系１１と、図示せぬ被写体に縞パターンを投影するための投影発光手段である投影フラッシュ１２と、前記撮像系１１と前記投影フラッシュ１２とを制御する制御部１３と、前記制御部１３にそれぞれ接続された投光情報記憶部１４と撮像進捗情報記憶部１５とから構成されている。
【００３６】
なお、撮像系１１と投影フラッシュ１２との位置関係は、本実施の形態では図示を省略したが、拘束部材等で拘束されている必要のある場合があり、本説明図によってその必要、不要を限定するものではない。
【００３７】
図１の（Ｂ）に本実施の形態のブロック図を示す。
【００３８】
図１の（Ｂ）に示す構成を具体的に実現するに当たっては、前記制御部１３としてワンチップマイコンを、また、前記投光情報記憶部１４及び撮像進捗情報記憶部１５としてメモリを使用し、前記撮像系１１から制御部１３へのタイミング信号及び、制御部１３からの出力と投影フラッシュ１２を接続する時にインピーダンスマッチングを取りパワーを供給するため、トランジスタ、ＦＥＴなどを使用して容易に構成可能である。
【００３９】
次に、前記のような構成の３次元撮像装置の動作を説明する。
【００４０】
２回以上の撮像からなる一組の撮像において、撮像系１１の撮像のタイミングに合わせてタイミング信号が出力され、前記制御部１３に入力される。前記制御部１３は、投光情報記憶部１４に記憶される投光情報と撮像進捗情報記憶部１５に記憶される進捗情報とに基づいて、前記タイミング信号に同期して、前記投影フラッシュ１２に前記被写体にパターンを投影するための投光をさせる。このようにして、一組の撮像が行われることによって、撮像系１１はパターンを投影された被写体の画像を含む前記被写体の３次元再構成を行うための画像を取得することができる。
【００４１】
ここで、前記進捗情報とは、撮像が開始してからの時間、一組の撮像において何回目の撮像であるか、等の進捗状況を表す情報であり、この進捗情報は撮像の進捗に伴い適宜更新される。
【００４２】
また、前記投光情報とは、投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかを表すデータに対応する情報を含むものであって、例えば、撮像系１１に関する情報として撮像モードの設定、連写に関する設定、電源のオンオフ状況、記憶メディアもしくは画像メモリの残量情報、３次元撮像の種類、露出条件、シャッタースピード、Ｆ値、フォーカス設定値、ズーム設定値、バッテリーの残量状況、撮像系が画像書き込み中であるかの情報、動作エラー、または撮像系の形式もしくは種類、また投影発光手段に関する情報として発光手段（フラッシュ）の発光状況、バッテリー残量状況、電源のオンオフ状況、チャージ完了状況、調光センサー情報、型式、ガイドナンバー、バウンス機能情報、投光もしくは発光時間、または動作エラー情報等、といったようなものを含んでいても良い。
【００４３】
なお、投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかを表すデータとは、直接的に投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかのデータそのものであっても良いし、予め決定されているいくつかの投光モード（投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかのデータ）の中から、所望の投光モードを選択するためのデータであっても良い。
【００４４】
ここで、前記投光情報記憶部１４には、いくつかの投光モードが記憶されていても良い。
【００４５】
また、前記タイミング信号は、制御部１３が出力し、撮像系１１がその入力を受けて撮像を行うようにしても良い。さらに、このタイミング信号は、撮像が行われるタイミングを表す信号に限らず、被写体にパターンを投影するための投光をするタイミングまたはフラッシュを発光するタイミングを表す信号でも良い。
【００４６】
図２は、前記撮像系１１から制御部１３へのタイミング信号と前記投影フラッシュ１２にパターン投影のための投光をさせるための前記制御部１３の出力との関係を表したタイミングチャートである。この図２では、前記タイミング信号に同期して、前記投光情報と前記進捗情報に基づいて、１回目の撮像でのみ投影フラッシュ１２にパターン投影のための投光をさせている。なお、この図２では、入出力とも正論理で記載したが、入出力の両者またはその一方が負論理でも構わない。
【００４７】
前述のように、タイミング信号に同期して、投光情報と進捗情報に基づいて、投影発光手段である投影フラッシュ１２にパターンを投影するための投光をさせる場合のフローチャートの一例を図３に示す。
【００４８】
即ち、制御部１３は、投光情報記憶部１４に記憶される投光情報を取得し（ステップＳ１１）、撮像の進捗情報をｉ＝１（ここでは、仮に一組の撮像でｉ回目の撮像が行われるという情報が記憶されるとする）として、撮像進捗情報記憶部１５に記憶する（ステップＳ１２）。次に、前記撮像系１１から撮像のタイミング信号を受けて（ステップＳ１３）、前記投光情報と進捗情報とに基づいて、被写体に対して投光するかを判断する（ステップＳ１４）。そして、その結果、投光する場合には投影のための投光を行い（ステップＳ１５）、また、投光しない場合にはそれを行わずに、前記被写体を撮像する（なお、撮像自体は撮像系１１で行われるため、このフローチャートには示していない）。その後、前記進捗情報をｉ＝ｉ＋１に書き換えて撮像進捗情報記憶部１５に記憶し（ステップＳ１６）、ｎ回からなる一組の撮像が終わったか否かを判別して（ｉ＞ｎ）（ステップＳ１７）、まだ終わっていなければ前記ステップＳ１３に戻って、前述の動作を繰り返す。そして、ｎ回からなる一組の撮像が終わったならば（ステップＳ１７）、撮像を終了する。
【００４９】
ここで、投光情報は予め投光情報記憶部１４に記憶されていても良いし、何らかの手段で外部から入力されたものであっても良い。また、進捗情報は何回目の撮像が終わったかを表す情報でも、一組の撮像が開始してから経過した時間等でも構わない。投光情報記憶部１４及び撮像進捗情報記憶部１５は制御部１３に組み込まれていても良い。進捗情報は制御部１３の一次記憶装置に記憶されていても良い。
【００５０】
また、進捗情報の書き換えは、フローチャートに示した段階で実行されることに限定されず、情報の種類によって適当な段階で書き換えられる。
【００５１】
制御部１３は前記タイミング信号に同期して、投光情報と進捗情報に基づいて、所望のタイミングで投影フラッシュ１２にパターン投影のための投光をさせる。このようにして、パターンを投影された被写体の画像を含む前記被写体の３次元再構成を行うための画像を、前記３次元撮像装置を用いて取得することが出来る。
【００５２】
ここで、本実施の形態には、縞パターン投影を行う投影フラッシュ１２以外にも、例えば作成された３次元モデルに対してテクスチャー情報をマッピングするための画像を撮像するときに用いるものである通常フラッシュ撮像用フラッシュやパターン投影時に被写体に影ができるのを防止する投影補助投影用フラッシュ等に代表される照明発光手段（照明フラッシュ１６）、またはその他の発光手段（その他のフラッシュ１７）をさらに具備しても良い。これらの照明フラッシュ１６やその他のフラッシュ１７も、図４のように制御部１３に接続されていても良いし、さらに、投影フラッシュ１２の場合と同様に、タイミング信号に同期して、投光情報と進捗情報に基づいて、所望のタイミングで被写体を照明したり発光したりするように構成されていても良い。
【００５３】
また、図５のように外部から操作者が投光情報を入力可能な操作部１８がさらに設けられていていても良い。ここでの投光情報とは、前述の投光情報と同じものが考えられる。例えば、操作者はロータリーディップスイッチなどの操作部１８を用いて投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかのデータそのものを入力しても良いし、いくつかの投光モードの中から所望の投光モードを選択するようにしても良い。
【００５４】
また、投影フラッシュ１２と同時に、照明フラッシュ１６やその他のフラッシュ１７が投光または照明するように構成されていても良い。このように構成することによって、例えば対象物体に対して左右方向から同時に投光または照明することが可能となり、撮像上不要な影の発生を抑制することが可能となる。この場合、投影フラッシュ１２の場合と同様に、照明フラッシュ１６やその他のフラッシュ１７が、いつ被写体を照明するまたは投光するかの情報を投光情報記憶部１４が記憶していても良く、さらには撮像の進捗情報と前記投光情報とに基づいて、照明フラッシュ１６やその他のフラッシュ１７が被写体を照明または投光するように構成されていても良い。
【００５５】
投影フラッシュ１２がいつ被写体にパターンを投影するための投光をするかは、例えば次のような観点で決定付けられる。
【００５６】
例えば、既知のパターンを投影されつつ撮像された撮像画像は非常に特徴的な画像で、コンピュータによる画像処理で自動的に「この画像はパターンを投影されつつ撮像された撮像画像である」という判定が施し易い性質がある。従って、３次元再構成を施すのに必要な一組の撮像の開始が必ずパターン画像（パターンを投影されつつ撮像された撮像画像）であり、一組の撮像回数が分かっていれば、撮像系１１で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【００５７】
また、他の例としては、人物を撮像する場合を想定すると、フラッシュを伴う撮像ではいわゆる赤目現象が仕上がり画像に悪影響を与える場合がある。赤目防止策としてプリ発光処理が一般的に利用されるが、１回目の画像撮像を投影フラッシュによる投光を伴う撮像、２回目以降の撮像で照明（通常）フラッシュによる照明を伴う撮像を行うことによって、１回目の撮像に伴う投影フラッシュがプリ発光機能を兼ねることが可能である。
【００５８】
主に３次元再構成の中間処理にしか用いない投影フラッシュ撮像が、例え赤目状態になっていたとしても、テクスチャーマッピングに用いる通常フラッシュ撮像時に赤目撮像になっていなければ、仕上がり画像上は良好である。赤目撮像画像自体が３次元再構成の中間処理である距離情報取得に悪影響を与えない程度である限り、このような撮像は有効である。
【００５９】
勿論、３次元再構成のテクスチャーマッピングより、距離情報取得を重視する場合は、前記とは逆の順序で撮像を行っても良い。
【００６０】
また、相対的に運動する被写体を撮像する場合においては、３回の撮像を一組とし、２回目に投影フラッシュによるパターン投影のための投光を伴う撮像を行い、１回目及び３回目はパターン投影を伴わない撮像を行うこと、または、１回目及び３回目に投影フラッシュ撮像を行い、２回目にパターン投影を伴わない撮像を行うことが考えられる。この場合は、パターン投影された被写体の画像とパターン投影されていない被写体の画像の組み合わせをそれぞれ２通り得られることになる。この２つの組み合わせから、被写体の相対位置のズレが少ない、得られるテクスチャーマッピングデータと距離情報のズレが少ない組み合わせを選択することで、相対的に運動する被写体であっても良好な３次元再構成のための画像を得ることが出来る。
【００６１】
上記のように、規定の順番で撮像することの作用、効果は３次元再構成をするために必要な撮像の種類に応じて様々有るが、本発明ではその作用効果を様々挙げることが目的ではなく、このように撮像順序を様々に規定し、それに応じた所望のタイミングで投影フラッシュによるパターン投影のための投光ができること自体の有効性を示すものである。
【００６２】
さらに、本実施の形態は次のような改変も可能である。
【００６３】
それぞれのフラッシュ（１２，１６，１７）と制御部１３との接続は、有線での接続を示したが、無線でも構わない。撮像系１１と制御部１３との接続に関しても同様である。
【００６４】
投光情報は、投光情報記憶手段１４に予め記憶される場合や操作者が操作部１８を用いて入力する場合以外に、撮像環境や装置またはシステムに関する様々な情報を取得し、その情報が投光情報として入力されるように構成されていても良い。
【００６５】
また、図１の（Ｂ）に参照番号１９を付して示すように、被写体を連続して撮像可能でありタイミング信号を出力可能な撮像系１１に接続することで前述した動作を可能とする、制御部１３、投影フラッシュ１２、投光情報記憶部１４及び撮像進捗情報記憶部１５を具備するフラッシュユニット１９として構成することも可能である。また、この場合も、フラッシュユニット１９に上記のようにさらに操作部１８または照明発光手段（照明フラッシュ１６）やその他の発光手段（その他のフラッシュ１７）を具備していても良い。
【００６６】
また、本構成に加え、前記一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、図６のような３次元再構成システムとして用いることもできる。
【００６７】
また、投影されるパターンは、縞パターンに限定されるものでなく、ランダムドットパターンなど形態は限定しない。色に関しても同様で、カラーであってもグレーであっても良く、その種類は限定されない。フラッシュ光の種類も特に可視光に限定するものではなく、赤外、紫外光など撮像の目的に応じて選定可能である。その場合には、撮像系１１の感度波長領域もそれに対応させて選定する必要が生じる。
【００６８】
また、撮像系１１からは撮像のタイミング信号に加えて、様々な情報を制御部１３に対して送信することが可能である。例えば、撮像系１１の機種情報を送信し、フラッシュユニット１９に対応しない撮像系１１の場合には、フラッシュユニットを動作禁止とし、３次元撮像自体を許可させないことなどが可能である。その他にも撮像系１１の画像記録メディア残量、バッテリー残量など一組の画像を撮像するための撮像条件が満足されているか否かの判断に必要な情報を送信しても構わない。撮像系１１から送信される情報に関しては様々考えられ、その種類に関しては限定しない。
【００６９】
［第２の実施の形態］
次に、図１の（Ｂ）を用いて本発明の第２の実施の形態を説明する。
【００７０】
なお、以降、本発明の様々な実施の形態及び実施の形態の変形例で、他の実施の形態やその変形例と同じ参照番号を付したものは同等のものを示すものとする。
【００７１】
本第２の実施の形態は、接続された投影フラッシュ１２から出力される当該投影フラッシュ１２に関する情報である投影発光手段情報を含む投光情報に基づいて、制御部１３が投影フラッシュ１２にパターンを投影するための投光を行わせるものである。
【００７２】
ここで、制御部１３が情報をやり取りするのは、投影フラッシュ１２、さらに投影フラッシュ１２以外のフラッシュを有する場合には全てのフラッシュでもその一部であっても構わない。
【００７３】
また、そのやり取りする情報は、例えば発光手段（フラッシュ）の発光状況、バッテリー残量状況、電源のオンオフ状況、チャージ完了状況、調光センサー情報、型式、ガイドナンバー、バウンス機能情報、投光もしくは発光時間、または動作エラー情報など様々な情報、を含む所謂投影発光手段情報であり、その種類は限定しない。
【００７４】
こうすることで、制御部１３は、接続されている投影フラッシュ、利用可能な投影フラッシュを的確に判断しつつ、適切なタイミングで投影フラッシュ１２にパターンを投影するための投光をさせることが出来る。
【００７５】
ここでは、図１の（Ｂ）のような投影フラッシュ１２のみを有する構成で、前記投影フラッシュ１２から出力される投影発光手段情報が投光情報として用いられる場合を述べたが、図４のように照明フラッシュ１６やその他のフラッシュ１７を具備している場合には、照明フラッシュ１６やその他のフラッシュ１７から取得される発光手段情報、例えば照明フラッシュからの照明発光手段情報を共に用いるようにしても良い。
【００７６】
また、投影フラッシュ１２と同様に、照明フラッシュ１６やその他のフラッシュ１７にいつ被写体を照明させるかを決定するようにしても良い。
【００７７】
例えば、実際に制御部１３に対してフラッシュが５つ接続されていて、そのうち３つは今行いたい３次元撮像に不要なフラッシュ構成である場合などがある。その場合には、不要なフラッシュの電源をオフにするが、そのオンオフ情報や種別情報から可能な３次元撮像の種類が限定され、その結果、撮像順番の種類も５つのフラッシュの場合ではなくて、２つのフラッシュの場合からのみ選定できるように投光モードが限定されるようになる。さらに、操作部１８を有する図５のような構成にした場合、操作者はこのようにして限定された投光モードの中から操作部１８を用いて所望の投光モードを選定することが可能である。または、適切な発光順序を１つに限定することも可能で、操作者が選択すること無しに自動的に投光モードが設定されることも可能である。このような処理によって、無意味な投光モードが自動的に除外され、操作者にとって間違いの無い３次元撮像が可能となる。
【００７８】
また、本実施の形態においても当然、前述の第１の実施の形態と同様、制御部１３、投影フラッシュ１２、投光情報記憶部１４及び撮像進捗情報記憶部１５を具備するフラッシュユニット１９として構成しても良い。さらには、制御部１３に前述の第１の実施の形態で説明したような一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、３次元再構成システムとして用いることも可能なことは勿論である。
【００７９】
［第３の実施の形態］
次に、図１の（Ｂ）を用いて本発明の第３の実施の形態を説明する。
【００８０】
本実施の形態は、接続された撮像系１１から出力される当該撮像系１１に関する情報である撮像系情報を含む投光情報に基づいて、制御部１３が投影フラッシュ１２にパターンを投影するための投光を行わせるものである。
【００８１】
ここで、撮像系１１に関する情報は、撮像系１１の撮像モードの設定、連写に関する設定、電源のオンオフ状況、記憶メディアもしくは画像メモリの残量情報、３次元撮像の種類、露出条件、シャッタースピード、Ｆ値、フォーカス設定値、ズーム設定値、バッテリーの残量状況、撮像系が画像書き込み中であるかの情報、動作エラー、または撮像系の形式もしくは種類など様々な情報、を含む所謂撮像系情報であり、その種類は限定しない。
【００８２】
このような撮像系情報を含む投光情報に基づいて、制御部１３が投影フラッシュ１２にいつパターンを投影するための投光をさせるかを決定することで、撮像系１１の設定に起因する失敗なしに、容易に適切な条件での撮像を行うことが出来る。
【００８３】
また、前記撮像系情報と同時に、前記第２の実施の形態のように投影発光手段情報または照明発光手段情報を含む投光情報に基づいて、いつパターンを投影するための投光をさせるかを決定しても良い。
【００８４】
これら相互情報のやり取りによって、撮像系１１に起因する条件と、発光手段に起因する条件が満足される投光モードが設定できるようになり、間違いの無い３次元撮像がより容易に実現できるようになる。
【００８５】
また、本実施の形態は前述の第２の実施の形態のように様々に改変可能であり、図４のように任意の発光手段を有した構成にも適用可能であるし、図５のような操作部１８を有する構成であっても適用可能であるのは言うまでも無い。
【００８６】
また、本実施の形態においても当然、前述の第１の実施の形態と同様、制御部１３、投影フラッシュ１２、投光情報記憶部１４及び撮像進捗情報記憶部１５を具備するフラッシュユニット１９として構成しても良い。さらには、制御部１３に前述の第１の実施の形態で説明したような一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、３次元再構成システムとして用いることも可能なことは勿論である。
【００８７】
［第４の実施の形態］
次に、図７を用いて本発明の第４の実施の形態を説明する。
【００８８】
この発明の実施の形態は次のように構成されている。
【００８９】
制御部１３には、本発明の第１の実施の形態で説明を行ったものと同等のパターン投影用の投影フラッシュ１２が接続されている。撮像系１１との接続の状況も本発明の第１の実施の形態と同様で、その他の情報がフラッシュに対して与えられているのも同様である。
【００９０】
更に図７のように、投光情報に基づいて、適正な３次元撮像が行えるか、または、結果的に行えたか、を判断する適正撮像判断部２１と、撮像が適切であると判断されなかった場合に、その判定結果を提示するための判断結果提示部２２と、を有している。
【００９１】
このような構成とすることで、所望の３次元撮像に対して前記投光情報に基づいて決定される投光タイミングと、撮像系１１で設定されているシャッター速度、露出、その他撮像条件とに不適合が生じた場合に、適正撮像判断部２１で撮像が適切ではないと判断し、撮像前に撮像系１１の撮像条件または投光モード等の変更を促す警告を判断結果提示部２２を用いて操作者に対し提示することが可能となる。
【００９２】
また、前記投光情報には、前記第２の実施の形態で示したような投影発光手段情報または照明発光手段情報が含まれていても良い。投影発光手段情報、照明発光手段情報としては本発明の第２の実施の形態で説明を行ったものと同等である。従って、例えば各フラッシュで行われた調光にオーバー露光、アンダー露光などの異常値が無かったかなどの情報を利用し適正撮像判断部２１で判断することが可能である。即ち、投影発光手段、照明発光手段等の各発光手段の動作状況まで含めて適正な撮像が行われるか、または実際に行われたかの判断が可能となる。
【００９３】
また、前記投光情報には、撮像系情報が含まれていても良い。情報としては本発明の第３の実施の形態で説明を行ったものと同等である。従って、適正撮像判断部２１では、撮像系１１での撮像モードの設定、連写に関する設定、バッテリー残量、画像メモリ残量、シャッタースピード、Ｆ値、フォーカス設定値、ズーム設定値など様々な情報で、撮像前にこれから行われようとする撮像が不成功に終わる可能性が高いことが予め判断が可能である。
【００９４】
また、撮像前でなくとも、撮像の全てまたは一部が実際に行われた段階でも不適正な撮像が行われたことを判断することが可能である。
【００９５】
例えば、撮像タイミング信号を図示せぬタイマーで計測して、その間隔が３次元撮像に適切であるか否かを判断する。適切であるか否かの判断は、例えば第１回目のパターンの投影を伴って行われる撮像と、第２回目に通常撮像用の照明フラッシュで行われるテクスチャーマッピング画像の撮像の間隔が、対象物体の移動や変形を十分に無視しうる時間間隔３３ｍｓｅｃ程度に収まっているか否かなどで行われる。
【００９６】
また、撮像が開始してからの所定の時間中に一組の撮像が終わったか判断するなど、前記撮像の進捗情報に基づいて、適正な３次元撮像が行えるかまたは結果的に行えたかを判断する適正撮像判断部２１を有し、その判断に基づいて判定結果を判断結果提示部２２で提示するようにしても良い。
【００９７】
勿論、撮像が適切であったか不適切であったかの判断結果に関わらず、その結果を判断結果提示部２２で提示するようにしても構わないのは言うまでも無い。
【００９８】
これら撮像の適正を判断する情報や判断基準は、行おうとする３次元撮像の形態、使用する撮像系、フラッシュの種類などに依存して設定されるが、本発明ではこの判断基準に限定を与えるものではない。
【００９９】
前記判断結果提示部２２は例えば、ブザー、ＬＥＤ、ＬＣＤ、機械部材のポップアップ動作など、光、音、色の変化、形状の変化など、どのような形態でも可能で本発明では特に限定を与えない。
【０１００】
また、本実施の形態においても当然、制御部１３、投影フラッシュ１２、投光情報記憶部１４、撮像進捗情報記憶部１５、適正撮像判断部２１及び判断結果提示部２２を具備するフラッシュユニット１９として構成しても良い。また、前述の実施の形態の変形例と同様に操作部１８を有する構成であっても良い。さらには、制御部１３に前述の第１の実施の形態で説明したような一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、３次元再構成システムとして用いることも可能なことは勿論である。
【０１０１】
［第５の実施の形態］
次に、図８を用いて本発明の第５の実施の形態を説明する。
【０１０２】
制御部２には、本発明の第１の実施の形態で説明を行ったものと同等のパターン投影用の投影フラッシュ１２が接続されている。撮像系１１との接続の状況も本発明の第１の実施の形態と同様で、その他の情報がフラッシュに対して与えられているのも同様である。
【０１０３】
更に、図８のように、投光情報に基づいて、適正な３次元撮像が行えるか、または、結果的に行えたか、を判断する適正撮像判断部２１を有し、撮像が適切であるという判断されなかった場合には、３次元撮像に必要なパターンの投影を伴う撮像を含む一組の撮像の途中であっても、撮像が最初からやり直せるように制御部１３が撮像進捗情報記憶部１５に記憶された撮像の進捗情報を１回目の撮像に再設定し直すよう構成されている。
【０１０４】
適性撮像判断部２１での判断は例えば次のようなものである。
【０１０５】
パターンを投影された被写体の撮像画像を含む複数枚の撮像画像を元に３次元再構成を行う場合には、各撮像の撮像間隔が所定以上に長いと、その間に人物などの撮像対象が動いてしまい、その結果、３次元再構成画像の形状精度が劣化したり、３次元再構成結果に貼り付けられるテクスチャーマッピングデータが形状データ（距離情報）に対してずれたりするなどの悪影響が発生する。従って、撮像系１１または制御部１３から出力される撮像タイミング信号の信号間隔は所定時間以内であることが望ましい。この間隔は通常、ビデオフレーム以下、つまり最低でも３３ｍｓｅｃ以内でないと、理想的な３次元撮像が得られないと判断して良い。三脚を利用せず、撮像系１１を手で保持して撮像する場合などの手ブレ、高倍率のズームの影響なども鑑みると、この撮像タイミング信号の信号間隔による適正撮像判断はリーズナブルと考えられる。
【０１０６】
以上のような観点で、適正撮像判断部２１では、図示せぬタイマーなどを利用し、撮像タイミング信号の信号間隔を逐次計測していく。そして、この値が規定値例えば既述の３３ｍｓｅｃ以上であった場合にはこの撮像は不適切な撮像であると判断し、その判断結果に応じて、制御部１３が、撮像進捗情報記憶部１５に記憶された撮像の進捗情報を１回目の撮像に再設定しなおす。
【０１０７】
このようにして、操作者は必要な１組の撮像が行われなかったために、撮像した画像に基づいて画像処理による３次元再構成を行った結果、再構成画像に満足できなかった、という問題を結果的に予め回避可能となる。
【０１０８】
また、撮像画像結果が必要な一組の撮像が行えていないことに気づき易くなるので、撮像の現場での正しい撮像の取り直しを促すことが可能になる。
【０１０９】
既述のような適正撮像判断部２１でのタイマーを利用した適切、不適切撮像の判断と、この判断に基づいた制御部１３での再設定処理フローの一例を図９に示す。
【０１１０】
即ち、前回の撮像終了後、適正撮像判断部２１でタイムカウントを開始し（ステップＳ２１）、次のステップＳ２２及びステップＳ２３のループにより、規定時間間隔Ｔ以内にタイミング信号が入力されたか否かを判別するようになっている。そして、この規定時間Ｔ以内にタイミング信号が入力されなかった場合には（ステップＳ２２）、制御部１３は、進捗情報記憶部１５に記憶される進捗情報を１回目の撮像を表す情報に書き換える（ステップＳ２４）。
【０１１１】
このような処理における、タイミングチャートがどのようになるかを、図１０を用いて説明する。なお、この図１０において、信号は全て入出力正論理で記述したが、全てまたは一部が負論理でも構わない。簡単のため、フラッシュは投影フラッシュ１２だけが制御部１３に取り付けられていて、投影フラッシュ１２が一組の撮像中の１回目の撮像に同期して、パターンを投影するための投光を行うように決定されているものとして説明を行う。
【０１１２】
図１０は、撮像のタイミング信号が、はじめの３つが規定時間Ｔ間隔以下の時間間隔をおいて与えられ、その後に規定時間Ｔ間隔よりも長い時間間隔を空けた後、更に規定時間Ｔ間隔以下の時間間隔をおいて３つの入力が与えられている様子を示している。
【０１１３】
タイマーでの時間測定によると、はじめの３つのタイミング信号入力では、規定時間が満たされているので、１回目の撮像のみに同期して、投影フラッシュ１２によってパターンを投影するための投光が行われる。
【０１１４】
しかしながら、３回目のタイミング信号から４回目のタイミング信号までの時間間隔は規定時間Ｔよりも長くなっているため、撮像が適切であるとは判断されず、その結果、制御部１３は撮像の進捗情報を１回目に再設定し、次の撮像タイミング信号に同期して、本来ならば１回目の撮像のみに同期して投光するように規定されている投影フラッシュ１２が投光する。
【０１１５】
以上の記述は、機器のエラーによってタイミング信号が遅延した場合などが当たるが、３次元撮像に必要な１組の撮像の最中に、例えば対象物体が大きく移動してしまったなど、撮像を行っている操作者自身が問題に気がつき、自発的に撮像を中断し、一定時間後に撮像環境を再設定した上で再度撮像を開始する場合にも自動的に撮像の進捗情報が１回目の撮像に再設定されるようになり、撮像を効率的に行えるような作用もある。
【０１１６】
勿論、本実施の形態は本発明の第２の実施の形態、第３の実施の形態に準じた種々の改変が可能である。
【０１１７】
例えば、前記投光情報には、前記第２の実施の形態で述べたような投影発光手段情報または照明発光手段情報またはその他の発光手段の情報といった発光手段情報が含まれていても良い。発光手段情報としては、本発明の第２の実施の形態で説明を行ったものと同等である。従って、投影フラッシュ１２で行われた調光にオーバー露光、アンダー露光などの異常値が無かったかなどの情報を利用し、適正撮像判断部２１で判断することが可能である。このように、各フラッシュの動作状況まで含めて適正な撮像が行われるか、または実際に行われたかの判断が可能となる。
【０１１８】
また、前記投光情報には、前記第３の実施の形態で述べたような撮像系情報が含まれていても良い。情報としては本発明の第３の実施の形態で説明を行ったものと同等である。従って、適正撮像判断部２１では撮像系１１での撮像モードの設定、連写に関する設定、バッテリー残量、画像メモリ残量、シャッタースピード、Ｆ値、フォーカス設定値、ズーム設定値など様々な情報で、撮像前にこれから行われようとする撮像が不適切な撮像に終わる可能性が高いことが予め判断が可能である。
【０１１９】
さらに、本発明の第４の実施の形態と組み合わせて、適正な３次元撮像が行えるかまたは結果的に行えたかを判断する適正撮像判断部２１を有し、撮像が適切であると判断されなかった場合には、判定結果を判断結果提示部２２で提示すると同時に、制御部１３が撮像進捗情報記憶部１５に記憶された撮像の進捗情報を１回目の撮像に再設定しなおすように構成しても良い。この場合、撮像の結果、必要な一組の撮像が行えていないことに気づき易く、また撮像の現場での正しい撮像の取り直しを効率的に行うことが可能になる。
【０１２０】
また、本実施の形態においても当然、制御部１３、投影フラッシュ１２、投光情報記憶部１４、撮像進捗情報記憶部１５及び適正撮像判断部２１を具備するフラッシュユニット１９として構成しても良い。また、前述の実施の形態の変形例と同様に操作部１８を有する構成であっても良い。さらには、制御部１３に前述の第１の実施の形態で説明したような一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、３次元再構成システムとして用いることも可能なことは勿論である。
【０１２１】
［第６の実施の形態］
次に、図１１を用いて本発明の第６の実施の形態を説明する。
【０１２２】
本第６の実施の形態では、前述の第１の実施の形態の構成に加え、測光手段２３を有し、この測光手段２３によって取得される輝度情報を含む投光情報に基づいて、制御部１３が投影フラッシュ１２にパターンを投影するための投光をさせるものである。
【０１２３】
前記測光手段２３としては、フォトトランジスタ、ＣＣＤなどどのような手段を用いても構わない。感度波長としても、使用する環境や、フラッシュの種類に応じて赤外や可視や紫外などの帯域が適宜選定されているものとする。
【０１２４】
また、前記測光手段２３が測定するものとしては、撮像を行う環境の外光と投影フラッシュ１２での投光の一方または両方を測定可能である。
【０１２５】
このような輝度情報を含む投光情報に基づいて、いつパターンを投影するための投光をさせるかを決定することで、更に適切な条件でパターンを投影するための投光を伴う撮像を行うことが出来る。
【０１２６】
勿論、前述の他の実施の形態のように、前記投光情報は前記輝度情報だけでなく投影発光手段情報、照明発光手段情報、撮像系情報等を含む投光情報であっても良い。
【０１２７】
また、前述した第４及び第５の実施の形態においても、図１２及び図１３に示したような構成で、測光手段２３からの輝度情報を含む投光情報に基づいて、適正撮像判断部２１が撮像が適切であるかどうかを判断するような構成にしても良い。この場合、輝度情報を用いることにより、更に正確な適性判断が可能である。
【０１２８】
即ち、適正撮像判断部２１では、前記輝度情報を含む投光情報に基づき、外光または投影フラッシュまたは露光条件に関する更に詳細な判断を加えることが可能である。このような測光手段２３を設けることで、投影フラッシュ１２等の各フラッシュからの調光情報が取得できない場合などには、複数のフラッシュ発光時のそれぞれ輝度情報を共通のセンサーで取得できることから安価にシステムを構成することも可能になる。
【０１２９】
また、本実施の形態においても当然、制御部１３、投影フラッシュ１２、投光情報記憶部１４、撮像進捗情報記憶部１５及び測光手段２３を具備するフラッシュユニット１９として構成しても良い。また、前述の実施の形態の変形例と同様に操作部１８を有する構成であっても良い。さらには、制御部１３に前述の第１の実施の形態で説明したような一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を接続し、３次元再構成システムとして用いることも可能なことは勿論である。
【０１３０】
［第７の実施の形態］
次に、図１４及び図１５を用いて、本発明の第７の実施の形態を説明する。
【０１３１】
前述したような本発明の第１乃至第６の実施の形態の全ては、撮像系１１に対して図１４に図示したようなステレオアダプタ２４の形態をとることが可能である。このようなステレオアダプタ２４は、例えば特開２００２−２３６３３２号公報に開示されており、光路分割光学系２５により、撮像系１１が備える１つの撮像光学系２６に接続することで、異なる複数の視点からの被写体の画像を一度に取得することが可能である。
【０１３２】
ここでは、ランダムドットパターンを投影するための投光を行う投影フラッシュ１２’と照明フラッシュ１６’とが一体となり組み込まれたステレオアダプタとなっている。なおここで、照明フラッシュ１６’は有っても無くても良いものである。
【０１３３】
ステレオアダプタ２４には、制御部１３、投光情報記憶部１４、及び撮像進捗情報記憶部１５や、既述の実施の形態、実施の形態の変形例で説明を行った、図示せぬ操作部１８、適正撮像判断部２１、判断結果提示部２２、測光手段２３、が適宜必要な構成で設けられていていても良い。
【０１３４】
この場合、撮像系１１とステレオアダプタ２４とは電気的及び機械的に接合され、撮像のタイミング信号を入力または出力可能になっている。
【０１３５】
このステレオアダプタ２４を用いた３次元撮像では、撮像系１１及び前記制御部１３系の電源投入後、ランダムドットパターンを投影する光学系を有する投影フラッシュ１２’及び照明フラッシュ１６’が所望の撮像タイミングに同期して投光する。このようにして、パターンを投影された被写体の画像を含む前記被写体の３次元再構成を行うための画像を、前記３次元撮像装置を用いて取得することが出来る。
【０１３６】
具体的には、ランダムドットパターンの投影を伴う撮像画像の視差画像を用いて、ステレオマッチング処理により距離画像を得て、その画像に対して通常フラッシュ（照明フラッシュ１６’）を用いて撮像した画像をテクスチャーマッピングして３次元画像を取得する。
【０１３７】
一組の撮像は、通常、撮像系１１において３駒／秒程度の連写モードで行われるために、撮像対象物体が例えば人物の場合にも、被写体ブレなどの影響の少ない３次元画像が取得できる。
【０１３８】
この様にステレオアダプタを利用した３次元撮像の場合には、視差を有するステレオペア画像の取得自体には時間遅れが無いために、精度の高い距離情報の取得が可能となる。一組の撮像画像に含まれる画像のうち、通常フラッシュ（照明フラッシュ１６’）を用いた画像と多少位置ブレが発生したとしても距離情報の取得には悪影響を与えないのが特徴である。
【０１３９】
ステレオアダプタ２４を用いて撮像する場合の撮像順序としては、既述のようにパターン投影を常に第１枚目に撮像するようにすることで画像処理によるパターン画像を抽出し、一組の撮像を組み分け容易にする利点を述べた。
【０１４０】
また、フラッシュ充電時間の観点からもパターン投影フラッシュ撮像が第１番目である利点が大きい。パターン投影用のフィルムを含む光学系を経ることからフラッシュ投影には十分な発光光量が必要で、その結果次のフラッシュチャージ完了までの充電時間が他のフラッシュに比べ長くかかる傾向がある。従って、常にパターン投影フラッシュ１２’を第１番目に設定し、パターン投影フラッシュ１２’のチャージを確認の上、一組の撮像に取りかかれば、チャージ時間が足りずに撮像が失敗するといった障害を回避することが可能となる。また、パターンフラッシュ撮像を一組の撮像の中で複数回行う場合にも、第１枚目の撮像をフラッシュ撮像にし、複数回の別のフラッシュを用いた撮像を行ったことで充電時間猶予を持たせ、フラッシュ撮像を再度行うというような工夫も可能になる。
【０１４１】
また、本実施の形態においても当然、前記一組の撮像で取得された画像から３次元再構成を行うための計算装置２０を制御部１３に接続し、３次元再構成システムとして用いることが可能なことは言うまでもない。
【０１４２】
また、本発明の実施の形態及びその変形例の説明において、（投影、照明）発光手段としてフラッシュを用いて説明を行ったが、前述の発光手段はフラッシュのような閃光発光手段に限定されず、プロジェクタやシャッターを有するライトなどであっても良い。
【０１４３】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１４４】
（付記）
前記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１４５】
（１）  パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像装置であって、
前記被写体を撮像する撮像系と、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段と、
を具備することを特徴とする３次元撮像装置。
【０１４６】
（対応する実施の形態）
この（１）に記載の３次元撮像装置に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。それらの実施の形態に及び変形例において、撮像系１１が前記撮像系に、投影フラッシュ１２が前記投影発光手段に、投光情報記憶部１４が前記投光情報記憶手段に、撮像進捗情報記憶部１５が前記撮像進捗情報記憶手段に、制御部１３が前記制御手段にそれぞれ対応する。
（作用効果）
この（１）に記載の３次元撮像装置によれば、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、それら記憶した投光情報及び進捗情報に基づいて、投影発光手段による投光及び撮像系による撮像を制御するようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
【０１４７】
（２）  前記投光情報は、前記投影発光手段から出力される投影発光手段情報を含むことを特徴とする（１）に記載の３次元撮像装置。
【０１４８】
（対応する実施の形態）
この（２）に記載の３次元撮像装置に関する実施の形態は、第２の実施の形態が対応する。
（作用効果）
この（２）に記載の３次元撮像装置によれば、投光情報に含まれる投影発光手段情報により、制御手段は、接続されている投影発光手段、利用可能な投影発光手段を的確に判断しつつ、適切なタイミングで投影発光手段にパターンを投影するための投光をさせることができる。
【０１４９】
（３）  前記投光情報は、前記撮像系から出力される撮像系情報を含むことを特徴とする（１）に記載の３次元撮像装置。
【０１５０】
（対応する実施の形態）
この（３）に記載の３次元撮像装置に関する実施の形態は、第３の実施の形態が対応する。
（作用効果）
この（３）に記載の３次元撮像装置によれば、投光情報に含まれる撮像系情報により、制御手段は、投影発光手段にいつパターンを投影するための投光をさせるかを決定することで、撮像系の設定に起因する失敗なしに、容易に適切な条件での撮像を行うことができる。
【０１５１】
（４）  前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段と、
前記適正撮像判断手段の判断結果を提示する手段と、
をさらに具備することを特徴とする（１）乃至（３）のいずれかに記載の３次元撮像装置。
【０１５２】
（対応する実施の形態）
この（４）に記載の３次元撮像装置に関する実施の形態は、第４の実施の形態が対応する。ここで、その実施の形態における適正撮像判断部２１が前記適正撮像判断手段に対応し、判断結果提示部２２が前記判断結果を提示する手段に対応する。
（作用効果）
この（４）に記載の３次元撮像装置によれば、投光情報または進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断し、撮像が適切ではない場合に、撮像後または撮像前に撮像系の撮像条件または投光モード等の変更を促す警告などを操作者に対し提示することが可能となる。
【０１５３】
（５）  前記投光情報または前記進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断する適正撮像判断手段をさらに具備し、
前記制御手段は、前記適正撮像判断手段によって撮像が適切であると判断されなかった場合には、前記撮像進捗情報記憶手段に記憶される進捗情報を１回目の撮像に再設定し直すことを特徴とする（１）乃至（３）のいずれかに記載の３次元撮像装置。
【０１５４】
（対応する実施の形態）
この（５）に記載の３次元撮像装置に関する実施の形態は、第５の実施の形態が対応する。ここで、その実施の形態における適正撮像判断部２１が前記適正撮像判断手段に対応する。
（作用効果）
この（５）に記載の３次元撮像装置によれば、投光情報または進捗情報に基づいて、実際に行われるまたは行われた撮像が適切であるかどうかを判断し、撮像が適切ではない場合に、進捗情報を１回目の撮像に再設定し直すようにしているので、操作者は必要な１組の撮像が行われなかったために、撮像した画像に基づいて画像処理による３次元再構成を行った結果、再構成画像に満足できなかった、という問題を結果的に予め回避可能となる。また、撮像画像結果が必要な一組の撮像が行えていないことに気づき易くなるので、撮像の現場での正しい撮像の取り直しを促すことが可能になる。
【０１５５】
（６）  被写体の輝度情報を取得する測光手段をさらに具備し、
前記投光情報は、前記測光手段によって取得される輝度情報を含むことを特徴とする（１）または（４）または（５）に記載の３次元撮像装置。
【０１５６】
（対応する実施の形態）
この（６）に記載の３次元撮像装置に関する実施の形態は、第６の実施の形態が対応する。ここで、ここで、その実施の形態における測光手段２３が前記測光手段に対応する。
（作用効果）
この（６）に記載の３次元撮像装置によれば、輝度情報を含む投光情報に基づいて、制御手段が、投影発光手段にいつパターンを投影するための投光をさせるかを決定することができるので、更に適切な条件でパターンを投影するための投光を伴う撮像を行うことができる。
【０１５７】
（７）  前記撮像系の１つの撮像光学系に接続することで、異なる複数の視点から被写体の画像を撮像可能にする光路分割光学系を有するステレオアダプタをさらに具備することを特徴とする（１）に記載の３次元撮像装置。
【０１５８】
（対応する実施の形態）
この（７）に記載の３次元撮像装置に関する実施の形態は、第７の実施の形態が対応する。ここで、その実施の形態におけるステレオアダプタ２４が前記ステレオアダプタに対応する。
（作用効果）
この（７）に記載の３次元撮像装置によれば、異なる複数の視点からの被写体の画像を一度に取得することが可能である。また、このステレオアダプタを利用した３次元撮像の場合には、視差を有するステレオペア画像の取得自体には時間遅れが無いために、精度の高い距離情報の取得が可能となる。
【０１５９】
（８）  前記撮像系で撮像するときに前記被写体を照明する照明発光手段をさらに具備することを特徴とする請求項１に記載の３次元撮像装置。
【０１６０】
（対応する実施の形態）
この（８）に記載の３次元撮像装置に関する実施の形態は、第１の実施の形態における変形例が対応する。ここで、その変形例における照明フラッシュ１６が前記照明発光手段に対応する。
（作用効果）
この（８）に記載の３次元撮像装置によれば、パターン投影時に照明発光手段により照明することで、撮像上不要な影が被写体にできるのを防止することができる。
【０１６１】
（９）  前記投光情報は、前記照明発光手段から出力される照明発光手段情報を含むことを特徴とする（８）に記載の３次元撮像装置。
【０１６２】
（対応する実施の形態）
この（９）に記載の３次元撮像装置に関する実施の形態は、第２の実施の形態における変形例が対応する。
（作用効果）
この（９）に記載の３次元撮像装置によれば、照明発光手段情報を含む投光情報に基づいて、接続された複数の照明発光手段から必要なもののみ選定できるように投光モードを限定する等、無意味な投光モードを自動的に除外し、操作者にとって間違いの無い３次元撮像が可能となる。
【０１６３】
（１０）  前記投光情報を入力するための操作部をさらに具備することを特徴とする（１）に記載の３次元撮像装置。
【０１６４】
（対応する実施の形態）
この（１０）に記載の３次元撮像装置に関する実施の形態は、第１の実施の形態における変形例が対応する。ここで、その変形例における操作部１８が前記操作部に対応する。
（作用効果）
この（１０）に記載の３次元撮像装置によれば、操作者が所望の投光情報を入力できるようになる。
【０１６５】
（１１）  前記投影発光手段が、前記一組の撮像のうち、１回目の撮像時に投光することを特徴とする（１）に記載の３次元撮像装置。
【０１６６】
（対応する実施の形態）
この（１１）に記載の３次元撮像装置に関する実施の形態は、第１の実施の形態が対応する。
（作用効果）
この（１１）に記載の３次元撮像装置によれば、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、一組の撮像の開始をこのように必ずパターン画像とすることで、一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１６７】
（１２）  被写体を連続して撮像することが可能であり、前記撮像が行われるタイミングまたは前記被写体にパターンを投影するための投光が行われるタイミングをタイミング信号として出力可能な撮像系に接続して用いる投光ユニットであって、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記連続した撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記連続する撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づくと共に、前記タイミング信号に同期して前記投影発光手段による投光を制御する制御手段と、
を具備することを特徴とする投光ユニット。
【０１６８】
（対応する実施の形態）
この（１２）に記載の投光ユニットに関する実施の形態は、第１の実施の形態における変形例及び第２乃至第６の実施の形態が対応する。ここで、その変形例及びそれらの実施の形態において、撮像系１１が前記撮像系に、投影フラッシュ１２が前記投影発光手段に、投光情報記憶部１４が前記投光情報記憶手段に、撮像進捗情報記憶部１５が前記撮像進捗情報記憶手段に、制御部１３が前記制御手段にそれぞれ対応し、フラッシュユニット１９が前記投光ユニットに対応する。（作用効果）
この（１２）に記載の投光ユニットによれば、被写体を連続して撮像することが可能でありタイミング信号を出力可能な撮像系に接続することで、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、それら記憶した投光情報及び進捗情報に基づくと共に、前記撮像系からのタイミング信号に同期して前記投影発光手段による投光を制御するようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
【０１６９】
（１３）  前記投影発光手段が、前記連続する撮像のうち１回目の撮像が行われるタイミングのタイミング信号に同期して投光することを特徴とする（１２）に記載の投光ユニット。
【０１７０】
（対応する実施の形態）
この（１３）に記載の投光ユニットに関する実施の形態は、第１の実施の形態が対応する。
（作用効果）
この（１３）に記載の投光ユニットによれば、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、このように一組の撮像の開始を必ずパターン画像とすることで、一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１７１】
（１４）  パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元再構成システムであって、
前記被写体を撮像する撮像系と、
前記被写体にパターンを投影するための投光を行う投影発光手段と、
前記一組の撮像のうちいつ前記パターンを投影するための投光を行うかについての情報を含む投光情報を記憶する投光情報記憶手段と、
前記一組の撮像における前記撮像の進捗情報を記憶する撮像進捗情報記憶手段と、
前記投光情報記憶手段に記憶される投光情報及び前記撮像進捗情報記憶手段に記憶される進捗情報に基づいて、前記投影発光手段による投光及び前記撮像系による撮像を制御する制御手段と、
前記撮像系で得られた画像を元に、前記被写体の３次元再構成を行う計算手段と、
を具備することを特徴とする３次元再構成システム。
【０１７２】
（対応する実施の形態）
この（１４）に記載の３次元再構成システムに関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。ここで、それらの実施の形態及び変形例において、撮像系１１が前記撮像系に、投影フラッシュ１２が前記投影発光手段に、投光情報記憶部１４が前記投光情報記憶手段に、撮像進捗情報記憶部１５が前記撮像進捗情報記憶手段に、制御部１３が前記制御手段に、計算装置２０が前記計算装置にそれぞれ対応する。
（作用効果）
この（１４）に記載の３次元再構成システムによれば、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、それら記憶した投光情報及び進捗情報に基づいて、投影発光手段による投光及び撮像系による撮像を制御するようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、そのような３次元再構成を行うのに適した良好な画像を元に計算装置で被写体の３次元再構成を行うことができる。
【０１７３】
（１５）  パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づいて、前記一組の撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【０１７４】
（対応する実施の形態）
この（１５）に記載の３次元撮像方法に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。
（作用効果）
この（１５）に記載の３次元撮像方法によれば、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、それら記憶した投光情報及び進捗情報に基づいて、パターンの投影及び撮像を制御するようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
【０１７５】
（１６）  パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【０１７６】
（対応する実施の形態）
この（１６）に記載の３次元撮像方法に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。
（作用効果）
この（１６）に記載の３次元撮像方法によれば、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、進捗情報が１回目の撮像に相当する場合は、パターンを投影するための投光を行うようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
また、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、一組の撮像の開始をこのように必ずパターン画像とすることで、一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１７７】
（１７）  パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像を行うことで、前記被写体の３次元再構成を行うための画像を取得する３次元撮像方法であって、
前記一組の撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記一組の撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記パターンを投影するための投光が行われつつ撮像が行われるステップと、
を具備することを特徴とする３次元撮像方法。
【０１７８】
（対応する実施の形態）
この（１７）に記載の３次元撮像方法に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。
（作用効果）
この（１７）に記載の３次元撮像方法によれば、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像からなる一組の撮像のうち少なくとも１回目の撮像の時を含むいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その一組の撮像における撮像の進捗情報を記憶するようにし、進捗情報が１回目の撮像に相当する場合は、パターンを投影するための投光を行うようにしているので、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
また、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、一組の撮像の開始をこのように必ずパターン画像とすることで、一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１７９】
（１８）  前記進捗情報が２回目以降の撮像に相当する場合は、前記投光情報に基づいて撮像が行われるステップをさらに具備することを特徴とする（１６）または（１７）に記載の３次元撮像方法。
【０１８０】
（対応する実施の形態）
この（１８）に記載の３次元撮像方法に関する実施の形態は、第１の実施の形態における変形例が対応する。
（作用効果）
この（１８）に記載の３次元撮像方法によれば、例えば３回の撮像を一組とし、１回目及び３回目にパターン投影を伴う撮像を行い、２回目はパターン投影を伴わない撮像を行うというように、１回目以外の撮像においてもパターン投影を伴う撮像を行うことが可能となる。
【０１８１】
（１９）  被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記投光情報が取得されるステップで取得される投光情報及び前記撮像の進捗情報が記憶されるステップで記憶される進捗情報に基づくと共に、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【０１８２】
（対応する実施の形態）
この（１９）に記載の投光ユニットの投光方法に関する実施の形態は、第１の実施の形態における変形例及び第２乃至第６の実施の形態が対応する。
（作用効果）
この（１９）に記載の投光ユニットの投光方法によれば、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットにおいて、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上ののうちいつパターンを投影するための投光を行うかについての情報を含む投光情報と、その連続する撮像における撮像の進捗情報とに基づくと共に、前記撮像に同期して前記パターンを投影するための投光を制御するようにしているので、そのような投光ユニットを用いることで、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
【０１８３】
（２０）  被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうちいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【０１８４】
（対応する実施の形態）
この（２０）に記載の投光ユニットの投光方法に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。
（作用効果）
この（２０）に記載の投光ユニットの投光方法によれば、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットにおいて、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像のうちいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その連続する撮像における撮像の進捗情報を記憶するようにし、進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光を行うようにしているので、そのような投光ユニットを用いることで、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
また、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、このような投光ユニットを用いることで、連続する撮像の開始に撮像される画像を必ずパターン画像とすることで、その連続する撮像一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１８５】
（２１）  被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットの投光方法であって、
前記連続した撮像のうち少なくとも１回目の撮像の時を含むいつ前記パターンを投影するための投光をさせるかについての情報を含む投光情報が取得されるステップと、
前記連続する撮像における前記撮像の進捗情報が記憶されるステップと、
前記進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光が行われるステップと、
を具備することを特徴とする投光ユニットの投光方法。
【０１８６】
（対応する実施の形態）
この（２１）に記載の投光ユニットの投光方法に関する実施の形態は、第１乃至第７の実施の形態及びそれらの実施の形態における変形例が対応する。
（作用効果）
この（２１）に記載の投光ユニットの投光方法によれば、被写体を連続して撮像することが可能であり、前記撮像が行われる時に前記被写体にパターンを投影するための投光が可能な投光ユニットにおいて、パターンが投影された被写体を少なくとも１回撮像することを含む２回以上の撮像のうち少なくとも１回目の撮像の時を含むいつパターンを投影するための投光を行うかについての情報を含む投光情報を記憶すると共に、その連続する撮像における撮像の進捗情報を記憶するようにし、進捗情報が１回目の撮像に相当する場合は、前記撮像に同期して前記パターンを投影するための投光を行うようにしているので、そのような投光ユニットを用いることで、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができ、よって、３次元再構成を行うのに適した良好な画像を得ることができる。
また、既知のパターンを投影されつつ撮像された撮像画像（パターン画像）はコンピュータによる画像処理で自動的にそのようなパターン画像であるという判定が施し易い性質があるので、このような投光ユニットを用いることで、連続する撮像の開始に撮像される画像を必ずパターン画像とすることで、その連続する撮像一組の撮像回数が分かっていれば、撮像系で連番付きで記録された画像の中から、容易にその一組分の撮像画像を多数の撮像画像群から抽出することが可能になる。また、ある抽出されたパターン画像から次に抽出されたパターン画像の間に本来存在すべき枚数の画像が存在しない場合には、一組の撮像が不良であるなどの付加的情報を抽出することも可能となる。
【０１８７】
（２２）  前記進捗情報が２回目の撮像に相当する場合は、前記投光情報に基づいて前記パターンを投影するための投光が行われるステップをさらに具備することを特徴とする（２０）または（２１）に記載の投光ユニットの投光方法。
【０１８８】
（対応する実施の形態）
この（２２）に記載の投光ユニットの投光方法に関する実施の形態は、第１の実施の形態における変形例が対応する。
（作用効果）
この（２２）に記載の投光ユニットの投光方法によれば、例えば３回の撮像を一組とし、１回目及び３回目にパターン投影を伴う撮像を行い、２回目はパターン投影を伴わない撮像を行うというように、１回目以外の撮像においてもパターン投影を伴う撮像を行うことが可能となる。
【０１８９】
【発明の効果】
以上詳述したように、本発明によれば、３次元撮像の撮像条件に応じた適切なタイミングで被写体にパターンを投影しつつ３次元撮像を行うことができるようにし、以て、３次元再構成を行うのに適した良好な画像を得ることが可能な３次元撮像装置、投光ユニット及び３次元再構成システム、並びに、３次元撮像方法及び投光ユニットの投光方法を提供することができる。
【図面の簡単な説明】
【図１】（Ａ）は本発明の第１の実施の形態に係る３次元撮像装置の外観斜視図であり、（Ｂ）は第１の実施の形態に係る３次元撮像装置のブロック構成図である。
【図２】撮像系から制御部へのタイミング信号と投影フラッシュにパターン投影のための投光をさせるための制御部の出力との関係を表したタイミングチャートを示す図である。
【図３】第１の実施の形態の動作フローチャートを示す図である。
【図４】第１の実施の形態の変形例の構成を示す図である。
【図５】第１の実施の形態の別の変形例の構成を示す図である。
【図６】第１の実施の形態に係る３次元撮像装置を用いた３次元再構成装置の構成を示す図である。
【図７】本発明の第４の実施の形態に係る３次元撮像装置の構成を示す図である。
【図８】本発明の第５の実施の形態に係る３次元撮像装置の構成を示す図である。
【図９】適正撮像判断部でのタイマーを利用した適切、不適切撮像の判断と、この判断に基づいた制御部での再設定処理フローの一例を示す図である。
【図１０】撮像系から制御部へのタイミング信号と制御部の出力との関係を表したタイミングチャートを示す図である。
【図１１】本発明の第６の実施の形態に係る３次元撮像装置の構成を示す図である。
【図１２】第６の実施の形態の変形例の構成を示す図である。
【図１３】第６の実施の形態の別の変形例の構成を示す図である。
【図１４】本発明の第７の実施の形態に係る３次元撮像装置の外観斜視図である。
【図１５】第７の実施の形態に係る３次元撮像装置のブロック構成図である。
【符号の説明】
１１…撮像系、１２，１２’…パターン投影フラッシュ、１３…制御部、１４…投光情報記憶部、１５…撮像進捗情報記憶部、１６，１６’…照明フラッシュ、１７…他のフラッシュ、１８…操作部、１９…フラッシュユニット、２０…計算装置、２１…適正撮像判断部、２２…判断結果提示部、２３…測光手段、２４…ステレオアダプタ、２５…光路分割光学系、２６…撮像光学系。
【図１】
2004289613.tif 000003
【図２】
2004289613.tif 000004
【図３】
2004289613.tif 000005
【図４】
2004289613.tif 000006
【図５】
2004289613.tif 000007
【図６】
2004289613.tif 000008
【図７】
2004289613.tif 000009
【図８】
2004289613.tif 000010
【図９】
2004289613.tif 000011
【図１０】
2004289613.tif 000012
【図１１】
2004289613.tif 000013
【図１２】
2004289613.tif 000014
【図１３】
2004289613.tif 000015
【図１４】
2004289613.tif 000016
【図１５】
2004289613.tif 000017