(57)【要約】      （修正有）【課題】外部フラッシュ連動機能の付いた市販のデジタルカメラに対して３次元計測機能を与える、外部フラッシュ型のパターン投影装置を提供する。【解決手段】複数の異なった投影パターンを保存する手段と、デジタルカメラ７から出力される露光開始信号を受け取る手段と、該トリガー信号に同期して、一定期間、パターンを投影する機能と、次のトリガー信号に同期して、次のパターンを投影する機能と、該トリガー信号の数がｎ個に達した場合、次の投影パターンが最初のパターンに戻る機能とを持ち、上記インターフェイスの物理的形状が、デジタルカメラの外部フラッシュ接続端子の形状であること、を特徴とするパターン投影装置１。【選択図】図４
2015148585.tif 000002
【特許請求の範囲】
【請求項１】
パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する３次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン（ｎ種類；ｎは１以上の整数）を保存する手段を有し、
該カメラから出力される露光開始信号（以降、トリガー信号）を受け取る手段（以降、インターフェイス）を有し、
該トリガー信号に同期して、一定期間、パターンを投影する機能を有し、或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能を有し、
次のトリガー信号に同期して、次のパターンを投影する機能を有し、
該トリガー信号の数がｎ個に達した場合、次の投影パターンが最初のパターンに戻る機能を有し、
上記インターフェイスの物理的形状が、カメラの外部フラッシュ接続端子の形状を有することを特徴とする、パターン投影装置。
【請求項２】
請求項１のパターン投影装置において、
該トリガー信号のｎ＋１個目で、３次元形状計測用とは異なるパターンを投影し、ｎ＋ｍ個目（ｍは１以上の整数）のトリガー信号で最初の投影パターンに戻る機能を有することを特徴とする、パターン投影装置。
【請求項３】
パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する３次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン（ｎ種類；ｎは１以上の整数）を保存する手段を有し、
該カメラから出力される露光開始信号（以降、トリガー信号）を受け取る手段（以降、インターフェイス）を有し、
該トリガー信号の最初の信号を受けて、以降のトリガー信号に依存せず、ｎ種類のパターンを一定の投影時間毎に次々と投影する機能を有し、
ｎ種類のパターン投影後、再度トリガー信号の受信を待ちうけるモードに入る機能を有し、
上記インターフェイスの物理的形状が、カメラの外部フラッシュ接続端子の形状を有することを特徴とする、パターン投影装置。
【請求項４】
請求項１、請求項２、ないし請求項３のパターン投影装置において、
該インターフェイスが外部フラッシュ接続端子の形状ではなく、カメラのアクセサリー端子やシンクロターミナルなど、カメラからなんらかの形でフラッシュの動作開始を知らせる手段に対応した手段を有した、パターン投影装置。
【請求項５】
請求項１、請求項２、ないし請求項３のパターン投影装置において、
該インターフェイスがブルートゥース、WiFi、NFC(Near Field Communication)などの無線通信やIrDAなどの赤外線通信などで構成されることを特徴とする、パターン投影装置。
【請求項６】
パターン投影装置とカメラを、三角形の底辺の角に配置し、三角形の頂点に配置する計測対象部物に投影されたパターンの変形を撮影することで三角測量を実現する３次元座標測定装置のパターン投影装置において、
複数の異なった投影パターン（ｎ種類；ｎは１以上の整数）を保存する手段を有し、
ｎ種類の投影パターンを一定時間毎に次々と投影する機能を有し、
投影パターンの投影開始に同期して、カメラの露光を開始するための指示信号（トリガー信号）を、カメラの外部トリガー入力端子やリモコン端子へ出力する手段を有することを特徴とする、パターン投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三角形の底辺の角に、パターン光投影装置とカメラをそれぞれ配置し、三角形の頂点に位置する計測対象物へパターンを投射、計測対象物の物理的形状に応じて変形した投影パターンを複数枚撮影することで対象物の３次元座標を計測する、構造化光を用いた３次元計測装置に関する。
【背景技術】
【０００２】
格子縞や輝度が正弦波状に変化する構造化光などを投影する、いわゆるパターン投影法（空間コード化法や位相シフト法を含む）を用いた３次元計測手法に関する論文や特許は過去種々提案されている。ここでは、それらを分かりやすくまとめた論文が埼玉大学から提出されているので、従来技術のまとめとして例示する。その論文は「画像の認識・理解シンポジウム(MIRU2009)」2009年7月から『プロジェクタ・カメラシステムのレスポンス関数を用いた位相シフト法によるアクティブ・ステレオの精度向上』（戸塚  聡、古川  亮、川崎  洋）（埼玉大学工学部、広島市立大学情報価格部）である（図１及び非特許文献１）。特許技術の代表的なものとしては、和歌山大学から出願され、許諾された特許が上げられる（特許文献１）。
【０００３】
これらの従来技術は、計測分解能を上げるため、空間コード化に伴う階段状歪を位相シフト法で滑らかにする手法や、投影パターンの１周期（３６０度＝２π）単位で現れる位相不連続を連結させる手法、或いは、三角形の底辺に配置されたプロジェクターとカメラの角度によっては生じやすい影の影響を排除する手法、或いは計測データの高速処理手法などに言及して、計測結果の高精度化を目的としている。しかし、これらの手法では、カメラとプロジェクターの同期、つまり、特定のパターン投影に同期させてカメラを露光させる手法に関しては言及せず、万人が３次元計測装置の全体を再構成できるような技術の普遍化には寄与していない。
【０００４】
具体的に述べると、構造化光の１周期（２π）を４の倍数で徐した周期、例えば、２π/８＝４５度周期で構造化光パターンを投影する場合、４５度ずつ空間位相をずらして投影したパターンの物体からの反射光をカメラで撮影することが必須であるが、この同期手法にはいずれの論文も言及していない。
【０００５】
一方、工業用カメラや構造化光法で使われることを前提としたプロジェクターなどでは、互いの同期を実現するための手段を準備している。一例を上げると、カメラでは、Allied Vision Technologies 社（ドイツ）のカメラシリーズ（Guppy Proなど、図２に同期用信号を含むインターフェイス仕様を図示）、プロジェクターではTexas Instruments 社（アメリカ）のLight Crafter シリーズ（図３に同期用信号を含むインターフェイス仕様を図示）が準備されている。これらを用いることで、構造化光法を用いた計測器のカメラとプロジェクターの間の同期（撮影と投影の同期）が物理的には可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３５３６０９７号
【非特許文献】
【０００７】
【非特許文献１】『プロジェクタ・カメラシステムのレスポンス関数を用いた位相シフト法によるアクティブ・ステレオの精度向上』（戸塚  聡、古川  亮、川崎  洋）（埼玉大学工学部、広島市立大学情報価格部）（「画像の認識・理解シンポジウム(MIRU2009)」2009年7月から）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
これらの機材(Guppy ProやLight Crafter、上記埼玉大学論文で記載されている装置など)は、これらを一つのシステムとして構成する特別な計測装置用に準備されており、工業用計測装置としては３次元計測装置を実現可能ではあるものの、低コストを前提とするコンシューマ向け製品に向いているとは言えない技術である。また市販のデジタルカメラを活用できるような同期の仕組みを提供していない。
【０００９】
本発明では、市販のデジタルカメラやデジタルカメラ機能を搭載したスマートフォン(iPhoneやアンドロイドフォンなど) を３次元座標計測装置の画像撮影装置として使い、コンシューマ向けのローコストな製品を実現できる技術を開示することを目的としている。
【課題を解決するための手段】
【００１０】
前記目的を達成するために、本発明は以下のように構成する。
本発明の第一態様によれば、複数の異なった投影パターン（ｎ種類；ｎは１以上の整数）を保存する手段と、デジタルカメラから出力される露光開始信号（以降、トリガー信号）を受け取る手段（以降、インターフェイス）と、  該トリガー信号に同期して、一定期間、パターンを投影する機能と、或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能と、次のトリガー信号に同期して、次のパターンを投影する機能と、該トリガー信号の数がｎ個に達した場合、次の投影パターンが最初のパターンに戻る機能と、上記インターフェイスの物理的形状が、デジタルカメラの外部フラッシュ接続端子の形状であること、を備える、パターン投影装置。
【００１１】
本発明の第二態様によれば、前記トリガー信号のｎ＋１個目で、３次元形状計測用とは異なるパターンを投影し、ｎ＋ｍ個目（ｍは１以上の整数）のトリガー信号で最初の投影パターンに戻る機能を有する、第一態様記載のパターン投影装置。
【００１２】
本発明の第三態様によれば、前記トリガー信号の最初の信号を受けて、以降のトリガー信号に依存せず、ｎ種類のパターンを一定の投影時間毎に次々と投影する機能を有し、ｎ種類のパターン投影後、再度トリガー信号の受信を待ちうけるモードに入る機能を有する、第一態様記載のパターン投影装置。
【００１３】
本発明の第四態様によれば、前記インターフェイスが外部フラッシュ接続端子の形状ではなく、カメラのアクセサリー端子やシンクロターミナルなど、カメラからなんらかの形でフラッシュの動作開始を知らせる手段に対応した手段を有する、第一態様記載のパターン投影装置。
【００１４】
本発明の第五態様によれば、前記インターフェイスがブルートゥース、WiFi、NFC(Near Field Communication)などの無線通信やIrDAなどの赤外線通信などで構成される、第一態様記載のパターン投影装置。
【００１５】
本発明の第六態様によれば、前記ｎ種類の投影パターンを一定時間毎に次々と投影し、投影パターンの投影開始に同期して、カメラの露光を開始するための指示信号（トリガー信号）を、カメラの外部トリガー入力端子やリモコン端子へ出力する手段を有する、第一態様記載のパターン投影装置。
【発明の効果】
【００１６】
本発明により、外部フラッシュ装置とのトリガータイミング共有機能（外部フラッシュ装置との装着金具、アクセサリーターミナル、無線通信インターフェイスなど）を有する市販のデジタルカメラやスマートフォンを使って、簡単に３次元計測に必要な複数のフレームデータを得ることが可能となる。
【００１７】
具体的には、３次元計測の必要な場面に、本発明のパターン投影装置を装着したデジタルカメラを持ち込み、その場でパターン投射を伴う連写を実施。カメラのSD-CARDに記録された連写データをパソコンに移し、パソコン上の３次元点群生成アプリケーションソフトウェアで３次元データに変換することが可能となる。最近はWiFi を実装した高機能カメラが市販されており、WiFiでパソコンと接続しておけば、遠隔地にあるパソコン上で３次元画像を再現することも可能となる。また、スマートフォンのデジタルカメラと連動させた場合、スマートフォンに３次元点群生成アプリケーションソフトウェアをあらかじめ搭載しておくことで、その場で３次元点群への生成も可能となる。更に、当装置をロボットに搭載することで、人の到達困難な場所での３次元計測用データ取得が容易になる効果もある。
【図面の簡単な説明】
【００１８】
【図１】従来のパターン投影による３次元計測手法の概念を示した図
【図２】同期機構を備えた工業用カメラの事例 (Allied Vision Technologies 社製 Guppy Pro)
【図３】同期機構を備えたプロジェクターの事例 (Texas Instruments 社製Light Crafter)
【図４】本発明のパターン投影装置とカメラの構成例
【図５】本発明の請求項１記載のパターン投影装置とカメラの動作タイミング
【図６】本発明の請求項１記載のパターン投影装置とカメラの動作タイミング
【図７】本発明の請求項２記載のパターン投影装置とカメラの動作タイミング
【図８】本発明の請求項３記載のパターン投影装置とカメラの動作タイミング
【図９】本発明の請求項６記載のパターン投影装置とカメラの動作タイミング
【図１０】本発明の請求項６記載のパターン投影装置とカメラの構成例
【図１１】本発明のパターン投影装置から計測対象物に投影された８枚のパターン
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、図面を参照しながら説明する。尚、以下の説明において、同じ構成には同じ符号を付して説明を省略している。
【実施例１】
【００２０】
請求項１ないし請求項２記載のパターン投影装置は以下の構成を持つ。
（１）     複数の異なった投影パターン（ｎ種類；ｎは１以上の整数）を保存する手段、具体的にはフラッシュメモリやSD-CARDなどの記憶デバイス。
（２）     或いは、VGAインターフェイスなどを通じて、投影すべきパターンデータを外部から入力し、一次的に記憶するための手段。
（３）     パターンを投影するためのプロジェクション機構。これはLight Crafter あるいは同等の手段で実現可能。
（４）     デジタルカメラから出力されるトリガー信号を受け取るインターフェイス。具体的には、デジタルカメラの外部フラッシュ接続端子への接続機構で実現可能。
（５）     該トリガー信号に同期して、一定時間パターンを投影する機能。或いは、該トリガー信号のオン期間に応じて、パターンを投影する機能。
（６）     次のトリガー信号に同期して、次のパターンを投影する機能。
（７）     トリガー信号の個数がｎ個に達した場合、投影パターンが最初に戻る機能。
（８）     或いは、トリガー信号の個数がｎ＋ｍ個の場合、ｍ個の数だけ計測用パターンとは異なるパターンを投影後、最初の投影パターンに戻る機能。ｍ＝０の場合、（７）と等しい。
（９）     インターフェイスから供給される電源を使って投影装置へ必要な電力を供給する電源装置、或いは、バッテリー。
【００２１】
図４に上記実施例１の装置構成を示す。１は本発明のパターン投影装置全体。２は実際に投影を実行するプロジェクション装置。３は複数の投影パターンを記憶する手段（フラッシュメモリなど）。４はプロジェクション装置やメモリ、インターフェイスなどの電子機器に電力を供給する装置。５はデジタルカメラとのインターフェイス。６はデジタルカメラ側のインターフェイス。７はデジタルカメラ本体。８はデジタルカメラで撮影した画像を記憶する手段(SD-CARDなど)である。
【００２２】
図５は、請求項１記載のパターン投影装置に与えられるトリガー信号(Strobe signal from Digital Camera)９と、投影パターンの順序(Projected pattern)１０、 カメラ露光(Camera exposure)のタイミング１１を示した図である。最初のトリガー信号入力に同期して最初のパターン pattern 0 を投影し、少しの遅延を持ってカメラが最初のフレームを露光する。これをｎ回繰り返し、n+1回目(Strobe n+1)で最初のパターン Pattern 0 に戻る。
【００２３】
図６は、請求項１記載の装置において、トリガー信号１２のオン期間に合わせてパターンを投影するタイミング１３とカメラ露光タイミング１４を示したものである。
【００２４】
図７は、請求項２記載の装置において、ｎ＋１番目からｎ＋ｍ番目で同期用パターン(Sync0 ~ Syncm-1) を投影し、その後最初のパターンに戻るタイミングを示したものである。ｍ＝０の場合、図５と同じになる。１５はトリガー信号、１６は投影パターンの順序、１７はカメラ露光のタイミングを表す。
【００２５】
図８は、請求項３記載の装置のタイミングを示した図である。１８はトリガー信号、１９は投影パターンの順序、２０はカメラ露光のタイミングを表す。この場合、カメラから出力されるトリガー信号１８は単一信号であるが、本装置側でｎ種類のパターンを露光するタイミングを、カメラの連写機能仕様に合わせて自動生成し、パターンの投射を行う。
【００２６】
図９は、請求項６記載の装置のタイミングを示した図である。２１は本装置側で生成されるトリガー信号、２２は投影パターンの順序、２３はカメラの露光タイミングである。パターンはトリガー信号に合わせて一定時間投射された後、オフ期間を経て次のトリガー信号の後、次のパターンに移る。これをｎ回繰り返し、ｎ＋１回目には同期用パターンSync0、ｎ＋２回目には同期用パターンSync1 を投影し、停止する。ここで、同期用パターンの枚数は０以上の整数である。同期用パターンは、３次元点群生成アプリケーションソフトウェアが最終フレームを判別することを容易にするために用意されているが、必ずしも同期パターンは必要ではない。
【００２７】
図１０は、請求項７記載の装置の構成を表した図である。基本構成は図４と同じだが、トリガー信号がパターン投射装置側で生成されカメラへ出力され、カメラはそのトリガー信号を受けて画像の撮影を行う点で異なる。この機能は、カメラ側で連写機能は持たないものの、外部トリガー信号を受けてシャッターを切る（露光を開始する）機能を持っているカメラに有効な構成である。
【００２８】
図１１は、本発明のパターン投影装置から投影される８種類のパターンを計測対象物に投影し、カメラで撮影したものである。最初のパターンは、基準位相パターンで投影、次は８分の１πだけ空間位相が進んだパターンで投影、以下、８分の１πずつ空間位相を進ませたパターンを投影した、合計８枚のフレーム写真である。
【００２９】
デジタルカメラは、空間位相の進捗に合わせて露光し、撮影したフレームをSD-CARDなどのメモリ媒体に記憶する。或いは、WiFiなどの無線インターフェイスにてパソコンに転送する。
【００３０】
パソコンでは、アプリケーションソフトウェアがSD-CARDに記憶されたフレーム群、或いは、WiFi で転送されたフレーム群を読み取り、３次元点群へと変換する。
【産業上の利用可能性】
【００３１】
本発明によれば、イメージセンサーが日進月歩に進化している市販のデジタルカメラを、３次元計測装置の撮影手段として利用するため、３次元計測装置の進化として直ちに取り入れることが可能である。また、３次元計測装置として必須な機能をパターン投影装置側に集約しているため、全体のコストを大幅に抑えることが可能であり、産業用計測装置としてのみならず、民生用としても、３次元計測装置の一般的な普及に大きく寄与する。
【符号の説明】
【００３２】
１  パターン投影装置
２  プロジェクション装置
３  パターンデータ記憶手段
４  電源装置
５  デジタルカメラとのインターフェイス
６  デジタルカメラの外部インターフェイス
７  デジタルカメラ
８  撮影データ記憶手段
９  トリガー信号
１０  投影パターンの順序
１１  カメラ露光のタイミング
１２  トリガー信号
１３  パターン投影タイミング
１４  カメラ露光のタイミング
１５  トリガー信号
１６  投影パターンの順序
１７  カメラ露光のタイミング
１８  トリガー信号
１９  投影パターンの順序
２０  カメラ露光のタイミング
２１  トリガー信号
２２  投影パターンの順序
２３  カメラ露光のタイミング
【図１】
2015148585.tif 000003
【図２】
2015148585.tif 000004
【図３】
2015148585.tif 000005
【図４】
2015148585.tif 000006
【図５】
2015148585.tif 000007
【図６】
2015148585.tif 000008
【図７】
2015148585.tif 000009
【図８】
2015148585.tif 000010
【図９】
2015148585.tif 000011
【図１０】
2015148585.tif 000012
【図１１】
2015148585.tif 000013