(57)【要約】【課題】簡単なハードウェア構成で高解像度の３Ｄキャプチャが可能な３Ｄカメラを提供する。【解決手段】３Ｄ作像装置３０は、一連のＩＲ光のパルスを射出する光源装置４２と、各々がＩＲ光に感度のある感光セルのアレイを有するカメラ６０と、被写体からの光を感光セルに、光の各光線が共通の焦点を通るように送るための撮像レンズと、光のパルスの射出と同期して、カメラ６０によってキャプチャされた画像を交互に記憶する２個のメモリ６４及び６６と、２個のメモリ６４及び６６に記憶された２個の連続した画像と、光源装置４２、カメラ６０及び対象点１０２の位置とを利用して、被写体の深度マップを計算する信号処理装置と、を含む。光源装置４２から射出される光のパルスは、交互に第１及び第２の強度を有する。【選択図】        図１
2010281733.tif 000002
【特許請求の範囲】
【請求項１】
光学作像システムであって、
一連の不可視波長の光のパルスを周期的に射出する光源装置を含み、前記光のパルスは交互に第１の光度と第１の光度と異なる第２の光度とを有し、さらに
各々が不可視波長に感度があり、被写体からの光を受け各々が受けた光の強度を表す電気信号を出力する、第１の感光セルのアレイを有するフォトセンサ面を有し、それによって被写体の画像をキャプチャするカメラを含み、前記カメラは前記光源装置による光のパルスの射出に同期して動作し、さらに
被写体からの光をフォトセンサ面に向けて、前記光の各光線が予め規定された共通の点を通るように送るための撮像レンズシステムと、
前記カメラによってキャプチャされた画像を、前記光源装置による前記光のパルスの射出と同期して交互に記憶するための２個のメモリと、
前記２個のメモリに記憶された画像、予め定められた３Ｄ座標系に対する前記光源装置の位置、及び前記カメラの前記３Ｄ座標系に対する位置、を利用して、被写体の深度マップを計算するための信号処理装置と、を含む、光学作像システム。
【請求項２】
前記光源装置は
前記不可視波長の光のパルスを射出するための光源と、
一つおきの周期で、前記光源が予め定められた第１の位置に来るように、他の周期では前記光源が予め定められた第２の位置に来るように、前記光源を移動するための機構と、
前記光源からの光を均一に広げるように別の予め定められた位置に置かれた光学装置と、を含む、請求項１に記載の光学作像システム。
【請求項３】
前記光源装置は、
予め定められた場所に位置付けられた光源と、
前記光源から入来する光を均一に広げるために別の予め定められた位置に置かれた光学装置と、
前記不可視波長の光を遮断する材料からなり、前記光源と前記光学装置との間に２つの光路を規定するための手段と、を含み、前記２つの光路は異なる長さを有し、さらに
前記光源装置による光のパルスの射出と同期して前記２つの光路を切替えるための手段を含む、請求項１に記載の光学作像システム。
【請求項４】
前記アレイは、各々が予め定められた可視波長に感度があり、被写体からの光を受けて各々が受けた前記可視波長の光の強度を表す電気信号を出力する、第２の感光セルを有し、それによって被写体の可視画像を出力する、請求項１に記載の光学作像システム。
【請求項５】
前記第２の感光セルは、各々が互いに異なる可視波長に感度のある複数個のセルを含む複数個のグループに分けられる、請求項４に記載の光学作像システム。
【請求項６】
前記光源装置は前記光のパルスを、前記光のパルスが前記３Ｄ座標系の予め定められた位置から均一に広がるように射出し、
前記感光セルの各々は前記３Ｄ座標系に対する既知の位置に置かれ、
前記予め定められた共通点は前記３Ｄ座標系内の既知の位置に置かれ、
前記信号処理装置は、２つの連続した周期で第１の感光セルから出力された強度、前記３Ｄ座標系に対する前記光源装置の位置、前記３Ｄ座標系に対する前記共通点の位置、及び前記３Ｄ座標系に対する前記感光セルの位置、を利用して、前記３Ｄ座標系に対する第１の感光セルの深度を計算する、請求項１に記載の光学作像システム。
【請求項７】
前記３Ｄ座標系は前記感光セルのアレイで規定されるフォトセンサ面に固定される、請求項６に記載の光学作像システム。
【請求項８】
前記光源装置と前記カメラとは互いに固定されている、請求項７に記載の光学作像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は被写体の２Ｄカラー画像と３Ｄ表面プロファイルとをキャプチャするための３Ｄ撮像システムに関する。特に、この発明は高精細３Ｄ画像をリアルタイムでキャプチャするのに好適な３Ｄ光学システムに関する。
【背景技術】
【０００２】
長年にわたって、周知の赤／緑の立体メガネ式ディスプレイ、ボリュームディスプレイ、裸眼立体ディスプレイ等のいろいろな種類の３Ｄ表示技術が開発されている。
【０００３】
トランスミッション及び（オーディオ−ビデオ）マルチメディア技術は急速に進歩しており、現実の感覚をメディア放送コンテンツで達成しようとしている。視聴者側で現実の感覚を達成するためには、視聴者に対し超現実的なオーディオ及びビデオコンテンツを配信する必要がある。ここでは、３次元（３Ｄ）視覚コンテンツの取得に焦点を当てる。
【０００４】
従来の２Ｄテレビジョンとは対照的に、ほとんどの３Ｄテレビジョンは被写体の２Ｄの視覚的外観を表示するのみでなく、ステレオ画像、マルチビュー画像又は２Ｄプラス視差画像といった様々な形で、被写体の深度情報もまた表示する。被写体の色情報と３Ｄ表面プロファイルとが入手できれば、これらの形の視覚的情報は全て再生成可能である。従って、ここでの目標は以下の２点となる。すなわち（１）２Ｄの外観（色情報）をキャプチャすること、及び（２）画素ごとの深度情報をリアルタイムで同期して計算すること、である。
【０００５】
これまでに、３Ｄ画像キャプチャのための様々な技術が提案されている。極端なものの１つでは、従来の較正された立体視カメラを用いた画像ベースのアプローチを用いて深度マップを推定する。別の極端な例では、赤外光の飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）原理を用いたもの等の光学ベースのカメラによって、深度をキャプチャする。
【０００６】
非特許文献１に開示の発明では、ＴＯＦ３Ｄカメラは正弦波的に変調された赤外光信号を射出する。光が測定システムから対象物へ到達しさらにシステムに戻るまでに必要な時間が測定され、画像中の各画素の深度を計算する際に用いられる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｂ．バットゲン、Ｔ．オジェ及びＭ．レーマン、「距離画像のためのＣｃｄ／ｃｍｏｓロックイン画素：課題、限界及び最先端技術」、第１回距離画像研究の日予稿集、２１−３２ページ、インゲンサンド／カールマン（編）、チューリッヒ、２００５年。
【０００８】
（B.  Buttgen,  T.  Oggier,  and  M.  Lehmann,  "Ccd/cmos  lock-in  pixel  for  range  imaging:  challenges,  limitations  and  state-of-the-art,"  in  Proceedings  of  1st  range  imaging  research  day,  pp.21-32,  Ingensand/Kahlmann  (eds.),  Zurich,  2005.）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ＴＯＦ３Ｄカメラで達成可能な最良の距離精度は、対象物からカメラまでの距離に依存して、数ミリメートルから数センチメートルのオーダである。さらに、この技術には赤外光の変調周波数によって課される距離限界があり、この距離限界範囲の外では、測定値が不正確である。さらに、ＴＯＦレンジカメラは同期した距離データとカラー画像とをキャプチャすることが可能であるが、この方法では高解像度のキャプチャリングは困難である。ハードウェアの複雑さとそれに関連するコストも高い。従って、ＴＯＦカメラによりキャプチャするというアプローチは、２Ｄのみのカメラに代わる個人的な使用又は３Ｄテレビジョン放送等の要求の高い応用への、消費者向け３Ｄ作像カメラとしては適していないと思われる。
【００１０】
従って、この発明の目的の１つは、カラー画像のキャプチャと同期した高解像度の３Ｄキャプチャが可能な３Ｄカメラを提供することである。
【００１１】
この発明の別の目的は、簡単なハードウェア構成で高解像度の３Ｄキャプチャが可能な３Ｄカメラを提供することである。
【課題を解決するための手段】
【００１２】
この発明の１局面に従った光学作像システムは、２連の別個の不可視波長の光のパルスを射出する光源装置を含み、前記光のパルスは交互に第１の光度と、（同じ挙動となるよう物理的または仮想的に）第１の光度に対しより長い経路に制限された第２の光度とを有し、さらに、各々が不可視波長に感度があり、被写体からの光を受け各々が受けた光の強度を表す電気信号を出力する、第１の感光セルのアレイを有するフォトセンサ面を有し、それによって被写体の画像をキャプチャするカメラを含み、前記カメラは前記光源装置による光のパルスの射出に同期して動作し、さらに、被写体からの光をフォトセンサ面に向けて、前記光の各光線が予め規定された共通の点を通るように送るための撮像レンズシステムと、前記カメラによってキャプチャされた画像を、前記光源装置による前記光のパルスの射出と同期して交互に記憶するための２個のメモリと、前記２個のメモリに記憶された画像、予め定められた３Ｄ座標系に対する前記光源装置の位置、及び前記カメラの前記３Ｄ座標系に対する位置、を利用して、被写体の深度マップを計算するための信号処理装置と、を含む。
【００１３】
１の実施の形態に従えば、前記光源装置は前記不可視波長の光のパルスを射出するための光源と、一つおきの周期で、前記光源が予め定められた第１の位置に来るように、他の周期では前記光源が予め定められた第２の位置に来るように、前記光源を移動するための機構と、前記光源からの光を均一に広げるように別の予め定められた位置に置かれた光学装置と、を含む。
【００１４】
別の実施の形態に従えば、前記光源装置は、予め定められた場所に位置付けられた光源と、前記光源から入来する光を均一に広げるために別の予め定められた位置に置かれた光学装置と、前記不可視波長の光を遮断する材料からなり、前記光源と前記光学装置との間に２つの光路を規定するための手段と、を含み、前記２つの光路は異なる長さを有し、さらに、前記光源装置による光のパルスの射出と同期して前記２つの光路を切替えるための手段を含む。
【００１５】
この構成では、各々が予め定められた可視波長に感度があり、被写体からの光を受けて各々が受けた前記可視波長の光の強度を表す電気信号を出力する、第２の感光セルを有してもよく、それによって被写体の可視画像を出力する。
【００１６】
前記第２の感光セルは、各々が互いに異なる可視波長に感度のある複数個のセルを含む複数個のグループに分けられてもよい。
【００１７】
好ましくは、前記光源装置は前記光のパルスを、前記光のパルスが前記３Ｄ座標系に対して固定された予め定められた位置から均一に広がるように射出する。前記感光セルの各々は前記３Ｄ座標系に対する既知の位置に置かれ、前記予め定められた共通点は前記３Ｄ座標系内の既知の位置に置かれる。前記信号処理装置は、２つの連続した周期で第１の感光セルから出力された強度、前記３Ｄ座標系に対する前記光源装置の位置、前記３Ｄ座標系に対する前記共通点の位置、及び前記３Ｄ座標系に対する前記感光セルの位置、を利用して、前記３Ｄ座標系に対する第１の感光セルに対応する対象点の深度を計算する。
【００１８】
さらに好ましくは、前記３Ｄ座標系は前記感光セルのアレイで規定される面に固定される。
【００１９】
さらに好ましくは、前記光源装置と前記カメラとは互いに固定されている。
【図面の簡単な説明】
【００２０】
【図１】この発明の第１の実施の形態の３Ｄ作像システム３０の全体構成を示す図である。
【図２】第１の実施の形態での光源９２の動きを示す図である。
【図３】３Ｄ作像システム３０の光路長を概略的に示す図である。
【図４】光学装置９４、センサ面１１０の中心及び対象点１０２間の幾何学的関係を概略的に示す図である。
【図５】光学装置９４、４チャンネルカメラの撮像レンズの焦点１１２、画素１１４及びセンサ面１１０上のカメラ原点１１６間の幾何学的関係を概略的に示す図である。
【図６】焦点１１２、カメラ原点１１６、画素１１４及び対象点１０２間の関係を概略的に示す図である。
【図７】ＩＲ光源９２の照明、各周期に撮影されるカラー画像、及び連続する２つのＩＲ画像から各々計算される距離画像（深度マップ）のタイミングチャートである。
【図８】この発明の第２の実施の形態における光路の全体構成を示す図である。
【図９】この発明の第３の実施の形態における光路の全体構成を示す図である。
【図１０】この発明の第４の実施の形態における３Ｄ作像システム３３０の全体構成を示す図である。
【発明を実施するための形態】
【００２１】
以下にこの発明の実施の形態を添付の図を参照して説明する。図において、同様の要素は同じ参照符号を付す。従って、その詳細な説明は繰返さない。
【実施例】
【００２２】
第１の実施の形態
１．始めに
この機能を達成するための方法及び装置は、わずかに異なる幾何学的位置に置かれ、不可視、例えば赤外波長域で動作する２個の等方性光源と、被写体に投影された光線を整列させる光学装置と、不可視波長域に感度を有する高精度カメラと、を含む。画素ごとの距離情報を決定するために、カメラシステムは連続した各光源からのストロボ動作の間に２個のシーケンシャルな画像をキャプチャする。その後、これら２つの画像における各画素位置の光の強度を利用して、画像中の画素位置に対応する対象点の距離情報を計算し、被写体の３Ｄ表面プロファイルをリアルタイムで生成する。
【００２３】
設計上の選択に依存して、カラー画像はダイクロイックプリズム機構によって、又は４個のバンドパスフィルタシステムを備えた４チャンネルのカメラであって、うち３個が可視光の赤、緑及び青のチャンネル用であり４番目がＩＲチャンネルであるカメラによって、同期してキャプチャできる。第１の実施の形態では、４個のバンドパスフィルタを備えた単一の４チャンネルカメラを利用する。
【００２４】
２．高精細３Ｄセンシングカメラシステムの原理
このセクションでは、高精細カラー画像及び距離データの両方を同期してリアルタイムでキャプチャ可能な３Ｄセンシングカメラシステムの原理を説明する。基本原理は以下のとおりである。
【００２５】
わずかに異なる幾何学的位置に置かれた、既知の伝搬特性を有する２個のエネルギ源が、（不可視波長域の光のパルスの形で）一連のエネルギパルスを交互に射出する。エネルギパルスは対象物の表面から反射される。受信機が反射されたエネルギパルスの振幅を取出す。こうして、これら２個のエネルギ源から出て受信されたエネルギパルスの振幅は、エネルギ経路に沿った基準点と対象点との距離を規定する。例えば、点光源の伝搬特性、重力、電界、音及び放射は、逆二乗の法則で説明できる。従って、適切な設計で３Ｄセンシングのためにこれらを利用できる。
【００２６】
この実施の形態では、射出器としての２個の光源と、受信機としての高精度カメラとを利用して、距離データ及びカラー画像データをキャプチャする。このシステムは、光の２つの物理的特性を利用する。すなわち（１）逆二乗の法則で説明される伝搬特性、及び（２）アブニーの法則（Ａｂｅｎｙ´ｓ  Ｌａｗ）としても知られる、異なる波長の光の視覚効果の線形性、である。具体的には、上述の機能を達成するシステムは、光軸をそろえてわずかに異なる位置に置かれともに不可視波長域で動作する２個の等方性光源と、光誘導光学装置と、高精度（好ましくは１６ビット以上の）作像カメラとを含む。
【００２７】
３．システムの概観
図１を参照して、この発明の第１の実施の形態による３Ｄ作像システム３０は、被写体４４の画素ごとの深度情報を計算するために、２個の連続した画像フレームを獲得する必要がある。設計上の選択により、カラー画像は、２個のカメラを必要とするダイクロイックプリズム機構を用いてＩＲと可視光とを分けるか、又は４個の光学バンドパスフィルタシステムを備えた４チャンネルのカメラであって、チャンネルのうち３個が赤、緑及び青（可視光）に最適化され、４つめのチャンネルがＩＲ光源の波長域に最適化されたものを用いることによって、同期して獲得できる。この実施の形態では、単一の４チャンネルカメラを用いる。
【００２８】
図１を参照して、作像システム３０は、予め定められた間隔でＩＲ光のパルスを射出するための光源装置４２と、光源装置４２による光のパルスの射出に同期して、各フレームのＲＧＢカラー画像及びＩＲ画像をキャプチャするための４チャンネルカメラ４０と、を含む。こうして、一連の不可視波長の光のパルスが光源装置４２から射出される。光のパルスは交互に第１の光度と第１の光度とは異なるタイミングの第２の光度とを有する。
【００２９】
光源装置４２は、光を吸収する内壁及び一端の開口部を有する筒９０と、筒９０内に収めれらた２個の等方性ＩＲ点光源ＳＡ及びＳＢとを含み、これらはそれぞれ強度ＳＡ＝Ｓ及びＳＢ＝ｋＳで全方向に等しくその影響を及ぼす。ただしk=SB_ray(j)/SA_ray(j)は任意のスケーラであって被写体に投影される全ての光線（ｊ＝1，2，…Ｎ）について一定である。ｋの値は前もって既知であってもよく又はオン−ザ−フライでダイナミックに測定してもよい。さらに光学装置９４があり、これは典型的にはレンズシステムであって、筒９０の開口端に位置づけられ、光源ＳＡ及びＳＢからの光を同様に広げ、このためｊ＝1，2，…Ｎに対応する全ての画素に対しk=SB_ray(j)/SA_ray(j)が保たれる。
【００３０】
図２を参照して、実際には筒９０内に単一の光源９２が設けられる。光源９２は図１で光源ＳＡ及びＳＢとして示される位置間を図２（Ａ）及び図２（Ｂ）に示されるように往復する。均一な光源９２が光源ＳＡで示される位置にある時、これは光源ＳＡとして動作する。これが光源ＳＢで示される位置にある時、これは光源ＳＢとして動作する。従って、この実施の形態において、上述のＳＢ＝ｋＳの定数ｋは１に等しい。
【００３１】
光学装置９４の中心から光源ＳＡ及びＳＢへの距離は、図３に示すようにそれぞれｖ及びｗである。
【００３２】
再び図１を参照して、４チャンネルカメラ４０は、被写体４４の画像を予め規定された画像面に焦点合わせするためのレンズシステム（図示せず）と、予め規定された画像面に位置づけられたセンサ面を有し、被写体４４のＲＧＢ画像及びＩＲ画像をキャプチャして、各フレームのＲＧＢ信号及びＩＲ信号を出力するための４チャンネルＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）６０と、ＣＣＤ６０からのＲＧＢ信号を受けるように接続され、各フレームのタイムスロットでＲＧＢ画像を記憶するフレームメモリ７０と、ＣＣＤ６０によってキャプチャされたＩＲ画像を交互に記憶するフレームメモリ６４及び６６と、（コンピュータプログラム又はハードウェアで実現可能な）電子スイッチ６２であって、入力がＣＣＤ６０からのＩＲ信号を受けるように接続され、２つの出力がフレームメモリ６４及び６６の入力にそれぞれ接続されて、光のパルスの射出に同期して各フレームタイムスロットでフレームメモリ６４又は６６へＣＣＤ６０からのＩＲ信号を交互に提供するスイッチと、フレームメモリ６４及び６６に記憶されたＩＲ画像を受けるように接続され、光のパルスの射出に同期して各フレームタイムスロットでフレームメモリ６４及び６６に記憶されたＩＲ画像に基づいて被写体４４の深度プロファイルを計算するための信号処理装置６８と、を含む。
【００３３】
光源ＳＡ及びＳＢは、各フレームでＩＲ光を交互に射出するように制御される。すなわち、最初のフレームでは光源ＳＡがＩＲ光を射出し、光源ＳＢは射出しない。次のフレームでは、光源ＳＢがＩＲ光を射出し、光源ＳＡは射出しない。
【００３４】
ＥＡ及びＥＢが、ＳＡ及びＳＢのそれぞれの照明期間中の任意の可視対象点＿ｘ０（＿は文字の下に付されるものである）の表面上での強度を表すものとする。同様に、ＩＡ及びＩＢを、それぞれＳＡ及びＳＢにより作像装置によりキャプチャされた強度値を表すものとする。ここで、ＩＡに対するＩＢはＥＡに対するＥＢと同じであると言える。従って、この関係は次のように記述できる。
ＩＡ：ＩＢ＝ＥＡ：ＥＢ      （１）
なぜなら、光吸収面等の光不変性を有する表面を除き、対象表面の反射率と独立でＩＡ∝ＥＡ（ＩＡはＥＡに比例）かつＩＢ∝ＥＢだからである。光の伝搬特性を用いれば、ＥＡ及びＥＢを数学的に以下のように定義できる。
【００３５】
【数１】
2010281733.tif 000003
ここでγは光学装置によるスケーリングファクタである。式１に、式２及び式３によるＥＡ及びＥＢの定義を挿入すれば、以下が得られる。
【００３６】
【数２】
2010281733.tif 000004
ここで図３を参照して、ｒは光学装置９４の焦点と被写体４４の対象点１０２との間の距離を示し、ｖ及びｗは、図３に例示するように、光学装置９４とＳＡ及び９４とＳＢとの距離をそれぞれ表わす。式４の両辺の平方根をとり、変形すると、単一の変数ｒについて以下の１次多項式が得られる。
【００３７】
【数３】
2010281733.tif 000005
（図７（Ｃ）の画像Ａ及び画像Ｂの画素位置に属する強度比の平方根）。従って、ｒについて解くと以下のようになる。
【００３８】
【数４】
2010281733.tif 000006
ここでｒは光学装置９４の焦点と、被写体４４の対象点１０２との間の距離である。
【００３９】
４．デカルト座標におけるカメラ原点を基準とした３Ｄ測定
このセクションでは、カメラ原点を基準としてデカルト座標で距離データを表現する方法を説明する。
【００４０】
すなわち、光学装置９４の焦点と４チャンネルカメラ４０のＣＣＤ６０（図３を参照）の光学的中心との幾何学的関係が既知であれば、カメラの仕様と、デカルト座標（ｘ，ｙ，ｚ）（又はこれを球面座標に変換することを選択してもよい）での光学装置９４と対象点１０２との間の推定された距離ｒとを用いて、ＣＣＤ６０に固定されたカメラ座標を基準とした対象点１０２の３Ｄ位置を計算できる。光学装置９４は光が被写体に射出されＣＣＤ６０のセンサ面でキャプチャされることに注意されたい。対象点からの光線は各々、感光セルに当たる時にレンズ１００の共通の焦点を通過する。
【００４１】
図３及び図４の表記を利用すれば、余弦定理は以下のようになる。
【００４２】
【数５】
2010281733.tif 000007
ここでｒ、ｕ及びρは図３及び図４に例示された距離であり、ｒとｕとは既知である。しかしながら、ρとθとは未知である。図４において、対象点１０２の画像は３Ｄ座標系のセンサ面１１０上の位置（ｘｉ，ｙｉ）のセル１１４上に形成され、これはセンサ面１１０の中心（ｃｘ，ｃｙ）でカメラ座標系の原点１１６からｘ方向及びｙ方向にそれぞれｄｘ及びｄｙだけずれている。式７を用いて、ここでの目標は、値ρを決定することである。従って、まずはじめに角度θを決定する必要がある。ｆが４チャンネルカメラ４０の撮像レンズの焦点１１２とセンサ面１１０に固定された３Ｄ座標系の座標（０，０，０）で示される原点１１６との距離を示すものとして、図５の表記を用いれば、２つのベクトル→ｕ及び→ρ（式中→は各文字の上に付される）の内積は以下のようになる。
【００４３】
【数６】
2010281733.tif 000008
ここで内積は２つのベクトル間のドットによって表わされ、｜→ｘ｜は→ｘのノルムを表す。画素位置（ｘｉ，ｙｉ）のずれ情報ｄｘ及びｄｙと、光学装置９４とカメラ原点１１６との間の長さとを直接用いて、→ｕの値を決定できる。しかしながら、カメラ投影マトリックスを用いて決定できるのは→ρに平行な単位ベクトルのみである。コンピュータビジョンでは、投影マトリックスＰは３Ｄ対象点からカメラの２Ｄ画像点へのマッピングを記述する３×４のマトリックスである。マトリックスＰは、ピンホールカメラモデルによって定義するか、又は、カメラ較正処理を用いて決定できる。
【００４４】
ここで
【数７】
2010281733.tif 000009
を、それぞれ同次座標系における以下の画像点及び対象点の対を表すものとする。
【数８】
2010281733.tif 000010
その場合、３Ｄ対象点＿ｘ０から２Ｄ画像点＿ｘｉ（式中下線は各文字の下に付される）へのマッピングは以下で与えられる。
【００４５】
【数９】
2010281733.tif 000011
ここでｗｉは画像メモリの（ｘｉ，ｙｉ）画素位置に対し一意である任意の非ゼロのスケーラである。従って、スケールファクタにより＿ｘ０を次のように決定できる。
【００４６】
【数１０】
2010281733.tif 000012
さて、ｗｉが未知であるが、ｗｉ＿ｘ０が得られたので、式１０と図５の表記を用いて、ベクトル→ρに沿った新たなベクトル→ｐを定義できる。
【００４７】
【数１１】
2010281733.tif 000013
ここでδ＞１．０であり、δは任意に選択可能な定数スケーラである。→ｖが、→ｐをそのノルムで正規化して得られる以下の単位ベクトルであるものとする。
【００４８】
【数１２】
2010281733.tif 000014
→ｖ／／→ρであるから、式８において→ρに代えて→ｖを用いて角度θを以下のように決定できる。
【００４９】
【数１３】
2010281733.tif 000015
ここでａｃｏｓは逆コサイン演算を表す。式７を書換えれば、単一の変数ρについて以下の２次の二次方程式が得られる。
【００５０】
【数１４】
2010281733.tif 000016
ρについて解くと、２つの解ρ＝ρ１とρ＝ρ２とが得られる。正の実数値を有するものが→ρのノルムである。→ρを以下によって一意に決定できる。
【００５１】
【数１５】
2010281733.tif 000017
→ρは作像装置上で（ｄｘ，ｄｙ，０）で示される座標位置から始まり、カメラの焦点を通過する対象点（ｘ０，ｙ０，ｚ０）で終わる（図５を参照）。
【００５２】
従って、カメラ原点１１６に対して３Ｄ空間内で対象点＿ｘ０を決定するためには、図６に示されるように（０，０，０）の原点１１６から（ｄｘ，ｄｙ，０）の位置までとして定義されるベクトル→ｓを、以下に示すように→ρに加えなければならない。
【００５３】
【数１６】
2010281733.tif 000018
５．動作
図７を参照して、作像システム３０は以下のように動作する。
【００５４】
光源ＳＡは、図７（Ａ）に示すように、フレーム１３０、１３２、１３４、１３６、…で光を射出する。これに対して、光源ＳＢは図７（Ｂ）に示すように、それぞれフレーム１３０と１３２との間、１３２と１３４との間、１３４と１３６との間…にあるフレーム１４０、１４２、１４４、…で光を射出する。こうして、不可視波長の一連の光のパルスが光源装置４２から射出される。光のパルスは第１の光度と第２の光度とを交互に有する。
【００５５】
フレームタイムスロットの各々で、ＣＣＤ６０はＲＧＢ画像（カラー画像２００、２０２、２０４、２０６、２０８、２１０、…）とＩＲ画像（ＩＲ画像１５０、１５２、１５４、１５６、１５８、１６０、…）とを撮像し、これら画像の信号を出力する。光源ＳＡ及びＳＢがＩＲ光を交互に射出するので、ＣＣＤ６０から出力されるＩＲ画像は光源ＳＡ及びＳＢから射出され同じ対象点１０２から反射されたＩＲ光の交互の画像（画像１５０、１５４、１５８、…及び画像１５２、１５６、１６０、…）である。
【００５６】
ＩＲ画像内の画素の各々に対して式７から式１６で示される計算を適用することにより、ＩＲ画像対１５０及び１５２、１５２及び１５４、１５４及び１５６、１５６及び１５８、１５８及び１６０、…の各々から距離画像１８０、１８２、１８４、１８６、１８８、１９０、…を得ることができる。
【００５７】
第２の実施の形態
第１の実施の形態では、光源装置４２は光源ＳＡ及びＳＢの位置を往復する単一の光源９２を含む。しかしながらこの発明はそのような実施の形態に限られない。
【００５８】
図８を参照して、この発明の第２の実施の形態にかかる光源装置２３０は、２個の突出部を備え、光吸収性の内壁を有する矩形筒２４０と、突出部の一方の端部に設けられたＩＲ光源９２と、を含む。筒２４０の他方の突出部の端部には開口部がある。光源装置２３０はさらに、筒２４０の４隅に設けられ、筒２４０の中心を向いた４つのミラー２４６、２４８、２５０及び２５２と、直角に反転可能で光源９２からの光を反射してミラー２４８又はミラー２５０の方向に向けることが可能なミラー２４４と、直角に反転可能で、ミラー２５０からの光またはミラー２４６からの光のいずれかを、ミラー２４４の反転と同期して反射して筒２４０の開口部の方向へと向けるミラー２４２と、筒２４０の開口部に設けられた光学装置９４と、を含む。ミラー２４４、２５２、２５０及び２４２は光源９２からの光に対しより長い光路を規定する。ミラー２４４、２４８、２４６及び２４２はより短い光路を規定する。
【００５９】
図８から明らかなように、ミラー２４４及び２４２が図８（Ａ）にあるように「下向き」である場合、光源９２からの光はより短い経路を進む。ミラー２４４及び２４２が図８（Ｂ）にあるように「上向き」である場合、光はより長い経路を進む。従って、光源９２の位置は変わらないが、光学装置９４から射出する光の強度は変化する。従って、第１の実施の形態の光源装置４２に代えて光源装置２３０を用いることができる。
【００６０】
第３の実施の形態
この発明の第３の実施の形態では、図９に示す光源装置２８０を利用する。図９を参照して、光源装置２８０は一方端に開口部３２２を有し側壁に開口部３０２が形成された筒２９０と、筒２９０の開口部に置かれ、筒２９０を介して入来する２個の異なる光源からの光を同様に分散させる光学装置３１４と、筒２９０内の他方端に置かれたＩＲ光源２９６と、を含む。
【００６１】
光源装置２８０はさらに、側壁に開口部を有し、筒２９０に対して開口部が筒２９０の開口部３０２とそろうように取付けられる筒２９２と、開口部３０２から遠位の端部で筒２９０内に置かれたＩＲ光源２９８と、光源２９８からのＩＲ光が反射プリズム３００によって反射され開口部３０２に向かうように、筒２９２の他方端に取付けられた反射プリズム３００と、開口部３０２が第１の姿勢と第２の姿勢との間で姿勢を変えられるよう、開口部３０２で筒２９０に動作可能に取付けられた反射シャッタ２９４とを含み、第１の状態ではシャッタ２９４は開口部３０２を閉じ、第２の状態ではシャッタ２９４は開口部３０２を開く。第２の状態では、シャッタ２９４の一端が筒２９０の内壁に当接し、反射プリズム３００からの光を開口部３２２へと反射する。シャッタ２９４の状態を動かすために、光源装置２８０はシャッタ機構（図示せず）を含む。
【００６２】
図９（Ａ）に示す第１の状態では、ＩＲ光源２９６からの光３１０は直接光学装置３１４へと進み、筒２９０の外で分散される。光源２９８はオフにされる。
【００６３】
図９（Ｂ）に示す第２の状態では、ＩＲ光源２９６はオフにされ、光源２９８がオンにされる。光源２９８からの光はプリズム３００へと進み、ここで反射されてシャッタ２９４に向かう。光は再度シャッタ２９４で反射されて光学装置３１４に向かい、上の場合と同様に、筒２９０の外で分散される。
【００６４】
明らかに、この実施の形態の光源装置２８０を図１及び図２に示す第１の実施の形態の光源装置４２に代えて用いることができる。従って、この第３の実施の形態は、第１の実施の形態と同じ結果を達成する。
【００６５】
第４の実施の形態
第１から第３の実施の形態では、ＲＧＢカラー画像とＩＲ画像とをキャプチャする能力を有する４チャンネルカメラが用いられる。しかしながらこの発明はそのような実施の形態に限られない。他でも述べたように、この発明の実施の形態はダイクロイックプリズム機構を用いてＩＲと可視光とを分けることでも実現されうる。
【００６６】
図１０を参照して、第４の実施の形態による３Ｄ作像システム３３０は、入来する光を可視光とＩＲ光とに分けるためのダイクロイックプリズム３４０と、ダイクロイックプリズム３４０からのＩＲ光の光路に置かれたミラー３４２と、ダイクロイックプリズム３４０からの可視光を受けＲＧＢ画像をキャプチャする通常のカラーカメラ３４４と、ミラー３４２から反射したＩＲ光を受け、ＩＲ画像をキャプチャする高精度ＩＲカメラ３４６と、を含む。
【００６７】
ＩＲカメラ３４６は４チャンネルカメラ４０と類似であって、ＣＣＤ６０と、ＣＣＤ６０によってキャプチャされたＩＲ画像を記憶するための２個のフレームメモリ６４及び６６と、フレームメモリ６４及び６６に記憶されたＩＲ画像を受けるように接続され、光のパルスの射出と同期してフレームメモリ６４及び６６に記憶されたＩＲ画像に基づいて被写体４４の深度プロファイルを計算するための信号処理装置６８とを含む。
【００６８】
この実施の形態では、被写体対象物からの光がダイクロイックプリズム３４０で分離される。可視波長域の光はダイクロイックプリズム３４０を介して進み直接カラーカメラ３４４で受けられる。カラーカメラ３４４は対象物のカラー画像をキャプチャして各フレームのＲＧＢカラー信号を出力する。
【００６９】
ＩＲ光はダイクロイックプリズム３４０で反射されて、ミラー３４２に進み、これはＩＲ光を、ＣＣＤ６０によってキャプチャされたＩＲ画像を記憶するための２つのフレームメモリ６４及び６６に向かわせる。ＣＣＤ６０によるＩＲ画像のキャプチャ、フレームメモリ６４及び６６によるＩＲ画像の交互の記憶、及びフレームメモリ６４及び６６に記憶された画像に基づく信号処理装置６８による３Ｄ距離の計算は、第１の実施の形態の４チャンネルカメラ４０と全く同じ様態で行われる。
【００７０】
上述の説明から明らかなように、第４の実施の形態の３Ｄ作像システム３３０は第１の実施の形態と同じ様態で動作する。従って、３Ｄカラー画像と高精度３Ｄ深度画像とが３Ｄ作像システム３３０によって生成される。
【００７１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００７２】
３０、３３０  ３Ｄ作像システム
４０  ４チャンネルカメラ
４２、２３０、２８０  光源装置
６０  ＣＣＤ
６２  スイッチ
６４、６６、７０  フレームメモリ
６８  信号処理装置
９０、２４０、２９０、２９２  筒
９２、２９６、２９８  光源
９４、３１４  光学装置
１１０  センサ面
２４２、２４４、２４６、２４８、２５０、２５２、３４２  ミラー
３４０  ダイクロイックプリズム
３４４  カラーカメラ
３４６  ＩＲカメラ
【図１】
2010281733.tif 000019
【図２】
2010281733.tif 000020
【図３】
2010281733.tif 000021
【図４】
2010281733.tif 000022
【図５】
2010281733.tif 000023
【図６】
2010281733.tif 000024
【図７】
2010281733.tif 000025
【図８】
2010281733.tif 000026
【図９】
2010281733.tif 000027
【図１０】
2010281733.tif 000028
【手続補正書】
【提出日】平成21年10月21日(2009.10.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
図８を参照して、この発明の第２の実施の形態にかかる光源装置２３０は、２個の突出部を備え、光吸収性の内壁を有する矩形筒２４０と、突出部の一方の端部に設けられたＩＲ光源９２と、を含む。筒２４０の他方の突出部の端部には開口部がある。光源装置２３０はさらに、筒２４０の４隅に設けられ、筒２４０の中心を向いた４つのミラー２４６、２４８、２５０及び２５２と、直角に反転可能で光源９２からの光を反射してミラー２４８又はミラー２５０の方向に向けることが可能なミラー２４４と、直角に反転可能で、ミラー２５０からの光またはミラー２４６からの光のいずれかを、ミラー２４４の反転と同期して反射して筒２４０の開口部の方向へと向けるミラー２４２と、筒２４０の開口部に設けられた光学装置９４と、を含む。ミラー２４４、２５２、２５０及び２４２は光源９２からの光に対しより長い光路２６２を規定する。ミラー２４４、２４８、２４６及び２４２はより短い光路２６０を規定する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
光源装置２８０はさらに、側壁に開口部を有し、筒２９０に対して開口部が筒２９０の開口部３０２とそろうように取付けられる筒２９２と、開口部３０２から遠位の端部で筒２９２内に置かれたＩＲ光源２９８と、光源２９８からのＩＲ光が反射プリズム３００によって反射され開口部３０２に向かうように、筒２９２の他方端に取付けられた反射プリズム３００と、開口部３０２が第１の姿勢と第２の姿勢との間で姿勢を変えられるよう、開口部３０２で筒２９０に動作可能に取付けられた反射シャッタ２９４とを含み、第１の状態ではシャッタ２９４は開口部３０２を閉じ、第２の状態ではシャッタ２９４は開口部３０２を開く。第２の状態では、シャッタ２９４の一端が筒２９０の内壁に当接し、反射プリズム３００からの光を開口部３２２へと反射する。シャッタ２９４の状態を動かすために、光源装置２８０はシャッタ機構（図示せず）を含む。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2010281733.tif 000029
【外国語明細書】
2010281733000001.pdf
2010281733000002.pdf
2010281733000003.pdf
2010281733000004.pdf