(57)【要約】【課題】レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることが可能な撮像システムを提供する。【解決手段】本発明に係る撮像システムでは、照射源は、レーザを照射する。撮像部は、レーザと異なる波長領域の波に選択的に感応する第１受光面と、レーザの波長領域の波に選択的に感応する第２受光面とを有する。第２受光面は、第１受光面と同じ撮像範囲を捉える。測定部は、照射源から照射され、被写体で反射したレーザの反射波に基づいて、被写体までの距離データを測定する。画像形成部は、第１受光面で受光された波に基づいて、被写体の画像データを形成する。重畳部は、第２受光面上のレーザの反射波を受光した受光素子を特定し、画像データに含まれる、特定された受光素子に対応する画素データに距離データを対応付けることにより、画像データに距離データを重畳する。【選択図】図１
2013207415.tif 000002
【特許請求の範囲】
【請求項１】
レーザを照射する照射源と、
前記レーザと異なる波長領域の波に選択的に感応する第１受光面と、前記第１受光面と同じ撮像範囲を捉え、前記レーザの波長領域の波に選択的に感応する第２受光面とを有する撮像部と、
前記照射源から照射され、被写体で反射した前記レーザの反射波に基づいて、前記被写体までの距離データを測定する測定部と、
前記第１受光面で受光された波に基づいて、前記被写体の画像データを形成する画像形成部と、
前記第２受光面上の前記反射波を受光した受光素子を特定し、前記画像データに含まれる、前記特定された受光素子に対応する画素データに前記距離データを対応付けることにより、前記画像データに前記距離データを重畳した合成データを生成する重畳部と
を備える、撮像システム。
【請求項２】
前記反射波を受光する第３受光面
をさらに備え、
前記測定部は、前記第３受光面で受光された前記反射波に基づいて、前記距離データを測定する、
請求項１に記載の撮像システム。
【請求項３】
前記測定部は、前記第２受光面で受光された前記反射波に基づいて、前記距離データを測定する、
請求項１に記載の撮像システム。
【請求項４】
前記合成データを参照することにより、前記被写体の三次元画像データを形成する三次元処理部
をさらに備える、
請求項１から３のいずれかに記載の撮像システム。
【請求項５】
前記照射源は、前記レーザを走査し、
前記測定部は、前記走査された前記レーザの前記反射波に基づいて、前記距離データを順次測定し、
前記重畳部は、前記第２受光面上の、前記走査された前記レーザの前記反射波を受光した受光素子を順次特定し、前記順次特定される受光素子に対応する画素データに前記距離データを順次対応付けることにより、前記画像データに前記距離データを順次重畳する、
請求項１から４のいずれかに記載の撮像システム。
【請求項６】
前記第１受光面及び前記第２受光面に共通する光学系
をさらに備える、
請求項１から５のいずれかに記載の撮像システム。
【請求項７】
前記第１受光面で受光される波は、可視光線であり、
前記レーザは、赤外線である、
請求項１から６のいずれかに記載の撮像システム。
【請求項８】
第１波長領域の波に選択的に感応する第１受光面と、前記第１受光面と同じ撮像範囲を捉え、第２波長領域の波に選択的に感応する第２受光面とを有する撮像システムを用いて、被写体を撮像する撮像方法であって、
前記第２波長領域のレーザを照射源から照射するステップと、
前記照射源から照射され、前記被写体で反射した前記レーザの反射波に基づいて、前記撮像システムから前記被写体までの距離データを測定するステップと、
前記第１受光面で受光された前記第１波長領域の波に基づいて、前記被写体の画像データを形成するステップと、
前記第２受光面上の前記反射波を受光した受光素子を特定し、前記被写体の画像データに含まれる、前記特定された受光素子に対応する画素データに前記距離データを対応付けることにより、前記画像データに前記距離データを重畳した合成データを生成するステップと
を備える、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体までの距離を測定しつつ、被写体の画像を撮像する撮像システム及び撮像方法に関する。
【背景技術】
【０００２】
従来より、レーザを利用する測距装置と、被写体を撮像する撮像装置とを組み合わせて三次元計測を行う技術が公知である（例えば、特許文献１，２）。ここで、レーザを利用する測距装置とは、測距装置から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離を測定する装置である。
【０００３】
特許文献１では、三次元画像を撮像する多眼カメラが利用され、この三次元画像から得られる距離画像と、レーザレンジファインダによる距離画像とを組み合わせることにより、被写体までの距離データが高精度に算出される。そして、これら２つの距離画像を組み合わせるに当たっては、両距離画像上の画素と画素とを位置合わせするための複雑な演算処理が実行される。具体的には、特徴点やエッジの抽出等の画像処理が実行される。
【０００４】
また、特許文献２では、デジタルカメラにより測定対象空間を撮像するとともに、レーザ距離計から測定対象空間の特徴点に向けて正確にレーザを照射し、特徴点までの距離を測定する。そして、レーザを特徴点に正確に照射する方法としては、測定対象空間の映像を捉えるファインダを覗きながら、レーザ距離計を動かし、レーザが照射されている点を手動で測定対象空間の特徴点に正確に一致させる方法が採られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−５０５０号公報
【特許文献２】特開２００４−１６３２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のような三次元計測では、測距装置から照射されたレーザの反射点を、撮像装置により撮像される画像上の点（画素）に対応付けることが肝要である。ここで、レーザを利用する測距装置とは、測距装置から反射点までの距離を測定するものであるから、レーザの反射点と画像上の点とを対応付けることは、測距装置による距離データと、撮像装置による画像データ内の画素とを対応付けることに等しい。そして、この対応付けを実現するために、上記のとおり、特許文献１では、計算負荷の高い画像処理が実行され、特許文献２では、測距装置のレーザの照射方向を設定するための面倒な手作業が要求される。
本発明は、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることが可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１観点に係る撮像システムは、照射源と、撮像部と、測定部と、画像形成部と、重畳部とを備える。照射源は、レーザを照射する。撮像部は、レーザと異なる波長領域の波に選択的に感応する第１受光面と、レーザの波長領域の波に選択的に感応する第２受光面とを有する。第２受光面は、第１受光面と同じ撮像範囲を捉える。測定部は、照射源から照射され、被写体で反射したレーザの反射波に基づいて、被写体までの距離データを測定する。画像形成部は、第１受光面で受光された波に基づいて、被写体の画像データを形成する。重畳部は、第２受光面上のレーザの反射波を受光した受光素子を特定し、画像データに含まれる、特定された受光素子に対応する画素データに距離データを対応付けることにより、画像データに距離データを重畳した合成データを生成する。
【０００８】
この撮像システムは、照射源から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離を測定する。また、この撮像システムは、異なる波長領域の波に選択的に感応する２つの受光面、すなわち、第１受光面及び第２受光面を有する。具体的には、第１受光面は、被写体の画像を形成するための波を受光する一方、第２受光面は、照射源から照射されるレーザの反射波を受光する。しかし、これら２つの受光面は、同じ撮像範囲を捉えるものであり、従って、これら２つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。その結果、重畳部は、第２受光面上のレーザの反射波を捉えた受光素子を特定することにより、測定部で測定された距離が、第１受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。
【０００９】
なお、レーザの反射波に基づいて被写体までの距離データを測定する方法としては、例えば、レーザが照射されてからその反射波が戻ってくるまでの時間や位相差、レーザの反射波が受光される受光面上の位置、レーザの反射波の強度等から算出する方法があり、当業者は公知の方法の中から任意のものを適宜選択し得る。
【００１０】
また、第１受光面及び第２受光面が同じ撮像範囲を有する場合には、これらの受光面の撮像範囲が完全に同じである場合だけでなく、これらの受光面の撮像範囲の一部が重複する場合も含まれるものとする。ただし、後者の場合には、重複領域内の受光素子群どうしの対応関係が一定である必要がある。なぜならば、上記のとおり、測定された距離と、撮像された画像上の特定の画素とを容易に対応付けるためには、第１受光面及び第２受光面上の同じ被写点を捉える受光素子どうしが一定の対応関係を有することが前提となるからである。なお、２つの受光面の撮像範囲が完全に同じである場合とは、例えば、２つの受光面が同じ光学系を介して入射される波を受光する場合であり、２つの受光面の撮像範囲の一部が重複する場合とは、例えば、２つの受光面が近接した異なる光学系を介してそれぞれ入射される波を受光する場合である。
【００１１】
本発明の第２観点に係る撮像システムは、第１観点に係る撮像システムであって、第３受光面をさらに備える。第３受光面は、レーザの反射波を受光する。測定部は、第３受光面で受光された反射波に基づいて、距離データを測定する。
【００１２】
この撮像システムは、第１受光面及び第２受光面とは別に、被写体までの距離を測定するべくレーザの反射波を受光するための第３受光面を有する。従って、例えば、本発明の照射源、第３受光面及び測定部を１つの筐体内に有し（筐体の表面に取り付けられている場合を含む）又は同じ基板上に有し、被写体までの距離データを出力するような市販の測距センサーを、本発明に係る撮像システムに利用することも可能になる。すなわち、ここでは、測距ユニットの受光面が撮像ユニットの受光面から分離されており、撮像システムの設計の自由度が高くなる。
【００１３】
本発明の第３観点に係る撮像システムは、第１観点に係る撮像システムであって、測定部は、第２受光面で受光された反射波に基づいて、距離データを測定する。すなわち、ここでは、第２受光面は、被写体上でのレーザの反射点を被写体の画像上の画素に対応付ける役割と、被写体までの距離の算出用にレーザの反射波を受光する役割とを兼ねる。従って、部品点数を減らし、撮像システムの構築のコストを下げることができる。
【００１４】
本発明の第４観点に係る撮像システムは、第１観点から第３観点のいずれかに係る撮像システムであって、三次元処理部をさらに備える。三次元処理部は、合成データを参照することにより、被写体の三次元画像データを形成する。すなわち、ここでは、被写体までの距離データと被写体の画像データとを組み合わせることにより、被写体の三次元画像データを得ることができる。
【００１５】
本発明の第５観点に係る撮像システムは、第１観点から第４観点のいずれかに係る撮像システムであって、照射源は、レーザを走査する。測定部は、走査されたレーザの反射波に基づいて、距離データを順次測定する。重畳部は、第２受光面上の、走査されたレーザの反射波を受光した受光素子を順次特定し、順次特定される受光素子に対応する画素データに距離データを順次対応付けることにより、画像データに距離データを順次重畳する。
【００１６】
ここでは、照射源からのレーザが走査されることにより、レーザの複数の反射点までの距離が測定され、画像上の複数の画素にそれぞれ対応付けられる。従って、被写体の画像をより立体的に捉えることが可能になる。なお、レーザは、線的に走査されてもよいし、面的に走査されてもよい。あるいは、数点のみが走査されるものとしてもよい。
【００１７】
本発明の第６観点に係る撮像システムは、第１観点から第５観点のいずれかに係る撮像システムであって、第１受光面及び第２受光面に共通する光学系をさらに備える。従って、ここでは、第１受光面及び第２受光面が、同じ撮像範囲を容易に捉えることができる。
【００１８】
本発明の第７観点に係る撮像システムは、第１観点から第６観点のいずれかに係る撮像システムであって、第１受光面で受光される波は、可視光線であり、レーザは、赤外線である。すなわち、ここでは、赤外線レーザにより距離が測定され、可視光線から画像が形成される。従って、人が視認することのできる画像を立体的に再現することが可能になる。
【００１９】
本発明の第８観点に係る撮像方法は、撮像システムを用いて、被写体を撮像する撮像方法であって、照射ステップと、測定ステップと、画像形成ステップと、重畳ステップとを備える。撮像システムは、第１波長領域の波に選択的に感応する第１受光面と、第２波長領域の波に選択的に感応する第２受光面とを有する。第２受光面は、第１受光面と同じ撮像範囲を捉える。照射ステップは、第２波長領域のレーザを照射源から照射するステップである。測定ステップは、照射源から照射され、被写体で反射したレーザの反射波に基づいて、撮像システムから被写体までの距離データを測定するステップである。画像形成ステップは、第１受光面で受光された第１波長領域の波に基づいて、被写体の画像データを形成するステップである。重畳ステップは、第２受光面上の反射波を受光した受光素子を特定し、被写体の画像データに含まれる、特定された受光素子に対応する画素データに距離データを対応付けることにより、画像データに距離データを重畳した合成データを生成するステップである。
【００２０】
この撮像方法では、照射源から照射された後、被写体に反射して戻ってきたレーザの反射波を捉えることにより、被写体までの距離が測定される。また、この撮像方法で用いられる撮像システムは、異なる波長領域の波に選択的に感応する２つの受光面、すなわち、第１受光面及び第２受光面を有する。より具体的には、第１受光面は、被写体の画像を形成するための波を受光する一方、第２受光面は、照射源から照射されるレーザの反射波を受光する。しかし、これら２つの受光面は、同じ撮像範囲を捉えるものであり、従って、これら２つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。その結果、第２受光面上のレーザの反射波を捉えた受光素子を特定することにより、測定された距離が、第１受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。
【発明の効果】
【００２１】
本発明によれば、距離データが重畳された画像データを取得するに当たり、レーザを利用する測距ユニットによる距離データを撮像ユニットによる画像データ内の画素に容易に対応付けることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る撮像システム及びその対象空間の全体構成を示す図。
【図２】レーザの走査方向を示す図。
【図３】デジタルカメラの受光面を示す図。
【図４】デジタルカメラの受光面に含まれるフィルタの部分拡大図。
【図５】撮像システムの撮像処理を示すシーケンス図。
【図６】カラー画像データのデータ構造を示す図。
【図７】距離データ及び赤外線画像データが関連付けて記憶される様子を示す図。
【図８】合成データのデータ構造を示す図。
【図９】（ａ）監視映像の一例を示す図。（ｂ）監視映像内の人の軌跡を示す図。（ｃ）監視映像内の人の軌跡を示す別の図。
【図１０】監視映像の一例を示す図。
【図１１】変形例に係るデジタルカメラの光学系及び受光面を示す図。
【発明を実施するための形態】
【００２３】
以下、図面を参照しつつ、本発明の一実施形態に係る撮像システム及び撮像方法について説明する。
＜１．撮像システムの概要＞
本発明の一実施形態に係る撮像システム１は、図１に示すように、測距センサー１０と、デジタルカメラ２０とを有し、対象空間Ｓ１を撮像する。また、撮像システム１は、対象空間Ｓ１内の物体（人物Ｐ１，Ｐ２等）までの距離を計測し、距離データの重畳された画像データを生成する。ここで、距離データの重畳された画像データとは、奥行き情報を有する画像データであり、以下、合成データと呼ぶ。測距センサー１０は、レーザ式であり、対象空間Ｓ１内の物体に向けてレーザＬ１を照射し、それらの物体で反射して戻ってきたレーザＬ１の反射波Ｌ２を受光することにより、それらの物体までの距離を測定する。
【００２４】
また、撮像システム１は、コンピュータ３０を有し、このコンピュータ３０には、測距センサー１０により測定された距離データと、デジタルカメラ２０により撮像された画像データとがリアルタイムに出力される。コンピュータ３０は、これらのデータを組み合わせた合成データを生成するとともに、ユーザからの指示に応じて、この合成データに基づく三次元画像データを形成する。
【００２５】
さらに、撮像システム１は、測距センサー１０の向き及び位置を変更する位置決めユニット４０を有する。位置決めユニット４０は、コンピュータ３０により制御され、測距センサー１０の向き及び位置を変更することにより、距離を測定する対象（対象空間Ｓ１内の物体）を変化させる。
【００２６】
＜２．各部の詳細な構成＞
＜２−１．測距センター＞
図１に示すように、測距センサー１０は、レーザＬ１を照射する照射源１１と、レーザＬ１の反射波Ｌ２を受光する受光面１２とを有する。照射源１１及び受光面１３は、同じ筐体１６内に収容されている。なお、本実施形態において、照射源１１が照射するレーザＬ１は、指向性の高い近赤外線であり、受光面１２は、照射源１１が照射するレーザＬ１の波長領域の波に選択的に感応する。受光面１２は、略同一平面上に格子状に配列され、レーザＬ１の波長領域の波のみを透過させる近赤外線フィルタや、ＣＣＤイメージセンサー等からなる受光素子群を有する。受光面１２の前方には、光を集束させるレンズ（図示されない）が配置されている。なお、特に断わらない限り、本実施形態では、「前」又は「正面」とは、撮像システム１から対象空間Ｓ１へ向かう方向を意味し、「後」又は「背面」とは、その反対の方向を意味するものとする。
【００２７】
照射源１１は、ＬＥＤ等からなり、筐体１６の前面に配置され、レーザＬ１を前方へ照射する。照射源１１から照射されたレーザＬ１は、対象空間Ｓ１内の物体に衝突し、その衝突点で乱反射する。受光面１２は、照射源１１と同じく前方を向くように、照射源１１と同じく筐体１６の前面に配置されている。その結果、受光面１２は、対象空間Ｓ１内の物体に衝突して反射し、測距センサー１０まで戻ってきたレーザＬ１の反射波Ｌ２を安定して検出することができる。
【００２８】
また、測距センサー１０は、測距センサー１０全体の動作を制御する制御部１３を有する。制御部１３は、筐体１６内に収容され、照射源１１及び受光面１２に接続されている。制御部１３は、照射源１１のＬＥＤを駆動する駆動回路や、受光面１２からの出力信号を処理する信号処理部等からなり、照射源１１からレーザＬ１が照射されるタイミングを制御するとともに、受光面１２でレーザＬ１の反射波Ｌ２が検出されたタイミングを監視する。そして、制御部１３は、これらのタイミングに基づいて、測距センサー１０からレーザＬ１の衝突点までの距離データを算出する。この距離データは、算出後、直ちに制御部１３からコンピュータ３０へと出力される。
【００２９】
また、測距センサー１０は、デジタルカメラ１０に近接してその直上方に、図示されない支持機構により固定的に配置されている。従って、測距センサー１０により測定された距離データは、厳密には、測距センサー１０からレーザＬ１が衝突した物体までの距離データであるものの、デジタルカメラ１０からレーザＬ１が衝突した物体までの距離データに近似し、これと見做すことができる。
【００３０】
＜２−２．位置決め変更ユニット＞
図１に示すように、位置決めユニット４０は、測距センサー１０の筐体１６の背面に固定された棒状の回転軸４１と、回転軸４１の動作を制御する制御部４２とを有する。回転軸４１は、軸心Ａ１の周りを回転可能であるとともに、軸心Ａ１が延びる方向に伸縮可能である。制御部４２は、回転軸４１を駆動する駆動回路や、コンピュータ３０からの制御信号を処理する信号処理部等からなり、コンピュータ３０からの制御信号に従って、この回転運動及び伸縮運動を制御する。そして、この回転運動及び伸縮運動により、測距センサー１０によるレーザＬ１の照射方向が、矢印Ｋ１の方向に沿って走査範囲Ｒ１内を段階的に隈なく走査されることになる（図２参照）。なお、走査範囲Ｒ１は、前後方向に略垂直な面内に規定される。言い換えると、制御部４２は、回転軸４１の動作を制御することにより、測距センサー１０の向き及び位置を変更し、それにより、レーザＬ１の照射方向が走査範囲Ｒ１内を左右方向に往復動しつつ、往路と復路との折り返し地点で上から下へ小刻みに移動するようにする。
【００３１】
なお、図２中には、参考として、デジタルカメラ２０による撮像範囲Ｒ２が示されている。ここで、撮像範囲Ｒ２は、レーザＬ１の走査面（前後方向に略垂直な面）上への、対象空間Ｓ１の投影図である。そして、後述するとおり、デジタルカメラ２０の画角、すなわち、撮像範囲Ｒ２は調整可能であるが、画角が最大の時にも撮像範囲Ｒ２が走査範囲Ｒ１内に収まるように、回転軸４１の回転運動及び伸縮運動の移動範囲が設計されている。
【００３２】
＜２−３．デジタルカメラ＞
デジタルカメラ２０は、対象空間Ｓ１を可視光線に基づいて撮像するカラーカメラであり、ユーザの操作に応じて、静止画及び動画の両方を撮像することができる。図１に示すように、デジタルカメラ２０は、光学系２１と、光学系２１を介し入射した波を受光する受光面２２とを有する。本実施形態では、光学系２１には、ズームレンズ及びフォーカスレンズが含まれている。ズームレンズは、ズームボタン等の操作インターフェース（図示されない）に対するユーザの操作に従って、光学系２１の光軸Ａ２に沿って移動することにより、光学系２１で結像する画像の画角、すなわち、撮像範囲Ｒ２を拡大及び縮小させる。一方、フォーカスレンズは、フォーカスボタン等の操作インターフェース（図示されない）に対するユーザの操作に従って、光学系２１の光軸Ａ２に沿って移動することにより、光学系２１で結像する画像のピントを調整する。なお、ユーザは、画角及びピントの調整を、コンピュータ３０経由でデジタルカメラ２０に指示することも可能である。
【００３３】
光学系２１及び受光面２２は、デジタルカメラ２０の筐体２６内に収容されている。光学系２１は、筐体２６の前面側、すなわち、対象空間Ｓ１側に配置されており、受光面２２、光学系２１、対象空間Ｓ１は、この順番に後方から前方へ向かう方向に一直線状に配列されている。
【００３４】
図３に示すように、受光面２２は、略同一平面上に多数のフィルタ素子が格子状に配列されたフィルタ２２ａと、略同一平面上に多数のフォトダイオードが配列されたＣＣＤイメージセンサー２２ｂとを有する。そして、フィルタ２２ａに含まれるフィルタ素子と、ＣＣＤイメージセンサー２２ｂに含まれるフォトダイオードとは、１対１で対応しており、対応関係にある１のフィルタ素子と１のフォトダイオードとは、１の受光素子を形成している。また、対応関係にある１のフィルタ素子と１のフォトダイオードとは、前後方向に対面するような態様で配置されており、その結果、特定のフィルタ素子を透過した波は、特定のフォトダイオードを感光させて電荷を蓄積させる。なお、図３では、分かり易くするために、フィルタ２２ａとＣＣＤイメージセンサー２２ｂとの間の距離を大きく示しているが、実際には両者の距離は近接しているものとする。
【００３５】
図４は、フィルタ２２ａの部分拡大図である。図４に示すとおり、フィルタ２２ａでは、赤色光のみを透過させるＲフィルタ素子（図４中で「Ｒ」で示す）と、緑色光のみを透過させるＧフィルタ素子（図４中で「Ｇ」で示す）と、青色光のみを透過させるＢフィルタ素子（図４中で「Ｂ」で示す）と、レーザＬ１の波長領域の波（近赤外線）のみを透過させるＩＲフィルタ素子（図４中で「ＩＲ」で示す）とが、一定の規則に沿って同数だけ繰り返し出現するパターンで配列されている。すなわち、フィルタ２２ａとは、Ｒフィルタ素子と、Ｇフィルタ素子と、Ｂフィルタ素子と、ＩＲフィルタ素子とを１つずつ２×２のマトリクス状に並べたユニットＵＦが、格子状に配列されたものである。フィルタ２２ａに含まれるユニットＵＦは、光学系２１で撮像される画像に含まれる画素に１対１で対応する。
【００３６】
そして、以上の説明から明らかなとおり、フィルタ２２ａと、ＣＣＤイメージセンサー２２ｂとは、略同一平面上に重なるように配置される４つの受光面を形成する。４つの受光面とは、赤色光の波長領域の波に選択的に感応する多数の受光素子（Ｒ受光素子）が格子状に配列されたＲ受光面と、緑色光の波長領域の波に選択的に感応する多数の受光素子（Ｇ受光素子）が格子状に配列されたＧ受光面と、青色光の波長領域の波に選択的に感応する多数の受光素子（Ｂ受光素子）が格子状に配列されたＢ受光面と、レーザＬ１の波長領域の波（近赤外線）に選択的に感応する多数の受光素子（ＩＲ受光素子）が配列されたＩＲ受光面である。なお、Ｒ受光面と、Ｇ受光面と、Ｂ受光面との３つの受光面は、全体として、可視光線に選択的に感応するＲＧＢ受光面と捉えることができる。
【００３７】
ここで、Ｒ受光面と、Ｇ受光面と、Ｂ受光面と、ＩＲ受光面とは、共通する光学系２１を透過した波を受光する。つまり、これら４つの受光面は、同じ撮像範囲Ｒ２を捉えるものであり、従って、これら４つの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有する。
【００３８】
ところで、さらに、デジタルカメラ２０は、筐体２６内に制御部２３と、メモリ２４とを有する。制御部２３は、適当な制御回路、ＣＰＵ、ＲＡＭ、ＲＯＭ等からなり、ＲＯＭやメモリ２４内に格納されているプログラムを実行することにより、デジタルカメラ２０全体の動作を制御する。具体的には、制御部２３は、受光面２２に接続されており、受光面２２での露光のタイミングや、受光面２２上の受光素子群に蓄積された電荷を出力するタイミング等を制御する。また、制御部２３は、受光素子群から出力された電荷の量を受光素子単位で画素データに換算し、これらの画素データから対象空間Ｓ１を写す平面的な画像データを形成する。なお、以下では、Ｒ受光素子に対応する画素データをＲデータ、Ｇ受光素子に対応する画素データをＧデータ、Ｂ受光素子に対応する画素データをＢデータ、ＩＲ受光素子に対応する画素データをＩＲデータと呼ぶ。また、制御部２３には、メモリ２４が接続されている。制御部２３により形成された画像データは、メモリ２４内に蓄積されるとともに、リアルタイムにコンピュータ３０に転送される。なお、メモリ２４は、フラッシュメモリ等の不揮発性メモリである。
【００３９】
＜２−４．コンピュータ＞
コンピュータ３０は、画像処理プログラム２がインストールされている汎用のパーソナルコンピュータである。画像処理プログラム２は、測距センサー１０により測定された距離データ及びデジタルカメラ２０により撮像された画像データから合成データを生成したり、合成データに基づいて三次元画像データを形成したり、三次元画像データを表示部３４に表示したりするためのソフトウェアである。画像処理プログラム２は、コンピュータ３０に後述する以下の動作を実行させる。
【００４０】
図１に示すように、コンピュータ３０は、制御部３１と、記憶部３２と、入力部３３と、表示部３４と、通信部３５とを有し、これらの部３１〜３５は、相互に通信可能である。本実施形態では、制御部３１は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されており、記憶部３２は、ハードディスク等から構成されている。画像処理プログラム２は、記憶部３２内に格納されており、制御部３１は、記憶部３２から画像処理プログラムを読み出して実行することにより、重畳部３１ａ及び三次元処理部３１ｂとして動作する。重畳部３１ａ及び三次元処理部３１ｂの動作については、後述する。入力部３３は、マウスおよびキーボート等から構成されており、コンピュータ３０に対するユーザからの操作を受け付けるユーザインターフェースである。表示部３４は、液晶ディスプレイ、電子ホログラフィ方式のデバイス等から構成されており、三次元画像データ等をユーザに対し表示するユーザインターフェースである。通信部３５は、コンピュータ３０を外部機器である測距センサー１０、位置決めユニット４０及びデジタルカメラ２０に接続する通信インターフェースである。
【００４１】
＜３．撮像システムの動作＞
以下、図５を参照しつつ、撮像システム１により対象空間Ｓ１が撮像され、奥行き情報を有するカラー画像データである合成データが形成されるまでの撮像処理について説明する。なお、簡単のため、以下では、１枚の静止画が撮像される様子について説明するが、動画が撮像される場合には、各フレームについて図５の撮像処理が繰り返されるものとする。
【００４２】
ユーザが、デジタルカメラ２０の筐体２６上に配置されるレリーズボタン等の操作インターフェース（図示されない）を操作すると、デジタルカメラ２０の制御部１３によりその旨が検知され、図５の撮像処理が開始する。なお、図５の撮像処理は、ユーザがコンピュータ３０経由で指示を与えることによっても開始し得る。その場合には、コンピュータ３０の制御部３１からデジタルカメラ２０の制御部２３へ、撮像処理の開始命令が送信される。ここで、ユーザは、撮像処理を開始させる前に、デジタルカメラ２０のズームレンズ及びフォーカスレンズの位置を調整し、所望のとおり撮像範囲Ｒ２を設定し、ピントを調整しておく必要がある。
【００４３】
まず、ステップＳ１１として、デジタルカメラ２０の制御部２３は、図示されないシャッターを開く等して、受光面２２に可視光線に基づいて対象空間Ｓ１を撮像させる。その結果、Ｒ受光面上の各Ｒ受光素子に蓄積された電荷と、Ｇ受光面上の各Ｇ受光素子に蓄積された電荷と、Ｂ受光面上の各Ｂ受光素子に蓄積された電荷とが制御部２３により処理され、対象空間Ｓ１を写す画像データが形成される。この画像データは、Ｒ受光素子に蓄積された電荷の量に応じたＲデータと、Ｇ受光素子に蓄積された電荷の量に応じたＧデータと、Ｂ受光素子に蓄積された電荷の量に応じたＢデータとを画素単位で合成したカラー画像データである。そして、このカラー画像データは、メモリ２４内に格納されるとともに、直ちに制御部２３からコンピュータ３０へ転送され、図６に示す態様で記憶部３２内に記録される。すなわち、図６に示すとおり、カラー画像データの各画素の番号（ｍ１，ｍ２）に関連付けて、記憶部３２内にＲＧＢデータが格納される。なお、番号（ｍ１，ｍ２）の画素とは、このカラー画像の左からｍ１番目かつ上からｍ２番目の画素である（ただし、ｍ１＝１，２，・・・，Ｍ１であり、ｍ２＝１，２，・・・，Ｍ２）。従って、このカラー画像データのサイズは、Ｍ１×Ｍ２となる。
【００４４】
続くステップＳ１２では、測距センサー１０により対象空間Ｓ１内の物体までの距離データが測定される。具体的には、コンピュータ３０の制御部３１は、位置決めユニット４０、測距センサー１０及びデジタルカメラ２０を同期させつつ、以下の処理を実行する。すなわち、制御部３１は、測距センサー１０の制御部１３へ計測命令を送信するとともに、デジタルカメラ２０の制御部２３へ撮像命令を送信する。計測命令を受信した制御部１３は、照射源１１にレーザＬ１を照射させ、受光面１２にその反射波Ｌ２を検出させる。そして、制御部１３は、レーザＬ１が照射されてからその反射波Ｌ２が検出されるまでの時間を計測し、その時間や赤外線の伝播速度（光速）等から、レーザＬ１が衝突した物体までの距離データを算出する。そして、この距離データは、直ちに制御部２３からコンピュータ３０へ転送され、記憶部３２内に記録される。
【００４５】
一方、撮像命令を受信したデジタルカメラ２０の制御部２３は、測距センサー１０が距離データを算出するのと並列に、照射源１１から照射されたレーザＬ１の別の反射波Ｌ３を受光面２２に受光させる。すなわち、ここでは、ＩＲ受光面上の各ＩＲ受光素子に蓄積された電荷が制御部２３により処理され、対象空間Ｓ１を写す画像データが形成される。この画像データは、ＩＲ受光素子に蓄積された電荷の量に応じたＩＲデータを画素データとして含む赤外線画像データである。そして、この赤外線画像データは、メモリ２４内に格納されるとともに、直ちに制御部２３からコンピュータ３０へ転送され、記憶部３２内に記録される。なお、上記のとおり、この赤外線画像データと、ステップＳ１１のカラー画像データとは、同じ撮像領域Ｒ２を捉える同じサイズの画像データである。従って、上記カラー画像データと同様、この赤外線画像データのサイズは、Ｍ１×Ｍ２であり、この赤外線画像の左からｍ１番目かつ上からｍ２番目の画素の番号は、（ｍ１，ｍ２）と表される（ただし、ｍ１＝１，２，・・・，Ｍ１であり、ｍ２＝１，２，・・・，Ｍ２）。
【００４６】
そして、１回の計測動作と、１回の赤外線画像データの取得動作とが終了すると、コンピュータ３０の制御部３１は、位置決めユニット４０の制御部４２へ走査命令を送信する。走査命令を受信した制御部４２は、照射源１１からのレーザＬ１の照射方向が図２中の矢印Ｋ１に沿って次の照射位置に移動するように、回転軸４１を回転又は伸縮させる。その後、コンピュータ３０の制御部３１は、位置決めユニット４０の制御部４２から回転軸４１の回転又は伸縮が終了した旨の通知を受け付け、これに応じて、上述したのと同様の態様で、測距センサー１０による計測動作と、デジタルカメラ２０による赤外線画像データの取得動作とを再度実行させる。この計測動作と、赤外線画像データの取得動作とは、照射源１１からのレーザＬ１が、図２に示される走査範囲Ｒ１内を隈なく走査するまで繰り返し実行される。そして、その間、コンピュータ３０の制御部３１は、測距センサー１０の制御部１３から順次送信されてくる距離データと、デジタルカメラ２０の制御部２３から順次送信されてくる赤外線画像データとを、受信の順番ｎ＝１，２，・・・，Ｎ１×Ｎ２に関連付けて、記憶部３２内に順次記録してゆく。すなわち、連続的に取得される距離データＤ（ｎ）と、赤外線画像データＩIR（ｎ）とは、図７に示すような態様で、記憶部３２内に記憶される。ここで、Ｎ１は、走査の横方向の解像度であり、Ｎ２は、走査の縦方向の解像度である。なお、測距センサー１０の走査の全体の解像度Ｎ１×Ｎ２は、デジタルカメラ４０の解像度Ｍ１×Ｍ２と同じであることが望ましいが、例えば、これより小さくてもよい。
【００４７】
続いて、ステップＳ１３では、コンピュータ３０の重畳部３１ａにより、ステップＳ１１で取得されたカラー画像データと、ステップＳ１２で取得された距離データとを合成した合成データが生成される。具体的には、重畳部３１ａは、各ｎの値について、赤外線画像データＩIR（ｎ）を参照することにより、カラー画像データに含まれる特定の画素データ（ＲＧＢデータ）に距離データＤ（ｎ）を順次対応付けてゆく。すなわち、重畳部３１ａは、各ｎの値について、赤外線画像データＩIR（ｎ）に係る画像に含まれる全ての画素のうち、レーザＬ１の反射波Ｌ２を捉えた画素（例えば、画素値が所定範囲に収まる画素）の番号（ｍ１，ｍ２）を特定する。これは、ＩＲ受光面上のＩＲ受光素子群の中から、レーザＬ１の反射波Ｌ２を受光したＩＲ受光素子を特定することと同じである。なお、１の赤外線画像について特定される画素ないし受光素子の数は、０個の場合も、１個の場合も、複数個の場合もあり、これは、光学系２１のピントの状態や、測距センサー１０の解像度Ｎ１×Ｎ２や、赤外線画像データＩIR（ｎ）及びカラー画像データの解像度Ｍ１×Ｍ２等によって決まる。
【００４８】
続いて、重畳部３１ａは、カラー画像データに含まれる、特定された番号（ｍ１，ｍ２）の画素のＲＧＢデータ（特定されたＩＲ受光素子に対応するＲＧＢデータ）に距離データＤ（ｎ）を関連付けることにより、カラー画像データに距離データＤ（ｎ）を重畳する。なお、特定されたＩＲ受光素子に対応するＲＧＢデータとは、特定されたＩＲ受光素子と同じユニットＵＦに含まれるＲ，Ｇ及びＢ受光素子に対応するＲＧＢデータである。
【００４９】
以上の結果、図８に示すデータ構造を有する合成データが形成される。すなわち、カラー画像データの各画素の番号（ｍ１，ｍ２）に関連付けて、ＲＧＢデータの他、距離データが格納されてゆく。なお、関連付けられるべき距離データが存在しない画素については、「ＮＵＬＬ」値が格納される。従って、例えば、図８の合成データを解析すれば、番号（１，１）の画素に写っている物体の色は、Ｒ値＝１２，Ｇ値＝１１０，Ｂ値＝２５０の色であり、かつ、その物体までの距離が３５．００ｍであると判断することができる。また、番号（１，２）の画素に写っている物体の色は、Ｒ値＝２１０，Ｇ値＝４０，Ｂ値＝６５の色であり、かつ、その物体までの距離が不明であると判断することができる。
【００５０】
以上の態様で合成データが生成されると、コンピュータ３０は、この合成データに基づいて三次元画像データを表示部３４に表示することが可能な状態となる。具体的には、三次元処理部３０ｂは、ユーザが入力部３３を介して所定の操作を行ったことを検知すると、記憶部３２内の合成データを参照することにより、三次元画像データを形成する。ここで形成される三次元画像データの種類は、ユーザが入力部３３を介して選択可能である。なお、ユーザが選択可能な三次元画像データの種類には、左眼画像及び右眼画像を有するステレオ画像データや、空間内に三次元的に映像を写し出すホログラフデータや、立体物を平面上に投影した投影図の画像データ等が含まれる。三次元処理部３０ｂは、画像処理プログラム２に含まれる、ユーザにより選択された三次元画像データの種類に応じたプログラムモジュールを実行することにより、合成データに含まれる距離データ及びＲＧＢデータから三次元画像データを形成する。この三次元画像データは、表示部３４上で表示される。なお、三次元処理部３０ｂは、ユーザの操作を待たず、合成データが形成される度にリアルタイムに三次元画像データを形成し、表示部３４に表示することも可能である。これは、動画が撮像される場合も同様である。
【００５１】
＜４．用途＞
本実施形態に係る撮像システム１は、様々な用途で利用することが可能であるが、例えば、防犯システムとして利用することも可能である。そのようなケースでは、測距センサー１０及びデジタルカメラ２０は、その前面側が監視対象となる領域を向くような見通しのよい位置等に配置され、コンピュータ３０は、監視ルーム等に配置される。そして、デジタルカメラ２０で撮像される画像データは、監視映像の動画データとしてコンピュータ３０にリアルタイムに転送される。
【００５２】
ところで、一般の平面的な画像データを取得する監視カメラでは、例えば、図９（ａ）に示すようなフレームが時系列に並ぶ、２人の人物を捉えた動画データが得られたとしても、この二人が図９（ｂ）に示すような奇跡を描いてすれ違ったのか、それとも図９（ｃ）に示すような奇跡を描いてＵターンしたのかを判別することが困難である。ところが、撮像システム１では、二人の人物の奥行き情報が得られるため、両者がすれ違ったのか、Ｕターンしたのかを容易に判別することができる。また、図１０に示すような例においても、人が地面で体操をしているのか、ジャンプしているのかの判別が困難である。しかしながら、平面的な画像データに奥行き情報が加えられる撮像システム１では、そのような判別を容易に行うことができる。
【００５３】
なお、防犯システムにおいては、様々な公知の画像処理技術と組み合わせて、合成データないし三次元画像データをコンピュータ３０により自動的に解析することにより、両者がすれ違ったのか、Ｕターンしたのか等、立体的な情報を必要とする判断を自動的に行ってもよい。そして、異常が予知又は検出されれば、その旨がコンピュータ３０から自動的に出力されるようにしてもよい。このような異常の報知の態様としては、スピーカから音声を出力したり、ディスプレイ上にメッセージを表示させたり、電子メールやＦＡＸ等で所定の連絡先に報知する態様等が考えられる。これにより、不審者や不審物等を早期発見することが可能になる。
【００５４】
撮像システム１の他の用途としては、例えば、美術品等の映像を記録するデジタルアーカイブシステムとして利用することや、高齢者や病人等の見守りシステムとして利用すること等が考えられる。
【００５５】
＜５．特徴＞
上記実施形態では、撮像システム１は、照射源１１から照射された後、被写体に反射して戻ってきたレーザＬ１の反射波Ｌ２を捉えることにより、被写体までの距離を測定する。また、撮像システム１は、異なる波長領域の波に選択的に感応する異なる受光面、すなわち、ＲＧＢ受光面及びＩＲ受光面を有する。具体的には、ＲＧＢ受光面は、被写体の画像を形成するための可視光線を受光する一方、ＩＲ受光面は、照射源１１から照射されるレーザＬ１の反射波Ｌ３を受光する。しかし、これらの受光面は、同じ撮像範囲を捉えるものであり、従って、これらの受光面上の同じ被写点を捉える受光素子どうしは、一定の対応関係を有することになる。つまり、撮像システム１は、受光素子群により捉えられる画素値を参照するまでもなく（言い換えると、受光素子群により撮像された画像を画像処理するまでもなく）、これらの受光面上の受光素子群の対応関係を把握している。その結果、重畳部３１ａは、ＩＲ受光面上のレーザＬ１の反射波Ｌ３を捉えた受光素子を特定することにより、測距センサー１０で測定された距離が、ＲＧＢ受光面で撮像された画像上のどの画素に対応する物体までの距離であるのかを容易に判断し、この距離と画像上の特定の画素とを容易に対応付けることができる。従って、ここでは、測距センサー１０による距離データを、デジタルカメラ２０によるカラー画像データ内の画素に容易に対応付けることができる。
【００５６】
つまり、上記実施形態では、測距センサー１０が距離を測定する点と、デジタルカメラ２０により撮像されるカラー画像データ上の点とを対応付けるために、計算負荷の高い複雑な演算を必要としない。従って、撮像システム１による計算時の推論誤差がなくなり、また、測距センサー１０及びデジタルカメラ２０に関する各種のパラメータが未知であっても、上記対応付けが可能になる。
【００５７】
＜６．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
【００５８】
＜６−１＞
受光面１２及び受光面２２としては、ＣＭＯＳセンサー等、ＣＣＤイメージセンサー以外のものを使用してもよい。
＜６−２＞
受光面２２を、図１１に示すようなものに変更してもよい。すなわち、赤色光、緑色光、青色光及び赤外線をプリズムにより分光し、Ｒ受光面、Ｇ受光面、Ｂ受光面及びＩＲ受光面が平行でなく、異なる平面上に配置されるようにしてもよい。また、同様の考え方に従って、例えば、光学系２１へ入射する波をプリズムにより可視光線及び赤外線の２つに分光してもよい。
【００５９】
＜６−３＞
受光面１２を省略し、デジタルカメラ２０のＩＲ受光面で受光されたレーザＬ１の反射波Ｌ３に基づいて距離データを測定するようにしてもよい。この場合、デジタルカメラ２０のＩＲ受光面での反射波Ｌ３の受光に関する情報を、デジタルカメラ２０の制御部２３から測距センサー１０の制御部１３に転送することにより、制御部１３により距離データを測定可能とすることができる。あるいは、照射源１１からのレーザＬ１の照射に関する情報を、制御部１３から制御部２３に転送することにより、制御部２３が距離データを測定するようにしてもよい。あるいは、これらの情報をコンピュータ３０の制御部３１に転送することにより、制御部３１が距離データを測定するようにしてもよい。この変形例によれば、デジタルカメラ２０のＩＲ受光面は、被写体上でのレーザＬ１の反射点をその被写体の画像上の画素に対応付ける役割と、被写体までの距離の算出用にレーザＬ１の反射波を受光する役割とを兼ねる。従って、部品点数を減らし、撮像システム１の構築のコストを下げることができる。
【００６０】
＜６−４＞
測距センサー１０の制御部１３、デジタルカメラ２０の制御部２３及びコンピュータ３０の制御部３１における処理の分担は、上述したものに限られず、制御部１３における処理の一部又は全部を制御部２３又は制御部３１が実行してもよいし、制御部２３における処理の一部又は全部を制御部１３又は制御部３１が実行してもよいし、制御部３１における処理の一部又は全部を制御部１３又は制御部２３が実行してもよい。
【００６１】
＜６−５＞
レーザＬ１の反射波Ｌ２，Ｌ３に基づいて対象空間Ｓ１内の物体までの距離データを測定する方法は、上述したものに限られない。例えば、レーザＬ１が照射されてからその反射波Ｌ２，Ｌ３が戻ってくるまでの位相差、レーザＬ１の反射波Ｌ２，Ｌ３が受光される受光面１２，２２上の位置、レーザＬ１の反射波Ｌ２，Ｌ３の強度から算出する等、当業者は公知の方法の中から任意のものを適宜選択し得る。
【００６２】
＜６−６＞
レーザＬ１は、近赤外線に限られず、中赤外線や遠赤外線であってもよいし、赤外線以外の波であってもよい。また、デジタルカメラ２０は、カラー画像データの代わりに、白黒画像データや赤外線画像データ等の他の種類の画像を撮像するカメラであってもよい。なお、デジタルカメラ２０がカラー画像データの代わりに赤外線画像データを撮像する場合には、照射源１１から照射されるレーザＬ１を可視光線等の赤外線以外の波としたり、同じ赤外線であってもレーザＬ１とは異なる波長領域の赤外線とする等、受光面２２で異なる種類の波長領域の波を選択的に受光できるようにする必要がある。
【００６３】
＜６−７＞
デジタルカメラ２０は、平面的な画像データを撮像するものに限らず、一定の間隔を空けて略平行に並ぶ左眼用及び右眼用の２つの光学系を有するもの等、立体画像データを撮像可能なものであってもよい。このように、デジタルカメラ２０自体が立体的な画像データを撮像する場合には、測距センサー１０で撮像される距離データを奥行き情報の補正用に使用することができる。
【００６４】
＜６−８＞
デジタルカメラ２０は、例えば、魚眼レンズカメラや、全方位カメラ等、任意のタイプのカメラとすることができる。
＜６−９＞
合成データから得られる三次元画像データは、上述したものに限られず、立体的な視覚を得ることが可能な任意のタイプの画像データとすることができる。
【００６５】
＜６−１０＞
赤外線画像データＩIR（ｎ）に係る画像に含まれる全ての画素のうち、レーザＬ１の反射波Ｌ２を捉えた画素を特定する態様は、上述したもの、すなわち、画素値が所定範囲に収まる画素を検出する態様に限られない。例えば、レーザＬ１を照射していないタイミングでＩＲ受光面により撮像される赤外線画像データと比較し、画素値が有意に大きい画素を検出してもよい。
【００６６】
＜６−１１＞
測距センサー１０の照射源１１からのレーザＬ１の走査の態様は、面的な走査に限られず、例えば、数点のみを走査するものとしてもよいし、線的に走査するものとしてもよい。
＜６−１２＞
デジタルカメラ１０から対象空間Ｓ１内の物体までの距離データがより正確に得られるよう、測距センサー１０により測定される、測距センサー１０から物体までの距離データを補正してもよい。例えば、測距センサー１０とデジタルカメラ１０の位置関係に関するパラメータ等をコンピュータ３０の記憶部３２に予め記憶させておけば、これを利用することができる。また、位置決めユニット４０による回転軸４１の、ひいては測距センサー１０の回転運動及び伸縮運動の情報も利用することができる。
【００６７】
＜６−１３＞
ＲＧＢ受光面の撮像範囲とＩＲ受光面の撮像範囲とは、完全に同じである必要はなく、一部のみが重複するものであってもよい。このような構成を実現するためには、例えば、近接した２つの光学系を用意し、これら２つの光学系を介して入射される波をそれぞれＲＧＢ受光面とＩＲ受光面で受光するようにすればよい。また、ＲＧＢ受光面の撮像範囲内の重複領域と、ＩＲ受光面の撮像範囲内の重複領域との対応関係を示すデータを、予め算出してコンピュータ３０の記憶部３２内に格納しておく等し、ステップＳ１３で特別な画像処理を実行せずともこの対応関係を把握できるようにしておくことが望ましい。
【００６８】
＜６−１４＞
カラー画像データと赤外線画像データの解像度は、等しくなくてもよく、例えば、後者の方が小さくていもよい。ただし、測距センサー１０の解像度Ｎ１×Ｎ２と、赤外線画像データの解像度とは、等しいことが望ましい。赤外線画像データは、測距センサー１０で距離データが測定された時の走査位置を示す画像データであるからである。
【符号の説明】
【００６９】
１  撮像システム
１０  測距センサー
１１  照射源
１２  受光面（第３受光面）
１３  制御部（測定部）
２０  デジタルカメラ
２１  光学系
２２  受光面（撮像部）
２３  制御部（画像形成部）
３０  コンピュータ
３１  制御部
３１ａ    重畳部
３１ｂ    三次元処理部
Ｌ１  レーザ
Ｌ２，Ｌ３  レーザの反射波
Ｐ１，Ｐ２  人物（被写体）
Ｓ１  対象空間（被写体）
【図１】
2013207415.tif 000003
【図２】
2013207415.tif 000004
【図３】
2013207415.tif 000005
【図４】
2013207415.tif 000006
【図５】
2013207415.tif 000007
【図７】
2013207415.tif 000008
【図１０】
2013207415.tif 000009
【図１１】
2013207415.tif 000010
【図６】
2013207415.tif 000011
【図８】
2013207415.tif 000012
【図９】
2013207415.tif 000013