(57)【要約】    【課題】  光切断法による形状測定と同等の撮像回数で対象物の各部の詳細なスペクトル情報を得る。    【解決手段】  三次元情報入力装置１００は、物体OBJに向けて第１の光ＳＬを照射する照射手段１１０と、該第１の光の物体上での形状を表す第１の画像および物体で反射した該第１の光のスペクトルを表す第２の画像を取得する撮像手段１３０とを有する。また、三次元情報生成装置２２０は、第１の画像に基づいて、該物体の形状を算出する第１の処理手段２１０と、第１の画像と該物体で反射した第１の光のスペクトルを表す第２の画像とに基づいて、該物体の形状に対応付けられたスペクトル情報を生成する第２の処理手段２００，２１０とを有する。    【選択図】  図１
2005351871.tif 000002
【特許請求の範囲】
【請求項１】
物体に向けて第１の光を照射する照射手段と、
前記第１の光の前記物体上での形状を表す第１の画像および前記物体で反射した前記第１の光のスペクトルを表す第２の画像を取得する撮像手段とを有することを特徴とする物体情報入力装置。
【請求項２】
前記照射手段からの前記第１の光は、線形状の光であることを特徴とする請求項１に記載の物体情報入力装置。
【請求項３】
前記照射手段からの前記第１の光は白色光であり、前記スペクトルは可視波長域のスペクトルであることを特徴とする請求項１又は２に記載の物体情報入力装置。
【請求項４】
前記撮像手段は、前記物体で反射した前記第１の光を前記第１の画像を取得するための第１の光路と前記第２の画像を取得するための第２の光路とに導く光学部材を有することを特徴とする請求項１から３のいずれか１つに記載の物体情報入力装置。
【請求項５】
前記光学部材は、ハーフミラー、ビームスプリッタおよび回折素子のいずれかであることを特徴とする請求項４に記載の物体情報入力装置。
【請求項６】
前記撮像手段は、前記物体で反射した前記第１の光の光路に対して出し入れ可能で、該第１の光を分光する分光手段を有し、
該分光手段を前記光路外に出した状態で前記第１の画像を取得し、該分光手段を前記光路内に入れた状態で前記第２の画像を取得することを特徴とする請求項１から３のいずれか１つに記載の物体情報入力装置。
【請求項７】
前記撮像手段は、前記第１の画像を取得する第１の撮像部と、前記第２の画像を取得する第２の撮像部とを有することを特徴とする請求項１から６のいずれか１つに記載の物体情報入力装置。
【請求項８】
前記撮像手段は、前記第１の画像の部分と前記第２の画像の部分とを含む画像を取得する単一の撮像部を有することを特徴とする請求項１から６のいずれか１つに記載の物体情報入力装置。
【請求項９】
前記物体と前記第１の光とを相対移動させる掃引手段を有し、
前記撮像手段は、所定量の前記相対移動が行われるごとに前記第１および第２の画像を取得することを特徴とする請求項１から８のいずれか１つに記載の物体情報入力装置。
【請求項１０】
物体に照射された第１の光の該物体上での形状を表す第１の画像に基づいて、前記物体の形状を算出する第１の処理手段と、
前記第１の画像と前記物体で反射した前記第１の光のスペクトルを表す第２の画像とに基づいて、前記物体の形状に対応付けられたスペクトル情報を生成する第２の処理手段とを有することを特徴とする物体情報生成装置。
【請求項１１】
前記第２の処理手段は、前記第２の画像上での位置とスペクトル波長との対応を前記第１の画像に基づいて補正し、該補正結果に基づいて前記スペクトル情報を生成することを特徴とする請求項１０に記載の物体情報生成装置。
【請求項１２】
前記第１の処理手段は、前記物体の複数の部位に照射された前記第１の光の形状を示す前記第１の画像に基づいて、前記物体の三次元形状を算出し、
前記第２の処理手段は、前記第１の画像と、前記物体の前記複数部位で反射した前記第１の光のスペクトルを表す前記第２の画像とに基づいて、前記物体の三次元形状に対応付けられたスペクトル情報を生成することを特徴とする請求項１０又は１１に記載の物体情報生成装置。
【請求項１３】
請求項１から９のいずれか１つに記載の物体情報入力装置と、
請求項１０から１２のいずれか１つに記載の物体情報生成装置とを有することを特徴とする物体情報処理システム。
【請求項１４】
入射光を第１の光路と第２の光路とに導く光学部材と、
前記第１の光路を介して前記入射光の形状を表す第１の画像を取得し、かつ前記第２の光路を介して前記入射光のスペクトルを表す第２の画像を取得する画像取得手段とを有することを特徴とする撮像装置。
【請求項１５】
入射光の光路に対して出し入れ可能で、該入射光を分光する分光手段と、
前記分光手段を前記光路外に出した状態で、前記入射光の形状を表す第１の画像を取得し、該分光手段を前記光路内に入れた状態で前記入射光のスペクトルを表す第２の画像を取得する画像取得手段とを有することを特徴とする撮像装置。
【請求項１６】
物体に向けて第１の光を照射するステップと、
前記第１の光の前記物体上での形状を表す第１の画像および前記物体で反射した前記第１の光のスペクトルを表す第２の画像を取得するステップとを有することを特徴とする三次元情報入力方法。
【請求項１７】
物体に照射された第１の光の該物体上での形状を表す第１の画像に基づいて、前記物体の形状を算出するステップと、
前記第１の画像と前記物体で反射した前記第１の光のスペクトルを表す第２の画像とに基づいて、前記物体の形状に対応付けられたスペクトル情報を生成するステップとを有することを特徴とする物体情報生成方法。
【請求項１８】
請求項１６又は１７に記載の方法をコンピュータに実行させるためのプログラムであることを特徴とする物体情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実在する物体の形状およびスペクトル反射率を測定する技術に関し、特に物体の三次元形状および該三次元形状に対応したスペクトル反射率を測定する技術に関する。
【背景技術】
【０００２】
従来の光学式三次元形状入力装置、例えばMinolta Vividでは、光切断法による形状測定機構に加え、ＣＣＤカラーカメラを備えることにより、対象物（物体）の形状を表す形状データと対象物の表面各部の色を表すテクスチャマップを得ることができる。これにより、形状データから対象物をＣＧ(コンピュータ・グラフィックス)で再現する際に、表面色や模様までも再現することができる。
【０００３】
ただし、カラーカメラは限られた数の色フィルタ(一般的にはＲ，Ｇ，Ｂカラーフィルタ)を通して得られた像の組み合わせで色を測定するため、詳細なスペクトル情報を得ることはできない。このため、テクスチャマップに記録された色は、撮像時の照明下での色でしかなく、異なるスペクトルの照明光下で見られる色を知ることはできず、芸術作品のデジタルアーカイブや組成分析といった学術的用途へは利用が困難である。
【０００４】
また、特許文系１では、光切断法においてスリット光として単一波長のレーザー光を複数組み合わせることにより表面色を測定する手法が提案されている。但し、この手法では、複数の波長における反射率を測定することはできても、分光測定のような広範囲における連続的なスペクトル反射率を測定することはできない。
【０００５】
これらの用途に対応できる、より詳細なスペクトル情報を得る装置としては、非特許文献１にて提案されているようにイメージ分光器が用いられる。
【特許文献１】特許第２５０９７７６号公報
【非特許文献１】電子情報通信学会論文誌D-IIVol.J86-D-II No.6 pp1012-1019『３次元形状と表面スペクトル分布の同時計測システム』
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、イメージ分光器では、照明光を絞る開口スリットに対応した縦一線の部位の撮像しかできないため、上記非特許文献１にて提案のものでは、形状入力のためにパターン投影法を用いている。このため、一線の形状データを得るのに複数回の撮像が必要である。したがって、対象物全体のデータを得るためには、対象物を少しずつ回転させながら各角度において複数回の撮像を繰り返さなくてはならず、最終的に膨大な撮像回数が必要になるという問題がある。
【０００７】
そこで本発明では、イメージ分光と光切断法とを同じ照射光に基づいて行うことにより、光切断法による形状測定と同等の撮像回数で対象物の各部の詳細なスペクトル情報を得ることができる装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、１つの観点としての本発明の三次元情報入力装置（および方法）は、物体に向けて第１の光を照射する照射手段（ステップ）と、該第１の光の物体上での形状を表す第１の画像および物体で反射した該第１の光のスペクトルを表す第２の画像を取得する撮像手段（ステップ）とを有する。
【０００９】
また、他の観点としての本発明の三次元情報生成装置（および方法）は、物体に照射された第１の光の該物体上での形状を表す第１の画像に基づいて、該物体の形状を算出する第１の処理手段（ステップ）と、第１の画像と該物体で反射した第１の光のスペクトルを表す第２の画像とに基づいて、該物体の形状に対応付けられたスペクトル情報を生成する第２の処理手段（ステップ）とを有する。
【発明の効果】
【００１０】
本発明の物体情報入力装置（および方法）によれば、物体に照射された同じ光（第１の光）を利用して該物体の形状と該物体の各部のスペクトル情報を求めるために必要な画像を得ることができる。
【００１１】
また、本発明の物体情報生成装置（および方法）によれば、物体に照射された同じ光（第１の光）を利用して得られた形状を示す画像とスペクトルを示す画像とに基づいて、物体の形状と該物体の各部のスペクトル情報とを得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１３】
図１には、本発明の実施例１である三次元画像処理システム１００について説明する。三次元画像処理システム１００は、物体情報入力装置としての三次元情報入力装置１０５と、物体情報生成装置としての三次元情報生成装置２２０とにより構成されている。また、三次元情報入力装置１０５は、照射ユニット１１０と、掃引手段としての回転台  １２０と、撮像手段としての複合撮像ユニット１３０とを有する。
【００１４】
一方、三次元情報生成装置２２０は、それぞれコンピュータにより構成される、第２の処理手段の一部を構成する画像処理ユニット２００と、第１の処理手段および第２の処理手段の一部を構成する形状処理ユニット２１０とを有する。
【００１５】
本実施例では、対象物ＯＢＪの表面上で縦横に広がった領域内の三次元形状と該表面各部のスペクトル反射率とを計測する構成として説明を行うが、回転台１２０を備えず、対象物ＯＢＪの表面でスリット光により照明された一線上の各部の形状とスペクトル反射率を測定する装置としてもよい。なお、図１には説明のために対象物ＯＢＪも示されているが、この対象物ＯＢＪは本システムの構成要素ではない。
【００１６】
まず、三次元情報入力装置１０５の構成について詳しく説明する。照射ユニット１１０は、対象物ＯＢＪに向けてスリット光（第１の光）ＳＬを照射する。スリット光とは、２次元的な薄い平面内を進行する光の集合又は線状に一方向に延びる光であり、例えば直進ビーム光をシリンドリカルレンズによって一方向にのみ拡散させたり、光源からの拡散光を光源前方に配置した細長い長方形状の開口（絞り）を通過させたりすることによって形成される。なお、スリット光の太さ（線状光の線の太さ）は適宜選択可能である。
【００１７】
さらに、このスリット光は、測定対象スペクトル全域に対して有意な強度を持つ光である。本実施例では、可視波長域を測定対象スペクトル域とし、可視波長域全域に一様な強度を持つ白色光を用いる。ここで、スリット光ＳＬのスペクトル強度分布をＥ（λ）とする。
【００１８】
回転台１２０は、本実施例では、図２に示すように、被写体ＯＢＪを載置するテーブル１２０ａと、該テーブル１２０ｂを回転駆動するステッピングモータ等のアクチュエータ１２０ｂと、該アクチュエータ１２０ｂの駆動を制御する掃引コントローラ１２０ｃとにより構成され、スリット光ＳＬに対象物ＯＢＪの表面全体を掃引させる。スリット光ＳＬが対象物ＯＢＪの表面全体を効率良く掃引することができるように、該テーブル１２０ａはスリット光ＳＬが作る面（スリット光が線状に延びる方向）とは直交する方向に回転するように構成されている。掃引コントローラ１２０ｃは、形状処理ユニット２１０との間で情報の授受も可能であり、形状処理ユニット２００からの制御信号に応じてアクチュエータ１２０ｂの駆動を制御するとともに、テーブル１２０ａの回転角（回転位置）を検出して形状処理ユニット２１０に通知する。
【００１９】
なお、本実施例では、対象物ＯＢＪを照射ユニット１１０に対して移動（回転）させることによりスリット光ＳＬの対象物ＯＢＪに対する掃引を行う場合について説明しているが、照射ユニット１１０を対象物ＯＢＪに対して移動させることによってスリット光ＳＬを掃引するようにしてもよい。また、掃引方向は、本実施例のように一方向であってもよいし、複数方向であってもよい。さらに、照射ユニット１１０においてスリット光ＳＬの位置や方向を変化させてスリット光ＳＬを掃引するようにしてもよい。すなわち、掃引手段としては、スリット光ＳＬと対象物ＯＢＪとを相対移動させる構成であればよい。
【００２０】
複合撮像ユニット１３０は、本実施例では、結像光学系１３５と、光路分割器（光学部材）１３４と、光切断撮像部１３６と、スペクトル撮像部１３７とを有する。光切断撮像部１３６は、イメージセンサ１３３を有する。また、スペクトル撮像部１３７は、分光器１３２とイメージセンサ１３１とを有する。ここで、イメージセンサ１３１，１３３としては、ＣＣＤセンサやＣＭＯＳセンサなどが用いられる。
【００２１】
光路分割器１３４は、結像光学系１３５から入射した光（対象物ＯＢＪで反射したスリット光ＳＬ）の光路を光切断撮像部１３６とスペクトル撮像部１３７で同一の視野が得られるように分割し、両撮像部１３６，１３７に導く。光路分割器１３４としては、ハーフミラーやビームスプリッタ等が用いられる。
【００２２】
結像光学系１３５は、光切断撮像部１３６とスペクトル撮像部１３７とにより共用され、光路分割器１３４を介して両撮像部１３６，１３７のイメージセンサ１３３，１３１上に入射光を結像させる。該結像光学系１３５および光切断撮像部１３６により構成される光切断撮像系と、結像光学系１３５およびスペクトル撮像部１３７により構成されるスペクトル撮像系とは、瞳および光軸が一致している。
【００２３】
光切断撮像部１３６のイメージセンサ１３３は、光路分割器１３４からの光が形成する像、すなわちスリット光ＳＬの対象物ＯＢＪ上での形状像を撮像する。対象物ＯＢＪの表面に凹凸がある場合、対象物ＯＢＪ上に照射されたスリット光ＳＬは、該対象物ＯＢＪの表面形状に沿った凹凸形状を有する反射光となり、イメージ  センサ１３３は、該反射光の形状を撮像する。
【００２４】
分光器１３２は、光路分割器１３４からの光を波長ごとに分離してスペクトル撮像部１３７のイメージセンサ１３１に導く。該分光器１３２の分光面は、光路分割器１３４からの光が作る面に対して直交するよう配置されている。これにより、イメージセンサ１３１は、光路分割器１３４からの光、すなわち対象物ＯＢＪで反射したスリット光ＳＬのスペクトル像を撮像することができる。但し、対象物ＯＢＪの表面に凹凸がある場合、前述したように対象物ＯＢＪ上で反射したスリット光ＳＬは凹凸形状を有するため、イメージセンサ１３１で撮像されるスペクトル像は、後述するように該凹凸形状の影響を含む。
【００２５】
イメージセンサ１３１，１３３からの出力は、図３に示すように、ＡＤ変換器１３８によってＡ／Ｄ変換され、画像処理回路１３９に入力される。画像処理回路１３９は、イメージセンサ１３３からの出力のＡ／Ｄ変換信号に基づいて、上記形状像を示す光切断画像（第１の画像）を生成する。また、画像処理部１３９は、イメージセンサ１３１からの出力のＡ／Ｄ変換信号に基づいて、上記スペクトル像を示すスペクトル画像（第２の画像）を生成する。本実施例では、回転台１２０（つまりは対象物ＯＢＪ）を所定角度回転させるごとに光切断画像とスペクトル画像が取得される。
【００２６】
光切断画像は、画像処理ユニット２００と形状処理ユニット２１０に出力され、スペクトル画像は、画像処理ユニット２００に出力される。
【００２７】
なお、以下の説明において、画像面上でスリット光が作る面と平行な軸をＶ軸とし、分光面と平行な軸をＵ軸とする。また、光切断画像上で像点がＵ＝０となる方向を基準方向とし、該基準方向から波長λの光が入射したときにおけるスペクトル画像上での結像位置のＵ座標ｕをｕ＝spectr（λ）とする。
【００２８】
画像処理ユニット２００は、複合撮像ユニット１３０から出力された光切断画像およびスペクトル画像を受け、該光切断画像に基づいてスペクトル画像における像面上の位置とスペクトル波長とを対応づけるための補正処理を行い、該補正後のスペクトル画像から、対象物ＯＢＪにおけるスリット光照射領域（後に説明するように、この領域を切断線と称する）の各部のスペクトル反射率を算出するためのスペクトル受光強度を算出する。該スペクトル受光強度のデータは、形状処理ユニット２１０に出力される。なお、この画像処理ユニット２００での詳しい処理については後述する。
【００２９】
形状処理ユニット２１０は、複合撮像ユニット１３０から出力された光切断画像と、照射ユニット１１０、対象物ＯＢＪおよび複合撮像ユニット１３０の相対位置関係を示す配置情報とから、対象物ＯＢＪにおけるスリット光照射領域の形状（断面形状）を算出する。上記配置情報は、予め形状処理ユニット２１０内のメモリ（図示せず）に入力保存されている。そして、形状処理ユニット２１０は、対象物ＯＢＪの回転位置ごとに取得された光切断画像を用いて、最終的に対象物ＯＢＪの全体にわたる三次元形状を算出する。
【００３０】
さらに、形状処理ユニット２１０は、画像処理ユニット２００から入力されたスペクトル受光強度から対象物ＯＢＪにおけるスリット光照射領域の各部のスペクトル反射率（スペクトル情報）を算出する。そして、対象物ＯＢＪの回転位置ごとに取得されたスペクトル画像を用いて、最終的に対象物ＯＢＪの表面全体の各部のスペクトル反射率を算出する。
【００３１】
また、形状処理ユニット２１０は、対象物ＯＢＪの三次元形状を示すデータと対象物ＯＢＪの表面各部におけるスペクトル反射率とを対応付けて出力又は記録する。なお、この形状処理ユニット２１０での詳しい処理についても後述する。
【００３２】
本実施例では、画像処理ユニット２００と形状処理ユニット２１０とを別ユニットとして説明しているが、これらは一体のコンピュータによって構成することもできる。この場合、画像処理ユニット２００および形状処理ユニット２１０の機能は、一連のコンピュータプログラムとして実現することも可能である。
【００３３】
以下、本三次元情報処理システム１００の具体的動作について説明する。まず光切断画像とスペクトル画像の取得動作について図４のフローチャートを参照しながら説明する。なお、該取得動作は、形状処理ユニット２１０によってコントロールされる。
【００３４】
はじめに、図１に示すように、測定者は、対象物ＯＢＪを回転台１２０上に設置し、測定開始スイッチ（図示せず）を投入する。形状処理ユニット２１０は、照射ユニット１１０を点灯し、白色スリット光ＳＬを対象物ＯＢＪに向けて照射させる（ステップＳ１）。これにより、対象物ＯＢＪの表面のうちスリット光ＳＬが照射された部分に明るい切断線Ｃが表れる。複合撮影ユニット１３０は、対象物ＯＢＪから所定距離離れた位置に、上記切断線Ｃが撮像視野に入る向きで設置される。この時点で、回転台１２０、照射ユニット１１０および複合撮像ユニット１３０の位置および向きの関係が決まり、これらの配置情報は形状処理ユニット２１０に入力される。
【００３５】
次に、回転台１２０を初期位置に回転させる（ステップＳ２）。そして、複合撮像ユニット１３０により対象物Ｏに対する光切断画像およびスペクトル画像を撮像する（ステップＳ３）。取得された光切断画像およびスペクトル画像は、画像処理ユニット２００および形状処理ユニット２１０に出力される（ステップＳ４）。次に、今回の撮像が対象物ＯＢＪの全周にわたる撮像回数のうち最終回であるか否かを判別し（ステップＳ５）、最終回であれば該取得動作を終了する。一方、最終回でなければ、回転台１２０を所定角度回転させ（ステップＳ６）、ステップＳ３に戻って次回の撮像を行う。こうして、回転台１２０を所定角度回転させるごとに光切断画像およびスペクトル画像を撮像し、複数の光切断画像およびスペクトル画像を順次画像処理ユニット２００および形状処理ユニット２１０に出力していく。
【００３６】
本実施例では、対象物ＯＢＪにて反射したスリット光ＳＬを光路分割器１３４によって分割しているため、光切断画像とスペクトル画像とを同時に撮像することができる。言い換えれば、同一のスリット光ＳＬを用いて光切断画像とスペクトル画像とを得ることができる。さらに言い換えれば、対象物ＯＢＪの表面における同一部位（同一回転位置）に対する光切断画像とスペクトル画像とを得ることができる。
【００３７】
図５Ａおよび図５Ｂには、同時に撮像された光切断画像とスペクトル画像の例を示している。これらの図において、縦方向がＶ軸、横方向がＵ軸である。光切断画像では、対象物ＯＢＪの表面のうちスリット光ＳＬが照射された部分に表れた切断線Ｃの像が一本の線として写っている。ここで、複合撮像ユニット１３０は、対象物ＯＢＪに対するスリット光ＳＬの照射方向に対して斜めの方向から撮像を行うため、切断線像は対象物ＯＢＪの表面の凹凸に沿った形状を持つ。一方、スペクトル画像は、この切断線像をＵ軸方向に分光した画像となる。
【００３８】
ここで、一般のイメージ分光器であれば、スペクトル画像におけるＵ座標と分光波長とは直に対応するが、本システムでは、対象物ＯＢＪの形状に応じて変化する切断線Ｃの各部位の位置がスペクトル撮像系への入射方向となるため、分光器１３２への入射角が定まらず、この結果、Ｕ座標と分光波長とは直に対応しない。
【００３９】
このように同一回転位置で撮像された光切断画像とスペクトル画像は対となって画像処理ユニット２００へ出力され、また光切断画像は回転台１２０の回転位置情報と共に形状処理ユニット２１０へ出力される。
【００４０】
画像処理ユニット２００では、複合撮像ユニット１３０から入力された光切断画像とスペクトル画像から切断線Ｃ上の各部におけるスペクトル受光強度を算出する。ここで、図６は画像処理ユニット２００の動作例を示すフローチャートである。
図６において、画像処理ユニット２００は、複合撮像ユニット１３０から出力された一対の光切断画像とスペクトル画像を読み込む（ステップＳ１１）。
【００４１】
次に、画像処理ユニット２００は、光切断画像のうち切断線Ｃの像が存在するＶ座標の領域から、１つのＶ座標値ｖを順次設定し、以下の処理を行う。すなわち、切断線像が存在する領域のうち最小のＶ座標値と最大のＶ座標値の間を一定間隔で順次ｖとする（ステップＳ１２）。
【００４２】
次に、画像処理ユニット２００は、図７に示すように、切断線像上でＶ座標がｖとなる部分のＵ座標ｕvを求める（ステップＳ１３）。
さらに、図８に示すように、スペクトル画像上でＶ＝ｖとなるライン上の受光強度分布をＩv（Ｕ）とする（ステップＳ１４）。
【００４３】
そして、これらにより、切断線像上でＶ座標がｖとなる部分におけるスペクトル受光強度Ｉv（λ）＝Ｉv（spectr（λ）＋ｕv）を得る（ステップＳ１５）。以上の処理を、各ｖに対して繰り返す。以上の処理により、スリット光ＳＬによって照明された切断線Ｃ上の各部のスペクトル受光強度が得られる。
【００４４】
なお、上記Ｉv（λ）の波長λをＵ座標と直に対応させると、一般のイメージ分光器で得られるスペクトル画像と同等の画像（図９）が得られる。
【００４５】
形状処理ユニット２１０では、複合撮像ユニット１３０から出力された光切断画像より、対象物ＯＢＪ上の切断線Ｃ（言い換えれば、切断線Ｃが存在する対象物表面上の領域）の形状を算出する。この算出法には、一般に光切断法として知られる方法が利用でき、その一例としては、井口征士・佐藤宏介著『三次元画像計測』（昭晃堂，1990）に説明された方法である。
【００４６】
また、形状処理ユニット２１０では、画像処理ユニット２００から入力されたスペクトル受光強度のデータをスペクトル反射率に変換する。
【００４７】
具体的には、計測点ｔにおけるスペクトル反射率をＲt（λ）とし、スペクトル受光強度Ｉt（λ）の算出の基となったスペクトル画像を撮像した際の対象物ＯＢＪ、照射ユニット１１０および複合撮像ユニット１３０の位置関係より決まる、計測点ｔに対応する対象物表面上の点をＴ、点Ｔと照射ユニット１１０間の距離をｌlight、点Ｔと複合撮像ユニット１３０間の距離をｌOBJとし、照射ユニット１１０の発光スペクトルをＥ（λ）、イメージセンサ１３１のスペクトル感度をＳ(λ)、結像光学系１３５・光路分割器１３４・分光器１３２のスペクトル透過率をＴ(λ)とすると、
Ｒt（λ）＝att（ｌlight）／ｌOBJ2×Ｉt（λ）／(Ｅ（λ）Ｓ(λ)Ｔ(λ))
によりスペクトル反射率が求まる。なお、att（ｌ）はスリット光の減衰関数であり、扇形に拡散する光ではatt（ｌ）＝ｌ-1である。
【００４８】
また、Ｅ（λ）・Ｓ（λ）・Ｔ(λ)は個別に分かっていなくても、スペクトル反射率Ｒcarib(λ)が既知の対象物を測定し、得たスペクトル受光強度Icarib(λ)から
Ｅ(λ)Ｓ(λ)Ｔ(λ)＝att（ｌlight）／ｌOBJ2×Ｉcarib（λ）／Ｒcarib（λ）
として積(Ｅ(λ)Ｓ(λ)Ｔ(λ))を知ることができる。
【００４９】
以上により、対象物ＯＢＪにおける１つの切断線Ｃに対応する領域の形状と該領域の各部におけるスペクトル反射率が得られる。そして、以上の処理を、対象物ＯＢＪの回転位置ごとに取得された複数対の光切断画像とスペクトル画像を基に繰り返し行うことにより、対象物ＯＢＪの全体にわたる三次元形状と表面各部のスペクトル反射率が得られる。
【００５０】
こうして得られた三次元形状と表面各部におけるスペクトル反射率は、ＣＧ装置５００に入力され、ここで、三次元形状と表面各部のスペクトル反射率を表した対象物ＯＢＪの再現画像が生成される。これについては、他の実施例でも同様である。
【００５１】
なお、本実施例では、対象物に照射するスリット光を１つとしているが、複数のスリット光を照射してもよい。この場合、画像処理ユニット２００および形状処理ユニット２１０はそれぞれ、光切断画像やスペクトル画像に写った複数の切断線像に対して上記処理を行う。
【実施例２】
【００５２】
図１０には、本発明の実施例２である三次元情報処理システム１０１の構成を示している。本実施例の三次元情報処理システム１０１は、物体情報入力装置としての三次元情報入力装置１０６と、物体情報生成装置としての三次元情報生成装置２２０とにより構成されている。また、三次元情報入力装置１０６は、照射ユニット１１１と、掃引ユニット１２１と、撮像手段としての複合撮像ユニット１３０１とを有する。
【００５３】
一方、三次元情報生成装置２２０は、それぞれコンピュータにより構成される、第２の処理手段の一部を構成する画像処理ユニット２００と、第１の処理手段および第２の処理手段の一部を構成する形状処理ユニット２１０とを有する。
【００５４】
照射ユニット１１１は、拡散光を発する光源１１１ａと、該光源１１１ａの前側に配置された、上下に細長い開口（絞り）１１１ｃを有した開口パネル１１１ｂとから構成されている。光源１１１ａから発せられた光のうち開口１１１ｃを透過した光がスリット光ＳＬとなって、対象物ＯＢＪに照射される。スリット光は、実施例１と同様に、Ｅ（λ）の強度分布を持つ白色光である。
【００５５】
掃引ユニット１２１は、アクチュエータと該アクチュエータの駆動を制御する掃引コントローラとを有し、開口パネル１１１ｂを開口１１１ｃの長手方向（上下方向）に直交する方向（左右方向）に移動させる。これにより、開口１１１ｃを透過したスリット光ＳＬも左右に移動する。掃引機構１２１は、形状処理ユニット２１０との間で情報の授受が可能であり、また開口パネル１１１ｂの位置を形状処理ユニット２１０に通知する。
【００５６】
なお、照射ユニット１１１として、例えば液晶パネルや微小ミラーアレイを備えたイメージプロジェクタを利用することも可能である。すなわち、一本の白い直線を含む画像を対象物ＯＢＪに向けて投影することにより、スリット光を照射することになる。この場合、掃引ユニット１２１は、直線の位置が異なる画像を順次投影することによって、スリット光を掃引する。
【００５７】
複合撮像ユニット１３０１は、結像光学系１３５と、回折格子を有する回折素子１３０２と、イメージセンサ１３０３とにより構成されている。回折素子１３０２は、入射した光（対象物ＯＢＪからの反射光）の光路を回折作用によって２つに分割する。具体的には、回折格子１３０２は、入射光を直進光（０次回折光）と、該直進光に対して角度を持った方向に進む回折光（例えば、１次回折光）とに分離する。なお、回折格子１３０２の回折面は、ここに入射するスリット光ＳＬが作る面に対して直交するように配置されている。
【００５８】
イメージセンサ１３０３は、回折素子１３０２からの直進光によって形成される該直進光の形状の像、つまりはスリット光ＳＬの対象物ＯＢＪ上での形状を示す像を撮像する受光エリアと、回折光によって形成されるスペクトル像、つまりは対象物ＯＢＪにて反射したスリット光ＳＬのスペクトルを示す像を撮像する受光エリアとを有する。なお、本実施例では、直進光と回折光を単一のイメージセンサ上の異なる受光エリアで受けるが、直進光と回折光とをそれぞれ別々のイメージセンサによって受けてもよい。
【００５９】
そして複合撮像ユニット１３０１は、イメージセンサ１３０３の各受光エリアからの出力に対して、実施例１で図３にて説明したのと同様の処理を施して、直進光による光切断画像の部分と回折光によるスペクトル画像の部分とを含む単一画像を生成し、これを画像処理ユニット２００および形状処理ユニット２１０に出力する。
【００６０】
光切断画像とスペクトル画像の取得動作は、図４に示したフローチャートのステップＳ２が掃引ユニット１２１の初期位置へのセットに、ステップＳ６が掃引ユニット１２１の次の位置への駆動となる以外は、実施例１と同様である。
【００６１】
画像処理ユニット２００および形状処理ユニット２１０は、実施例１と同様の処理によって、対象物ＯＢＪの三次元形状と対象物ＯＢＪの表面各部におけるスペクトル反射率とを算出する。
【００６２】
本実施例によれば、実施例１で使用した光路分割器と分光器に代えて回折素子１３０２を使用し、さらに単一のイメージセンサ１３０３を用いて光切断画像とスペクトル画像とを撮像するので、実施例１に比べて、複合撮像ユニットをより少ない構成部品で実現でき、小型化を図ることができる。
【００６３】
なお、本実施例で説明した照射ユニット１１１を、実施例１において使用することも可能である。
【実施例３】
【００６４】
図１１には、本発明の実施例３である三次元情報処理システム１０２の構成を示している。本実施例の三次元情報処理システム１０２は、物体情報入力装置としての三次元情報入力装置１０７と、物体情報生成装置としての三次元情報生成装置２２０とにより構成されている。また、三次元情報入力装置１０７は、照射ユニット１１０と、回転台１２０と、撮像手段としての複合撮像ユニット１３１０とを有する。
【００６５】
一方、三次元情報生成装置２２０は、それぞれコンピュータにより構成される、第２の処理手段の一部を構成する画像処理ユニット２００と、第１の処理手段および第２の処理手段の一部を構成する形状処理ユニット２１０とを有する。
【００６６】
本実施例の複合撮像ユニット１３１０は、結像光学系１３５と、分光器１３１１と、分光器着脱機構１３１２と、イメージセンサ１３１３とにより構成されている。
【００６７】
分光器着脱機構１３１２は、照射ユニット１１０から対象物ＯＢＪに照射されて該対象物ＯＢＪ上で反射し、結像光学系１３５に向かうスリット光ＳＬの光路（撮影光路）に対して分光器１３１１を出入りさせる機構である。分光器１３１１は、実施例１と同様に、入射した光を波長ごとに分離する。このため、分光器１３１１を撮影光路内に配置することにより、上記反射したスリット光ＳＬのスペクトル像をイメージセンサ１３１３上に形成することができる。また、分光器１３１１を撮影光路外に出すことにより、上記反射したスリット光ＳＬの形状（スリット光ＳＬの対象物ＯＢＪ上での形状）を示す像をイメージセンサ１３１３上に形成することができる。これにより、複合撮像ユニット１３１０は、分光器１３１１の出し入れによって、光切断画像とスペクトル画像とを時系列的に撮像することができる。そして、これらの画像を画像処理ユニット２００および形状処理ユニット２１０に出力する。
【００６８】
なお、本実施例の分光器１３１１はいわゆる直進型であって、光路への出入りによって視野が変化しないものが望ましい。このような分光器は、グリズムとして知られている。
本実施例によれば、イメージセンサ１３１３および結像光学系１３５を有する既存のカメラモジュールに、分光器１３１１および着脱機構１３１２を付加するだけで複合撮像ユニットを構成することができる。
【００６９】
また、本実施例の照射ユニット１１０、回転台１２０、画像処理ユニット２００および形状処理ユニット２１０の構成および動作は実施例１と同様である。
【００７０】
但し、本実施例の複合撮像ユニット１３１０は、光切断画像とスペクトル画像とを同時に撮像することはできない。このため、形状処理ユニット２１０において、対となる光切断画像とスペクトル画像が撮像される間は回転台１２０の回転位置を保持したり（図４のステップＳ３で、光切断画像取得→分光器１３１１の挿入→スペクトル画像取得→分光器１３１１の退避の動作が行われる）、対象物ＯＢＪの全周にわたって光切断画像とスペクトル画像のうち一方を連続して撮像した後に、他方を撮像したりすることになる。
【００７１】
なお、本実施例で説明した複合撮像ユニットを、実施例２にて使用することもできる。
【００７２】
（まとめ）
以下、上記実施例での説明をまとめる。
上記各実施例によれば、対象物に向けてスリット光を照射し、該スリット光の対象物上での形状を表す光切断画像および該対象物で反射したスリット光のスペクトルを表すスペクトル画像を取得する複合撮像ユニットを有するので、対象物の表面でスリット光により照明された一線上の各部位の形状とスペクトル反射率とを測定できる。
【００７３】
また、対象物および照射ユニットのうち少なくとも一方の位置や向きを変化させる掃引手段を備えることにより、対象物の表面上でスリット光により照明された部分を掃引し、対象物の表面上で縦横に広がった領域内の各部に対するスペクトルを測定できる。
【００７４】
なお、掃引手段は、対象物表面のなるべく広い範囲に対し、順次白色スリット光を照射するための機構であり、可動部の１つの軸は、スリット光の面と直交する面内で対象物を移動又は回転させるのが有効である。また、スリット光は、測定しようとするスペクトル帯の全域に対し、対象物によるスリット光の散乱反射光がスペクトル画像上で検知可能な強度となる以上の有意な強度を持つべきである。特に可視波長域でのスペクトルを測定する場合には、スリット光は白色光とするとよい。
【００７５】
また、スリット光のスペクトル強度分布は、測定中に不規則に変動すべきではなく、スペクトル強度分布やイメージセンサのスペクトル感度や光学系のスペクトル透過率が既知である必要がある。スペクトル強度分布やイメージセンサのスペクトル感度や光学系のスペクトル透過率は、対象物の測定の前又は後に何らかの方法で測定することにより既知とすることも可能である。特に、スペクトル反射率が既知の対象物に対して測定を行い、キャリブレーションをすることは、既存のスペクトル計測装置でも広く行われており、本発明の装置においても同様に有効である。
【００７６】
また、複合撮像ユニットは、掃引手段の動作と共にスリット光と対象物の位置関係が異なる複数の光切断画像およびスペクトル画像を撮像する。撮像する画像の数が多いほど空間分解能が向上し、撮像画像間でのスリット光と対象物の位置関係の相違が一定であるほど、均質なデータが得られる。このためには、複合撮像ユニットは、掃引手段の動作の一定間隔ごとに光切断画像およびスペクトル画像を撮像する。
【００７７】
また、複合撮像ユニットは、少なくとも、スペクトル画像の撮像に用いたスリット光と同一のスリット光を用い、かつスペクトル画像を撮像した対象物の位置と同じ位置の光切断画像を撮像するのがよい。これにより、どのスペクトル画像に対しても同一のスリット光と対象物の位置関係において撮像された光切断画像が用意される。例えば、光切断画像とスペクトル画像とを同時に撮像すればよい。
【００７８】
さらに、複合撮像ユニットは、対象物上に照射されたスリット光の形状とその分光像を光切断画像およびスペクトル画像として撮像するが、それを実現する方策の１つとしては、複合撮像ユニットが光切断画像を撮像するための光切断撮像系と、スペクトル画像を撮像するためのスペクトル撮像系の双方を備えることである。
スペクトル撮像系は、２次元撮像デバイスと分光器を備え、分光面はスリット光が作る面と平行であってはならず、直交するよう配置するのが望ましい。
【００７９】
なお、光切断撮像系およびスペクトル撮像系の前面には光路分割器を設置し、対象物上で反射したスリット光を光切断撮像系およびスペクトル撮像系の双方に分割して導くことにより、光切断撮像系とスペクトル撮像系とで同一の写野が得られる。より厳密には、光路分割部を介して光切断撮像系およびスペクトル撮像系の光軸と瞳が互いに一致するよう配置するとよい。
【００８０】
さらに、光路分割器の存在により、光切断撮像系およびスペクトル撮像系は、付随する結像光学系の一部又は全てを共有することが可能である。このためには、光路分割器を光切断撮像系およびスペクトル撮像系に付随する結像光学系の内部又は後方（イメージセンサ側）に設置するとよい。
【００８１】
また、別の方策としては、複合撮像ユニットに回折素子を設け、直進光により光切断画像を、回折光によってスペクトル画像を撮像する。これは先の方策における光路分割器と分光器を回折格子に置き換えたことにあたる。直進光と回折光の分離を良くするため、回折素子の回折面はスリット光が作る面と直交するよう配置されるのが望ましい。この方策でも結像光学系は１つで済む。
【００８２】
更に別の方策としては、複合撮像ユニットに、撮像光路に対して出入りが可能な分光器を設け、該分光器の出入りによって光切断画像とスペクトル画像を切り替えて撮像する。この方策で使う分光器は直進型で、撮像光路への出入りによって撮像視野を変化させないものが便利である。
【００８３】
既存のイメージ分光器では、分光器に対する入射角がその前面に配置される直線スリット開口によって制限される。このため、像面上の位置がスペクトル波長に直に対応する。しかし、本実施例では、入射方向は対象物の表面に表れるスリット切断線であり、その形状は変化する。したがって、本実施例では、分光器を通して得られるスペクトル画像と共に、分光器を通さずに結像した光によって光切断画像を撮像し、光切断画像から求まる入射方向によって、スペクトル画像における像面上の位置とスペクトル波長の対応を補正する。この補正を画像処理ユニットにより行うことで、スペクトル画像からスペクトル受光強度を得る。
【００８４】
さらに、形状処理ユニットでは、光切断画像により対象物の３次元形状を計測し、スペクトル受光強度に対したスペクトル画像の撮像時の対象物、照射ユニット、複合撮像ユニットの位置関係を加味することにより、スペクトル反射率を求める。本実施例では、スリット光が対象物を切断する線の方向と掃引手段によるスリット光の掃引方向とにより、対象物表面の広い範囲に対して２次元的な空間分布でスペクトル受光強度を測定でき、三次元形状の表面各部におけるスペクトル反射率を三次元形状に対応付けて出力又は記録することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施例１である三次元情報処理システムの構成を示す図である。
【図２】実施例１の三次元情報処理システムを構成する回転台の構成を示す図である。
【図３】実施例１の三次元情報処理システムを構成する複合撮像ユニットの構成を示す図である。
【図４】実施例１の三次元情報処理システムを構成する三次元情報入力装置の動作を示すフローチャートである。
【図５Ａ】光切断画像の例を示す図である。
【図５Ｂ】スペクトル画像例を示す図である。
【図６】実施例１の三次元情報処理システムを構成する三次元情報生成装置の動作を示すフローチャートである。
【図７】ｕvの説明図である。
【図８】Ｉv(Ｕ)の説明図である。
【図９】補正されたスペクトル画像の例を示す図である。
【図１０】本発明の実施例２である三次元情報処理システムの構成を示す図である。
【図１１】本発明の実施例３である三次元情報処理システムの構成を示す図である。
【符号の説明】
【００８６】
１００，１０１，１０２  三次元情報処理システム
１０５，１０６，１０７  三次元情報入力装置
１１０，１１１  照射ユニット
１２０    回転台
１２１    掃引機構
１３０，１３０１，１３１０  複合撮像ユニット
１３１，１３３，１３０３，１３１３  イメージセンサ
１３２，１３１１  分光器
１３５    結像光学系
１３６    光切断撮像部
１３７    スペクトル撮像部
２００    画像処理ユニット
２１０    形状処理ユニット
２２０    三次元情報生成装置
５００    ＣＧ装置
１３０２  回折素子
ＯＢＪ    対象物
ＳＬ    スリット光
【図１】
2005351871.tif 000003
【図２】
2005351871.tif 000004
【図３】
2005351871.tif 000005
【図４】
2005351871.tif 000006
【図５Ａ】
2005351871.tif 000007
【図５Ｂ】
2005351871.tif 000008
【図６】
2005351871.tif 000009
【図７】
2005351871.tif 000010
【図８】
2005351871.tif 000011
【図９】
2005351871.tif 000012
【図１０】
2005351871.tif 000013
【図１１】
2005351871.tif 000014