(57)【特許請求の範囲】
【請求項１】
被計測物体に対してパルス状の測距光を照射する光源と、
前記測距光によって前記被計測物体において生じたパルス状の反射光を、前記測距光のパルスの立ち下がりから一定時間の間検出し、パルスの立ち下がり部分を含む第１の反射光成分を検出する第１の反射光成分検出手段と、
前記測距光によって前記被計測物体において生じたパルス状の反射光を、前記測距光のパルスの立ち下がりよりも早いタイミングで前記一定時間の間検出し、前記反射光のうち、パルスの立ち下がり部分を含む、第２の反射光成分を検出する第２の反射光成分検出手段と、
前記第１および第２の反射光成分に基づいて前記被計測物体の表面の各点までの距離を求める距離算出手段と
を備えたことを特徴とする３次元画像入力装置。
【請求項２】
前記距離算出手段が、前記第１の反射光成分と第２の反射光成分との比に基づいて前記距離を求めることを特徴とする請求項１に記載の３次元画像入力装置。
【請求項３】
前記第１および第２の反射光成分検出手段がそれぞれ、
前記被計測物体からの反射光を受け、受光量に応じた電荷が蓄積する複数の光電変換素子と、
前記光電変換素子に隣接して設けられた信号電荷保持部と、
前記光電変換素子に蓄積した不要電荷を前記光電変換素子から掃出すことにより、前記光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、
前記光電変換素子に蓄積した信号電荷を前記信号電荷保持部に転送する信号電荷転送手段と、
前記蓄積電荷掃出手段と前記信号電荷転送手段とを交互に駆動し、前記信号電荷保持部において前記信号電荷を積分することにより、前記第１または第２の反射光成分に対応した蓄積電荷を検出する信号電荷積分手段と、
を備えたことを特徴とする請求項１に記載の３次元画像入力装置。
【請求項４】
前記蓄積電荷掃出手段が、前記測距光のパルスの立ち下がりよりも早いタイミングで前記不要電荷を掃出すことを特徴とする請求項３に記載の３次元画像入力装置。
【請求項５】
前記被計測物体の表面の各点までの距離ｄが次式によって演算されることを特徴とする請求項１に記載の３次元画像入力装置。
ｄ＝ｄ０  ・Ｑ／（１−Ｑ）
ただし、Ｑは蓄積電荷比であって、前記第１の反射光成分に対応した蓄積電荷量Ｅ１  を前記第２の反射光成分に対応した蓄積電荷量Ｅ２  で割ることにより得られ、ｄ０  は、前記第１の反射光成分検出手段による反射光の検出タイミングと前記第２の反射光成分検出手段による反射光の検出タイミングとの差に相当する距離である。
【請求項６】
前記光源を消灯させた状態で、前記第１の反射光成分を検出する動作と同じタイミングで第１の外乱成分を検出する第１の外乱成分検出手段と、前記光源を消灯させた状態で、前記第２の反射光成分を検出する動作と同じタイミングで第２の外乱成分を検出する第２の外乱成分検出手段とを備えたことを特徴とする請求項５に記載の３次元画像入力装置。
【請求項７】
前記蓄積電荷比Ｑが、前記第１の反射光成分に対応した蓄積電荷量Ｅ１  から前記第１の外乱成分に対応した蓄積電荷を除去して得られたものを、前記第２の反射光成分に対応した蓄積電荷量Ｅ２  から前記第２の外乱成分に対応した蓄積電荷を除去して得られたもので割ることにより得られることを特徴とする請求項６に記載の３次元画像入力装置。
【請求項８】
前記光電変換素子が電荷蓄積型であることを特徴とする請求項１に記載の３次元画像入力装置。
【請求項９】
前記光電変換素子が基板に沿って形成され、前記蓄積電荷掃出手段が不要電荷を前記基板側に掃出すことを特徴とする請求項１に記載の３次元画像入力装置。
【請求項１０】
前記信号電荷保持部が前記信号電荷を３次元画像入力装置の外部に出力するための垂直転送部であることを特徴とする請求項１に記載の３次元画像入力装置。
【請求項１１】
前記光電変換素子と信号電荷保持部が、縦型オーバフロードレイン構造のインターライン型ＣＣＤとして構成されることを特徴とする請求項１に記載の３次元画像入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被計測物体の３次元形状等を検出する３次元画像入力装置に関する。
【０００２】
【従来の技術】
従来３次元画像入力装置による３次元計測は、光、電波あるいは音を被計測物体に照射する能動方式と、光等を照射しない受動方式とに分類される。能動方式には、光伝播時間測定法、変調した光波を用いる位相差測定法、三角測量法、モアレ法、干渉法等が知られており、受動方式には、ステレオ視法、レンズ焦点法等が知られている。
【０００３】
能動方式は受動方式に比べ、レーザ光等を照射するための機構が必要なために装置の規模が大きくなるが、距離分解能、計測時間、計測空間範囲等の点において優れており、産業応用分野において広く用いられてきている。「Ｍｅａｓｕｒｅｍｅｎｔ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ」（Ｓ．  Ｃｈｒｉｓｔｉｅ  他、ｖｏｌ．６，  ｐ１３０１−１３０８，  １９９５  年）に記載された３次元画像入力装置では、パルス変調されたレーザ光が被計測物体に照射され、その反射光がイメージインテンシファイアが取付けられた２次元ＣＣＤセンサによって受光され、電気信号に変換される。イメージインテンシファイアはレーザ光のパルス発光に同期したゲートパルスによってシャッタ制御される。この構成によれば、遠い被計測物体からの反射光による受光量は近い被計測物体からの反射光による受光量に比べて小さいので、被計測物体の距離に応じた出力がＣＣＤの各フォトダイオード毎に得られる。
【０００４】
【発明が解決しようとする課題】
このような従来の３次元画像入力装置において、測距精度を向上させるために反射率の補正のための情報を検出するように構成すると、ＣＣＤ等の撮像素子の出力レンジの幅を拡大する必要が生じることがあり、このような場合、測距精度を十分に向上させることは難しい。
【０００５】
本発明は、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の３次元形状を検出する測距精度を向上させることを目的としている。
【０００６】
【課題を解決するための手段】
本発明の３次元画像入力装置は、被計測物体に対してパルス状の測距光を照射する光源と、測距光によって被計測物体において生じたパルス状の反射光を、測距光のパルスの立ち下がりから一定時間の間検出し、パルスの立ち下がり部分を含む第１の反射光成分を検出する第１の反射光成分検出手段と、測距光によって被計測物体において生じたパルス状の反射光を、測距光のパルスの立ち下がりよりも早いタイミングで前記一定時間の間検出し、反射光のうち、パルスの立ち下がり部分を含む、第２の反射光成分を検出する第２の反射光成分検出手段と、第１および第２の反射光成分に基づいて被計測物体までの距離を求める距離算出手段とを備えたことを特徴としている。
【０００７】
好ましくは、距離算出手段は第１の反射光成分と第２の反射光成分との比に基づいて被計測物体までの距離を求める。
【０００８】
第１および第２の反射光成分検出手段は例えばそれぞれ、被計測物体からの反射光を受け、受光量に応じた電荷が蓄積する複数の光電変換素子と、光電変換素子に隣接して設けられた信号電荷保持部と、光電変換素子に蓄積した不要電荷を光電変換素子から掃出すことにより、光電変換素子における信号電荷の蓄積動作を開始させる蓄積電荷掃出手段と、光電変換素子に蓄積した信号電荷を信号電荷保持部に転送する信号電荷転送手段と、蓄積電荷掃出手段と信号電荷転送手段とを交互に駆動し、信号電荷保持部において信号電荷を積分することにより、第１または第２の反射光成分に対応した蓄積電荷を検出する信号電荷積分手段とを備える。蓄積電荷掃出手段は、測距光のパルスの立ち下がりよりも早いタイミングで不要電荷を掃出すことが好ましい。
【０００９】
３次元画像入力装置から被計測物体の表面の各点までの距離ｄは、例えば次式によって演算される。
ｄ＝ｄ０  ・Ｑ／（１−Ｑ）
ただしＱは蓄積電荷比であって、第１の反射光成分に対応した蓄積電荷量Ｅ１  を第２の反射光成分に対応した蓄積電荷量Ｅ２  で割ることにより得られ、ｄ０  は、第１の反射光成分検出手段による反射光の検出タイミングと第２の反射光成分検出手段による反射光の検出タイミングとの差に相当する距離である。
【００１０】
３次元画像入力装置は、光源を消灯させた状態で、第１の反射光成分を検出する動作と同じタイミングで第１の外乱成分を検出する第１の外乱成分検出手段と、光源を消灯させた状態で、第２の反射光成分を検出する動作と同じタイミングで第２の外乱成分を検出する第２の外光成分検出手段とを備えていてもよい。蓄積電荷比Ｑは好ましくは、第１の反射光成分に対応した蓄積電荷量Ｅ１  から第１の外乱成分に対応した蓄積電荷を除去して得られたものを、第２の反射光成分に対応した蓄積電荷量Ｅ２  から第２の外乱成分に対応した蓄積電荷を除去して得られたもので割ることにより得られる。
【００１１】
光電変換素子は例えば電荷蓄積型である。
光電変換素子が基板に沿って形成されている構成では、蓄積電荷掃出手段は不要電荷を基板側に掃出す。
【００１２】
信号電荷保持部は好ましくは、信号荷を３次元画像入力装置の外部に出力するための垂直転送部である。
【００１３】
光電変換素子と信号電荷保持部は例えば、縦型オーバフロードレイン構造のインターライン型ＣＣＤとして構成される。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【００１５】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置（光源）１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５と液晶表示パネル１６が設けられ、また右側にはモード切替ダイヤル１７とＶ／Ｄモード切替スイッチ１８が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、またビデオ出力端子２０とインターフェースコネクタ２１が設けられている。
【００１６】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１７】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１８】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１９】
また画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８に送られ、ビデオ出力端子２０を介して、カメラ本体１０の外部に設けられたモニタ装置３９に伝送可能である。システムコントロール回路３５はインターフェース回路４０に接続され、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがって画像メモリ３４から読み出された画像信号は、インターフェースコネクタ２１に接続されたコンピュータ４１に伝送可能である。またシステムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００２０】
システムコントロール回路３５には、発光素子制御回路４４が接続されている。発光装置１４には発光素子１４ａと照明レンズ１４ｂが設けられ、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａは測距光であるレーザ光を照射するものであり、このレーザ光は照明レンズ１４ｂを介して被計測物体の全体に照射される。被計測物体において反射した光は撮影レンズ１１に入射する。この光をＣＣＤ２８によって検出することにより、後述するように被計測物体の３次元画像が計測される。なお、この計測において、ＣＣＤ２８における転送動作のタイミング等の制御はシステムコントロール回路３５とＣＣＤ駆動回路３０によって行なわれる。
【００２１】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７、Ｖ／Ｄモード切替スイッチ１８から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２２】
図３および図４を参照して、本実施形態における距離測定の原理を説明する。なお図４において横軸は時間ｔである。
【００２３】
距離測定装置Ｂから出力された測距光は被計測物体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被計測物体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち下がりは、測距光のパルスの立ち下がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被計測物体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２                                                                            ・・・（１）
により得られる。ただしＣは光速である。
【００２４】
例えば測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち上がった後に検知不可能な状態に切換えて、反射光のパルスの立ち下がりまでの成分を検出するようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）大きくなる。
【００２５】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオード（光電変換素子）においてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被計測物体Ｓの表面の各点までの距離をそれぞれ検出し、被計測物体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００２６】
図５は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図６は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００２７】
フォトダイオード５１と垂直転送部（信号電荷保持部）５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図５において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ、５２ｂ、５２ｃ、５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００２８】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被計測物体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖｓｕｂ  を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出し信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、電子シャッタ動作が実現される。
【００２９】
図７は、被計測物体の表面の各点までの距離に関するデータを検出する、第１測距モードの距離情報検出動作のタイミングチャートである。図１、図２、図５〜図７を参照して距離情報検出動作を説明する。
【００３０】
垂直同期信号Ｓ１の出力に同期して発光装置１４が起動され、一定のパルス幅を有するパルス状の測距光Ｓ３が周期的に出力される。測距光Ｓ３は被計測物体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被計測物体からの反射光Ｓ４が受光される。測距光Ｓ３の発光が終了するタイミングに合わせて、電荷掃出し信号（パルス信号）Ｓ２が出力される。電荷掃出し信号Ｓ２の出力は、測距光Ｓ３の発光が終了するのと同時に終了するように制御される。これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出される。測距光Ｓ３の出力から一定時間が経過したとき、電荷転送信号（パルス信号）Ｓ５が出力され、これによりフォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。なお、電荷転送信号Ｓ５の出力は、反射光Ｓ４の出力の終了よりも後に行なわれる。
【００３１】
このように電荷掃出し信号Ｓ２の出力の終了から電荷転送信号Ｓ５の出力までの期間ＴＵ  の間、フォトダイオード５１には、被計測物体までの距離に対応した信号電荷が蓄積される。すなわち測距光Ｓ３が出力される期間ＴＳ  の終了と同時に電荷蓄積期間ＴＵ  が開始し、電荷蓄積期間ＴＵ  の間に、反射光Ｓ４の一部のみ（すなわち反射光Ｓ４のパルスの立ち下がり部分を含む第１の反射光成分）がＣＣＤ２８によって検知され、検知された光によって生じる信号電荷Ｓ６は被計測物体までの距離に対応している。換言すれば、被計測物体からの反射光Ｓ４のうち、電荷蓄積期間ＴＵ  内にフォトダイオード５１に到達した光に対応した信号電荷Ｓ６がフォトダイオード５１に蓄積される。この信号電荷Ｓ６は、電荷転送信号Ｓ５によって垂直転送部５２に転送される。
【００３２】
電荷転送信号Ｓ５の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ２が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに、次の測距光の照射による信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間ＴＵ  が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３３】
このような信号電荷Ｓ６の垂直転送部５２への転送動作は、次の垂直同期信号Ｓ１が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ６が積分され、１フィールドの期間（２つの垂直同期信号Ｓ１によって挟まれる期間）に積分された信号電荷Ｓ６は、その期間被計測物体が静止していると見做せれば、被計測物体までの距離情報に対応している。
【００３４】
以上説明した信号電荷Ｓ６の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間の検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作におよび図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力され、被計測物体の３次元画像データとして、３次元画像入力装置の外部に取り出される。
【００３５】
上述のようにしてＣＣＤ２８により検出された反射光は、被計測物体の表面の反射率の影響を受けている。したがって、この反射光を介して得られた距離情報は反射率に起因する誤差を含んでいる。また、ＣＣＤ２８により検出された反射光には、被計測物体からの反射光以外に外光等の外乱成分も含まれており、これに起因する誤差も存在する。したがって距離情報検出動作では、被計測物体の反射率、外乱等の影響を補正することが好ましい。次に、これらの補正を行なう距離情報検出動作について説明する。
【００３６】
図８〜図１０は、第１の外乱成分、第２測距モードの距離情報および第２の外乱成分の検出動作を示し、図１１と図１２は距離情報検出動作のフローチャートである。図１、図２、図７〜図１２を参照して、被計測物体の反射率、外乱等の影響を補正する距離情報検出動作を説明する。すなわち図７に関し、説明は重複する。
【００３７】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、ビデオ（Ｖ）モードと距離測定（Ｄ）モードのいずれが選択されているかが判定される。これらのモード間における切替はＶ／Ｄモード切替スイッチ１８を操作することによって行なわれる。
【００３８】
Ｄモードが選択されているとき、ステップ１０３〜１０７において、第１測距モードの距離情報検出動作が実行される。ステップ１０３では、垂直同期信号Ｓ１が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ１０４が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図７を参照して説明した第１測距モードの距離情報検出動作が開始され、電荷掃出し信号Ｓ２と電荷転送信号Ｓ５が交互に出力されて、距離情報の信号電荷Ｓ６が垂直転送部５２において積分される。
【００３９】
ステップ１０５では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１０６へ進み、距離情報の信号電荷Ｓ６がＣＣＤ２８から出力される。この信号電荷Ｓ６はステップ１０７において画像メモリ３４に一時的に記憶される。ステップ１０８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４０】
ステップ１０９〜１１２では、第１の外乱成分の検出動作が行なわれる。まずステップ１０９では、図８に示すように、垂直同期信号Ｓ１１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ１２と電荷転送信号Ｓ１５が交互に出力される。電荷蓄積時間ＴＵ  は図７に示す距離情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ１３）、反射光は存在しない（符号Ｓ１４）。したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分が入射するため、この外乱成分に対応した信号電荷Ｓ１６が発生する。この信号電荷Ｓ１６は、第１測距モードの距離情報検出動作において得られた信号電荷Ｓ６に含まれる外乱成分に対応している。
【００４１】
ステップ１１０では、第１の外乱成分の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ１１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１１において、第１の外乱成分の信号電荷Ｓ１６がＣＣＤ２８から出力される。第１の外乱成分の信号電荷Ｓ１６はステップ１１２において画像メモリ３４に一時的に記憶される。
【００４２】
ステップ１１３〜１１７では、第２測距モードの距離情報検出動作が行なわれる。ステップ１１３では、図９に示すように、垂直同期信号Ｓ２１が出力されるとともに測距光制御が開始され、パルス状の測距光Ｓ２３が断続的に出力される。ステップ１１４では、ＣＣＤ２８による検知制御が開始され、電荷掃出し信号Ｓ２２と電荷転送信号Ｓ２５が交互に出力される。第２測距モードの距離情報検出動作では、電荷掃出し信号Ｓ２２は、測距光Ｓ２３のパルスの立ち下がりよりも早いタイミングで反射光Ｓ２４を検出するように出力され、電荷転送信号Ｓ２５は、反射光Ｓ２４の検出時間すなわち電荷蓄積期間ＴＵ  の長さが第１測距モードの距離情報検出動作の電荷蓄積期間ＴＵ  と同じになるように制御される。したがって第２測距モードでは、反射光Ｓ２４の立ち下がり部分を含む第２の反射光成分が検出され、また第２の反射光成分の電荷蓄積量は第１の反射光成分よりも多い。
【００４３】
ステップ１１５では、第２測距モードの距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ２１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１１６へ進み、距離情報の信号電荷Ｓ２６がＣＣＤ２８から出力される。この信号電荷Ｓ２６はステップ１１７において画像メモリ３４に一時的に記憶される。ステップ１１８では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。
【００４４】
ステップ１１９〜１２２では、第２の外乱成分の検出動作が行なわれる。ステップ１１９では、図１０に示すように、垂直同期信号Ｓ３１が出力されるとともにＣＣＤ２８による検知制御が開始される。すなわち発光装置１４の発光動作が行なわれることなく、光源が消灯された状態で、電荷掃出し信号Ｓ３２と電荷転送信号Ｓ３５が交互に出力される。電荷蓄積時間ＴＵ  の長さとタイミングは図９に示す第２測距モードの距離情報検出動作と同じであるが、被計測物体に測距光が照射されないため（符号Ｓ３３）、反射光は存在せず（符号Ｓ３４）、したがって、距離情報の信号電荷は発生しないが、ＣＣＤ２８には外光等の外乱成分に対応した信号電荷Ｓ３６が発生する。すなわち信号電荷Ｓ３６は、第２測距モードの距離情報検出動作において得られた信号電荷Ｓ２６に含まれる外乱成分に対応している。
【００４５】
ステップ１２０では、第２の外乱成分の検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号Ｓ３１が出力されたか否かが判定される。１フィールド期間が終了するとステップ１２１において、第２の外乱成分の信号電荷Ｓ３６がＣＣＤ２８から出力され、ステップ１２２において画像メモリ３４に一時的に記憶される。
【００４６】
第１および第２測距モードの距離情報検出動作においてそれぞれ得られる信号電荷Ｓ６、Ｓ２６は、被計測物体までの距離情報に対応しており、またこれらの信号電荷Ｓ６、Ｓ２６には、被計測物体の表面の反射率に依存する反射光成分と、外光等の外乱成分とが含まれている。ステップ１２３では、ステップ１０３〜１２２において得られた第１および第２測距モードの距離情報（すなわち第１および第２の反射光成分）と、第１および第２の外乱成分とを用いて距離測定（Ｄ）データの演算処理が行なわれ、ステップ１２４においてＤデータが出力されてこの検出動作は終了する。
【００４７】
一方、ステップ１０２においてＶモードが選択されていると判定されたとき、ステップ１２５において測距光制御がオフ状態に切換えられるとともに、ステップ１２６においてＣＣＤ２８による通常の撮影動作（ＣＣＤビデオ制御）がオン状態に定められ、この検出動作は終了する。
【００４８】
ステップ１２３において実行される演算処理の内容を図１３を参照して説明する。図１３は、図７に示す第１測距モードの距離情報検出動作と図９に示す第２測距モードの距離情報検出動作とにおける測距光、反射光および電荷蓄積期間をそれぞれ取り出して示したものである。
【００４９】
第１測距モードでは、電荷蓄積期間ＴＵ  は測距光のパルスの立ち下がりと同時に開始し、反射光のパルスの立ち下がりの後、終了している。すなわち反射光のうち時間ｔ１  に相当する信号電荷Ｓ６（図７）が検出される。信号電荷Ｓ６を積分して得られる蓄積電荷量Ｅ１  （第１の反射光成分）は、
Ｅ１  ＝ｋ・Ｉ・ｔ１  ・Ｎ                                        ・・・（２）
である。ただし、ｋは比例係数、Ｉは反射光強度、Ｎは測距光のパルス数である。
【００５０】
これに対して第２測距モードでは、電荷蓄積期間ＴＵ  は測距光のパルスの立ち下がりよりも時間ｔ０  だけ前に開始し、反射光のパルスの立ち下がりの後、終了している。すなわち時間ｔ０  は、第１測距モードにおける反射光の検出タイミングと第２測距モードにおける反射光の検出タイミングとの相対的な差であり、第２測距モードでは、反射光のうち時間（ｔ０  ＋ｔ１  ）に相当する信号電荷Ｓ２６（図９）が検出される。信号電荷Ｓ２６を積分して得られる蓄積電荷量Ｅ２  （第２の反射光成分）は、
Ｅ２  ＝ｋ・Ｉ・（ｔ０  ＋ｔ１  ）・Ｎ                              ・・・（３）
である。
【００５１】
（１）式において遅延係数δを１とおくと、時間ｔ０  に相当する距離ｄ０  は、
ｄ０  ＝ｔ０  ・Ｃ／２                                      ・・・（４）
と表される。一方、被計測物体までの距離ｄは、
ｄ＝ｔ１  ・Ｃ／２                                          ・・・（５）
と表される。
【００５２】
（２）式と（３）式から、蓄積電荷比Ｑは
0003574602.tif 000002
と表される。したがって、被計測物体までの距離ｄは、
ｄ＝ｄ０  ・Ｑ／（１−Ｑ）                                ・・・（７）
と表される。
【００５３】
反射光強度Ｉには、被計測物体の表面の反射率、被計測物体からの反射光の拡散等の影響が含まれている。例えば、反射率が小さければ反射光強度Ｉは小さくなり、距離情報に関する蓄積電荷量も少なくなる。したがって、このような場合に（５）式をそのまま採用して被計測物体までの距離を測定すると反射率の影響分だけ測定誤差が生じるが、（６）式から理解されるように蓄積電荷比Ｑには反射光強度Ｉが含まれていないので、（７）式を用いて求められた距離ｄは、反射率等の影響が除去されている。
【００５４】
一方、蓄積電荷量Ｅ１  、Ｅ２  には、第１および第２の外乱成分に対応した蓄積電荷がそれぞれ含まれている。したがって実際には、蓄積電荷比Ｑは、蓄積電荷量Ｅ１  から第１の外乱成分に対応した蓄積電荷を除去して得られたものを、蓄積電荷量Ｅ２  から第２の外乱成分に対応した蓄積電荷を除去して得られたもので割ることにより得られる。
【００５５】
このようにして図１２のステップ１２３の演算処理では、第１および第２測距モードの距離情報検出動作において得られた第１および第２の反射光成分と、第１および第２の外乱成分とに基づいて、（４）、（６）および（７）式から、被計測物体の表面の各点までの距離ｄすなわち被計測物体の３次元形状が求められる。
【００５６】
次に、第１および第２測距モードにおいて検出される蓄積電荷量の大きさと、ＣＣＤ２８（図２）の出力レンジについて説明する。
【００５７】
結像光学系の近傍に置かれた点光源により反射率Ｒの被写体が照明されて輝度Ｌ０  の２次元光源となり、結像光学系によってイメージセンサに結像される場合、フレア成分を無視すると、光学像の照度Ｅθは、
Ｅθ＝（τπＬ０  Ｖ・  ｃｏｓ４  θ）／（４Ｆ２（１＋ｍ）２  ）    ・・・（８）
で表される。ここで、τは結像光学系のレンズの透過率、Ｖは開口効率（ビネッティングファクタ）、θは被写体の光軸に対する傾き角、Ｆは結像光学系のＦナンバ、ｍは結像光学系の横倍率である。
【００５８】
横倍率ｍは、レンズの入射瞳からの被写体距離をｒ、焦点距離をｆ、入射瞳と主軸間の距離をｖｆ（ｖは定数）で表すと、
ｍ＝ｆ／（ｒ−ｆ−ｖｆ）
となり、ｖｆは小さな値なので無視すれば、（８）式は
Ｅθ＝（τπＬ０  Ｖ（ｒ−ｆ）２  ・  ｃｏｓ４  θ）／（４Ｆ２ｒ２）
となる。
【００５９】
一方、入射瞳の近傍には光度Ｉの点光源があって距離ｒだけ離れた被写体を照明したとすると、被写体上の照度Ｅｉは、
Ｅｉ＝（Ｉ  ｃｏｓα）／（  ｒＬ  ）２
と表される。ここで、αは光源方向と被写体法線とのなす角である。被写体の反射率がＲであり、かつ均等拡散面であると仮定すると、被写体が照明されて２次元光源として反射されるときの光の輝度Ｌ０  は、
Ｌ０  ＝（ＲＩ    ｏｓα）／（π・ｒＬ  ２  ）                    ・・・（９）
となり、（９）式を（８）式に代入すると、
0003574602.tif 000003
という関係が得られる。
【００６０】
（１０）式を参照すると、ｒＬ  がｒとほぼ等しく、焦点距離に比べて被写体距離が十分に大きいと見做せる場合、光学像の照度はほぼ被写体距離の２乗に反比例して低下していくことがわかる。すなわち、光学像の照度Ｅθは、
Ｅθ∝１／ｒ２                                        ・・・（１１）
である。
【００６１】
第１測距モードにおける蓄積電荷量Ｅ１  に対応した時間ｔ１  は、被計測物体までの距離ｒに比例して増加するので、（１１）式にｒを乗じることにより、
Ｅ１  ＝ｋ１（１／ｒ）
と表され、ｋ１  は定数である。すなわち時間ｔ１  は被計測物体までの距離ｒに比例して増加するが、反射光のパルスの高さは距離ｒの２乗に比例して減少するので、蓄積電荷量Ｅ１  は被計測物体までの距離ｒの逆数に比例して減少する。
【００６２】
第２測距モードにおいて検出される蓄積電荷量Ｅ２  は、被計測物体までの距離ｒに比例して増加する成分（時間ｔ１  に対応する成分）と、距離ｒに比例して増加しない成分（時間ｔ０  に対応する成分）とを含んでいるので、
Ｅ２  ＝ｋ２１  （１／ｒ２）＋ｋ２２  （１／ｒ）
と表される。ただしｋ２１、ｋ２２は定数である。
【００６３】
図１４は、蓄積電荷量とＣＣＤ２８の出力レンジとの関係を示す図である。横軸は距離ｒの対数であり、縦軸は蓄積電荷量Ｅの対数である。
【００６４】
第１測距モードにおいて得られる蓄積電荷量Ｅ１  は１／ｒに比例するので、蓄積電荷量Ｅ１  の対数は、被計測物体の輝度の幅Ｄ０  に応じて実線Ｇ１  、Ｇ２  に挟まれる範囲で変化する。これに対し、第２測距モードにおいて得られる蓄積電荷量Ｅ２  は１／ｒ２  に比例する項と１／ｒに比例する項とがあり、蓄積電荷量Ｅ２  の対数は、被計測物体の輝度の幅Ｄ０  に応じて実線Ｇ３  、Ｇ４  に挟まれる範囲で変化する。蓄積電荷量Ｅ２  は距離ｒが大きくなるほど蓄積電荷量Ｅ１  に近づき、測距可能な最大距離ｒｍａｘ  では蓄積電荷量Ｅ１  にほぼ等しくなる。
【００６５】
したがって、最小距離ｒｍｉｎ  から最大距離ｒｍａｘ  までの測距を行なうためには、ＣＣＤ２８は符号Ｄ１  で示す出力レンジを有することが必要である。一方、被計測物体の反射率の影響を補正する方法として、第２測距モードの距離情報検出動作を実施するのではなく、反射光の全パルスを検出する方法が考えられる。これによって得られた蓄積電荷量を用いて、第１測距モードの蓄積電荷量Ｅ１  を割り算することにより、反射光による影響を除去することも可能である。しかし、この方法によると蓄積電荷量において１／ｒ２  に比例する項が相対的に大きくなり、この結果、符号Ｄ２  で示すようにＣＣＤ２８の出力レンジを拡大することが必要となる。これに対して本実施形態では、ＣＣＤ２８の出力レンジを拡大することなく、被計測物体の３次元形状を高精度に計測することができる。
【００６６】
以上のように本実施形態では、第１測距モードの距離情報検出動作によって得られた第１の反射光成分と第２測距モードの距離情報検出動作によって得られた第２の反射光成分との比Ｑを算出することにより、被計測物体の表面の反射率の影響を除去している。また、比Ｑを算出するのに先立ち、第１および第２の反射光成分から対応する外乱成分を除去している。したがって、簡単な演算によって反射率等の補正を実行することができ、また、撮像素子の出力レンジを極力抑えて、被計測物体の３次元形状の測距精度が向上する。
【００６７】
【発明の効果】
以上のように本発明によれば、撮像素子の出力レンジを実質的に拡大させることなく、被計測物体の３次元形状を検出する測距精度を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である３次元画像入力装置を備えたカメラの斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】測距光による距離測定の原理を説明するための図である。
【図４】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図５】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図６】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図７】第１測距モードによる距離情報の検出動作のタイミングチャートである。
【図８】第１の外乱成分の検出動作のタイミングチャートである。
【図９】第２測距モードによる距離情報の検出動作のタイミングチャートである。
【図１０】第２の外乱成分の検出動作のタイミングチャートである。
【図１１】距離情報検出動作において、距離情報と第１および第２の外乱成分とを検出する動作を示すフローチャートである。
【図１２】図１１に示すフローチャートの続きである。
【図１３】第１測距モードおよび第２測距モードの距離情報検出動作における測距光、反射光および電荷蓄積期間のタイミングを示す図である。
【図１４】蓄積電荷量とＣＣＤのダイナミックレンジとの関係を示す図である。
【符号の説明】
１４    光源
Ｓ      被計測物体
【図１】
0003574602.tif 000004
【図２】
0003574602.tif 000005
【図３】
0003574602.tif 000006
【図４】
0003574602.tif 000007
【図５】
0003574602.tif 000008
【図６】
0003574602.tif 000009
【図７】
0003574602.tif 000010
【図８】
0003574602.tif 000011
【図９】
0003574602.tif 000012
【図１０】
0003574602.tif 000013
【図１１】
0003574602.tif 000014
【図１２】
0003574602.tif 000015
【図１３】
0003574602.tif 000016
【図１４】
0003574602.tif 000017