(57)【特許請求の範囲】
【請求項１】
赤外光を被写体に向けて照射する投光手段と、
被写体からの光を集光するレンズと、
前記レンズから入射された光を可視光と赤外光に分光するプリズムと、
CCDまたはCMOSよりなり、前記プリズムにより分光された可視光から映像信号を生成するイメージャと、
前記プリズムにより分光された赤外光を受光し、２値化信号を出力する距離センサと、
前記距離センサから入力された前記２値化信号から得られる赤外光の強度から前記被写体までの距離を算出し、前記被写体の３次元的形状を表す形状データ信号を出力する形状データ処理手段と、
前記イメージャにより生成された前記映像信号と、前記形状データ処理手段から出力された前記形状データ信号に基づいて３次元画像情報を計算する計算手段と
を備え、
前記距離センサは、マトリクス状に配置された複数の画素からなるセンサであって、
それぞれの画素に、
前記プリズムにより分光された赤外光を受光し、光電変換を行って得られた信号を出力する受光素子と、
前記受光素子からの信号を増幅する増幅手段と、
前記増幅手段により増幅された信号により表される赤外光強度のサンプリング信号を時刻を表すkを用いてs(k)として表し、関数ｇ(k)をｇ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}として表し、関数ｇ(k)に所定のレベルのバイアスを加算した関数ｆ(k)をｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIASとして表したときの関数ｆ(k)の値が正またはゼロのとき０、負のとき１となる前記２値化信号を出力する演算手段と
が設けられる
画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法に関し、特に、撮像する被写体からの光を受光する素子毎に、受光した光を光電変換して得られた信号を所定の規則で演算し、リアルタイムで画像信号を演算処理できるようにした画像処理装置および方法に関する。
【０００２】
【従来の技術】
画像信号を演算する技術が普及しつつある。この技術は、例えば、画像信号を演算することによって、被写体の立体画像を求める場合に利用される。
【０００３】
このような画像信号の演算は、CCD(Charge Coupled Device)のような撮像素子を用いるとき、演算に必要な複数の信号を得るのに、繰り返し被写体を撮像し、それらをフレームメモリのような記憶装置に蓄積した後、その蓄積された信号を読み出して実行されていた。
【０００４】
また、リアルタイムの形状測定を実現する方法および装置として、特公平6-25653号公報に示されるような「非走査型撮像素子」も考えられている。
【０００５】
【発明が解決しようとする課題】
しかしながら、繰り返し被写体を撮像する時、１回の撮像に、例えば、33.3msecまたは16.6msecの時間を要することになるので、この撮像に要する時間が上限となり、それ以上高速で画像情報の演算結果を得ることができないという課題があった。
【０００６】
また、画像情報を演算するために繰り返し撮像をしなければ演算結果が得られないので、リアルタイムで演算結果が得られないという課題があった。
【０００７】
特公平6-25653号公報に開示されている非走査型撮像素子の場合、撮像素子上に並んだ各画素の出力を独立して扱うため、各画素からの出力信号線を共通化することができず、さらに各画素に対する記憶手段が素子内に持たされていないので、各画素が独立に動作するという「非走査型」の特徴を失い、リアルタイムでの処理ができないという課題があった。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、撮像する被写体からの光を受光する素子毎に、受光した光を光電変換して得られた画像信号を所定の規則に従ってリアルタイムで演算させるようにするものである。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、赤外光を被写体に向けて照射する投光手段と、被写体からの光を集光するレンズと、前記レンズから入射された光を可視光と赤外光に分光するプリズムと、CCDまたはCMOSよりなり、前記プリズムにより分光された可視光から映像信号を生成するイメージャと、前記プリズムにより分光された赤外光を受光し、２値化信号を出力する距離センサと、前記距離センサから入力された前記２値化信号から得られる赤外光の強度から前記被写体までの距離を算出し、前記被写体の３次元的形状を表す形状データ信号を出力する形状データ処理手段と、前記イメージャにより生成された前記映像信号と、前記形状データ処理手段から出力された前記形状データ信号に基づいて３次元画像情報を計算する計算手段とを備え、前記距離センサは、マトリクス状に配置された複数の画素かなるセンサであって、それぞれの画素に、前記プリズムにより分光された赤外光を受光し、光電変換を行って得られた信号を出力する受光素子と、前記受光素子からの信号を増幅する増幅手段と、前記増幅手段により増幅された信号により表される赤外光強度のサンプリング信号を時刻を表すkを用いてs(k)として表し、関数ｇ(k)をｇ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}として表し、関数ｇ(k)に所定のレベルのバイアスを加算した関数ｆ(k)をｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIASとして表したときの関数ｆ(k)の値が正またはゼロのとき０、負のとき１となる前記２値化信号を出力する演算手段とが設けられる。
【００１５】
本願発明の画像処理装置においては、距離センサのそれぞれの画素に、プリズムにより分光された赤外光を受光し、光電変換を行って得られた信号を出力する受光素子と、受光素子からの信号を増幅する増幅手段と、増幅手段により増幅された信号により表される赤外光強度のサンプリング信号を時刻を表すkを用いてs(k)として表し、関数ｇ(k)をｇ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}として表し、関数ｇ(k)に所定のレベルのバイアスを加算した関数ｆ(k)をｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIASとして表したときの関数ｆ(k)の値が正またはゼロのとき０、負のとき１となる２値化信号を出力する演算手段とが設けられる。
【００１６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置１の一実施の形態を示すブロック図である。画像処理装置１のシステム制御部１１は、パタン投光部１２、イメージャ１５、映像信号処理部１６、距離センサ１７、および形状データ処理部１８の動作を制御する。
【００１７】
パタン投光部１２は、システム制御部１１からの指令に基づいて、距離計測に必要なパタンの赤外光を被写体２に向けて照射する。このパタン光としては、距離センサ１７の計測原理に基づいてスリット光やグリッド光などが用いられる。
【００１８】
レンズ１３は、被写体からの光を集光し、プリズム１４に導入する。プリズム１４は、レンズ１３から入射された光を可視光と赤外光に分光する。すなわち、被写体からの光には、可視光の他に、上述のパタン投光部１２から照射された赤外光の被写体からの反射光があるため、これを可視光と赤外光に分光し、可視光をイメージャ１５に、赤外光を距離センサ１７に、それぞれ出射する。
【００１９】
イメージャ１５は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などからなり、システム制御部１１からの同期信号や制御信号に基づいて、プリズム１４から入射された可視光から色の情報を抽出し、映像信号として映像信号処理部１６に出力する。
【００２０】
映像信号処理部１６は、システム制御部１１からの同期信号や制御信号に基づいて、イメージャ１５から入力される映像信号に、ゲイン調整やカラー調整処理を施した後、必要に応じてアナログ信号またはデジタル信号に変換し、カラー映像信号として計算機１９に出力する。
【００２１】
距離センサ１７は、プリズム１４から入射された赤外光を受光し、システム制御部１１からの同期信号や制御信号に基づいて、この受光した赤外光を2値化信号として処理し、形状データ処理部１８に出力する。尚、距離センサ１７については、詳細を後述する。
【００２２】
形状データ処理部１８は、システム制御部１１からの同期信号や制御信号に基づいて、距離センサ１７から入力された2値化信号から赤外光の強度がピークとなるタイミングを求め、その強度から三角測量の原理で被写体２までの距離を算出し、被写体２の3次元的形状を演算する。そして、形状データ処理部１８は、演算結果を形状データ信号として計算機１９に出力する。
【００２３】
計算機１９は、映像信号処理部１６から供給されたカラー映像信号と、形状データ処理部１８から供給された形状データ信号にコンピュータグラフィクス処理を施し、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)などからなるモニタ３に出力したり、また、外部記憶装置４に出力し、そのデータを蓄積させる。
【００２４】
次に、図２と図３を参照して、距離センサ１７の詳細について説明する。距離センサ１７は、大別して２つのタイプがある。第1のタイプは、光学エリア３１の水平方向に並んだ画素４１を順次走査して、各画素４１からの出力信号を取り出して処理を実行するタイプであり、第2のタイプは、光学エリア３１の垂直方向にならんだ画素４１を順次走査して、各画素からの出力信号を取り出して処理するタイプである。図２は、前者のタイプの距離センサ１７の構成を表しており、図３は、後者のタイプの距離センサ１７の構成を表している。
【００２５】
最初に、図２を参照して、水平走査型タイプの距離センサ１７について説明する。
【００２６】
光学エリア３１は、演算機能を備えた複数の画素４１から構成されており、画素４１が、マトリクス状にn×m個（＝水平方向の数×垂直方向の数）並べられている。各画素４１は、受光した光量に応じた信号を、タイミングジェネレータ３２から出力されるリセットパルスおよび受光部転送パルスに基づいて演算し、その演算結果を、水平走査回路３３ａから供給される選択信号に基づいて、共通信号線４２を介して水平方向に出力回路３４に出力する。尚、画素４１については、詳細を後述する。
【００２７】
タイミングジェネレータ３２は、システム制御部１１からの制御信号に基づいて、制御パルスを水平走査回路３３ａおよび出力回路３４に供給すると共に、増幅部駆動パルス、リセットパルスおよび受光部転送パルスを発生し、光学エリア３１の各画素４１に供給する。
【００２８】
水平走査回路３３ａは、タイミングジェネレータ３２から供給される制御パルスに基づいて、クリアパルス、記憶部転送パルス、比較部駆動パルス、および選択信号を発生し、光学エリア３１の各画素４１に供給する。
【００２９】
出力回路３４は、タイミングジェネレータ３２からの制御パルスに同期して、光学エリア３１の各画素４１からの出力信号を共通信号線４２を介して受信し、形状データ処理部１８に出力する。
【００３０】
演算制御部３５は、システム制御部１１からの制御信号に対応して、各画素４１の演算部５３の記憶部６１のマトリクス回路７２（図６）に、実行させる演算処理を選択する（指定する）演算選択信号を供給する。尚、演算部５３の記憶部６１のマトリクス回路７２については、詳細を後述する。
【００３１】
図３に示す垂直走査型タイプの距離センサ１７においては、図２に示す水平走査型タイプの距離センサ１７の水平走査回路３３ａに代えて、垂直走査回路３３ｂが設けられており、それにより駆動された各画素４１の出力は、共通信号線４２を介して垂直方向に出力回路３４に供給されている。その他の構成は、図２における場合と同様である。
【００３２】
次に図４を参照して、画素４１の詳細について説明する。図４には、図２に示されている共通信号線４２に接続されるｎ個の画素４１ａ乃至４１ｎが示されている。ここでは、１つの画素４１ａの構成だけが示されているが、その他の画素４１ｂ乃至４１ｎも同様に構成されている。このことは、図３の距離センサ１７の場合についても同様である。
【００３３】
画素４１ａの受光部５１は、例えば、フォトダイオードなどの受光素子からなり、プリズム１４から入射される赤外光を受光し、タイミングジェネレータ３２から供給されるリセットパルスに基づいて、その受光した赤外光を光電変換し、タイミングジェネレータ３２から供給される受光部転送パルスに基づいて、その信号を増幅部５２に出力する。
【００３４】
増幅部５２は、タイミングジェネレータ３２から供給される増幅部駆動パルスに同期して、受光部５１から入力される信号を後段の装置での処理に必要なレベルにまで増幅し、演算部５３に出力する。
【００３５】
演算部５３は、記憶部６１および比較部６２を有しており、増幅部５２より入力された信号を、演算制御部３５からの演算選択信号により指定された所定の演算を施して、２値化信号として出力部５４に出力する。尚、記憶部６１および比較部６２については、詳細を後述する。
【００３６】
出力部５４は、水平走査回路３３ａからの選択信号に同期して、共通信号線４２を介して演算部５３から入力された信号を画素信号として、出力回路３４に出力する。
【００３７】
ここで、演算部５３の記憶部６１および比較部６２の説明にあたり、演算部５３の2値化信号の演算について先に説明する。
【００３８】
受光部５１で、受光された光量に対応する信号が増幅部５２で増幅され、演算部５３に入力されるが、その赤外光強度のサンプリング信号s(k)が、図５に示すように、サンプリングの時刻kと共に変化するものとする。このとき、時刻kが変化する毎に、赤外光強度のサンプリング信号は、以下の様に示される。
【００３９】
s(k−3)，s(k−2)，s(k−1)，s(k)，s(k−1)，s(k−2)，s(k−3)……
ただし、kよりもk−1の方が時間的に前の値を示しているものとする。
【００４０】
この時、赤外光の強度がピークとなる時刻を検出するための関数として以下の式（１）に示すような変位差を示す関数g(k)を考える。
【００４１】
ｇ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}……（１）
この関数g(k)は、サンプリング信号s(k)をほぼ微分することに対応しており、赤外光強度のサンプリング信号s(k)が、大きいほど正の大きな値を取るものと仮定すると、g(k)＞0の時、赤外光強度のサンプリング信号s(k)は、時刻の変化に対して、増加していることを示し、逆にｇ(k)＜0の時、赤外光強度のサンプリング信号s(k)の強度は、時刻の変化に対して減少していることを示すことになる。
【００４２】
従って、このg(k)が、正の値から負の値に変化した時刻kが、赤外光強度のサンプリング信号がピークを呈する時刻となる。
【００４３】
そこで、図５に示すように、赤外光強度のサンプリング信号s(k)のノイズを考慮し、関数g(k)に所定のレベルのバイアスを加算した以下の式（２）に示される関数f(k)により、上記と同様の手法で赤外光強度のサンプリング信号のピークを検出した時刻を求めることができる。
【００４４】
ｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIAS……（２）
図５に示されるように、f(k)は、赤外光強度s(k)の変化に対応して変化し、図５中f(k)の値が、正の値から負の値に変化するゼロレベルとの交点の時刻kが、赤外光強度s(k)がピークを呈するタイミングを示めすことになる。尚、図５では、赤外光強度s(k)のピークは、サンプリング時刻(k−2)であり、時刻kに対してずれがあるが、これは、関数f(k)により一義的に定まる一定のずれとなるので、算出した時刻に対して一定のオフセットを掛けることにより正確な赤外光強度のサンプリング信号s(k)のピーク値を取る時刻kを求めることができる。
【００４５】
演算部５３は、上記の関数f(k)の値が正またはゼロのとき0、負のとき1、となる2値化信号を出力回路３４に出力する。出力回路３４は、この2値化信号を出力信号として、後段の形状データ処理部１８に出力する。後段の形状データ処理部１８は、この2値化信号により求められる赤外光強度のピークとなるサンプリングの時刻から赤外光強度のピークを求め、この赤外光強度から被写体までの距離を三角測量と同様の原理で算出する。
【００４６】
次に、図６を参照して、この演算部５３の記憶部６１および比較部６２について説明する。
【００４７】
記憶部６１の記憶セル７１ａ乃至７１ｄは、水平走査回路３３ａからサンプリング同期信号に同期して送られるクリアパルスCLR1乃至CLR4に基づいて、増幅部５２から入力される信号を赤外光強度のサンプリング信号として順次記憶する。
【００４８】
すなわち、例えば、ある時刻kにおいて、記憶セル７１ａには、s(k)、記憶セル７１ｂには、s(k−1)、記憶セル７１ｃには、s(k−2)、記憶セル７１ｄには、s(k−3)が、それぞれ記憶されていたとすると、次の時刻k+1では、最も古い信号を記憶している記憶セル７１ｄに対して、水平走査回路３３ａからクリアパルスCLR4が送られ、これに同期して前のサンプリング信号であるs(k−3)が消去される。そして、その直後に、水平走査回路３３ａから送られる受光部転送パルスに同期して、増幅部５２からの信号が入力されて、新しい赤外光強度のサンプリング信号であるs(k+1)が、記憶セル７１ｄに記憶される。以下サンプリングの時刻ｋが変化する毎に、同様に最も古い赤外光強度のサンプリング信号を記憶している記憶セルに、新たな赤外光強度のサンプリング信号が、順次書き換えられて、記憶されていく。
【００４９】
各記憶セル７１ａ乃至７１ｄに記憶された赤外光強度のサンプリングの信号は、マトリクス回路７２に並列に出力される。
【００５０】
マトリクス回路７２は、演算制御部３５からの演算選択信号に基づいて、スイッチ８１ａ乃至８４ａ，８１ｂ乃至８４ｂ，８１ｃ乃至８４ｃ，および８１ｄ乃至８４ｄをオンオフさせる。すなわち、ここで、各記憶セル７１ａ乃至７１ｄから出力される信号を信号V1乃至V4とし、ある時刻kにおいて、例えば、記憶セル７１ａには、s(k)、記憶セル７１ｂには、s(k−1)、記憶セル７１ｃには、s(k−2)、記憶セル７１ｄには、s(k−3)が、それぞれ記憶されているものとすると、演算すべき関数f(k)は、以下の式（３）で表される。
【００５１】
ｆ(k)＝{s(k)+s(k−1)}−{s(k−2)+s(k−3)}+BIAS……（３）
すなわち、
ｆ(k)＝V1+V2−V3−V4＋BIAS……（４）
となる。
【００５２】
そして、次のサンプリング時刻k+1では、記憶セル７１ｄに記憶されている最も古い時刻k−3の赤外光強度のサンプリング信号s(k−3)が、s(k+1)に置き換えられるので、演算すべき式は以下の様になる。
【００５３】
ｆ(k+1)＝{s(k+1)+s(k)}−{s(k−1)+s(k−2)}+BIAS……（５）
すなわち
ｆ(k+1)＝V4+V1−V2−V3+BIAS……（６）
となる。
【００５４】
そして、サンプリングの時刻が変化する毎に以下の4種類の演算が繰り返されることになる。
【００５５】
ｆ(k)＝V1+V2−V3−V4＋BIAS……（７）
ｆ(k+1)＝V4+V1−V2−V3+BIAS……（８）
ｆ(k+2)＝V3+V4−V1−V2+BIAS……（９）
ｆ(k+3)＝V2+V3−V4−V1+BIAS……（１０）
このように、サンプリング時刻毎に加減算の組み合わせを順次変更し、演算を実行することにより、記憶されている信号そのものを記憶セル間で転送する必要が無いので、転送の際に生じる信号の劣化などを抑制することができる。
【００５６】
ここで、上記式（７）乃至式（１０）の各々の演算モードは、それぞれモードＡ乃至Ｄと定義される。
【００５７】
ここで、図６の説明に戻る。マトリクス回路７２は、演算制御部３５から送信されてくる演算選択信号の演算モードに基づいて、スイッチ８１ａ乃至８４ａ，８１ｂ乃至８４ｂ，８１ｃ乃至８４ｃ，および８１ｄ乃至８４ｄのオンオフを制御する。例えば、サンプリング時刻kのとき、演算制御部３５からモードAの演算選択信号がマトリクス回路７２に送信されると、マトリクス回路７２は、スイッチ８１ａ乃至８４ａをオンにし、記憶セル７１ａに記憶されている信号V1および記憶セル７１ｂに記憶されている信号V2を比較部６２の差動増幅回路９３の正入力に供給し、記憶セル７１ｃに記憶されている信号V3および記憶セル７１ｄに記憶されている信号V4を比較部６２の差動増幅回路９３の負入力に供給する。
【００５８】
比較部６２の負荷９１ａは、差動増幅回路９３の正入力に、負荷９１ｂは、差動増幅回路９３の負入力に、それぞれ接続されており、記憶セル７１ａ乃至７１ｄから入力される電流を電圧に変換する。可変電流源９２は、バイアス電流を発生し、差動増幅回路９３の正入力に供給し、記憶セル７１ａ乃至７１ｄのうち、差動増幅回路９３の正入力に入力される信号に、式（７）乃至式（１０）におけるBIASとして加えられる。差動増幅回路９３は、正入力と負入力の差を演算する。
【００５９】
例えば、記憶部６１のマトリクス回路７２に、演算制御部３５からモードＡの演算選択信号が、入力された場合、スイッチ８１ａ乃至８４ａがオンにされ、記憶セル７１ａに記憶されている信号V1および記憶セル７１ｂに記憶されている信号V2が比較部６２の差動増幅回路９３の正入力に入力される。また、記憶セル７１ｃに記憶されている信号V3および記憶セル７１ｄに記憶されている信号V4が比較部６２の差動増幅回路９３の負入力に入力される。従って、差動増幅回路９３は、式（７）の演算を実行することになる。
【００６０】
尚、本説明の例においては、比較部６２に差動増幅回路９３を使用しているが、チョッパ型比較回路を用いることもできる。
【００６１】
次に、図７のフローチャートを参照して、画像処理装置１の動作について説明する。
【００６２】
ステップＳ１において、システム制御部１１からの制御信号に基づいて、パタン投光部１２によりパタン光（赤外光）が発生され、被写体２に向けて照射される。そして、被写体２から反射された赤外光と可視光が、レンズ１３により集光され、プリズム１４に入射される。
【００６３】
ステップＳ２において、入射された光は、プリズム１４により可視光と赤外光に分光され、分光された可視光はイメージャ１５に、赤外光は距離センサ１７に、それぞれ入射される。
【００６４】
ステップＳ３において、イメージャ１５は、可視光から色の情報を抽出し、映像信号処理部１６に出力する。映像信号処理部１６に入力された色の情報は、ゲイン調整およびカラー信号処理が施され、カラー映像信号として計算機１９に出力される。一方、距離センサ１７は、その各画素４１により赤外光を受光し、その強度のピークを検出可能な２値化信号を生成して形状データ処理部１８に出力する。尚、距離センサ１７の画素４１の処理については、後述する。形状データ処理部１８は、距離センサ１７からの２値化信号から赤外光のピークとなるサンプリング時刻を求め、そのサンプリング時刻に対応する赤外光強度から三角測量の原理により、被写体２までの距離を演算し、形状データ信号として計算機１９に出力する。
【００６５】
ステップＳ４において、計算機１９は、入力されたカラー映像信号と形状データ信号を合成し、コンピュータグラフィクス処理を施した後、モニタ３に出力したり、あるいは、外部記憶装置４に出力し、記憶させ、処理が終了される。
【００６６】
次に、図８のフローチャートおよび図９のタイミングチャートを参照して、図９のタイミングチャート中のサンプリング時刻ｋ−1において、図２の距離センサ１７の画素４１の記憶セル７１ａ乃至７１ｄに、赤外光強度のサンプリング信号としてV1＝s(k−4), V2＝s(k−1), V3＝s(k−2), V4＝s(k−3)が、記憶されている場合の動作について説明する。
【００６７】
ステップS１１において、サンプリング時刻k−1の直後にタイミングジェネレータ３２から送信されたリセットパルスが、受光部５１に入力されると、受光部５１は、受光レベルをリセットし、新たに赤外光の受光を開始する（図９中、蓄積フェーズ）。
【００６８】
ステップS１２において、受光部５１は、タイミングジェネレータ３２からの受光部転送パルス（図示せず）に同期して、新たに受光した赤外光を光電変換し、増幅部５２に出力する。
【００６９】
ステップS１３において、増幅部５２は、タイミングジェネレータ３２からの増幅部駆動パルス（図示せず）に同期して、受光部５１から入力された信号を、増幅し、演算部５３に出力する。
【００７０】
ステップS１４において、演算部５３は、水平走査回路３３ａからのクリアパルスCLR1（図９）に同期して、最も古い信号である記憶セル７１ａの信号s(k−4)を消去し、続く水平走査回路３３ａからの記憶部転送パルスTX1（図９）に同期して、増幅部５２からの信号を記憶セル７１ａに記憶させる。
【００７１】
ステップＳ１５において、記憶セル７１ａ乃至７１ｄは、記憶している信号V1乃至V4をマトリクス回路７２に出力する。
【００７２】
ステップＳ１６において、マトリクス回路７２は、演算制御部３５からの演算選択信号のモードＡの信号に基づいて、スイッチ８１ａ乃至８４ａをオンし、記憶セル７１ａ乃至７１ｄから入力される信号V1乃至V4のうち、信号V1およびV2を比較部６２の差動増幅回路９３の正入力に、信号V3およびV4を負入力にそれぞれ供給する。
【００７３】
ステップS１７において、マトリクス回路７２から正入力に入力された信号V1およびV2に、可変電流源９２から供給されるBIASを加えた信号と、負入力に入力された信号V3およびV4は、負荷９１ａ，９１ｂにより電流から電圧に変換される。比較部６２の差動増幅回路９３は、水平走査回路３３ａからの比較部駆動パルス（図示せず）に同期して、この信号V1乃至V4およびBIASから式（７）の演算を実行する（図９中、演算フェーズ）。そして、その演算結果は、出力部５４に出力される。図９の例では、1が出力されており、受光した赤外光強度のピークが検出されたことを示している。
【００７４】
ステップＳ１８において、出力部５４は、水平走査回路３３ａからの選択信号と同期して（サンプリング同期信号のサンプリング時刻k+1に対応する）、画素信号としての演算結果を共通信号線４２を介して、出力回路３４に出力する（図９中、出力フェーズ）。
【００７５】
ステップＳ１９において、出力回路３４は、タイミングジェネレータ３２からの制御パルスに同期して、画素信号を形状データ処理部１８に出力し、処理を終了する。
【００７６】
尚、この処理は、図９に示すように、サンプリング時刻毎に繰り返される。すなわち、上記処理が、サンプリング時刻k−1の直後のリセットパルスから演算モードＡの蓄積フェーズに入り、クリアパルスCLR4から演算フェーズに入るが、このとき、サンプリング時刻ｋのリセットパルスにより、その次のモードＢの演算の蓄積フェーズに入ることになり、以降これが繰り返される。
【００７７】
以上の説明においては、画素４１に、受光部５１、増幅部５２、演算部５３、および出力部５４を設けるようにしたが、図１０に示すように、演算部５３および出力部５４は、画素４１の外部に置くようにしても良い。図１０の例は、図２に対応する距離センサ１７の各画素４１の演算部５３と出力部５４を別置きにした距離センサ１７を示している。
【００７８】
図１０においては、図２の場合と対応する部分には同一の符号を付してあり、その説明は、適宜省略する。図１０の距離センサ１７においては、新たに画素出力線１０１と記憶演算エリア１０２が設けられている。光学エリア３１内の各画素４１からの画素信号は、画素出力線１０１を介して、記憶演算エリア１０２の各画素４１に対応する記憶部６１に出力される。図１０に対応する各画素４１には、図４の受光部５１および増幅部５２だけが設けられ、それ以降の演算部５３と出力部５４からなる部分が、記憶演算エリア１０２の各画素４１に対応する記憶部６１に設けられており、両者は画素出力線１０１に接続されている。このように別置きにすることにより、画素４１を光学エリア３１に効率よく配置することができる。
【００７９】
図１１は、図１０の光学エリア３１と記憶演算エリア１０２の複数の画素４１の処理を示すタイミングチャートである。すなわち、例えば、画素ｉ−1について図９のサンプリング時刻k，k+1で、演算記憶エリア１０２の記憶部６１は、クリアパルスに同期してデータが消去された記憶セル（７１ａ乃至７１ｄのいずれか古い時刻のデータが記憶されているセル）に、受光部５１から増幅部５２および画素出力線１０１を介して、転送パルスに同期して入力された信号を記憶させる。そして、その記憶部６１に対応する受光部５１は、リセットパルスによりリセットされ、新たに受光を開始する。一方、記憶セル７１ａ乃至７１ｄに記憶された信号は、演算制御部３５から入力される演算選択信号に基づいて演算を実行し、出力部５４に出力する。そして、出力部５４は、水平走査回路３３ａからの選択信号に同期して、共通信号線４２を介して出力回路３４に出力する。その後、次の画素ｉが、画素ｉ−1と同じサンプリング時刻k，k＋１で、図９に示される処理を実行する。尚、図１０においては、図２に対応した水平走査型タイプの場合について説明したが、図３の垂直走査型タイプの場合についても同様である。
【００８０】
以上の説明においては、画像処理装置に３次元画像処理を実行させるようにしたが、画像処理装置は、演算内容を変化させることにより、画像と共に演算処理が必要な他の処理も実行させることができる。例えば、画像情報と共に温度分布を測定するサーモグラフィなどに応用させても良く、また、上記の３次元画像処理とサーモグラフィを組み合わせることで、３次元サーモグラフィとしても良い。
【００８１】
上述の様に、各画素４１に演算機能を持たせることにより、リアルタイムでの画像処理が可能となる。
【００８２】
【発明の効果】
本発明によれば、リアルタイムでの画像情報の演算処理が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】図１の水平走査型の距離センサの構成を示すブロック図である。
【図３】図１の垂直走査型の距離センサの構成を示すブロック図である。
【図４】図２の画素の詳細な構成を示すブロック図である。
【図５】受光される光のピークの演算方法を説明する図である。
【図６】図４の演算部の詳細な構成を示す図である。
【図７】図１の画像処理装置の動作を説明するフローチャートである。
【図８】図２の画素の動作を説明するフローチャートである。
【図９】図２の画素の動作を説明するタイミングチャートである。
【図１０】図４の距離センサの他の構成を示すブロック図である。
【図１１】図１０の距離センサの動作を説明するタイミングチャートである。
【符号の説明】
１  画像処理装置，  ２  被写体，  ３  モニタ，  ４  外部記憶装置，  １１  システム制御部，  １２  パタン投光部，  １３  レンズ，  １４  プリズム，  １５  イメージャ，  １６  映像信号処理部，  １７  距離センサ，  １８  形状データ処理部，  １９  計算機，  ３１  光学エリア，  ３２  タイミングジェネレータ，  ３３ａ  水平走査回路，  ３３ｂ  垂直走査回路，  ３４出力回路，  ３５  演算制御部，  ４１，４１ａ乃至４１ｎ  画素，  ４２  共通信号線，  ５１  受光部，  ５２  増幅部，  ５３  演算部，  ５４  出力部，  ６１  記憶部，  ６２  比較部，  ７１ａ乃至７１ｄ  記憶セル，  ７２マトリクス回路，  ８１ａ乃至８１ｄ，８２ａ乃至８２ｄ，８３ａ乃至８３ｄ，８４ａ乃至８４ｄ  スイッチ，  ９１ａ，９１ｂ  負荷，  ９２  可変電流源，  ９３  差動増幅回路，  １０１  画素出力線，  １０２  記憶演算エリア
【図１】
0004265038.tif 000002
【図２】
0004265038.tif 000003
【図３】
0004265038.tif 000004
【図４】
0004265038.tif 000005
【図５】
0004265038.tif 000006
【図６】
0004265038.tif 000007
【図７】
0004265038.tif 000008
【図８】
0004265038.tif 000009
【図９】
0004265038.tif 000010
【図１０】
0004265038.tif 000011
【図１１】
0004265038.tif 000012