(57)【要約】【課題】  2次元形状パターン抽出による従来の画像処理手法を用いずに3次元形状の認識を可能とする3次元形状を認識する方法を提供する。【解決手段】  焦点方向に垂直な面内でカメラを移動させながら物体を連続的に撮影して連続画像信号を取得する工程、得られた連続画像信号の中で特徴的な信号強度の位置の変位量(ΔP)とカメラの移動距離(ΔD)に対する数式(1)の比例係数(α/L)をその特徴的な信号強度の初期位置と関連付けることで焦点方向の距離に関連したZ値を有する3次元空間の面分布データを求める工程、この面分布データから部分一致検索により物体特定を行う工程を具備することを特徴とする。  ΔP=(α/L)・ΔD=α・(1/L)ΔD    (1)【選択図】  図２
2005257608.tif 000002
【特許請求の範囲】
【請求項１】
カメラから撮影対象である物体への方向をＺ方向としカメラで撮影された連続画像に基づき物体の３次元形状を認識する方法において、
上記Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ直接若しくは間接的に移動させながら上記物体を連続的に撮影して連続画像を取得し、かつ、各画像の掃引信号で構成される連続画像信号を取得する工程と、
得られた連続画像信号の中で、特徴的な信号強度の位置の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する下記数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める工程と、
得られた３次元空間の面分布データから部分一致検索により物体特定を行う工程、の各工程を具備することを特徴とする物体の３次元形状を認識する方法。
ΔＰ＝（α／Ｌ）・ΔＤ＝α・（１／Ｌ）ΔＤ          （１）
但し、Ｌはカメラから撮影対象である物体までの距離、また、αは受像システムで決まる上記数式（１）における（１／Ｌ）ΔＤの係数である。
【請求項２】
上記連続画像信号が、各画像における掃引信号の差分で得られる連続画像差分信号であることを特徴とする請求項１記載の物体の３次元形状を認識する方法。
【請求項３】
各画像における水平同期の掃引信号を用いて上記連続画像信号または連続画像差分信号を求めることを特徴とする請求項１または２記載の物体の３次元形状を認識する方法。
【請求項４】
Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ周期的に直接若しくは間接的に移動させることを特徴とする請求項１または２記載の物体の３次元形状を認識する方法。
【請求項５】
Ｚ方向に垂直若しくは略垂直な面内でカメラを円方向若しくは楕円方向へ直接若しくは間接的に移動させることを特徴とする請求項１、２または４記載の物体の３次元形状を認識する方法。
【請求項６】
カメラから撮影対象である物体への方向をＺ方向としカメラで撮影された連続画像に基づき物体の３次元形状を認識する装置において、
上記Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ直接若しくは間接的に移動させながら上記物体を連続的に撮影して連続画像を取得し、かつ、各画像の掃引信号で構成される連続画像信号を取得する手段と、
得られた連続画像信号の中で、特徴的な信号強度の位置の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する下記数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める手段と、
得られた３次元空間の面分布データから部分一致検索により物体特定を行う手段とでその主要部が構成されることを特徴とする物体の３次元形状を認識する装置。
ΔＰ＝（α／Ｌ）・ΔＤ＝α・（１／Ｌ）ΔＤ          （１）
但し、Ｌはカメラから撮影対象である物体までの距離、また、αは受像システムで決まる上記数式（１）における（１／Ｌ）ΔＤの係数である。
【請求項７】
上記連続画像信号が、各画像における掃引信号の差分で得られる連続画像差分信号であることを特徴とする請求項６記載の物体の３次元形状を認識する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元形状パターン抽出による従来の画像処理手法を用いることなく物体の３次元形状を認識する方法とその装置に係り、製品検査用、車両に搭載する周辺物体情報取得装置としてあるいは防犯および交通の監視用カメラとして適用できると共に、認識した物体の３次元形状を推定しその近未来の変化をシミュレーションすることを可能とする物体の３次元形状を認識する方法とその装置に関するものである。
【背景技術】
【０００２】
カメラの撮影による３次元形状認識は、通常、二つのカメラからの画像を基にパターン認識の手法を用いて抽出した物体形状パターンの距離を推定する方法が用いられる。
【０００３】
この方法では、まずカメラからの複数画像を準備し、次いでＣＰＵとメモリーから構成される画像処理専用装置を用い上記画像のドットイメージをベースとした画像処理を行って共通パターンを抽出し、その視線交差の関係から推定される距離を抽出したパターンに属性として付与するものである。ここで用いられるパターンは輝度変化やカラーパターン変化から抽出される２次元幾何学模様であり、当該幾何学模様に対してその面内のカメラからの平均距離を付与するものである。三つ以上のカメラを用いた場合も、基本的な処理方法は同じで、いずれも各撮影画像から２次元幾何学模様の物体形状をパターン抽出する画像処理装置を必要としている。
【０００４】
ところで、このパターン処理速度や物体までの距離の計測はＣＰＵの速度に依存し、画素数が多い高分解能カメラを用いた３次元形状認識では、当然ながら画素数の自乗に比例した時間を要するものであった。更に、距離の異なる物体が大小複数存在するような画像では、認識の対象となるパターンが複数個になるためより一層の時間を要するものであった。ましてや、遠いところにある小さい物体が一つのカメラの画像中に撮影されていて、もう一方のカメラでは近い大きな物体の影に隠れて画像中にパターンとして存在しないかあるいはパターンが切断されているような場合には、そのパターン認識は不可能であり、当然のことながら距離の推定もできなかった。
【０００５】
他方、カメラを用いない方法では、ミリ波レーダおよびレーザレーダを用いたものが知られている。これらの方法では、悪条件下で高い信頼性を有し、車載のオートクルーズコントロールシステムにおいて実用化されている。しかしながら、タイヤおよび木製の箱のような非金属の小さな障害物を検出する能力が低い欠点があった。
【０００６】
また、カメラを一台だけ用いたシステムとして、車が走行することを前提とした、車に搭載されたカメラで走行中に取得される連続画像によるオプティカルフローを用いる方法が提案されている。平坦な路面の画像から得られるオプティカルフローベクトルはある特定の式に従うことから、この規則に当てはまらないポイントがあれば路面と異なる高さの物体と認識する方法である。更に、この連続画像を車の移動に合わせて画像処理する方法も提案されている（特許文献１参照）。
【０００７】
しかし、この方法もＣＰＵを備えた画像処理装置を必要とするため、画像処理する対象となる物体数が多かったり、高分解能での撮影画像である場合には多くの処理時間を要する欠点があった。また、車が低速の場合にはオプティカルフローベクトルが小さくなり、３次元認識ができなくなったり、別途背景の３次元情報を保持する装置が必要となる等の問題があった。
【特許文献１】特開２００１−２６６１６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明はこのような問題点に着目してなされたもので、その課題とするところは、画素数が増えたり認識対象の物体が増えたりすることで処理時間が長くなる２次元形状パターン抽出による従来の画像処理手法を用いずに３次元形状の認識が可能となる物体の３次元形状を認識する方法とその装置を提供することにある。
【課題を解決するための手段】
【０００９】
すなわち、請求項１に係る発明は、
カメラから撮影対象である物体への方向をＺ方向としカメラで撮影された連続画像に基づき物体の３次元形状を認識する方法を前提とし、
上記Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ直接若しくは間接的に移動させながら上記物体を連続的に撮影して連続画像を取得し、かつ、各画像の掃引信号で構成される連続画像信号を取得する工程と、
得られた連続画像信号の中で、特徴的な信号強度の位置の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する下記数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める工程と、
得られた３次元空間の面分布データから部分一致検索により物体特定を行う工程、の各工程を具備することを特徴とする。
【００１０】
ΔＰ＝（α／Ｌ）・ΔＤ＝α・（１／Ｌ）ΔＤ          （１）
但し、Ｌはカメラから撮影対象である物体までの距離、また、αは受像システムで決まる上記数式（１）における（１／Ｌ）ΔＤの係数である。
【００１１】
また、請求項２に係る発明は、
請求項１記載の発明に係る物体の３次元形状を認識する方法を前提とし、
上記連続画像信号が、各画像における掃引信号の差分で得られる連続画像差分信号であることを特徴とし、
請求項３に係る発明は、
請求項１または２記載の発明に係る物体の３次元形状を認識する方法を前提とし、
各画像における水平同期の掃引信号を用いて上記連続画像信号または連続画像差分信号を求めることを特徴とし、
請求項４に係る発明は、
請求項１または２記載の発明に係る物体の３次元形状を認識する方法を前提とし、
Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ周期的に直接若しくは間接的に移動させることを特徴とし、
請求項５に係る発明は、
請求項１、２または４記載の発明に係る物体の３次元形状を認識する方法を前提とし、
Ｚ方向に垂直若しくは略垂直な面内でカメラを円方向若しくは楕円方向へ直接若しくは間接的に移動させることを特徴とするものである。
【００１２】
次に、請求項６に係る発明は、
カメラから撮影対象である物体への方向をＺ方向としカメラで撮影された連続画像に基づき物体の３次元形状を認識する装置を前提とし、
上記Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ直接若しくは間接的に移動させながら上記物体を連続的に撮影して連続画像を取得し、かつ、各画像の掃引信号で構成される連続画像信号を取得する手段と、
得られた連続画像信号の中で、特徴的な信号強度の位置の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する下記数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める手段と、
得られた３次元空間の面分布データから部分一致検索により物体特定を行う手段とでその主要部が構成されることを特徴とし、
ΔＰ＝（α／Ｌ）・ΔＤ＝α・（１／Ｌ）ΔＤ          （１）
但し、Ｌはカメラから撮影対象である物体までの距離、また、αは受像システムで決まる上記数式（１）における（１／Ｌ）ΔＤの係数である。
【００１３】
請求項７に係る発明は、
請求項６記載の発明に係る物体の３次元形状を認識する装置を前提とし、
上記連続画像信号が、各画像における掃引信号の差分で得られる連続画像差分信号であることを特徴とする。
【発明の効果】
【００１４】
本発明に係る物体の３次元形状を認識する方法とその装置によれば、
Ｚ方向に垂直若しくは略垂直な面内でカメラを一方向若しくは複数方向へ直接若しくは間接的に移動させながら上記物体を連続的に撮影して連続画像を取得し、かつ、各画像の掃引信号で構成される連続画像信号を取得する工程または手段と、
得られた連続画像信号の中で、特徴的な信号強度の位置の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する下記数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める工程または手段と、
ΔＰ＝（α／Ｌ）・ΔＤ＝α・（１／Ｌ）ΔＤ          （１）
得られた３次元空間の面分布データから部分一致検索により物体特定を行う工程または手段の各工程または手段を具備するため、
画素数が増えたり認識対象の物体が増えたりすることで処理時間が長くなる２次元形状パターン抽出による従来の画像処理手法を用いることなく３次元形状の認識が可能となる。
【００１５】
従って、本発明に係る方法または装置を、例えば電子機器のコネクター等大量に製造される小型製品部品を検査する分野に応用した場合、小型製品部品のひとつひとつの向きを認識できるようになるため、部品を組み立てる際のロボット作業負荷を著しく減少させることが可能となる。
【００１６】
また、本発明に係る装置を、例えば走行中の車に搭載した場合、停車中の他の車の方向を識別することで画像に映っていない影の部分も含めて形状を認識できるため、車のドアのすべての位置を特定することが可能となる。また、車のガラスを通してその先の物体を認識することによりはじめに一致した形状（車）以外の物体を切り出し、かつ、切り出した部分について部分形状一致による認識が可能となるため、車の背後に存在する歩行者を認識することができるようになる。従って、ドアが開く危険性や歩行者飛び出しの可能性を予知・推察する機能への橋渡しが可能となる効果がある。
【発明を実施するための最良の形態】
【００１７】
以下、本発明について図面を用いて詳細に説明する。
【００１８】
本発明に係る３次元形状を認識する装置は、水平に移動可能なカメラとその駆動機構および信号変換部から成り物体の連続画像信号を取得する手段と、得られた連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求める手段と、得られた３次元空間の面分布データから部分一致検索により物体特定を行う手段とでその主要部が構成されている。
【００１９】
まず、上記連続画像信号を取得する手段と３次元空間の面分布データを求める手段について説明する。
【００２０】
撮影カメラにはアナログ方式とデジタル方式があるが、いずれの場合も、２次元に配列された画素マトリックスからの信号を送出する。いずれの場合もアナログ信号の水平掃引信号と垂直同期信号の組み合わせとする。送信される信号の中で特徴的な信号として輝度を例として取り上げる。
【００２１】
ある直方体の物体（図１Ｂ参照。尚、図１Ｂは物体を少し斜めから観た状態で表示している）を撮影した画像（但し、この画像は物体を正面から撮影したもので物体の側面の領域は見えない状態である）の一本の水平掃引信号は、背景が黒掛かっている色でかつ物体が白っぽい色であれば、物体位置に対応した画素位置での色信号は、図１（Ａ）に示すように台形状に表れる。いまこの台形状に立ち上がる信号位置をＰとして、カメラがΔＤ移動した時点で再度信号を取得したとき、この信号位置Ｐ0はカメラから物体までの距離をＬとして以下の数式（１）のΔＰだけずれる。
【００２２】
ΔＰ＝α・（１／Ｌ）ΔＤ      （１）
尚、数式（１）は、図２に示す三角形の比より（Ｌ：ΔＤ＝α：ΔＰ）の関係から求まる関係式である。また、数式（１）の係数αはカメラのレンズ系や受像機構等受像システムによって決定される撮影に特徴される定数で、同時に撮影される物体に対しては一定である。
【００２３】
従って、信号位置Ｐのカメラ移動量に対する変化係数ｄＰ／ｄＤ＝α（１／Ｌ）は距離の近さに関係付けられる。
【００２４】
被撮影体からの光信号が時間変化しないものとすれば、あるいは、被撮影体からの光信号の時間変化よりカメラの水平変位の変化による寄与が十分大きい場合には、明らかに背景からの信号の模様の動きと距離Ｌにある物体表面からの信号の模様の動きとはΔＰだけ集団的に異なるために、その境界信号（ここでは台形上の立ち上がり信号等）を追跡することにより、変位ΔＰを計測でき距離（Ｌ／α）が逆算される。距離（Ｌ／α）はαを単位長さとした距離である。
【００２５】
そして、画像面内でのカメラの移動方向に対応する水平方向をＸとすれば、上記水平信号はあるＹ値についてのものであり、信号位置Ｐは画像面内でのＸ値を示す。これより、画像面内のポイント（Ｘ,Ｙ）に対して距離（Ｌ／α）をＺ値として（Ｘ、Ｙ、Ｚ）の３次元における成分セットを算出することができる。更に、カメラ変位ΔＤが連続的変化することによりΔＰがより正確に求められ、Ｚ値を有する物体における３次元空間の面分布データを得ることができる。
【００２６】
以下、画像面内のポイント（Ｘ,Ｙ）に対して距離（Ｌ／α）をＺ値として（Ｘ、Ｙ、Ｚ）の３次元における成分セットを算出する手法について具体的に説明する。
【００２７】
まず、直方体形状の物体が１つある場合について説明する。
【００２８】
図３（Ａ）〜（Ｃ）に示すように３枚の画像から水平同期の掃引信号（連続画像信号）を求める。尚、連続画像信号におけるｈは直方体側面輝度、ｉは直方体正面輝度、ｊは背景輝度、ｋはエッジ線輝度をそれぞれ示している。
【００２９】
そして、得られたこれ等連続画像信号の中で、特徴的な信号強度の位置（例えば、図３Ａ〜Ｃのｈ、ｉ、ｊ等の位置）の変位量（ΔＰ）およびカメラの移動距離（ΔＤ）に対する数式（１）の比例係数（α／Ｌ）をその特徴的な信号強度の初期位置と関連付けることで上記連続画像信号からＺ方向の距離に関連したＺ値を有する物体における３次元空間の面分布データを求めることができる。
【００３０】
また、図４に示すように小さい直方体がそばにあり、撮影の途中で物体（大きな直方体）の陰に隠れる場合について説明する。
【００３１】
図４に示すようにカメラを図面左から右へ移動する状況を８段階で表示した場合、得られた８枚の各画像から水平同期の掃引信号（連続画像信号）を求めると、各画像に対応した図５（Ａ）〜（Ｈ）に示すような形状の画像信号が得られ、かつ、図５（Ｈ）に示す時点で小さい直方体は大きな直方体の陰に隠れる。
【００３２】
そして、図５（Ｅ）と図５（Ｆ）の連続画像信号からＺ方向の距離に関連したＺ値を求める方法の一例を以下説明する。
【００３３】
まず、図６（Ａ）（図５Ｅに対応する）の画像信号（掃引信号）では特徴的な信号線は４本観測される。この信号を図６（Ｂ）（図５Ｆに対応する）まで追跡すると、信号１と４は変化が遅く、信号２と３は変化が速いかまたは大きい。
【００３４】
従って、各信号線の変化量をΔＰ1、ΔＰ2、ΔＰ3、ΔＰ4とすると、
ΔＰ1〜ΔＰ4＜ΔＰ2〜ΔＰ3        （２）
という不等式（２）で示される関係になる。尚、「〜」は略同等であることを示している。
【００３５】
そして、上述した数式（１）に基づきＺ値すなわち物体表面までの距離を求めると、
Ｚ1〜Ｚ4＞Ｚ2〜Ｚ3        （３）
という不等式（３）が得られる。尚、「〜」も略同等であることを示している。
【００３６】
背景のＺ値を求めるような特徴線が無いので背景のＺ値を無限大とすれば、これ等のＺ値を図６（Ａ）の水平掃引線Ｈ上に図示すると図７のようになり、Ｚ値が求まる。尚、各Ｚ値間は内挿をとるとする。
【００３７】
ここで、図７において破線は、一本の水平掃引で処理することで得られるもうひとつの可能性（解）であり、実際、正面や側面が均一な色で塗られていると、汚れやしみ等による特徴的な信号がなければ区別がつかない。
【００３８】
しかし、水平線全部を用いて画像全体を処理することにより立方体表面や側面等のその閉じた領域のＺ値を推定することが出来、どちらの解であるかを判断することはできる。
【００３９】
そして、実際の画像の多くは多様な線と点の集合であり、それらはそれぞれ特徴信号として処理できるため、それぞれがＺ値を持ち面内のＺ値内挿は容易なものになる。
【００４０】
ここで、上記数式（１）におけるαは、上述したように受像システムに特徴づけられる係数で、ΔＰと（１／Ｌ）ΔＤとを結びつける比例定数である。
【００４１】
そして、受像システムが単純にレンズ（カメラのレンズで図示せず）を通して結像したフィルムや撮像管等、単純な受像システムの場合には、上記αは、図２に示すようにレンズから投影面（フィルムや撮像管等）までの距離に等しい。
【００４２】
また、大型スクリーンに投影して得られた像を連続画像として利用する場合には、単純な受像システムの場合における上記距離に単純な受像システムの場合における上記投影面に投影された像の倍率を乗じたものがαとなる。
【００４３】
また、アナログの信号に変換された像を連続画像として利用する場合には、ΔＰは水平信号として利用されるため、その単位は電圧（ボルト）であり、更にその単位を変換するための係数を乗じたものがαとなる。デジタル信号の場合には、信号はドット単位の数（整数で無次元であるが個の単位とする）になるため、１ドット（個）当りに相当する長さを乗じたものがαとなる。
【００４４】
いずれにしても上記αは、撮影対象である物体（被写体）の大きさや位置（Ｌ）には依存しない受像システムで決まる係数である。この係数は、予め標準の被写体を用いて校正することにより、使用前に決定しておくことができる。
【００４５】
ところで、以上の説明は単純な輝度信号によるＺ値の認識であったが、より一般的な映像を考慮し最もこれまでの技術で困難であった背景と物体の模様が重なる場合を考える。例えば、背景壁面に明暗の縞模様があり、物体である直方体表面にも同様に明暗の縞模様があり、これらの模様が偶然撮影した際に全く重なる縞の間隔と輝度であった場合である。これは、２次元形状パターン抽出による従来の画像処理手法では、模様が重なっているために識別することが不可能な状態である。背景壁面が直方体の位置（距離Ｌ）に比べ十分遠方にあれば、カメラがΔＤだけ変位した際に信号位置がΔＰずれるのは直方体だけであるから、図８（Ａ）〜（Ｂ）に示すように上述した方法により各画素に（Ｘ,Ｙ,Ｚ）値を割り振ることで３次元のＸＹＺ空間上で直方体は背景壁面と分離される。また、直方体範囲が移動することにより消失する直方体近傍で観察された背景壁部分があることで、直方体部分と背景部分とが連続していないことが判断でき、それぞれが独立したオブジェクトであると認識することも可能となる。
【００４６】
このような水平信号の処理により各水平信号と対を成して距離信号（Ｚ）を送出することが出来る。デジタル処理では、２次元分布する（Ｘ、Ｙ）の画素の輝度またはカラー信号（ＲＧＢ）に加えて距離信号（Ｚ）を新規データとして保存メモリー領域に追加することが出来る。
【００４７】
これらの処理は、上述したように複数の物体が異なる距離に存在していても同様に適用でき、各画素（Ｘ、Ｙ）に対してＺ値が求まることから、あたかも各物体にカメラから照明を投げ反射された部分だけを取り出した処理のような結果を得ることが出来る。
【００４８】
ところで、本発明に係る説明ではカメラを移動した例を取り上げているが、カメラを固定してミラーを使って画像を変位させた場合も同様の効果を得られることは明らかである。また、カメラ移動面がカメラの焦点方向に垂直である例を用いて説明したが、カメラの移動を方向と大きさを持つベクトルと考えてそのベクトルの垂直面（カメラの焦点方向）への投影成分があれば同様の効果を得られることも明らかである。すなわち、厳密に垂直面上でカメラを移動させる必要はなく、カメラにおける駆動機構の誤差範囲や焦点方向の精度により仮に数十度のずれがあっても同様の効果がある。これは、カメラに映し出される物体に対してはカメラの中心にその物体が無くてもよいことと同等である。
【００４９】
また、カメラの移動方向は一方向に限らず複数方向であってもよい。カメラの移動方向が複数の場合、例えば、カメラのレンズが自転することなくカメラが円の軌道を公転する等この軌道の線分方向に画素信号を追跡することにより、同様の結果を得る事が出来る。そして複数の方向を用いるため３次元の面分布データはより正確なものとなる。
【００５０】
次に、信号変換して得られた３次元の値をもつ画素データ（３次元画素データ）について、物体特定を行う手段すなわち認識処理装置へ転送する。認識処理装置はＣＰＵとメモリーを有する通常のコンピュータと何ら異なるところはない。従ってこれからの処理はすべてプログラムを構成するアルゴリズムに関する説明となる。
【００５１】
上述したように３次元の値をもつ画素データ（３次元画素データ）は独立したオブジェクトとして分離できるから、着目するオブジェクトが物体ならば、このようにして得られる物体の３次元画素データは物体の面データとなり、実際の３次元物体が有する面データの一部をなすものである。但し、３次元画素データ（Ｘ,Ｙ,Ｚ）で用いるＸ値とＹ値は、Ｚ値（Ｌ）に応じて撮影中心の方向軸から受像システムで得られたその値を（Ｌ／α）だけ引き伸ばしたものを用いる。
【００５２】
この段階で、カメラからの視線方向（焦点方向）で確認できる物体の投影断面形状はおろかその３次元的な形状と配置までも３次元の値をもつ画素データ（３次元画素データ）として取得できる。ここでいうところの投影断面形状とは、２次元形状パターン抽出による従来の画像処理手法で得られる物体形状（２次元画像）の結果物と同じものである。
【００５３】
本発明は、ここまでの処理について２次元形状パターン抽出による従来の画像処理手法を用いることなく高速で実現し、更に物体形状の３次元的広がりを３次元画素データとして持つことを可能とした方法並びに装置である。
【００５４】
そして、上記３次元画素データを用いることにより、実在する物体の一部を３次元的な部分として取り出したものであるから、３次元の空間広がりとして実在する物体と一致していなければならない。これは単に２次元的に投影したパターン形状でないために実現する機能である。
【００５５】
従って、従来のように物体形状を投影パターン形状として認識するだけでなく、実在する物体として新たに認識する手法が可能となる。そして、本発明に係る上記３次元画素データは実在する物体の対応する部分と一致しなければならないから、当該物体の３次元ＣＡＤモデルデータを準備することにより、その表面データの中から部分形状一致で検索することが可能になる。ここで、部分形状が一致したとは、実在する物体のどの部分と一致したかを認識できることを意味するから、３次元画素データの存在する（Ｘ、Ｙ、Ｚ）空間において、３次元ＣＡＤモデルデータをその空間に配置して、その物体に属する画素データ部分に３次元ＣＡＤモデルデータの形状が一致する部分を接続するように配置調整することが可能となる。これにより、この空間ではカメラから見える範囲の３次元画素データだけでなく、３次元ＣＡＤモデルデータを通してその裏側の形状や手前にある物体の影で消失した物体の一部までも当該空間上に再現させることが可能となる。
【００５６】
上記部分形状一致はいろいろな方法で実現できる。一つは理想的な表面の関数となる３次元ＣＡＤモデルデータと観測（撮影）から得られた３次元画素データ（測定値）とを用いて、各対応する距離の自乗和を評価関数とする最小自乗法を３次元空間で実施する方法である。また、もう一つは、３次元画素データとして構成されているため色々な方向から対象とする面の投影パターンを容易に作成できるから、新たにここでパターン処理を採用することも可能である。但し、ここで採用するパターン処理は、従来の２次元撮影画像を用いたパターン処理からは到達しない処理の工程である。
【００５７】
更に、これらの３次元画素データの時間変化を追跡すれば、物体の移動を観測することができ、認識された物体であれば、該物体の運動を抽出することが出来る。すなわち、認識が可能となった物体の３次元画素データの空間領域に３次元ＣＡＤデータを埋め込むことで、認識されなかった他の３次元画素データが作る背景表面データ上を移動する物体であることを示すことができ、コンピュータモニター上に背景画素データと物体の３次元ＣＡＤデータを描画することも可能となる。これにより、この手法は、実際の撮影画像からコンピュータ内の仮想空間上への３次元投影を実現するアルゴリズムであることが容易に理解できる。
【００５８】
尚、デジタル画像信号を用いた場合には、水平掃引信号を用いなくとも任意のカメラの画像方向に対して処理をすることができる。具体的には、画像の平面が作るＸＹ平面において「ｙ＝ａｘ」の関係で示される直線の方向にカメラが変位したとすると、二つの方法で実現できる。
【００５９】
その一つは、図９（Ａ）に示すように斜め方向の画素データ取得を繰り返すことでアナログでの水平掃引信号処理と同じ処理が実現できる。但し、斜め処理によって領域から外れた掃引部分には剰余処理［すなわち、画像データ領域の水平方向ｘの最大値ｘmaxを越えた部分に対してはｘをｘmaxで割った余り値ｘ'を用いて（ｘ'、ｙ'）の座標の画像データを取得する処理をいう。但し、水平方向のｘの最小値ｘmin＝０とした。］を行い、エリア内の非掃引部分のデータを供給［すなわち、図９Ｂに示すように左上の空白の三角形部分のデータを右側のｘmaxを越えた位置に移動する。］し、かつ、その周期的な境界部分（ｘmax上の線）においては、その境界を挟んで隣り合うデータ間で例え同じＺ値を持っていたとしても、同じ物体として扱わない。
【００６０】
もう一つは、カメラ画像を「ｙ＝ａｘ」の直線が水平になるまで回転し、図１０に示すようにそこで得られる回転座標系（ｘ'、ｙ'）の水平方向の最小値から最大値まで、垂直方向も最小値から最大値の範囲で掃引する方法である。この場合、同一のＺ値を持つ隣接画素を同一物体と看做さない等、上述の境界線上の処理は必要でなくなり、画像エリア（あるいは境界線）から外れた領域での掃引における処理は無視するだけでよい。
【００６１】
すなわち、デジタル信号において「ｙ＝ａｘ」で示される関係の点を順次進むこととは、「ｙ＝ａｘ」方向への掃引と同じであり、それに対する画像信号もその位置（ｘ、ｙ）の周辺の画素ポイントから画素が持つデータ（輝度など）の内挿（たとえば、重み付き平均）で対応させることが出来る。これにより、前述のアナログの説明で用いた水平掃引信号と同じ扱いができる連続信号が得られる。ここで言う連続とは、隣接する位置データが連なっていることを意味し、アナログ的かデジタル的かは、本発明の処理に必要な程度に稠密な画素の集合であれば特に問題にならない。
【００６２】
ところで、本発明に係るこれまでの説明では各画像の掃引信号で構成される連続画像信号を用いて物体における３次元空間の面分布データを求めているが、この連続画像信号として、各画像における掃引信号の差分で得られる以下の連続画像差分信号を用いて求めてもよい。以下、図１（Ａ）の信号に変えて差分信号を用いた方法について説明する。
【００６３】
ここで差分とは、デジタル信号の場合には隣り合う画素の信号強度の差であり、また、アナログ信号の場合にはいわゆるアナログ微分回路を通した結果得られる信号若しくはＡＤ（Analog to Digital）コンバーターを通してデジタル化したデータの隣り合う値の差分をとった信号である。従って、信号強度を相対的に取り扱う限りにおいて差分信号は微分信号と表現してもよい。
【００６４】
そして、各画像の掃引信号で構成される連続画像信号の図１（Ａ）に示された信号形状は、連続画像差分信号を用いた場合、図１１（Ａ）のグラフ図に示す信号形状となる。境界部分が正と負の方向に境界線の幅の範囲でひげ状の信号となり、これを特徴的な信号とすることで上述した方法と同様にΔＰを求めることができる。尚、差分の場合には、隣り合う画素の信号強度の差であるので、背景と立方体表面との段差が差分のピークとして表れ、境界を過ぎるとまた差分値はゼロになりパルス状（ひげ状）の信号となる。
【００６５】
また、アナログでの微分回路を経由した場合には図１１（Ｂ）に示す信号形状になる。尚、これを実現する回路としては、良く知られている回路で、例えば、コンデンサーＣと抵抗Ｒとからなる最も簡単な微分回路（図１１Ｃ）がある。
【００６６】
このようにして連続画像信号若しくは連続画像差分信号に基づいた物体における３次元空間の面分布データを求める工程と物体特定を行う工程を経て、実在する物体の位置と向きを知ることができる。
【００６７】
従って、本発明に係る上述した方法または装置を、例えば電子機器のコネクター等大量に製造される小型製品部品を検査する分野に応用した場合、小型製品部品のひとつひとつの向きを認識できるようになるため、部品を組み立てる際のロボット作業負荷を著しく減少させることが可能となる。
【００６８】
また、例えば走行中の車に搭載した場合、停車中の他の車の方向を識別することで画像に映っていない影の部分も含めて形状を認識できるため、車のドアのすべての位置を特定することが可能となる。また、車のガラスを通してその先の物体を認識することによりはじめに一致した形状（車）以外の物体を切り出し、かつ、切り出した部分について部分形状一致による認識が可能となるため、車の背後に存在する歩行者を認識することができるようになる。従って、ドアが開く危険性や歩行者飛び出しの可能性を予知・推察する機能への橋渡しが可能となる。
【図面の簡単な説明】
【００６９】
【図１】図１（Ａ）は連続画像信号を構成する水平掃引信号と信号強度との関係を示すグラフ図、図１（Ｂ）は直方体の物体を撮影した画像の説明図。
【図２】被撮影対象である物体とカメラとの関係を示す説明図。
【図３】図３（Ａ）〜（Ｃ）は直方体形状の物体を撮影した３枚の画像の説明図と、各画像に対応した水平掃引信号と輝度との関係を示すグラフ図。
【図４】被撮影対象である大小２つの物体を撮像する状態を示す説明図。
【図５】図５（Ａ）〜（Ｈ）は大小２つの物体を撮影した８枚の画像の説明図と、各画像に対応した水平掃引信号と輝度との関係を示すグラフ図。
【図６】図６（Ａ）〜（Ｂ）は大小２つの物体を撮影した２枚の画像の説明図と、各画像に対応した水平掃引信号と輝度との関係を示すグラフ図。
【図７】図６（Ａ）〜（Ｂ）に示された連続画像信号に基づき求められるＺ値と水平掃引信号との関係を示すグラフ図。
【図８】図８（Ａ）〜（Ｂ）は被撮影対象である物体の模様と背景の模様が重なる場合における画像の水平掃引信号と輝度との関係を示すグラフ図。
【図９】図９（Ａ）〜（Ｂ）はデジタル画像信号に対し水平掃引信号を用いない掃引方法を示す説明図。
【図１０】デジタル画像信号に対し水平掃引信号を用いない掃引方法を示す説明図。
【図１１】図１１（Ａ）は連続画像差分信号を構成する水平掃引信号と差分信号強度との関係を示すグラフ図、図１１（Ｂ）はアナログでの連続画像差分信号を用いた場合の入力信号と微分信号の説明図、図１１（Ｃ）はアナログでの連続画像差分信号を用いる場合の微分回路の構成説明図。
【図１】
2005257608.tif 000003
【図２】
2005257608.tif 000004
【図３】
2005257608.tif 000005
【図４】
2005257608.tif 000006
【図５】
2005257608.tif 000007
【図６】
2005257608.tif 000008
【図７】
2005257608.tif 000009
【図８】
2005257608.tif 000010
【図９】
2005257608.tif 000011
【図１０】
2005257608.tif 000012
【図１１】
2005257608.tif 000013