(57)【要約】【課題】移動レーン横の作業スペースを占有せずに、高精度の通過物体高さ測定装置を提供する。【解決手段】平面２に沿って所定の方向３に移動する物体５の平面２からの高さを測定する高さ測定装置において、平面２に対向して設けられ、且つ走査方向が所定の方向３に向けて設けられ、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに物体５を撮像する第１の撮像装置１１と、第１の撮像装置１１から所定の間隔だけ離して、平面２に対向して設けられ、且つ走査方向が所定の方向３に向けて設けられ、第１の時刻と第２の時刻とに物体５を撮像する第２の撮像装置１２と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部１４と、差画像形成部１４で形成された、第１の撮像装置による像の差画像と第２の撮像装置による差画像とに基いて、物体の高さを演算する高さ演算部１３とを備える。【選択図】　図１
2004061382.tif 000002
【特許請求の範囲】
【請求項１】
平面に沿って所定の方向に移動する物体の前記平面からの高さを測定する高さ測定装置において；
前記平面に対向して設けられ、且つ走査方向が前記所定の方向に向けて設けられ、第１の時刻と前記第１の時刻から所定の時間だけ遅れた第２の時刻とに前記物体を撮像する第１の撮像装置と；
前記第１の撮像装置から所定の間隔だけ離して、前記平面に対向して設けられ、且つ走査方向が前記所定の方向に向けて設けられ、前記第１の時刻と前記第２の時刻とに前記物体を撮像する第２の撮像装置と；
前記第１の時刻に撮像された画像と前記第２の時刻とに撮像された画像との差画像を形成する差画像形成部と；
前記差画像形成部で形成された、前記第１の撮像装置による像の差画像と前記第２の撮像装置による像の差画像とに基いて、前記物体の前記高さを演算する高さ演算部とを備える；
通過物体高さ測定装置。
【請求項２】
前記第１の撮像装置と第２の撮像装置は、前記所定方向に並んで配置されている請求項１に記載の通過物体高さ測定装置。
【請求項３】
前記第１の撮像装置と第２の撮像装置は、前記所定方向に対して直角に並んで配置されている請求項１に記載の通過物体高さ測定装置。
【請求項４】
前記高さ演算部は、前記所定方向と直角を形成する前記物体の端辺のエッジ情報に基づいて前記物体の高さを演算する請求項１乃至請求項３の何れか１項に記載の通過物体高さ測定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通過物体高さ測定装置に関し、特に、平面から測定した通過物体の高さの情報を含む時空間画像から通過物体の高さを測定する通過物体高さ測定装置に関するものである。
【０００２】
【従来の技術】
通過物体の高さを測定する装置は、従来から通過物体の側面を撮像装置により撮像し、得られた通過物体の側面形状画像をデジタル処理により、各端辺のエッジを抽出し、時空画像の通過物体頂点を示す水平方向のエッジ位置を底辺からの高さに変換する方法で、通過物体の高さを測定していた。
【０００３】
【発明が解決しようとする課題】
以上のような従来の通過物体高さ測定装置によれば、通過物体を載置するベルトコンベアのような移動レーンの側方空間に設置された通過物体高さ測定装置が、移動レーン横の作業スペースを占有し通過物体の仕分け作業を妨げていた。また、通過物体が移動レーンの幅方向にせり出した場合、移動レーン外に設置された通過物体高さ測定装置と衝突するという障害も生じていた。
【０００４】
そこで本発明は、移動レーン横の作業スペースを占有せずに、高精度の通過物体高さ測定装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に係る発明による通過物体高さ測定装置は、例えば図１及び図３に示すように、平面２に沿って所定の方向３に移動する物体５の平面２からの高さを測定する高さ測定装置において、平面２に対向して設けられ、且つ走査方向が所定の方向３に向けて設けられ、第１の時刻と第１の時刻から所定の時間だけ遅れた第２の時刻とに物体５を撮像する第１の撮像装置１１と、第１の撮像装置１１から所定の間隔だけ離して、平面２に対向して設けられ、且つ走査方向が所定の方向３に向けて設けられ、第１の時刻と第２の時刻とに物体５を撮像する第２の撮像装置１２と、第１の時刻に撮像された画像と第２の時刻とに撮像された画像との差画像を形成する差画像形成部１４と、差画像形成部１４で形成された、第１の撮像装置による像の差画像と第２の撮像装置による像の差画像とに基いて、物体の高さを演算する高さ演算部１３とを備える。
【０００６】
このように構成すると、第１の撮像装置１１と、第２の撮像装置１２と、差画像形成部１４と、高さ演算部１３とを備えるので、高さ演算部１３が、差画像形成部１４で形成された、第１の撮像装置による像の差画像と第２の撮像装置による像の差画像とに基いて、物体の高さを演算することができる。また、第１及び第２の撮像装置の走査方向は、通過物体５が移動する所定の方向３に向けて設けられているため、通過物体５の端辺を示すエッジ情報の生成が確実に行える。
【０００７】
上記目的を達成するために、請求項２に係る発明による請求項１に記載の通過物体高さ測定装置は、例えば図１に示すように、第１の撮像装置１１と第２の撮像装置１２は、所定方向３に並んで配置されている。ここで、並んで配置されているとは、所定方向３に対して実質的に平行且つ水平に設置することをいう。
【０００８】
このように構成すると、第１及び第２の撮像装置で取得した差画像を垂直又は水平方向に移動させるだけで物体の高さを測定することができる。
【０００９】
上記目的を達成するために、請求項３に係る発明による請求項１に記載の通過物体高さ測定装置は、例えば、第１の撮像装置１１と第２の撮像装置１２は、所定方向３に対して直角に並んで配置されている。ここで、直角に並んで配置されているとは、所定方向３に対して実質的に約９０度の角度で且つ水平に設置することをいう。
【００１０】
このように構成すると、第１及び第２の撮像装置で取得した差画像を垂直及び水平方向に移動するだけで物体の高さを測定することができる。
【００１１】
上記目的を達成するために、請求項４に係る発明による請求項１乃至請求項３の何れか１項に記載の通過物体高さ測定装置は、例えば、高さ演算部１３は、所定方向３と直角を形成する物体の端辺のエッジ情報に基づいて物体の高さを演算する。
【００１２】
このように構成すると、差画像の相関処理が所定方向３と直角を形成する物体の端辺のエッジ情報だけで物体の高さを測定することができ、演算処理の速度を向上させる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号または類似符号を付し、重複した説明は省略する。
【００１４】
図１は、本発明による実施の形態である通過物体高さ測定装置１０（以下、適宜「高さ測定装置１０」という）の模式的側面図である。図中通過物体５がベルトコンベアのような平面で水平な移動レーン２上に載置され所定方向としての進行方向３に図中左から右へ移動している。すなわち、直交座標ＹＺ軸を移動レーン２に設定した場合、進行方向３はＹ軸に沿って平行であり、通過物体５の高さはＺ軸に沿って移動レーン２と鉛直方向に設定されている。また、通過物体５は、本実施の形態では立方体の箱を例示しているが、端辺が曲線状の物体でも高さを測定することができる。さらに、移動レーン２はベルトコンベアの他に、通過物体５を水平方向に移動させる手段であれば空気圧で物品を移送するエアートラックでもよい。
【００１５】
図示した移動レーン２の鉛直方向上方には、通過物体５が通過するのに十分な高さに設置された第１の撮像装置１１と第２の撮像装置１２が備えられ、第１の撮像装置１１と第２の撮像装置１２の下方を通過する通過物体５を撮像する。第１の撮像装置１１と第２の撮像装置１２は、適切な間隔をあけて移動レーン２の進行方向３に沿って並列に、且つ光軸がＺ軸と平行になるように設置し、第１及び第２の撮像装置の各々の視野は破線で示すように重畳する領域を有し所定の期間において通過物体５を各々の画像フレームに捕らえることができる。また、第１及び第２の撮像装置の各々の走査方向は通過物体５の進行方向３と平行になるように設定されている。
【００１６】
ここで通過物体５が通過するのに十分な高さとは、例えば約３メートルである。適切な間隔とは、例えば約５センチメートルである。走査方向とは、各撮像装置により撮像された１シーン（１フレーム）の映像画素信号を１ライン毎に演算装置１３へ分割転送して画像処理をする際の１ラインの水平方向である。したがって例えば、通過物体５の移動方向と１ラインの水平方向は、物理的にもデジタル処理的にも一致するように構成され、Ｙ軸方向に移動する通過物体５の端辺の少なくともＸ軸方向に伸びるエッジの検出が容易となる。
【００１７】
上記演算装置１３は、各撮像装置に接続され、各々撮像タイミングをずらして取得した画像の差画像を抽出し、背景の画像を除去した動きのある通過物体５の像を特定する。そして、各撮像装置の差画像が一致するまで相関処理を施し、各撮像装置の視差から三角法により撮像装置と通過物体５との距離を算出して通過物体５の高さを演算するように構成されている。
【００１８】
図２は、本発明による実施の形態である高さ測定装置１０の模式的平面図である。通過物体５が平面としての移動レーン２上に載置され進行方向３に向かって図中左から右へ移動するように構成する。すなわち、直交座標ＸＹ軸を移動レーン２に設定した場合、進行方向３はＹ軸に沿って平行であり、通過物体５の幅はＸ軸に沿って移動レーン２と垂直方向に設定され、また、第１の撮像装置１１の視野１１ａと第２の撮像装置１２の視野１２ａは図示するように一部重畳するように構成されている。さらに、撮像装置１１の近傍に位置する通過物体５のＸ軸方向に伸びる端辺と撮像装置１２の近傍に位置する通過物体５のＸ軸方向に伸びる端辺は、進行方向３と平行しＹ軸方向に伸びる通過物体５の端辺に比して撮像装置１１と１２の画素を横切るタイミングが増加するため、Ｘ軸方向に伸びる端辺の検出が容易となる。
【００１９】
図３は、本発明による実施の形態である高さ測定装置１０に用いる演算装置１３のブロック図である。高さ測定装置１０は、第１の撮像装置としての第１のＣＣＤカメラ１１、第２の撮像装置としての第２のＣＣＤカメラ１２、演算装置としてのパーソナルコンピュータ１３で構成することができる。
【００２０】
上記第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２は、コンピュータ１３に接続されており、コンピュータ１３は第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２からそれぞれ撮像された画像信号を取得する。
【００２１】
コンピュータ１３は、制御部１４を備え、高さ測定装置１０を内部の記憶部１８に記憶した高さ測定プログラムを実行することにより装置１０全体を制御している。制御部１４には、撮像装置用インターフェイス１５が接続されており、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２は撮像装置用インターフェイス１５を介して制御部１４に接続され、撮像信号の転送が制御されている。
【００２２】
また制御部１４内には、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２により取得したステレオ画像から、通過物体５の高さ情報である通過物体５の高さを時系列的に取得し、時空間画像を作成する比較演算部２０と、作成された通過物体５の時空間画像から通過物体５を計数する計数演算部２１が備えられている。比較演算部２０は、通過物体５の速度情報である通過物体５の速度を、高さ情報を取得する際に、高さ情報に対応させて時系列的に取得することができる。
【００２３】
制御部１４には、記憶部１８が接続されており、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２で撮像された画像や算出された情報等のデータを記憶部１８に記憶することができる。
【００２４】
また制御部１４には、比較演算部２０及び計数演算部２１を操作するための情報を入力する入力装置１６、計数演算部２１で処理された結果を出力する出力装置１７が接続されている。入力装置１６は例えばキーボードやマウスであり、出力装置１７は例えばディスプレイやプリンタである。図示した入力装置１６と出力装置１７はコンピュータ１３に外付けする構成を例示したが、コンピュータに内蔵してもよい。
【００２５】
図４を参照して、比較演算部２０の動作について説明をする。比較演算部２０は、ＣＣＤカメラにより撮像された画像データを処理する画像処理部２５と、第１のＣＣＤカメラ１１による差画像及び第２のＣＣＤカメラ１２による差画像の相関処理を施し対応点を求める対応点探索部２６と、通過物体５の高さ情報である高さを算出する高さ情報算出部２７と、通過物体５の速度情報である速度を算出する速度情報算出部２８と、算出された高さ情報を時間方向に並べて時空間画像を作成する時空間画像作成部２９とを備える。
【００２６】
撮像された画像データの処理は、例えば、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２からの撮像信号から第１の画像と第２の画像を取得することを含む。また本実施の形態では、ＣＣＤカメラにより撮像された画像から得られる時空間画像は、マトリクス状の碁盤目配列で、複数の小領域である複数の画素により画像が表現されている。ここで時空間画像上の画素は、ＣＣＤカメラの撮像面の画素と１対１で対応している必要はなく、例えばＣＣＤカメラの１画素を時空間画像上の４画素に対応させてもよい。
【００２７】
図５を参照して、制御部１４内に設けた計数演算部２１の動作について説明をする。計数演算部２１は、作成された時空間画像から高さ極大の小領域である極大高さの画素を抽出する極大抽出部３０と、極大高さ領域を囲む画素で極大高さから一定の高さ範囲にある画素の集合である集合領域を求める領域算入部３１と、集合領域の面積を閾値と比較して、その面積が閾値より大きい場合に通過物体５の計数を行う計数部３２とを備えている。
【００２８】
比較演算部２０は、画像形成工程としての時空間画像形成を行う。これにより、撮像装置１１と撮像装置１２からの撮像信号から通過物体５の高さの情報を持った複数の画素で表現された時空間画像が作成される。本実施の形態では、この高さの情報を輝度で表現するものとする。この輝度は、例えば、平面２から高さが約０〜１８５ｃｍに対応させた０〜２５５の輝度値で表されている。
【００２９】
次に、計数演算部２１は、比較演算部２０から時空間画像を取得し、極大抽出部３０で、時空間画像上の極大高さ即ち極大輝度値を持った画素である極大画素を抽出する極大抽出工程としての高さ極大画素の抽出を行なう。抽出方法は、まず時空間画像上の１つの画素に注目し、注目画素の縦横近傍の画素すべてが、注目画素の輝度値以下又は等しい場合、この注目画素を極大画素とする。また、１つの時空間画像上に、極大画素は複数存在してもよく、複数の極大画素は隣接もしくは接近していてもよく、互いに離れて点在していてもよい。
【００３０】
図６は、第１のＣＣＤカメラ１１で第１の時刻と第２の時刻に撮像した通過物体５のフレーム画像から抽出した動的領域を示す差画像の模式的平面図である。第１のＣＣＤカメラ１１は移動中の通過物体５を撮像しているため、Ｘ軸方向に伸びる通過物体５の端辺Ｐ１１と端辺Ｐ１３の映像を走査方向と直交する画素列により捕らえ、通過物体５と背景とのコントラストを強調するように処理することができる。一方、第１のＣＣＤ１１の走査方向と一致しＹ軸方向に伸びる通過物体５の端辺Ｐ１２と端辺Ｐ１４の映像は、通過物体５の平面形状や載置状態に依存するが静止した背景とのコントラストが不明瞭となり易い。動的領域を示す画像は、第１のＣＣＤカメラ１１に入射した光の輝度で移動する通過物体５と静止した背景映像とを区別する。背景と通過物体５との境界は黒のセルで示され、白のセルは通過物体５の頂面若しくは背景としての移動レーン２を示している。
【００３１】
第１のＣＣＤカメラ１１で撮像した通過物体５の端辺を示すセル群Ｐ１１は、Ｙ軸方向７行目の中でＸ軸方向５列目から１２列目のセルを黒で示した通過物体５の左端辺である。また、セル群Ｐ１２は、Ｘ軸方向１２列目の中でＹ軸方向７行目から１４行目のセルを全部が黒又は一部が黒で示した通過物体５の奥行き方向の端辺である。さらに、セル群Ｐ１３は、Ｙ軸方向１４行目の中でＸ軸方向５列目から１２列目のセルを黒で示した通過物体５の右端辺である。最後の端辺は、セル群Ｐ１４で示したＸ軸方向５列目の中でＹ軸方向７行目から１４行目のセルを全部が黒又は一部が黒で示した通過物体５の前面方向端辺である。
【００３２】
図７は、第２のＣＣＤカメラ１２で第１の時刻と第２の時刻に撮像した通過物体５のフレーム画像から抽出した動的領域を示す差画像の模式的平面図である。第２のＣＣＤカメラ１２は移動中の通過物体５を撮像しているため、Ｘ軸方向に伸びる通過物体５の端辺Ｐ１１と端辺Ｐ１３の映像が、第２のＣＣＤカメラ１２の走査方向と直交する複数の画素で捕らえ易く背景とのコントラストを明瞭に処理することができる。一方、第２のＣＣＤカメラ１２の走査方向と一致しＹ軸方向に伸びる通過物体５の端辺Ｐ１２と端辺Ｐ１４の映像は、通過物体５の平面形状や載置状態に依存するが静止した背景とのコントラストが不明瞭となり易い。
【００３３】
第２のＣＣＤカメラ１２で撮像した通過物体５の端辺を示すセル群Ｐ１１は、Ｙ軸方向３行目の中でＸ軸方向５列目から１２列目のセルを黒で示した通過物体５の左端辺である。また、セル群Ｐ１２は、Ｘ軸方向１２列目の中でＹ軸方向３行目から１０行目のセルを全部が黒又は一部が黒で示した通過物体５の奥行き方向端辺である。さらに、セル群Ｐ１３は、Ｙ軸方向１０行目の中でＸ軸方向５列目から１２列目のセルを黒で示した通過物体５の右端辺である。最後の端辺は、セル群Ｐ１４で示したＸ軸方向５列目の中でＹ軸方向３行目から１０行目のセルを全部が黒又は一部が黒で示した通過物体５の前面方向の端辺である。
【００３４】
また、第１のＣＣＤカメラ１１は第２のＣＣＤカメラ１２と所定の視差をもって通過物体５を撮像しているため、例えば、第１の時刻に撮像したフレーム内に差画像を形成した場合、第１のＣＣＤカメラ１１による差画像はフレームの中心から下方に通過物体５を形成し、第２のＣＣＤカメラ１２による差画像はフレームの中心から上方に通過物体５を形成している。高さ測定装置は、同一時刻のフレームに各々位置が異なる通過物体５の差画像の情報に基づき相関処理を施して通過物体５の高さを測定する。相関処理において差画像の黒ドットが一致する点が通過物体５のエッジとみなすことができる。
【００３５】
図６及び図７の模式的平面図を参照して、第１のＣＣＤカメラ１１の走査線と第２のＣＣＤカメラ１２の走査線の抽出処理について説明をする。図６は第１のＣＣＤカメラ１１で取得した通過物体５の差画像を示している。
【００３６】
また、図７は第２のＣＣＤカメラ１２で取得した通過物体５の差画像を示している。移動レーン２を高さ測定装置１０により測定する場合、図１及び図２に示すように第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２の画角を通過物体５の幅になるように設定する。
【００３７】
上記位置設定した２つのＣＣＤカメラ１１、１２は、移動レーン２を真上から撮像する。演算装置１３は、各ＣＣＤカメラの走査線の抽出処理を遂行し、移動レーン２上の通過物体５の頂面部の像が、適当な間隔で配分されるような本数の走査線を抽出する。例えば、図６及び図７に示すＸ軸の５列目、Ｘ軸の８列目、Ｘ軸の１２列目の走査線を抽出する。また、各ＣＣＤカメラの直下に通過物体５が存在しない状態の移動レーン２までの距離を基準距離Ａ１として設定しておくとよい。さらに、走査線の抽出情報と基準距離Ａ１の情報を記憶部１８に記憶する。記憶部１８は、移動する通過物体５の像を適当な間隔で配分した走査線の情報だけを記憶するため、記憶容量を小規模に構成するとができ、差画像の抽出処理や距離の演算処理の処理速度を向上させることができる。またさらに、通過物体５の頂面に文字図形等の模様が存在しても差画像を構成するエッジ情報だけで距離の演算処理を実行することにより、演算装置１３の演算速度が向上する。
【００３８】
このように、２つのＣＣＤカメラ１１、１２の位置設定をすることで、ＣＣＤカメラから通過物体５までの距離を測定すると同時に、どの走査線が通過物体５を検出したかにより、通過物体５の存在と移動レーン２からの高さ（Ｚ軸方向）を測定することができる。
【００３９】
また２つの差画像を取得し、撮像された画像上の通過物体５の像を抽出することにより、抽出された通過物体５の像の画像上の位置から、移動レーン２の幅方向（Ｘ軸方向）の位置をも得ることができる。
【００４０】
ここで、２つのＣＣＤカメラ１１、１２の配置方法について説明する。まず高さ測定装置１０は、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）と、この走査線に対応する第２のＣＣＤカメラ１２の走査線（Ｘ軸５列目）とがおよそ同一平面上に存在するように、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２を移動レーン２の真上に配置する。
【００４１】
さらに、上記演算装置１３は、第１のＣＣＤカメラ１１で通過物体５を走査する走査線（Ｘ軸５列目）と、第２のＣＣＤカメラ１２で通過物体５を走査する走査線（Ｘ軸５列目）に対して、相関値を演算する手段として機能し、演算された相関値が最大化されるように、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）と第２のＣＣＤカメラ１２の走査線（Ｘ軸５列目）との位置対応関係を定める対応走査線選択情報を記憶部１８に記憶するように構成する。
【００４２】
ここで図６及び図７に示すように、第１のＣＣＤカメラ１１の複数の走査線と、第２のＣＣＤカメラ１２の複数の走査線上にそれぞれ通過物体５が結像していたとする。この場合、２つのＣＣＤカメラ１１、１２は、わずかに違う方向から通過物体５を撮像しているので、ほとんど変わらない画像が両方の走査線上に結像している。ここで、演算装置１３は、例えば、走査線（Ｘ軸５列目）を選択するとする。この場合、まず相関演算処理は、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）のライン信号と、第２のＣＣＤカメラ１２の走査線（Ｘ軸５列目）のライン信号との相関処理を演算する。
【００４３】
相関演算処理は、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）のライン信号と、第２のＣＣＤカメラ１２の走査線のＸ軸の第１列目から順番に最終のＸ軸１６列目まで実行される。ここでの相関処理は、ライン信号全体の信号強さである相関値を基準に処理する。
【００４４】
また相関演算処理は、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）のライン信号と、第２のＣＣＤカメラ１２の走査線のｎライン目のライン信号との相関値が最大となるまで相関処理を繰り返し実行するように構成してもよい。第２のＣＣＤカメラ１２の走査線の本数が例示した１６本の場合は、ｎは１から１６の自然数であり、第２のＣＣＤカメラの走査線の本数が５００本の場合は、ｎは１から５００の自然数である。
【００４５】
演算装置１３による対応走査線の選択処理は、この相関値が最大となる走査線同士が相互に対応している走査線であると判定し、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）と第２のＣＣＤカメラ１２の走査線との位置対応関係を特定する。例えば、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）と第２のＣＣＤカメラ１２の走査線（Ｘ軸５列目）が対応している走査線であると判定した場合には、位置対応関係は、そのまま第１のＣＣＤカメラ１１の走査線（Ｘ軸６列目）と第２のＣＣＤカメラの走査線（Ｘ軸６列目）、第１のＣＣＤカメラ１１の走査線（Ｘ軸１２列目）と第２のＣＣＤカメラ１２の走査線（Ｘ軸１２列目）との位置対応関係が特定される。
【００４６】
また、高さ測定装置１０は、第１のＣＣＤカメラ１１の走査線と第２のＣＣＤカメラ１２の走査線の異なるラインが、例えば、第１のＣＣＤカメラ１１の走査線（Ｘ軸５列目）と第２のＣＣＤカメラ１２の走査線（Ｘ軸６列目）との相関演算処理による相関値が最大となるように位置関係を定めてもよい。このようにすると、第１の撮像素子と第２の撮像素子との異なるラインがおよそ同一平面の走査線に対応するように設置し、さらに相関値が最大となるように位置関係を定めるので、２つのＣＣＤカメラ１１、１２を効率良く、高精度に設置することができる。
【００４７】
また、高さ測定装置１０は、２つのＣＣＤカメラ１１、１２の位置関係または、各走査線の位置対応関係を特定した後に、２つのＣＣＤカメラ１１、１２の基線長ｗが設定値よりもずれた場合でも、距離Ａ１を予め測定すれば、走査線方向のずれ分の補正を行うこともできる。
【００４８】
すなわち、ｗを第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との光軸間距離（基線長）、ｆをＣＣＤカメラの受光レンズを単一レンズとしたときのレンズの焦点距離、ｄをＣＣＤカメラの結像面上の視差とし、ここでの焦点距離は一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とし、第１のＣＣＤカメラ１１の光軸と第２のＣＣＤカメラ１２の光軸の位置が走査線方向にＳだけずれているとする。これら変数を用いて高さ測定の対象とする通過物体５とＣＣＤカメラとの距離Ａは、Ａ　＝　ｗ　×　ｆ／（ｄ＋Ｓ）の式で算出でき、ＣＣＤカメラ相互の走査線方向のずれを補正することができる。
【００４９】
このように構成すると、高さ測定装置１０は、正確に通過物体５までの距離を測定できるだけでなく、温度変化や経時変化によりＣＣＤカメラが僅かに動いたとしても、例えば、移動レーン２との距離Ａ１を予め測定することにより、高さ測定の精度を維持することができる。また、この補正は、一定期間毎に繰り返し実施するように構成するとよい。
【００５０】
図８を参照して、上記第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２の差画像を形成する工程を説明する。先ず、通過物体５の進行方向３の上流を第１の時刻と第２の時刻で各々撮像する。平行して、進行方向３の下流を第１の時刻と第２の時刻で各々撮像する。次に、異なる時刻に撮像された通過物体５の左画像と右画像を各々算出する。この場合、背景の画像は除外され移動領域の通過物体５の画像情報だけを演算処理するため、演算速度が向上する。
【００５１】
フレーム４０は、第１のＣＣＤカメラ１１で撮像した左画像のｔ−Δｔ時間のフレームである。通過物体５は背景の映像上に示され、フレーム中央の十字マークより上方に位置している。同様に、フレーム４１は左画像のｔ時間のフレームである。通過物体５は背景の映像上に示され、フレーム中央の十字マークに重なるように位置している。フレーム４２は左画像のｔ＋Δｔ時間のフレームである。通過物体５は背景の映像上に示されフレーム中央の十字マークより下方に位置している。演算装置１３は、フレーム４１とフレーム４２の画像を比較演算部２０で比較し変化した移動領域を差画像として抽出し、背景の映像情報を除去することにより差画像をフレーム４６に形成している。したがって、フレーム４６には背景や通過物体５の頂部平坦領域の画像情報を除去した通過物体５の平面からみた輪郭が示されている。
【００５２】
また、フレーム４３は、第２のＣＣＤカメラ１２で撮像した右画像のｔ−Δｔ時間のフレームである。このフレーム４３には通過物体５は存在していない。同様に、フレーム４４は右画像のｔ時間のフレームである。通過物体５は背景の映像上に示されフレーム中央の十字マークより上方に位置している。フレーム４５は右画像のｔ＋Δｔ時間のフレームである。通過物体５は背景の映像上に示されフレーム中央の十字マークに重なるように位置している。演算装置１３は、フレーム４４とフレーム４５の画像を比較演算部２０で比較し変化した移動領域を差画像として抽出し、この差画像をフレーム４７に形成する。フレーム４７には背景や通過物体５の頂部平坦領域を除去した通過物体５の平面からみた輪郭が示されている。
【００５３】
図９の差画像の相関処理工程図を参照して、奥行情報と横振れ情報の算出についてさらに詳細に説明する。まず破線で示す左画像と実線で示す右画像の対応する輪郭点５０と輪郭点４９同士を結ぶベクトルを考え、これを水平成分（Ｘ軸方向成分）と垂直成分（Ｙ軸方向成分）に分離する。垂直成分（Ｙ軸）は、通過物体５の進行方向３に並んだ左右画像間の視差を表す量と見ることができ、この視差を用いて対象とする通過物体５までの距離を算出することができる。なお、水平成分（Ｘ軸）は、通過物体５の幅方向の振れの移動量と見ることができるが、通過物体５は移動レーン２により進行方向３を水平に移動するため、理論的に測定できる程度に図示したものである。こうして、輪郭点における奥行情報である３次元高さ、横振れ情報を対の形で一括して得ることができる。
【００５４】
また、図９に示す差画像の相関処理において、本実施の形態では、第１及び第２のＣＣＤカメラ１１、１２の走査方向は、各々通過物体５の水平移動方向３と一致しているため、例えば、走査方向が通過物体５の進行方向３に対して直角（左９０°回転）に構成した場合に比して、通過物体５の直線状の輪郭の検出が容易に取得することができる。つまり、ＣＣＤカメラの走査方向を進行方向に対して直角に構成すると、撮像したフレーム内の画素を転送しデジタル処理をする段階で左右画像を比較する走査方向に対応して記録した画素情報に余裕がなく、相関処理を失敗する可能性があるためである。したがって例えば、走査方向を通過物体５の進行方向３と一致させることにより、ＣＣＤカメラの下方を通過中の通過物体５の輪郭を確実に捉え、相関処理を十分な余裕をもって処理することができる。
【００５５】
さらに、通過物体５の高さだけ測定する場合には、通過物体５の頂部４つの輪郭を検出する必要はなく、例えば、進行方向３に対して直角をなす輪郭の１本を検出して高さを測定することができる。
【００５６】
またさらに、上述した実施の形態では、ＣＣＤカメラ１１と１２を通過物体５の進行方向に沿って並べて配置したが、他の実施の形態として通過物体５の進行方向に対して直角をなすように並べて配置し、各々のカメラの走査方向を通過物体５の進行方向と一致させても本発明の効果が期待できる。
【００５７】
図１０のフローチャートを参照して、通過物体５の高さの測定方法を例示する。ここで、左画像は第１のＣＣＤカメラ１１で撮像された画像であり、右画像は第２のＣＣＤカメラ１２で撮像された画像として説明する。処理はスタートステップＳ１０から開始し、ステップＳ１１でコンピュータ１３の制御部１４は、通過物体５が水平移動する上流側に設けた第１のＣＣＤカメラ１１で撮像されたｔ−Δｔ時間のフレーム４０の変化に応動し、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２で撮像された左画像と右画像を、撮像装置用インターフェイス１５を介してステレオ画像として取得する。
【００５８】
制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部２５によって、通過物体５が通過する時刻ｔに撮像された第１の画像であるｔフレームの左画像を取得する（ステップＳ１３）。次に、Δｔ経過した時刻ｔ＋Δｔに撮像された第２の画像であるｔ＋Δｔフレームの左画像を取得する（ステップＳ１４）。引き続き、ｔフレームの左画像とｔ＋Δｔフレームの左画像との差画像を抽出する（ステップＳ１５）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて生成する。さらに、生成した差画像に基づき背景等の静的画像情報を除去し動的領域を抽出する処理（ステップＳ１６）を施してから、後続のステップＳ２１の相関処理に移行する。
【００５９】
また、制御部１４は、取得したステレオ画像から、制御部１４内の画像処理部２５によって、通過物体５が通過する時刻ｔに撮像された第３の画像であるｔフレームの右画像を取得する（ステップＳ１７）。次に、Δｔ経過した時刻ｔ＋Δｔに撮像した第４の画像であるｔ＋Δｔフレームの右画像を取得する（ステップＳ１８）。引き続き、ｔフレームの右画像とｔ＋Δｔフレームの右画像との差画像を抽出する（ステップＳ１９）。差画像はｔフレームまたはｔ＋Δｔフレームの何れか一方のフレームに対応させて生成する。さらに、生成した差画像に基づき背景等の静的画像情報を除去し動的領域を抽出する処理（ステップＳ２０）を施してから、後続のステップＳ２１の相関処理に移行する。
【００６０】
本実施の形態では、第１のＣＣＤカメラと第２のＣＣＤカメラは同時並列的に各時刻（ｔ−Δｔ、ｔ、ｔ＋Δｔ）で撮像を行う。この場合Δｔは、計数装置１０の設定条件により適宜決めてよいが、あるフレームＮが撮像されてから、次のフレームＮ＋１が撮像されるまでの時間とすることが望ましい。
【００６１】
次に、図９で示したようにｔフレームの左画像の輪郭点を用いてｔフレームの右画像の対応点に一致させる相関処理を遂行する（ステップＳ２１）。この相関処理により輪郭点と一致させる画素の移動量と２つのＣＣＤカメラの視差情報に基づいて高さ情報を算出する（ステップＳ２２）。ここで、背景除去によってあらかじめ非背景部分を規定しておき、その部分に対して、輪郭点における値を反映させるための線形補間を行なう（ステップＳ２３）。
【００６２】
上記ステップＳ２２により得られた高さ情報を時間軸に対応させて、通過物体５の高さ情報を含む時空間画像を作成してもよい（ステップＳ２４）。
【００６３】
引き続き、最初のフレームを取得した後の経過時間であるＴ１が、予め設定しておいた所定時間Ｔ０を経過したか否かを判断する（ステップ２５）。Ｔ１が所定時間Ｔ０を経過している場合は（ステップ２５がＹｅｓ）、所定時間Ｔ０の時空間画像を取得し（ステップ２６）、処理を終了させることができる。一方、Ｔ１が所定時間Ｔ０を経過していない場合は（ステップ２５がＮｏ）、節点Ｎ１２へ分岐し次のフレームを取得する。さらに時空間画像を時間軸に対応させて、通過物体５の高さ情報を含む時空間画像を作成してもよい（ステップＳ２４）。
【００６４】
また、ステップ２５の判断条件は、経過時間Ｔ０ではなく取得したフレーム数が所定のフレーム数に達した場合としてもよい。所定時間Ｔ０は、記憶装置の容量の制約で例えば２０秒程度とすることが適当であるが、容量の制約を受けなければ例えば１時間以上としてもよい。
【００６５】
図１１の高さ測定装置のブロック図を参照して、本発明の実施の形態における高さ測定装置について説明する。高さ測定装置は、通過物体５からの光を受光する第１のＣＣＤカメラ１１と、第２のＣＣＤカメラ１２と、センサ制御部５３で構成する。第１のＣＣＤカメラ１１、第２のＣＣＤカメラ１２には、それぞれ受光レンズと、撮像面が備えられており、通過物体５からの光は、受光レンズを介してそれぞれ第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２に結像される。また、通過物体５から反射される光は、典型的には通過物体５に照射されている照射光が通過物体５から反射される光である。この場合、照射光は自然光であってもよく。蛍光灯のような人工光であってもよい。
【００６６】
また、センサ制御部５３の内部には、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２から各々出力される出力値の相関出力値を算出する相関出力算出部５８が備えられ、センサ制御部５３から演算装置１３へ画像情報を転送する。但し、センサ制御部５３を演算装置１３の制御部１４内部に備えるようにしてもよい。さらにセンサ制御部５３内部には、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２のそれぞれについて時間をずらして取得された画像の差画像を形成する差画像形成部５７を備えるとよい。
【００６７】
これによりセンサ制御部５３は、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２から取得した画像情報に基づき、移動中の通過物体５の像を抽出することができる。差画像を形成するための２つの画像は時間をずらして取得するが、ずらす時間は、通過物体５の移動量が大きくなり過ぎず、実質的にはほぼ同位置とみなせる程度の時間、例えば０．１秒程度とすればよい。あるいはテレビ周期の１から１０周期（１／３０〜１／３）とする。このような差画像をとると背景が除去され動きのある通過物体５の像を抽出することができる。
【００６８】
ここで相関出力値とは、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との視差の値とみなすことができ、相関処理により、典型的には画素数で出力される値である。センサ制御部５３は、この相関出力値により即ち第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２との視差から三角法により相対的な距離を算出する。また、相関処理とは、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２からそれぞれ得られた画像のどちらか一方をフレームに固定し、２つの画像がほぼ一致するまでずらして、そのずらした量を例えば画素数を算出する処理である。一致の判断は、全体の信号の強さで行う。信号がピークになったところが２つの差画像が重なる一致点である。
【００６９】
差画像形成による相関処理は、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２からそれぞれ得られた差画像を適正な値で２値化し、その輪郭部を抽出する事により、動きのある動的領域を抽出する。その後、動的領域だけで相関処理を施すため、演算速度を向上させることができる。すなわち、相関出力値から通過物体５までの距離を求めることができる。また、第１のＣＣＤカメラ１１と第２のＣＣＤカメラ１２の撮像領域を複数の領域に分け、対応する領域毎に相関処理を施す事により、背景の多くある部分と対象物とをおよそ区分する事もできる。
【００７０】
さらに、図１１を参照して、対象とする通過物体５の高さ情報としての平面からの高さｚの算出方法について説明する。対象とする通過物体５までの距離ａは、図１２に示す式２を用いて算出することができる。ここで、ｗはＣＣＤカメラ間距離（基線長）、ｆはＣＣＤカメラの結像レンズを単一レンズとしたときそのレンズの焦点距離、ｄはＣＣＤカメラの結像面上の視差である。
【００７１】
ここでの焦点距離は、一般に用いられている組み合わせレンズを使用する場合は、その組み合わせレンズの焦点距離とする。また、ＣＣＤカメラの結像レンズから基準線１までの距離をｈとすると、対象とする通過物体５の高さｚは図１２に示す式３で算出する。
【００７２】
以上の実施の形態では、時刻ｔの左画像と時刻ｔの右画像から高さ情報と横振れ情報を得るものとして説明したが、時刻ｔの左画像及び右画像から高さ情報を取得し、時刻ｔ＋Δｔの左又は右画像から速度情報を取得するものとしてもよい。
【００７３】
図１２に示す式１を用いてｔフレームの左画像とｔ＋Δｔフレームの右画像との濃淡値の相関をとる。ここで、ＩＬ（ｉ，ｊ）とＩＲ（ｉ，ｊ）はそれぞれ左右画像上のウインドウ内の濃淡値であり、μＬ，　μＲ，　σＬ，　σＲはそれぞれ左右ウインドウの濃淡値の平均及び分散である。Ｃは−１から＋１までの範囲内の値をとる。選定された左画像のエッジ点に対して、右画像のウインドウを少しずつ、例えば計数線に平行に移動し、また計数線に直交する方向に移動しながら、各ウインドウでＣ値を計算する。このようにして求めたＣのうち最大値を与える右画像のウインドウを、選定された左画像のウインドウに対応する局所領域とみなすことができる。
【００７４】
即ち、上記のように左右画像のウインドウの相関をとり、左画像で選定したエッジ点を含むウインドウと対応する（Ｃが最大となる）右画像のウインドウを探索する。この探索により得られた右画像のウインドウの中心が、先に選定した左画像のエッジ点に対応する右画像のエッジ点となる。
【００７５】
ウインドウの探索は、例えば、平行方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）に行う。例えば通過物体５は、垂直方向（Ｙ軸）は左右画像間の視差と見るので、既に設定した左画像のウインドウを参照して、例えば、高さが１ｍ〜２ｍと算出される視差の幅を探索すればよい。平行方向（Ｘ軸）は、通過物体５の横方向の移動量と見るので、既に設定した左画像のウインドウを参照して、時間Δｔ間に通過物体５が移動すると予想される移動量の幅を探索すればよい。またＣの値が、探索している方向に上昇傾向ならば、さらにＣの値が最大となり、下降傾向に移るまで同じ探索方向に探索を継続し、下降傾向ならば、探索方向を変えるか、既に探索した範囲でＣの値が最大となるウインドウを選択するように構成してもよい。
【００７６】
このようにウインドウの探索を行えば、明らかに探索不要な部分の左右画像のウインドウの相関をとらなくてよいので、さらに計算量を減らすことができる。以上のようにして左画像に存在する全ての輪郭点について対応点の相関処理を施し、左右画像の対応するエッジ点を得る。
【００７７】
以上説明したように本発明の実施の形態によれば、通過物体５が通過する平面の上方から通過物体５を撮像して得た時空間画像の立体位置情報に基づく高さ測定装置は、通過物体５の差画像を生成し、通過物体５のエッジを検出するため、精度良く通過物体５の高さを測定することができる。
【００７８】
尚、本発明の通過物体高さ測定装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００７９】
【発明の効果】
以上のように本発明によれば、第１の撮像装置１１と、第２の撮像装置１２と、差画像形成部１４と、高さ演算部１３とを備えるので、高さ演算部１３が、差画像形成部１４で形成された、第１の撮像装置による像の差画像と第２の撮像装置による差画像とに基いて、物体の高さを演算することができる。また、第１及び第２の撮像装置の走査方向は、通過物体５が移動する所定の方向３に向けて設けられているため、通過物体５の端辺を示すエッジ情報の生成が確実に行える高さ測定装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態である高さ測定装置の模式的側面図である。
【図２】本発明の実施の形態である高さ測定装置の模式的平面図である。
【図３】本発明の実施の形態に用いる演算装置の模式的ブロック図である。
【図４】本発明の実施の形態に用いる比較演算部のブロック図である。
【図５】本発明の実施の形態に用いる計数演算部のブロック図である。
【図６】本発明の実施の形態に用いる差画像の平面図である。
【図７】本発明の実施の形態に用いる差画像の平面図である。
【図８】本発明の実施の形態で、差画像を生成する処理のフローチャート図である。
【図９】本発明の実施の形態で、第１と第２の画像の対応点を結ぶベクトルを説明する図である。
【図１０】本発明の実施の形態で、第１と第２の差画像に基づく相関処理のフローチャート図である。
【図１１】本発明の実施の形態で、第１と第２の撮像装置の視差から、通過物体の高さを算出する方法を説明する高さ測定装置の模式的断面図である。
【図１２】本発明の実施の形態で用いられる計算式を示す図である。
【符号の説明】
２　　　移動レーン
５　　　通過物体
１０　　　測定装置
１１　　　撮像装置
１２　　　撮像装置
１３　　　演算装置
１４　　　制御部
１５　　　撮像装置用インターフェイス
１６　　　入力装置
１７　　　出力装置
１８　　　記憶部
２０　　　比較演算部
２１　　　計数演算部
２５　　　画像処理部
２６　　　対応点探索部
２７　　　情報算出部
２８　　　速度情報算出部
２９　　　時空間画像作成部
３０　　　極大抽出部
３１　　　領域算入部
３２　　　計数部
５３　　センサ制御部
５７　　差画像形成部
５８　　相関出力算出部
【図１】
2004061382.tif 000003
【図２】
2004061382.tif 000004
【図３】
2004061382.tif 000005
【図４】
2004061382.tif 000006
【図５】
2004061382.tif 000007
【図６】
2004061382.tif 000008
【図７】
2004061382.tif 000009
【図８】
2004061382.tif 000010
【図９】
2004061382.tif 000011
【図１０】
2004061382.tif 000012
【図１１】
2004061382.tif 000013
【図１２】
2004061382.tif 000014