(57)【特許請求の範囲】
【請求項１】
画像センサより対象物体の濃淡画像を入力し、画像の各画素毎に平滑輝度を求めるための平滑輝度ニューロンと、隣り合う前記平滑輝度ニューロン間に物体の輪郭線検出のためのラインプロセスを配置した双方向型ニューラルネットワークを用いて、汎関数の収束演算を行ない、収束後あらかじめ設定した値よりも大きいラインプロセスを輪郭線として検出してこの物体の形状とみなす物体形状抽出装置において、平滑輝度が空間的に滑らかに変化することを拘束する”数１”の第１項、および入力された濃淡画像輝度と平滑輝度が各画素で一致することを拘束する上記数１の第２項、およびラインプロセスがデジタル値を取ることを拘束する上記数１の第３項、およびすべてのラインプロセスが興奮しないよう抑制を与える上記数１の第４項、シグモイド関数に起因するエネルギーを与える上記数１の第５項、および平行して並ぶラインプロセスが同時に興奮することを抑制する上記数１の第６項、およびラインプロセスがＴ字型や＋字型に交差しないように抑制する上記数１の第７項を加算した第１の汎関数を定義し、第１の汎関数の最急降下法に基づいて平滑輝度を更新する第１の平滑化輝度計算装置と、第１の汎関数の最急降下法に基づいてラインプロセスを更新する第１のラインプロセス計算装置と、第１の汎関数の収束を判定する第１の収束判定装置と、第１の汎関数が収束した後、ラインプロセスが終結している画素では、その画素の隣で輪郭線を形成しているラインプロセスと同じ方向のラインプロセスを大きくすることを要請する”数２”の第２項を第１の汎関数に付加した第２の汎関数を定義し、第２の汎関数の最急降下に基づいて平滑輝度を更新する第２の平滑化輝度計算装置と、第２の汎関数の最急降下に基づいてラインプロセスを更新する第２のラインプロセス計算装置と、第２の汎関数の収束を判定する第２の収束判定装置と、第２の汎関数が収束した後、あらかじめ設定した値よりも大きいラインプロセスを物体の輪郭線として出力する形状抽出装置と輪郭線を表示する表示装置を具備することを特徴とした物体形状抽出装置。
【数１】
0003726346.tif 000023
【数２】
0003726346.tif 000024
【請求項２】
画像センサより対象物体の濃淡画像を入力し、画像の各画素毎に平滑輝度を求めるための平滑輝度ニューロンと、隣り合う前記平滑輝度ニューロン間に物体の輪郭線検出のためのラインプロセスを配置した双方向型ニューラルネットワークを用いて、汎関数の収束演算を行ない、収束後あらかじめ設定した値よりも大きいラインプロセスを輪郭線として検出してこの物体の形状とみなす物体形状抽出装置において、平滑輝度が空間的に滑らかに変化することを拘束する上記数１の第１項、および入力された濃淡画像輝度と平滑輝度が各画素で一致することを拘束する上記数１の第２項、およびラインプロセスがデジタル値を取ることを拘束する上記数１の第３項、およびすべてのラインプロセスが興奮しないよう抑制を与える上記数１の第４項、シグモイド関数に起因するエネルギーを与える上記数１の第５項、および平行して並ぶラインプロセスが同時に興奮することを抑制する上記数１の第６項、およびラインプロセスがＴ字型や＋字型に交差しないように抑制する上記数１の第７項を加算した第１の汎関数を定義し、第１の汎関数の最急降下法に基づいて平滑輝度を更新する第１の平滑化輝度計算装置と、第１の汎関数の最急降下法に基づいてラインプロセスを更新する第１のラインプロセス計算装置と、第１の汎関数の収束を判定する第１の収束判定装置と、第１の汎関数が収束した後、ラインプロセスが終結している画素では、その画素の隣で輪郭線を形成しているラインプロセスと同じ方向のラインプロセスを大きくすることを要請する上記数２の第２項と輪郭線を形成しているラインプロセスと異なる方向のラインプロセスを大きくすることを要請する”数３”の第２項を第１の汎関数に付加した第３の汎関数を定義し、第３の汎関数の最急降下に基づいて平滑輝度を更新する第３の平滑化輝度計算装置と、第３の汎関数の最急降下に基づいてラインプロセスを更新する第３のラインプロセス計算装置と、第３の汎関数の収束を判定する第３の収束判定装置と、第３の汎関数が収束した後、あらかじめ設定した値よりも大きいラインプロセスを物体の輪郭線として出力する形状抽出装置と輪郭線を表示する表示装置を具備することを特徴とした物体形状抽出装置。
【数３】
0003726346.tif 000025
【請求項３】
前記ラインプロセスの閉曲線のみを抽出する閉曲線抽出装置を具備することを特徴とする請求項２記載の物体形状抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、可視ＴＶカメラ、赤外線カメラ等の画像センサより得られる濃淡画像を、双方向型ニューラルネットワークに入力し、収束演算によって画像内に存在する物体の形状を抽出する物体形状抽出装置に関するものである。
【０００２】
例えば、道路上を走行する車両を対象物体として、その車両の種類が、乗用車、バス、トラックのいずれであるのかを認識する場合の特徴として利用できる他、対象物体をひとつの閉曲線としてとらえることができるため、車両台数の検出にも用いることができる。またあるいは、工場の生産ライン上を流れる部品を対象物体とした場合、抽出した物体の形状から不良品を検知したり、部品の種類が何であるかを認識する場合の特徴として利用するなど、この発明の応用分野は極めて広い。
【０００３】
【従来の技術】
従来の物体形状抽出装置としては、例えば、画像の濃淡情報を適切なしきい値で二値化したり、微分フィルタのような空間フィルタを入力画像と重畳させることにより、物体がその周辺と輝度が異なる性質を利用して物体の輪郭線（エッジ）を検出したりして、物体の形状が抽出されていた。例えば赤外線画像では、一般的に温度が高い物体ほど明るく映るという特性を利用して、適切なしきい値を設定し、しきい値よりも明るい領域を１それ以外を０として二値化することにより、エンジンで温められた温度の高い人工物を背景から分離して、物体の形状を抽出していた。
【０００４】
しかし、従来の物体形状抽出装置は以上のように構成されているので、赤外線画像では太陽光線により土や砂など比熱が比較的高い地面を構成している要素が暖められたり、あるいは反射された太陽光線が間接的にカメラに入力されたりするために背景が明るくなり、抽出したい物体の一部が背景よりも暗くなることがほとんどであり、このため物体を背景と分離するために、しきい値を高く設定しなければならず、物体の形状を原形に近い状態で抽出することができないという問題があった。また、可視画像でも、物体の形状を原形に近い状態で抽出するのは困難であった。また画像から物体の形状だけを自動的に判別して抽出することができなかった。
【０００５】
また、二値化や空間フィルタにより物体の形状を抽出する手段以外に、例えば「ニューロコンピューティングの基礎理論」（海文堂出版、（社）日本工業技術振興協会  ニューロコンピュータ研究部会  編、ｐｐ．２３５−２６０）に示されているように、２次形式の評価関数を定義し、この評価関数の最小値を求めることにより、物体の形状を抽出する装置およびその方法があった。
【０００６】
人間の視覚においては、３次元空間は網膜という２次元空間に投影され、この網膜上の２次元画像から、もとの３次元空間の表面を推測する過程は初期視覚と呼ばれ、不良設定問題であることが指摘されている。良設定問題とは偏微分方程式論における概念であるが、解が存在すること、解が一意であること、解がデータ（例えば初期値）に連続に依存すること、という３つの条件がすべて満足されていることをいい、これらの条件のうち１つでも満足されないものがあるならば、不良設定問題と言われる。したがって、画像の不良設定問題を解くための拘束条件として、画像を構成する格子点（画素と呼ばれる）の輝度が空間的に滑らかに変化することを要請する２次形式の評価関数を定義し、この評価関数の最小値を求めることにより、解を求めるアプローチが取られてきた。しかし、物体の輪郭線に対応する位置では、本来輝度が不連続性に変化しているため、平滑化してはならないという制約から、隣り合う画素と画素の間に、物体の輪郭線を検出するためのラインプロセスと呼ばれる確率変数が水平方向と垂直方向に導入された。図１０は、画像と画素１８の関係を説明する図で、水平方向に１からＸ個の黒丸で示された画素があり、垂直方向に１からＹ個の黒丸で示された画素がある。画像中央部の画素は図では省略してある。ここでは画像の原点を左上とし、原点から水平方向にｉ番目、垂直方向にｊ番目として１つの画素を指定する。図１１は、図１０の一部を拡大した図であり、画素１８とラインプロセス１３の位置関係を説明する図である。図１１において、水平方向にｉ−１からｉ＋１、垂直方向にｊ−１からｊ＋１までの計９個の画素１８が黒丸で表示されている。画素１８と隣り合う画素の間に示されている棒がラインプロセス１３である。ランプロセスには、垂直方向のラインプロセス１３ａと水平方向のラインプロセス１３ｂがある。垂直ラインプロセスと水平ラインプロセスは、各々ｖ、ｈで表わし、さらに位置を明示するために、ｉとｊを下付き添え字で表わす。このラインプロセスは、脳の第一視覚野に特徴抽出細胞、つまり縦棒、横棒、斜め棒に感知する細胞が発見されたことをヒントにして、Ｇｅｍａｎらにより提案されたもので、画像の輝度分布を与える場を、画像の格子点の輝度がこの格子点の近傍のみに依存するというマルコフ性を仮定したマルコフ場としてとらえ直し、画像の隣り合う２点の輝度の相関を切断するための確率変数である。ラインプロセスはデジタル値でもアナログ値でも構わないが、ここでは、０から１までの値を取りうるアナログ変数として説明する。０はまったくその位置に輪郭線が存在しない状態、１は輪郭線が存在する状態であることを表わす。図１１のように、０の値のラインプロセスを白ぬきで、１の値のラインプロセスを黒塗りつぶしで示すことにする。図１２は、１の状態を取るラインプロセスの集合により、トラックの輪郭線が形成されている例を表わす。図１２では、垂直、水平方向のラインプロセスのみ表示し、画素は表示していない。近隣のラインプロセスによって形成される形状によっては、望ましくない形状もあるので、望ましくない程度に応じて大きさの異なるペナルティを定義した上で、従来の物体形状抽出装置では、上記２次形式の評価関数が最小となるように収束演算させていた。図１３は近隣のラインプロセスが取りうる形状である。図１３（ａ）は、輪郭線を形成するラインプロセス（つまり値が１）がない状態で、背景などで輝度が一様な領域に現われる。この状態は、望ましい状態であるため、一般的にペナルティを低く設定する。図１３（ｂ）は、ラインプロセスが終結してしまっている状態で、ノイズのためにラインプロセスが孤立して１になったり、輪郭線が途中で途切れるのを防ぐために、ペナルティを高く設定する。図１３（ｃ）は、ラインプロセスが交差している状態で、物体の角や斜めの輪郭線を表現すべき領域に現われる。図１３（ｄ）は、ラインプロセスが直線的に連続している状態で、輪郭線の一部をなすものである。図１３（ｅ）は、ラインプロセスがＴ字型に交差する状態で、物体の輪郭線の中にはこのような形状を取る箇所も考えられるが、ペナルティを低くすると不要な場所であちこちこの状態になる可能性があるので、一般的にはペナルティは高く設定される。図１３（ｆ）は、ラインプロセスが＋字型にクロスする状態で、図１３（ｅ）と同じ理由で、ペナルティは高く設定される。以上図１３（ａ）〜図１３（ｆ）の中では、図１３（ｆ）のペナルティが最も高く設定される。
【０００７】
次に、従来の物体形状抽出装置の演算の基本概念を説明する。図１４（ａ）は、入力画像と形状を抽出する双方向型ニューラルネットワークの構成を示す図であり、１９はトラックの画像を例にした入力画像データ、その下は双方向型ニューラルネットワークである。１２は平滑輝度を求める平滑輝度ニューロンであり、１２が画像の各点に配置され、近隣の平滑輝度ニューロン１２間で結合を持つようにネットワークが構成されている。図１４（ｂ）は、図１４（ａ）の拡大図であり、平滑輝度ニューロンとラインプロセスの構成を示す図であり、平滑化輝度ニューロン１２間に０から１までの値を取る垂直方向のラインプロセス１３ａと水平方向のラインプロセス１３ｂが配置されている。
【０００８】
ここで、上記平滑輝度とラインプロセスは上記数１に示す汎関数Ｅ1を最小化することで得られる。
【０００９】
上記数１において、右辺第１項は平滑輝度が空間的に滑らかに変化することを満足するための拘束条件であり、”数４”のＥSのように表わされる。
【００１０】
【数４】
0003726346.tif 000002
【００１１】
上記数１以降の数式において、ｉとｊは画像のｘ成分、ｙ成分のインデックスである。また、上記数４において、ｆは平滑輝度で、ｉとｊの関数である。また、ｈとｖは各々水平方向と垂直方向のラインプロセスで、同じくｉとｊの関数である。ラインプロセスは０から１までの間の値を取りうるため、ラインプロセスの値が１（つまりそこにエッジが存在する）になるところでは、平滑輝度は滑らかに接続されている必要がなく、逆に平滑輝度が不連続になるところでエッジが存在しないとＥSの値は大きくなってしまう。Ｅ1を最小化するためには、ＥSは初期状態から徐々に小さくなる方向に向かうべきである。
【００１２】
次に、上記数１において、右辺第２項は入力画像輝度と平滑輝度が一致することを満足するための拘束条件であり、”数５”のＥDのように表わされる。
【００１３】
【数５】
0003726346.tif 000003
【００１４】
上記数５において、ｄは入力画像輝度で、ｉとｊの関数である。また、ＣDは拘束条件の強さを表わす定数で、入力画像データにノイズが多い場合に大きくし、ノイズが少ない場合に小さくする。ところが、この拘束条件のために本来輝度が不連続に変化する物体の輪郭線等で平滑輝度ｆが不連続にならず、滑らかにつながってしまう結果となるため、上記数４に水平、垂直方向のラインプロセスｈ、ｖが導入されているわけである。つまり、ラインプロセスは、入力画像における物体の輪郭線を検出するためのニューロンであり、平滑輝度ｆが異なる隣り合う２点間で大きく不連続になる。
【００１５】
具体的には、図１５に示すように、点（ｉ、ｊ）とｘ方向に隣り合う点（ｉ＋１、ｊ）の平滑輝度が不連続な場合はこの点（ｉ、ｊ）の垂直方向のラインプロセスｖi,jが１に近づく。同様に、点（ｉ、ｊ）とｙ方向に隣り合う点（ｉ、ｊ＋１）の平滑輝度が不連続な場合は点（ｉ、ｊ）の水平方向のラインプロセスｈi,jが１に近づく。
【００１６】
そして、以上のようなラインプロセスを用いることで、平滑輝度が不連続に変化する点でＥS項が落ちていく。
【００１７】
次に、上記数１において、右辺第３項はラインプロセスが最終的に０か１になるための拘束条件であり、”数６”のＥVのように表わされる。
【００１８】
【数６】
0003726346.tif 000004
【００１９】
上記数６において、ＣVは前記拘束条件の強さを表わす定数である。
【００２０】
次に、上記数１において、右辺第４項はすべてのラインプロセスが１にならないように自己抑制する拘束条件であり、”数７”のＥCのように表わされる。
【００２１】
【数７】
0003726346.tif 000005
【００２２】
上記数７において、ＣCは前記拘束条件の強さを表わす定数である。
【００２３】
次に、上記数１において、右辺第５項はニューロンの特性を決めるシグモイド（Ｓ字状のという意味）関数ｇに起因するエネルギーを与える項であり、”数８”のＥGのように表わされる。
【００２４】
【数８】
0003726346.tif 000006
【００２５】
上記数８において、ＣGは前記ＥG項の条件の強さを表わす定数である。ｇはシグモイド関数であり、その一例は”数９”のように表わされる。
【００２６】
【数９】
0003726346.tif 000007
【００２７】
ラインプロセスｈとｖは本来０あるいは１の離散値を取るべき変数であるから、ｈやｖ自身でニューロンの状態を表わすには不都合であるため、ニューロンの膜電位に対応する連続値を取りうる変数ｍとｎを新たに導入し、ラインプロセスｈをｍの関数として、”数１０”のように定義する。
【００２８】
【数１０】
0003726346.tif 000008
【００２９】
同様に、ラインプロセスｖをｎの関数として、”数１１”のように定義する。
【００３０】
【数１１】
0003726346.tif 000009
【００３１】
次に、上記数１において、右辺第６項は物体の輪郭線は１本のラインプロセスから形成されるとの概念から、隣り合う２本の平行のラインプロセスは同時に１にならないことを満足させるための拘束条件であり、”数１２”のＥPのように表わされる。
【００３２】
【数１２】
0003726346.tif 000010
【００３３】
上記数１２において、ＣPは前記拘束条件の強さを表わす定数である。
【００３４】
また、上記数１において、右辺第７項は、オンとなるラインプロセスはＴ字型、＋字型にはクロスしない、あるいは途中で終結しないといったような制約を満足させるための拘束条件であり、”数１３”のＥLのように表わされる。
【００３５】
【数１３】
0003726346.tif 000011
【００３６】
上記数１３において、ＣLは前記拘束条件の強さを表わす定数である。
【００３７】
最後に、平滑輝度ｆ、膜電位ｍ、ｎの更新方法であるが、平滑輝度ｆは”数１４”に従って更新する。
【００３８】
【数１４】
0003726346.tif 000012
【００３９】
同様に膜電位ｍは”数１５”に従って更新する。
【００４０】
【数１５】
0003726346.tif 000013
【００４１】
同様に膜電位ｎは”数１６”に従って更新する。
【００４２】
【数１６】
0003726346.tif 000014
【００４３】
これらの更新則は最急降下法であり、以上のような更新則による収束演算により、汎関数Ｅ1は極小値に近づいていく。
【００４４】
次に動作について、図１６の従来の物体形状抽出装置の構成図と図１７の従来の物体形状抽出装置の動作を表わすフローチャートを用いて説明する。まず、ステップ１は平滑輝度とラインプロセスの初期化処理であり、ニューラルネットワークの水平方向ラインプロセスｈと垂直方向のラインプロセスｖと平滑輝度ｆを乱数により初期化する。ステップＳＴ２は画像データ入力であり、１の画像センサにより観測された物体の濃淡画像が、２の画像データ入力装置を通して３の入力画像メモリに格納される。ステップＳＴ３は、平滑輝度の計算であり、４の平滑輝度計算装置１により平滑輝度の更新を上記数１４に基づき行ない、さらにステップＳＴ４は、ラインプロセスの計算であり、５のラインプロセス計算装置により水平ラインプロセスの更新を上記数１５に基づき行ない、垂直ラインプロセスの更新を上記数１６に基づき行なう。次に、ステップＳＴ５は、上記数１における汎関数Ｅ1が収束しているかを判定する処理であり、６の収束判定装置１により、汎関数Ｅ1の変化率があらかじめ指定された値未満であれば収束したとみなし、以上であれば収束していないとみなす。ステップＳＴ５で収束していないと判定されたならば、再度ステップＳＴ３とステップＳＴ４を繰り返すことにより、この汎関数Ｅ1を極小値に近づけていく（平衡状態にする）。ＳＴ５で収束したと判定されたならば、次のステップＳＴ６に移る。ステップＳＴ６は形状抽出処理であり、１０の形状抽出装置により、あらかじめ指定された値以上の水平ラインプロセスおよび垂直ラインプロセスのみを抽出して物体のエッジとして出力する。出力された物体エッジは、１１の表示装置によって表示され、画像内の物体の位置と形状を知ることができる。
【００４５】
【発明が解決しようとする課題】
従来の２次形式の評価関数を極小値を求めることにより、物体の輪郭線を検出する装置は以上のように構成されていたので、次のような課題があった。
【００４６】
第一に、従来の２次形式の評価関数を用いる方法では、上記数１５において１（オン）となるラインプロセスが終結しないような拘束条件を含んでいるものの、他の拘束条件との兼ね合いから実際に出力として得られるラインプロセスは終結してしまうことがある。具体的には例えば図１８を用いて説明する。図１８において、２０は画像の外枠であり、２１は物体のエッジで１（オン）となったラインプロセスを表わす。２２は、コントラストが小さいために１（オン）になりきれなかったラインプロセスを表わす。すなわち、２１の両端でラインプロセスは終結してしまい、物体の正確な形状が得られなくなるという問題があった。
【００４７】
第二に、従来の２次形式の評価関数を用いる方法では、上記ラインプロセスの終結により、ラインプロセスが物体全体のエッジを表わす閉曲線を形成しないために、重心位置や面積が得られないという問題があった。上記のように閉じた輪郭線として物体を認識できない場合、物体の重心位置を求めるためには、１（オン）になったラインプロセスの位置から求めなければならず、面積が小さくてもラインプロセスの数の多い所に重心が偏ってしまうため、たとえばパターンマッチングの初期位置合わせのような重心位置に影響を受ける物体の特徴にて認識を行なう場合に、誤認識の原因となるという問題があった。
【００４８】
第三に、従来の２次形式の評価関数を用いる方法では、単純に輝度差があるところにエッジが形成されるため、地平線や水平線などの対象物体以外のエッジが検出されてしまうという問題点があった。
【００４９】
【課題を解決するための手段】
この発明は、上記のような問題を解消するためになされたもので、従来の収束演算装置とは別の収束演算装置を新たに設け、新しい収束演算装置では平滑輝度やラインプロセスのダイナミクスを与える拘束条件の係数を変更したり、また輪郭線が途切れている点のラインプロセスを強制的に大きくする条件を付加して拘束条件を追加したりすることで、コントラストの低い画像でも物体の輪郭線を抽出しやすくして、かつ物体の原形の形状を途切れなく抽出させようとしている。
【００５０】
また、１（オン）状態のランプロセスが途切れることなくつながることによってできる閉じた輪郭線を検出する装置を設けることにより、物体の原形の形状をより得やすくしている。
【００５１】
また、画像の外枠に接触している１（オン）状態のランプロセスならびにそれらのラインプロセスに連鎖的に接続しているラインプロセスを除去することができるため、物体とは関係のない地平線などのエッジを除去し、物体だけのエッジを検出できるようにしている。
【００５２】
【発明の実施の形態】
実施の形態１．
以下、この発明による実施の形態１を図を用いて説明する。図１は本発明の物体形状抽出装置の構成図、図２は本発明の物体形状抽出装置の処理フロー図である。図１、図２において、まずステップＳＴ１は平滑輝度とラインプロセスの初期化処理であり、ニューラルネットワークの水平方向のラインプロセスｈ、垂直方向のラインプロセスｖと平滑輝度ｆを乱数により初期化する。ステップＳＴ２は画像データ入力であり、１の画像センサにより観測された物体の濃淡画像が２の画像データ入力装置を通して３の入力画像メモリに格納される。次にステップＳＴ３は、平滑輝度の計算であり、４の平滑輝度計算装置１により平滑輝度の更新を上記数１４に基づき行ない、さらにステップＳＴ４は、ラインプロセスの計算であり、５のラインプロセス計算装置により水平ラインプロセスの更新を上記数１５に基づき行ない、垂直ラインプロセスの更新を上記数１６に基づき行なう。次に、ステップＳＴ５は、上記数１における汎関数Ｅ1が収束しているかを判定する処理であり、６の収束判定装置１により、汎関数Ｅ1の変化率があらかじめ指定された値未満であれば収束したとみなし、以上であれば収束していないとみなす。ステップＳＴ５で収束していないと判定されたならば、再度ステップＳＴ３とステップＳＴ４を繰り返すことにより、汎関数Ｅ1を極小値に近づけていく（平衡状態にする）。ステップＳＴ５で収束したと判定されたならば、次のステップＳＴ７に移る。
【００５３】
ここで、ステップＳＴ７以降の処理を説明するために、図３を用いる。図３は、ステップＳＴ５で汎関数Ｅ1が収束した後のラインプロセスの状態を示す。図３において、垂直方向のラインプロセス１３ａと水平方向のラインプロセス１３ｂのうち、１（オン）の状態のラインプロセスを黒で、０（オフ）の状態のラインプロセスを白で表わしてある。水平ラインプロセスｈijは、０（オフ）状態であるが、その右隣の水平ラインプロセスｈi+1、jは１（オン）状態のためにラインプロセスがそこで不連続に終結してしまっていることに注目したいために、斜線で表わしてある。ステップＳＴ７以降の処理は、水平ラインプロセスｈi+1、jと水平ラインプロセスｈijの関係のように、ラインプロセスが終結していれば１（オン）の状態のラインプロセスと同じ方向でその隣の０（オフ）状態のラインプロセスを半強制的に１（オン）にまず近づけ、その後さらにラインプロセスの不連続な終結が続くのであれば、これを他の１（オン）状態のラインプロセスとぶつかるまで繰り返して、ラインプロセスの終結点をなくすことを目的としている。
【００５４】
上記のようにステップＳＴ７以降では、終結するラインプロセスをなくすために、上記数２のような汎関数Ｅ2を用いる。
【００５５】
汎関数Ｅ2は、汎関数Ｅ1に”数１７”のような終結したラインプロセスを延長させるように作用する拘束条件ＥF2を加算して得られる。
【００５６】
【数１７】
0003726346.tif 000015
【００５７】
上記数１７において、ＣF2は前記拘束条件の強さを表わす定数である。
【００５８】
引き続き、処理の説明を行なう。ステップＳＴ７は、平滑輝度の計算であり、７の平滑輝度計算装置２により平滑輝度の更新を”数１８”に基づき行なう。
【００５９】
【数１８】
0003726346.tif 000016
【００６０】
さらにステップＳＴ８は、ラインプロセスの計算であり、８のラインプロセス計算装置により水平ラインプロセスの更新を”数１９”に基づき行なう。
【００６１】
【数１９】
0003726346.tif 000017
【００６２】
また同様に、垂直ラインプロセスの更新を”数２０”に基づき行なう。
【００６３】
【数２０】
0003726346.tif 000018
【００６４】
次に、ステップＳＴ９は、上記数２における汎関数Ｅ2が収束しているかを判定する処理であり、９の収束判定装置２により、汎関数Ｅ2の変化率があらかじめ指定された値未満であれば収束したとみなし、以上であれば収束していないとみなす。ステップＳＴ９で収束していないと判定されたならば、再度ステップＳＴ７とステップＳＴ８を繰り返すことにより、汎関数Ｅ2を極小値に近づけていく。
【００６５】
最後に、ステップ６は形状抽出であり、１０の形状抽出装置により、あらかじめ指定された値以上の水平ラインプロセスおよび垂直ラインプロセスのみを抽出して物体のエッジとして出力する。出力された物体エッジは、１１の表示装置によって、表示され、画像内の物体の位置と形状を知ることができる。
【００６６】
実施の形態２．
以下、この発明による実施の形態２を図を用いて説明する。図４は本発明の物体形状抽出装置の構成図、図５は本発明の物体形状抽出装置の処理フロー図である。図４、図５において、まずステップＳＴ１からステップ５までの処理は実施の形態１と同じである。
【００６７】
次に、ステップＳＴ１０以降の処理を説明するために、図６を用いる。図６は、ステップＳＴ５で汎関数Ｅ1が収束した後のラインプロセスの状態を示す。図６において、垂直方向のラインプロセス１３ａと水平方向のラインプロセス１３ｂのうち、１（オン）の状態のラインプロセスを黒で、０（オフ）の状態のラインプロセスを白で表わしてある。垂直ラインプロセスｖijとｖij+1は、０（オフ）状態であるが、それらの右に位置する水平ラインプロセスｈi+1、jは１（オン）状態のためにラインプロセスがそこで不連続に終結してしまっていることに注目したいために、斜線で表わしてある。ステップＳＴ１０以降の処理は、水平ラインプロセスｈi+1、jと垂直ラインプロセスｖijとｖij+1の関係のように、ラインプロセスが終結していれば１（オン）の状態のラインプロセスと異なる方向でその隣の０（オフ）状態のラインプロセスを半強制的に１（オン）にまず近づけ、その後さらにラインプロセスの不連続な終結が続くのであれば、これを他の１（オン）状態のラインプロセスとぶつかるまで繰り返して、ラインプロセスの終結点をなくすことを目的としている。
【００６８】
上記のようにステップＳＴ１０以降では、終結するラインプロセスをなくすために、上記数３のような汎関数Ｅ3を用いる。
【００６９】
汎関数Ｅ3は、汎関数Ｅ2に”数２１”のような終結したラインプロセスを延長させるように作用する拘束条件ＥF3を加算して得られる。
【００７０】
【数２１】
0003726346.tif 000019
【００７１】
上記数２１において、ＣF3は前記拘束条件の強さを表わす定数であり、ＣF2よりも小さくすることで、終結したラインプロセスをなるべく直線的に延長させるのがコツである。
【００７２】
引き続き、処理の説明を行なう。ステップＳＴ１０は、平滑輝度の計算であり、１４の平滑輝度計算装置３により平滑輝度の更新を”数２２”に基づき行なう。
【００７３】
【数２２】
0003726346.tif 000020
【００７４】
さらにステップＳＴ１１は、ラインプロセスの計算であり、１５のラインプロセス計算装置３により水平ラインプロセスの更新を”数２３”に基づき行なう。
【００７５】
【数２３】
0003726346.tif 000021
【００７６】
また同様に、垂直ラインプロセスの更新を”数２４”に基づき行なう。
【００７７】
【数２４】
0003726346.tif 000022
【００７８】
次に、ステップＳＴ１２は、上記数３における汎関数Ｅ3が収束しているかを判定する処理であり、１６の収束判定装置３により、汎関数Ｅ3の変化率があらかじめ指定された値未満であれば収束したとみなし、以上であれば収束していないとみなす。ステップＳＴ１２で収束していないと判定されたならば、再度ステップＳＴ１０とステップＳＴ１１を繰り返すことにより、汎関数Ｅ3を極小値に近づけていく。
【００７９】
最後に、ステップ６は形状抽出であり、１０の形状抽出装置により、あらかじめ指定された値以上の水平ラインプロセスおよび垂直ラインプロセスのみを抽出して物体のエッジとして出力する。出力された物体エッジは、１１の表示装置によって、表示され、画像内の物体の位置と形状を知ることができる。
【００８０】
実施の形態３．
以下、この発明による実施の形態３を図を用いて説明する。図７は本発明の物体形状抽出装置の構成図である。図７において、１７の閉曲線抽出装置以外は、実施の形態２の図４と同じである。また、図８は、形状抽出装置１０の出力として得られたラインプロセスが閉曲線を形成している例を示す図であり、閉曲線を形成しているラインプロセスであるｈi-1、j-1、ｖi-2、j、ｈi-2、j-1、ｖi-3、j+1、ｈi-2、j+1、ｈi-1、j+1、ｈi、j+1、ｖi、j+1、ｖi、j、ｈi、j-1の１０本のラインプロセスを黒く表示している。図９は、１７の閉曲線抽出装置の動作を表わす説明図で、画像全体にわたって終結しているラインプロセスを削除することで最終的に閉曲線のみを残すものである。まずＳＴ１３にてラインプロセス数を０にしておき、画像の左上の画素に着目し、ＳＴ１４にて水平ラインプロセスがオン状態かを判定する。オフ状態であれば、ＳＴ１８に移る。オン状態であれば、ＳＴ１５にて水平ラインプロセスが連続しているかを判定する。連続していなければ、ＳＴ１６にてラインプロセスをオフ状態にする。連続していれば、ＳＴ１７にてラインプロセス数を１だけ増加させる。次にＳＴ１８にて垂直ラインプロセスがオン状態かを判定する。オフ状態であれば、ＳＴ２２に移る。オン状態であれば、ＳＴ１９にて垂直ラインプロセスが連続しているかを判定する。連続していなければ、ＳＴ２０にてラインプロセスをオフ状態にする。連続していれば、ＳＴ２１にてラインプロセス数を１だけ増加させる。次にＳＴ２２にて、画像全体の走査が終了したかどうかを判定する。終了していなければ、ＳＴ２３にて走査対象を次に画素に移し、ＳＴ１４に移る。終了していれば、ＳＴ２４にてラインプロセス数と前回記録したラインプロセス数を比較し、等しくなければＳＴ２５にてラインプロセス数を前回値として記録しておき、ＳＴ１３に移る。等しければ終了する。以上のような処理を終了すると図９におけるＶi+1、j+1やｈi+1、j+1がオフ状態となり閉曲線のみが抽出される。また、画像の端に位置するラインプロセスをＳＴ１３の前に強制的にオフにしておくことで、水平線や地平線のようなラインプロセスを除去し、目標のみのラインプロセスを得ることができる。
【００８１】
【発明の効果】
この発明による物体形状認識装置は、物体のエッジを抽出するための収束演算を２段階有しており、第１段階の収束完了時点で、抽出した物体エッジが途中で終結してしまっているために物体の形状が抽出されない場合に、第２段階の収束演算において、終結部分を延長させる方向のエッジの抽出を助長することにより、物体の形状を得ることができる。また、物体の形状を得ることにより、物体の正確な重心位置や面積を得ることができる。
【００８２】
また、この発明による物体形状認識装置では、上記第２段階の収束演算において、終結部分を延長させる方向だけでなく、その垂直方向のエッジも抽出を助長することにより、物体のより正確な形状を得ることができる。
【００８３】
また、この発明による物体形状認識装置では、抽出されたエッジが閉曲線を形成しているかどうかを判定する閉曲線形成判定装置を備えているために、画像全体から閉曲線のみを取り出すことにより、背景から物体だけを抽出することができる。さらに、抽出されたラインプロセスのうち画像の端に接続しているラインプロセス、またはそのラインプロセスに連鎖的に接続しているラインプロセスを除去していくために、物体のエッジとは関係のない地平線や水平線を除去することができる。
【図面の簡単な説明】
【図１】  この発明による物体形状抽出装置の実施の形態の構成を示す図である。
【図２】  この発明による物体形状抽出装置の実施の形態の処理フローを示す図である。
【図３】  この発明による物体形状抽出装置の実施の形態におけるラインプロセスの状態を示す図である。
【図４】  この発明による物体形状抽出装置の実施の形態２の構成を示す図である。
【図５】  この発明による物体形状抽出装置の実施の形態２の処理フローを示す図である。
【図６】  この発明による物体形状抽出装置の実施の形態２におけるラインプロセスの状態を示す図である。
【図７】  この発明による物体形状抽出装置の実施の形態３の構成を示す図である。
【図８】  この発明による物体形状抽出装置の実施の形態３の閉曲線を形成しているラインプロセスの状態を示す図である。
【図９】  この発明による物体形状抽出装置の実施の形態３の閉曲線抽出装置の動作を表わす説明図である。
【図１０】  画像と画素を説明する図である
【図１１】  画素とラインプロセスの位置関係を説明する図である。
【図１２】  値が１のラインプロセスの集合により、トラックの輪郭線が形成されている例を示す図である。
【図１３】  ラインプロセスの接続状態を示す図である。
【図１４】  従来の技術による双方向型ニューラルネットワークの説明図である。
【図１５】  従来の技術によるラインプロセスの状態を示す図である。
【図１６】  従来の技術による物体形状抽出装置の構成を示す図である。
【図１７】  従来の技術による物体形状抽出装置の処理フローを示す図である。
【図１８】  従来の技術による物体形状抽出装置のラインプロセスの終結を示す図である。
【符号の説明】
１  画像センサ
２  画像データ入力装置
３  入力画像メモリ
４  平滑輝度計算装置１
５  ラインプロセス計算装置１
６  収束判定装置１
７  平滑輝度計算装置２
８  ラインプロセス計算装置２
９  収束判定装置２
１０  形状抽出装置
１１  表示装置
１２  平滑化ニューロン
１３  ラインプロセス
１４  平滑輝度計算装置３
１５  ラインプロセス計算装置３
１６  収束判定装置３
１７  閉曲線抽出装置
１８  画素
１９  入力画像データ
２０  画像の外枠
２１  値が１のラインプロセス
２２  値が１になりきれなかったラインプロセス
ＳＴ１  平滑輝度とラインプロセスの初期化処理
ＳＴ２  画像データ入力処理
ＳＴ３  数１の汎関数に基づく平滑輝度の計算処理
ＳＴ４  数１の汎関数に基づくラインプロセスの計算処理
ＳＴ５  数１の汎関数の収束判定処理
ＳＴ６  形状抽出処理
ＳＴ７  数２の汎関数に基づく平滑輝度の計算処理
ＳＴ８  数２の汎関数に基づくラインプロセスの計算処理
ＳＴ９  数２の汎関数の収束判定処理
ＳＴ１０  数３の汎関数に基づく平滑輝度の計算処理
ＳＴ１１  数３の汎関数に基づくラインプロセスの計算処理
ＳＴ１２  数３の汎関数の収束判定処理
ＳＴ１３  ラインプロセス数クリア処理
ＳＴ１４  水平ラインプロセス状態判定処理
ＳＴ１５  水平ラインプロセス連続判定処理
ＳＴ１６  水平ラインプロセスオフ状態処理
ＳＴ１７  ラインプロセス数インクリメント処理
ＳＴ１８  垂直ラインプロセス状態判定処理
ＳＴ１９  垂直ラインプロセス連続判定処理
ＳＴ２０  垂直ラインプロセスオフ状態処理
ＳＴ２１  ラインプロセス数インクリメント処理
ＳＴ２２  走査終了判定処理
ＳＴ２３  走査対象移行処理
ＳＴ２４  ラインプロセス数判定処理
ＳＴ２５  ラインプロセス数記録処理
【図１】
0003726346.tif 000026
【図２】
0003726346.tif 000027
【図３】
0003726346.tif 000028
【図４】
0003726346.tif 000029
【図５】
0003726346.tif 000030
【図６】
0003726346.tif 000031
【図７】
0003726346.tif 000032
【図８】
0003726346.tif 000033
【図９】
0003726346.tif 000034
【図１０】
0003726346.tif 000035
【図１１】
0003726346.tif 000036
【図１２】
0003726346.tif 000037
【図１３】
0003726346.tif 000038
【図１４】
0003726346.tif 000039
【図１５】
0003726346.tif 000040
【図１６】
0003726346.tif 000041
【図１７】
0003726346.tif 000042
【図１８】
0003726346.tif 000043