(57)【特許請求の範囲】
【請求項１】
受光素子を六角格子状に配列したイメージセンサ用画像処理方法であって、
前記イメージセンサの出力値をＡ／Ｄ変換し、
Ａ／Ｄ変換された画像信号を表すデジタル信号から、注目画素とその６近傍で近似される空間平面を最小自乗法により求め、
この平面の放線の傾きと鉛直方向との傾きθを求め、
輪郭の強度を表すこの傾きθの強度を輪郭の分布としてヒストグラムを用いて傾きの分布を求め、
傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行う
ことを特徴とするイメージセンサ用画像処理方法。
【請求項２】
受光素子を六角格子状に配列したイメージセンサ用画像処理装置であって、
前記イメージセンサの出力値をＡ／Ｄ変換する手段と、
Ａ／Ｄ変換された画像信号を表すデジタル信号から、注目画素とその６近傍で近似される空間平面を最小自乗法により求める手段と、
この平面の放線の傾きと鉛直方向との傾きθを求める手段と、
輪郭の強度を表すこの傾きθの強度を輪郭の分布としてヒストグラムを用いて傾きの分布を求める手段と、
傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行う手段と
を備えたことを特徴とするイメージセンサ用画像処理装置。
【請求項３】
傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行った後、画素間の中点に隣接する近傍４点の画素値を空間平面回帰して輪郭強度を推定し、得られた輪郭を前記ヒストグラムに追加して二値化することにより六角格子配列を正方格子配列に変換することを特徴とする請求項１記載のイメージセンサ用画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、六角格子状に分布した受光素子をもつイメージセンサの後段に設置して、アナログ画像の特徴抽出を行うイメージセンサ用画像処理方法および装置に関する。
【０００２】
【従来の技術】
イメージセンサとしては、ＣＣＤ素子をチップ上に正方格子状に配列したものが一般的であるが、正方格子状配列では、斜め方向の画素の密度が縦横方向よりも粗いため、画質を向上するネックとなっていた。
【０００３】
近年、工業製品の検査自動化やロボットビジョンに対する画像処理装置の高速化の研究が盛んに行われている。その中で、生体の網膜をモデルとするアナログビジョンチップを使用して、実時間・高精度画像処理系が開発されている（八木ら、“可変受容野を備えた超並列アナログ知能視覚センサ”、電子情報通信学会論文誌、Ｄ−Ｉ  ｖｏｌ  Ｊ８１−Ｄ−Ｉ  Ｎｏ．２  ｐｐ．１０４−１１３  （１９９８年２月））。
【０００４】
このアナログビジョンチップは、４０×４６個の画素を六角格子状に配列し、近傍画素と可変抵抗回路網で接続したものである。回路網で生体の網膜をモデルにしたラプラシアン・ガウシアンフィルタを実現し、リアルタイム・並列に平滑化・輪郭強調する。
【０００５】
図１は入力画像（ａ）とビジョンチップの１ライン出力（ｂ）の関係を示すものであり、ビジョンチップの出力は、入力画像（黒は画像領域、白は背景領域を示す。）の輪郭（黒と白の境界）を境に応答が大きく変化していることがわかる。
【０００６】
前記の八木らによれば、基準値をしきい値以上の幅で変化する画素を輪郭として抽出する手法が提案されており、実時間で輪郭検出する。ただし、画素の傾きの分布が著しく異なるような場合には、近接する輪郭を識別できないことがある。
【０００７】
【発明が解決しようとする課題】
このように、画素が六角格子状に配置されている、アナログビジョンチップと言われるイメージセンサは、近年開発されたばかりで歴史が浅い。それゆえに、それに対する画像処理アルゴリズムの開発も十分に行われていない。
【０００８】
▲１▼通常の正方格子状に受光素子が分布するイメージセンサで輪郭を求める場合には、隣の画素との差分を取る方法を用いる。しかし六方格子状に受光素子が分布するイメージセンサを用いる場合では、垂直成分の画素が半画素ずつずれるため、従来のように単純に差分をとるだけでは、正確に輪郭を抽出することができない。
【０００９】
▲２▼画像処理の処理工程には必ず２値化処理が必要になるが、これまでの２値化手法では全体輝度の平均値から推定していたが十分な２値化が行えておらず、環境に応じたチューニングが必要であった。
【００１０】
▲３▼現在の画像認識システムの多くは、正方格子状に分布するイメージセンサを対象としている。このことは、六角格子イメージセンサを使用する上での障害となっている。
【００１１】
▲４▼また、現在の画像処理システムの大部分は、コンピュータを用いており、システムが大型化している。しかし近年、自動車やロボットに対する用途が増してきており、コンパクトで低消費電力な画像処理システムが求められている。またコンピュータによるソフトウエア処理は、汎用性は高いが、近年の高速なイメージデバイスの撮像速度に追いついていない。
【００１２】
本発明が解決しようとする課題は、上述したような、ビジョンセンサとしては優れた性能を有する六角格子状に分布する受光素子を持つイメージセンサの出力から、輪郭を高精度で抽出するイメージセンサ用画像処理方法および装置を提供することにある。
【００１３】
【課題を解決するための手段】
前記課題を解決するため、本発明は、受光素子を六角格子状に配列したイメージセンサ用画像処理方法であって、前記イメージセンサの出力値をＡ／Ｄ変換し、Ａ／Ｄ変換された画像信号を表すデジタル信号から、注目画素とその６近傍で近似される空間平面を最小自乗法により求め、この平面の放線の傾きと鉛直方向との傾きθを求め、輪郭の強度を表すこの傾きθの強度を輪郭の分布としてヒストグラムを用いて傾きの分布を求め、傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行うことを特徴とするものである。
【００１４】
また本発明のイメージセンサ用画像処理装置は、受光素子を六角格子状に配列したイメージセンサ用画像処理装置であって、前記イメージセンサの出力値をＡ／Ｄ変換する手段と、Ａ／Ｄ変換された画像信号を表すデジタル信号から、注目画素とその６近傍で近似される空間平面を最小自乗法により求める手段と、この平面の放線の傾きと鉛直方向との傾きθを求める手段と、輪郭の強度を表すこの傾きθの強度を輪郭の分布としてヒストグラムを用いて傾きの分布を求める手段と、傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行う手段とを備えたものである。
【００１５】
前記画像処理方法において、傾きが０のポイントから大きい傾きに向かって、一番最初に極小値をとったポイントをしきい値として用いて、全てのθに対し２値化を行った後、画素間の中点に隣接する近傍４点の画素値を空間平面回帰して輪郭強度を推定し、得られた輪郭を前記ヒストグラムに追加して二値化することにより六角格子配列を正方格子配列に変換することができる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１７】
＜第１実施形態＞
図２は第１実施形態に係る画像処理方法の過程を示すものである。本実施形態では、図２に示すように、ビジョンチップで画像を取り込み（Ｓ１）、Ａ／Ｄ変換した（Ｓ２）後、個々の素子のオフセットを補正し（Ｓ３）、注目画素の６近傍二次元輪郭を検出し（Ｓ４）、デジタルフィルタ処理（Ｓ５）により、２値画像を出力するようにしたものである。以下、画像処理の手順を説明する。
【００１８】
Ｓ１：ビジョンチップで画像を撮像する。
表１はビジョンチップの仕様である。ビジョンチップはラプラシアン・ガウシアン（平滑化・輪郭強調）フィルタ特性を示し、チップ内部で並列・実時間輪郭強調する。このため、デジタル後処理システムにおける画像処理の負担が比較的小さく、高速化が容易である。
【００１９】
【表１】
0003758994.tif 000002
【００２０】
前述の図１は、入力画像（ａ）とビジョンチップの１ライン分出力（ｂ）を示すものである。室内光でのビジョンチップに図１（ａ）に示す入力を与えると、（ｂ）の出力（１ライン分）が得られる。輪郭を挟んで大きく値が変化しており、輪郭が強調されていることがわかる。
【００２１】
Ｓ２：Ａ／Ｄ変換
ビジョンチップの出力はアナログであるので、これをＡ／Ｄ変換する。Ａ／Ｄ変換は図１（ｂ）からＳＮ比が３０ｄＢ程度確保できるので、５ｂｉｔ精度で行う。
【００２２】
Ｓ３：オフセット補正
ビジョンチップの出力には、図１（ｂ）に示すように、個々の素子のオフセットとノイズが含まれている。オフセットの成分を抽出するために、暗画像に対する出力を同期加算した。その結果、オフセットは最大で約３０ｍＶ（図３）となり、１ＬＳＢ（約１０ｍＶ）より大きい。このことから、ビジョンチップの出力はＡ／Ｄ変換後に記憶してある素子固有のオフセットを使ってデジタル補正する。
【００２３】
Ｓ４：６近傍二次元輪郭検出
輪郭検出は、図４に示すように、ビジョンチップが連続な画像を画素間隔で離散化している点を考慮するものである。離散化された画素値から連続な空間を復元（推定）して、各画素の傾きを求める。具体的には、注目画素とその６近傍で近似される空間平面を最小自乗法で求める。
【００２４】
輪郭抽出回路は、注目画素値ｚ0＝０／（ｘ0，ｙ0）と６近傍の画素値ｚi／（ｘi，ｙi），ｉ＝１〜６から空間平面ａｘ＋ｂｙ＋ｃｚ＝１を最小自乗近似する。回帰係数をそれぞれβ0＝１／ｃ，β1＝ａ／ｃ，β2＝ｂ／ｃとすると、平面の傾きの最大値θmaxは、平面の法線ベクトルｎ＝（β0，β1，−１）と鉛直ベクトルｇ＝（０，０，１）のなす角に等しい。７画素値を使用して、式１からθmaxが求まる。
cosθmax＝−１／（β02＋β12＋１）1/2  ・・・・・・・（１）
【００２５】
前述の手法で求めた各画素の傾き（図５（ａ）参照）をヒストグラムに投票し、１フレーム中の傾きの分布を求める。この分布は、図５（ｂ）に示すように、傾きが大きい輪郭成分をそれ以外のグループに分離するので、両者を適切に分割する傾き（しきい値）を求めれば、適応的に輪郭を抽出できる。
【００２６】
次に、回路の見積もりを行う。システムをシーケンサとＲＡＭ、１つの２６ｂｉｔ加算器、１つの１３ｂｉｔ×１３ｂｉｔ乗算器で構成すると仮定する。最小自乗演算を実現するには、表２より１４２［ステップ／画素］が必要である。
【００２７】
【表２】
0003758994.tif 000003
【００２８】
１秒間１００［フレーム］の画像を処理するには約２３．７×１０6［ステップ／秒］の処理能力が必要である。
【００２９】
以上のように、ビジョンチップの出力からオフセットを取り除き、接平面の傾きから輪郭を適応的に求めることができた。
【００３０】
最小自乗法による輪郭検出（１００［フレーム／秒］）をデジタル回路で実装するためには、約２３．７×１０6［回／秒］の演算が必要である。
【００３１】
＜第２実施形態＞
本実施形態のシステムは、図６に示すように、ビジョンチップで画像を取り込み（Ｓ１１）、Ａ／Ｄ変換した（Ｓ１２）後、適応的に高精度・リアルタイムで輪郭抽出し（Ｓ１３）、六角格子状の輪郭情報を汎用な正方格子に変換する（Ｓ１４）ようにしたものである。以下、具体的に説明する。
【００３２】
１．空間平面回帰（ＳＰＲ）
本実施形態では、図７に示すように、ビジョンチップの出力を画素空間上（ｘ，ｙ，ｚ）に分布する平面ｚ＝β0ｘ＋β1ｙ＋β2に回帰する。注目画素の近傍６画素値から平面の法線ｎの傾きθを求めて輪郭強度を推定する。β0，β1，β2は回帰係数である。図８は、（ａ）に示す手の画像をビジョンチップに取り込み、その出力画像（ｂ）を８ビットでＡ／Ｄ変換し、その画像（ｃ）を計算機でシミュレーションした結果である。
【００３３】
２．ヒストグラムによる適応型輪郭抽出
輪郭分布（図８（ｃ））を二値化して輪郭画像を得る。このヒストグラム（図８（ｆ））から傾きの分布を求め、法線の傾きが大きい輪郭成分を分離する。両者を適切な値で分割すれば、適応的に輪郭を抽出できる。
ここでは、ヒストグラムに対して１６点の移動平均をとり、値が最初に０となる点（図８の場合７０）を求めて輪郭抽出のしきい値とする。
【００３４】
３．格子変換（ＧＣ）
ビジョンチップの出力は六角格子配列なので、正方格子配列へ変換する（図８（ｄ））。図９はビジョンチップの画素配列を表し、１行毎に半画素分ずつずれている。そこで画素間の中点Ｈの画素値を推定して正方格子に変換する。ＳＰＲと同様に、中点Ｈに隣接するＢ，Ｃ，Ｄ，Ｇの４点の画素値を空間平面回帰して輪郭強度を推定する。得られた輪郭をＳＰＲのヒストグラムに追加して二値化する（図８（ｅ））。
ＳＰＲとＧＣの回帰係数の寄与率は９５％を越えており、ビジョンチップの出力を十分推定できた。
【００３５】
４．最適回路
（１）空間平面回帰回路
前述した３係数の回帰分析は、複雑な積和演算を要するので、すべての演算を展開して評価式を簡単化した。
SPR: (a-g)2+(b-f)2+(c-e)2+(a-g)+２(c-e)
GC: ９(e-d)2+(b-g)2/4
ここで、変数ｄとａ，ｂ，ｃ，ｅ，ｆ，ｇは、それぞれ図９における注目画素Ｄと隣接６画素Ａ，Ｂ，Ｃ，Ｅ，Ｆ，Ｇにおける画素値を表す。
この演算を図１０の順序で逐次演算する。演算には１６ビット加算器×１、８ビット乗算器×１、１６ビットレジスタ×７、１画素あたり２１ステップの演算を要する。
【００３６】
（２）輪郭抽出性能
図１０の演算をデジタル回路に実装して出力を可視化した。図１１はその画像を示すものである。（ａ）の入力に対して（ｂ）のＳＰＲ単体では近接した指間の輪郭が分離できていないので、（ｃ）に示すように格子変換（ＧＣ）を組み合わせて指間の輪郭を精度良く分離した。
【００３７】
（３）回路の処理性能
図１０の回路は最大で８５［ＭＨｚ］で動作する。１画面を処理するには、３３６［ｋクロック／フレーム］を要することから、２５３フレーム／秒の処理性能を有している。ビジョンチップのフレームレート（〜約２５０［フレーム／秒］に対して十分リアルタイムである。
【００３８】
なお、以上の実施形態の説明においては、イメージセンサとしてアナログビジョンチップを例に挙げたが、それ以外にも、受光素子が六角格子配列であれば、ＣＣＤイメージセンサ等の他のデバイスを使用することができることは勿論である。
【００３９】
【発明の効果】
上述したように、本発明によれば、下記の効果を奏する。
【００４０】
（１）平面回帰の手法により、六角格子状に受光素子を持つイメージセンサの輪郭が正確に抽出できる。
【００４１】
（２）傾きの分布により、２値化のしきい値を求めることで、外的環境に依存しない輪郭抽出が可能。
【００４２】
（３）格子変換手法により、イメージセンサの水平方向成分の中点値を推定することができ、より正確な輪郭抽出が可能になる。また、現在の多くのアプリケーションが正方格子イメージセンサが接続されるように設計されているが、本発明の格子変換手法を用いることで、六角格子状のイメージセンサも、正方格子イメージセンサ（ＣＣＤ等）と同じアプリケーションに接続可能になる。
【００４３】
（４）簡単なハードウエア（ＦＰＧＡ：Field Programmable Gate Array）で実現できる、ハードウエア実現手法を提案することで、コンパクト、低消費電力、高速なシステムが実現できる。
【図面の簡単な説明】
【図１】  ビジョンチップにおける入力画像と出力の関係を示すものであり、（ａ）は入力画像、（ｂ）はビジョンチップの１ライン出力を示す説明図である。
【図２】  本発明の第１実施形態に係る画像処理方法の過程を示すフローチャートである。
【図３】  オフセットの補正処理を示す波形図である。
【図４】  曲面による輪郭傾き検出の概念を示すグラフである。
【図５】  ヒストグラムを用いた輪郭しきい値の検出方法の説明図である。
【図６】  本発明の第２実施形態における画像処理方法の過程を示すフローチャートである。
【図７】  空間平面回帰のモデルを示すグラフである。
【図８】  ヒストグラムによる適応型輪郭抽出の過程を示す説明図である。
【図９】  格子変換の手法を示す説明図である。
【図１０】  空間平面回帰回路の演算順序を示す説明図である。
【図１１】  処理結果を示す画像である。
【図１】
0003758994.tif 000004
【図２】
0003758994.tif 000005
【図３】
0003758994.tif 000006
【図４】
0003758994.tif 000007
【図５】
0003758994.tif 000008
【図６】
0003758994.tif 000009
【図７】
0003758994.tif 000010
【図８】
0003758994.tif 000011
【図９】
0003758994.tif 000012
【図１０】
0003758994.tif 000013
【図１１】
0003758994.tif 000014