茨城県工業技術センター研究報告 第 21 号

画像計測技術の研究
冨1.

長博*

はじめに自動機を用いた省力化,無人化が注目を浴びてから久しいが完全に人に代わる自動機は完成されていない。その理由はいろいろあるが最終的には人間の視覚に相当する機械ができていないことに原因がある場合が多い。人間の筋肉に相当するアクチュエータを用いたロボットは現在多くの産業界で活躍しているが,その動きは単純な動作が多い。現在ロボットの視覚を作るために多方面で研究が行われている。入力部分やそのデータを処理する部分の開発がその中心を成す。
今回の一連の研究は自動機の人間の視覚に相当する画像データ処理システムの開発研究である。その概念図を図 1 に示す。まず入力データをテレビカメラで画像処理装置にカラーで入力する。次にロボットヵくハンドリングする目標物体を画像の中から抽出する。その際に物体の判別作業をするが,判別する根拠となるデータを入力画像から抽出する。抽出した特徴データは線分データと色データである。色データ抽出前にその信頼性を高めるために光沢の生じている部分の削除を行った。その方法として二眼で物体を撮影し左右の画像の差分から物体表面の光沢を検知し,物体表面に生じている光沢を除図1

画像計測研究方針

図2

最適方位抽出原理

去した。 最後はロボットへの制御データとしてカメラからの距離をやはりニ眼を用いて三角測量した。
この報告では平成 2,3 年度に行った研究も含めて上記の研究内容を報告するものである。

2.

線分データの抽出

人間の脳では目からの画像情報が外側膝状体,視覚野に伝達している。視覚野の中の第一次視覚野では画像中の線分の角度に応じて, 目に対応する領域の細胞の反応の仕方に違いが生じる。そうした細胞がコラム状に,*新技術応用部−6−茨城県工業技術センター研究報告 第 21 号

図3

パラメータの抽出

しかも左右の目からの情報が交互に並んで配置されている。すなわち線分方位によって画像情報が分類されている。本研究ではそうした知見をもとに,物体判別アルゴリズムの作成をした。
図4

画像中からある方向の線分(最適方適合度計算例位)を抽出するときの原理図を図 2に示す。
①原画像②

原画像に y 方向の微分フィルタを施すことでエッジが検出される。

③

次に②の画像に x 方向の微分を施す。これで水平方向の線分が消去される。

④

最後に②の画像から③の画像を引く。水平方向の線分が抽出される。
任意の線分は原画像を抽出したい角度だけ回転させて同様の作業をすればよい。

本研究では, この後の処理として線分の持つあるパラメータを算出することにした。パラメータは,・画像ウィンドウ中心から一つの線分の重心までの距離・重心と水平方向のなす角・線分の大きさとした。

(図 3)

これらのパラメータをいくつかの方位で抽出された線分について算出する。結局一つの画像から計算される(抽出される)パラメータの数は抽出する方位の数を n とすると3×(方位 1 の線分要素数十方位 2 の線分要素数十・・・＋方位 n の線分要素数)である。物体の持つ特徴パラメータはファイル形式で一つ一つ保存する。物体パラメータについての保存したデータをテンプレートと呼ぶことにする。また判別させる物体のパターンを判別用パターンと呼ぶことにする。
−7−

茨城県工業技術センター研究報告 第 21 号

3.

物体判別

テンプレートと判別用パターンの適合度を求める時のアルゴリズムを図 5 に示す。また実際の適合度計算の例を図 4 に示す。アルゴリズムにあるようにある方位の画像同志の比較時には,要素の対応を受ける側を要素の少ないパターンとした。
図 6 に示すように,要素の多いパターンを対応を受ける側にすると比較を受けない要素が生じてしまい一見適合度が良い様に計算されてしまう。
計算例ではまずテンプレート(この場合要素数が少ない画像)の中の一つの要素の 3 つパラメー
タを図の下のような場合を考える。それらの値からそれぞれの座標にファジィ推論で使用するようなメンバーシップ関数を作成する。これは照明条件,物体設置のずれ等により生じる抽出されたデータの誤差を許容するために使用した。今回は抽出されたデータの誤差の範囲を最大誤差の 1/10になるようにその幅と傾きを決定した。つぎに判
別用パターンの中の要素で前述のテンプレートの図5

適合度計算フローチャート

要素とパラメータ空間の中での距離の最短の要素の 3 つのパラメータをそれぞれの座標にプロットし各適合度を求める。式では以下のようになる。
テンプレートのある方位の要素の中で特徴空間での距離の最も短い判断しようとしているパターンの同じ方位の中の要素をｄo(中心、から重心までの距離)
１o(要素の大きさ)
θo(水平からの角度)とする。

1 つのパラメータ,例えば中心からの距離のテンプレートとの適合度を Ad(ｄo)と表す。Ad(x)は,図 7 のようにテンプレートのメンバーシップ関数を x=ｄo(ｄo は判断しようとしている画像−8−

図6

要素間の対応方法

茨城県工業技術センター研究報告 第 21 号

パラメータ)が交差する時の縦軸の値である。同様に角度と大きさの適合度を Aθ(θo),Al(１o)で表す。

一つの方位の線分を抽出し表示する画像中のそれぞれの要素の持つ原画像を再現のための役割負担を重要度と呼ぶことにする。要素が多ければ多少の要素の欠けても元画像再現への影響はない(一つの要素の重要度は低いということ)。 1 つの要素の図7負担する値を 1 とし,その要素の重要度 i をｉ＝パラメータの適合度計算

１
一つの方位中の要素の数とした。 e 番目の要素の適合度は,上の 3 つの適合度の最少のものとする。その値を me とするとテンプレートの S 番目の方位の要素数を ne とするとその方位での適合度 ms は全ての方位について同様の計算をして最終的な適合度 m は方位の数を ns とするとと表す。これを判断しようとしているパターンのあるテンプレートに対する適合度としテンプレート中で m の値が最も大きいものをパターンのカテゴリと判断する。

4.

光沢除去

画像で領域分割をする際には手がかりとして種々の特徴が使用されるが,色もそのひとつである。しかし通常の照明光下では物体の表面状態によって光沢が生じ物体の持つ本来の色を推察することはできない。またさらに根本的問題として光沢が存在するのか,それとも光沢らしき画像は何らかの画像であるのかを判別しなければならない。照明光の成分分析から光沢を除去する研究や RGB 空間での光沢の存在状態から光沢を除去した研究,また二眼により物体表面の反射率の測定に関する研究などが行われている。今回提案するのは,ニ眼によって照明光の成分が判明していなくても光沢の存在を判別し−9−茨城県工業技術センター研究報告 第 21 号

それを除去するシステムである。
現在ロボットで任意の作業を自律的にさせることはそれがおかれている外界の情報を完全にそれ自身が認識できないため不可能なこととなっている。しかしその研究は盛んに行われておりその研究の中には外界情報をモデルといういわばロボット内に鋳型を作成してその情報をもとに認識(判別)させようとしている研究がある。例えば図 8 のような実世界にある物体をロボット内で単純化し(特徴抽出)モデルとして持ち判別に利用しようというのがその考え方である。

図8

図9

画像とモデル回り込みによる光沢除去

特徴抽出すれば全ては解決するがこの特徴抽出作業が非常に困難である。画像から抽出されると考えられている特徴は多くある。直線や円はいうに及ばず形状で名のついているものは全て特徴と思われる。しかし全てが有用な情報であるかどうかはその作業に当たってどのくらいまでで情報が足りるのか議論のあるところである。この章では特徴のなかでも色の抽出について考察した。
色といっても物体表面では照明の当たり方によって非常に様々な反射光が生じる。単色で塗られた表面から様々な色が反射光として返ってくるとどこまでがその物体の色であるのかがわからず物体の輪郭がはっきりしないため物体の判別が困難になってしまう。しかし人間では図 9 のように物体に回り込んで光沢の生じない部分を色として把握しようとする行動をとることで物体の真の色に近い反射光を得ている場合がある。
物体の表面に照明光が当たった時の様子を図 10 に示す。 I は光源(照明光), O は物体(断面図),C1・C2 はスクリーンを示す。a,b の像は C1 ・ C2 では a',−10−b' ・ a'',b''である。同様に A,B の像は

茨城県工業技術センター研究報告 第 21 号

A', B' ・A'', B''である。スクリーンに入射する光は平行であるので光源の像は物体表面が曲面であれば実物の大きさより小さくなる。光源 I からの光は物体 O の表面で反射して光の平行成分だけが C1 ・C2 に達する。O の像はそれらの光に平行に C1・C2 に入射するので図 10 の様に像を作る。図 10 の下の図は画像の模式図を示す。
物体の像 A', B'・A'', B''が光源の像 a', b'・a'', b''より小さければ C1 ・C2 の像全体の差をとって,その値が最小になるとき(マッチングを取るという)の差の像に存在する部分が光源の像の位置と考えられる。C1 ・C2 をカメラ, もしくは目であると考えるとその像は光沢である。
このような原理を図 11 に示す。縦軸 B は明るさを,横軸 S はスクリーン表面の位置を示す。C1 ・C2の像の差の絶対値の最大値の存在するスクリーン上の位置を P とする(光沢の存在する位置)。P と同じ位置で C1・C2 の内値の大きい方の明るさを h2 ,小さい方を h1 とする。照明光の像(光沢)より明るい像は存在しないとして(h1 +h2 ) /2 の値以上の明るさを持つ像を光沢として判別処理する。

図 11

図 10 反射光の光路

5.

距離測定

5.1

原 理

光沢判別原理ロボットが三次元の世界で作業するには物体がどの様に配置されているかを知るために個々の物体の位置,形状等の計測データが必要である。しかしそのデータ採取の前に三次元世界の中にどの様な物−11−茨城県工業技術センター研究報告 第 21 号体が存在するのかを知る必要がある。すなわち三次元世界からの物体の切り出しが重要な作業となる。
三次元世界からの物体の切り出しは対象と思われる物体周りに存在する物体間の相対的な三次元的関連性を把握することにより可能になると思われる。今回は対象物体画像を画像中心に映して左右のカメラ回転による大まかなマッチングを行った後階層構造ニューラルネットワークの画像閉合の機能を用いて左右画像の領域抽出を行い右画像から個々の領域の対応する部分画像を左画像中で探索しそのズレ(視差)を対象物体からの相対距離とする実験を行った。

図 13

物体間相対距離視差を得るには左右の画像間の対応関係を見つけることが一つの方法である。図 12 に実験の手順とシステムの概略を示す。左右の画像間で対応させようとする画像領域を対象物体画像と呼ぶことにする。左右のグレイレベルでの画像は図 12. (a)の模式図の様に左右の画像において対象物体画像の周りの物体像は視差を生じる。右画像中に存在する物体像の領域を階層構造ニューラルネットワークによ図 12

原理り抽出する。ここでは心理学でいうゲシュタルト原理にある閉合の機能によりグレイレベル画像にソーベルフィルタをかけた画像から領域抽出を行う。画像上でまとまりのある画素同志は一つの領域を形成する。これを 2 値化し左右の画像探索用の窓を作成する。この窓を通して左右画像のマッチングを行う。従ってこの作業は領域の対応探索と同じことである。
図 13 の視差 d は対象物体を原点とする距離に関係しており,d が大きいほど対象物体あるいはカメラから遠いところ(開敵視差)に視差 d を有する物体は存在している。また d がマイナス値であれば(幅較視差)対象物体とカメラの間に存在していると解釈できる。二つカメラの成す角度をθ, カメラの受光面とレンズ間の距離を dl,対象物体 A と周囲にある一つの物体 B 間の距離を D, カメラ間の距離を de−12−

茨城県工業技術センター研究報告 第 21 号とする。B はカメラを結ぶ直線と直交する線上にあるとすると受光面上の A,B の像間の距離 x はとなる。
5.2

実 験

カメラは白黒テレビカメラであり画像
処 理 装 置 へ の 入 力 画 像 は 大 き さ は 512 ×512 画素,256 階調である。左のカメラにはステッピングモータ‑が取り付けてあり右画像と大まかなマッチングを行う。マッチング中に取り込んだ右の画像には中央が明るいマスクをかけてマッチングを行った。対象物体を右の画像の中央に映した後
図 14

計算結果

原理のように実験した。物体は 4 つ使用しその大きさばおおよそ 4 cm,カメラから物体群までの距離は約 100cm である。
物体群の実測値と原理で述べた式を用いた計算結果を図 14 に示す。破線は実測値,実線は計算結果を示す。今回の実験では領域抽出において 3 つの物体が検出された。さらに高精度にするためには領域の抽出が正確に行われる必要がある。

6.

結 言

FA における自動化では各種センサ類,アクチュエータ,コンピュータが使用されている。しかし現状では完全な無人の自動化は行えない状況にある。本研究ではそのような状況解決のために人間の持つ視覚を実現させる研究を行った。原理は実験によっておおよその有効性は確認できた。問題となるのは①

処理速度が現状を解決するには遅すぎる。

②

あらゆる形状を判別するにはデータ量が大きくなり検索時間がかかる。

③

物体の存在領域を確実に抽出できないので距離測定の精度が悪い。また物体形状によっては測定できない場合がある。などである。
今後はより有効な領域抽出アルゴリズムの研究,処理速度を安価に実現できるハードの研究などが必要になってくるものと思われる。
−13−