平成3年度 研究報告 大分県工業試験場

2 能動的カラー画像処理システムの開発研究（1）高次局所自己相関特徴を用いた濃淡画像の認識
電子部 佐 藤 辰 雄
1 はじめに高い方法で、しかも並列処理であるため安価なパソ

画像による認識や計測などを行う場合、その対象コン等でも極めて高速に処理できる。また、赤穂等2とする画像としてこれまでは2値画像が多く使われはこの高次局所自己相関特徴を基に、対象の大小やてきたが、最近は性能向上のため濃淡画像を使う必

回転に対して不変な特徴を構成するカ法を提案し、要が指摘されている。濃淡画像が2佃画像より情報手書き数字などの認識に応用した［7，8］。

量が多いことから、より複雑な対象、より複雑な問本研究では、この手法を濃淡画像が扱えるように題、より高精度な計測等への適用が期待できるから拡張し、応用の例として、人の顔の識別の実験を行である。しかし、情報量が増える分だけ計算量や計った。

算時間が増えてしまうので認識や計測の方法が問題となる。

画像計測やパターmン認識は以前から多くの研究がところで、人の顔の識別はそれ自体が一般の画像認識とは別の意味で興味のある問題であり、セキュリティーなどの面で個人の識別のニ」−ズは高く、多なされており、また、産業分野などでは実際に応用くの研究も行われている［9］etc．。ここでは顔画像されている例もかなりある。これらの多くは、そのの特性などといったこの間題に特有の性質とは切課題ごとの画像の特性に着目し、画像中の対象の縁関係なく、汎用の濃淡画像認識手法で実現したもの

どりを切り出して莫円度がどうだとか慣性モーメンであり、この手法がそのまま他の2値化困難な問題トがどうだといったような、有効と思われる方法をに適用できることはいうまでもない。

（ヒューリスティックに）次々と適用して、決定木を構成するといった逐次的な手法をとっており、処理時間が長い、課題ごとにプログラムやアルゴリズ

2 パターン認識
パターン認識はパターン空間（複稚なパターンのムを開発しなおさなければならない、等々の問題が集合）からカテゴリー空間（分類されたカテゴリーあった。の集合）への写像としてとらえることができ、そのこの間題を解決するため大津等1［1，2，3，4，5，6］は、高次局所自己相関と多変量解析に基づく2段階の特徴抽出方式を提案し、それを2値画像に適用写像は、それぞれのカテゴリ、＝−＝−−【を最大限に分離するものであることが望まれる。

線形判別分析は、クラス内の分散を最小にし、クして、適応学習型汎用画像計測認識システムを実現

ラス間の分散を最大にする線形写像を構成する多変し、さまぎまな画像認識や画像計測の課題について、量解折手法である。

その有効性を示した。これは、例となる画像とそれ線形判別分析に基づいて構成された線形写像を用に対応する答とを示すことにより、システムがそのいれば、適応性のある汎用のパターン認識システム課題に有効な特徴を適応的に学習できる、汎用性のを実現できる。

1電子技術総合研究所 知能情報部長
2電子技術総合研究所 情報科学部 情報数理研究宴
14

2，1線形写像と線形判別分析
肯クラス（カテゴリー）〈G〉た1に分類される特平成3年度 研究報告 大分県工業試験場

徴ベクトル（パターン）Ⅹ∈ガ′t′があり、これを、よ

2．2 線形判別分析に基づくパターン認識の手順
1．学習サンプルとして与えられた特徴ベクトル

り少ない次元数で、しかも、各クラス問の分離を貴大限強調するような新しい特徴）7∈ガ＼′に写す線形を使って固有値問題を解く。
2．固有偵問題の解として得られた固有ベクトル写像を使って未知の計測パターンを判別空間にマッ
y＝A′Ⅹ，（ガ†′→が「）（1）ピングする。
3．判別空間上で、何らかの識別ル、ノー【−−ルに基づいて識別する。ここでは各クラスの学習サンプルを線形判別分析に某づいて構成する。の平均ベクトルと計測パターンのベクトルとの最適な係数行列Aは、固有値問題

ユーーク リッド距離を計算し、距離最小のルール∑βA＝∑〜ノーノdA， A′∑t÷ノd＝J、（2）・l∴．●．．．・‥／ノ．∴． ′J．− ． ■Jノリ
した。の解として求まる。ここに、Ⅳは判別空間の次元でⅣ≦呈nin（Å一1，〟）、∑βおよび∑一寸′はそれぞれ3 高次局所自己相関特徴

次式で定義されるクラス問共分散行列、クラス内共3．i高次自己相関関数と高次局所自己相関特徴分散行列である。
Å∑β＝ ∑軌（文鳥一文Tl）（束Å【豆r）′んl

自己相関関数は、1た行移動に対して不変であることが知られている。その高次への拡張が高次自己相関関数である。一般にⅣ次自己相関関数［1n］は変位ベクトル〈al，a2， aⅣ〉に対して次のように定ノr

亮一ノ＝ ∑輌∑ん義される。

ん1∑．左 ＝ E（x一文々）（Ⅹ¶文ふ）′（ゐ＝1．リガ）

GⅩ、▼（ai，a2，…，恥）＝／′（r）／（什al）…／（r卜a▲、局r（3）

兎ん ＝ Ex （ゐ＝1，‥，好）G
兎T ＝Ex

高次白己相関関数は次数や変位のとりかたによって無数にあるが、画面に対する加法性4を満たすたノ∴（J■プ7

め局所領域に限定しなければならない。

ここでは簡単のため次数を2までとし参照点γ

Ec々及びEはそれぞれ、クラスGの平均、及び全平均。
77烏はクラスGに含まれるサンプルの個数で77近傍の3Ⅹ3局所領域に限定する（図1）。すると変位のとり方は並行行動により同値となるパター【ンを除いて25種となる（図2）。

∑㌃1物である。
3未知パターンベクトルと各クラスの標準パターンベクトルとの距離を調べ、最も近いクラスに識別する。
4人津等は特徴抽出に要請される基本的条件として次の3点が重要とした。
Cl：位置に関する不変性（対象が画面内のどこにあっても結果が同じになる）（二2：画面に関する加法性（画面内に複数の対象があれば、全体の特徴は個々の対象の特徴の和になる）
C3：学習による適応性（例を示すことで適応的に学習で「二二図1：変位のとり方きること）

ーW−15平成3年度 研究報告 大分県工業試験場

各パターンに対応する特徴は、図2で参照点とそ1． 0次ごの回りの1のある画素の値の積和を全画面にわたって走査することにより計算される。具体的には、次＼・ l−（6．1）

緑a）＝㌢Ⅶ〈‡〉2（6．2）

2．1次：

数に応じて次のように表される。
3。 2次：
1． 0次：

妄2（al，a2）＝仙誉＋（4．1）

杓＝／′（㌻ほr誉〈÷＋そ＋菩十2〈そ〉3（6．3）

2．1次：

Ⅹ1（a）＝／ハ㌻）′（r＋a）か （4．2）
3． 2次：（但し、吏。〜2はsで正規化してある。）

Ⅹ2（al，a2）＝／パr）′（r＋al）′（㌻＋a2）dr（4．3）

ここで箱，Ⅹ1，Ⅹ2は（4．1〜4．3）式による。

またけ，††，†††）はⅩ2が例えば図3（α）の時、それぞれ図3のようなものである。

ロ ＊ ＊ ＊ l

＊

†

（a）

††

‖1汗）＊F二【jはdollつtcareである

図3：特別な1次のパタ疇ンの例
注）＊和服doIl，tca．reである

図2：2次迄の独立なマスクパタ鵬ンの例4 画像ピラミッドと特徴スケール空間
4．1画像の解像度

高次局所自己相関特徴などの局所的特徴を用いた3．2 入力画像を平均値で割って正規化した画像のパターン認識を行う場合、その認識対象によっては、解像度が細かすぎると認識にとってあまり重要でな高次局所自己相関特徴画像′（r）の面積をsとして次のように表される。

い細かな違いのみをとらえたり、逆に解像度が粗す

1．0次ごがある。つまり、認識対象ごとに最適な解像度があると考えられる。

ぎると重要な特徴をぽかしてしまったりする可能性
支0＝1

（5．1）

2．1次：

4．2 画像ピラミッド
ヾ 妄】（a）＝−「Ⅹ1（a）

3． 2次：

Ⅹ盲

（5．2）

り
嘉2（al，a2）＝Ⅹ2（alラa2）（5・3）（但し、吏。〜2はぎで正規化してある。）

ここでⅩ0，Ⅹ1タ Ⅹ2は（4．1〜4．3）式による。

種々の解像度の画像データをまとめて扱う表現法
として画像ピラミッドがある。
画像ピラミッドは、1枚の画像を異なる解像度で表現した画像データの集合であり、図4に示すように最初の画像を最も高い解像度とし、その中の小領域の画像から新しい画像の1画素を得るような写像を再帰的に定義していくことで構成される。
3．3 入力画像と入力画像の平均値との差分画像の高次局所自己相関特徴画像／（㌻）の面積をぶとして次のように表される。
爪∧…16

ここでは、この写像として最も簡単な2x2領域の算術平均を用いた。

平成3年度 研究報告 大分県工業試験場

3節に述べた特徴それぞれについて、判別分析に基づく認識実験を行った。結果は、認識率と判別力5で評価した。実験結果を表1に示す。

5．2 画像のスケールと画像ピラミット
実験はまず解像度の影響を調べるため、入力された画像から縦横（‡）ずつ縮小した7種類の解像度の画像を作成し、それぞれの画像から計算した高次局
所自己相関時徴を使って認識の実験を行い認識率と判別力を調べた。画像ピラミッドの例を、図6に、結果を、図7に示す。
図4：画像ピラミッド

次に画像ピラミッド全体から計算した特徴を使って同じように認識率と判別力を調べた。認識率は100

この種々の解像度の画像それぞれから高次局所自％で、判別力は1．917であった。

己相関特徴を抽出し、全部まとめて一つの特徴として扱うことで、一種の特徴スケール空間が構成され6 まとめる。その中には高解像度による精細な特徴から低解簡約化された局所自己相関マスクに基づいた高次像度による大まかな特徴まで含まれるため、これをパターン認識に使えばより高い性能が実現できると局所自己相関特徴を連続値で計算し、これを初期特徴とした濃淡画像パターン認識について研究を行っ考えられる。

た。

濃淡画像からの特徴抽出は、まづ何も操作を行っていない入力画像から高次局所自己相関特徴を求

5 実験と結果

実験対象としては、2値画像ではうまくいかない

め、これを基に、正規化画像から特徴抽出した場合、と思われる対象の例として人の顔を識別する問題をおよび差分画像から特徴抽出した場合に相当する高取り上げた。使用した顔画像の例を、図5に示す。

次局所自己相関特徴を、画像を直接操作することな5。1高次局所自己相関特徴による濃淡画像の認識

単な代数演算によって構成する方法を検討し、そのく、最初に求めた高次局所自己相関特徴を使って簡性能を評価した。結果は、画像を正規化したり、平泰且：各特徴ごとの認識率と判別力均値との差分をとるなどの操作を加えた方が、認識率、判別力ともに改善が見られた。

特徴の種巨額 認識率 判別力 備 考

入力画像から直接に特 86．7％ 1．57

徴抽出

画像を平均値で割って局所的特徴を用いてパターン認識などを行う場合での性能を最大にする最適な解像度について、ここでは画像ピラミッドを用いて特徴のスケール空間を構成しこれを調べた。その結果、認識率、判別力はjE規化スケールによって変化していて、中程度の解像度で平均値との差分最適と思われるピークがあった。また、画像ピラミッドから抽出した特徴全体を1つの特徴として扱え

5判別力は次式で定義したものを使った。
＝

符わ′配意β）ポ÷
ここで∑7、，∑βはそれぞれ判別空間での全共分散行列およびクラス間共分散行列、Åヱは固有値である。

ば、かなり能性が良いこともわかった。
簡単な応用の例として、人の顔の識別問題を取り上げ、ビデオ入力装置を備えたワークステ山ション上で画像認識システム［11］を構成した。

今後は、これらの研究を踏まえて、より実際的な
17平成3年度 研究報告 大分県工業試験場

図5：顔画像の例

15

図6：画像ピラミッドの例

251250．0625

図7：スケ州ルの遠いによる認識率と判別力の変化

18 m一冊0．031250．015625平成3年度 研究報告 大分県工業試験場

場面に応用するとともに、まだ改善すべき点が考え［5］大津、栗出：並列学習型高速画像理解の一方られるので（例えばカラー化など）、そちらも研究を式、画像理解の高度化と高速化シンポジウム進めていきたい。

講演論文集（1989）．

最後に、本研究は中小企業庁の補助金により大分［6′］栗田、大津：高次局所自己相関特徴に基づく

県地域技術起こし事業の中の1テーマとして行った

適応的画像計測、第射d産業における画像セものである。

ンシング技術シンポジウム講演論文集

本研究の機会を与えて下さ−二）た大分県￠工業技術院研究交流センターの橋本所長、ならびに電子技術（1989）。
［7］赤穂、佐藤、関田、梅山、大津：高次自己相総合研究所の田村情報科学部長に感謝します。また、関関数を用いた図形の位置。大小および回転御指導頂いた大津知能情報部長と栗田主任研究官、不変な特徴量の構成、電子情報通信学会春季および御討論下さった情報数理研究室の皆様に感謝

全国大会（1991）、J8」佐藤、赤穂、関口㌔梅山、大津：位置、人小します。

および回転不変な特徴によるパターン認識、参考文献［1］大津、島出、森：N次自己相関マスクによる凶形の特徴抽出、信学技報、PRL78−ニう1（1978），【2］大津：パターン認識における特徴抽出に関する数理的研究、電総研研究報告、第818号（1981）．

［3］N．Otsu and T．Kurita：A new scheme for

PraCtical，flexible andintelligent vision

電子情報通信学会春季全国大会（1991）。

［9］MatthewTurkandAlexPentland：Eigen−facesforRecognition，JournalofCognitive
Neuroscience，（i990）．
」10］J．A．九免1aughliIlandJ．Ra＼7i＼r：Nth−Order
autocorrelationsin pattern recogn】tlOn，Inf．andCont．12，pp121−142（1968）。
［11］T．Kurita，N．Otsu，T．Sato：AFaceRecog−

SyStemS，Proc．IAPR Workshop on Com−nition R/lethod Using Higher Order I,ocal

puter Vision．pp．431−435（Tokyo，Oct

Autocorrelation and Multivariate Analy−1988）。

sis，11thIAPRInternationalConferenccon［4］大津：適応学習彗■ま沙L用画像計測認識システ

ム、映像情報、21、No．5、pp．4ト46（1989）．

I）attern‡てecognition，（1992，tObeappear−
し、〔】、．

19