(57)【要約】【課題】高速、かつ、精度良く画像に写った複雑なオブジェクトを認識可能にする。【解決手段】オブジェクトの一例たる顔が写っている画像を入力する画像入力部１０と、前記画像の各画素を二値化し、前記画像を局所的方向寄与度特徴量を算出可能な程度まで単純化する二値化・正規化部１３と、前記二値化された画像の特徴量である前記局所的方向寄与度特徴量を算出する方向寄与度特徴量算出部１４と、前記局所的方向寄与度特徴量に基づいて、前記画像に写っている顔を認識する認識部１５とを備える構成とした。【選択図】図２
2008152611.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトが含まれるオブジェクト画像データを入力する画像入力部と、
前記画像入力部により入力された前記オブジェクト画像データを構成するそれぞれの画
素を、所定の輝度閾値を用いて二値化する二値化部と、
前記二値化部により二値化されたオブジェクト画像データの所定領域に含まれる輪郭線
の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記局所的方向寄与度特徴量に基づいて、前記オブ
ジェクト画像データに含まれるオブジェクトを認識する認識部と
を備えたことを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記二値化部は、
二値化した前記オブジェクト画像データを構成するそれぞれの画素について、有効画素
を縦列又は／及び横列ごとに積算してなる射影の分布に応じて前記輝度閾値を変える
ことを特徴とする画像認識装置。
【請求項３】
請求項２に記載の画像認識装置において、
前記二値化部は、
前記射影の分布の状態を定量化するエントロピを算出し、算出されたエントロピに応じ
て前記輝度閾値を変える
ことを特徴とする画像認識装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像認識装置において、
前記二値化部は、前記オブジェクト画像データに対する二値化に先立って、或いは、二
値化後に、線分を平滑化するフィルタ処理を施し、
前記特徴量算出部は、前記二値化部により二値化及びフィルタ処理が施されたオブジェ
クト画像データについて前記局所的方向寄与度特徴量を算出する
ことを特徴とする画像認識装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像認識装置において、
前記オブジェクトは顔であり、
異なる複数の顔ごとの前記局所的方向寄与度特徴量を含む顔認識用辞書データを記憶す
る記憶部を有し、
前記認識部は、前記オブジェクト画像データに含まれる顔について前記特徴量算出部に
よって算出された局所的方向寄与度特徴量と、前記記憶部に記憶された顔認識用辞書デー
タに含まれる局所的方向寄与度特徴量とに基づいて、前記オブジェクト画像データに含ま
れる顔を認識する
ことを特徴とする画像認識装置。
【請求項６】
請求項１乃至５のいずれかに記載の画像認識装置を備えた電子機器。
【請求項７】
オブジェクトが含まれるオブジェクト画像データを入力する画像入力工程と、
前記画像入力工程により入力された前記オブジェクト画像データを構成するそれぞれの
画素を、所定の輝度閾値を用いて二値化する二値化工程と、
前記二値化工程により二値化されたオブジェクト画像データの所定領域に含まれる輪郭
線の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴量算出工程と、
前記特徴量算出工程により算出された前記局所的方向寄与度特徴量に基づいて、前記オ
ブジェクト画像データに含まれるオブジェクトを認識する認識工程と
を有する画像認識方法。
【請求項８】
コンピュータを、
オブジェクトが含まれるオブジェクト画像データを入力する画像入力手段と、
前記画像入力手段により入力された前記オブジェクト画像データを構成するそれぞれの
画素を、所定の輝度閾値を用いて二値化する二値化手段と、
前記二値化手段により二値化されたオブジェクト画像データの所定領域に含まれる輪郭
線の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により算出された前記局所的方向寄与度特徴量に基づいて、前記オ
ブジェクト画像データに含まれるオブジェクトを認識する認識手段
として機能させることを特徴とする画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写っているオブジェクトを認識する画像認識技術に関する。
【背景技術】
【０００２】
従来、顔が写った顔画像に対する顔認識技術には、肌色など顔特有の色情報や輪郭線な
ど顔の部品（目や鼻、口、眉など）に関する情報を特徴量として顔認識を行う技術や（例
えば、特許文献１及び２参照）、顔画像に対して周波数解析を行って特徴量を抽出し顔認
識を行う技術（例えば、特許文献３参照）などの種々の技術が提案されている。
さらに近年では、顔画像から抽出した顔の特徴量に基づく認識精度をより高めるために
、サポートベクトルマシン等のニューラルネットワークやブースティング手法等の高度な
学習方法を認識処理に付加することで顔の認識率を高めており、これにより、セキュリテ
ィシステム等の高い認識精度が要求されるアプリケーション分野での実用を可能にしてい
る。
【０００３】
一方、文字パターンを認識する文字パターン認識技術が古くから研究されており、１９
７０年代には既に郵便番号の読み取り技術への応用が成されている。その当時は、計算能
力に乏しいハードウェアを用いて文字パターンを認識する必要があったため、アルゴリズ
ムが簡単であり、かつ、高い認識率を実現可能な手法が検討されている。この手法として
、文字線の方向寄与度特徴量を用いた技術が提案されており、手書き文字でも高精度な認
識を可能にし、認識性能評価や各種手法のリファレンスにも使用されている（例えば、特
許文献４及び非特許文献１参照）。
【特許文献１】特開２００５−１４１４３７号公報
【特許文献２】特開２００１−２８３２２４号公報
【特許文献３】特開２００４−２７２３２６号公報
【特許文献４】特開昭５７−１６４３７６号公報
【非特許文献１】萩田紀博、内藤誠一郎、増田功、「大局的・局所的方向寄与度密度特徴による手書き漢字認識方式」、電子情報通信学会論文誌、電子情報通信学会、１９８３年６月、Ｖｏｌ．Ｊ６６−Ｄ、Ｎｏ．６、ｐｐ．７２２−７２９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記顔認識技術は、高精度な顔認識が可能であるものの、計算アルゴリズム
が複雑であり、処理能力が制限されるデジタルカメラやＰＤＡなどの小型の電子機器が処
理することは困難であり、専用の装置が必要となる。一方、文字パターンの認識技術は、
処理能力の低いハードウェアを用いて処理可能な計算アルゴリズムが提供可能であるもの
の、この認識技術を用いて、複雑な線分を多く含む顔の認識を行うことは困難である。
本発明は、上述した事情に鑑みてなされたものであり、高速、かつ、精度良く画像に写
った複雑なオブジェクトを認識可能な画像認識装置、電子機器、画像認識方法及び画像認
識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
〔形態１〕  上記目的を達成するために、形態１の画像認識装置は、オブジェクトが含
まれるオブジェクト画像データを入力する画像入力部と、前記画像入力部により入力され
た前記オブジェクト画像データを構成するそれぞれの画素を、所定の輝度閾値を用いて二
値化する二値化部と、前記二値化部により二値化されたオブジェクト画像データの所定領
域に含まれる輪郭線の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴量
算出部と、前記特徴量算出部により算出された前記局所的方向寄与度特徴量に基づいて、
前記オブジェクト画像データに含まれるオブジェクトを認識する認識部とを備えたことを
特徴とする。
【０００６】
このような構成によれば、オブジェクト画像データが二値化によって単純化されるため
、複雑な線分を多く含むオブジェクト画像の認識にも方向寄与度特徴量を用いたアルゴリ
ズムを用いることが可能となり、画像に写った複雑なオブジェクトを簡単な処理で高速に
、かつ、精度良く認識することが可能となる。
ここで、オブジェクトとは画像認識の対象物を意味し、顔、動物、車や花瓶といった物
体等、画像認識の対象となるものであればどのようなものでもよい。
また、方向寄与度特徴量とは、線分の方向情報を抽出してなる特徴であり、例えば、あ
る画素が水平方向、右斜め４５度方向、垂直方向、左斜め４５度方向の４方向について、
対象画素がどの程度連続しているかを示す特徴量である。これにより、線分の方向や接続
関係等の幾何学的形状を定量的に求めることができる。
また、画像入力部は、オブジェクト画像データを入力するようになっていればどのよう
な構成であってもよく、例えば、入力装置等からオブジェクト画像データを入力してもよ
いし、外部の装置等からオブジェクト画像データを獲得（取得）または受信してもよいし
、記憶装置や記憶媒体等からオブジェクト画像データを読み出してもよい。したがって、
入力には、少なくとも、獲得、受信および読出が含まれる。
【０００７】
〔形態２〕  さらに、形態２の画像認識装置は、形態１の画像認識装置において、二値
化した前記オブジェクト画像データを構成するそれぞれの画素について、有効画素を縦列
又は／及び横列ごとに積算してなる射影の分布に応じて前記輝度閾値を変えることを特徴
とする。
この構成によれば、オブジェクト画像の線分の複雑さが、オブジェクト画像データを構
成するそれぞれの画素について有効画素を縦列又は／及び横列ごとに積算してなる射影の
分布として求められる。そして、求めた射影の分布に応じて、ニ値化の輝度閾値を変える
ことにより、様々なオブジェクト画像データに対して、局所的方向寄与度特徴量を算出す
るのに好適な輝度閾値を用いてニ値化を行うことができる。
ここで、有効画素とは、ニ値化により、その画素が有効と判断された画素を意味する。
例えば、黒を有効、白を無効とした場合、黒画素を意味する。ここで、黒、白以外の異な
る２色を用いたニ値化においても有効画素の概念を適用できることはもちろんである。
【０００８】
〔形態３〕  さらに、形態３の画像認識装置は、形態２の画像認識装置において、前記
二値化部は、前記射影の分布の状態を定量化するエントロピを算出し、算出されたエント
ロピに応じて前記輝度閾値を変えることを特徴とする。この構成によれば、上記射影の分
布の複雑さをエントロピとして定量化し、二値化の際の輝度閾値をエントロピの値に応じ
て適切に設定することが可能となる。
【０００９】
〔形態４〕  さらに、形態４の画像認識装置は、形態１ないし形態３のいずれか１の画
像認識装置において、前記二値化部は、前記オブジェクト画像データに対する二値化に先
立って、或いは、二値化後に、線分を平滑化するフィルタ処理を施し、前記特徴量算出部
は、前記二値化部により二値化及びフィルタ処理が施されたオブジェクト画像データにつ
いて前記局所的方向寄与度特徴量を算出することを特徴とする。
この構成によれば、オブジェクト画像データの線分がフィルタ処理により平滑化される
ため、撮影環境が悪く二値化だけでは十分に単純化できず、局所的方向寄与度特徴量の算
出が困難なオブジェクト画像についても局所的方向寄与度特徴量を安定的に算出すること
が可能となる。
【００１０】
〔形態５〕  さらに、形態５の画像認識装置は、形態１ないし形態４のいずれか１の画
像認識装置において、前記オブジェクトは顔であり、異なる複数の顔ごとの前記局所的方
向寄与度特徴量を含む顔認識用辞書データを記憶する記憶部を有し、前記認識部は、前記
オブジェクト画像データに含まれる顔について前記特徴量算出部によって算出された局所
的方向寄与度特徴量と、前記記憶部に記憶された顔認識用辞書データに含まれる局所的方
向寄与度特徴量とに基づいて、前記オブジェクト画像データに含まれる顔を認識すること
を特徴とする。  この構成によれば、複雑な線分を多く含む顔の画像に対し、簡単な処理
で高速かつ高精度に顔認識を行うことが可能となる。
ここで、顔とは、人物、動物、あるいはそれらを模したロボット等の顔に相当するオブ
ジェクトを意味する。
【００１１】
〔形態６〕  さらに、形態６の電子機器は、形態１ないし５のいずれか１の画像認識装
置を備えたことを特徴とする。
この構成によれば、画像認識の機能を備える電子機器を提供することができる。
ここで、電子機器とは、カメラ、スキャナ、プロジェクタ、テレビ、プリンタ等、あら
ゆる電子機器を想定することができる。
【００１２】
〔形態７〕  さらに、形態７の画像認識方法は、オブジェクトが含まれるオブジェクト
画像データを入力する画像入力工程と、前記画像入力工程により入力された前記オブジェ
クト画像データを構成するそれぞれの画素を、所定の輝度閾値を用いて二値化する二値化
工程と、前記二値化工程により二値化されたオブジェクト画像データの所定領域に含まれ
る輪郭線の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴量算出工程と
、前記特徴量算出工程により算出された前記局所的方向寄与度特徴量に基づいて、前記オ
ブジェクト画像データに含まれるオブジェクトを認識する認識工程とを有することを特徴
としている。
これにより、形態１の画像認識装置と同等の効果が得られる。
【００１３】
〔形態８〕  さらに、形態８の画像認識プログラムは、コンピュータを、オブジェクト
が含まれるオブジェクト画像データを入力する画像入力手段と、前記画像入力手段により
入力された前記オブジェクト画像データを構成するそれぞれの画素を、所定の輝度閾値を
用いて二値化する二値化手段と、前記二値化手段により二値化されたオブジェクト画像デ
ータの所定領域に含まれる輪郭線の方向寄与度特徴量である局所的方向寄与度特徴量を算
出する特徴量算出手段と、前記特徴量算出手段により算出された前記局所的方向寄与度特
徴量に基づいて、前記オブジェクト画像データに含まれるオブジェクトを認識する認識手
段として機能させることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られ
たプログラムに従ってコンピュータが処理を実行すると、形態１の画像認識装置と同等の
作用および効果が得られる。
【００１４】
〔形態９〕  さらに、形態９の記録媒体は、コンピュータを、オブジェクトが含まれる
オブジェクト画像データを入力する画像入力手段と、前記画像入力手段により入力された
前記オブジェクト画像データを構成するそれぞれの画素を、所定の輝度閾値を用いて二値
化する二値化手段と、前記二値化手段により二値化されたオブジェクト画像データの所定
領域に含まれる輪郭線の方向寄与度特徴量である局所的方向寄与度特徴量を算出する特徴
量算出手段と、前記特徴量算出手段により算出された前記局所的方向寄与度特徴量に基づ
いて、前記オブジェクト画像データに含まれるオブジェクトを認識する認識手段として機
能させる画像認識プログラムを記録したコンピュータ読取可能な記録媒体であることを特
徴とする。
このような構成であれば、コンピュータによってプログラムが記憶媒体から読み取られ
、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１の画像認識
装置と同等の作用および効果が得られる。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶
型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記
憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のい
かんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、どのような記憶媒
体であってもよい。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態に係る画像認識システム１の構成を示す図である。
画像認識システム１は、オブジェクトの一例たる人物９の顔を撮影し画像データを生成
するカメラ２と、カメラ２の画像データに対して画像認識を施して、撮影画像に写ってい
る人物９を認識する画像認識装置としてのコンピュータ３と、このコンピュータ３に接続
された表示装置４とを備えている。カメラ２は、静止画像を撮影するデジタルカメラであ
り、撮影された静止画像の画像データがコンピュータ３に入力される。なお、カメラ２と
して、動画像を撮影するビデオカメラを用いても良く、この場合には、撮影データの個々
のフレーム（画像データ）がコンピュータ３に入力される。表示装置４は、画像認識対象
の画像データや、画像認識結果等を表示する。
【００１６】
図２は、コンピュータ３の機能的構成を示すブロック図である。
この図において、画像入力部１０は、カメラ２との接続インタフェースであり、カメラ
２の画像データが画像入力部１０から入力される。顔領域抽出部（オブジェクト領域抽出
部）１１は、画像データに対し、顔が写った画像領域である顔領域４０（図４参照）の判
定基準となる肌色に基づいて、画像領域から顔領域４０を抽出する。記憶部１２は、顔領
域４０の判定基準となる肌色の色情報である肌色基準色データ１６や顔認識用辞書データ
１７等の各種データ、及び、コンピュータ３を画像認識装置として機能させる画像認識プ
ログラム１８等の各種プログラムを記憶する。
コンピュータ３は、演算実行手段としてのＣＰＵや、記憶手段としてのＲＯＭ、ＣＰＵ
のワークエリアとして機能するＲＡＭ、外部機器との接続インタフェース等を有し、上記
画像認識プログラム１８がＲＯＭに格納されている。そして、ＣＰＵが画像認識プログラ
ム１８を実行することで、上述した画像入力部１０から各部の機能が実現される。
【００１７】
二値化・正規化部１３は、顔領域４０の各画素を黒画素と白画素に二値化すると共に、
後述する局所的方向寄与度特徴量を算出する際に用いるメッシュ領域２５（図３参照）の
中心と、顔領域４０の中心とを合わせ、かつ、メッシュ領域２５内に顔領域４０が収まる
ように顔領域４０を拡大或いは縮小する正規化を行う。方向寄与度特徴量算出部１４は、
顔領域４０の特徴量を示す後述の局所的方向寄与度特徴量を算出する。顔認識部１５は、
顔領域４０の局所的方向寄与度特徴量と、顔認識用辞書データ１７とに基づいて、顔領域
４０の顔を認識する。なお、これらの各部は、コンピュータ３が画像認識プログラム１８
を実行することで実現されるものであるが、各部を専用のハードウェア回路により構成し
ても良いことは勿論である。
【００１８】
上記の通り、本実施形態では局所的方向寄与度特徴量を顔認識に用いることとしている
。この局所的方向寄与度特徴量については、上述の非特許文献１に掲載されており、ここ
では文字パターンの認識を例にして簡単に説明する。
方向寄与度特徴量は、文字線の方向情報を抽出してなる特徴の１つであり、ある画素が
水平方向、右斜め４５度方向、垂直方向、左斜め４５度方向の４方向について、対象画素
（例えば黒画素）がどの程度連続しているかを示しており、これにより、文字線の方向や
接続関係等の幾何学的形状が示される。
方向寄与度ｄｍ（ｍ＝１、２、３、４）は、図３（Ａ）に示すように、文字線内にある
点Ｐ１から８方向に触手を伸ばして決まる各方向の黒点連結長ｌｉ(ｉ＝１、２、・・・
８）を用いて次式のように表される。
【００１９】
【数１】
2008152611.tif 000003
【００２０】
なお、上記式（１）において、ｄ１は水平方向、ｄ２は右斜め４５度方向、ｄ３は垂直
方向、ｄ４は左斜め４５度方向の方向寄与度成分である。方向寄与度ｄ１を具体的に計算
すると、上記式（１）から次式が得られる。
【００２１】
【数２】
2008152611.tif 000004
【００２２】
図３（Ａ）に示す例では、点Ｐ１においては垂直方向に黒画素が比較的長く連結してい
るため、垂直方向の方向寄与度ｄ３の値が大きくなる。このように方向寄与度ｄｍは、文
字線の方向と共に接続関係を定量的に評価できる。
方向寄与度には、大局的方向寄与度（GDCD：Global Direction Contributivity Densit
y）と局所的方向寄与度（LDCD：Local Direction Contributivity Density）の２つが知
られている。大局的方向寄与度特徴は、文字を大局的に、文字線の方向、接続関係の違い
を捉える特徴である。一方、局所的方向寄与度特徴は、所定の局所領域内の線密度に加え
、文字線の方向、接続関係の違いを反映するものである。
【００２３】
局所的方向寄与度特徴は、図３（Ｂ）に示すように、文字パターンがｍ×ｍ個の粗いメ
ッシュ領域２５に分割し、各メッシュ領域２５内の全黒画素についての方向寄与度を求め
、それらをメッシュ領域２５毎に４方向別に投影した平均として求められる。したがって
、各メッシュ領域２５につき４個の特徴量が得られ、また、文字全体ではｍ×ｍ×４個の
特徴量が得られる。
このように、局所的方向寄与度特徴は、文字パターンの大局的な特徴をｍ×ｍ個のメッ
シュ領域２５で分割して成る区分において、文字パターンの局所的な特徴を線分の連結具
合の寄与度から得ており、大局的な特徴、及び、局所的な特徴の双方の特徴が融合した特
徴と言える。そのため、文字パターンの外形的な特徴と文字線分のつながり、詳細な形状
などを反映している特徴と言える。
本実施形態では、この局所的方向寄与度特徴を方向寄与度の特徴として用いることとし
、前掲図２に示す方向寄与度特徴量算出部１４は、上記顔領域４０を局所領域として、こ
の顔領域４０の局所的方向寄与度特徴量を算出する。
【００２４】
ただし、局所的方向寄与度特徴量を算出するには、局所領域内が二値画像であり、さら
に、線分が鮮明に抽出されている必要がある。一般に、顔を撮影した画像は、カラー画像
やグレースケール等の多値画像であり、さらに、顔のシワ等により不鮮明な線が多く含ま
れるため、上記局所的方向寄与度特徴量の算出に適した画像ではない。
そこで、二値化・正規化部１３は、顔領域抽出部１１により抽出された顔領域４０の各
画素を、局所的方向寄与度特徴量が算出可能な程度に二値化することとしている。
【００２５】
詳述すると、画像データから抽出された顔領域４０がグレースケール画像である場合、
各画素を所定の輝度閾値（例えば、最大輝度値の半分の値）で二値化すると、図４（Ａ）
に示すように、各画素が黒画素又は白画素に二値化される。しかしながら、この状態では
、通常、顔のシワや頬等により不鮮明な線や細かな線が多く残る。
ここで、Ｑ×Ｒ個の画素がマトリクス状に配列して顔領域４０が構成されているものと
し、また、横列方向をＸ軸、縦列方向をＹ軸とした場合に、縦列ごとに黒画素の数を積算
して成る積算数のＸ軸方向の分布をＸ軸射影ｄｘ（ｑ）（但し１≦ｑ≦Ｑ）、横列ごとに
黒画素の数を積算して成る積算数のＹ軸方向の分布をＹ軸射影ｄｙ（ｒ）（但し１≦ｒ≦
Ｒ）として求める。
【００２６】
図４（Ａ）に示すように、顔領域４０に含まれる線分の数が多い場合、顔領域４０の広
い範囲に黒画素が分布するため、Ｘ軸射影ｄｘ（ｑ）及びＹ軸射影ｄｙ（ｒ）の分布は、
ピークの落差が小さく全体的になだらかな曲線となる。
一方、顔領域４０の局所的方向寄与度特徴量を算出するには、図４（Ｂ）に示すように
、顔領域４０に含まれる線分が、左右の眉４１、４２、左右の目４３、４４、鼻４５及び
口４６といった顔部品の輪郭線のみといった程度まで顔領域４０が単純化される必要があ
る。このように単純化された顔領域４０においては、Ｘ軸射影ｄｘ（ｑ）及びＹ軸射影ｄ
ｙ（ｒ）の分布は、ピークの落差が大きく、全体的に複数のピークが鋭くたった曲線とな
る。
【００２７】
したがって、Ｘ軸射影ｄｘ（ｑ）及びＹ軸射影ｄｙ（ｒ）の分布の状態（複雑さ）を定
量化することで、二値化によって、顔領域４０に含まれる線分が局所的方向寄与度特徴量
が算出可能な程度にまで単純化されたか否かを判定することが可能となり、本実施形態で
は、この定量化にエントロピを用いる。Ｘ軸射影ｄｘ（ｑ）の射影エントロピＥｘ、及び
、Ｙ軸射影ｄｙ（ｒ）の射影エントロピＥｙは、それぞれ式（３）及び式（４）にて求め
られる。なお、以下の式（３）、式（４）において、Ｎｘ、Ｎｙは、それぞれＸ軸射影ｄ
ｘ（ｑ）及びＹ軸射影ｄｙ（ｒ）の総数である。
【００２８】
【数３】
2008152611.tif 000005
【００２９】
【数４】
2008152611.tif 000006
【００３０】
前掲図４（Ａ）に示す例では、Ｘ軸射影ｄｘ（ｑ）及びＹ軸射影ｄｙ（ｒ）の分布がな
らだかであるため、上記式（３）及び式（４）から求めた射影エントロピＥｘ、Ｅｙは小
さくなり、また、図４（Ｂ）に示す例では、Ｘ軸射影ｄｘ（ｑ）及びＹ軸射影ｄｙ（ｒ）
の分布にピークが多く形状が鋭いため、射影エントロピＥｘ、Ｅｙが大きくなる。
すなわち、顔領域４０の画像に対する二値化の輝度閾値を大きくするほど、顔領域４０
に含まれる黒画素の数が減り画像（線分）が単純化されるため、射影エントロピＥｘ、Ｅ
ｙが増大する。したがって、射影エントロピＥｘ、Ｅｙが、局所的方向寄与度特徴量を算
出可能な程度まで画像が単純化された事を示す射影エントロピ閾値Ｅｔｈをこえるまで、
二値化の輝度閾値を上げて顔領域４０を二値化することで、局所的方向寄与度特徴量を算
出可能な顔領域４０の画像が得られる。局所的方向寄与度特徴量を算出可能な顔領域４０
の画像とは、図４（Ｂ）に示すように、顔領域４０には、左右の眉４１、４２、左右の目
４３、４４、鼻４５及び口４６等の顔部品の輪郭線の線分のみがおおよそ含まれる程度の
画像である。顔領域４０をそれ以上単純化すると、顔部品の輪郭線が変形又は消去される
ため、顔認識に必要な情報が欠落することになる。
なお、上記射影エントロピ閾値Ｅｔｈは、メッシュ領域２５の大きさや、画像の解像度
などに依存するため、予め実験的に求められている。また、射影エントロピ閾値Ｅｔｈは
、Ｘ軸の射影エントロピＥｘ、Ｙ軸の射影エントロピＥｙごとに設定されている。
【００３１】
次いで、本実施形態の動作について説明する。
図５及び図６はコンピュータ３によって実行される画像認識プログラム１８のフローチ
ャートである。図５に示すように、人物９が写った画像データがカメラ２から画像入力部
１０に入力されると（ステップＳ１）、顔領域抽出部１１が画像データの画像領域から顔
領域４０を抽出する（ステップＳ２）。この顔領域４０の抽出は、画像に写った各物体の
領域を分離する領域分離を用いて行われる。詳述すると、図７（Ａ）に示すように、一般
に、画像認識対象の画像２０には、人物９と共に背景が写っており、領域分離においては
、画像２０に写っている物体や背景に写った物体の各々の領域が分離される。
【００３２】
例えば、人物９の背景に看板２１、山２２及び空２３が写っている画像２０においては
、領域分離により、図７（Ｂ）に示すように、人物９の領域を分離した分離領域３０、看
板２１の領域を分離した分離領域３１、山２２の領域を分離した分離領域３２Ａ〜３２Ｃ
、空２３の領域を分離した分離領域３３に画像領域が分離される。
そして、顔領域抽出部１１は、各分離領域３０〜３３の中から、顔領域の色情報と肌色
基準色データ１６とを比較し、肌色を多く含む領域を特定し、図７（Ｃ）に示すように、
人物９を含む分離領域３０を特定する。さらに、顔領域抽出部１１は、肌色基準色データ
１６、及び、この分離領域３０に含まれている輪郭線に基づいて、図７（Ｄ）に示すよう
に、分離領域３０の中から顔領域４０を抽出する。
【００３３】
このようにして顔領域４０が抽出されると、二値化・正規化部１３は、顔領域４０の画
像がカラー画像である場合にはグレースケール画像に変換し、グレースケールの顔領域４
０の各画素に対して、所定の輝度閾値（例えば、最大輝度の半分の値）で二値化する（ス
テップＳ３）。これにより、例えば、図８（Ａ）に示すように、顔領域４０に比較的多く
の線分を含む二値化画像が得られる。
そして、二値化・正規化部１３は、二値化後の顔領域４０に対し、上記式（３）及び（
４）を用いて射影エントロピＥｘ、Ｅｙを算出し（ステップＳ４）、これらの射影エント
ロピＥｘ、Ｅｙが、各々について設定された射影エントロピ閾値Ｅｔｈ以上であるかを判
定する（ステップＳ５）。
【００３４】
射影エントロピＥｘ、Ｅｙが射影エントロピ閾値Ｅｔｈより小さい場合（ステップＳ５
：ＮＯ）、顔領域４０が局所的方向寄与度特徴量を算出可能な程度には未だ単純化されて
いないため、二値化・正規化部１３は、二値化処理により顔領域４０の黒画素数（線分数
）を減らすべく、現在の輝度閾値に所定値を加算して輝度閾値を上げる（ステップＳ６）
。
【００３５】
ここで、暗い照明環境下で顔の撮影が行われる等して、顔領域４０における陰影が強く
、シワやシミなどが多数写っている場合には、輝度閾値を十分大きくして二値化処理をし
ても、顔領域４０の射影エントロピＥｘ、Ｅｙが射影エントロピ閾値Ｅｔｈをこえ難くな
り、また、射影エントロピＥｘ、Ｅｙが射影エントロピ閾値Ｅｔｈをこえる程の輝度閾値
で二値化処理を行うと、顔領域４０から顔部品の線分が必要以上に除去され、認識を正し
く行えなくなる恐れがある。
【００３６】
そこで、二値化・正規化部１３は、上記ステップＳ６において輝度閾値を上げた後、こ
の輝度閾値が、認識不能な程度まで顔領域４０が単純化されてしまう限界閾値をこえたか
否かを判断する（ステップＳ７）。輝度閾値が限界閾値より小さい場合（ステップＳ７：
ＮＯ）、この輝度閾値により二値化が行われても顔領域４０が単純化され過ぎることは無
いため、二値化・正規化部１３は、処理手順をステップＳ３に戻し、再度、二値化処理を
行う。これにより、例えば図８（Ｂ）に示すように、顔領域４０の画像が図８（Ａ）に比
べて単純化される。
【００３７】
一方、輝度閾値が限界閾値以上である場合には（ステップＳ７：ＹＥＳ）、この輝度閾
値により二値化を行うことができない。
そこで、二値化・正規化部１３は、顔領域４０全体に対し、線分を平滑化するフィルタ
処理を施して画像を単純化し、局所的方向寄与度特徴量が算出可能な画像を得る（ステッ
プＳ８）。このフィルタ処理には、例えば、メッシュ領域２５程度の直径の標準偏差をも
つガウスフィルタを用いることが可能である。
なお、本実施形態では、輝度閾値が限界閾値以上に達したときに、顔領域４０の線分を
平滑化するフィルタ処理を行ったが、ステップＳ３において二値化処理を行う前に、フィ
ルタ処理を予め行うようにしても良い。この場合には、顔領域４０に含まれている必要な
情報が欠落しないように、ガウスフィルタの標準偏差を小さくして、平滑化の効果を弱め
ておくことが望ましい。
【００３８】
さて、射影エントロピＥｘ、Ｅｙが射影エントロピ閾値Ｅｔｈ以上である場合（ステッ
プＳ５：ＹＥＳ）、又は、ステップＳ８におけるフィルタ処理実行後は、局所的方向寄与
度特徴量を算出可能な程度まで顔領域４０の画像（線分）が単純化された事を示す。例え
ば、図８（Ｃ）に示すように、顔領域４０には、眉や目、鼻、口等の顔部品のみがおおよ
そ残り、更に、これらの顔部品が比較的少ない線分数で示された状態となる。
このようにして局所的方向寄与度特徴量を算出可能な顔領域４０が得られた後、二値化
・正規化部１３は、顔部品に含まれない点、すなわち、連結点の数が所定数以下の孤立点
を除去して顔領域４０からノイズを除去した後（ステップＳ９）、局所的方向寄与度特徴
量を求めるためのｍ×ｍ個のメッシュ領域２５に顔領域４０を合わせる正規化を行う。
【００３９】
すなわち、図６に示すように、二値化・正規化部１３は、顔領域４０の重心ＯＧ及び大
きさ（縦横の画素数）を計測し（ステップＳ１０）、図９（Ｂ）に示すように、ｍ×ｍ個
のメッシュ領域２５の中心ＯＭに顔領域４０の重心ＯＧを合わせ、かつ、顔領域４０の長
径（図９（Ａ）に示す例では縦方向）がｍ×ｍ個のメッシュ領域２５に収まるように顔領
域４０の拡大或いは縮小を行い（ステップＳ１１）、これにより、正規化が行われる。
顔領域４０の拡大或いは縮小には、顔領域４０の縦横比の比率を一定に保ったアフィン
変換が用いられる。また、顔領域４０に含まれる顔が傾いている場合や、正面以外の方向
を向いている場合には、顔領域４０の拡大或いは縮小に先だって、顔の傾きを無くし、か
つ、正面を向いた画像にする補正も行う。顔の向きの検出は、例えば、顔領域を抽出した
際に、目や鼻、口等の顔部品の位置やバランスに基づいて検出可能である。
【００４０】
なお、上記メッシュ領域２５の大きさは、画像認識プログラム１８を実行する機器の処
理能力や、目標とする認識精度に応じて適宜設定されており、通常は、通常は、１００×
１００画素程度以上の大きさに設定される。１つのメッシュ領域２５に含ませる画素数を
多くすることで、計算量が多くなるものの精度を高めることができる。なお、メッシュ領
域２５は正方形であることが好ましいが長方形であっても良い。
また、上記ステップＳ９における孤立点の除去は、ステップＳ１１の正規化後に行って
も良い。
【００４１】
このように、顔領域４０が二値化、正規化されると、方向寄与度特徴量算出部１４は、
メッシュ領域２５毎に局所的方向寄与度特徴量を算出する。すなわち、前掲図６に示すよ
うに、方向寄与度特徴量算出部１４は、メッシュ領域２５を指定するメッシュ番号Ｍ（但
し１≦Ｍ≦ｍ×ｍ）を「１」に初期化し（ステップＳ１２）、Ｍ番目のメッシュ領域２５
について局所的方向寄与度特徴量を算出する（ステップＳ１３）。次いで、方向寄与度特
徴量算出部１４は、現在のメッシュ番号Ｍがｍ×ｍと等しいか否か、すなわち、最後のメ
ッシュ領域２５に到達したか否かを判別し（ステップＳ１４）、メッシュ番号Ｍがｍ×ｍ
と等しくない場合には（ステップＳ１４：ＮＯ）、メッシュ番号Ｍを「１」だけインクリ
メントし（ステップＳ１５）、次のメッシュ領域２５について局所的方向寄与度特徴量を
算出すべく、処理手順をステップＳ１３に戻す。
一方、メッシュ番号Ｍがｍ×ｍと等しい場合には（ステップＳ１４：ＹＥＳ）、全ての
メッシュ領域２５について局所的方向寄与度特徴量が算出されたことを示すため、これら
の局所的方向寄与度特徴量と、顔認識用辞書データ１７とに基づいて、顔認識部１５が、
顔領域４０に写った顔が誰の顔であるか、或いは、顔領域４０が顔認識用辞書データ１７
に登録されている顔のいずれかに該当するか否かといった顔認識を行う（ステップＳ１６
）。
【００４２】
以上説明したように、本実施形態によれば、二値化・正規化部１３は、顔領域４０の射
影エントロピＥｘ、Ｅｙに基づいて輝度閾値を変えて二値化し、顔領域４０を局所的方向
寄与度特徴量を算出可能な程度まで単純化する構成としたため、複雑な線分を多く含む顔
領域４０の顔認識にも方向寄与度特徴を用いたアルゴリズムを用いることが可能となり、
人物の顔を簡単な処理で高速に、かつ、精度良く認識することが可能となる。
これにより、例えば、デジタルカメラやＰＤＡ、携帯電話機等の、比較的処理能力が低
い小型機器においても高精度な顔認識が実現可能となる。
【００４３】
また、本実施形態によれば、二値化・正規化部１３は、顔領域４０に対する二値化に先
立って、或いは、二値化後に、線分を平滑化するフィルタ処理を施す構成としたため、撮
影環境が悪く二値化だけでは十分に単純化できない顔領域４０についても、安定して局所
的方向寄与度特徴を算出することが可能となる。
【００４４】
なお、上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の
範囲内で任意に変形および応用が可能である。
例えば、上述した実施形態では、顔領域４０の縦及び横方向の各々の射影のエントロピ
である射影エントロピＥｘ、Ｅｙの各々を、それぞれの閾値エントロピＥｔｈと比較して
、顔領域４０の単純化が完了したか否かを判断したが、射影エントロピＥｘ、Ｅｙのいず
れかのみを使って簡易的に判断する構成としても良い。
例えば、上述した実施形態において、画像認識装置たるコンピュータ３が顔をオブジェ
クトとして認識する場合を例示したが、これに限らず、任意のオブジェクト、特に、複雑
な線分を多く含むオブジェクトの認識にも本発明を適用可能である。
また、例えば、本発明に係る画像認識装置をカメラ、スキャナ、プロジェクタ、テレビ
、プリンタ等のあらゆる電子機器が備える形態で実施することも可能である。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施形態に係る画像認識システムの構成を示す図である。
【図２】コンピュータの機能的構成を示すブロック図である。
【図３】方向寄与度を説明するための図である。
【図４】顔領域の単純化を説明するための図である。
【図５】画像認識処理のフローチャートである。
【図６】画像認識処理のフローチャートである。
【図７】領域分離を説明するための図である。
【図８】二値化による顔領域の単純化の一例を示す図である。
【図９】顔領域の正規化を示す図である。
【符号の説明】
【００４６】
１…画像認識システム、２…カメラ、３…コンピュータ（画像認識装置）、１０…画像
入力部、１１…顔領域抽出部、１２…記憶部、１３…二値化・正規化部、１４…方向寄与
度特徴量算出部、１５…顔認識部、１７…顔認識用辞書データ、１８…画像認識プログラ
ム、２５…メッシュ領域、４０…顔領域、ｄｘ…Ｘ軸射影、ｄｙ…Ｙ軸射影、Ｅｔｈ…射
影エントロピ閾値、Ｅｘ、Ｅｙ…射影エントロピ。
【図１】
2008152611.tif 000007
【図２】
2008152611.tif 000008
【図３】
2008152611.tif 000009
【図４】
2008152611.tif 000010
【図５】
2008152611.tif 000011
【図６】
2008152611.tif 000012
【図７】
2008152611.tif 000013
【図８】
2008152611.tif 000014
【図９】
2008152611.tif 000015