(57)【要約】【課題】隣接する他の構造物のエッジの結合を分離し、検出対象物を抽出する画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置３の算出部３４は、入力画像４０に基づいてベクトル７を算出し、ベクトルグループ分類部３５は、ベクトルグループ分類処理を行い、ベクトルグループ画像４０ａを生成する。判定部３６は、ベクトルグループ画像４０ａに隣接ベクトル削除処理を行い、削除画素数に基づいて眼鏡の着用の有無を判定する。２値化処理部３７は、第２及び第３のグループ８２、８３に基づいて２値化画像４０ｂを生成し、結合分離部３８は、２値化画像４０ｂに基づいて屈曲点９７を算出し、屈曲点９７の画素を削除してテンプル９０と上リム９２の結合を分離する。結合分離部３８は、下リム９３及び上リム９２を表す画像の削除を行う。制御部３９は、分離処理後画像４４ｄに基づいて上まぶた２０のエッジを検出する。【選択図】図２
2009140282.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力部と、
前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出部と、
前記算出部によって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類部と、
前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に応じて構造物の有無の判定を行う判定部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記算出部は、直交するＸ−Ｙ座標系において、前記水平成分をｘ、前記垂直成分をｙとするとき、（ｘ２＋ｙ２）１／２を算出することで、前記ベクトルの大きさを算出し、ｔａｎ−１（ｙ／ｘ）を算出することで、前記Ｘ軸からの前記ベクトルの前記角度を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ベクトルグループ分類部は、０°〜３６０°の範囲を所定の数だけ等分割して前記ベクトルグループを作成し、前記ベクトルの前記角度に基づいて前記ベクトルグループに分類することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、２値化処理部及び結合分離部を備え、
前記判定部は、前記ベクトルグループ画像データにおいて屈曲点によって結合した第１〜第３の部位によって表される前記構造物の有無を判定し、
前記２値化処理部は、前記第２の部位に基づいた隣接する前記ベクトルグループを抽出することによって前記画像データを２値化し、
前記結合分離部は、２値化した前記ベクトルグループ画像データを解析して前記屈曲点を算出し、前記屈曲点に基づいて前記第１〜第３の部位の結合を分離させることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記結合分離部は、前記第１〜第３の部位の結合が分離された前記２値化画像をラベリング処理し、前記ラベリング処理された第１のラベルの下辺から所定の画素の間に前記ラベルの上辺側エッジの前記ベクトルと相反する方向の前記下辺側エッジの前記ベクトルが存在するとき、前記下辺側エッジの画素数のカウントを行ってカウント値を算出し、算出した前記カウント値に基づいて前記上辺側及び下辺側エッジの隣接及び接触を判定し、判定された前記上辺側及び下辺側エッジの隣接及び接触に基づいて前記第１のラベルが付された画像の削除を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記結合分離部は、前記検出対象物と前記第１の部位が結合しているとき、２値化された前記ベクトルグループ画像データに対してラベリング処理を行い、前記ラベリング処理に基づいて同番号が付された第２のラベルによって挟まれた領域を検出し、前記挟まれた領域の最も左上にある座標点と最も右側の画素列の中間点を結ぶ直線を算出し、前記直線と前記第２のラベルとの交点における画素を削除し、前記検出対象物と前記第１の部位を分離することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記判定部は、前記構造物として眼鏡の有無を判定し、
前記結合分離部は、前記第１〜第３の部位として前記眼鏡の上リム、下リム及びテンプルの結合を分離し、前記下リムを削除したのち、前記検出対象物として人物の上まぶたを前記上リムと分離することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力部と、
前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出部と、
前記算出部によって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類部と、
前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に基づいて屈曲点によって結合した第１〜第３の部位によって表される構造物の有無の判定を行う判定部と、
前記第２の部位に基づいた隣接する前記ベクトルグループを抽出することによって前記画像データを２値化する２値化処理部と、
２値化した前記ベクトルグループ画像データを解析して前記屈曲点を算出し、前記屈曲点に基づいて前記第１〜第３の部位の結合を分離する結合分離部と、
を備え、
前記結合分離部は、前記第１〜第３の部位の結合が分離された前記２値化画像をラベリング処理し、前記ラベリング処理された第１のラベルの下辺から所定の画素の間に前記ラベルの上辺側エッジの前記ベクトルと相反する方向の前記下辺側エッジの前記ベクトルが存在するとき、前記下辺側エッジの画素数のカウントを行ってカウント値を算出し、算出した前記カウント値に基づいて前記上辺側及び下辺側エッジの隣接及び接触を判定し、判定された前記上辺側及び下辺側エッジの隣接及び接触に基づいて前記第１のラベルが付された画像の削除を行うことを特徴とする記載の画像処理装置。
【請求項９】
複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力ステップと、
前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出ステップと、
前記算出ステップによって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類ステップと、
前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に基づいて屈曲点によって結合した第１〜第３の部位によって表される構造物の有無の判定を行う判定ステップと、
前記第２の部位に基づいた隣接する前記ベクトルグループを抽出することによって前記画像データを２値化する２値化処理ステップと、
２値化した前記ベクトルグループ画像データを解析して前記屈曲点を算出し、前記屈曲点に基づいて前記第１〜第３の部位の結合を分離する結合分離ステップと、
を備え、
前記結合分離ステップは、前記第１〜第３の部位の結合が分離された前記２値化画像をラベリング処理し、前記ラベリング処理された第１のラベルの下辺から所定の画素の間に前記ラベルの上辺側エッジの前記ベクトルと相反する方向の前記下辺側エッジの前記ベクトルが存在するとき、前記下辺側エッジの画素数のカウントを行ってカウント値を算出し、算出した前記カウント値に基づいて前記上辺側及び下辺側エッジの隣接及び接触を判定し、判定された前記上辺側及び下辺側エッジの隣接及び接触に基づいて前記第１のラベルが付された画像の削除を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベクトルの方向の違いによって隣接する構造物を分離し、検出対象物を抽出する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来の技術として、画像から顔の領域を抽出する顔領域抽出手段と、顔領域抽出手段により抽出された顔の領域から各々異なるしきい値を用いて左側エッジと右側エッジとを抽出し、抽出した左側エッジ及び右側エッジに基づいた領域を鼻筋の候補として抽出する鼻筋候補抽出手段と、鼻筋候補抽出手段により抽出された鼻筋の候補から鼻筋を選択する鼻筋選択手段と、鼻筋選択手段により選択された鼻筋の下方近傍の領域において第１の横方向エッジを検出する第１の横方向エッジ検出手段と、前記第１の横方向エッジ検出手段により前記第１の横方向エッジを検出できなかったときに、前記鼻筋選択手段により選択された鼻筋の位置は誤認であると判定する判定手段と、を備えた鼻位置検出装置が知られている（例えば、特許文献１参照）。
【０００３】
この鼻位置検出装置によれば、ドライバーの顔を撮像した画像データからドライバーの鼻の位置を判定し、判定された鼻の位置に基づいた統計的情報からドライバーの眼の位置を検出することができる。
【特許文献１】特開２００２−２５１６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の鼻位置検出装置によると、ドライバーが眼鏡を着用していても眼の位置を検出することができるが、眼の開度を測定する場合において、上まぶたを正しく検出できない可能性があり、眼鏡を効果的に除去し、上まぶたのエッジのみを残す方法が望まれていた。
【０００５】
従って本発明の目的は、形状認識を行うためのエッジ抽出の際に、ベクトルの方向の違いによって隣接する他の構造物のエッジの結合を分離することができ、高精度で削除対象の構造物を削除し、検出対象物を抽出する画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
（１）本発明は上記目的を達成するため、複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力部と、前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出部と、前記算出部によって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類部と、前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に応じて構造物の有無の判定を行う判定部と、を備えたことを特徴とする画像処理装置を提供する。
【０００７】
上記した構成によれば、画像データに所定の構造物が含まれているか否かを検出することができる。
【０００８】
（２）本発明は上記目的を達成するため、複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力部と、前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出部と、前記算出部によって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類部と、前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に基づいて屈曲点によって結合した第１〜第３の部位によって表される構造物の有無の判定を行う判定部と、前記第２の部位に基づいた隣接する前記ベクトルグループを抽出することによって前記画像データを２値化する２値化処理部と、２値化した前記ベクトルグループ画像データを解析して前記屈曲点を算出し、前記屈曲点に基づいて前記第１〜第３の部位の結合を分離する結合分離部と、を備え、前記結合分離部は、前記第１〜第３の部位の結合が分離された前記２値化画像をラベリング処理し、前記ラベリング処理された第１のラベルの下辺から所定の画素の間に前記ラベルの上辺側エッジの前記ベクトルと相反する方向の前記下辺側エッジの前記ベクトルが存在するとき、前記下辺側エッジの画素数のカウントを行ってカウント値を算出し、算出した前記カウント値に基づいて前記上辺側及び下辺側エッジの隣接及び接触を判定し、判定された前記上辺側及び下辺側エッジの隣接及び接触に基づいて前記第１のラベルが付された画像の削除を行うことを特徴とする記載の画像処理装置を提供する。
【０００９】
上記した構成によれば、眼鏡を着用した人物が撮像された画像データから人物の上まぶたを抽出することができる。
【００１０】
（３）本発明は上記目的を達成するため、複数の画素からなり、検出対象物が撮像された画像の画像データを入力する入力ステップと、前記画像データに対して水平フィルタ及び垂直フィルタ処理を行うことによって前記複数の画素毎に水平成分及び垂直成分を算出し、算出された前記水平成分及び前記垂直成分に基づいて前記複数の画素毎にベクトルの大きさ及び角度を算出する算出ステップと、前記算出ステップによって算出された前記ベクトルを前記角度に基づいてベクトルグループに分類し、ベクトルグループ画像データを生成するベクトルグループ分類ステップと、前記ベクトルグループ画像データにおいて隣接する前記ベクトルグループを抽出し、抽出する際に削除した画素数に基づいて屈曲点によって結合した第１〜第３の部位によって表される構造物の有無の判定を行う判定ステップと、前記第２の部位に基づいた隣接する前記ベクトルグループを抽出することによって前記画像データを２値化する２値化処理ステップと、２値化した前記ベクトルグループ画像データを解析して前記屈曲点を算出し、前記屈曲点に基づいて前記第１〜第３の部位の結合を分離する結合分離ステップと、を備え、前記結合分離ステップは、前記第１〜第３の部位の結合が分離された前記２値化画像をラベリング処理し、前記ラベリング処理された第１のラベルの下辺から所定の画素の間に前記ラベルの上辺側エッジの前記ベクトルと相反する方向の前記下辺側エッジの前記ベクトルが存在するとき、前記下辺側エッジの画素数のカウントを行ってカウント値を算出し、算出した前記カウント値に基づいて前記上辺側及び下辺側エッジの隣接及び接触を判定し、判定された前記上辺側及び下辺側エッジの隣接及び接触に基づいて前記第１のラベルが付された画像の削除を行うことを特徴とする画像処理方法を提供する。
【００１１】
上記した構成によれば、眼鏡を着用した人物が撮像された画像データから人物の上まぶたを抽出することができる。
【発明の効果】
【００１２】
このような構成によれば、隣接する他の構造物のエッジの結合を分離し、高精度で削除対象の構造物を削除することで、検出対象物を抽出することができる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の画像処理装置及び画像処理方法の実施の形態を図面を参考にして詳細に説明する。
【００１４】
[実施の形態]
（車両１の構成）
図１（ａ）は、本発明の実施の形態に係る画像処理装置を搭載した車両の上方図であり、図１（ｂ）は、本発明の実施の形態に係る車両の側面図である。車両１は、後述する画像処理装置を搭載する車両本体１０と、後述するＣＣＤ（Ｃｈａｒｇｅ―Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ及び照明が配置されたルームミラー１１と、を備えて概略構成されている。図１（ａ）及び（ｂ）は、ルームミラー１１に配置されたＣＣＤカメラによって乗員２の顔を左側面から撮像し、撮像された画像の画像データから乗員２の眼の形状認識を行う場合について表している。なお、ＣＣＤカメラ及び照明の設置位置は、これに限定されず、乗員２を撮像可能な位置、例えばステアリング近傍に設置されても良い。
【００１５】
（画像処理装置３の構成）
図２は、本発明の実施の形態に係る画像処理装置のブロック図である。画像処理装置３は、ルームミラー１１のミラーを介して乗員２を撮像する入力部としてのＣＣＤカメラ３０と、ＣＣＤカメラ３０によって撮像された画像の画像データを処理して後述するベクトルを算出する算出部３４と、算出されたベクトルの方向に基づいて後述するベクトルグループに分類するベクトルグループ分類部３５と、分類されたベクトルグループに基づいて構造物の有無を判定する判定部３６と、隣接する２つの前記ベクトルグループを用いて画像データを２値化する２値化処理部３７と、画像データ上における後述する眼鏡の上下リム及びテンプルの結合を分離させる結合分離部３８と、を備えて概略構成されている。
【００１６】
さらに画像処理装置３は、ルームミラー１１のミラーを介して乗員２に対して近赤外線（一例として波長が８５０〜８８０ｎｍ）によって照明を行う照明部３１と、ＣＣＤカメラ３０から出力された電気信号から画像データとしての後述する入力画像を生成する画像キャプチャ部３２と、処理中の入力画像等を記憶する記憶部３３と、各部を総合的に制御する制御部３９と、を備えて概略構成されている。なお、入力画像は、近赤外線によって撮像された乗員２の顔を含む画像データを基本とするが、これに限定されず、可視光線や他の波長の元で撮像された画像の画像データでも良い。
【００１７】
ＣＣＤカメラ３０は、近赤外線を撮像することができるカメラであり、画像キャプチャ部３２によって変換された後述する入力画像は、格子状に並んだ複数の画素の集まりから構成されている。また、本実施の形態において照明部３１は、近赤外線によって照明を行うので、乗員２は、照明を気にする事なく、運転操作に集中することができるが、画像処理装置３は、照明部３１を介さないで撮像された画像データを用いて検出対象物の検出を行う構成としても良い。
【００１８】
（算出部３４について）
図３（ａ）は、本発明の実施の形態に係る画像データの一部を示す図であり、図３（ｂ）は、本発明の実施の形態に係るフィルタの一例を示す図であり、図４（ａ）は、本発明の実施の形態に係る水平フィルタを示す図であり、図４（ｂ）は、本発明の実施の形態に係る垂直フィルタを示す図であり、図４（ｃ）は、本発明の実施の形態に係るベクトルを示す図である。
【００１９】
算出部３４は、図４（ａ）及び（ｂ）に示す水平フィルタ６０及び垂直フィルタ６１（一例としてＰｒｅｗｉｔｔフィルタ）を用いて画像データに対してフィルタ処理（エッジ抽出処理）を行う。この水平及び垂直方向のフィルタ処理によって、従来大きさしか持たなかった画素５に、大きさと角度といったベクトル量を持たせることができる。本実施の形態において、Ｐｒｅｗｉｔｔフィルタによって方向成分として水平成分６０ａ及び垂直成分６１ａが算出されるが、例えばＳｏｂｅｌフィルタ等の方向成分を抽出するフィルタによって算出されても良く、これに限定されない。
【００２０】
ここでフィルタ処理は、次のようにして行われる。一例として画像データのある一部分の画像データ４（３×３画素）の画素値を、図３（ａ）に示すように、Ａ１〜Ａ９によって表す。中央の画素値Ａ５に対する図３（ｂ）に示すフィルタ６によるフィルタ処理は、Ａ５の処理値＝Ａ１×（ａ）＋Ａ２×（ｂ）＋Ａ３×（ｃ）＋Ａ４×（ｄ）＋Ａ５×（ｅ）＋Ａ６×（ｆ）＋Ａ７×（ｇ）＋Ａ８×（ｈ）＋Ａ９×（ｉ）によって行われる。なお、画素値は、一例として、暗（０）から明（２５５）までの画素値を有するものとする。
【００２１】
本実施の形態において、フィルタ６を図４（ａ）に示す水平フィルタ６０に置き換えて処理したものが、画素Ａ５における水平成分６０ａとなり、図４（ｂ）に示す垂直フィルタ６１に置き換えて処理したものが、画素Ａ５における垂直成分６１ａとなる。算出部３４は、このフィルタ処理を画像データのすべての画素５について行い、水平成分をｘ、垂直成分をｙとする座標値（ｘ、ｙ）を算出する。
【００２２】
また算出部３４は、算出したすべての画素５の座標値（ｘ、ｙ）に基づいて、図４（ｃ）に示すベクトル７の大きさＰ及び角度θを算出する。その算出方法は、図４（ｃ）より、Ｐ＝（ｘ２＋ｙ２）１／２、θ＝ｔａｎ―１（ｙ／ｘ）によって行われる。
【００２３】
（ベクトルグループ分類部３５について）
図５Ａ（ａ）は、本発明の実施の形態に係るベクトルグループ分類に関する図であり、図５Ｂ（ｂ）は、本発明の実施の形態に係るサンプル画像の一例を示す図であり、図５Ｂ（ｃ）は、本発明の実施の形態に係るサンプル画像をベクトルグループ分類した結果を示す概略図である。図５Ａ（ａ）に示すベクトルグループ８は、ハッチングによって第１〜第８のグループ８１〜８８を分類するが、これに限定されず、色によって分類されても良い。ベクトルグループ８は、色によって分類することによってより視覚的に構造物のエッジのベクトル７を見ることができる。
【００２４】
サンプル画像４０Ａは、背景４ａと、半円形状を有する第１の構造物４０Ｂと、を備えて構成されている。なお、以下に、ベクトルグループ画像及び２値化画像において、背景４ａは黒（画素値は０）、構造物４０Ｂは白（画素値は１）によって表されるが、本実施の形態では、以下において図示するときのみ、これを反転するものとする。
【００２５】
図５Ｂ（ｃ）に示すベクトルグループ画像４０ａは、図５Ｂ（ｂ）に示すサンプル画像４０Ａから算出されたベクトル７を、その角度θに基づいてベクトルグループ分類を行い、可視化したものである。ベクトルグループ画像４０ａは、図５Ｂ（ｃ）に示すように、第１の構造物４０Ｂを挟んで対向する位置に相反するベクトル７、すなわち第１の構造物４０Ｂの上辺側に第１〜第４のグループ８１〜８４で構成される上辺側エッジ８０ａと下辺側に第５〜第８のグループ８５〜８８で構成される下辺側エッジ８０ｂとが位置する。また、ベクトルグループ画像４０ａは、第１の構造物４０Ｂの形状をベクトルグループ８によって表しており、パターンマッチング等の形状認識方法を用いることなく、検出対象物を認識することが可能になる。
【００２６】
ベクトルグループ分類部３５は、算出部３４によって算出されたベクトル７を角度θによって、図５Ａ（ａ）に示す第１〜第８のグループ８１〜８８に分類する。このとき、算出部３４は、すべての画素５についてベクトルグループ分類処理を行う必要はなく、しきい値を設け、そのしきい値以上のベクトル７の大きさＰを有する画素５についてのみ、ベクトルグループ分類処理を行うものとする。しいき値よりも小さいＰを有するベクトル７は、構造物の識別に寄与しないからである。上記の処理を行うことによって、計算量を抑えることが可能になり、より高速に処理を行うことができる。また、例えば垂直方向の成分を抽出するためにしきい値を設け、そのしきい値以上の値を有するベクトル７を抽出する場合において、平行に近い成分でベクトル７の大きさＰが非常に大きいとき、しきい値を超えて抽出され、正確な垂直成分の抽出が行えない場合があったが、ベクトル７を角度θによって分類することで、平行な成分が、しきい値を超えて抽出されることを防ぐことができるので、より正確な抽出を行うことができる。
【００２７】
本実施の形態においては、図５Ａ（ａ）に示す水平成分６０ｂからの角度に基づいて、４５°刻みで所定の数として８等分割してベクトルグループ分類を行っている。図５Ａ（ａ）に示す水平成分６０ｂが、図４（ｃ）に示す水平成分６０ａに対して向きが反転しているのは、図５Ｂ（ｃ）に示すベクトルグループ画像４０ａと対応付けし易いからである。なお、ベクトルグループ分類の数は、これに限定されず、目的及び用途に応じて自由に増減しても良い。
【００２８】
（判定部３６について）
図６（ａ）は、本発明の実施の形態に係る第１のグループに注目した隣接グループを示す図であり、図６（ｂ）は、本発明の実施の形態に係る第７のグループに注目した隣接グループを示す図であり、図７（ａ）〜（ｅ）は、本発明の実施の形態に係る各種眼鏡の一例を示す図であり、図８は、本発明の実施の形態に係る眼鏡の種類別の削除画素数を示す表である。図７（ａ）は、リムレス９ａと呼ばれる眼鏡であり、図７（ｂ）はバリ９ｂ、図７（ｃ）はツーポイント９ｃ、図７（ｄ）はスクエア９ｄ、図７（ｅ）はフォックス９ｅと一般的に呼ばれている。また、各種眼鏡は、テンプル９０、智９１、上リム９２、下リム９３、レンズ９４、ブリッジ９５及びパッド９６から概略構成されており、リムレス９ａは下リム９３が無く、ツーポイント９ｃは上及び下リム９２、９３が無い構成となっている。また、処理する画像の解像度は、一例として縦×横を８０×４８画素である。
【００２９】
構造物の輪郭には、図５Ｂ（ｃ）に示したように、類似の方向を有するベクトル７が隣接する傾向がある。そこで判定部３６は、所定の隣接するベクトル７のベクトルグループ以外を削除することによって、異なる構造物の結合を回避し、分離することができる。異なる構造物を分離する方法として、例えば画素５の４連結又は８連結を検出する方法があるが、この方法だと、異なる構造物の画素５が、１画素でも隣接していると連結と見なされ、正確な構造物の分離が難しい。
【００３０】
しかし、判定部３６は、例えば図６（ａ）に示すように、第１のグループ８１に注目するとき、第１のグループ８１に隣接するグループ（第２及び第８のグループ８２、８８）を同じ構造物であるとし、第３〜７のグループ８３〜８７を削除する。同様に判定部３６は、図６（ｂ）に示すように、第７のグループ８７に注目するとき、第７のグループ８７に隣接するグループ（第６及び第８のグループ８６、８８）を同じ構造物であるとし、第１〜５のグループ８１〜８５を削除する。この処理によって判定部３６は、異なる構造物の結合を分離することができる。
【００３１】
よって判定部３６は、ベクトルグループ分類処理を行われた画像データに対して隣接ベクトル削除処理を行う。判定部３６は、この隣接ベクトル削除処理によって削除された画素数（削除画素数）をカウントし、その削除画素数に基づいて乗員２が眼鏡を着用しているか否かを判定する。一例として判定部３６は、削除画素数が３５画素以上のとき、乗員２が眼鏡を着用していると判定する。（８０×４８画素のとき）
【００３２】
ここで、９人の被験者における眼鏡の種類毎の判定結果を図８に示す。図８に示すように、眼鏡の着用の有無が、削除画素数によって正確に検出されている。ここで削除画素数表３６０において、被験者５がリムレス９ａを着用しているとき、削除画素数が２６となり、判定部３６は眼鏡を着用していないと判定する。この理由としては、眼鏡のようにフレームが細く、かつ皮膚との濃度差が大きいものが存在するとき、３×３画素のフィルタによるフィルタ処理を行った場合、大きさＰが大きなベクトル７が隣接するからであり、また、このとき、皮膚が明るく眼鏡のフレームが暗いので、隣接するベクトル７は、ベクトル７の角度θが概ね反転する（１８０°ずれる）からであり、さらに、眼及び眉毛などの構造物は、フィルタ処理に対して十分な画素５の高さ（あるいは幅）があるため、上記した角度θが反転するベクトル７が少ないこと等が考えられる。しかし、後述する「上リム分離処理」によって上リム９２を表す画像が削除されるので、検出対象物の抽出を正確に行える。なお、本実施の形態において、削除画素数を３５画素としたが、これに限定されず、例えばＣＣＤカメラ３０の解像度や検出対象物に応じて自由に変更可能である。
【００３３】
（２値化処理部３７について）
図９（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、図９（ｂ）は、本発明の実施の形態に係る入力画像のベクトルグループ画像の概略図であり、図９（ｃ）は、本発明の実施の形態に係るベクトルグループ画像の２値化画像の概略図である。図９（ａ）において乗員２が着用している眼鏡は、眼鏡のエッジが検出しにくい、図７（ｃ）に示すツーポイント９ｃであるものとし、乗員２に対して上部左側から照明部３１によって照明されるので、レンズ９４の上レンズ９４ａが他の眼鏡の上リム９２のように上辺側エッジ８０ａ及び下辺側エッジ８０ｂが現れている。また、下レンズ９４ｂは、下リム９３よりエッジが弱くなるので、主に下辺側エッジ８０ｂが現れている。なお、以下に図７において示した眼鏡の第１の部位としての上リム９２、第２の部位としての下リム９３、及び第３の部位としてのテンプル９０等を画像データ上の対応する領域に対して同名の符号を付すものとする。
【００３４】
２値化処理部３７は、検出対象物としての上まぶた２０が正方向の垂直エッジとして現れることから、例えば図９（ｂ）に示すベクトルグループ画像４０ａに対し、図５Ａ（ａ）に示すベクトルグループ８の第２及び第３のグループ８２、８３を「１」とし、それ以外を「０」とする２値化処理を行う。図９（ｃ）は、ベクトルグループ画像４０ａに対して２値化処理を行った結果得られた２値化画像４０ｂを表している。２値化画像４０ｂは、上まぶた２０と眼鏡の上レンズ９４ａが結合しており、このままでは上まぶた２０の検出が困難であるので、結合分離部３８によって結合分離処理を行う。
【００３５】
（結合分離部３８について）
図１０（ａ）は、本発明の実施の形態に係る２値化画像を示す概略図であり、図１０（ｂ）は、本発明の実施の形態に係る結合分離処理後の２値化画像を示す概略図である。
【００３６】
結合分離部３８は、一例として、図９（ｃ）に示す上まぶた２０とテンプル９０とが結合しているため、ベクトルグループ８の第５及び第６のグループ８５、８６を「１」とし、それ以外を「０」として、図９（ｂ）に示すベクトルグループ画像４０ａから抽出し、図１０（ａ）に示す２値化画像４０ｃを生成する。この図９（ｃ）に示す２値化画像４０ｂにおいて、下レンズ９４ｂは、テンプル９０と結合していないので、上レンズ９４ａ（または上リム９２）とテンプル９０との結合を分離する処理を行うことも考えられるが、上まぶた２０が上レンズ９４ａに近いまたは結合しているため、うまく屈折する点を検出できない可能性があり、また、眼鏡の種類に左右されない方法が必要なため、下レンズ９４ｂ（または下リム９３）とテンプル９０の分離処理をまず行う。
【００３７】
結合分離部３８は、図１０（ａ）に示す対象領域４１に対して、一例としてベクトルトレーサ法を用いて屈曲する点（屈曲点９７）を検出する。結合分離部３８は、検出された屈曲点９７をテンプル９０と上及び下リム９２、９３の結合点と見なし、図９（ｃ）に示す２値化画像４０ｂの該当する結合点の横軸の座標の垂直方向にある画素５をすべて削除し、これらの結合を分離させる。
【００３８】
上記の処理の結果、図１０（ｂ）に示す結合分離領域４１ａにおいて、テンプル９０と上及び下レンズ９４ａ、９４ｂの結合が分離される。また、結合分離部３８は、後述する方法を用いて下レンズ９４ｂ（または下リム９３）を表す画像を削除し、さらに、後述する方法によって、上まぶた２０のエッジを抽出する。
【００３９】
（動作）
以下に、本実施の形態における画像処理装置３の動作を図１〜１０と後述する図１１〜１３を参照し、図１４のフローチャートに従って詳細に説明する。
【００４０】
図１１（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、図１１（ｂ）は、本発明の実施の形態に係るベクトルグループ画像の概略図であり、図１１（ｃ）は、本発明の実施の形態に係る２値化画像の概略図であり、図１２（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、図１２（ｂ）は、本発明の実施の形態に係るベクトルグループ画像の概略図であり、図１２（ｃ）は、本発明の実施の形態に係る２値化画像の概略図であり、図１３（ａ）は、本発明の実施の形態に係る２値化画像の概略図であり、図１３（ｂ）は、本発明の実施の形態に係る上まぶた２０と上リムに挟まれた領域の検出に関する概略図であり、図１３（ｃ）は、本発明の実施の形態に係る分離処理前の概略図であり、図１３（ｄ）は、本発明の実施の形態に係る分離処理後の概略図である。図１１（ａ）に示す入力画像４２に撮像されている眼鏡は、図７に示すバリ９ｂ、スクエア９ｄ及びフォックス９ｅのような、上及び下リム９２、９３を有するタイプであるものとする。
【００４１】
画像処理装置３の制御部３９は、一例として図９（ａ）に示す入力画像４０を画像キャプチャ部３２を介してＣＣＤカメラ３０から取得する（Ｓ１；入力ステップ）。
【００４２】
算出部３４は、制御部３９を介して入力画像４０を取得し、ベクトル７の算出を行う（Ｓ２；算出ステップ）。
【００４３】
続いてベクトルグループ分類部３５は、ベクトル７が算出された入力画像４０を制御部３９を介して算出部３４から取得し、図５Ａ（ａ）に示すベクトルグループ８に基づいてベクトルグループ分類処理を行い、エッジをベクトル７で表した、図９（ｂ）に示すベクトルグループ画像４０ａを生成する（Ｓ３；ベクトルグループ分類ステップ）。
【００４４】
判定部３６は、制御部３９を介してベクトルグループ画像４０ａを取得し、隣接ベクトル削除処理を行い眼鏡着用判定の前処理を行う（Ｓ４）。続いて判定部３６は、隣接ベクトル削除処理によって削除された削除画素数に基づいて眼鏡の着用の有無を判定し、削除画素数が３５画素以上であるとき、乗員２が眼鏡を着用していると判定する（Ｓ５；Ｙｅｓ、判定ステップ）。
【００４５】
ステップ５によって眼鏡の着用が判定されると、判定部３６は、制御部３９を介して隣接ベクトル削除処理が行われたベクトルグループ画像４０ａを２値化処理部３７に送信する。
【００４６】
２値化処理部３７は、上まぶた２０が垂直方向のエッジとして現れることから、第２及び第３のグループ８２、８３に分類されるベクトル７を「１」とし、それ以外を「０」として、受信したベクトルグループ画像４０ａから抽出し、図９（ｃ）に示す２値化画像４０ｂを生成する（Ｓ６；２値化処理ステップ）。
【００４７】
図９（ｃ）に示す２値化画像４０ｂにおいて、２値化処理部３７は、上レンズ９４ａ（図中略半円形状の領域）及びテンプル９０（図中上レンズ９４ａの右端から右側に伸びる略直線状の領域）が結合しているので、第５及び第６のグループ８５、８６を「１」とし、それ以外を「０」としてベクトルグループ画像４０ａに対し２値化処理を行い、図１０（ａ）に示す２値化画像４０ｃを生成する。
【００４８】
制御部３９は、２値化画像４０ｃを結合分離部３８に送信し、結合分離部３８は、上記した方法に基づいて屈曲点９７を算出し、屈曲点９７の横軸の座標の垂直方向にある全ての画素５を削除してテンプル９０と上レンズ９４ａの結合を分離する（Ｓ７；結合分離ステップ）。
【００４９】
ここで、図９（ａ）における入力画像４０の場合、眼鏡がツーポイント９ｃであり、上及び下リム９２、９３がないため、下レンズ９４ｂのエッジが抽出されるが、図９（ｃ）に示す２値化画像４０ｂにおいて、下レンズ９４ｂのエッジは、相反する方向のベクトル７がないため、２値化処理の際にほぼ消えている。よって次の処理以降においては、より上及び下リム９２、９３のエッジが明確であり、かつ上及び下リム９２、９３において相反する方向を有するベクトル７が隣接する、図１１（ａ）における入力画像４２を引用しながら説明する。
【００５０】
ステップ７に続いて結合分離部３８は、以下の方法に基づいて分離した下リム９３を表す画像の削除を行う（Ｓ８）。
【００５１】
結合分離部３８は、結合分離処理を行った入力画像４２の２値化画像に基づいてラベリングを行い、画素幅が１０画素以上のラベルのみ残して他を削除し、ノイズを除去する（ノイズの削除）。
【００５２】
続いて結合分離部３８は、残ったすべてのラベルについて、ラベルの下辺から所定の画素数として１画素以上の間隔を空けて、４画素以内にラベルの上辺側エッジ８０ａのベクトル７と相反する方向のベクトル７を有する下辺側エッジ８０ｂの画素数のカウントを行い、そのカウント値を算出する（ペア照合）。これは、例えば図５Ｂ（ｃ）に示すように、第１の構造物４０Ｂを挟んで相反するベクトルグループ８（例えば第１及び第５のグループ８１、８５）が存在する画素の数をカウントすることに相当する。
【００５３】
また結合分離部３８は、算出したカウント値がラベル幅画素数×０．８以上、つまり該当するラベルを挟んで上辺側エッジ８０ａのベクトル７と相反する方向のベクトル７を有する下辺側エッジ８０ｂが存在するとき、上辺側エッジ８０ａ及び下辺側エッジ８０ｂを「隣接」と判定する。これは、例えば図５Ｂ（ｃ）に示すように、第１の構造物４０Ｂを挟んで相反する上辺側エッジ８０ａ及び下辺側エッジ８０ｂを「隣接」と判定することに相当する。
【００５４】
さらに結合分離部３８は、該当するラベルとそのラベルに接触するエッジが、１画素以上であれば「接触あり」、それ未満であれば「接触なし」と判定する。これは、図１２（ｂ）に示すように、上まぶた２０のラベルのエッジと下まぶたのラベルのエッジが重なり、誤ってペア照合され、ひとつの構造物と認識されるのを防ぐためである。
【００５５】
結合分離部３８は、「隣接」かつ「接触なし」の場合、下リム９３であると判断し、該当するラベルの２値化画像をクリアする。また、「隣接」であるが「接触あり」の場合、閉眼時の上まぶた２０の可能性があるので、該当するラベルの２値化画像を削除せず、また、「隣接」でないとき（「接触」はどちらでも良い）、開眼時の上まぶた２０、またはその他の構造物の可能性があるため削除しない。
【００５６】
ここで、図１１（ｂ）において、ペア照合の結果、上リム９２が削除されないのは、画像枠４ｂに接触しているからである。（画像枠４ｂに接触していると判断されるとき、対象が不定ということで削除対象から除外している。）また、図１２（ａ）に示す入力画像４３に対して上記の処理を行った場合、乗員２は眼鏡を着用していないので、上まぶた２０のラベルの両端に「接触」が生じ、眼の可能性があると判断され削除されない。
【００５７】
結合分離部３８は、上記した方法によって下リム９３を表す画像を削除したのち、続いて上リム９２を表す画像の削除処理を行う。まず、結合分離部３８は、上まぶた２０と上リム９２の分離処理を行う（Ｓ９）。
【００５８】
図１３（ａ）に示す２値化画像４４ａのように、上まぶた２０が他の構造物と接触していなければ、略半円形状を有するラベルを抽出することができる。しかし、上まぶた２０と上リム９２が結合した場合、一体となったラベルとして抽出される。そこで結合分離部３８は、既にテンプル９０と下リム９３が分離されていることから、以下の方法によって上まぶた２０を表すラベルを独立させることができる。
【００５９】
まず、結合分離部３８は、下リム９３が削除されたベクトルグループ画像４０ａから２値化画像４４ａを生成し、ラベリングを行う。続いて、図１３（ｂ）に示すように、同番号が付されたラベルに挟まれた領域を検出する。ここで図１３（ｂ）に示す領域検出画像４４ｂにおける斜線の領域は、同一ラベル番号に挟まれた領域を表している。
【００６０】
この挟まれた領域の最も左上にある座標点と最も右側の画素列の中間点を結ぶ図１３（ｃ）に示す分離処理前画像４４ｃにおいて矢印１００で示す直線を算出し、算出した直線と同番号が付されたラベルとの交点における画素を削除し、上まぶた２０と上リム９２を分離する。上まぶた２０と上リム９２を分離した図が、図１３（ｄ）に示す分離処理後画像４４ｄであり、円で囲った結合分離領域４１ｂにおいて上まぶた２０と上リム９２が分離しているのが分かる。
【００６１】
制御部３９は、上記の処理を経て取得した分離処理後画像４４ｄに基づいて上まぶた２０の位置の検出を行う（Ｓ１１）。この検出の方法は、一例として、上記した処理以外で算出した眼の位置に基づく方法、過去に算出した眼の位置座標を記憶部３３に記憶させ、これを呼び出すことによって過去に算出した眼の位置座標に近いラベルの検出に基づく方法、及び画像の中心に近いものを眼の位置とする方法等によって眼の位置を検出し、検出結果に基づいて上まぶた２０を検出する。制御部３９は、上まぶた２０を検出したのち、上まぶた２０のエッジ（ライン）を検出し（Ｓ１２）、処理を終了する。
【００６２】
ここでで、ステップ５において、乗員２が眼鏡を着用していないとき（Ｓ５；Ｎｏ）、垂直方向のエッジの抽出を行うため、図５Ａ（ａ）に示すベクトルグループ８の第２及び第３のグループ８２、８３を「１」とし、それ以外を「０」とする２値化画像を生成し（Ｓ１０）、ステップ９に進む。
【００６３】
画像処理装置３は、上記した処理を行うことで、入力画像４３に含まれる検出対象物を正確に検出することができる。よって、画像処理装置３は、眼の動きによって乗員２の意識の状態を検出するような装置と連動させることによって、例えば乗員２の居眠り運転操作防止等に役立てることができる。
【００６４】
（効果）
上記した実施の形態によれば、ベクトル７の角度θの違いによってベクトルグループ分類を行うことによって、隣接する他の構造物の結合を正確に分離することができ、また、眼鏡を着用した人物が撮像された画像データから人物の上まぶた２０を検出することができる。
【００６５】
本実施の形態において、画像処理装置３について説明したが、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を搭載したコンピュータ等の電子機器によって実行される画像処理方法、または画像処理プログラムとして実現されても良い。
【００６６】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【図面の簡単な説明】
【００６７】
【図１】（ａ）は、本発明の実施の形態に係る画像処理装置を搭載した車両の上方図であり、（ｂ）は、本発明の実施の形態に係る車両の側面図である。
【図２】本発明の実施の形態に係る画像処理装置のブロック図である。
【図３】（ａ）は、本発明の実施の形態に係る画像データの一部を示す図であり、（ｂ）は、本発明の実施の形態に係るフィルタの一例を示す図である。
【図４】（ａ）は、本発明の実施の形態に係る水平フィルタを示す図であり、（ｂ）は、本発明の実施の形態に係る垂直フィルタを示す図であり、（ｃ）は、本発明の実施の形態に係るベクトルを示す図である。
【図５Ａ】（ａ）は、本発明の実施の形態に係るベクトルグループ分類に関する図である。
【図５Ｂ】（ｂ）は、本発明の実施の形態に係るサンプル画像の一例を示す図であり、（ｃ）は、本発明の実施の形態に係るサンプル画像をベクトルグループ分類した結果を示す概略図である。
【図６】（ａ）は、本発明の実施の形態に係る第１のグループに注目した隣接グループを示す図であり、（ｂ）は、本発明の実施の形態に係る第７のグループに注目した隣接グループを示す図である。
【図７】（ａ）〜（ｅ）は、本発明の実施の形態に係る各種眼鏡の一例を示す図である。
【図８】本発明の実施の形態に係る眼鏡の種類別の削除画素数を示す表である。
【図９】（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、（ｂ）は、本発明の実施の形態に係る入力画像のベクトルグループ画像の概略図であり、（ｃ）は、本発明の実施の形態に係るベクトルグループ画像の２値化画像の概略図である。
【図１０】（ａ）は、本発明の実施の形態に係る２値化画像を示す概略図であり、（ｂ）は、本発明の実施の形態に係る結合分離処理後の２値化画像を示す概略図である。
【図１１】（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、（ｂ）は、本発明の実施の形態に係るベクトルグループ画像の概略図であり、（ｃ）は、本発明の実施の形態に係る２値化画像の概略図である。
【図１２】（ａ）は、本発明の実施の形態に係る入力画像の概略図であり、（ｂ）は、本発明の実施の形態に係るベクトルグループ画像の概略図であり、（ｃ）は、本発明の実施の形態に係る２値化画像の概略図である。
【図１３】（ａ）は、本発明の実施の形態に係る２値化画像の概略図であり、（ｂ）は、本発明の実施の形態に係る上まぶたと上リムに挟まれた領域の検出に関する概略図であり、（ｃ）は、本発明の実施の形態に係る分離処理前の概略図であり、（ｄ）は、本発明の実施の形態に係る分離処理後の概略図である。
【図１４】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【００６８】
１…車両、２…乗員、３…画像処理装置、４…画像データ、４ａ…背景、４ｂ…画像枠、５…画素、６…フィルタ、７…ベクトル、８…ベクトルグループ、９ａ…リムレス、９ｂ…バリ、９ｃ…ツーポイント、９ｄ…スクエア、９ｅ…フォックス、１０…車両本体、１１…ルームミラー、２０…上まぶた、３０…ＣＣＤカメラ、３１…照明部、３２…画像キャプチャ部、３３…記憶部、３４…算出部、３５…ベクトルグループ分類部、３６…判定部、３７…２値化処理部、３８…結合分離部、３９…制御部、４０…入力画像、４０Ａ…サンプル画像、４０Ｂ…第１の構造物、４０ａ…ベクトルグループ画像、４０ｂ…２値化画像、４０ｃ…２値化画像、４１…対象領域、４１ａ…結合分離領域、４１ｂ…結合分離領域、４２…入力画像、４３…入力画像、４４ａ…２値化画像、４４ｂ…領域検出画像、４４ｃ…分離処理前画像、４４ｄ…分離処理後画像、６０…水平フィルタ、６０ａ…水平成分、６０ｂ…水平成分、６１…垂直フィルタ、６１ａ…垂直成分、８０ａ…上辺側エッジ、８０ｂ…下辺側エッジ、８１〜８８…第１〜第８のグループ、９０…テンプル、９１…智、９２…上リム、９３…下リム、９４…レンズ、９４ａ…上レンズ、９４ｂ…下レンズ、９５…ブリッジ、９６…パッド、９７…屈曲点、１００…矢印、３６０…削除画素数表、θ…角度、Ｐ…ベクトルの大きさ
【図１】
2009140282.tif 000003
【図２】
2009140282.tif 000004
【図３】
2009140282.tif 000005
【図４】
2009140282.tif 000006
【図５Ａ】
2009140282.tif 000007
【図５Ｂ】
2009140282.tif 000008
【図６】
2009140282.tif 000009
【図７】
2009140282.tif 000010
【図８】
2009140282.tif 000011
【図１０】
2009140282.tif 000012
【図１３】
2009140282.tif 000013
【図１４】
2009140282.tif 000014
【図９】
2009140282.tif 000015
【図１１】
2009140282.tif 000016
【図１２】
2009140282.tif 000017