(57)【要約】【課題】外乱光に影響されることなく対象物の所定部位を判別する。【解決手段】近赤外波長域の光を対象物に照射し、近赤外波長域の光で照明した状態で撮影した対象物の画像の画素値と光が照射されていない状態で撮影した対象物の画像の画素値との差（１２０）を演算することにより外乱光の影響を除去し、演算された差に基づいて、対象物の各部位、例えばドライバの肌、髪、眼球を判別して顔領域を検出し（１３０）、顔領域の一部、例えば鼻と口の間に髭の画素値を有する画素の占有率を求め（１３４，１３６）、結果から男女判定する。【選択図】図４
2008027242.tif 000002
【特許請求の範囲】
【請求項１】
近赤外波長域の光を照射する照明手段と、
前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、
前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、
前記第１光量の光による照明状態で撮影した対象物の画像の画素値と、前記第２光量の光による照明状態で撮影した対象物の画像の画素値との差を演算する演算手段と、
前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、
前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、
前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、
を含む対象物の部位判別装置。
【請求項２】
第１の波長域の光及び第１の波長域と異なる第２の波長域の光を照射する照明手段と、
前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、
前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、
第１の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第２の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値との差を演算する演算手段と、
前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、
前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、
前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、
を含む対象物の部位判別装置。
【請求項３】
前記制御手段は、前記第１の波長域の第１光量の光と前記第２の波長域の第１光量の光が交互に照射されるように照明手段を光量制御することを特徴とする請求項２記載の対象物の部位判別装置。
【請求項４】
第１の波長域の光及び第１の波長域と異なる第２の波長域の光を照射する照明手段と、
前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、
前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、
第１の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第１の波長域の第２光量の光による照明状態で撮影した対象物の画像の画素値との第１の差、及び第２の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第２の波長域の第２光量の光による照明状態で撮影した対象物の画像の画素値との第２の差を演算しかつ前記第１の差と第２の差の差を演算する演算手段と、
前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、
前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、
前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、
を含む対象物の部位判別装置。
【請求項５】
前記制御手段は、前記第１の波長域の第１光量の光と前記第２の波長域の第１光量の光とが順に照射されるように、前記第１光量の光が照射されるように前記照明手段を光量制御してから前記第２光量の光が照射されるように前記照明手段を光量制御することを特徴とする請求項４記載の対象物の部位判別装置。
【請求項６】
第１の波長域の光を透過する第１のフィルタ、及び第１の波長域と異なる第２の波長域の光を透過する第２のフィルタを備えた撮影手段と、
前記第１のフィルタの透過光により撮影または前記第２のフィルタの透過光により撮影されるように、前記撮影手段を切換制御する制御手段と、
第１のフィルタの透過光により撮影した対象物の画像の画素値、及び第２のフィルタの透過光により撮影した対象物の画像の画素値との差を演算する演算手段と、
前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、
前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、
前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、
を含む対象物の部位判別装置。
【請求項７】
第１の波長域及び第２の波長域を含む波長域の光を照射する照明手段と、
前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、
第１の波長域の光を透過する第１のフィルタ、及び第１の波長域と異なる第２の波長域の光を透過する第２のフィルタを備えかつ、前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、
前記照明手段から第１光量の光による照射状態で第１のフィルタの透過光により撮影した対象物の画像の画素値と、前記照明手段から第２光量の光による照射状態で第１のフィルタの透過光により撮影した対象物の画像の画素値との第１の差、及び前記照明手段から第１光量の光による照射状態で第２のフィルタの透過光により撮影した対象物の画像の画素値と、前記照明手段から第２光量の光による照射状態で第２のフィルタの透過光により撮影した対象物の画像の画素値との第２の差を演算し、かつ前記第１の差と第２の差の差を演算する演算手段と、
前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、
前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、
前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、
前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、
を含む対象物の部位判別装置。
【請求項８】
前記設定手段は、前記検出手段で検出された顔領域の中心軸を求め、求めた中心軸周辺の一部を探索領域として設定することを特徴とする請求項１乃至請求項７の何れか１項記載の対象物の部位判別装置。
【請求項９】
前記第１の波長域及び第２の波長域は、８００ｎｍ〜１１００ｎｍの近赤外領域の波長を設定したことを特徴とする請求項２乃至請求項８の何れか１項記載の対象物の部位判別装置。
【請求項１０】
前記第１の波長域を８００ｎｍ〜９７０ｎｍの間の波長域とし、前記第２の波長域を９７０ｎｍ〜１１００ｎｍの間の波長域としたことを特徴とする請求項２乃至請求項９の何れか１項記載の対象物の部位判別装置。
【請求項１１】
前記制御手段は、前記照明手段から光が照射される状態を前記第１光量の光が照射される状態とするオン制御及び前記照明手段から光が照射されない状態を前記第１光量未満の第２光量の光が照射される状態とするオフ制御のオンオフ制御を前記光量制御として実行することを特徴とする請求項１乃至請求項１０の何れか１項記載の対象物の部位判別装置。
【請求項１２】
請求項１乃至請求項１１の何れか１項の部位判別装置を備え、
前記判別手段の判別結果に基づいて、前記人物の性別を判定する判定手段を含む対象物の性別判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の部位判別装置及び性別判定装置にかかり、特に、太陽光等の外乱光に影響されることなくドライバの頭部等の対象物の肌、髪、眼球等の部位を区別して判定することができる対象物の部位判別装置及び性別判定装置に関する。
【背景技術】
【０００２】
人物を撮影した画像から顔画像を特定するパターン認識等の画像処理することにより、人物を判別する技術が一般的に知られている。非特許文献１には、人物を判定する技術の応用として、性別判定する技術が知られている。この技術では、顔画像から特徴量を抽出し、その特徴量を用いて性別と年代を推定している。
【非特許文献１】画像ラボ  ２００３．３  ３５頁〜３８頁「顔画像による自動性別年代推定システム」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記非特許文献１には偽装した人物に対する考慮がなされておらず、偽装した人物の性別判定は誤判定する場合がある。例えば、変装等の偽装により容易に、実際とは異なる性別として認識される顔画像の撮影が可能である。これは、対象物の各部位を判別することが不十分なためと考えられる。
【０００４】
本発明は、上記問題を解決すべく成されたもので、対象物の所定部位を簡便かつ確実に判別することができる対象物の部位判別装置及び性別判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために本発明は、近赤外波長域の光を照射する照明手段と、前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、前記第１光量の光による照明状態で撮影した対象物の画像の画素値と、前記第２光量の光による照明状態で撮影した対象物の画像の画素値との差を演算する演算手段と、前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、を含んで構成されている。
【０００６】
本発明では、第１光量の光による照明状態で撮影した対象物の画像の画素値と、第１光量未満の第２光量の光による照明状態で撮影した対象物の画像の画素値との差に基づいて対象物の各部位を判別する。例えば対象物に外乱光が照射された状態で撮影した対象物の画像の画素値に対応する照明手段から光が照射されていない状態で撮影した対象物の画像の画素値を用い、近赤外波長域の光で照明した状態で撮影した対象物の画像の画素値と照明手段から光が照射されていない状態で撮影した対象物の画像の画素値との差に基づいて、対象物の各部位を判別しているため、外乱光に影響されることなく対象物の各部位を判別することができる。この対象物の各部位のうち肌領域及び顔領域を検出する。顔領域内には男女差を有する髭などの毛根部位等が多数あるので、顔領域内の一部を探索領域として肌領域と肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を求めて、その比率から対象物の所定部位を判別する。このように、顔領域内の一部の探索領域から求める肌領域の画素値と異なる画素値となる特定領域の比率により対象物の所定部位を判別しているため、性別判定に必要となる対象物の所定部位を判別することができる。
【０００７】
また、第１の波長域の光及び第１の波長域と異なる第２の波長域の光を照射する照明手段と、
前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、第１の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第２の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値との差を演算する演算手段と、前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、を含んで構成してもよい。
【０００８】
この場合、前記制御手段は、前記第１の波長域の第１光量の光と前記第２の波長域の第１光量の光が交互に照射されるように照明手段を光量制御するようにすることができる。
【０００９】
また、第１の波長域の光及び第１の波長域と異なる第２の波長域の光を照射する照明手段と、前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、第１の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第１の波長域の第２光量の光による照明状態で撮影した対象物の画像の画素値との第１の差、及び第２の波長域の第１光量の光による照明状態で撮影した対象物の画像の画素値と、第２の波長域の第２光量の光による照明状態で撮影した対象物の画像の画素値との第２の差を演算しかつ前記第１の差と第２の差の差を演算する演算手段と、前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、を含んで構成することができる。
【００１０】
この場合、前記制御手段は、前記第１の波長域の第１光量の光と前記第２の波長域の第１光量の光とが順に照射されるように、前記第１光量の光が照射されるように前記照明手段を光量制御してから前記第２光量の光が照射されるように前記照明手段を光量制御するようにすることができる。
【００１１】
また、第１の波長域の光を透過する第１のフィルタ、及び第１の波長域と異なる第２の波長域の光を透過する第２のフィルタを備えた撮影手段と、前記第１のフィルタの透過光により撮影または前記第２のフィルタの透過光により撮影されるように、前記撮影手段を切換制御する制御手段と、第１のフィルタの透過光により撮影した対象物の画像の画素値、及び第２のフィルタの透過光により撮影した対象物の画像の画素値との差を演算する演算手段と、前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、を含んで構成することができる。
【００１２】
また、第１の波長域及び第２の波長域を含む波長域の光を照射する照明手段と、前記照明手段を予め定めた第１光量の光及び前記第１光量未満の第２光量の光の各々が照射されるように光量制御する制御手段と、第１の波長域の光を透過する第１のフィルタ、及び第１の波長域と異なる第２の波長域の光を透過する第２のフィルタを備えかつ、前記制御手段の光量制御に同期して対象物を撮影する撮影手段と、前記照明手段から第１光量の光による照射状態で第１のフィルタの透過光により撮影した対象物の画像の画素値と、前記照明手段から第２光量の光による照射状態で第１のフィルタの透過光により撮影した対象物の画像の画素値との第１の差、及び前記照明手段から第１光量の光による照射状態で第２のフィルタの透過光により撮影した対象物の画像の画素値と、前記照明手段から第２光量の光による照射状態で第２のフィルタの透過光により撮影した対象物の画像の画素値との第２の差を演算し、かつ前記第１の差と第２の差の差を演算する演算手段と、前記演算手段で演算された差に基づいて、前記対象物の肌領域及び前記対象物の顔領域を検出する検出手段と、前記検出手段で検出された顔領域内の一部を探索領域として設定する設定手段と、前記設定手段で設定された探索領域内について、前記肌領域と、前記肌領域の画素値と異なる画素値を有する画素からなる特定領域との比率を算出する算出手段と、前記算出手段で算出された比率に基づいて、前記対象物の所定部位を判別する判別手段と、を含んで構成することができる。
【００１３】
この場合、前記設定手段は、前記検出手段で検出された顔領域の中心軸を求め、求めた中心軸周辺の一部を探索領域として設定するようにすることができる。
【００１４】
本発明では、前記第１の波長域及び第２の波長域は、８００ｎｍ〜１１００ｎｍの近赤外領域の波長を設定することが好ましい。
【００１５】
また、前記第１の波長域を８００ｎｍ〜９７０ｎｍの間の波長域とし、前記第２の波長域を９７０ｎｍ〜１１００ｎｍの間の波長域とすることが好ましい。
【００１６】
前記制御手段は、前記照明手段から光が照射される状態を前記第１光量の光が照射される状態とするオン制御及び前記照明手段から光が照射されない状態を前記第１光量未満の第２光量の光が照射される状態とするオフ制御のオンオフ制御を前記光量制御として実行することが好ましい。
【００１７】
前記の部位判別装置を備えて、前記判別手段の判別結果に基づいて、前記人物の性別を判定する判定手段を含む要に構成することで、対象物の性別判定を簡便かつ確実に実行できる。
【発明の効果】
【００１８】
以上説明したように本発明によれば、顔領域内の一部の探索領域から求める肌領域の画素値と異なる画素値となる特定領域の比率により対象物の所定部位を判別しているので例えば性別判定に必要となる対象物の所定部位を判別することができる、という優れた効果が得られる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して、本発明をドライバの頭部の各部位を判別する車両用の判別装置に適用した実施の形態について詳細に説明する。第１実施の形態には、図１に示すように、近赤外波長λ０域の光を照射するＬＥＤ等で構成された照明手段である光源１１から構成された照明装置と、照明装置で照明された対象物等を撮影するＣＣＤカメラ等で構成されたカメラ１４が設けられている。
【００２０】
光源１１、及びカメラ１４は、光源１１のオンオフ制御に同期させてカメラのシャッタを開閉制御する光源・カメラ制御１６に接続されている。また、カメラ１４には、カメラで撮影された画像の各画素の画像濃度値等の画素値を記憶するメモリで構成された画素値記憶装置１８、及び以下で説明する処理ルーチンに従って演算された画素値の差及びデータベース２２に記憶されている反射率データに基づいて対象物の各部位が何であるかを判定する演算・判定装置２０に接続されている。演算・判定装置２０は、光源・カメラ制御１６にも接続することができる。なお、光源・カメラ制御装置１６及び演算・判定装置２０は、各々コンピュータで構成することができるが、１つのコンピュータで構成するようにしてもよい。
【００２１】
なお、以下の説明では、光源をオンオフ制御する場合を説明するが、本発明はこれに限定されるものではない。オンオフ制御に代えて、光源の光量制御をするようにしてもよい。この場合、複数の異なる光量で光が照射されるように光源を制御すればよい。例えば、光源を予め定めた第１光量の光及び第１光量未満の第２光量の光の各々が照射されるように光量制御すればよい。この第１光量はカメラで反射光が検知できる程度の光量であればよく、また第２光量はカメラで反射光が検知で困難な程度の光量であればよい。また、カメラで反射光を検知するときに差異が得られる程度、すなわち第１光量と第２光量に所定光量差があればよい。この第１光量の光が照射されるように制御することの典型例がオン制御であり、第２光量の光が照射されるように制御することの典型例がオフ制御である。
【００２２】
上記のＣＣＤとしては、近赤外域に感度を有するＸＣ−Ｅ１５０（ソニー（株）製、商品名）を使用することができる。このＣＣＤは、図２に示すように、４００ｎｍ〜１０００ｎｍの波長域に感度を有している。
【００２３】
本実施の形態において、対象物を車両のドライバの頭部としてドライバの肌、及び髪の各部位を検出して性別判定に用いる場合を例に説明する。図３は肌の分光反射率、及び髪の分光反射率を示すものである。図３の符号３３は、人物の肌の分光反射率、３４は人物の髪の分光反射率である。肌の分光反射率及び髪の分光反射率を比較すると、可視波長域を超える近赤外波長域では、略１１００ｎｍ以下における分光反射率が髪のものより肌のものが大きい。このため、画像処理において肌に対応して定めた設定値の閾値による肌領域を抽出できる。
【００２４】
従って、テンプレートマッチング等の画像処理でドライバの頭部領域を対象物として抽出し、撮像した画像の画素値について閾値を超える画素を抽出することで、頭部領域の中の肌部位を検出することが可能となる。
【００２５】
なお、波長（近赤外波長λ０）については、８８０ｎｍや９７０ｎｍが好ましいが、これに限定する必要はない。ただし、以下の条件を満たす必要がある。
【００２６】
第１に、近赤外領域の光を用いることである。この理由は、車載で運転中に使用する場合には、運転者の気を散らさないために不可視光でドライバの顔を照明することになるが、紫外領域の光を用いると眼に害を与えるおそれがあり望ましくないからである。
【００２７】
第２に、１１００ｎｍ以下の波長の光を用いることである。この理由は、コスト、信頼性、及び応答性の点で優れているシリコン半導体で構成された撮像素子は、図２に例示したように１１０７ｎｍまでの波長にしか感度を有さないからである。
【００２８】
第３に、波長λ０における反射率が、肌や髪の各々で異なることである。また、可視領域近傍の波長の光を照射する照明装置を用いると、光が可視領域に漏れる可能性があること、撮像素子の感度が１０００ｎｍ以上では殆ど無いことも考慮する必要がある。
【００２９】
また、本実施の形態では、データベース２２に、図３に示した分光反射率分布のデータが予め記憶されている。
【００３０】
次に、本実施の形態の演算・判定装置で実行される頭部の各部位を判別する処理について説明する。
【００３１】
まず、光源・カメラ制御装置１６では、図６に示すように、光源１１を点滅する（光源がオンで状態Ａ、点灯後の光源１１がオフで状態Ｃ）ことを繰り返すように制御する。従って、光源１１は、波長λ０の光のみ照射（状態Ａ）、光源１１がオフ（状態Ｃ）の２つの状態をとる。
【００３２】
また、状態Ａ、及び状態Ｃの各々においてカメラにより対象物であるドライバの頭部が撮影されるように、光源１１のオンオフ制御に同期させてカメラのシャッタを開閉して対象物を撮影する。これにより、状態Ａ、及び状態Ｃの各々において対象物の画像が撮影される。
【００３３】
図４は、演算・判定装置２０における処理を示す流れ図であり、ステップ１００及びステップ１０２において状態Ｃか、状態Ａかを判断する。ステップ１００で状態Ｃと判断された場合には、ステップ１１０において状態Ｃでカメラで撮影された画像の画素値Ｖｎを演算して画素値記憶装置１８に記憶する。また、ステップ１０２において状態Ａと判断された場合には、ステップ１１２において状態Ａでカメラで撮影された画像の各画素の画素値Ｖ（λ０）を演算して画素値記憶装置１８に記憶する。次のステップ１２０では、状態Ａの各画素の画素値から状態Ｃの画像の対応する各画素の画素値を減算した差（Ｖ（λ０）−Ｖｎ）を演算して各画素毎に記憶する。このように状態Ａでの画素値から状態Ｃでの画素値を減算することで、近赤外波長のみの分光強度による画素値（Ｖ（λ０）−Ｖｎ）を得ることができ、外乱光の影響を除去することができる。
【００３４】
以上の処理を行なうことにより、光源で対象物を照明しない状態を基準として各画素の画素値が演算される。
【００３５】
次のステップ１３０では、顔領域を検出する。上記のように、近赤外波長域の光を顔面に照射した画像と、非照射の画像の２枚の画像を取得し、２枚の画像から差分画像を演算することにより，背景に影響されることなく、顔領域だけが明るい画素値となる画像を取得できる。その後、画像の明るさにより、適切な閾値を設定して、顔領域を取り出す。この顔領域は輪郭やエッジでもよくまた最外郭でもよい。また、テンプレートマッチング等の画像処理でドライバの頭部領域を対象物として抽出してもよい。
【００３６】
この顔領域の検出処理では、頭部領域の中の肌部位の検出が可能である。つまり撮像した画像の画素値について閾値を超える画素を抽出することで、頭部領域の中の肌部位を検出できる。
【００３７】
光源の明るさはあらかじめ分かっているので、データベースに状態Ａの時の肌や髪の画素値の大小関係を記憶しておくことができる。データベースと各画素の差（Ｖ（λ０）−Ｖｎ）の値を比較することで、各画素が髪や肌に属するかを判定することができる。従って、各画素毎にデータベースに記憶された分光反射率の分布と差（Ｖ（λ０）−Ｖｎ）から、各画素が髪及び肌の部位に属するかを判定できる。そして、各画素に判断した属性を与えることで識別可能な情報としてを出力することができる。
【００３８】
ところで、近赤外波長域の光を顔面に照射した場合、毛髪等の毛と肌とでは反射率が大きく異なる。このため、近赤外波長域の光を顔面に照射して撮影した画像は、表面に毛が現れていない毛根に対応する領域が肌領域とは異なった画素値となる。これは、近赤外波長域の光が皮膚内部に進入して反射する特性を有するためである。従って、可視光では肌として確認される部位であっても、皮膚下に毛根を含んだ領域が存在する場合、近赤外波長域の光の反射率で判別が可能である。特に、顔領域内で毛根を含んだ領域として、性別に左右される固有領域が存在する。例えば、成人男性の多くは口周辺に髭が存在する。これは、口周辺に毛根が集中する可能性が高いことを示している。本実施形態では、顔領域内における毛根が集中する所定部位を判別する。
【００３９】
そこで、ステップ１３２では、顔領域の中心軸を検出する。顔領域は、垂直線に対して対象形状であることが多い。そこで、検出された顔領域の水平中心を求めてその近似直線を顔領域の中心軸とすることができる。なお、顔領域の中心軸の導出はこれに限定されるものではなく、他の算出方法でもよい。
【００４０】
次のステップ１３４では、顔領域の中心軸と顔領域を基に、顔領域内の鼻領域と口領域の間の領域を探索領域に設定する。顔領域内の鼻領域と口領域は、顔領域の中心軸上において所定の配置になる確度が高い。本実施の形態では、データベース２２に、顔領域の中心軸上の鼻領域と口領域の標準的な位置関係が予め記憶されている。従って、データベースの位置関係と顔領域の中心軸とから鼻領域と口領域の間の標準的な領域を定めることができ、これを探索領域に設定する。なお、探索領域の設定はこの方法に限定されるものではなく、顔領域内の鼻領域や口領域を特定する画像から求めても良い。
【００４１】
次に、ステップ１３６において、ステップ１３４で設定された探索領域内について、肌領域の画素値と異なる画素値を有する画素からなる特定領域を求め、この特定領域が探索領域に占める割合（占有率）を求める。この肌領域の画素値と異なる画素値としては、データベース２２に記憶された髪の画素値でもよく、また皮膚下で毛根を含んだ領域として予め定められた画素値をデータベース２２に記憶して用いても良い。これによって、鼻領域と口領域の間の皮膚下に毛根が集中する領域（髭領域）の比率を求めることができる。
【００４２】
次のステップ１３８では、鼻領域と口領域の間の領域に毛根が集中する領域の比率を判別結果として出力する。この判別結果は、予め定めた占有率以上の場合に、顔領域内における毛根が集中する領域を髭領域であることが予測される所定部位と判別し、その結果を出力してもよい。また、求めた占有率が、予めデータベース２２に記憶した男性であることが推定される所定占有率以上の場合に、対象人物が男性であるという判定結果を出力することができる。また、求めた占有率が、所定占有率未満の場合に、対象人物が女性であるという判定結果を出力することができる。
【００４３】
以上のように、近赤外波長域の光を顔面に照射して鼻領域と口領域の間の領域に毛根が集中する領域の比率を求めて、髭領域の有無及び量を確認できる。また、可視域の波長では確認が困難な皮膚下の毛根を近赤外波長域の光の照射によって得ることができるので、顔面に内在する部位を判別でき、性別判定を容易に行うことができる。
【００４４】
次に、第２の実施の形態について説明する。本実施の形態は、異なる２つの近赤外波長（λ１，λ２）域の光を交互に照射して対象物の各部位を判定するものである。なお、本実施形態は、上記実施形態とほぼ同様の構成であるため、同一部分には同一符号を付して詳細な説明を省略する。
【００４５】
図５に示すように、本実施形態は、第１波長λ１域の光を照射するＬＥＤ等で構成された照明手段である第１光源１０、及び第２波長λ２域の光を照射するＬＥＤ等で構成された照明手段である第２光源１２から構成された照明装置と、照明装置で照明された対象物等を撮影するＣＣＤカメラ等で構成されたカメラ１４が設けられている。
【００４６】
本実施の形態では、異なる２つのは近赤外波長域の光により対象物を車両のドライバの頭部としてドライバの肌や髪等の各部位を検出する場合を例に説明する。図３に示すように、肌の分光反射率及び髪の分光反射率について、波長８７０ｎｍと９７０ｎｍの分光反射率を比較すると、以下の関係になる。
【００４７】
・肌：８７０ｎｍでの反射率＞９７０ｎｍでの反射率
・髪：８７０ｎｍでの反射率＜９７０ｎｍでの反射率
【００４８】
従って、テンプレートマッチング等の画像処理でドライバの頭部領域を対象物として抽出し、撮像した画像の画素値を８７０ｎｍと９７０ｎｍの各々の波長において比較し比較結果の符号を判断することで、頭部領域の中の肌や髪の各部位を判別することが可能となる。
【００４９】
なお、本実施形態において、波長については、８７０ｎｍ及び９７０ｎｍに限定する必要はないが、以下の条件を満たす必要がある。
【００５０】
第１条件及び第２条件は上記実施形態と同様である。第３条件は、２つの波長λ１、λ２における反射率が、肌及び髪で異なることである。また、可視領域近傍の波長の光を照射する照明装置を用いると、光が可視領域に漏れる可能性があること、撮像素子の感度が１０００ｎｍ以上では殆ど無いことも考慮する必要がある。
【００５１】
なお、本実施の形態では、９７０ｎｍ以上の光（波長λ１の光）を照射する第１光源と９７０ｎｍ未満の光（波長λ２の光）を照射する第２光源の２つの照明装置を用いている。
【００５２】
次に、本実施の形態の演算・判定装置で実行される頭部の各部位を判別する処理について説明する。本実施の形態は、第１波長λ１域の光を照射するＬＥＤ等で構成された照明手段である第１光源１０、及び第２波長λ２域の光を照射するＬＥＤ等で構成された照明手段である第２光源１２から構成された照明装置に状態Ｃを生じさせることなく、第１光源のみオン（状態Ａ）、第２光源のみオン（状態Ｂ）の２つの状態を生じさせて対象物の各部位を判定するものである。第１光源及び第２光源は、図６に示すように交互に発光させた２つの光源に同期して、カメラのシャッタを開閉させるか、または図７に示すように制御手段１６によってカメラのシャッタに同期させたタイミングで２つの光源を発光させる。
【００５３】
図８は、演算・判定装置２０における処理を示す流れ図であり、ステップ１０２及びステップ１０４において状態Ａか、状態Ｂかを判断する。
【００５４】
すなわち、図６に示すタイミングで第１の光源及び第２の光源のオンオフ制御、及びカメラのシャッタの開閉が制御されている状態で対象物を撮影し、図８のステップ１０２で第１の光源をオンして対象物を照明した状態（状態Ａ）での撮影か否かを判断すると共に、ステップ１０４で第２の光源をオンして対象物を照明した状態（状態Ｂ）での撮影か否かを判断する。
【００５５】
状態Ａの場合には、ステップ１１２において、第１の光源からの第１波長λ１域の光による対象物の撮影により得られた画像の画素値Ｖ（λ１）を演算して記憶する。状態Ｂの場合には、ステップ１１４において、第２の光源からの第２波長λ２域の光による対象物の撮影により得られた画像の画素値Ｖ（λ２）を演算して記憶する。
【００５６】
次のステップ１２２では、状態Ａでカメラで撮影された画像の各画素の画素値Ｖ（λ１）と状態Ｂでカメラで撮影された画像の各画素の画素値Ｖ（λ２）との差分（Ｖ（λ１）−Ｖ（λ２））を演算して各画素毎に画素値記憶装置１８に記憶する。このように状態Ａでの画素値から状態Ｂでの画素値を減算することで、第１波長及び第２波長の間の分光強度による画素値を得ることができ、外乱光の影響を除去することができる。以上の処理を行なうことにより、外乱光の影響を除去すると共に異なる２つの波長域の光源で対象物を照明したときの相対的な状態を基準として各画素の画素値が演算される。
【００５７】
光源の明るさはあらかじめ分かっているので、データベースに状態Ａ、状態Ｂの時の肌、髪、眼の画素値の大小関係を記憶しておくことができる。データベースと各画素の差（Ｖ（λ１）−Ｖ（λ２））の値とを比較することで、各画素が髪及び肌に属するかを判定することができる。
【００５８】
ステップ１３１では、各画素毎にデータベースに記憶された分光反射率の分布と差（Ｖ（λ１）−Ｖ（λ２）とを比較して、各画素が髪及び肌のいずれの部位に属するかを判定する。例えば、差分値（Ｖ（λ１）−Ｖ（λ２））の符号が負符号でれば顔領域（少なくとも肌）に属す判断し、差分値（Ｖ（λ１）−Ｖ（λ２））の符号が正符号でればであれば髪に属すと判断することができ、各画素に判断した属性を与える。そして、顔領域（少なくとも肌）に属する画素を含む領域を顔領域として検出する。
【００５９】
なお、顔領域の検出は、上記のように、異なる２つの近赤外波長域の光を顔面に照射した２枚の画像を取得し、２枚の画像から差分画像を演算することにより，背景に影響されることなく、顔領域だけが明るい画素値となる画像を取得できる。その後、画像の明るさにより、適切な閾値を設定して、顔領域を取り出す。この顔領域は輪郭やエッジでもよくまた最外郭でもよい。また、テンプレートマッチング等の画像処理でドライバの頭部領域を対象物として抽出してもよい。
【００６０】
従って、ステップ１２２では、対象物の波長λ１、λ２での画素値Ｖ（λ１），Ｖ（λ２）を用いて、対象物の異なる波長における分光反射率の差を演算し、ステップ１３１において演算された差分値とデータベースに記憶されている既知の対象物の各部位の分光反射率データとを比較することで各画素に髪及び顔面（少なくとも肌）のいずれの属性を付与することができ、これにより対象物の各部位が髪及び顔面（少なくとも肌）のいずれであるかを判別することができる。
【００６１】
次に、第３の実施の形態について説明する。本実施の形態は、第１光源のみオン（状態Ａ）、第２光源のみオン（状態Ｂ）、２つの光源を共にオフ（状態Ｃ）の３つの状態を生じさせて対象物の各部位を判定するものである。なお、本実施形態は、上記実施形態とほぼ同様の構成であるため、同一部分には同一符号を付して詳細な説明を省略する。
【００６２】
まず、光源・カメラ制御装置１６では、図９に示すように、第１光源１０及び第２光源１２を交互にオンさせて点灯する（第１光源がオンで第２光源がオフの状態を状態Ａ、及び第１光源がオフで第２光源がオンの状態を状態Ｂ）と共に、交互に点灯した後第１光源１０及び第２光源１２をオフにして消灯する（状態Ｃ）ことを繰り返すように制御する。従って、２つの光源は、第１波長λ１の光のみ照射（状態Ａ）、第２波長λ２の光のみ照射（状態Ｂ）、第１光源及び第２光源共にオフ（状態Ｃ）の３つの状態をとる。
【００６３】
また、状態Ａ、状態Ｂ、及び状態Ｃの各々においてカメラにより対象物であるドライバの頭部が撮影されるように、第１光源１０及び第２光源１２のオンオフ制御に同期させてカメラのシャッタを開閉して対象物を撮影する。これにより、状態Ａ、状態Ｂ、及び状態Ｃの各々において対象物の画像が撮影される。
【００６４】
図１０は、本実施形態における演算・判定装置２０における処理を示す流れ図であり、ステップ１００〜ステップ１０４の各々において状態Ｃか、状態Ａか、状態Ｂかを判断する。ステップ１００で状態Ｃと判断された場合には、ステップ１１０において状態Ｃでカメラで撮影された画像の画素値Ｖｎを演算して画素値記憶装置１８に記憶する。
【００６５】
また、ステップ１０２において状態Ａと判断された場合には、ステップ１１２において状態Ａでカメラで撮影された画像の各画素の画素値Ｖ（λ１）を演算して画素値記憶装置１８に記憶し、ステップ１０４において状態Ｂと判断された場合には、ステップ１１４において状態Ｂでカメラで撮影された画像の各画素の画素値Ｖ（λ２）を演算して画素値記憶装置１８に記憶する。
【００６６】
次のステップ１２０では、状態Ａと状態Ｃの各々による画像についての差分画像ａの画素値を求めるために、状態Ａの各画素の画素値から状態Ｃの画像の対応する各画素の画素値を減算した差（Ｖ（λ１）−Ｖｎ）を演算して各画素毎に記憶する。次に、ステップ１２４では、状態Ｂと状態Ｃの各々による画像についての差分画像ｂの画素値を求めるために、状態Ｂの各画素の画素値から状態Ｃの画像の対応する各画素の画素値を減算した差（Ｖ（λ２）−Ｖｎ）を演算して各画素毎に記憶する。このように状態Ａ及び状態Ｂでの各画素値から状態Ｃでの画素値を減算することで、近赤外波長のみの分光強度による画素値（Ｖ（λ１）−Ｖｎ、Ｖ（λ２）−Ｖｎ）を得ることができる。以上の処理を行なうことにより、光源で対象物を照明しない状態を基準として各画素の画素値が演算される。
【００６７】
次のステップ１２６では、状態Ａと状態Ｂの各々による画像についての差分画像の画素値を求めるために、ステップ１２０で求めた差分画像ａの各画素の画素値Ｖ（λ１）と、ステップ１２４で求めた差分画像ｂの各画素の画素値Ｖ（λ２）との差分（Ｖ（λ１）−Ｖ（λ２））を演算して各画素毎に画素値記憶装置１８に記憶する。このように状態Ａでの画素値から状態Ｂでの画素値を減算することで、第１波長及び第２波長の間の分光強度による画素値を得ることができ、外乱光の影響を除去することができる。以上の処理を行なうことにより、光源で対象物を照明しない状態を基準として各画素の画素値が演算される。以上の処理を行なうことにより、外乱光の影響を除去すると共に異なる２つの波長域の光源で対象物を照明したときの相対的な状態を基準として各画素の画素値が演算される。
【００６８】
そして、上記と同様にステップ１３１以降の処理によって、差分値（Ｖ（λ１）−Ｖ（λ２））の符号で各画素が髪及び肌のいずれの部位に属するかを判定し、顔領域として検出した後に、対象物の各部位が髪及び顔面（少なくとも肌）のいずれであるかを判別する。
【００６９】
次に、第４の実施の形態について説明する。本実施の形態は、光源を用いることなく、近赤外波長域の光を含む通常光をカメラ側で第１波長λ１域の光と第２波長λ２域の光とに分割して撮影するようにしたものである。なお、本実施形態は、上記実施形態とほぼ同様の構成であるため、同一部分には同一符号を付して詳細な説明を省略する。
【００７０】
本実施の形態には、図１１に示すように、第１波長λ１域の光を通過させるバンドパスフィルタ１４Ａ（ＢＰＦ＿Ａ）を備えたカメラ１４、及び第２波長λ２域の光を通過させるバンドパスフィルタ１５Ａ（ＢＰＦ＿Ｂ）を備えたカメラ１５が設けられている。なお、本実施の形態では、光源・カメラ制御１６が光源を直接制御することないが、光源のオンオフ制御に同期に代えて所定の周波数に同期させてカメラのシャッタを開閉制御すると共にカメラ１４，１５を切り換える。すなわち、光源・カメラ制御１６は、シャッタの切換及びカメラの切換が光源のオンオフ制御に対応する。
【００７１】
次に、本実施の形態の対象物の各部位を判定する処理ルーチンについて図１２を参照して説明する。光源・カメラ制御手段によって所定周波数に同期してカメラのシャッタが開閉されると共にシャッタ開放側のカメラが対象のカメラとして切り換えられ、カメラ１４による対象物の画像及びカメラ１５による対象物の画像が撮影される。
【００７２】
ステップ１０３では対象のカメラが第１カメラ１４か否かを判断し、ステップ１０５では対象のカメラが第２カメラ１５か否かを判断し、第１カメラ１４の場合は、ステップ１１３において第１波長のバンドパスフィルタ１４Ａを通過した光により得られた画像（Ａ画像）の画素値を演算して記憶し、第２カメラ１５の場合は、ステップ１１５において第２波長のバンドパスフィルタ１５Ａを通過した光により得られた画像（Ｂ画像）の画素値を演算して記憶する。
【００７３】
次のステップ１２３では、第１波長のバンドパスフィルタ１４Ａを通過した光により得られた画像（Ａ画像）の各画素の画素値Ｖ（λ１）と第２波長のバンドパスフィルタ１５Ａを通過した光により得られた画像（Ｂ画像）の各画素の画素値Ｖ（λ２）との差分（Ｖ（λ１）−Ｖ（λ２））を演算して各画素毎に画素値記憶装置１８に記憶する。このようにＡ画像の画素値からＢ画像での画素値を減算することで、第１波長及び第２波長の間の分光強度による画素値を得ることができ、外乱光の影響を除去することができる。以上の処理を行なうことにより、外乱光の影響を除去すると共に異なる２つの波長域の光源で対象物を照明したときの相対的な状態を基準として各画素の画素値が演算される。
【００７４】
そして、上記と同様にステップ１３１以降の処理によって、差分値（Ｖ（λ１）−Ｖ（λ２））の符号で各画素が髪及び肌のいずれの部位に属するかを判定し、顔領域として検出した後に、対象物の各部位が髪及び顔面（少なくとも肌）のいずれであるかを判別する。
【００７５】
なお、本実施形態では、光軸が異なる２台のカメラ１４，１５を用いた一例を説明したが、本発明はこれに限定されるものではない。例えば、図１３に示すように、同一光軸を複数に分岐してその分岐先でフィルタを挿入するようにしてもよい。図１３では、対象物に対する光軸Ｌ上に３分岐プリズム１３を挿入した一例である。対象物からの入射光は、３分岐プリズム１３により３つの光軸に分岐される。この３分岐プリズムでは、第１分岐光軸は第１波長λ１域の光を通過させるバンドパスフィルタ１４Ａ（ＢＰＦ＿Ａ）、第２分岐光軸は第２波長λ２域の光を通過させるバンドパスフィルタ１５Ａ（ＢＰＦ＿Ｂ）、そして第３分岐光軸は通常の可視波長域のフィルタ（図１３ではＲＧＢ）へ向けて案内するようになっている。
【００７６】
次に、第５の実施の形態について説明する。本実施の形態は、単一の光源を用い、カメラ側で第１波長λ１域の光と第２波長λ２域の光とに分割して撮影するようにしたものである。本実施の形態は、図１４に示すように、第４の実施の形態に光源１１を設けたものである。本実施の形態の光源１１としては第１波長λ１及び第２波長λ２を含む波長域の光を照射する単一の光源を用いている。なお、本実施形態は、上記実施形態とほぼ同様の構成であるため、同一部分には同一符号を付して詳細な説明を省略する。
【００７７】
次に、本実施の形態の対象物の各部位を判定する処理ルーチンについて図１４を参照して説明する。光源・カメラ制御手段によって光源１１がオンオフ制御されると共に、光源のオンオフに同期してカメラのシャッタが開閉されると共にシャッタ開放側のカメラが対象のカメラとして切り換えられ、光源オン時のカメラ１４による対象物の画像及びカメラ１５による対象物の画像、そして光源オフ時の対象物の画像が撮影される。
【００７８】
ステップ１０１では光源がオンされたか否かを判断し、光源オンの場合は、対象が第１カメラ１４か（ステップ１０３）、第２カメラ１５か（ステップ１０５）否かを判断し、第１カメラ１４の場合は第１波長のバンドパスフィルタ１４Ａを通過した光により得られた画像（Ａ画像）の画素値（ステップ１１３）、第２カメラ１５の場合は第２波長のバンドパスフィルタ１５Ａを通過した光により得られた画像（Ｂ画像）の画素値（ステップ１１５）を演算して記憶する。光源オフの場合は（ステップ１０１で肯定）、ステップ１１１において光源オフ時に第１波長のバンドパスフィルタ１４Ａを通過した光により得られた画像の画素値を演算して記憶すると共に、第２波長のバンドパスフィルタ１５Ａを通過した光により得られた画像の画素値を演算して記憶する。
【００７９】
次のステップ１２７では、第１波長のバンドパスフィルタ１４Ａを通過した光により得られた画像（ａ画像）の各画素の画素値Ｖ（λ１）と、ステップ１２５で求めた光源で対象物を照明しない状態を基準として第２波長のバンドパスフィルタ１５Ａを通過した光により得られた画像（ｂ画像）の各画素の画素値Ｖ（λ２）との差分（Ｖ（λ１）−Ｖ（λ２））を演算して各画素毎に画素値記憶装置１８に記憶する。このようにａ画像の画素値からｂ画像での画素値を減算することで、第１波長及び第２波長の間の分光強度による画素値を得ることができ、外乱光の影響を除去することができる。以上の処理を行なうことにより、外乱光の影響を除去すると共に異なる２つの波長域の光源で対象物を照明したときの相対的な状態を基準として各画素の画素値が演算される。
【００８０】
そして、上記と同様にステップ１３１以降の処理によって、差分値（Ｖ（λ１）−Ｖ（λ２））の符号で各画素が髪及び肌のいずれの部位に属するかを判定し、顔領域として検出した後に、対象物の各部位が髪及び顔面（少なくとも肌）のいずれであるかを判別する。
【００８１】
以上説明したように、上記の各実施の形態によれば、外乱光に影響されることなくドライバの髪や肌、特に男性特有の髭の各部位を正確に判定することができる。従って、性別判定に特に有効である。
【図面の簡単な説明】
【００８２】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】本発明の実施の形態に使用されているカメラのＣＣＤの分光感度特性を示す線図である。
【図３】人間の肌と髪の分光反射率特性を示す線図である。
【図４】第１の実施の形態の対象物の各部位を判別するルーチンを示す流れ図である。
【図５】本発明の第２の実施の形態を示すブロック図である。
【図６】第２の実施の形態の光源のオンオフ状態とカメラのシャッタの開閉タイミングとの例を示す線図である。
【図７】第２の実施の形態の光源のオンオフ状態とカメラのシャッタの開閉タイミングとの他の例を示す線図である。
【図８】第２の実施の形態の対象物の各部位を判別するルーチンを示す流れ図である。
【図９】第３の実施の形態の光源のオンオフ状態とカメラのシャッタの開閉タイミングとの例を示す線図である。
【図１０】第４の実施の形態の対象物の各部位を判別するルーチンを示す流れ図である。
【図１１】本発明の第４の実施の形態を示すブロック図である。
【図１２】第４の実施の形態の対象物の各部位を判別するルーチンを示す流れ図である。
【図１３】光軸を分岐するプリズムの光路図である。
【図１４】第５の実施の形態を示すブロック図である。
【図１５】第５の実施の形態の対象物の各部位を判別するルーチンを示す流れ図である。
【符号の説明】
【００８３】
１０  第１光源
１１  光源
１２  第２光源
１４  カメラ
１５  カメラ
１６  光源・カメラ制御装置
１８  記憶装置
【図１】
2008027242.tif 000003
【図２】
2008027242.tif 000004
【図３】
2008027242.tif 000005
【図４】
2008027242.tif 000006
【図５】
2008027242.tif 000007
【図６】
2008027242.tif 000008
【図７】
2008027242.tif 000009
【図８】
2008027242.tif 000010
【図９】
2008027242.tif 000011
【図１０】
2008027242.tif 000012
【図１１】
2008027242.tif 000013
【図１２】
2008027242.tif 000014
【図１３】
2008027242.tif 000015
【図１４】
2008027242.tif 000016
【図１５】
2008027242.tif 000017