(57)【要約】【課題】本発明は、人の顔を撮影した画像を処理する画像処理装置において、人の動きや背景に影響されることなく高精度に人の顔の位置を検出することを目的とする。【解決手段】カメラで撮影した背景を含む人の画像を微分処理することによって輝度のエッジ部を抽出したエッジ部抽出画像と、逐次撮影される画像を時間で微分処理することによって輝度の時間的な変化を抽出した画素値時間微分画像とを作成し、それぞれ所定の方向に画素値を投影して両者を合計することによって、人の動きや背景に影響されずに、人の位置を検出することができる。また、前記エッジ部抽出画像を時間で微分したエッジ部時間微分画像を用いることも可能である。【選択図】  図１
2004310396.tif 000002
【特許請求の範囲】
【請求項１】
人の顔を撮影して撮影画像を取得する撮像手段と、
前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、
逐次得られる前記撮影画像を時間で微分することによって、画素値の時間的な変化を抽出した画素値時間微分画像を得る時間微分手段と、
前記エッジ部抽出画像と前記画素値時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、
前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置。
【請求項２】
人の顔を撮影して撮影画像を取得する撮像手段と、
前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、
逐次得られる前記エッジ部抽出画像を時間で微分することによって、前記エッジ部の時間的な変化を抽出したエッジ部時間微分画像を得る時間微分手段と、
前記エッジ部抽出画像と前記エッジ部時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、
前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置。
【請求項３】
人の顔を撮影して撮影画像を取得する撮像手段と、
前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、
逐次得られる前記撮影画像を時間で微分することによって、画素値の時間的な変化を抽出した画素値時間微分画像を得る第１の時間微分手段と、
逐次得られる前記エッジ部抽出画像を時間で微分することによって、前記エッジ部の時間的な変化を抽出したエッジ部時間微分画像を得る第２の時間微分手段と、
前記エッジ部抽出画像と前記画素値時間微分画像と前記エッジ部時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、
前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両を運転する運転者の状態検出やセキュリティのための個人の識別等に必要な人の顔の位置を検出するための装置に関し、より詳しくは、人の動きや背景に影響されることなく顔の位置を高精度に検出する画像処理装置に関する。
【０００２】
【従来の技術】
従来、図６に示すように人の顔を撮影した画像を横方向に輝度などの画素値を微分することによって縦のエッジ６１を検出し、そのエッジの数や対象性を考慮して顔の位置を特定していた。その際、微分値を縦方向に投影したヒストグラムを利用している（特許文献１）。
【０００３】
また、車両等の運転者を撮影し、撮影した画像の時間差分を計算して顔の位置を検出し、検出した顔位置にある運転者画像を処理することで当該運転者の状態を検出する技術が開示されている（特許文献２）。
【０００４】
【特許文献１】
特開２０００−３３９４７６号公報（段落００２４〜００２６）
【０００５】
【特許文献２】
特開平１１−１６１７９８号公報（請求項１）
【０００６】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の技術では、人の背景に縦のエッジが写り込んでいる場合には正確に顔の位置を検出できないという問題があった。特に車両の運転者の状態を検出するために当該運転者を撮影すると、通常は車内のヘッドレストやピラーなどの背景が写りこんでおり、これらに起因する縦のエッジは人の顔に起因するエッジと見分けが付かないため、検出精度が極端に低下する。
【０００７】
また、特許文献２に記載の車両運転者監視装置では、運転者が動く場合には差分が実際の顔領域よりもかなり広範囲に現れ、運転者が動かない場合には差分があまりはっきりとしないことから、正しく顔の位置を検出できないという問題があった。
【０００８】
本願発明は、人の顔を撮影した画像を処理する画像処理装置において、人の動きや背景に影響されることなく高精度に人の顔の位置を検出することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するための本願発明は、人の顔を撮影して撮影画像を取得する撮像手段と、前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、逐次得られる前記撮影画像を時間で微分することによって、画素値の時間的な変化を抽出した画素値時間微分画像を得る時間微分手段と、前記エッジ部抽出画像と前記画素値時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置である。
【００１０】
また、本願発明の他の態様は、人の顔を撮影して撮影画像を取得する撮像手段と、前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、逐次得られる前記エッジ部抽出画像を時間で微分することによって、前記エッジ部の時間的な変化を抽出したエッジ部時間微分画像を得る時間微分手段と、前記エッジ部抽出画像と前記エッジ部時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置である。
【００１１】
また、本願発明の他の態様は、人の顔を撮影して撮影画像を取得する撮像手段と、前記撮影画像において画素値を微分し、該画素値が変化するエッジ部を抽出したエッジ部抽出画像を得る画像微分手段と、逐次得られる前記撮影画像を時間で微分することによって、画素値の時間的な変化を抽出した画素値時間微分画像を得る第１の時間微分手段と、逐次得られる前記エッジ部抽出画像を時間で微分することによって、前記エッジ部の時間的な変化を抽出したエッジ部時間微分画像を得る第２の時間微分手段と、前記エッジ部抽出画像と前記画素値時間微分画像と前記エッジ部時間微分画像とにおける画素値を所定方向に投影して合計し、前記画素値のヒストグラムを得る演算手段とを有し、前記ヒストグラムに基づいて、前記人の顔端位置を検出することを特徴とする画像処理装置である。
【００１２】
【作用】
本願発明によると、人を写した撮影画像の微分値から算出したエッジ部抽出画像と、逐次得られる撮影画像を時間で微分することによって得られる画素値時間微分画像との両方を用いて画像処理を行うため、人の動きや背景に影響されることなく、人の顔と背景との境界線、すなわち顔端位置を正確に検出することが可能となる。
【００１３】
また、本願発明の他の態様によると、人を写した撮影画像の微分値から算出したエッジ部抽出画像と、逐次得られるエッジ部抽出画像を時間で微分することによって得られるエッジ部時間微分画像との両方を用いて画像処理を行うため、人の動きや背景に影響されることなく、人の顔端位置を正確に検出することが可能となる。
【００１４】
また、本願発明の他の態様によると、人を写した撮影画像の微分値から算出したエッジ部抽出画像と、逐次得られる撮影画像を時間で微分することによって得られる画素値時間微分画像と、逐次得られるエッジ部抽出画像を時間で微分することによって得られるエッジ部時間微分画像とを用いて画像処理を行うため、人の動きや背景に影響されることなく、人の顔端位置を正確に検出することが可能となる。
【００１５】
【発明の実施の形態】
以下、本願発明の３つの実施の形態を順に説明する。全ての実施の形態において、撮影する画像は自動車の運転者である。本願発明の画像処理装置を用いて検出された顔の位置は、車両の安全な運転を確保する制御に用いられる。
【００１６】
本願発明では撮影画像の画素値を分析の対象とする。この画素値は輝度や色（波長）などが含まれるが、以下の実施の形態では輝度を用いる。また、運転者を撮影するカメラは車載のＣＣＤカメラやＣＭＯＳカメラなどを利用することができる。
【００１７】
（第１の実施の形態）
図１は第１の実施の形態に係る画像処理を示したフローである。図５に示す具体的な例と併せて以下に詳しく説明する。
【００１８】
まず、車載カメラを用いて運転者の画像を撮影し、撮影画像を得る（１１）。このとき得られる撮影画像は図５（ａ）に示すように運転者のみでなく、窓やピラー、ヘッドレストなどの背景が含まれることが一般的である。運転者の顔の位置を検出するためには、これらの背景と運転者の顔とを区別することが必要となる。
【００１９】
撮影画像は画像微分手段１２において微分される。本実施の形態では、運転者の左右の顔端位置を検出したいため、撮影画像の輝度を横方向に微分し、縦のエッジ（２１，２２）を得る。具体的には各画素の輝度とその画素に隣接する画素の輝度との差分を算出し、図５（ｂ）に示すエッジ部抽出画像を得る。ここで、図５（ｂ）のエッジ部抽出画像に示す破線は元の画像の輪郭である。この実施の形態では、撮影画像を横方向に微分しているため、縦のエッジ部２１，２２のみが強調され、破線で示す元の輪郭はほとんど残らない。
【００２０】
得られたエッジ部抽出画像の画素値（輝度の微分値）を縦方向に投影すると、図５（ｂ）の下部に示すヒストグラムを得ることができる。ただし、背景にもエッジ部が検出されており、全てのエッジ部の強度が等しいことから、このヒストグラムからは人の顔端位置を特定することはできない。
【００２１】
時間微分手段１３においては、逐次得られる図５（ａ）の撮影画像の輝度を時間で微分する。すなわち、ある時刻の撮影画像とその直前の撮影画像との差分を算出し、撮影画像において動く対象のみを強調して表示する。図５（ｄ）は撮影画像の輝度を時間微分して得られた画素値時間微分画像である。この処理を行うと、人は画面内で動くために、輪郭２４が太く検出されるが、画面に対して全く動かない背景（窓、ピラー、ヘッドレストなど）はほとんど残らない（破線で表示）。
【００２２】
図５（ｄ）の画素値時間微分画像は背景に対して、人が動く場合には精度よく人の位置を特定できるが、人がほとんど動かない場合には、時間微分によって何も検出されなくなる。したがって、この画素値時間微分画像のみで人の顔端位置を特定することは常に可能とは限らない。
【００２３】
次に、上で説明した画像微分手段１２と時間微分手段１３とで得られたエッジ部抽出画像（図５（ｂ））と画素値時間微分画像（図５（ｄ））のそれぞれにおいて画素値を縦方向に投影してヒストグラムを作成し、両者を合計することによって図５（ｅ）の下部に示すヒストグラムを得ることができる。この処理は図１の演算手段１４で行われる。図５（ｅ）の合成画像１の下部に示すように、合計されたヒストグラムは人の顔端位置（２４，２５）で大きなピークを持ち、このピークを検出することによって人の顔端位置を検出することが可能となる。実際には顔の幅としてもっともらしい幅を持つエッジ部２４が顔端位置と推定されることになる。この処理は図１の顔端位置検出手段１５で行われる。
【００２４】
以上の処理をさらに詳しく説明したものが図２に示すフローである。撮像手段１１で得られる撮影画像は、まず横方向に微分される（Ｓ０２，画像微分手段１２）。エッジ部とエッジでない部分とを明確に区別するために微分した値を２値化する（Ｓ０３）。例えばエッジ部は「１」、エッジでない部分は「０」といった具合である。このようにしてエッジ部抽出画像が得られる。
【００２５】
次に、２値化した値を縦方向の長さで重み付けして投影し（Ｓ０４）、ヒストグラムを作成する。具体的にはエッジ部の縦方向の長さの２乗の値で重み付けをすることで、縦に長いエッジ部を強調して投影することができる。この処理によって、顔等に起因する縦に長いエッジ部と、人の目、鼻やヘッドレスト等に起因する縦に短いエッジ部とを区別することが可能となる。
【００２６】
一方、撮影画像は画像記憶処理（Ｓ０８）によって過去画像メモリ（Ｓ０９）に記憶される。そして、新たに取得された撮影画像と過去画像メモリに記憶された過去の撮影画像との差分を取ることで、撮影画像の時間微分を算出する（Ｓ１０，時間微分手段１３）。さらに、この画素値時間微分画像の画素値（輝度の時間微分値）を縦方向に投影してヒストグラムを作成する（Ｓ１１）。
【００２７】
最後に、上記エッジ部抽出画像と画素値時間微分画像のヒストグラムが合計されて（Ｓ０５）、人の顔端位置を示したヒストグラムを得ることができる。このヒストグラムのピーク値の高いものを抽出して（Ｓ０６）、人の顔幅としてもっともらしい点を決定し、顔端位置を検出する（Ｓ０７，顔端位置検出手段１５）。
【００２８】
以上説明した手段によると、取得した撮影画像の背景や人の動きに影響されることなく、精度よく人の顔端位置を検出することが可能となり、人の状態や顔の向きを正確に捉えることが可能となる。
【００２９】
（第２の実施の形態）
図３及び図５に基づいて本願発明の第２の実施の形態について説明する。第１の実施の形態と重複する箇所は説明を省略する。
【００３０】
撮影画像を取得（１１）して画面の横方向に輝度を微分し、縦方向のエッジを抽出したエッジ部抽出画像を得る手段は第１の実施の形態と同様である。本実施の形態では、画像微分手段１２で得られたエッジ部抽出画像を、さらに時間微分することによって、検出された縦方向のエッジ部の時間変化を抽出し、エッジ部時間微分画像（図５（ｃ））を得る（時間微分手段１６）。具体的には、ある時刻において作成されたエッジ部抽出画像を記憶しておき、その後に作成されたエッジ部抽出画像との差分を計算する。一般的に人は画面内で動いている場合が多く、背景は動かない場合が多いため、このような時間微分処理によって、人に起因するエッジ部のみが抽出されることになる。すなわち、図５（ｃ）の２３のように人の顔に起因するエッジ部のみが強調表示され、その他の動かないエッジ部はほとんど残らない。なお、顔に起因するエッジ部は動くため、図５（ｂ）に示すエッジ部２２よりも、図５（ｃ）に示すエッジ部２３のほうが広範囲に広がっている。ここで、人がほとんど動かない場合には、時間微分処理によって何も画面に残らないことになるため、このエッジ部時間微分画像のみでは、常に人の顔端位置を特定できるとは限らない。
【００３１】
次に、上で説明した画像微分手段１２と時間微分手段１６とで得られたエッジ部抽出画像（図５（ｂ））とエッジ部時間微分画像（図５（ｃ））のそれぞれにおいて画素値を縦方向に投影してヒストグラムを作成し、両者を合計することによって図５（ｆ）の下部に示すヒストグラムを得ることができる。この処理は図３の演算手段１４で行われる。図５（ｆ）の合成画像２の下部に示すように、合計されたヒストグラムは人の顔端位置（２４，２５）で大きなピークを持ち、このピークを検出することによって人の顔端位置を検出することが可能となる。実際には顔の幅としてもっともらしい幅を持つエッジ部２４が顔端位置と推定されることになる。この処理は図３の顔端位置検出手段１５で行われる。
【００３２】
（第３の実施の形態）
図４及び図５に基づいて本願発明の第３の実施の形態を説明する。上記２つの実施の形態と重複する箇所については説明を省略する。
【００３３】
撮像手段１１で得られた撮影画像（図５（ａ））から第１の時間微分手段１７で画素値時間微分画像（図５（ｄ））を作成する。同時に画像微分手段１２でエッジ部抽出画像（図５（ｂ））を作成し、その後第２の時間微分手段１８でエッジ部時間微分画像（図５（ｃ））を作成する。ここで第１の時間微分手段１７と第２の時間微分手段１８とは入力された画像を時間で微分する点で共通するため、同じ回路を用いることが可能である。ただし、第１の時間微分手段１７は入力された撮影画像を処理し、第２の時間微分手段１８は入力されたエッジ部抽出画像を処理する点で異なる。
【００３４】
次に、これら３つの画像のそれぞれにおいて縦方向に画素値を投影してヒストグラムを作成する。得られた３つのヒストグラムを合計することによって、顔端位置のピークを明確に得ることが可能な１つのヒストグラムを得ることができる。このヒストグラムから顔端位置を取得する方法は上記したものと同様である。
【００３５】
（変形例）
以上の実施の形態の画像微分手段では、人の顔の幅方向のエッジ部を検出することを目的としていたため、画素値の微分は横方向に実施したが、目的に応じてあらゆる方向に微分することが可能である。また、画素値を投影してヒストグラムを作成する方向についても、上記実施の形態では縦方向に行ったが、横方向や斜め方向に投影することも可能である。
【発明の効果】
以上説明した本願発明によると、画像微分手段と時間微分手段とを有効に用いることによって、人の動きや背景に影響されることなく、高精度に人の顔の位置を検出することが可能となる。本発明の画像処理装置を用いることによって、自動車を運転中の運転者の顔の位置を検出し、当該運転者の状態や顔の向きを自動的に認識することによって安全運転を向上させることが可能となる。また、顔の位置を精度良く認識することが可能であることから、画像による個人の認証においても、誤認を減らすことが可能である。
【図面の簡単な説明】
【図１】本願発明の第１の実施の形態に係る処理フローを示す図である。
【図２】本願発明の第１の実施の形態に係る詳細な処理フローを示す図である。
【図３】本願発明の第２の実施の形態に係る処理フローを示す図である。
【図４】本願発明の第３の実施の形態に係る処理フローを示す図である。
【図５】本願発明の各段階で得られる画像を模式的に示した図である。
【図６】従来の技術による人の顔の位置を検出する画像処理を示す図である。
【符号の説明】
１１  撮像手段
１２  画像微分手段
１３  時間微分手段
１４  演算手段
１５  顔端位置検出手段
２１  背景に起因するエッジ部
２２，２３  人の顔に起因するエッジ部
【図１】
2004310396.tif 000003
【図２】
2004310396.tif 000004
【図３】
2004310396.tif 000005
【図４】
2004310396.tif 000006
【図５】
2004310396.tif 000007
【図６】
2004310396.tif 000008