(57)【要約】【課題】  適切に寝顔を認識する装置を提供すること。【解決手段】  人物の顔を検出する顔検出手段と、前記顔検出手段が検出した人物の目の瞑り度合いを判定する目瞑り度判定手段を有し、複数回にわたって目瞑り度を監視した情報に基づいて、人物の顔を寝顔と判定する手段において、目瞑り度が所定値以下となる場合、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、所定条件を満たす間は、同一の人物を寝顔と判定されないように制御することを特徴とすることを特徴とする構成とした。【選択図】  図１
2013120954.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を検出する顔検出手段と、
前記顔検出手段が検出した人物の目の瞑り度合いを判定する目瞑り度判定手段を有し、
複数回にわたって目瞑り度を監視した情報に基づいて、人物の顔を寝顔と判定する手段において、
目瞑り度が所定値以下となる場合、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、所定条件を満たす間は、同一の人物を寝顔と判定されないように制御することを特徴とすることを特徴とする寝顔認識装置。
【請求項２】
同一人物の顔を追跡する手段をさらに有し、前記同一人物の顔を追跡する手段において、同一人物の顔を追跡し続けていることを前記所定条件とすることを特徴とする請求項１に記載の寝顔認識装置。
【請求項３】
前記同一人物の顔を追跡する手段は、前記顔検出手段によって検出された顔のサイズかつ／または座標の時系列的な変化量を監視し、前記変化量が所定値以下である場合、前記同一人物の顔の追跡が成功したと判定する事を特徴とする請求項２に記載の寝顔認識装置。
【請求項４】
前記顔検出手段で検出した顔を、顔特徴により個人を識別する顔識別手段をさらに有し、
前記同一人物の顔を追跡する手段は、前記顔識別手段により、同一人物の顔が識別され続けている間、前記同一人物の顔の追跡が成功したと判定することを特徴とする請求項２に記載の寝顔認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、寝顔認識装置、撮像装置、方法及びプログラムに関する。
【背景技術】
【０００２】
人物の目の瞑り度合いを算出する手段が種々提案されている。例えば、特許文献１では、目重心近傍領域において、輝度値が所定以下となる画素数を計数することにより、瞳孔領域の露出量を算出し、眼瞑り度を算出する方法が示されている。
【０００３】
また、特許文献２に示すような、所定時間内に占める閉眼状態の割合が閾値以上となることによって、人物の睡眠を判定する手段が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５３８４８号公報
【特許文献２】特開平０９−０３４４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、人物が覚醒状態にも関わらず、睡眠状態の顔、すなわち寝顔と認識されてしまう場合があった。例えば、覚醒状態で目を開いている人物の顔が、正面向きから下向き方向に変化し、そのままの顔向きを維持し続けた場合、顔向きの変化によって、瞳孔領域の露出量が減少してしまうため、誤って閉眼と判定されてしまう。そして、その顔向きが維持された結果、所定時間内に占める閉眼状態の割合が閾値に達し、誤って寝顔と認識されてしまう恐れがあった。図１（ａ）に、正面向き・目開きの顔と、図１（ｂ）に下向き・目開きの顔を示す。下向き・目開きの顔の方では、瞳孔領域の露出量が減少していることがわかる。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、人物の顔を検出する顔検出手段と、前記顔検出手段が検出した人物の目の瞑り度合いを判定する目瞑り度判定手段を有し、複数回にわたって目瞑り度を監視した情報に基づいて、人物の顔を寝顔と判定する手段において、目瞑り度が所定値以下となる場合、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、所定条件を満たす間は、同一の人物を寝顔と判定されないように制御することを特徴とすることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、寝顔認識の精度を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】顔を含む画像の一例を示す第１の図である。
【図２】本発明の実施の一形態に係わる寝顔認識装置１０の構成の一例を示す図である。
【図３】図２に示す寝顔認識部１００４における構成の一例を示す図である。
【図４】正規化処理の概要を説明するための図である。
【図５】眼の開閉度評価値の算出処理の概要を説明するための第１の図である。
【図６】眼の開閉度評価値の算出処理の概要を説明するための第２の図である。
【図７】図２に示す寝顔認識装置１０における表情判定処理の流れを示すフローチャートである。
【図８】人物シーンを連続して撮影した画像を時系列に並べたものである。
【図９】図８のシーンにおける、図２に示す寝顔認識装置１０での認識処理結果である。
【発明を実施するための形態】
【０００９】
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施の一形態に係わる寝顔認識装置１０の構成の一例を示す図である。
【００１０】
寝顔認識装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御部、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶部が具備される。また、コンピュータには、例えば、各種ボタン、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等も具備される。なお、これら各構成部は、バス等により接続され、主制御部が記憶部に記憶されたプログラムを実行することで制御される。
【００１１】
ここで、寝顔認識装置１０は、その機能的な構成として、画像入力部１０００と、顔検出部１００１と、目瞑り評価値算出部１００２と、寝顔認識部１００３とを具備して構成される。これら機能的な構成の一部又は全ては、ＣＰＵがメモリ等に格納されたプログラム（例えば、表情認識プログラム）を実行することで実現される。なお、ハードウェア構成により実現されてもよい。
【００１２】
画像入力部１０００は、レンズ、ＣＭＯＳセンサ、ＣＣＤなどの撮像素子、アナログ／デジタル（Ａ／Ｄ）変換器、画像処理回路などから成る撮像装置により構成され、画像信号を生成し、それをデジタル画像（以下、単に画像と言う）として入力する。画像入力部１０００では、例えば、人物の顔を含む画像を入力する。なお、画像は、静止画、動画を含むデータである。
【００１３】
顔検出部１００１は、入力された画像から人物の顔を検出する。この顔検出には公知のアルゴリズムを用いればよい。例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置を検出するコンボリューションニューラルネットワークが知られている。コンボリューションニューラルネットワークを用いることにより、眼や口の重心位置も求めることができる。
【００１４】
画像正規化部１００２は、顔検出部１００１により検出された顔、眼、口の重心位置に基づき画像入力部１０００により入力された画像に対して正規化処理を行なう。具体的には、図４に示すように、入力された画像１３００から顔画像を切り出し、その画像に対して回転や拡大・縮小等の正規化処理を行う。この正規化処理では、正規化画像１３０１、１３０２に示すように、左右眼位置を結ぶ直線が水平でかつ、左右眼位置の距離が所定距離（例えば、４０ピクセル）となるようにアフィン変換が行なわれる。なお、拡大縮小処理における補間には、どのような技術を採用してもよく、例えば、バイキュービック法を用いればよい。
【００１５】
目瞑り評価値算出部１００３は、顔検出部１００１により検出された顔に基づき、目の瞑り度合いの評価値を算出する。目瞑り評価値の算出方法は、例えば以下のような方法がある。まず、図５に示すように、顔検出部１００１により検出された左右の眼重心位置を中心として矩形領域１２００を設定する。矩形領域は、例えば、左右の眼重心位置を中心として所定範囲（上下１０ピクセル、左右１０ピクセル）とする。次に、矩形領域１２００に対して閾値処理を行い、２値化画像を生成する。例えば、矩形領域１２００が８ビット階調（０−２５５階調）である場合には、閾値を１００等に設定する。そして、矩形領域１２００を構成する画素の輝度値が１００以上の画素は輝度値を２５５にし、逆に画素の輝度値が１００より小さい画素は輝度値を０にする。その後、矩形領域１２００内の輝度値が０の画素数をカウントする。図５には、輝度値が０の画素数についてのグラフが示されており、眼を開いた状態では、瞳孔領域が存在するため輝度値が０の画素数が多い。これに対して眼を閉じた状態では、瞳孔領域が隠れてしまうため、輝度値が０の画素数は少なくなる。このことを利用して眼瞑り度の算出を行う（図６参照）。図６に示す目瞑り度は、輝度値が０の画素数を眼瞑り度に変換する関数（例えば、８ビット（０−２５５階調））を用いて算出したものである。この場合、眼瞑り度が２５５に近いほど眼を閉じていることになり、眼瞑り度が０に近いほど眼を開いていることになる。なお、上述した閾値には、画像等に応じた任意の値を設ければよい。
【００１６】
眼瞑り度が２５５となる時の画素数Ｔｈ１は、例えば、大量の眼を閉じた画像から輝度値０の画素数の平均値を算出することにより決められる。また、眼瞑り度が０となる時の画素数Ｔｈ２は、例えば、大量の眼を開いた画像から輝度値０の画素数の平均値を算出することにより決められる。なお、眼瞑り度が２５５となる時の画素数Ｔｈ１、眼瞑り度が０となる時の画素数Ｔｈ２は、これ以外の方法により決めるようにしてもよい。
【００１７】
寝顔認識部１００４は、顔検出部１００１により検出された顔が寝顔であるかどうかを認識し、寝顔認識結果を出力する。ここで、寝顔認識部１００４は、図３に示すように、目開き判定部１４００と、目開きフラグ制御部１４０１と、寝顔判定部１４０２とを具備して構成される。
【００１８】
目開き判定部１４００は、目瞑り評価値算出部１００３による目瞑り評価値算出結果に基づき目が開いているかどうかを判定する。具体的には、目瞑り評価値算出部１００３により算出された目瞑り評価値が、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ以下となった場合、目開きと判定する。
【００１９】
目開きフラグ制御部１４０１は、目開き判定部１４００による目開き判定結果と、不図示の同一顔追跡部の同一顔追跡結果に基づき、目開きフラグの制御を行う。具体的には、目開き判定部１４００によって目開きと判定された場合、目開きフラグをＴＲＵＥとする。また、不図示の同一顔追跡部によって、同一の顔の追跡が途絶えた場合、目開きフラグをＦＡＬＳＥとする。同一顔追跡部による同一顔追跡は、種々の公知の方法を使用すればよい。例えば、連続フレーム間で検出された顔のサイズと座標の変動を監視し、変動が所定値以下の場合、同一の顔の追跡に成功したと判定し、変動が所定値以上又は顔が検出されなかった場合、同一の顔の追跡に失敗したと判定する方法を使用する。
【００２０】
寝顔判定部１４０２は、目開きフラグ制御部１４０１によって制御された目開きフラグと、目瞑り評価値算出部１００３による目瞑り評価値算出結果に基づき、顔検出部１００１により検出された顔が寝顔であるかどうかを判定する。具体的には、目瞑り評価値算出部１００３による目瞑り評価値算出結果の最新の履歴を最大Ｎ回分保持し、各回の目瞑り評価値が、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回るかどうかを判定し、上回った回をカウントする。これを目瞑りカウントＥｙｅＣｌｏｓｅＣｏｕｎｔとする。ＥｙｅＣｌｏｓｅＣｏｕｎｔが、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ回以上あり、かつ、目開きフラグ制御部１４０１によって制御された目開きフラグがＦＡＬＳＥで有った場合、顔検出部１００１により検出された顔が寝顔であると判定する。また、目瞑り評価値算出結果の履歴は、上述の目開きフラグ制御部１４０１における同一顔追跡部で同一顔の追跡に失敗した場合、消去される。
【００２１】
＜寝顔認識処理フロー＞
次に、図７を用いて、図２に示す寝顔認識装置１０における寝顔認識処理の流れについて説明する。
（ステップＳ１００）
画像入力部１０００において、画像入力が行われる。
（ステップＳ１０１）
顔検出部１００１において、ステップＳ１００で入力された画像から上述した所定の顔検出アルゴリズムを用いた顔検出が行なわれる。
（ステップＳ１０２）
ステップＳ１０１で人物の顔が検出されなかった場合には、ステップＳ１０６へ進み、処理の終了または次の画像入力が行われることになるが、人物の顔が検出された場合には、ステップＳ１０３へ進む。
（ステップＳ１０３）
画像正規化部１１００において、ステップＳ１０２で検出された人物の顔の画像を、上述した方法で正規化する。
（ステップＳ１０４）
目瞑り評価値算出部１００３において、ステップＳ１０３で正規化された人物の顔の画像で、目の瞑り度合いの評価値を算出する。
（ステップＳ１０５）
寝顔認識部１００４において、顔が寝顔であるかどうかを認識する。目開き判定部１４００において、顔検出部１００１により検出された顔が目開きかどうかが判定される。続いて、目開きフラグ制御部１４０１において、目開きフラグ制御が行われる。最後に、寝顔判定部１４０２において、上述の方法によって寝顔判定が行われる。
（ステップＳ１０６）
寝顔認識処理を終了する場合、そのままこの処理を終了するが、そうでない場合には、ステップＳ１００へ進み、次の画像入力がなされる。
【００２２】
＜実施例＞
次に、本実施例の実施に好適な撮影シーンの一例においての、寝顔認識処理を説明する。
【００２３】
図８は、覚醒して目を開いている人物Ａと、睡眠状態の人物Ｂの居るシーンを連続して撮影した画像を時系列に並べたものである。フレーム１〜フレーム７は、人物Ａが撮影されている。フレーム１〜フレーム２では、人物Ａは正面を向き、目を開けている。フレーム３〜フレーム７では、人物Ａは下を向き、目を開けている。フレーム８では、画角が変更され、人物Ａはフレームアウトし、画角内に居る人物はいなくなる。フレーム９〜１３では、人物Ｂが撮影されている。人物Ｂは睡眠状態のため、目は継続して閉じられている。
【００２４】
図９は、このフレーム１〜フレーム１３が順次画像入力された場合における、寝顔認識処理結果を示している。時系列の順にこれを説明する。
【００２５】
説明のため、上述の各種閾値について、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ＝２０、目瞑り評価値算出結果の最新の履歴の最大保存回数Ｎ＝１０、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅ＝１８０、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ＝５とする。
【００２６】
まず、ステップＳ１００〜ステップＳ１０４において、フレーム１が画像入力され、顔が検出され、正規化を経て目瞑り評価値が算出される。フレーム１では、人物は正面を向き、目を開いているので、目瞑り度は０と算出される。
【００２７】
続いて、ステップＳ１０５において、顔が寝顔であるかどうかが認識される。ステップＳ１０５では、まずはじめに、目開き判定部１４００において、目開き判定が行われる。ステップＳ１０４において算出された目瞑り評価値は０であるため、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ以下となり、目開きと判定される。そのため、これに続いて実行される、目開きフラグ制御部１４０１における目開きフラグ制御において、目開きフラグがＴＲＵＥとなる。そして、寝顔判定部１４０２において、寝顔判定処理が実行される。ステップＳ１０４において算出された目瞑り評価値は０であるため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅ以下となり、またこの時点で履歴は存在しないため、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝０となる。すなわち、寝顔と認識されない。
【００２８】
そして、ステップＳ１０６にて、寝顔認識処理終了が選択されないので、ステップＳ１００へ進み、次の画像であるフレーム２が入力され、処理される。フレーム２も、１と同様の画像のため、フレーム１と同じ目瞑り評価値算出結果となる。その為、この時点で、依然としてＥｙｅＣｌｏｓｅＣｏｕｎｔ＝０で、目開きフラグ＝ＴＲＵＥのため、寝顔と認識されていない。
【００２９】
続いて、フレーム３〜７の処理に至る。フレーム３は、下向き顔のため、ステップＳ１０４において、目瞑り評価値が２００と算出される。そのため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回り、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝１となる。同様に、フレーム４〜７においても、目瞑り評価値が２００と算出されつづけ、フレーム７においてＥｙｅＣｌｏｓｅＣｏｕｎｔが５に達し、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ以上という条件を満たしてしまう。しかし、目開きフラグがＴＲＵＥのため、寝顔と判定する条件は満たされず、寝顔でないと認識される。
【００３０】
次に、フレーム８の処理に至る。フレーム８では、人物Ａはフレームアウトしてしまうため、顔が検出されない。よって、ステップＳ１０５の目開きフラグ制御における同一顔追跡において、同一顔の追跡に失敗したと判定され、目開きフラグがＦＡＬＳＥとなる。また、上述の通り、目瞑り評価値算出結果の履歴も消去される。このため、ＥｙｅＣｌｏｓｅＣｏｕｎｔは０となる。
【００３１】
次に、フレーム９〜１３の処理に至る。フレーム９では、人物Ｂは目を瞑っているため、ステップＳ１０４において、目瞑り評価値が２５５と算出される。そのため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回り、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝１となる。同様に、フレーム１０〜１３においても、目瞑り評価値が２５５と算出されつづけ、フレーム１３においてＥｙｅＣｌｏｓｅＣｏｕｎｔが５に達し、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ以上という条件を満たす。同時に、目開き判定フラグはＦＡＬＳＥのままであるため、ステップＳ１０５において、寝顔と認識される。
【００３２】
以上説明した通り、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、同一顔追跡条件を満している間は、同一の人物を寝顔と認識されないように制御することによって、顔の向きが変化した場合でも寝顔の誤認識を防止し、適切に寝顔を認識することが可能となる。
【００３３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。例えば、前記同一顔追跡部の同一顔追跡手段について、実施例として、連続フレーム間で検出された顔のサイズと座標の変動を監視し、変動が所定値以下の場合、同一の顔の追跡に成功したと判定し、変動が所定値以上又は顔が検出されなかった場合、同一の顔の追跡に失敗したと判定する方法を上げた。しかし、前記変動を監視する対象は、一回前の顔検出結果としても良いし、所定フレーム周期毎に実行するとしても良い。これによって、変動監視の実行回数が減少し、システム負荷を減少させることが出来る。また、前記同一顔追跡手段について、顔特徴により個人を識別する顔識別手段を使用し、同一人物の顔が識別され続けている間、前記同一人物の顔の追跡が成功したと判定するとしてもよい。
【００３４】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００３５】
１０００  画像入力部
１００１  顔検出部
１００２  画像正規化部
１００３  目瞑り評価値算出部
１００４  寝顔認識部
【図１】
2013120954.tif 000003
【図２】
2013120954.tif 000004
【図３】
2013120954.tif 000005
【図４】
2013120954.tif 000006
【図５】
2013120954.tif 000007
【図６】
2013120954.tif 000008
【図７】
2013120954.tif 000009
【図８】
2013120954.tif 000010
【図９】
2013120954.tif 000011