(57)【要約】【課題】ユーザに特別な事前設定作業を強いることなく、ユーザの目の開閉状態を正確に検出し、目の開閉状態に基づく正確な機器操作制御を可能にすること。【解決手段】本発明の目開閉検出装置１２は、ユーザの顔を含む対象画像Ｏから、使用環境の明るさを考慮して、対象画像Ｏ中のユーザの目の存在部分を特定するための画像上の色空間の閾値を求める閾値設定手段１６と、閾値を用いて対象画像Ｏからユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づきユーザの目の開度を求める開度取得手段１７とを備えている。開度取得手段１７では、予め設定されたタイミングで取得されたユーザの任意の顔表情による対象画像Ｏから、ユーザの通常状態における目の開度である基準開度を求めて当該基準開度を所定のタイミング毎に自動更新するとともに、現時点で取得された対象画像Ｏから、ユーザの現時点での目の開度である現在開度を求める。【選択図】          図１
2017123038.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの顔を含む対象画像から、当該ユーザの目の開閉状態を検出する目開閉検出装置において、
前記対象画像から、使用環境の明るさを考慮して、前記対象画像中の前記ユーザの目の存在部分を特定するための画像上の色空間の閾値を求める閾値設定手段と、前記閾値を用いて、前記対象画像から前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき前記ユーザの目の開度を求める開度取得手段とを備え、
前記開度取得手段では、予め設定されたタイミングで取得された前記ユーザの任意の顔表情による前記対象画像から、前記ユーザの通常状態における目の開度である基準開度を求めて当該基準開度を所定のタイミング毎に自動更新するとともに、現時点で取得された前記対象画像から、前記ユーザの現時点での目の開度である現在開度を求めることを特徴とする目開閉検出装置。
【請求項２】
前記閾値設定手段では、所定タイミング毎に、取得した前記対象画像から前記閾値を新たに求めて更新することを特徴とする請求項１記載の目開閉検出装置。
【請求項３】
前記閾値設定手段は、前記対象画像から、人物の顔が存在する部分の画像領域である顔領域を抽出する顔領域抽出部と、当該顔領域抽出部で抽出された顔領域から、目の部分を中心とした所定範囲の画像領域である目領域を抽出する目領域抽出部と、当該目領域抽出部で抽出された目領域から前記閾値を導出する閾値導出部とを備え、
前記閾値導出部では、前記目領域における色空間の成分値の分布に基づいて、前記閾値を導出することを特徴とする請求項１記載の目開閉検出装置。
【請求項４】
前記閾値導出部では、前記目領域における前記成分値のうち最多となる値を特定し、当該値を中心とした所定範囲を前記閾値に設定することを特徴とする請求項３記載の目開閉検出装置。
【請求項５】
前記開度取得手段は、前記対象画像から、人物の顔が存在する部分の画像領域である顔領域を抽出する顔領域抽出部と、当該顔領域抽出部で抽出された顔領域から、目の部分を中心とした所定範囲の画像領域である目領域を抽出する目領域抽出部と、当該目領域抽出部で抽出された目領域から、後の画像処理に用いる画像処理領域を作成する画像処理領域作成部と、前記画像処理領域を画像処理して前記開度を求める開度導出部とを備え、
前記開度導出部では、前記顔領域から特定される顔の高さと、前記画像処理領域の画像処理により求めた前記目の縦方向の大きさとの比を前記開度として導出することを特徴とする請求項１記載の目開閉検出装置。
【請求項６】
前記開度取得手段で求められた前記基準開度と前記現在開度とから、前記ユーザの目の左右何れの開度を用いるかを選択する選択手段を更に備え、
前記選択手段では、所定の選択条件に基づき、左右何れかの目のうち認識率の良い方の目を選択することを特徴とする請求項１記載の目開閉検出装置。
【請求項７】
請求項１記載の目開閉検出装置と、当該目開閉検出装置によって検出された前記ユーザの目の開閉状態に基づいて、所定の機器への操作指令を行う操作指令装置とを備えた目の開閉による機器操作支援システムにおいて、
前記操作指令装置は、前記基準開度と前記現在開度との対比に基づき、前記機器への操作指令を行う指令手段を備えたことを特徴とする機器操作支援システム。
【請求項８】
前記目開閉検出装置は、前記操作指令装置での操作指令に際し、前記ユーザの目の左右何れの開度を用いるかを選択する選択手段を更に備え、
前記選択手段では、前記ユーザの左右両目について、前記基準開度と前記現在開度の差である目の開度の変化に基づき認識率の良い方の目を決定し、
前記指令手段では、前記選択手段で決定された方の目の前記基準開度及び前記現在開度を用いて前記操作指令を行うことを特徴とする請求項７記載の機器操作支援システム。
【請求項９】
前記操作指令装置は、目の開閉状態に応じた前記機器への操作指令を行う際に前記ユーザが入力操作する入力手段を更に備え、当該入力手段での入力操作をトリガーとして、前記機器への操作指令のための各処理を行うことを特徴とする請求項７又は８記載の機器操作支援システム。
【請求項１０】
ユーザの顔を含む対象画像から、当該ユーザの目の開閉状態を検出する目開閉検出装置を構成するコンピュータに適用されるプログラムであって、
前記対象画像から、使用環境の明るさを考慮して、前記画像中の前記ユーザの目の存在部分を特定するための画像上の色空間の閾値を求めるステップと、
予め設定されたタイミングで取得された前記ユーザの任意の顔表情による前記対象画像から、前記閾値を用いて前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき、前記ユーザの通常状態における目の開度である基準開度を求め、当該基準開度を所定タイミング毎に自動更新するステップと、
現時点で取得された前記対象画像から、前記閾値を用いて前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき、前記ユーザの現時点での目の開度である現在開度を求めるステップとを実行させるための目開閉検出装置のプログラム。
【請求項１１】
ユーザの顔を含む対象画像から、当該ユーザの目の開閉状態を検出し、当該開閉状態に基づいて所定の機器への操作指令を行うシステムを構成するコンピュータに適用されるプログラムであって、
前記対象画像から、使用環境の明るさを考慮して、前記画像中の前記ユーザの目の存在部分を特定するための画像内の色空間上の閾値を求めるステップと、
予め設定されたタイミングで取得された前記ユーザの任意の顔表情による前記対象画像から、前記閾値を用いて前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき、前記ユーザの通常状態における目の開度である基準開度を求め、当該基準開度を所定タイミング毎に自動更新するステップと、
現時点で取得された前記対象画像から、前記閾値を用いて前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき、前記ユーザの現時点での目の開度である現在開度を求めるステップと、
前記ユーザの左右両目について、前記基準開度と前記現在開度の差である目の開度の変化に基づき、認識率が良い方の目を決定するステップと、
認識率が良いと決定された方の目の前記基準開度及び前記現在開度の対比に基づき、前記操作指令を行うステップとを実行させるための機器操作支援システムのプログラム。
【請求項１２】
所定の入力手段による前記ユーザの入力操作がなされているときのみ、前記基準開度及び前記現在開度を求めた上で、認識率が良い方の目を決定して前記操作指令を行う前記各ステップを実行させることを特徴とする請求項１１記載の機器操作支援システムのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目開閉検出装置、機器操作支援システム、及びプログラムに係り、更に詳しくは、機器を操作するユーザの目の開閉状態を検出する目開閉検出装置、この装置により検出された目の開閉状態により機器の操作支援を行う機器操作支援システム、及び当該装置及びシステムに適用されるコンピュータプログラムに関する。
【背景技術】
【０００２】
ユーザがパーソナルコンピュータ等の画面操作や画面入力をする際には、自身の手でマウス、キーボード、タッチパネル等の入力装置を操作することにより行われる。しかしながら、ユーザ自身の手が他の作業で塞がっている場合や、当該手が不自由であるような場合には、このような入力装置の手操作に制限が生じる。また、ＣＡＤ設計やゲーム操作等、作業の効率化、高速化のために少しでも多くの手が必要となる状況においては、両手以外の操作が望まれている。
【０００３】
そこで、近時において、ユーザの目の開閉動作を用いて、コンピュータ等の画面操作を行う技術が種々出現している。例えば、特許文献１には、ユーザの目の開き具合に基づき表示部の表示を制御する情報処理装置が開示されている。この情報処理装置では、カメラで撮像されたユーザの画像から、画素の輝度等の特徴点の抽出により、画像中のユーザの目領域を特定して目の開き具合を求め、当該開き具合に応じてディスプレイの表示を制御するようになっている。また、特許文献２には、カメラによって撮像されたユーザの顔を画像から、目の虹彩部分の面積を求め、所定の閾値に基づいてコンピュータに所定の入力処理を行う入力装置が開示されている。更に、特許文献３には、カメラで撮像したユーザの目及び眉の特徴点から目領域を抽出した上で目のサイズを求め、当該サイズから予め記憶された状態判断テーブルを使って目の状態の変化を判断し、当該変化に基づいてディスプレイの表示状態を制御するデータ処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−３６４７号公報
【特許文献２】特開２００６−５９１４７号公報
【特許文献３】特開２００９−２９４７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記特許文献１の情報処理装置にあっては、ユーザの使用前に、画面操作制御を行う際の判断基準を設定するための事前作業をユーザに強いることになり、ユーザにとって面倒であり負担となる。すなわち、特許文献１の情報処理装置では、ユーザの目の開き具合の閾値を設定するために、ユーザに対し、事前設定のために、同一の目の大きさを所定時間保持して貰い、当該状態をカメラで撮像するという特別な作業が必要になり、ユーザにとって面倒である。また、使用中に、ユーザの喜怒哀楽等の感情変化や目の疲労等により、ユーザの目の動作意図とは関係無く目の開閉状態が変化する場合があり、この場合、誤作動を招来し、ユーザの意図する画面操作が正確に行えなくなる。
【０００６】
前記特許文献２の入力装置にあっては、撮像されたユーザの虹彩部分を一律のテンプレートを使って検出し、虹彩部分の面積を求めて一律の閾値により開閉状態を判断して画面操作がなされるため、ユーザの個人差や、ユーザの状態、環境の変化に応じた正確な画面操作が難しい。すなわち、仮に、ユーザが目を通常状態にしているときと目を意識的に細めたときとの間で、画面操作を変化させるような場合、ユーザの疲労度や操作環境の明るさ等により、目を通常状態にしているとユーザが思っていても、撮像画像内の虹彩の面積が変化していることもあり、ユーザの意図しない画面操作がなされてしまう場合がある。また、ここでの閾値は、ユーザの個人差を考慮しない一律の値であることから、ユーザの目のサイズ等の個人差により、意図しない画像操作がなされる虞もある。
【０００７】
前記特許文献３のデータ処理装置にあっては、一律の状態判断テーブルに基づいてユーザの目の状態変化を判断するため、前記特許文献１及び２の装置同様、ユーザの個人差や、ユーザの状態、環境の変化に応じた正確な画面操作が難しい。
【０００８】
本発明は、以上のような課題を解決するために案出されたものであり、その目的は、ユーザに特別な事前設定作業を強いることなく、各ユーザの目の開閉状態の個人差、疲労度等の状態の変化、使用環境における明るさを考慮し、ユーザの目の開閉状態を正確に検出し、目の開閉状態に基づく正確な機器操作制御に寄与する目開閉検出装置、機器操作支援システム、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
前記目的を達成するため、本発明は、主として、ユーザの顔を含む対象画像から、当該ユーザの目の開閉状態を検出する目開閉検出装置において、前記対象画像から、使用環境の明るさを考慮して、前記対象画像中の前記ユーザの目の存在部分を特定するための画像上の色空間の閾値を求める閾値設定手段と、前記閾値を用いて、前記対象画像から前記ユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づき前記ユーザの目の開度を求める開度取得手段とを備え、前記開度取得手段では、予め設定されたタイミングで取得された前記ユーザの任意の顔表情による前記対象画像から、前記ユーザの通常状態における目の開度である基準開度を求めて当該基準開度を所定のタイミング毎に自動更新するとともに、現時点で取得された前記対象画像から、前記ユーザの現時点での目の開度である現在開度を求める、という構成を採っている。
【発明の効果】
【００１０】
本発明によれば、閾値設定手段により、その際の環境の明るさが考慮された画像上の色空間の閾値が自動的に求められる。従って、ユーザの顔を含む対象画像を取得する度に、最新の閾値を使って、当該対象画像中の目の存在部位を正確に特定することができ、開度取得手段により、当該使用環境中の明るさを考慮した目の開度を正確に求めることができる。また、基準開度は、所定のタイミングで取得されたユーザの任意の顔表情による前記対象画像から求められるため、ユーザに対して、特定の顔表情や目の開閉状態でのカメラ撮影を強いることなく、事前設定用の特別な人為的作業が不要になる。更に、基準開度は、所定のタイミングで最新の状態に更新されるため、ユーザの疲労や感情の変化等による基準開度の変更を柔軟に且つ自動的に行うことができる。従って、本発明では、ユーザの特別な事前設定作業を不要とし、各ユーザの目の開閉状態の個人差、疲労度、感情変化等の顔状態の相違や変化や、使用環境の明るさを考慮して、機器操作時におけるユーザの目の開閉状態を検出することができ、目の開閉状態に基づく機器操作制御を正確且つ簡便に行うことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る機器操作支援システムの構成を表すブロック図。
【図２】閾値設定手段での処理手順を説明するためのフローチャート。
【図３】（Ａ）〜（Ｄ）は、閾値設定手段での処理を説明するための概念図である。
【図４】開度取得手段で基準開度を求める際の処理手順を説明するためのフローチャート。
【図５】（Ａ）〜（Ｆ）は、開度取得手段での処理を説明するための概念図である。
【図６】前記機器操作支援システムでの全体的な処理手順を説明するためのフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１３】
図１には、本実施形態に係る機器操作支援システムの構成を表すブロック図が示されている。この図において、前記機器操作支援システム１０は、ユーザの手を使わずに当該ユーザの目の開閉により所定の機器への操作支援を行うためのシステムである。この機器操作支援システム１０は、ユーザの顔を含む対象画像を取得するカメラ１１と、カメラ１１で取得された対象画像から、ユーザの目の開閉状態を検出する目開閉検出装置１２と、目開閉検出装置１２によって検出されたユーザの目の開閉状態に基づいて、前記機器への操作指令を行う操作指令装置１４とを備えて構成されている。
【００１４】
本実施形態の機器操作支援システム１０は、機器としてパーソナルコンピュータについての画面操作を支援するようになっており、一例として、コンピュータを活用して設計図を作成するＣＡＤシステムへの適用を想定している。このＣＡＤシステムでは、カメラ１１で撮像されたユーザの顔を含む対象画像から、目を広げる、細める等のユーザの目の動作と、ユーザが意識して目を動作させていない通常の状態とを自動的に対比し、ディスプレイＤに表示された画像の拡大縮小等の画面操作を自動的に行うようになっている。なお、本発明の機器操作支援システム１０で操作対象となる機器としては、コンピュータが搭載されたものであれば何でも良い。
【００１５】
前記カメラ１１は、前記対象画像として静止画像や動画像を撮像できる限りにおいて、種々のタイプのものを採用することができ、本実施形態では、ディスプレイＤに付設されたＷｅｂカメラが採用され、ユーザが、ディスプレイＤに対面してＣＡＤシステムを使用している際に、ユーザの顔を含む対象画像を取得できるように配置構成されている。
【００１６】
前記目開閉検出装置１２及び前記操作指令装置１４は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。
【００１７】
前記目開閉検出装置１２は、カメラ１１で取得した対象画像に対する画像処理を行うことにより、ユーザの目の開度を自動的に検出するようになっている。この目開閉検出装置１２は、使用環境の明るさを考慮して、前記対象画像から、ユーザの目の開閉状態を特定するための画像上の色空間の値の範囲である閾値を求める閾値設定手段１６と、前記閾値を利用し、対象画像からユーザの目の白黒部分の領域を特定し、当該白黒部分の形状に基づきユーザの目の開度を求める開度取得手段１７と、操作指令装置１４による操作指令に際し、ユーザの左右何れの目の開閉状態を利用するかを選択する選択手段２０とを備えている。
【００１８】
前記閾値設定手段１６は、対象画像から、人物の顔が存在する部分の画像領域である顔領域を抽出する顔領域抽出部２２と、顔領域抽出部２２で抽出された顔領域から、目の部分を中心とした所定範囲の画像領域である目領域を抽出する目領域抽出部２３と、目領域抽出部２３で抽出された目領域から、所定の画像処理により前記閾値を求める閾値導出部２４とを備えている。
【００１９】
この閾値設定手段１６で行われる処理手順について、図２及び図３を用いながら以下に説明する。
【００２０】
先ず、カメラ１１によってユーザの顔を含む対象画像が取得された上で（ステップＳ１０１）、前記顔領域抽出部２２において次の処理が行われる。
【００２１】
先ず、Ｈａａｒ−ｌｉｋｅ特徴量を用いた手法等、画像内で顔の部分を特定するための公知の画像処理手法を用い、図３（Ａ）に示されるように、取得された対象画像Ｏから顔領域Ｆ（同図中２点鎖線部分）が抽出される（ステップＳ１０２）。なお、カメラ１１で複数人が撮像されて、顔領域Ｆが複数抽出された場合、これら顔領域Ｆの中で、画像中縦方向となる顔領域Ｆの高さＨが最大となる顔領域Ｆの画像が選択されて以降の処理が行われる。つまり、複数人がディスプレイＤに対面した状態では、カメラ１１に最も近接した人物が、実際の画面操作者と判断し、その人物の目の開閉状態を検出できるようになっている。なお、顔領域抽出部２２での処理は、処理時間短縮のため、カメラ１１で取得された画像を縮小して行われる。
【００２２】
次に、前記目領域抽出部２３において、誤検出防止と処理時間短縮のために、先ず、顔画像Ｆのうち、少なくとも目の部分が含まれている所定範囲の画像領域である仮領域Ｐ（図３（Ｂ）中２点鎖線部分）が特定され（ステップＳ１０３）、当該仮領域Ｐに対して以降の処理が行われる。ここでは、人物の顔領域Ｆのうち、経験上、どの人物についても、必ず目を含む広めの範囲となる顔領域Ｆ中の画像中の位置が予め記憶されており、当該記憶された位置に基づいて、顔領域Ｆの一部が仮領域Ｐとして切り出される。
【００２３】
そして、仮領域Ｐに対して、Ｈａａｒ−ｌｉｋｅ特徴量を用いた手法等、画像内で目の部分を特定するための公知の画像処理手法を用い、目領域Ｅ（図３（Ｃ）中２点鎖線部分）が抽出される（ステップＳ１０４）。この目領域Ｅは、前記特徴量に基づいて特定された目の部分と、その一定範囲のピクセル部分を含む画像となっている。なお、取得された顔の画像が、目を一定以上細めたものである場合、当該画像処理手法では目領域Ｅの抽出ができないが、このように目領域Ｆが抽出不能とされた場合には、ユーザがまばたきをしているときや、目を細めているときと判断され、閾値設定手段１６での以降の処理には用いられない。
【００２４】
目領域Ｅの抽出後、前記閾値導出部２４では、白目と黒目を合わせた領域である目の白黒部分に該当するＹＣｂＣｒ色空間におけるＣｂ成分とＣｒ成分の各値の範囲が、後述の処理に用いる閾値として求められる。すなわち、カメラ１１での撮像時の環境中の明るさを考慮した場合に、対象画像Ｏから正確にユーザの目の白黒部分を特定するには、前記明るさに対応して変化する前記閾値を利用する必要があり、ここでは、カメラ１１での撮像時の明るさにおける閾値を求められ、後述するように、開度取得手段１７において、当該閾値を利用して対象画像Ｏ内での目の白黒部分の検出処理が行われる。
【００２５】
当該閾値導出部２４での処理として、先ず、肌色の部分を極力含まない白黒のみの画像部分を取得するために、目領域Ｅを目の白黒部分の一部に絞り込んだ画像領域である対象領域Ｎ（図３（Ｄ）中２点鎖線部分）が、目領域Ｅから切り出される（ステップＳ１０５）。具体的にここでは、目領域Ｅの画像中心に目の白黒部分が必ず存在していると考えられることから、白黒部分のみからなる目領域Ｅの中心の所定範囲が切り出され、対象領域Ｎが得られる。
【００２６】
次に、対象領域Ｎに対し、メディアンフィルタ等の公知の手段を用い、画像平滑化処理が行われ（ステップＳ１０６）、その後、公知の色空間変換手法を用いて、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換される（ステップＳ１０７）。そして、対象領域Ｎの各ピクセルにおけるＣｂ成分とＣｒ成分の各値につき、ヒストグラムが作成され（ステップＳ１０８）、Ｃｂ成分とＣｒ成分それぞれについて、成分値毎の分布が特定される。つまり、ここでのヒストグラムは、Ｃｂ成分とＣｒ成分毎に作成され、特に限定されるものではないが、縦軸をピクセル数とし、横軸を各成分の値としている。その結果、Ｃｂ成分とＣｒ成分それぞれについて、最もピクセル数の多かった最多成分値が特定される（ステップＳ１０９）。
【００２７】
以上のステップＳ１０１〜Ｓ１０９の処理は、複数フレームの対象画像Ｏについて繰り返し行われ、特に限定されるものではないが、本実施形態では、８フレーム分の対象画像Ｏについて行われる。
【００２８】
そして、それぞれの対象画像Ｏについて得られたＣｂ成分とＣｒ成分それぞれの前記最多成分値の平均値が求められ、当該平均値を中心とした所定範囲の値が、白若しくは黒が存在する白黒部分に該当するＹＣｂＣｒ色空間の範囲であると特定され、この範囲が、後の処理で用いられる閾値として導出される（ステップＳ１１０）。つまり、ここでは、閾値として、例えば、Ｃｂ成分が、前記平均値を中心とした値ａから値ｂの範囲とされ、Ｃｒ成分が、前記平均値を中心とした値ｃから値ｄの範囲とされる。
【００２９】
なお、このステップＳ１１０での処理は、色空間の最多成分値の平均値を中心とした前後の許容範囲内を閾値として決定しているが、本発明はこれに限らず、前記許容範囲を何パターンか設定し、先ずは、各パターンでの閾値を基に以降の処理を行った結果、ノイズの除去処理等に基づき、経時的に、最も検出状態が良いと判定された閾値に絞り込む処理を更に採用することもできる。
【００３０】
閾値設定手段１６での以上の閾値設定処理は、ユーザの左右両側の目それぞれについて行われ、左右の目それぞれに対して閾値が設定される。また、当該閾値設定処理は、環境の明るさの変更等に対応するため、一定時間等、所定のタイミング毎に繰り返し行われ、都度求められた新たな閾値に自動更新され、最新値の閾値が自動設定されることになる。
【００３１】
前記開度取得手段１７は、図１に示されるように、前記対象画像から、閾値設定手段１６の顔領域抽出部２２と同一の手法で前記顔領域を抽出する顔領域抽出部２７と、顔領域抽出部２７で抽出された顔領域から、閾値設定手段１６の目領域抽出部２３と同一の手法で前記目領域を抽出する目領域抽出部２８と、目領域抽出部２８で抽出された目領域から所定範囲を切り取って加工することで、後の画像処理に用いる画像処理領域を作成する画像処理領域作成部２９と、画像処理領域を画像処理して目の開度を求める開度導出部３０とを備えている。
【００３２】
この開度取得手段１７では、予め設定されたタイミングで取得されたユーザの任意の顔表情による前記対象画像から、ユーザの通常状態における目の開度である基準開度を求めて当該基準開度を所定のタイミング毎に自動更新するとともに、現時点で取得された前記対象画像から、ユーザの現時点での目の開度である現在開度を求めるようになっている。
【００３３】
先ず、基準開度を求める際の開度取得手段１７での処理手順について、図４及び図５を用いながら以下説明する。
【００３４】
先ず、カメラ１１によってユーザの顔を含む対象画像Ｏが取得され（ステップＳ２０１）、当該対象画像Ｏから、顔領域抽出部２７において、閾値設定手段１６での処理と同様に、顔領域Ｆ（図５（Ａ）中２点鎖線部分）が抽出される（ステップＳ２０２）。そして、抽出された顔領域Ｆから、目領域抽出部２８において、閾値設定手段１６での処理と同様に、仮領域Ｐ（図５（Ｂ）中２点鎖線部分）が特定された上で（ステップＳ２０３）、目領域Ｅ（図５（Ｃ）中２点鎖線部分参照）が抽出される（ステップＳ２０４）。なお、以上の処理は、前述のステップＳ１０１〜Ｓ１０４と同一の処理であるため、ここでは、各処理についての詳細な説明を省略する。
【００３５】
その後、画像処理領域作成部２９において、次の処理が行われる。すなわち、Ｈａａｒ−ｌｉｋｅ特徴量を用いた目領域抽出部２８での目領域Ｅの抽出では、ユーザの目尻が切れるため、前記仮領域Ｐ中で目領域Ｅの範囲を横方向に広げた画像である拡張目領域Ｅ１（図５（Ｃ）中破線部分）が設定される（ステップＳ２０５）。そして、ユーザが目を細めた際等における目の白黒部分の領域形状の検出率を高めるため、拡張目領域Ｅ１が縦方向に予め設定された倍率で拡大され、画像処理領域Ｔ（図５（Ｄ）参照）が作成される（ステップＳ２０６）。なお、特に限定されるものではないが、本実施形態では、拡張目領域Ｅ１が縦方向に２倍（２００％）に拡大されて画像処理領域Ｔが作成される。また、ここでは、当該拡大処理を省略し、前記拡張目領域Ｅ１をそのまま前記画像処理領域Ｔとしても良い。
【００３６】
次に、前記開度導出部３０では、画像処理領域Ｔに対して以降の画像処理を行った上で、ユーザの通常状態での目の開度となる基準開度が求められる。
【００３７】
先ず、作成された画像処理領域Ｔに対し、メディアンフィルタ等の公知の手段を用い、画像平滑化処理が行われ（ステップＳ２０７）、その後、公知の色空間変換手法を用いて、ＲＧＢ色空間からＹＣｂＣｒ色空間に変換される（ステップＳ２０８）。
【００３８】
その後、前記閾値設定手段１６で設定された閾値により、ＹＣｂＣｒ色空間に変換された画像処理領域Ｔ中の白又は黒からなる部分である白黒部分の画像Ｗ（図５（Ｅ）中白抜き部分）が抽出される（ステップＳ２０９）。このとき、当該画像Ｗとして、眉毛等、目の白黒部分以外も抽出され得るため、抽出された画像Ｗに対して、膨張及び収縮を行うノイズ処理用の公知の画像処理が行われ、細かいノイズが除去される（ステップＳ２１０）。
【００３９】
更に、ノイズ除去後の白黒部分の画像Ｗに対し、公知の楕円フィッティング等の手法により、図５（Ｆ）に示されるように、当該画像Ｗの輪郭（同図中破線部分）を特定してから、当該輪郭の楕円近似（同図中実線部分）が行われ、得られた楕円の短径の長さＬが特定された上で、当該短径の長さＬを目の縦方向の大きさとし、当該目の縦方向の大きさＬと、顔領域Ｆから特定された顔の高さＨ（図５（Ａ）参照）との比、すなわち、Ｌ／Ｈが目の開度として導出される（ステップＳ２１１）。
【００４０】
以上の基準開度の取得処理は、後述する操作指令装置１４でのユーザの入力操作直後に取得された１フレーム又は複数フレーム（例えば、１０フレーム程度）の対象画像Ｏについて行われ、或いは、前記入力操作直後の複数フレームの対象画像Ｏについて行われる。ここで、当該処理を複数フレームの対象画像Ｏについて行う場合には、そのうちの最大の頻度として現れる値が基準開度として決定される（ステップＳ２１２、Ｓ２１３）。また、決定された基準開度は、新たに前記入力操作がなされる都度、自動更新される。
【００４１】
また、開度取得手段１７では、都度取得された現時点の対象画像Ｏについて、前述の基準開度を求める処理と実質的に同一の処理により、ユーザの現時点での目の開度である現在開度が求められる。すなわち、ここでの現在開度の取得処理は、前述のステップＳ２０１からＳ２１１までの処理と同一であり、各処理についての詳細な説明を省略する。
【００４２】
なお、以上の開度取得手段１７での各処理は、ユーザの左右両側の目それぞれについて行われる。
【００４３】
前記選択手段２０では、開度取得手段１７で求められた基準開度及び現在開度から、所定の選択条件に基づき、左右何れかの目のうち、認識率の良い方の目が決定されるようになっており、当該決定された側の目の開度の変化状態に応じて、操作指令装置１４による操作指令が行われる。ここでの選択条件としては、種々の条件を採用できるが、例えば、基準開度と現在開度との差である目の開度の通常に対する変化量が大きい方、つまり、目を大きくし易い側の目が選択される。その他の選択条件として、例えば、所定時間内で現在開度の変化が安定している側の目が選択され、或いは、所定時間内で連続的に現在開度が変化している側の目が選択され、或いは、誤検出が少ないと判断される側の目が選択される。
【００４４】
この選択手段２０により、ユーザの目の開き易い側、元々目が大きい側等、個人差によって異なる目の開閉状態が考慮され、ユーザの目の開閉意志に沿った誤作動の少ない後述の機器操作が可能になる。
【００４５】
前記操作指令装置１４は、図１に示されるように、目の開閉状態に応じた機器への操作を許容するスイッチとしてユーザが入力操作する入力手段３３と、入力手段３３での入力操作をトリガーとして、基準開度と現在開度の差である目の開度の変化により、ユーザの操作意思を自動的に判定して機器への操作指令を行う指令手段３４とを備えている。
【００４６】
前記入力手段３３としては、コンピュータ等の機器に対する画面操作や画面入力をする際に用いられるマウス、タッチパネル、タッチペン、アイトラッキングシステム等の公知の入力装置の操作を併用することで、前記トリガーとなる入力信号を生成できるようになっている。
【００４７】
前記指令手段３４では、例えば、基準開度に対する現在開度の差分となる変化量により、一定時間目を通常の状態よりも細めた、或いは、通常の状態よりも大きくしたと判定されたときに、変化量に応じてディスプレイＤ内の画像を拡大或いは縮小させる等の画面操作が機器に指令される。つまり、ここでは、例えば、基準開度よりも所定値以上の現在開度、若しくは、基準開度よりも所定値以下の現在開度が、所定時間内に複数回連続で検出された場合に、一定時間に亘ってユーザが目の大きさを意図的に変化させたと判断される。また、連続する各フレーム間において前記変化量を求め、当該変化量が、一定時間継続して増大した状態、若しくは、一定時間継続して減少した状態になったときに、当該増大状態若しくは減少状態に対応した画面操作を指令するようにしても良い。更に、ある時間内に、基準開度を超える現在開度が所定回出現した場合に、若しくは、基準開度未満の現在開度が所定回出現した場合に、所望の画面操作を指令することもできる。
【００４８】
次に、前記機器操作支援システム１０による機器の操作処理手順について、図６のフローチャートを用いながら説明する。
【００４９】
前記機器操作支援システム１０のプログラム開始後に、目開閉検出装置１２の閾値設定手段１６において、明るさを考慮した前記閾値を設定するキャリブレーション処理が行われる（ステップＳ３０１）。
【００５０】
その後、ユーザによる入力手段３３での入力操作をトリガーとし、以降の手順によって目の開閉状態を利用した機器の操作が可能になる（ステップＳ３０２）。入力手段３３での入力操作としては、ユーザによる所定の操作状態の継続を例示できる。本実施形態では、トリガーとなる入力操作として、例えば、マウスのクリック動作の継続、タッチパネルの所定部位の接触状態の継続、タッチペンでの画面の所定部位の接触状態の継続、アイトラッキングシステムにおける同一部位の直視の継続等が挙げられ、当該入力操作が行われているときのみ、目の開閉状態を利用したディスプレイＤの画面操作が可能になっている。
【００５１】
前記トリガーとなる入力操作がなされると、目開閉検出装置１２の開度取得手段１７により、ユーザの通常状態の目の開度である基準開度が求められる（ステップＳ３０３）とともに、ユーザの現在の目の開度である現在開度が求められる（ステップＳ３０４）。
【００５２】
次に、操作指令装置１４の指令手段３４において、基準開度と現在開度の対比が行われ、通常の状態に対して目の開度が変化したか、すなわち、基準開度に対して現在開度が、所定値以上変化したか、また、所定値以下変化したかについて判定される（ステップＳ３０５）。その結果、左右何れかの目が、通常の状態に対して目の開度が所定値以上変化したと判定されたら、目開閉検出装置１２の選択手段２０において、認識率の良い方の目が選択され、当該側の目に関する情報が以降の処理で使用される（ステップＳ３０６）。そして、当該選択された側の目における基準開度に対する現在開度の変化量に基づき、指令手段３４によって機器に対して操作指令され（ステップＳ３０７）、ユーザの意図したディスプレイＤの画面操作がなされる。その後、入力手段３３での入力状態が継続されていれば、引き続き、目の開閉による画面操作が行われることになり、入力手段３３での入力状態が終了した場合には、目の開閉による画面操作が停止することになる（ステップＳ３０８）。
【００５３】
なお、以上の機器操作支援システム１０の処理手順において、選択手段２０での認識率の良い方の目の選択処理（ステップＳ３０６）は、入力手段３３による入力操作に関係無く、閾値設定用のキャリブレーション処理（ステップＳ３０１）の直後のタイミングで所定時間毎に行っても良い。
【００５４】
また、前記実施形態では、入力手段３３による入力操作をトリガーとして、目の開閉による機器の操作を行えるようにしたが、本発明はこれに限定されるものではなく、逐次取得したカメラ１１の撮像画像から、前述の手順により、目の開閉による機器の操作を常時行えるように構成しても良い。
【００５５】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【符号の説明】
【００５６】
１０  機器操作支援システム
１２  目開閉検出装置
１４  操作指令装置
１６  閾値設定手段
１７  開度取得手段
２０  選択手段
２２  顔領域抽出部
２３  目領域抽出部
２４  閾値導出部
２７  顔領域抽出部
２８  目領域抽出部
２９  画像処理領域作成部
３０  開度導出部
３３  入力手段
３４  指令手段
Ｅ  目領域
Ｆ  顔領域
Ｏ  対象画像
Ｔ  画像処理領域
【図１】
2017123038.tif 000003
【図２】
2017123038.tif 000004
【図３】
2017123038.tif 000005
【図４】
2017123038.tif 000006
【図５】
2017123038.tif 000007
【図６】
2017123038.tif 000008