(57)【要約】 【課題】目の周辺のしわやたるみなどで明度の変化があっても、まばたきの検出に誤りを生じず、また、意識的なまばたきと無意識のまばたきの判別をして、意識的なまばたきのみを検出する。【解決手段】デジタルビデオカメラで取得した目および目の周辺の画像の、水平方向に並んだ画素の明度の積分を計算して、その値をもとに、まばたきを検出する。【選択図】  図１
2015045943.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオカメラで取得した目および目の周辺の画像の、水平方向に並んだ画素の明度の積分を計算して、その値をもとに、まばたきを検出することを特徴とするまばたき検出装置。
【請求項２】
意識的なまばたきの場合と無意識のまばたきの場合では、デジタルビデオカメラで取得した目および目の周辺の画像が異なることを用いて、意識的なまばたきと無意識のまばたきを判別し、意識的なまばたきのみを検出することを特徴とするまばたき検出装置。
【請求項３】
デジタルビデオカメラで取得した目および目の周辺の画像の、水平方向に並んだ画素の明度の積分を計算し、その値をもとに、意識的なまばたきの場合と無意識のまばたきの場合の、目および目の周辺の画像の違いを認識して、意識的なまばたきと無意識のまばたきを判別し、意識的なまばたきのみを検出することを特徴とするまばたき検出装置。
【請求項４】
無意識のまばたきにより目を閉じたときに、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が直線状に続いていても、その直線が水平方向になっていない場合、水平方向になるよう画像を回転させてから、デジタルビデオカメラで取得した目および目の周辺の画像の、水平方向に並んだ画素の明度の積分を計算し、その値をもとに、意識的なまばたきの場合と無意識のまばたきの場合の、目および目の周辺の画像の違いを認識して、意識的なまばたきと無意識のまばたきを判別し、意識的なまばたきのみを検出することを特徴とするまばたき検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を用いてまばたきを検出する装置に関する。
【背景技術】
【０００２】
従来から、体がほとんど動かなくなり、しゃべることあるいは顔や手を動かすことができなくなった、重度の肢体不自由者が、意思を伝えるための装置として、例えば、下記特許文献１に示されるような、意思伝達装置があった．意思伝達装置は外観上の本体は一般的なパーソナルコンピュータで、画面に表示された文字や単語の上をカーソルが一定時間間隔で順番に移動していき、入力したい文字や単語の場所にカーソルが来た時に、操作スイッチを操作することでその文字や単語を選択し、この操作を繰り返すことで言葉を綴り、意思を伝える装置である。 
【０００３】
しかし、最重度の肢体不自由者のなかには指をわずかに動かしたり、呼吸したりすることすらできず、日常的に人工呼吸器を装着している人もいる。こうした人たちでも、まばたきは可能な人がいるため、まばたきを検出してスイッチ操作の代替として用いることにより、意思を伝えることができるようになる。そのため、例えば、下記非特許文献１に示されるような、メガネにセンサを取り付けてまばたきを検出し、操作スイッチの代替とする方法が提案されていた。
【０００４】
ただし、この方法には、センサを取り付けたメガネが重く、使用者によっては負担を感じ、あるいはセンサからのびている電線が邪魔になるという問題があった。
こうしたわずらわしさを避ける方法として、例えば、下記非特許文献２に示されるような、ビデオカメラで撮影した顔画像を処理してまばたきを検出する方法も提案されている。この方法は、デジタルビデオカメラで目および目の周辺の画像を取得し、上下のまぶたのふちの間の距離を計算、この距離から目の開閉を判定し、その結果をもとにまばたきを検出する、という方法である。
【０００５】
また、上下のまぶたのふちの間の距離を求める方法としては、例えば、下記非特許文献３に示されるような、目および目の周辺の画像の垂直方向の明度の微分を求めてまぶたのふちを検出して、上下のまぶたのふちの間の距離を計算する方法が従来からあった．けれども、この方法は微分を用いているため、目の周辺のしわやたるみなどで明度の変化があると、まぶたのふちと誤認して、目の開閉の判定に誤りを生じ、その結果、まばたきの検出を誤るという問題があった。
【０００６】
また、まばたきを検出して疑似的なスイッチ操作を行う場合、意識的なまばたきと無意識のまばたきの判別が必要になる。なぜなら、無意識に行っているまばたきまで、スイッチ操作を行うための意識的なまばたきであると判定してしまうと、誤動作が多発し、意思伝達装置の使用者に大きなストレスを与えてしまうからである。
【０００７】
意識的なまばたきと無意識のまばたきとを判別する方法としては、例えば、非特許文献１、特許文献２に示されるような、目を閉じている時間の長さの相違で判別する方法があった。
【０００８】
しかし、非特許文献２によれば、こうした目を閉じている時間は個人差が大きく、意識的なまばたきと無意識のまばたきとを判別することに使うことは難しいとされている。そのため、非特許文献２では、目を閉じている時間や目の開閉速度などから、まばたきが意識的か無意識的かを総合的に判断する方法を提案している。
【０００９】
けれども、この方法でも、目を閉じている時間や目の開閉速度は使用者により異なるため、使用者ごとに異なる判断基準を設ける必要があった。また、使用者が同一でも、使用者の体調の変化などにより判断基準を変える必要が生じることがあり、使い勝手が悪かった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許公開２００１−１１７７００
【特許文献２】特許公開平成０７−２９５０８５
【非特許文献】
【００１１】
【非特許文献１】矢島  大輔、林 豊彦、渡辺  哲也、前田  義信、若林  佑子、渡辺 諭、阿部 晃、山口俊光、“反射型フォトセンサ列を用いた汎用シングルスイッチＶＳＮ／１による意識的なまばたきの検出法”，電子情報通信学会技術報告、ＷＩＴ２００９−５０，２００９年
【非特許文献２】田邊  喜一、“入力インタフェースのための瞬目に関する基礎的検討”、電子情報通信学会論文誌、Ｄ，Ｖｏｌ．Ｊ９４−Ｄ  Ｎｏ．２  ２０１１年
【非特許文献３】足立  和正、小林  史和、井東  道昌、山崎  初夫、中野  倫明、津川  定之、山本  新、“ドライバの運転状態モニタ機能をもつドライビングシミュレータ“、電子情報通信学会論文誌、Ｄ−Ｉ，Ｖｏｌ．Ｊ８８−Ｄ−Ｉ  Ｎｏ．２  ２００５年
【発明の概要】
【発明が解決しようとする課題】
【００１２】
解決しようとする問題点は、目の周辺にしわやたるみなどがあると、まばたきの検出に誤りを生じるという問題点と、意識的なまばたきと無意識のまばたきの判別をするためには、使用者ごとに設定を変える必要があり、使い勝手が悪いという問題点である。
【課題を解決するための手段】
【００１３】
本発明は、デジタルビデオカメラで取得した目および目の周辺の画像に対し、積分処理を行い、その結果をもとにまばたきを検出することをもっとも主要な特徴とする。
【発明の効果】
【００１４】
本発明のまばたき検出方法は、積分処理をおこなっているため、目の周辺のしわやたるみなどで明度の変化があっても、目の開閉の判定に誤りを生じにくく、まばたきの検出を誤ることも少ない。また、意識的なまばたきと無意識のまばたきとの画像のわずかな違いを的確に判定してまばたきを検出できるため、使用者ごとに設定を変えることなく、意識的なまばたきのみを検出できるので、使い勝手が良い。
【図面の簡単な説明】
【００１５】
【図１】図１は本発明のまばたき検出を意思伝達装置に応用した時の図である。
【図２】図２は左目とその周辺の画像である。
【図３】図３は目周辺画像を記述する座標系について説明した図である。
【図４】図４（ａ）は目を開いているときの目周辺画像であり、図４（ｂ）は図４（ａ）の画像の横方向の画素の列の積分を計算した結果を表す図である。
【図５】図５（ａ）は意識的に目を閉じているときの目周辺画像であり、図５（ｂ）は図５（ａ）の画像の横方向の画素の列の積分を計算した結果を表す図である。
【図６】図６（ａ）は無意識に目を閉じているときの目周辺画像であり、図６（ｂ）は図６（ａ）の画像の横方向の画素の列の積分を計算した結果を表す図である。
【発明を実施するための形態】
【実施例１】
【００１６】
図１は本発明のまばたき検出を意思伝達装置に応用した時の図である。利用者は超小型ビデオカメラ１１０を内蔵したタブレット型パソコン１００の映像と向かい合い、タブレット型パソコンの表示部１２０に表示された選択肢１２１を目視する。表示される選択肢１２１は、タブレット型パソコン１００に内蔵された情報処理装置で選択肢１２１の映像データを構成した後、表示部１２０に送られて表示される。情報処理装置で構成され、表示部１２０で表示された映像には、前記選択肢１２１のほかに選択肢を自動的かつ一定時間間隔で走査するカーソル１２２が表示されている。利用者はカーソル１２２が希望する選択肢のところに来たとき、まばたきを行うことにより、希望する選択肢を選択する。例えば、選択肢１２１としてひらがなの５０音が表示されていて、ひらがなの「ふ」を選択したい場合には、「ふ」の場所にカーソル１２２が移動してきたときにまばたきを行うことにより、次に述べるようにして、「ふ」を選択する。
【００１７】
超小型ビデオカメラ１１０は、タブレット型パソコン１００に内蔵し、該表示部の映像と向かい合う利用者の目およびその周辺の画像を撮影できるような位置および向きに設置されている。超小型ビデオカメラ１１０を用いて撮影した目およびその周辺の画像を、タブレット型パソコン１００に内蔵された情報処理装置に送り込む。情報処理装置は前記画像を画像処理してまばたきを検出する。そして、表示部１２０に表示された選択肢のうち、まばたきを行ったちょうどその時にカーソルがあった位置の選択肢が選択される。前記５０音が表示されている場合には、まばたきを行ったときカーソルがあった位置に文字「ふ」があれば、「ふ」が選択される。この選択処理は情報処理装置によって行われる。
【００１８】
以上説明した操作を繰り返し、まばたきにより、例えば、「ふ」「と」「ん」「を」「か」「け」「て」というふうに順次文字を選択する。この選択結果は情報処理装置により表示器１２０に表示されるので、意思を伝えたい相手にこの表示を読んでもらうことにより、意思を伝達する。このような操作は、情報処理装置に直接スイッチを接続し、そのスイッチをオンオフしても行うことができる。けれども、手足がまったく動かせない最重度肢体不自由者は、スイッチを操作できないので、まばたきを検出して疑似的なスイッチ操作として用いることにより、意思を伝えている。
【００１９】
意思伝達装置において、まばたきを検出して疑似的なスイッチ操作を行うため、ビデオカメラ１１０で撮影した目およびその周辺の画像（以下「目周辺画像」と呼ぶ）を処理してまばたきを検出する方法としては、従来から次のような方法があった。すなわち、目周辺画像の垂直方向の明度の微分を求めてまぶたのふちを検出して、上下のまぶたのふちの間の距離を計算、この距離から目の開閉を判定し、その結果をもとにまばたきを検出する、という方法である。けれども、この方法は、微分を用いているため、目の周辺のしわやたるみなどで明度の変化があると、まぶたのふちと誤認して、目の開閉の判定に誤りを生じる、という問題があった。
【００２０】
本発明では、目周辺画像の明度の積分値を計算することにより、まばたきを検出して疑似的なスイッチ操作を行っている。本発明の方法を用いれば、目の周辺のしわやたるみなどで明度の変化があったとしても、積分によりその影響が拡散されるので、微分法で生じたような誤判定を起こさない。
【００２１】
以下、本発明のまばたき検出方法について、具体的に説明する。まず、目周辺画像は次のようにして取得している。最初に、超小型ビデオカメラ１１０を用いて利用者の顔および顔周辺を撮影する。次に撮影した画像から顔検出ソフトで顔を検出し、その後、左目に対するテンプレートマッチング法で左目の位置を算出し、この位置をもとに図２のような長方形をした左目とその周辺画像を取得する。
【００２２】
次にこの目周辺画像の明度の積分値を計算する。この目周辺画像はデジタル画像であり、ここで用いている画像の記述方法について説明する。この画像を表す座標系を図３に示す。この画像は水平方向にＭ個、垂直方向にＮ個の総計Ｍ×Ｎ個の画素で構成されている。この画像を、左下隅の画素を原点とし、その座標を( 0, 0 ) とするｘｙ座標系で表す。例えば、ｘ＝ｉ、ｙ＝ｊの画素の座標は (ｉ，ｊ)である。また、もっとも暗い画素の明度を０で表し、もっとも明るい画素の明度を２５５で表すとし、各画素はその明るさに応じて０から２５５の間の整数の値の明度を持つものとする。座標  (ｉ，ｊ) の画素の明度はｐ(ｉ，ｊ)で表すとする。
【００２３】
この画像において、ｙ＝ｊで一定であるとしたときの画素は、横方向に並んだ画素の列になる。そのため、ｙ＝ｊ のときの画素の列の明度の積分Ｓｒ(ｊ)を次式のような離散積分により計算することができる。
【００２４】
【数１】
2015045943.tif 000003
【００２５】
図４（ａ）に目を開いているときの目周辺画像を示す。また、この画像の横方向の画素の列の積分を計算した結果を図４（ｂ）に示す。図４（ｂ）の縦軸は計算した列ｊを表し、横軸は積分を計算した結果Ｓｒ(ｊ)を表す。図４（ｂ）に示されるように、明度の積分Ｓｒ(ｊ)はjで表される列が目周辺の瞳付近にある場合、もっとも小さくなる。この値を最小値１とする。なぜもっとも小さくなるかというと、この列は暗い画素が多いため、明度が０に近い画素が多く、したがって、その積分も小さくなるからである。
【００２６】
図５（ａ）は目を意識的に閉じたとき、すなわちまばたきをしたときの目周辺画像である。この画像の横方向の画素の列の積分を計算した結果を図５（ｂ）に示す。この図に示されるように、上まぶたと下まぶたが合わさった付近の列の積分値がもっとも小さくなる。この値を最小値２とする。最小値２は最小値１ほど小さくはならない。なぜなら、上まぶたと下まぶたが合わさった、もっとも暗い部分は曲線を描いているおり、横方向の列の積分を計算しても、暗い部分が占める割合が、目を開いている場合より小さくなるからである。
【００２７】
このように、目を開いている場合と目を意識的に閉じた場合で、明度の積分Ｓｒ(ｊ)の最小値が異なるため、これを用いて、目を開けているか、閉じているかを判定することができる。具体的には、閾値ＴＨを定めて、明度の積分Ｓｒ(ｊ)の最小値が閾値ＴＨより小さければ、目を開けていると判定し、大きければ、目を閉じていると判定する。本方式では、この目を開いているか、閉じているかの判定結果から、まばたきを判定している。例えば、目を閉じている状態から、目を閉じた状態に移行した時をまばたきと判定する、といった方法を採用している。
【００２８】
ところで、まばたきを検出して疑似的なスイッチ操作を行う場合、意識的なまばたきと無意識のまばたきの判別が必要になる。なぜなら、無意識に行っているまばたきを、スイッチ操作を行うための意識的なまばたきであると判定してしまうと、誤動作が多発し、意思伝達装置の使用者に大きなストレスを与えてしまうからである。
【００２９】
以下、本発明により、意識的なまばたきと無意識のまばたきを判別する方法について説明する。図６（ａ）は目を無意識的に閉じたときの目周辺画像である。この画像の横方向の画素の列の積分を計算した結果を図６（ｂ）に示す。この図に示されるように、上まぶたと下まぶたが合わさったあたりの列の積分値がもっとも小さくなる。この値を最小値３とする。最小値３は最小値１とほとんど変わらず、最小値２より明らかに小さい。なぜなら、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続いているため、横方向の列の積分を計算すると、暗い部分が占める割合が、意識的に目を閉じた場合より大きく、目を開いている場合とほぼ同じになるからである。
【００３０】
無意識的に目を閉じたときの積分の最小値３は、目を開けているときの最小値１とほぼ同じなため、先に述べたような方法で判定すると、目を開けていると判定される。そのため、意識的に目を閉じたときだけ、まばたきが検出されることになる。
【００３１】
このように本発明のまばたき検出方法では、図５（ａ）に示した目を意識的に閉じたときの目周辺画像と、図６（ａ）に示した目を無意識に閉じたときの目周辺画像との間のわずかな違いを的確に認識して、意識的なまばたきと無意識のまばたきを判別している。
【００３２】
従来の微分法を用いたまばたき検出では、上まぶたと下まぶたの間の距離を測定して、まばたきを検出しているため、微分法自体には、意識的なまばたきと無意識のまばたきを判別する機能はない。そのため、例えば、目を閉じている時間が長いか短いかなどの他の要素を加味して、意識的か無意識的かを判断する必要があった。しかし、こうした目を閉じている時間などは個人差が大きく、また、体調などにより変化することも多い。そのため、使用者ごとに、時には体調に合わせて設定を変える必要があり、使い勝手が悪かった。
【００３３】
それに対して、本発明の判別方法は、意識的なまばたきと無意識のまばたきの目周辺画像のわずかな違いを的確に認識して判別を行っているので、こうした個人差や体調による変化が少なく、使用者ごとに、あるいは体調に合わせて設定を変える必要がないため、使い勝手が良い方法である。
【００３４】
以上、本発明について、左目の画像を処理してまばたきを検出する方法について述べてきたが、右目の画像を用いても同様にしてまばたきを検出できる。また、左右両目の画像を用いた場合も同様にしてまばたきを検出できる。
【００３５】
また、本発明のまばたき検出法では、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続いていることをもとに、意識的なまばたきと無意識のまばたきを判別している。
そのため、もっとも暗い部分が直線状に続いたとしても、それが水平方向ではなく、水平方向からある一定の角度ＡＧをもって、斜めの方向に直線状に続いている場合には、以上説明してきた方法では、意識的なまばたきと無意識のまばたきの判別が難しくなる。
顔が傾いていたり、あるいはデジタルカメラが傾いて設置されていたりする場合、こうしたことが起こりうる。
【００３６】
この場合でも、傾き角ＡＧの補正を行ってから、以上説明してきた方法により判定を行えば、意識的なまばたきと無意識のまばたきの判別は可能である。この傾き角ＡＧの補正方法としては、例えば、つぎのような方法が考えられる。  
まず、手入力にて、補正すべき角度ＣＡＧ＝−ＡＧを入力する。次に、目周辺画像を角度ＣＡＧだけ回転させれば、顔の傾きが補正され、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続くようになるため、意識的なまばたきと無意識のまばたきの判別が可能になる。
【００３７】
また、この角度補正を自動的に行う方法としては、次のような方法がある。
目を開いた状態の左目の目周辺画像の明度の積分Ｓｒ(ｊ)はj ＝ｊｌのとき、最小となり、右目は同様にj ＝jｒのとき、最小となるとする。もっとも暗い部分が水平方向に直線状に続く場合には、ｊｌ＝jｒとなるが、斜め方向に続く場合にはｊｌとjｒは等しくならない。このことを利用し、ｊｌ＝jｒとなるように目周辺画像を回転させるような処理を自動的に行うようにすれば、角度補正を自動的に行って、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続くようになるため、意識的なまばたきと無意識のまばたきの判別が可能になる。
【００３８】
本発明のまばたき検出方法は、以上述べてきたような、重度肢体不自由者向けの意思伝達装置に応用する以外に、健常者が手を使わずにまばたきでなんらかの操作を行う場合にも応用できる。例えばテレビのチャンネルの切り替え、エアコンのオンオフ、携帯電話の通話開始終了、などの操作にも用いることができる。
【符号の説明】
【００３９】
１００  タブレット型パソコン
１１０  超小型デジタルビデオカメラ
１２０  液晶表示器
１２１  液晶表示器に表示された選択肢
１２２  液晶表示器に表示されたカーソル  
１３０  情報処理機器
【図１】
2015045943.tif 000004
【図２】
2015045943.tif 000005
【図３】
2015045943.tif 000006
【図４】
2015045943.tif 000007
【図５】
2015045943.tif 000008
【図６】
2015045943.tif 000009