(57)【要約】【課題】運転者の顔の凹凸に起因する影を大きくすることなく、顔画像に基づく判断をより正確にできる脇見検出装置を提供する。【解決手段】本発明は、使用者の顔面を含む画像を撮像する撮像手段と、撮像手段の近傍に当該撮像手段の設置方向と光軸が略並行となるように設置された光源と、光源から照射された光の反射箇所を画像に基づいて検出する検出手段と、使用者の顔の位置を検出する顔位置検出手段と、顔の位置と、反射箇所とに基づき使用者の脇見を判断する判断手段とを備える。【選択図】図１
2011039687.tif 000002
【特許請求の範囲】
【請求項１】
使用者の顔面を含む画像を撮像する撮像手段と、
前記撮像手段の近傍に当該撮像手段の設置方向と光軸が略並行となるように設置された光源と、
前記光源から照射された光の反射箇所を前記画像に基づいて検出する検出手段と、
前記使用者の顔の位置を検出する顔位置検出手段と、
前記顔の位置と、前記反射箇所とに基づき前記使用者の脇見を判断する判断手段とを備える、脇見検出装置。
【請求項２】
前記検出手段は、
前記画像上の全ての前記反射箇所をそれぞれ近似する円を検出する円近似手段と、
前記円近似手段によって検出された円の中心位置を前記反射箇所としてそれぞれ検出する反射箇所検出手段とを含み、
前記判断手段は、前記顔の位置、及び前記反射箇所検出手段によってそれぞれ検出された前記反射箇所に基づき前記使用者の脇見を判断する、請求項１に記載の脇見検出装置。
【請求項３】
前記顔位置検出手段は、
前記使用者の顔と前記撮像手段との相対距離を検出する距離検出手段と、
前記画像における前記使用者の顔の位置を顔画像位置として検出する顔位置検出手段とを含み、
前記判断手段は、前記相対距離、前記顔画像位置、及び前記反射箇所に基づき前記使用者の脇見を判断する、請求項２に記載の脇見検出装置。
【請求項４】
前記使用者の脇見を判断するための正解距離を、前記相対距離と前記顔画像位置とに対応させて予め記憶する記憶手段をさらに備え、
前記検出手段は、前記反射箇所検出手段によってそれぞれ検出された前記反射箇所の間隔を算出する算出手段をさらに含み、
前記判断手段は、前記相対距離と前記顔画像位置とに対応する前記正解距離との差が予め定められたしきい値未満となる前記反射位置の間隔が、前記算出手段によって算出された前記反射位置の間隔の中にあるとき、前記使用者が脇見をしていると判断する、請求項３に記載の脇見検出装置。
【請求項５】
前記検出手段は、
前記円近似手段によって検出された前記画像上の全ての円毎にそれぞれを示す画素の輝度値の平均値と分散値とを検出する輝度分析手段と、
前記輝度分析手段によって検出された前記平均値が予め定められた平均しきい値よりも大きく、且つ前記分散値が予め定められた分散しきい値よりも小さい前記円を特定する特定手段とをさらに含み、
前記算出手段は、前記反射箇所検出手段によってそれぞれ検出された前記反射箇所の中で、前記特定手段によって特定された前記円の中心位置とされた前記反射箇所の間隔を算出する、請求項４に記載の脇見検出装置。
【請求項６】
前記算出手段は、前記特定手段によって特定された前記円の中心位置の中で、前記画像における垂直方向の間隔が予め定められた垂直しきい値未満の間隔をなす円の中心位置とされた前記反射箇所の間隔を算出する、請求項５に記載の脇見検出装置。
【請求項７】
前記円近似手段は、円形ハフ変換を用いて前記画像上の全ての前記反射箇所をそれぞれ近似する円を検出する、請求項３に記載の脇見検出装置。
【請求項８】
前記円近似手段は、パターンマッチングを用いて前記画像上の全ての前記反射箇所をそれぞれ近似する円を検出する、請求項３に記載の脇見検出装置。
【請求項９】
前記距離検出手段は、複数の受光素子で検出した電荷に基づいて受光素子毎に相対距離を検出する距離画像センサである、請求項２に記載の脇見検出装置。
【請求項１０】
前記距離検出手段は、複数の前記受光素子毎に検出された相対距離の平均の相対距離を検出する、請求項９に記載の脇見検出装置。
【請求項１１】
前記距離検出手段は、複数の前記受光素子毎に検出された相対距離の中で最も短い相対距離を検出する、請求項９に記載の脇見検出装置。
【請求項１２】
前記顔位置検出手段は、前記画像における前記使用者の鼻の位置を顔画像位置として検出する、請求項２に記載の脇見検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脇見検出装置に関し、より特定的には、画像に基づいて使用者の脇見を判断する脇見検出装置に関する。
【背景技術】
【０００２】
近年、車両などの移動体（以下、自車両と称する）には、運転者の脇見などを判断して、安全な運転を促すための警報を発するシステムが搭載されている。そして、このようなシステムには、運転者の脇見を判定するために、運転者の顔を含む画像を顔画像として撮像する顔画像撮像装置が含まれる。このような顔画像撮像装置の一例として、例えば、特許文献１に記載の顔画像撮像装置（以下、従来技術と称する）が挙げられる。
【０００３】
従来技術では、近赤外光源から照射された近赤外光が運転者の眼鏡のレンズで正反射した反射光がカメラの撮像レンズに直接入射しないように、近赤外光の光軸とカメラの光軸とのなす角が予め定められた角度以上となるようにカメラと近赤外光源とを配置している。これにより、従来技術では、運転者が眼鏡を装着していても眼鏡のレンズで反射した反射光の影響を受けずに顔画像を撮像できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２１６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、以下に述べるような課題を有する。すなわち、上記従来技術では、上述したように、カメラの光軸と近赤外光の光軸とが予め定められた角度以上となるようにカメラと近赤外光源とを配置している。このため、運転者の顔の凹凸に起因する影が大きくなる。そして、影が大きい顔画像に基づいて運転者の脇見の判断などをすると、判断結果が誤ってしまう確率が高くなる。
【０００６】
それ故に、本発明は、運転者の顔の凹凸に起因する影を大きくすることなく、顔画像に基づく判断をより正確にできる脇見検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は以下に述べる特徴を有する。
第１の発明は、使用者の顔面を含む画像を撮像する撮像手段と、撮像手段の近傍に当該撮像手段の設置方向と光軸が略並行となるように設置された光源と、光源から照射された光の反射箇所を画像に基づいて検出する検出手段と、使用者の顔の位置を検出する顔位置検出手段と、顔の位置と、反射箇所とに基づき使用者の脇見を判断する判断手段とを備える。
【０００８】
第２の発明は、上記第１の発明に従属する発明であって、検出手段は、画像上の全ての反射箇所をそれぞれ近似する円を検出する円近似手段と、円近似手段によって検出された円の中心位置を反射箇所としてそれぞれ検出する反射箇所検出手段とを含み、判断手段は、顔の位置、及び反射箇所検出手段によってそれぞれ検出された反射箇所に基づき使用者の脇見を判断する。
【０００９】
第３の発明は、上記第２の発明に従属する発明であって、顔位置検出手段は、使用者の顔と撮像手段との相対距離を検出する距離検出手段と、画像における使用者の顔の位置を顔画像位置として検出する顔位置検出手段とを含み、判断手段は、相対距離、顔画像位置、及び反射箇所に基づき使用者の脇見を判断する。
【００１０】
第４の発明は、上記第３の発明に従属する発明であって、使用者の脇見を判断するための正解距離を、相対距離と顔画像位置とに対応させて予め記憶する記憶手段をさらに備え、検出手段は、反射箇所検出手段によってそれぞれ検出された反射箇所の間隔を算出する算出手段をさらに含み、判断手段は、相対距離と顔画像位置とに対応する正解距離との差が予め定められたしきい値未満となる反射位置の間隔が、算出手段によって算出された反射位置の間隔の中にあるとき、使用者が脇見をしていると判断する。
【００１１】
第５の発明は、上記第４の発明に従属する発明であって、検出手段は、円近似手段によって検出された画像上の全ての円毎にそれぞれを示す画素の輝度値の平均値と分散値とを検出する輝度分析手段と、輝度分析手段によって検出された平均値が予め定められた平均しきい値よりも大きく、且つ分散値が予め定められた分散しきい値よりも小さい円を特定する特定手段とをさらに含み、算出手段は、反射箇所検出手段によってそれぞれ検出された反射箇所の中で、特定手段によって特定された円の中心位置とされた反射箇所の間隔を算出する。
【００１２】
第６の発明は、上記第５の発明に従属する発明であって、算出手段は、特定手段によって特定された円の中心位置の中で、画像における垂直方向の間隔が予め定められた垂直しきい値未満の間隔をなす円の中心位置とされた反射箇所の間隔を算出する。
【００１３】
第７の発明は、上記第３の発明に従属する発明であって、円近似手段は、円形ハフ変換を用いて画像上の全ての反射箇所をそれぞれ近似する円を検出する。
【００１４】
第８の発明は、上記第３の発明に従属する発明であって、円近似手段は、パターンマッチングを用いて画像上の全ての反射箇所をそれぞれ近似する円を検出する。
【００１５】
第９の発明は、上記第２の発明に従属する発明であって、距離検出手段は、複数の受光素子で検出した電荷に基づいて受光素子毎に相対距離を検出する距離画像センサである。
【００１６】
第１０の発明は、上記第９の発明に従属する発明であって、距離検出手段は、複数の受光素子毎に検出された相対距離の平均の相対距離を検出する。
【００１７】
第１１の発明は、上記第９の発明に従属する発明であって、距離検出手段は、複数の受光素子毎に検出された相対距離の中で最も短い相対距離を検出する。
【００１８】
第１２の発明は、上記第２の発明に従属する発明であって、顔位置検出手段は、画像における使用者の鼻の位置を顔画像位置として検出する。
【発明の効果】
【００１９】
本発明によれば、運転者の顔の凹凸に起因する影を大きくすることなく、顔画像に基づく判断をより正確にできる脇見検出装置を提供できる。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る脇見検出装置の概略構成を示すブロック図
【図２Ａ】本発明に係る発光撮像部の正面図
【図２Ｂ】本発明に係る発光撮像部の平面図
【図３】本発明に係る発光撮像部の搭載例
【図４】本発明に係るＥＣＵの処理を示すフローチャート
【図５Ａ】本発明における顔画像の一例を示す図
【図５Ｂ】本発明における２値化画像の一例を示す図
【図５Ｃ】本発明におけるエッジ画像の一例を示す図
【図６】本発明で検出した円の一例を示す図
【図７Ａ】本発明で検出した円を顔画像に重畳させたときの画像の一例を示す図
【図７Ｂ】本発明において検出した円毎のヒストグラムの一例を示す図
【図８Ａ】本発明において検出した円をそれぞれ組み合わせたときの垂直方向の間隔の一例を示す図
【図８Ｂ】垂直方向の間隔と垂直方向しきい値とを比較する図
【発明を実施するための形態】
【００２１】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る脇見検出装置１の概略構成を示すブロック図である。本実施形態に係る脇見検出装置１は、カメラ１０１と、光源１０２と、警告部１０３と、スイッチ１０４と、距離検出部１０５と、ＥＣＵ（Electric Control Unit）１０６と、記憶部１０７とを備える。尚、本実施形態の説明では、脇見検出装置１が自車両を運転する運転者の脇見を検出する場合を一例として説明する。
【００２２】
カメラ１０１は、運転者の顔面を含む画像を顔画像として逐次撮像し、顔画像を撮像する度に撮像した顔画像を示す画像データを生成する。カメラ１０１は、典型的には、近赤外領域の波長の光（以下、近赤外光と称する)に対する感度が相対的に高い近赤外カメラである。カメラ１０１は、ＣＣＤ（Charge Coupled Device）素子、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor)素子などで顔画像を撮像する近赤外カメラであってもよい。
【００２３】
光源１０２は、その光軸とカメラ１０１の光軸（撮像方向）とが略並行になるように、カメラ１０１の撮像方向に向けて、カメラ１０１の近辺に設置される。尚、光源１０２は、典型的には、近赤外光を発するＬＥＤ（Light Emitting Diode）である。近赤外光を発するＬＥＤを光源１０２として用いることにより、例えば、レーザー光源を使用することによって被爆してしまう不安を運転者に与えることを防げる。
【００２４】
図２Ａ、及び図２Ｂは、それぞれ本実施形態に係るカメラ１０１と光源１０２との位置関係の一例を示す図である。図２Ａは、カメラ１０１と光源１０２とを内蔵する発光撮像部の正面図である。図２Ｂは、図２Ａに示す発光撮像部を上方から鉛直方向に見下ろした平面図である。尚、図２Ｂには、説明の理解のためカメラ１０１の撮像方向と、光源１０２から照射される近赤外光の照射方向とを示している。
【００２５】
本実施形態では図２Ａ、及び図２Ｂに一例として示すように、２つの光源１０２のそれぞれが、カメラ１０１の両脇の近辺に位置するように発光撮像部に内蔵される。また、本実施形態に係るカメラ１０１と光源１０２とは、図２Ｂに一例として示すように互いの光軸が略平行になり、且つカメラ１０１の撮像方向と光源１０２の照射方向とが略一致するように発光撮像部に内蔵される。
【００２６】
図３は、前述の発光撮像部の自車両における搭載箇所の一例を示す図である。本実施形態に係る発光撮像部は、図３に一例として示すように、自車両のステアリングコラムの上部に設置される。また、発光撮像部は、運転席に着座した運転者の顔面を含む顔画像を撮像できるように運転席に向けて設置される。このように発光撮像部を設置することにより、カメラ１０１は、上述したように自車両の運転者の顔面を含む顔画像を撮像することができる。また、カメラ１０１は上述したように近赤外光に対する感度が高いため、光源１０２から照射された近赤外光の反射光のみを主に受光して顔画像を撮像する。これにより、カメラ１０１は、外乱光から受ける影響を低減した顔画像を撮像できる。特に、運転者が顔面をカメラ１０１に正対させたときには、カメラ１０１の撮像方向と光源１０２の照射方向とを上述したように略一致させているため、カメラ１０１は、運転者の顔面で正反射した光源１０２の近赤外光の反射光を受光できる。
【００２７】
警告部１０３は、後述するＥＣＵ１０６から指示を与えられたときに自車両の運転者などの搭乗者に警告を発する。警告部１０３は、ＥＣＵ１０６から指示を与えられたときに搭乗者に警告音を発するスピーカーなどであってもよいし、警告画像を表示するための表示画面（ディスプレイ）などであってもよい。
【００２８】
スイッチ１０４は、典型的には、従来周知のシートベルトバックルスイッチである。より詳細には、スイッチ１０４は、自車両の運転席に着座した運転者がシートベルトをするために設けられたシートベルトバックル内に設けられているシートベルトバックルスイッチである。スイッチ１０４は、運転者が運転席に着座してシートベルトのタングプレートをシートベルトバックルに挿入してシートベルトを着用したときに、運転者が運転席に着座してシートベルトを着用したことを示す信号を生成する。
【００２９】
距離検出部１０５は、典型的には、近赤外光を照射し、照射した近赤外光を反射した対象物との相対距離を検出する。より詳細には、距離検出部１０５は、照射した近赤外光の反射光を格子状に配列された受光素子でそれぞれ受光して電荷量に変換し、受光した反射光を反射した対象物の表面上の反射点と受光素子との相対距離を、変換した電荷量に基づいて受光素子毎に検出する。つまり、距離検出部１０５は、所謂距離画像センサである。距離検出部１０５は、受光素子毎の相対距離を逐次検出し、相対距離を検出する度に、検出した相対距離を受光素子毎に対応付けて示す距離情報を生成する。距離検出部１０５が近赤外光を照射するための光源は、上述した光源１０２を併用してもよいし、異なる光源を距離検出部１０５に含めて用いてもよい。本実施形態の説明では、光源１０２とは異なる光源を距離検出部１０５に含めて用いる場合を一例として説明する。
【００３０】
尚、距離検出部１０５は、近赤外光を照射していないときの受光量を変換した電荷量と、近赤外光を照射しているときの受光量を変換した電荷量との差分の電荷量に基づいて受光素子毎に相対距離を検出してもよい。差分の電荷量に基づいて相対距離を検出する手法は従来周知の手法であって、この手法を用いることにより外乱光の影響を受けずにより正確な相対距離を検出することができる。
【００３１】
距離検出部１０５は、典型的には、カメラ１０１の撮像範囲内に存在する対象物とカメラ１０１との相対距離を後述する顔距離としてＥＣＵ１０６で検出できるように、発光撮像部の内部に設置される。しかしながら、距離検出部１０５は、顔距離をＥＣＵ１０６で検出できるのであれば、他の設置箇所に設置してもよい。本実施形態の説明では、距離検出部１０５が発光撮像部に内蔵されているものとして説明する。
【００３２】
ＥＣＵ１０６は、典型的には、ＬＳＩ（Large Scale Integration）、ＣＰＵ（Central Processing Unit）、或いはマイクロコンピュータなどの半導体集積回路で主に構成される演算処理装置である。ＥＣＵ１０６は、カメラ１０１によって生成される画像データ、及びスイッチ１０４によって生成される信号、及び距離検出部１０５によって生成される距離情報などを取得して、取得した信号に基づいて処理をする。ＥＣＵ１０６の処理の詳細については後述する。
【００３３】
記憶部１０７は、典型的には、ＥＣＵ１０６の内部に設けられているＲＯＭ（Read Only Memory）である。記憶部１０７は、それぞれ後述する運転者の顔位置、顔距離、及び正解距離を対応付けて示すデータテーブルを記憶している。また、記憶部１０７は、本発明に係る処理をＥＣＵ１０６にさせるためのプログラムも記憶している。記憶部１０７に記憶されているデータテーブルの詳細については後述する。
【００３４】
以上が、本実施形態に係る脇見検出装置１の概略構成の説明である。次に、本実施形態に係るＥＣＵ１０６の処理の詳細について、図４に示すフローチャートを参照しながら説明する。尚、図４のフローチャートに示す処理は、例えば、自車両のアクセサリースイッチ、或いはイグニッションスイッチがオンにされたときに開始され、いずれかのスイッチがオフにされたときに終了されるものとする。また、図４のフローチャートに示す処理は、ＥＣＵ１０６が解釈実行可能な形式で記憶部１０７に記憶させたプログラムを読み出して実行することによって実現されるものとする。つまり、ＥＣＵ１０６は、自車両のアクセサリースイッチ、或いはイグニッションスイッチがオンにされたときに記憶部１０７からプログラムを読み出して実行し、いずれかのスイッチがオフにされたときに停止するものとする。
【００３５】
ステップＳ１０１において、ＥＣＵ１０６は、自車両の運転席に運転者が着座しているか否かを判断する。ステップＳ１０１の具体的な処理の一例を説明すると、ステップＳ１０１において、ＥＣＵ１０６は、スイッチ１０４から信号を取得したか否かを判断する。そして、ＥＣＵ１０６は、ステップＳ１０１において、スイッチ１０４から信号を取得したと判断したとき、運転者が運転席に着座したと判断して、ステップＳ１０２へ処理を進める。一方、ＥＣＵ１０６は、ステップＳ１０１において、スイッチ１０４から信号を取得していないと判断したとき、運転者が運転席に着座していないと判断して、ステップＳ１０１の処理を繰り返す。
【００３６】
ステップＳ１０２において、ＥＣＵ１０６は、自車両の運転席に着座した運転者の顔面とカメラ１０１との相対距離を顔距離として検出する。ステップＳ１０２の具体的な処理の一例を説明すると、ステップＳ１０２において、ＥＣＵ１０６は、距離検出部１０５から距離情報を取得し、取得した距離情報によって示される受光素子毎の相対距離を平均した距離を運転者の顔面とカメラ１０１との距離を示す顔距離として検出する。ステップＳ１０２の処理を完了すると、ＥＣＵ１０６は、ステップＳ１０３へ処理を進める。
【００３７】
尚、上述したように、図３を参照しながら説明した設置箇所に設置した発光撮像部の内部に距離検出部１０５を設置すると、ステアリングホイールの回転角度によっては、距離検出部１０５の直前にステアリングホイールのスポークが位置する場合がある。そして、距離検出部１０５の直前に前述のスポークが位置すると、距離情報によって示される受光素子毎の相対距離の中には、スポークとの過度に短い相対距離が含まれる。したがって、距離検出部１０５の直前にスポークが位置しているときにＥＣＵ１０６がステップＳ１０２の処理をして上述したように顔距離を検出すると、検出される顔距離の精度が低下してしまう。そこで、距離検出部１０５の直前にスポークが位置する場合を考慮して、ＥＣＵ１０６は、取得した距離情報によって示される受光素子毎の相対距離を平均するときに、予め定められたしきい値未満の相対距離を除外して平均した相対距離を顔距離として検出してもよい。
【００３８】
ステップＳ１０３において、ＥＣＵ１０６は、カメラ１０１によって撮像された顔画像における運転者の顔面の位置を前述の顔位置として検出する。ステップＳ１０３の具体的な処理の一例を説明すると、ステップＳ１０３において、ＥＣＵ１０６は、カメラ１０１から画像データを取得し、取得した画像データによって示される顔画像における顔位置を検出する。ＥＣＵ１０６は、従来周知の画像処理の手法を用いて、運転者の顔面の中心が顔画像に位置する座標を顔位置として検出する。また、ＥＣＵ１０６は、従来周知の画像処理の手法を用いて、運転者の鼻が顔画像に位置する座標を顔位置として検出してもよい。ここで、顔画像の座標とは、顔画像の四隅のいずれか一つを原点として、顔画像における画素の垂直方向、及び水平方向の位置をそれぞれ示す座標である。ステップＳ１０３の処理を完了すると、ＥＣＵ１０６は、ステップＳ１０４へ処理を進める。
【００３９】
ステップＳ１０４において、ＥＣＵ１０６は、ステップＳ１０２で検出した顔距離とステップＳ１０３で検出した顔位置とに基づきデータテーブルを参照して正解距離を設定する。ここで、本実施形態に係る正解距離、及びデータテーブルについて説明する。まず始めに本実施形態に係る正解距離について説明する。自車両の運転席に着座する運転者の顔の形状は人によって一様ではなく様々な形状をしており、さらに、眼鏡を着用している運転者も存在する。本実施形態における正解距離とは、運転席に着座した運転者が着用している眼鏡の左右のレンズの間隔に基づく距離である。より詳細には、正解距離とは、運転者が運転席に着座しているときに撮像された顔画像において、眼鏡の左右のレンズにそれぞれ映り込む光源１０２から照射された互いの近赤外光の成す水平方向の距離である。換言すれば、正解距離とは、光源１０２から照射した近赤外光が眼鏡の左右のレンズでそれぞれ反射する反射箇所同士の中心位置の顔画像上における水平方向の間隔である。
【００４０】
そして、光源１０２から照射された近赤外光が眼鏡のレンズに映り込む位置は、主に、運転者の座高、及びシートポジションなどに応じて変化する。したがって、正解距離は、運転者の座高、及びシートポジションなどに応じて変化する。後述するように、本実施形態では、正解距離と顔画像に基づいて検出した中心間距離とに基づいて運転者が脇見をしているか否かを判断する。したがって、本実施形態では、運転者の座高、及びシートポジションなどに応じて変化する正解距離を正確に設定しなければならない。そこで、本実施形態に係るＥＣＵ１０６は、ステップＳ１０２で検出した顔距離とステップＳ１０３で検出した顔位置とに基づき正解距離を設定する。正解距離を設定するとき、ＥＣＵ１０６は、記憶部１０７に記憶されているデータテーブルを参照して、顔位置と顔距離とに対応する正解距離を設定する。
【００４１】
次に、本実施形態に係るデータテーブルについて説明する。本発明では、運転者の座高、及びシートポジションなどの変化は、顔画像における運転者の顔位置、及びカメラ１０１に対する運転者の顔面の顔距離の変化として反映される。つまり、本発明では、正解距離が顔位置と顔距離とに応じて変化する。したがって、本発明では、様々な座高の運転者に様々なシートポジションで運転席に着座させたときの正解距離を事前に測定し、測定した正解距離と顔距離と顔位置とを対応付けた情報を前述のデータテーブルとして予め記憶部１０７に記憶させておく。以上が、本実施形態に係る正解距離、及びデータテーブルの説明である。
【００４２】
ステップＳ１０４において、ＥＣＵ１０６は、ステップＳ１０２で検出した顔距離とステップＳ１０３で検出した顔位置とに対応する正解距離を前述のデータテーブルを参照して、参照した正解距離を設定する。ＥＣＵ１０６は、ステップＳ１０４の処理を完了すると、ステップＳ１０５へ処理を進める。
【００４３】
ＥＣＵ１０６が、ステップＳ１０４の処理をすることにより、運転者に着座した運転者の座高、及びシートポジション（運転者のドライビングポジション）などに応じた正確な正解距離を設定することができる。
【００４４】
ステップＳ１０５において、ＥＣＵ１０６は、カメラ１０１から画像データを取得して、取得した画像データによって示される顔画像のエッジを抽出する。ステップＳ１０５の具体的な処理の一例を図５Ａ〜図５Ｃを参照しながら説明する。図５Ａは、ＥＣＵ１０６がステップＳ１０５においてカメラ１０１から取得した画像データによって示される顔画像の一例である。ＥＣＵ１０６は、ステップＳ１０５において、カメラ１０１から画像データを取得すると、取得した画像データによって示される顔画像に対して従来周知の２値化処理をする。図５Ｂは、ＥＣＵ１０６が２値化処理をした後の顔画像の一例を示す図である。そして、ＥＣＵ１０６は、ステップＳ１０５において２値化処理をすると次に、２値化処理した顔画像に対して従来周知のエッジ抽出処理をしてエッジ画像を示すエッジ画像データを生成する。図５Ｃは、ＥＣＵ１０６がエッジ抽出処理をすることによって２値化処理した顔画像から抽出したエッジを示すエッジ画像である。ＥＣＵ１０６は、ステップＳ１０５の処理を完了すると、ステップＳ１０６へ処理を進める。
【００４５】
ステップＳ１０６において、ＥＣＵ１０６は、ステップＳ１０５で抽出したエッジに基づいて、当該エッジの中から略円形状を成すエッジを近似する円を検出する。ステップＳ１０６の具体的な処理の一例を説明すると、ステップＳ１０６において、ＥＣＵ１０６は、ステップＳ１０５で生成したエッジ画像データに対して従来周知の円形ハフ変換処理をする。これにより、ＥＣＵ１０６は、エッジ画像データによって示されるエッジ画像において略円形状を成すエッジを近似する円を検出すると共に、検出した円毎に中心位置と半径とを検出できる。図５Ｃに一例として示すエッジ画像に対して円形ハフ変換処理をした場合、ＥＣＵ１０６は、図６に示すように、Ｃ１〜Ｃ６の６つの円と共に、それぞれの中心位置と半径とを検出できる。ＥＣＵ１０６は、ステップＳ１０６の処理を完了すると、ステップＳ１０７へ処理を進める。
【００４６】
ステップＳ１０７において、ＥＣＵ１０６は、ステップＳ１０６で検出した円の中から、前述の反射箇所であるか否かを判断するための候補となる円を選択する。ステップＳ１０７の具体的な処理の一例を図７Ａ〜図７Ｂをそれぞれ参照しながら説明する。図７Ａは、図６に一例として示した円を図５Ａに一例として示す顔画像に重畳させた場合の画像を示す図である。図７Ｂは、図７Ａに一例として示す円Ｃ１〜Ｃ６の領域に含まれる顔画像の画素数を輝度値毎に示すヒストグラムの一例である。
【００４７】
ＥＣＵ１０６は、ステップＳ１０７において、ステップＳ１０６で検出した円の領域に含まれる顔画像上の画素数を輝度値毎に示すヒストグラムを、検出した円毎に対応させて生成する処理をする。ＥＣＵ１０６は、生成したヒストグラム毎に輝度値の分散との平均とを算出し、予め定められた平均しきい値と、予め定められた分散しきい値と比較する。そして、ＥＣＵ１０６は、生成したヒストグラムに対応する円の中から、それぞれの円に含まれる画素の輝度値の平均が平均しきい値以上であって、且つ分散が分散しきい値未満のヒストグラムに対応する円を選択する。
【００４８】
図７Ｂには、前述の分散しきい値に相当する分散の範囲ΔＳと、前述の平均しきい値に対応する平均ΔＡとをそれぞれのヒストグラムに重畳させて示している。図７Ｂに示す一例を用いて説明すると、例えば、円Ｃ１の分散Ｓｃ１は範囲ΔＳより狭く、分散Ｓｃ１が分散しきい値未満である。また、円Ｃ１の領域に含まれる画素の輝度値の平均Ａｃ１は平均ΔＡ以上であり、円Ｃ１の輝度値の平均は平均しきい値以上である。したがって、円Ｃ１の分散は分散しきい値未満であって、且つ輝度値の平均が平均しきい値以上であるので、ＥＣＵ１０６は、前述の反射箇所であるか否かを判断するための候補として円Ｃ１を選択する。さらに、他の円について図７Ｂに示す一例を用いて説明すると、例えば、円Ｃ４の分散Ｓｃ４は範囲ΔＳより狭く、分散Ｓｃ４が分散しきい値未満である。また、円Ｃ４の領域に含まれる画素の輝度値の平均Ａｃ４は平均値ΔＡ未満であり、円Ｃ４の輝度値の平均は平均しきい値以上でない。したがって、円Ｃ４の分散は分散しきい値未満であって、且つ輝度値の平均が平均しきい値以上でないので、ＥＣＵ１０６は、前述の反射箇所であるか否かを判断するための候補として円Ｃ４を選択しない。
【００４９】
以上が、ステップＳ１０７の具体的な処理の一例の説明である。ステップＳ１０７の処理を完了すると、ＥＣＵ１０６は、ステップＳ１０８へ処理を進める。尚、以下の説明では、上述した説明、及び図７Ｂから明らかなように、ＥＣＵ１０６がステップＳ１０７の処理において、反射箇所であるか否かを判断するための候補として、円Ｃ１〜Ｃ３、及び円Ｃ６をそれぞれ選択したものとして説明を続ける。
【００５０】
ステップＳ１０８において、ＥＣＵ１０６は、反射箇所であるか否かを判断するための候補として選択した円の中から、後述する中心間距離を算出する組み合わせの円を特定して、中心間距離を算出する。ステップＳ１０８の具体的な処理の一例を図８Ａ、及び図８Ｂを参照しながら説明する。
【００５１】
図８Ａは、図７Ａで顔画像に重畳させて示した円Ｃ１〜Ｃ６の内、ＥＣＵ１０６がステップＳ１０７で選択した円Ｃ１〜Ｃ３、及び円Ｃ６のみを説明の便宜のために示す図である。図８Ａには、円Ｃ１〜Ｃ３、及び円Ｃ６をそれぞれ組み合わせたときの顔画像における垂直方向の間隔ΔＤ１〜ΔＤ４も示している。また、図８Ｂは、図８Ａに示す間隔ΔＤ１〜ΔＤ４と予め定められた垂直しきい値ｔｈＤとをそれぞれ比較して示す図である。
【００５２】
ＥＣＵ１０６は、ステップＳ１０８において中心間距離を算出するために、まず、ステップＳ１０７で抽出した円をそれぞれ組み合わせたときの円同士の顔画像における垂直方向の間隔（図８Ａに示す一例では、間隔ΔＤ１〜ΔＤ４）をそれぞれ算出する。垂直方向の間隔を算出すると、ＥＣＵ１０６は、算出したそれぞれの垂直方向の間隔を垂直しきい値と比較する。そして、ＥＣＵ１０６は、算出した垂直方向の間隔の中から垂直しきい値（図８Ｂに示す一例では、垂直しきい値ｔｈＤ）以下となる垂直方向の間隔を特定する。ＥＣＵ１０６が算出した垂直方向の間隔が図８Ａに示す垂直方向の間隔ΔＤ１〜ΔＤ４である場合、図８Ｂから明らかなように、ＥＣＵ１０６は、垂直しきい値ｔｈＤ以下となる垂直方向の間隔ΔＤ１、及びΔＤ３を特定する。
【００５３】
そして、ＥＣＵ１０６は、特定した間隔を成す組み合わせの円同士の中心間距離をそれぞれ算出して、それぞれの組み合わせの円に対応させる。ここで、中心間距離とは、特定した間隔を成す組み合わせに含まれる一方の円の顔画像上における中心位置と、他方の円の顔画像上における中心位置との距離である。ＥＣＵ１０６は、垂直方向の間隔ΔＤ１、及びΔＤ３とを特定した場合、特定した間隔ΔＤ１を成す組み合わせの円Ｃ１と円Ｃ２との中心間距離、及び特定した間隔ΔＤ３を成す組み合わせの円Ｃ３と円Ｃ６との中心間距離を算出して、それぞれの組み合わせの円に対応させる。尚、ＥＣＵ１０６がステップＳ１０８で中心間距離を算出するためのそれぞれの円の中心位置は、ステップＳ１０６で検出した中心位置を用いるものとする。ＥＣＵ１０６は、ステップＳ１０８の処理を完了すると、ステップＳ１０９へ処理を進める。
【００５４】
ステップＳ１０９において、ＥＣＵ１０６は、ステップＳ１０８で算出した中心間距離とステップＳ１０４で設定した正解距離との差ΔＲが予め定められた距離差しきい値ｔｈＲ未満となるか否かを判断する。ステップＳ１０９の具体的な処理の一例について説明すると、ステップＳ１０９において、ＥＣＵ１０６は、まず、ステップＳ１０８で算出したいずれか１つの組み合わせの円に対応する中心間距離と、ステップＳ１０４で設定した正解距離との差ΔＲを算出する。ＥＣＵ１０６は、差ΔＲを算出すると、算出した差ΔＲが距離差しきい値ｔｈＲ未満となるか否かを判断する。ＥＣＵ１０６は、ステップＳ１０９において、算出した差ΔＲが距離差しきい値ｔｈＲ未満となると判断したとき、ステップＳ１１１へ処理を進める。一方、ＥＣＵ１０６は、ステップＳ１０９において、算出した差ΔＲが距離差しきい値ｔｈＲ未満とならないと判断したとき、ステップＳ１１０へ処理を進める。
【００５５】
ステップＳ１１０において、ＥＣＵ１０６は、ステップＳ１０８で算出した全ての中心間距離について正解距離との差ΔＲを距離差しきい値ｔｈＲと比較したか否かを判断する。ＥＣＵ１０６は、ステップＳ１０８で算出した全ての中心間距離について正解距離との差ΔＲを距離差しきい値ｔｈＲと比較したと判断したとき、ステップＳ１０１へ処理を戻す。一方、ＥＣＵ１０６は、ステップＳ１１０において、ステップＳ１０８で算出した全ての中心間距離について正解距離との差ΔＲを距離差しきい値ｔｈＲと比較していないと判断したとき、ステップＳ１０９へ処理を戻して、正解距離との差ΔＲを距離差しきい値ｔｈＲと比較していない中心間距離を比較する。
【００５６】
ステップＳ１１１において、ＥＣＵ１０６は、運転者が脇見をしていると判断する。ＥＣＵ１０６は、ステップＳ１１１の処理を完了すると、ステップＳ１０１へ処理を戻す。
【００５７】
以上が、本実施形態に係る脇見検出装置１の説明である。本発明では、運転席に着座している運転者がカメラ１０１に対して顔面を正対させると、上述したように、運転者の顔面で正反射した光源１０２の近赤外光の反射光をカメラ１０１で受光できる。このとき、カメラ１０１で撮像される顔画像には、略円形状をしており、相対的に高くばらつきのない輝度で上述した反射箇所が表示されると考えられる。そして、運転者がカメラ１０１に対して顔面を正対させているときとは、運転者が脇見をしているときと考えられる。そこで、本発明に係るＥＣＵ１０６は、まず、顔画像から反射箇所を検出するために、ステップＳ１０５〜ステップＳ１０６の処理で円形ハフ変換処理をして顔画像から略円形状のエッジを近似する円を検出する。
【００５８】
そして、ＥＣＵ１０６は、輝度が相対的に高くばらつきのない円に含まれる画素を顔画像上で検出する。このために、ＥＣＵ１０６は、ステップＳ１０７の処理をして、既に検出した円の領域に含まれる顔画像の画素の輝度値の分散、及び平均をそれぞれ分散しきい値、及び平均しきい値と比較する。これにより、ＥＣＵ１０６は、顔画像上の反射箇所であるか否かを判断するための候補となる円を選択することができる。
【００５９】
また、本発明における反射箇所は運転者が着用している眼鏡のレンズ上での反射箇所を主に想定しているため、顔画像に撮像されている反射箇所は顔画像において略水平に並んでいると考えられる。そこで、本発明に係るＥＣＵ１０６は、ステップＳ１０８において、反射箇所であるか否かを判断する円を、ステップＳ１０７で選択した候補の中から特定するために、まず、それぞれの円の組み合わせの中から互いの円同士の垂直方向の間隔と垂直しきい値とを比較する。そして、垂直しきい値以下の間隔を成す組み合わせの円を特定することにより、反射箇所であるか否かを判断する組み合わせの円をステップＳ１０７で選択した候補の中から特定できる。
【００６０】
ステップＳ１０４では、上述した説明から明らかなように、運転席に着座した運転者の着用している眼鏡における反射箇所の水平方向の間隔として正確な距離が設定される。そこで、ＥＣＵ１０６は、反射箇所であるか否かを判断する組み合わせの円としてステップＳ１０８で特定した全ての組み合わせの円にそれぞれ対応付けられた中心間距離の中から正解距離に相当する中心間距離を発見するためにステップＳ１０９、及びステップＳ１１０の処理をする。
【００６１】
そして、ステップＳ１０９において、中心間距離と正解距離との差ΔＲが距離差しきい値ｔｈＲ未満となると判断したとき、判断した中心間距離が正解距離に相当し、当該中心間距離を成す組み合わせの円が反射箇所であるとして、ステップＳ１１１に処理を進める。
【００６２】
ステップＳ１１１では、中心間距離を成す組み合わせの円が検出された、すなわち、運転者がカメラ１０１に顔面を正対させたときの反射箇所が検出され、運転者が脇見をしていると判断する。以上より、本発明に係る脇見検出装置１は、運転者の脇見を判断できる。
【００６３】
顔画像を用いて運転者の脇見を判断する典型的な脇見検出装置では、顔画像に対して２値化処理、及びエッジ検出処理などをした結果に基づいて運転者の脇見を判断する。しかしながら、眼鏡を着用している運転者がカメラ１０１に顔面を正対させているときには、顔画像における上述した反射箇所の平均的な輝度値が相対的に高くなる。したがって、典型的な脇見検出装置では、眼鏡を着用している運転者がカメラ１０１に顔面を正対させているときには、２値化処理、及びエッジ検出処理などをした結果に基づいて脇見を判断するときの精度が低下してしまい（特に瞼のエッジの検出精度などが低下してしまう）、脇見を判断できない。しかしながら、第１の実施形態に係る脇見検出装置１によれば、運転者がカメラ１０１に顔面を正対させているときに、運転者が脇見をしていると判断できる。
【００６４】
また、第１の実施形態に係る脇見検出装置１によれば、カメラ１０１の光軸と光源１０２の光軸とを略並行にして、カメラ１０１の近辺に光源１０２を配置しているので、運転者の顔の凹凸に起因する影を大きくすることなく、顔画像に基づいて運転者の脇見をより正確に判断できる。
【００６５】
尚、第１の実施形態に係る脇見検出装置１は、眼鏡を着用している運転者がカメラ１０１に顔面を正対させているときに脇見を判断できる。したがって、眼鏡を着用していない運転者の脇見、或いは顔面をカメラ１０１に正対させるときを除く脇見を判断するために、従来周知の脇見を判断する手法を用いてもよい。この場合、例えば、従来周知の方法で運転者が眼鏡を着用しているか否かをまず判断する。そして、運転者が眼鏡を着用していないと判断したときには、従来周知の手法で運転者の脇見を判断する。一方、運転者が眼鏡を着用していると判断したときには、眼鏡を着用している運転者が顔面をカメラ１０１に正対させるときを除く脇見を判断する従来周知の手法で運転者の脇見を判断するのと並行して、第１の実施形態で説明した手法で運転者の脇見を判断するとよい。運転者が眼鏡を着用しているか否かを判断する手法としては、例えば、特開２００８−１９１７８４号公報に記載の手法を用いてもよい。また、運転者の脇見を判断する従来周知の手法としては、例えば、特開２００７−７２５７０号公報に記載の手法を用いてもよい。また、眼鏡を着用している運転者が顔面をカメラ１０１に正対させるときを除く脇見を判断する従来周知の手法としては、例えば、特開２０００−１３７７９２号公報に記載の手法を用いてもよい。
【００６６】
また、他の一実施形態に係る脇見検出装置１では、ステップＳ１１１で運転者が脇見をしていると判断したとき、ＥＣＵ１０６は、警告部１０３に対して警告を発する指示をしてもよい。これにより、ＥＣＵ１０６は、脇見をしている運転者に対して脇見をしていることを知らせて運転者の運転姿勢を正すことができる。
【００６７】
また、第１の実施形態では、ステップＳ１０９、及びステップＳ１１０の処理を繰り返すことにより、ステップＳ１０８で算出した全ての中心間距離について正解距離との差ΔＲを距離差しきい値ｔｈＲと比較していた。しかしながら、他の一実施形態では、ステップＳ１０８で算出した全ての中心間距離の中から正解距離との差ΔＲが距離差しきい値ｔｈＲ未満となる中心間距離をステップＳ１０９で一度に判断してもよい。
【００６８】
また、第１の実施形態では、ステップＳ１０５で抽出したエッジに基づいて、当該エッジの中から略円形状を成すエッジを近似する円を検出するために円形ハフ変換処理をするものとした。しかしながら、他の一実施形態では、従来周知のパターンマッチングを用いて略円形状を成すエッジを近似する円を検出してもよい。
【００６９】
また、第１の実施形態では、カメラ１０１の両脇の近辺に光源１０２を配置するものとした。ここで、光源１０２は、点光源を用いてもよい。また、他の一実施形態では、カメラ１０１の光軸を中心とする近辺の円周上に光源１０２を配置してもよい。光源１０２として点光源を用いる、或いは円周上に光源１０２を配置することにより、眼鏡に映り込む近赤外光を円形状にすることができ、第１の実施形態で脇見を判断するときの精度を高められる。
【００７０】
また、典型的な円形ハフ変換処理では、画像における略円形状のエッジの中からより円に近い順番に予め定められた数だけ当該エッジを近似できる円を検出できる。そして、円形ハフ変換処理をするときに検出するときの円の数は、任意の数であってよい。
【００７１】
また、第１の実施形態では、ＥＣＵ１０６は、距離検出部１０５から取得した距離情報によって示される受光素子毎の相対距離を平均して顔距離を検出するものとした。しかしながら、他の一実施形態では、ＥＣＵ１０６は、距離検出部１０５から取得した距離情報によって示される受光素子毎の相対距離の中で最も近い距離を顔距離として検出してもよい。
【００７２】
また、第１の実施形態では、ステップＳ１０１において自車両の運転席に運転者が着座していると判断したときに、後段へ処理を進めて正解距離を設定するものとした。しかしながら、他の一実施形態では、例えば、運転時間が予め定められた期間を超えたとき、或いは予め定められた時間間隔が経過する度など、他のタイミングで正解距離を設定してもよい。
【００７３】
また、第１の実施形態では、運転者が搭乗したか否かをシートベルトバックルスイッチを用いるものとした。しかしながら、他の一実施形態では、従来着座している搭乗者の荷重を検知するために座席内に設置されている荷重センサを流用して、当該荷重センサで予め定められた重さの荷重を検知したときに運転者が搭乗したと判断してもよい。
【００７４】
以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の一例にすぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
【産業上の利用可能性】
【００７５】
本発明によれば、顔画像に基づいて使用者の脇見を検出することができ、例えば、自動車などの移動体を運転している運転者の脇見を検出するための脇見検出装置などに有用である。
【符号の説明】
【００７６】
１    脇見検出装置
１０１    カメラ
１０２    光源
１０３    警告部
１０４    スイッチ
１０５    距離検出部
１０６    ＥＣＵ
１０７    記憶部
【図１】
2011039687.tif 000003
【図２Ａ】
2011039687.tif 000004
【図２Ｂ】
2011039687.tif 000005
【図３】
2011039687.tif 000006
【図４】
2011039687.tif 000007
【図５Ａ】
2011039687.tif 000008
【図５Ｂ】
2011039687.tif 000009
【図５Ｃ】
2011039687.tif 000010
【図６】
2011039687.tif 000011
【図７Ａ】
2011039687.tif 000012
【図７Ｂ】
2011039687.tif 000013
【図８Ａ】
2011039687.tif 000014
【図８Ｂ】
2011039687.tif 000015