(57)【要約】【課題】  光環境の変化があったとしても、正確に表情認識を行うことが可能な運転者情報認識装置を提供する。【解決手段】  運転者表情認識装置１は、顔画像撮像部１０と、濃度状態均質部２０と、運転者表情認識部３０とを備えている。顔画像撮像部１０は、運転者の顔の画像を撮像し、濃度状態均質部２０は、撮像によって得られた顔画像について、濃度状態を均質にする。運転者表情認識部３０は、濃度状態が均質にされた画像からオプティカルフローを求め、求めたオプティカルフローに基づいて運転者の表情を認識する。【選択図】      図１
2005182375.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段による撮像によって得られた顔画像について、濃度状態を均質にする濃度状態均質手段と、
前記濃度状態均質手段によって濃度状態が均質にされた画像からオプティカルフローを求め、求めたオプティカルフローに基づいて運転者の表情を認識する表情認識手段と、
を備えることを特徴とする運転者表情認識装置。
【請求項２】
前記濃度状態均質手段は、前記顔画像のうち、表情認識の際にオプティカルフローを求める必要がある部分について濃度状態を均質にすることを特徴とする請求項１に記載の運転者表情認識装置。
【請求項３】
前記濃度状態均質手段は、
前記顔画像撮像手段による撮像によって得られた顔画像の濃度値についてヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段により算出されたヒストグラムから、統計的に棄却されるべき異常値を除いたうえで、濃度の最大値及び最小値を算出する最大値最小値算出手段と、
前記最大値最小値算出手段により算出された濃度の最大値及び最小値に基づいて、コントラストを強調するように濃度変換を行う濃度変換手段と、
を有することを特徴とする請求項１又は請求項２のいずれかに記載の運転者表情認識装置。
【請求項４】
前記濃度変換手段は、コントラストを強調するにあたり、濃度変換用のルックアップデータを作成することを特徴とする請求項３に記載の運転者表情認識装置。
【請求項５】
撮像時の光環境が異なる場合であっても各顔画像の平均の濃度値が同じとなるように、運転者の顔を撮像して得られた顔画像の濃度状態を均質にし、均質にした画像からオプティカルフローを求め、そのオプティカルフローに基づいて運転者の表情を認識することを特徴とする運転者表情認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者表情認識装置に関する。
【背景技術】
【０００２】
従来、運転者の顔画像を取得して画像処理を行うことにより、運転者の表情を認識する装置が知られている。この装置では、学習及び認識の２つの処理が行われている。まず、学習時においては、時系列的に取得した顔画像に基づいて、顔の表皮の動きをオプティカルフローデータとして取り出す。その後、取り出したオプティカルフローの１次及び２次の統計量パターンから識別有効基準量を計算して各表情を識別する特徴ベクトルを決定する。次いで、標準表情特徴ベクトルとしてデータベースに登録する。
【０００３】
そして、認識時には、認識対象となる顔画像から上記と同様にして特徴ベクトルを取得する。次いで、取得した特徴ベクトルとデータベースに登録されている各表情の標準表情特徴ベクトルとを比較して、運転者の表情を判定する。（例えば特許文献１参照）
【特許文献１】特開平４−３４２０７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、車両走行時における車室内の光環境は、リアルタイムに且つ大きく変化することがある。しかし、従来装置では、光環境が変化した場合、運転者の顔画像の濃度値が大きく変化してしまうこととなり、オプティカルフローを正常に算出できなくなってしまう。そして、オプティカルフローを正常に算出できなくなることから、表情の認識についても正常に行えなくなってしまう。
【０００５】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、光環境の変化があったとしても、正確に表情認識を行うことが可能な運転者情報認識装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の運転者表情認識装置は、顔画像撮像手段と、濃度状態均質手段と、表情認識手段とを備えている。顔画像撮像手段は、運転者の顔の画像を撮像し、濃度状態均質手段は、顔画像撮像手段による撮像によって得られた顔画像について、濃度状態を均質にする。表情認識手段は、濃度状態均質手段によって濃度状態が均質にされた画像からオプティカルフローを求め、求めたオプティカルフローに基づいて運転者の表情を認識する。
【発明の効果】
【０００７】
本発明によれば、運転者の顔を撮像して得られた顔画像について濃度状態を均質にするので、光環境の変化があったとしても、その変化による影響の少ない画像を得ることができる。
【０００８】
また、均質にされた画像からオプティカルフローを求めるので、光環境の変化による影響が少ない画像からオプティカルフローを求めるととなり、精度良くオプティカルフローを算出できることとなる。
【０００９】
そして、求めたオプティカルフローに基づいて表情認識を行うので、精度の良いオプティカルフローに基づいて運転者の表情を認識することとなり、表情の認識を正確に行うことができる。
【００１０】
従って、光環境の変化があったとしても、正確に表情認識を行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１２】
図１は、本発明の実施形態に係る運転者表情認識装置の構成図である。同図に示すように、本実施形態の運転者表情認識装置１は、運転者の表情を認識するものであって、顔画像撮像部（顔画像撮像手段）１０を備えている。また、運転者表情認識装置１は、濃度状態均質部（濃度状態均質手段）２０と、運転者表情認識部（表情認識手段）３０とを備えている。
【００１３】
顔画像撮像部１０は、運転者の顔を撮像するものであって、撮像により得られた顔画像のデータを、濃度状態均質部２０に送出する構成とされている。濃度状態均質部２０は、顔画像撮像部１０での撮像によって得られた顔画像について濃度状態を均質にするものである。
【００１４】
運転者表情認識部３０は、均質にされた画像からオプティカルフローを求めるものである。具体的に運転者表情認識部３０は、時系列に連続する少なくとも２枚の画像から、濃度差に基づいて、オプティカルフローを求めるものである。また、運転者表情認識部３０は、求めたオプティカルフローに基づいて運転者の表情を認識するものである。
【００１５】
ここで、濃度状態均質部２０が行う均質化について説明する。まず、顔画像撮像部１０によって得られる顔画像の濃度は、顔部位などのうち反射率が低い部分（例えば眉毛などの黒い部分）において低い値を示すこととなる。そして、運転者表情認識部３０は、例えば濃度値が低い部分からオプティカルフローを求める。具体的に、運転者表情認識部３０は、２枚の連続する画像のうち、一方から濃度値が低い部分を検出し、他方からその低い濃度値に適合する部分を検出することで、オプティカルフローを求める。
【００１６】
ところが、顔画像は、周囲の光量が少なく又は多くなった場合に、濃度値に大きな変化をきたす。すなわち、顔画像の濃度値は、周囲が明るいときに全体的に高い値を示すものとなり、周囲が暗いときに全体的に低い値を示すものとなってしまう。このため、２枚の連続する画像のうち、一方の画像取得時に周囲の光環境に変化がった場合には、双方の画像の全体的な濃度値が大きく異なってしまう可能性がある。そして、このような場合、全体的な濃度値が大きく異なることから、濃度差に基づいてオプティカルフローを求めることが困難となる。
【００１７】
より具体的に説明する。図２は、濃度値の変化を示す説明図であり、（ａ）はトンネルに進入する場合の例を示し、（ｂ）は照明が交互に設置されるトンネル内や木漏れ日が車両に差し込む場所を走行している場合の例を示している。また、（ｃ）はトンネル内を退出する場合の例を示している。なお、図２の各図においては、縦軸に顔画像の平均濃度値を示し、横軸に時間を示しているものとする。また、図２（ｃ）は、より詳細にはトンネル内から退出する過程において一度明るすぎる場所を経由した場合を示しているものとする。
【００１８】
まず、図２（ａ）に示すように、トンネルへの進入など、明るい場所から暗い場所に車両が移動する場合、当初顔画像の平均濃度値は高い値を示しているが、トンネルへの進入に伴い低い値を示すようになる。また、図２（ｂ）に示すように、照明が交互に設置されるトンネル内や木漏れ日が車両に差し込む場所を走行している場合には、平均濃度値は波状に変化する。
【００１９】
さらに、図２（ｃ）に示す例の場合、当初平均濃度値は低い値を示している。ところが、明る過ぎる場所に移動することにより、平均濃度値は急激に上昇する。そして、光環境が明るすぎる場所を通過すると、平均濃度値は通常の値を示すようになる。
【００２０】
このように、車両内における光環境は走行場所等によって大きく変化する。そこで、濃度状態均質部２０は、このような周囲の光環境の変化に応じて、画像の全体的な濃度値を、すべての画像において同程度となるように、顔画像の均質化を行う。すなわち、濃度状態均質部２０は、オプティカルフローを好適に求めることができるように、得られた顔画像の濃度状態を、或る基準となる濃度状態となるようにする。このように、顔画像の濃度状態を或る基準とすることにより、一方の顔画像が他方の顔画像に比して全体的に暗い（又は明るい）ものとなったとしても、オプティカルフローの正確な検出が可能となる。
【００２１】
再度、図１を参照する。上記濃度状態均質部２０は、具体的に、ヒストグラム算出部（ヒストグラム算出手段）２１と、最大値最小値算出部（最大値最小値算出手段）２２と、画素濃度変換部（画素濃度変換手段）２３とを有している。
【００２２】
ヒストグラム算出部２１は、顔画像撮像部１０による撮像によって得られた顔画像のデータを入力するものである。また、ヒストグラム算出部２１は、入力した顔画像の濃度値についてヒストグラムを作成するものである。すなわち、ヒストグラム算出部２１は、顔画像の各画素の濃度値について度数分布を作成するものである。
【００２３】
最大値最小値算出部２２は、ヒストグラム算出部２１によって算出されたヒストグラムから、濃度の最大値及び最小値を算出するものである。また、最大値最小値算出部２２は、濃度の最大値及び最小値を、統計的に棄却されるべき異常値を除いたうえで、算出するものである。
【００２４】
画素濃度変換部２３は、最大値最小値算出部２２により算出された最大値及び最小値に基づいて、コントラストを強調するように濃度変換を行うものである。例えば、画素濃度変換部２３は、２５６階調のうち最大値が「１７８」であって最小値が「１２８」であった場合、最大値である「１７８」を濃度値「２５５」となるように、最小値である「１２８」を濃度値「０」となるように強調するものである。
【００２５】
次に、運転者表情認識装置１の動作の概略を説明する。まず、顔画像撮像部１０は、運転者の顔を撮像し、得られた顔画像のデータを濃度状態均質部２０に送信する。そして、濃度状態均質部２０は、顔画像のデータを入力する。このとき、得られた顔画像は、画像全体の濃度値が暗すぎるなど、望ましいものでない可能性がある。このため、濃度状態均質部２０は、濃度状態を均質にする。
【００２６】
均質にするにあたっては、まず、ヒストグラム算出部２１が、顔画像の濃度値についてヒストグラムを作成する。図３は、ヒストグラム算出部２１によるヒストグラムの算出の様子を示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示し、（ｃ）は光環境が悪く、明るすぎる場合を示している。
【００２７】
まず、図３（ａ）に示すように、光環境が良好である場合、運転者の顔は、暗すぎることも明るすぎることもない状態で撮像される。このため、ヒストグラム算出部２１は、ピーク値が濃度値「１２８」付近に位置するヒストグラムを算出する。なお、図３（ａ）においては簡略化のためヒストグラムを正規分布で示すものとする。また、図３（ｂ）及び（ｃ）も同様である。
【００２８】
次に、光環境が悪化して周囲が暗くなった場合、図３（ｂ）に示すように、運転者の顔は、暗すぎる状態で撮像される。このため、ヒストグラム算出部２１は、光環境が良好であるときに比べ、ピーク値が濃度値「０」側に偏ったヒストグラムを算出することとなる。
【００２９】
また、光環境が悪化して周囲が明るくなった場合、図３（ｃ）に示すように、運転者の顔は、明るすぎる状態で撮像される。このため、ヒストグラム算出部２１は、光環境が良好であるときに比べ、ピーク値が濃度値「２５５」側に偏ったヒストグラムを算出することとなる。
【００３０】
このように、ヒストグラム算出部２１は、顔画像の濃度値についてヒストグラムを算出する。なお、図３（ａ）〜（ｃ）では、ヒストグラムを正規分布で示していることから、ヒストグラムの形状が同じになっている。ところが、実際に運転者の顔を撮像した場合であっても、得られるヒストグラムの形状は同じようになる。実際に運転者の顔を撮像した場合、撮影対象である運転者が変わらない限り、顔の特徴は同じであるため、ヒストグラムの形状が同じようになる。
【００３１】
ヒストグラムの算出後、ヒストグラム算出部２１は、算出データを最大値最小値算出部２２に送信する。最大値最小値算出部２２は、統計的に棄却されるべき異常値を除いて、最大値及び最小値を算出する。ここで、統計的に棄却されるべき異常値とは、例えば、平均値及び標準偏差から定まる範囲外の値である。図４を参照して具体的に説明する。
【００３２】
図４は、最大値最小値算出部２２の動作を示す説明図である。最大値最小値算出部２２は、ヒストグラムのデータを入力すると、図４に示すように、統計的に棄却されるべき異常値を除く処理を行う。例えば、最大値最小値算出部２２は、μ±２σ（μは濃度値の平均を示し、σは標準偏差を示している）の範囲外の濃度値を異常値として除く。このとき、異常値を除いた正常値には、もとのデータの９５％が含まれることとなる。
【００３３】
そして、最大値最小値算出部２２は、異常値を除いたうえで、最大値及び最小値を算出する。すなわち、図４では、「ｍｉｎ」及び「ｍａｘ」に該当する個所の濃度値を算出することとなる。そして、最大値最小値算出部２２は、ヒストグラムのデータと、最大値及び最小値のデータとを画素濃度変換部２３に送信する。
【００３４】
図５は、最大値最小値算出部２２の動作を示す説明図である。画素濃度変換部２３は、ヒストグラムのデータと、最大値及び最小値のデータとを入力すると、最大値及び最小値に基づいて濃度変換を行う。このとき、画素濃度変換部２３は、最大値及び最小値に基づいて、コントラストを強調するように濃度変換を行う。
【００３５】
すなわち、図５に示すように、画素濃度変換部２３は、最大値を濃度値「２５５」とし、最小値を濃度値「０」となるように拡大処理を行う。これにより、どのような光環境であっても、濃度変換後のヒストグラムは、同じような形状を示すこととなる。
【００３６】
ここで、最大値最小値算出部２２及び画素濃度変換部２３による動作を詳細に説明する。図６は、最大値最小値算出部２２及び画素濃度変換部２３の詳細動作を示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示し、（ｃ）は光環境が悪く、明るすぎる場合を示している。なお、各図において破線で示す正規分布は、濃度変換を行っていない状態での顔画像のヒストグラムを示している。
【００３７】
まず、光環境が良好である場合、図６（ａ）から明らかなように、また図３（ａ）に示したように、ヒストグラムは、ピーク値が濃度値「１２８」付近に位置するものとなる。このとき、統計的でなく異常値を除いた場合、及び統計的に異常値を除いた場合の双方において、変換後のヒストグラムはほぼ同じものとなる。
【００３８】
ところが、光環境が悪化している場合には、統計的でなく異常値を除いたときと、統計的に異常値を除いたときとでは、変換後のヒストグラムは異なったものとなる。以下、説明する。
【００３９】
光環境が悪化して周囲が暗くなった場合、図６（ｂ）から明らかなように、また図３（ｂ）に示したように、ヒストグラムは、ピーク値が濃度値「０」に偏ったものとなる。このとき、統計的でなく異常値を除く処理及びコントラストを強調する処理を行ったとすると、次のようになる。
【００４０】
すなわち、統計的でなく異常値を除く例として、例えば、従来から行われているコントラスト強調処理がある。この処理では、まず、コントラストを強調する。その後、濃度値の一定幅分だけを採用するようにしている。すなわち、コントラスト強調した後に、例えば、濃度値「０」から濃度値「２２５」や、濃度値「３０」から濃度値「２５５」のように、「２２６」分だけの濃度値採用するようにして、他を棄却するようにしている。なお、この幅は一定のものであり、いずれの濃度値を採用するかは、コントラスト調整メモリによって調整が可能とされている。そして、上記処理を行った後に、得られるヒストグラムは、図６（ｂ）に示すように、濃度値「０」側に偏る傾向がある。このため、上記処理を行うと、図６（ａ）の場合と図６（ｂ）の場合とで変換後のヒストグラムが相違し、均質にされているとはいえない。
【００４１】
一方、統計的に異常値を除いた場合、例えばμ±２σの範囲外の濃度値を異常値として除いたとする。この場合、光環境が良好なときと、悪化しているときとでは、顔画像全体の平均濃度値が異なるだけで、ヒストグラムの形状は同じである。このため、異常値として除かれる範囲は、図６（ａ）の場合と図６（ｂ）の場合とでは、同じであるといえる。故に、変換後のヒストグラムは同じ形状となり、均質にされているといえる。
【００４２】
また、図６（ｃ）の場合も同様である。すなわち、光環境が悪化している場合に、統計的でなく異常値を除いたとすると、変換後のヒストグラムは図６（ａ）に示したものと異なったものとなる。すなわち、濃度状態が均質にされているとはいえない。ところが、統計的に異常値を除いた場合、変換後のヒストグラムは図６（ａ）に示したものと同じであり、均質にされているといえる。
【００４３】
また、画素濃度変換部２３は、濃度変換の際に、ルックアップデータを作成する。ルックアップデータとは、変換前の濃度値から変換後の濃度値を求めるための計算式である。画素濃度変換部２３は、この計算式に返還前の画素毎の濃度値を当てはめて変換後の濃度値を求めることとなる。これにより、画素濃度変換部２３は、変換後の濃度値を容易に得ることができる。
【００４４】
具体的に、ルックアップデータは図７に示すようなものである。図７は、ルックアップデータの一例を示す説明図である。同図に示すように、ルックアップデータは、最大値最小値算出部２２により算出された最大値が変換後に濃度値「２５５」とされ、最小値が変換後に濃度値「０」とされるような計算式となっている。
【００４５】
具体的に、ルックアップデータは、
(数１)
ｚ’＝｛２５５／（ｍａｘ−ｍｉｎ）｝×（ｚ−ｍｉｎ）
となっている。ここで、ルックアップデータは、コントラストを一部の濃度値についてのみ強調することなく、均等に強調するように、比例式となっている。なお、上記式において、ｍａｘは最大値であり、ｍｉｎは最小値である。また、ｚは変換前の濃度値を示し、ｚ’は変換後の濃度値を示している。
【００４６】
この式から明らかなように、変換後の濃度値の最大の値は「２５５」と定められており、最小の値は「０」と定められている。さらに、変換式はコントラストを均等に強調するように、比例式となる。このため、画素濃度変換部２３は、最大値最小値算出部２２により最大値と最小値とが求められると、ルックアップデータを作成できるようになり、ルックアップデータの作成後、このデータに従って濃度変換処理を実行することとなる。
【００４７】
以上のようにして、濃度状態均質部２０は、光環境に関わらず、顔画像を均質なものとする。その後、濃度状態均質部２０は、均質にされた画像を運転者表情認識部３０に送信する。
【００４８】
そして、運転者表情認識部３０は、オプティカルフローを求めて、求めたオプティカルフローに基づいて運転者の表情を認識することとなる。
【００４９】
次に、本実施形態に係る運転者表情認識装置１の具体例を説明する。図８は、実施形態に係る運転者表情認識装置１を車両に搭載した場合のハード構成図である。
【００５０】
同図に示すように、顔画像撮像部１０としてのＴＶカメラ２が自動車のインストルメント上に設けられている。このＴＶカメラ２は、運転者の顔全体を一画像内に収めることができる画角を有している。また、ＴＶカメラ２は運転者を略正面から撮像できる位置に設置されている。
【００５１】
また、ＴＶカメラ２にて取得された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ（以下マイコンという）３に画像データとして入力される。
【００５２】
マイコン３には、濃度状態均質部２０及び運転者表情認識部３０を構成するプログラムロジックがプログラミングされている。なお、濃度状態均質部２０のプログラムロジックは、ヒストグラム算出部２１、最大値最小値算出部２２及び画素濃度変換部２３のそれぞれのロジックを含むものである。
【００５３】
次に、上記運転者表情認識装置１の詳細動作を説明する。図９は、図８に示した運転者表情認識装置１の基本動作を示すフローチャートである。同図に示すように、まず、処理が開始されると、マイコン３は、顔画像の撮像処理を実行する（ＳＴ１）。これにより、ＴＶカメラ２は、運転者の顔を撮像する。
【００５４】
その後、マイコン３は、顔画像の均質化処理を実行する（ＳＴ２）。このステップＳＴ２の処理は、図１にて説明した濃度状態均質部２０にて行われる処理である。すなわち、マイコン３は、濃度状態均質部２０に相当するプログラムを実行することとなる。これにより、撮像された顔画像は、光環境の影響が除去された均質なものとされる。
【００５５】
その後、マイコン３は、均質化処理された画像を現フレーム画像メモリに保管する（ＳＴ３）。そして、マイコン３は、前フレーム画像メモリに画像が保管されているか否かを判断する（ＳＴ４）。保管されていないと判断した場合（ＳＴ４：ＮＯ）、マイコン３は、現フレーム画像メモリに保管されている画像を、前フレーム画像メモリに保管する（ＳＴ６）。そして、処理はステップＳＴ１に戻る。
【００５６】
一方、保管されていると判断した場合（ＳＴ４：ＮＯ）、マイコン３は、運転者表情認識処理を実行する（ＳＴ５）。この処理は、図１にて説明した運転者表情認識部３０にて行われる処理である。すなわち、マイコン３は、運転者表情認識部３０に相当するプログラムを実行することとなる。これにより、運転者の表情が認識されることとなる。その後、処理はステップＳＴ６を経て、ステップＳＴ１に戻ることとなる。
【００５７】
そして、マイコン３は、電源がオフされるまで、上記のステップＳＴ１〜ＳＴ６の処理を繰り返していくこととなる。
【００５８】
次に、顔画像の均質化処理（ステップＳＴ２）について詳細に説明する。図１０は、図９に示した顔画像の均質化処理（ステップＳＴ２）の詳細なフローチャートである。
【００５９】
まず、マイコン３は、ヒストグラム作成処理を実行する（ＳＴ２１）。ここで、ステップＳＴ２１の処理は、図１にて説明したヒストグラム算出部２１にて行われる処理である。すなわち、マイコン３は、ヒストグラム算出部２１に相当するプログラムを実行することとなる。そして、マイコン３は、図３を参照して説明したのと同様にして、ヒストグラムを算出することとなる。
【００６０】
その後、マイコン３は、最大値最小値算出処理を実行する（ＳＴ２２）。ここで、ステップＳＴ２２の処理は、図１にて説明した最大値最小値算出部２２にて行われる処理である。すなわち、マイコン３は、最大値最小値算出部２２に相当するプログラムを実行することとなる。そして、マイコン３は、図４を参照して説明したのと同様にして、最大値及び最小値を算出することとなる。
【００６１】
その後、マイコン３は、ルックアップデータの作成を行う（ＳＴ２３）。次いで、マイコン３は、ルックアップデータに従って、画像の濃度変換処理を実行する（ＳＴ２４）。ここで、これら処理は、図１にて説明した画素濃度変換部２３にて行われる処理である。すなわち、マイコン３は、画素濃度変換部２３に相当するプログラムを実行することとなる。そして、マイコン３は、図７に示したものと同様のルックアップデータを作成し、作成後、図５を参照して説明したのと同様にして、濃度変換を行うこととなる。その後、処理は図９に示したステップＳＴ３に戻ることとなる。
【００６２】
以上により、顔画像は均質にされることとなり、後の処理においてオプティカルフローの検出が正確に行われることとなる。
【００６３】
次に、運転者表情認識処理（図９：ＳＴ５）を説明する。図１１は、図９に示した運転者表情認識処理（ＳＴ５）の詳細なフローチャートである。なお、図１１に示す処理は、特開平４ー３４２０７８号公報に示される処理と同様のものである。
【００６４】
まず、マイコン３は、オプティカルフローの算出処理を実行する（ＳＴ５１）。ここで、この処理は、図９のステップＳＴ４に示されるように、前フレーム画像メモリに画像が保管されている場合に実行される。すなわち、マイコン３は、この処理において、前フレーム画像メモリに保管される画像と、現フレーム画像メモリに保管される画像とから、オプティカルフローを求めることとなる。
【００６５】
オプティカルフローは、上記したように、２枚の画像の濃度差から求められる。また、この時点において、画像は均質化されており、濃度差からオプティカルフローを求めるにあたって、適したものとなっている。故に、ステップＳＴ５１の処理において、正確なオプティカルフローが求められることとなる。
【００６６】
その後、マイコン３は、表情データベースとの照合処理を実行する（ＳＴ５２）。ここで、運転者表情認識装置１は、運転者の表情を認識する前に、予め複数の表情について表情パターンの情報を記憶している。このため、この処理においてマイコン３は、予め記憶される複数の表情パターンと、求めたオプティカルフローとを照合し、複数の表情パターンから最も適切なものを選択する。そして、マイコン３は、選択したものを運転者の表情と認識する。
【００６７】
その後、処理は、図９に示したステップＳＴ９に移行することとなる。なお、上記実施形態において、顔画像の均質化は、顔画像の全体に対して行っているが、これに限るものではない。例えば、表情を認識するにあたり、眉毛、眼、口、頬などのオプティカルフローが必要である場合には、それら顔部位に該当する部分について濃度状態を均質にするようにしてもよい。
【００６８】
このようにして、実施形態に係る運転者表情認識装置１によれば、運転者の顔を撮像して得られた顔画像について濃度状態を均質にするので、光環境の変化があったとしても、その変化による影響の少ない画像を得ることができる。
【００６９】
また、均質にされた画像からオプティカルフローを求めるので、光環境の変化による影響が少ない画像からオプティカルフローを求めるととなり、精度良くオプティカルフローを算出できることとなる。
【００７０】
そして、求めたオプティカルフローに基づいて表情認識を行うので、精度の良いオプティカルフローに基づいて運転者の表情を認識することとなり、表情の認識を正確に行うことができる。
【００７１】
従って、光環境の変化があったとしても、正確に表情認識を行うことができる。
【００７２】
また、顔画像のうち、表情認識の際にオプティカルフローを求める必要がある部分について濃度状態を均質にするので、処理速度の向上を図ることができる。
【００７３】
また、顔画像の濃度値についてヒストグラムを算出し、そのヒストグラムから異常値を除いて最大値及び最小値を求めるので、顔画像中における正常な濃度値の最大値及び最小値を求めることとなる。このとき、異常値は統計的に棄却されるべきものとして除かれる。このため、光環境の変化によって影響を受けることなく、異常値を除くことができる。例えば、２５６階調のうち、濃度値「０」から「３０」までの範囲を異常値として除くと決定していた場合、周囲環境が暗くなったときには、多くの画素が異常な濃度値を有するとして除かれることとなる。ところが、統計的に、具体的にはμ±２σの範囲外の濃度値を異常値として除くことにより、光環境の変化があったとしても影響を受けにくくすることができる。
【００７４】
そして、異常値を除いた後にコントラストを強調するので、光環境に影響なく且つ正常な濃度値のコントラストが強調されることとなる。このとき、コントラストは最大値及び最小値に基づいて強調される。具体的には、最大値を「２５５」となるように、また、最小値を「０」となるように強調する。すなわち、例えば、濃度値「０」から「３０」までの範囲を異常値として除くと決定していた場合には、周囲環境が暗くなったときに多くの画素が異常値を有するとして除かれるため、コントラストを強調したとしても強調後の濃度分布は濃度値の低い側に偏ったものとなってしまう。ところが、統計的に異常値を除いているため、具体的にはμ±２σの範囲外の濃度値を異常値として除いているため、強調処理を行ったとしても、濃度分布は片側に偏ったものとならないようになっている。
【００７５】
以上から、光環境によらず取得した顔画像を正確に均質とすることができる。
【００７６】
また、濃度の最大値及び最小値に基づいて、濃度編慣用のルックアップデータを作成するので、データ作成後には、そのデータと濃度変換前の濃度値データとを対応付けることで容易に濃度変換を行うことができる。
【００７７】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、車両の運転者の表情を認識する場合を例に説明したが、これに限らず、鉄道、船舶などの運転者の表情認識に用いるようにしてもよい。
【００７８】
また、上記実施形態では、顔画像を均質にするにあたり、ヒストグラムの作成、最大値及び最小値の算出、コントラストの強調、という処理を行っているが、これに限られるものではない。例えば、ヒストグラムの形状が、車室内が暗い場合と明るい場合とで、ほぼ同じになることから、単にヒストグラムをスライドさせるようにしてもよい。
【００７９】
例えば、図６（ｂ）に示す顔画像のヒストグラムが、図６（ａ）に示す顔画像のヒストグラムに一致するように、図６（ｂ）に示す顔画像の各画素の濃度値を全体的に高くするようにしてもよい。また、この際には、図６（ｂ）に示す顔画像のヒストグラムの平均値と、図６（ａ）に示す顔画像のヒストグラムの平均値とが一致するようにすればよい。また、平均値に限らず、ピーク値やメジアン値が一致するようにしてもよい。
【００８０】
さらに、上記実施形態において、最大値最小値算出部２２は、μ±２σの範囲外の濃度値を異常値として除いているが、μ±２σの範囲外に限らずμ±σの範囲外などであってもよい。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施形態に係る運転者表情認識装置の構成図である。
【図２】濃度値の変化を示す説明図であり、（ａ）はトンネルに進入する場合の例を示し、（ｂ）は照明が交互に設置されるトンネル内や木漏れ日が車両に差し込む場所を走行している場合の例を示し、（ｃ）はトンネル内を退出する場合の例を示している。
【図３】ヒストグラム算出部によるヒストグラムの算出の様子を示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示し、（ｃ）は光環境が悪く、明るすぎる場合を示している。
【図４】最大値最小値算出部の動作を示す説明図である。
【図５】最大値最小値算出部の動作を示す説明図である。
【図６】最大値最小値算出部及び画素濃度変換部の詳細動作を示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示し、（ｃ）は光環境が悪く、明るすぎる場合を示している。
【図７】ルックアップデータの一例を示す説明図である。
【図８】実施形態に係る運転者表情認識装置を車両に搭載した場合のハード構成図である。
【図９】図８に示した運転者表情認識装置の基本動作を示すフローチャートである。
【図１０】図９に示した顔画像の均質化処理（ステップＳＴ２）の詳細なフローチャートである。
【図１１】図９に示した運転者表情認識処理（ＳＴ５）の詳細なフローチャートである。
【符号の説明】
【００８２】
１…運転者表情認識装置
２…ＴＶカメラ
３…マイコン
１０…顔画像撮像部（顔画像撮像手段）
２０…濃度状態均質部（濃度状態均質手段）
２１…ヒストグラム算出部（ヒストグラム算出手段）
２２…最大値最小値算出部（最大値最小値算出手段）
２３…画素濃度変換部（画素濃度変換手段）
３０…運転者表情認識部（表情認識手段）
【図１】
2005182375.tif 000003
【図２】
2005182375.tif 000004
【図３】
2005182375.tif 000005
【図４】
2005182375.tif 000006
【図５】
2005182375.tif 000007
【図６】
2005182375.tif 000008
【図７】
2005182375.tif 000009
【図８】
2005182375.tif 000010
【図９】
2005182375.tif 000011
【図１０】
2005182375.tif 000012
【図１１】
2005182375.tif 000013