(57)【要約】【課題】画像検出部から入力したクロップ画像に対応したクロップエリアを正しく特定することができるようにする。【解決手段】画像処理ＥＣＵは、ＤＳＭから出力されたクロップ画像と当該クロップ画像に埋込まれたクロップエリアの開始座標に基づいて運転者の顔の中心位置がクロップ画像の中心位置となるようにＤＳＭにクロップエリアを設定すると共に（Ｓ１〜Ｓ４）、クロップ画像に基づいて運転者の視線方向を認識する（Ｓ７）。これにより、運転者の姿勢が崩れた場合であっても運転者の視線方向を正しく認識することができる。【選択図】図１０
2020155835.tif 000002
【特許請求の範囲】
【請求項１】
設定されたクロップエリアに基づいて結像画像から切抜いたクロップ画像と前記クロップエリアを示すクロップ情報とを出力する画像検出部（４）と、
前記画像検出部から入力した前記クロップ画像と前記クロップ情報とに基づいて運転者の顔の中心位置が前記クロップ画像の中心位置となるように前記画像検出部に前記クロップエリアを設定すると共に、前記クロップ画像に基づいて運転者の状態を監視する状態監視部（３）と、
を備えた運転者の状態監視装置。
【請求項２】
前記クロップ情報は、前記クロップエリアの開始座標を少なくとも含んでいる請求項１に記載の運転者の状態監視装置。
【請求項３】
前記画像検出部は、前記クロップ情報を前記クロップ画像に埋込む請求項１または２に記載の運転者の状態監視装置。
【請求項４】
前記画像検出部は、前記クロップ画像に基づいて運転者の顔認識を行う請求項１から３のいずれか一項に記載の運転者の状態監視装置。
【請求項５】
前記状態監視部は、画素データを間引くことでリサイズされた前記クロップ画像に基づいて運転者の顔認識を行う請求項４に記載の運転者の状態監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の状態監視装置に関する。
【背景技術】
【０００２】
近年、運転者をカメラで撮影し、運転者の視線方向などの状態を監視し、運転に支障を生じると判定した場合は運転者に注意を喚起することが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６２９５４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
運転者の顔の位置は運転者の姿勢により移動することから、カメラによる撮影範囲を運転者の顔の移動範囲を含むように比較的大きく設定する必要がある。このため、カメラから出力される結像画像の１フレームの画素数が大きくなることから、状態監視装置の処理負荷が増大する。
【０００５】
ところで、特許文献１で示されるようにビデオカメラ等には被写体追従機能を備えたものが提供されている。この被写体追従機能は、結像画像から撮影対象を切抜いて追従するものである。この被写体追従機能をカメラに用いれば、結像画像から運転者の顔を切抜いた画素数の少ない画像を処理すればよいので、結像画像全体を処理する場合に比較して状態監視装置の処理負荷を軽減することができる。
【０００６】
ところが、被写体追従機能では、カメラから入力した画像が結像画像のどの部分から取得したかを切抜いた画像そのものからは分からないという問題がある。つまり、切抜いた画像では、常に切抜いた画像の中心となるように被写体が撮影されるため、運転者の顔の位置がフレーム毎に分からず、運転者の姿勢が崩れていても検知できないという問題が発生する。このように運転者の姿勢が崩れていた場合には、例えば運転者の視線方向に基づいて運転者のわき見を判断する場合に正しく判断することが困難となる。
【０００７】
そこで、イメージセンサを内蔵した画像検出ＩＣとしてクロップ機能を備えたものがあることに着目し、そのクロップ機能を利用して運転者の顔が中心となるようにクロップエリアを設定することで結像画像からクロップ画像を切抜くことが考えられる。これにより、画像検出ＩＣに設定したクロップエリアに基づいて運転者の顔の位置を特定することができるので、運転者の視線方向を正しく認識することができる。
【０００８】
しかしながら、画像検出ＩＣにクロップエリアを設定するにしても、クロップエリアを設定してから当該クロップエリアに対応したクロップ画像が画像検出ＩＣから出力されるまでに遅れが生じることは避けられない。このため、画像検出ＩＣにクロップエリアを設定し、入力したクロップ画像はクロップエリアに対応しているものとして運転者の顔の位置を特定すると、運転者の顔が短時間で移動した場合には、特定した顔の位置から実際の顔の位置がずれていることがあり、運転者の視線方向を正しく認識できないことが想定される。
【０００９】
本発明は上記事情に鑑みてなされたもので、その目的は、画像検出部から入力したクロップ画像に対応したクロップエリアを正しく特定することができる運転者の状態監視装置を提供することにある。
【課題を解決するための手段】
【００１０】
請求項１の発明によれば、画像検出部（４）は、設定されたクロップエリアに基づいて結像画像から切抜いたクロップ画像とクロップエリアを示すクロップ情報とを出力する。状態監視部（３）は、画像検出部（４）から入力したクロップ画像とクロップ情報とに基づいて運転者の顔の中心位置がクロップ画像の中心位置となるように画像検出部（４）にクロップエリアを設定すると共に、クロップ画像に基づいて運転者の状態を監視する。
【図面の簡単な説明】
【００１１】
【図１】一実施形態における全体構成を概略的に示すブロック図
【図２】運転者とＤＳＭと画像処理ＥＣＵとを概略的に示す図
【図３】レジスタ値を示す図
【図４】クロップエリアを示す図
【図５】クロップエリアの先頭行の埋込まれたレジスタ値を示す図
【図６】クロップエリアを示す図
【図７】クロップエリアの移動を示す図
【図８】クロップ画像からリサイズした画像を示す図
【図９】運転者の顔の中心位置が大きく移動した状態でのクロップエリアを示す図
【図１０】画像処理ＥＣＵの動作を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、ＤＳＭ（ドライバーステータスモニタ）に適用した一実施形態について図面を参照して説明する。
図２に示すように、車内において運転者の前方となる部位にはＤＳＭ１（画像検出部に相当）が設置されている。ＤＳＭ１は、例えばＣＡＮ（controller area network、登録商標）を通信プロトコルとする車載ネットワーク２を介して画像処理ＥＣＵ３（状態監視部に相当）と接続されており、撮影した画像を画像処理ＥＣＵ３に出力する。
【００１３】
画像処理ＥＣＵ３は、ＤＳＭ１から入力した画像に基づいて運転者の視線方向などを検出し、運転に支障があると判定した場合は運転者に対して注意を喚起する。ＤＳＭ１と画像処理ＥＣＵ３とから画像処理装置が構成されている。
【００１４】
ＤＳＭ１は、図１に示す画像検出ＩＣ４を主体として構成されている。画像検出ＩＣ４は、２次元のイメージセンサ５と信号処理回路６とから構成されている。イメージセンサ５には図示しない光学系により撮影対象物が結像され、その結像画像を示すフレームを例えば３０ｆｐｓのフレームレートで出力する。
図４に示すようにイメージセンサ５の画素は例えば１６００ｐｉｘｅｌ×１３００ｐｉｘｅｌであるが、これに限定されるものではない。
【００１５】
ＤＳＭ１では撮影対象物は運転者の顔であることから、運転者の顔がイメージセンサ５上に結像するように設定されている。信号処理回路６は、イメージセンサ５から入力する信号に所定の信号処理を施すことで生成した画像を出力する。
【００１６】
信号処理回路６には自己の機能を設定するための複数のレジスタ７が内蔵されている。画像処理ＥＣＵ３から所定のレジスタ７に値を設定することで信号処理回路６の所定の機能を有効／無効としたり、各機能の詳細を設定したりする。所定の機能としてはシャッタ速度やゲイン調整等である。
【００１７】
本実施形態で使用している画像検出ＩＣ４はオムニビジョン社製であり、画像検出ＩＣ４が有する機能として、シャッタ速度やゲイン調整等に加えてクロップ機能を備えている。クロップ機能とは、イメージセンサ５が撮影した結像画像の一部を切抜いてクロップ画像として出力する機能である。クロップ画像の画素数は結像画像に比較して少ないことから、画像処理ＥＣＵ３の処理負荷を軽減することができる。
【００１８】
クロップ機能に関するレジスタ７としては、図３に示すようにクロップ機能の有効／無効、レジスタ値の埋込機能の有効／無効、クロップエリアを示す開始座標、縦サイズ、横サイズを設定したりするために設けられている。
【００１９】
画像検出ＩＣ４は、クロップ機能が有効に設定されている場合は、イメージセンサ５が撮像した結像画像からクロップエリアの画素を切抜いてクロップ画像を作成して出力する。レジスタ値の埋込機能が有効に設定されている場合は、レジスタ７に設定されている開始座標をクロップ情報としてクロップ画像に埋込んで出力する。
【００２０】
ところで、画像処理ＥＣＵ３が画像検出ＩＣ４に対してクロップエリアを設定していることから、画像検出ＩＣ４から入力したクロップ画像はクロップエリアに対応しているはずである。
【００２１】
しかしながら、画像検出ＩＣ４の内部クロックは画像処理ＥＣＵ３から独立して動作していることから、画像処理ＥＣＵ３と非同期で動作している。このため、画像処理ＥＣＵ３から画像検出ＩＣ４にクロップエリアを設定するにしても、そのクロップエリアに対応したクロップ画像が画像検出ＩＣ４から出力されるまでに遅れを生じる。
【００２２】
このようにクロップ画像とクロップエリアとが対応しない場合には、クロップエリアに基づいて運転者の顔の位置を特定するにしても正しく特定できないことになる。このため、運転者の顔の位置に基づいて運転者の視線方向を正しく認識することができない。
【００２３】
そこで、画像検出ＩＣ４が有する機能としてレジスタ値の埋込機能を利用することにした。つまり、上述したようにオムニビジョン社製の画像検出ＩＣ４にはレジスタ値を画素データに埋込む機能を有していることから、その埋込機能を利用する。
【００２４】
以下、レジスタ値の埋込機能について説明する。図４に示すクロップエリアを示すレジスタ値を出力するように画像検出ＩＣ４の所定のレジスタ７に設定した場合は、クロップ画像において破線で示す先頭行に対応した画素データにクロップエリアの開始座標が埋込まれるようになっている。
【００２５】
具体的には、図５に示すようにクロップエリアの先頭行の画素データを例えばＢｙｔｅ  Ｏｒｄｅｒ１〜４８で表すと、斜線で示すＢｙｔｅ  Ｏｒｄｅｒ１、２、５、６、９，１０……は「０ｘ００」が固定されており、それ以外のＢｙｔｅ  Ｏｒｄｅｒ３，４，７，８、１１，１２……にレジスタ値が埋込まれることになる。
【００２６】
クロップエリアの開始座標を（０ｘ００４８、０ｘ００８２）に設定した場合、Ｂｙｔｅ  Ｏｒｄｅｒ３、７、１１に「０ｘ３８」、「０ｘ１０」、「０ｘ００」が埋込まれる。同様に、Ｂｙｔｅ  Ｏｒｄｅｒ１５、１９、２３に「０ｘ３８」、「０ｘ１１」、「０ｘＡ８」が埋込まれ、Ｂｙｔｅ  Ｏｒｄｅｒ２７、３１、３５に「０ｘ３８」、「０ｘ１２」、「０ｘ００」が埋込まれ、Ｂｙｔｅ  Ｏｒｄｅｒ３９、４３、４７に「０ｘ３８」、「０ｘ１３」、「０ｘＢ２」が埋込まれる。
【００２７】
以上のような設定は、レジスタ番地０ｘ３８１０に「０ｘ００」が設定され、レジスタ番地３８１１に「０ｘＡ８」が設定され、レジスタ番地３８１２に「０ｘ００」が設定され、レジスタ番地３８１３に「０ｘＢ２」が設定されていることを示している。
従って、画像処理ＥＣＵ３は、クロップ画像の先頭行に埋込まれているレジスト値を抽出することで入力したクロップ画像に対応したクロップエリアの開始座標を取得することができる。
【００２８】
次に、画像処理ＥＣＵ３の動作について説明する。画像処理ＥＣＵ３は、イグニッションスイッチのＯＮに応じて起動すると、図１０に示すようにＤＳＭ１に対して初期設定する（Ｓ１）。初期設定では、図３に示すクロップ機能の設定するためのレジスタ７とクロップ画像にレジスタ値を埋込むことを設定するためのレジスタ７にそれぞれ有効を設定する。また、クロップエリアを設定するためのレジスタ７にクロップエリアを設定する。
【００２９】
初期設定では、図６に示すようにクロップエリアは初期値が設定される。クロップエリアの初期値としては、画素エリアの中心位置にクロップエリアの中心位置が位置するように設定されている。
【００３０】
画像検出ＩＣ４は、イメージセンサ５の画素エリアから設定されたクロップエリアを切抜き、クロップエリアに対応したクロップ画像の先頭行にレジスタ７に設定されているクロップエリアの開始座標を埋込んでクロップ画像として出力する。この場合、イメージセンサ５には運転者の顔が結像されていることから、運転者の顔がクロップ画像として出力されることになる。
【００３１】
画像処理ＥＣＵ３は、ＤＳＭ１から入力したクロップ画像から顔検出を実施する（Ｓ２）。顔検出するには、例えば目、鼻、口等の特徴点を抽出して行う。このとき、運転者の姿勢が崩れている場合は、顔の中心位置がクロップ画像の中心位置から移動しているので（Ｓ３：ＮＯ）、図７に示すように顔の中心位置がクロップ画像の中心位置となるようにクロップエリアの設定を変更する（Ｓ４）。この場合、本実施形態では、クロップエリアのサイズを固定しているので、画像検出ＩＣ４に内蔵されているレジスタ７の３８１０〜３８１３番地に設定されている開始座標を変更することになる。つまり、図７に示すように顔の中心位置が移動している場合は、移動分だけ開始座標に移動分を加算した値を新規の開始座標として設定する。
【００３２】
このようにして画像処理ＥＣＵ３が画像検出ＩＣ４のレジスタ７の開始座標を変更すると、画像検出ＩＣ４は、変更した開始座標のクロップエリアに対応したクロップ画像に変更した開始座標を埋込んで出力するようになる。
具体的には、図８に示すように１６００×１３００サイズの画素サイズから１２８０×９６０サイズのクロップ画像を切抜くことになる。
【００３３】
尚、図９に示すように結像画像の中心位置から運転者の顔の中心位置が大きく移動しており、クロップ画像の中心位置に運転者の顔の中心位置を位置させることができない場合は、結像画像の角部にクロップ画像の角部が位置するようにクロップエリアを設定する。
【００３４】
以上のようにしてクロップ画像を設定した場合は、顔エリアの明るさが十分かを判定し（Ｓ５）、十分でない場合は（Ｓ５：ＮＯ）、シャッタ速度やゲイン等を画像検出ＩＣ４の所定のレジスタ７に書込むことで調整する（Ｓ６）。顔エリアの明るさが十分になった場合は（Ｓ５：ＹＥＳ）、クロップ画像に基づいて運転者の視線方向を認識する（Ｓ７）。このとき、クロップ画像とクロップエリアの開始座標とから運転者の実際の目の位置を特定することができるので、運転者の実際の視線方向を正しく認識することができる。
【００３５】
ところで、クロップ画像の画素数は結像画像の画素数よりも小さいものの画素のピッチは同一であり、運転者の顔の詳細を判別することが可能であることから、上述したような運転者の視線方向を認識するためにクロップ画像を用いた。
しかしながら、例えばクロップ画像に基づいて顔認識して運転者を識別するような場合には画素数が多いことから、画像処理ＥＣＵ３の処理負荷が大きい。
【００３６】
そこで、画像処理ＥＣＵ３は、クロップ画像の画素データを間引くことでリサイズする（Ｓ８）。このリサイズされたサイズは必要最小限のサイズであり、図８に示すようにＶＧＡ（６４０×４８０）サイズである。
【００３７】
そして、画像処理ＥＣＵ３は、リサイズされたクロップ画像に基づいて顔認識により運転者を識別する。この顔認識では、運転者の顔を識別できれば良いので、ＶＧＡサイズであっても顔認識することができる。このように運転者を識別することで運転者毎に予め記憶したステアリングホイールやシートやバックミラー等を自動的に調整可能となる。
画像処理ＥＣＵ３は、上記の動作をフレーム毎に実施することでフレーム落ちなく、全てのフレームで運転者の顔の中心位置を正しく検出したり、顔認識したりすることができる。
【００３８】
以上のように、画像検出ＩＣ４のクロップ機能に着目し、運転者の顔位置に追従するようにクロップエリアをダイナミックに変更させ、顔エリアのみを切り抜くことで最小限のサイズの画像データを画像処理ＥＣＵ３へ転送するので、画像処理ＥＣＵ３の処理負荷を大幅に軽減することができる。
【００３９】
また、今後高画素カメラを用いた運転者状態の認識技術が拡大していく中で、画素数の増加に伴い、画像処理の負荷が大きくなることが想定されるが、結像画像から切抜いたクロップ画像を処理するようにしたので、高速なＣＰＵや大容量のメモリが不要になり、製品のサイズ、コスト、発熱において有利となる。
【００４０】
このような実施形態によれば、次のような効果を奏することができる。
画像処理ＥＣＵ３は、ＤＳＭ１から入力したクロップ画像と当該クロップ画像に埋込まれたクロップエリアの開始座標に基づいて運転者の顔の中心位置がクロップ画像の中心位置となるようにＤＳＭ１にクロップエリアを設定すると共に、クロップ画像に基づいて運転者の視線方向を認識するので、運転者の姿勢が崩れた場合であっても運転者の視線方向を正しく認識することができる。
画素データを間引くことでリサイズされたクロップ画像に基づいて運転者の顔認識を行うので、画像処理ＩＣ３の処理負荷を一層軽減することができる。
【００４１】
（その他の実施形態）
画像検出センサは、クロップ情報をクロップ画像に埋込むことなく独立して出力する構成としても良い。
クロップ情報として、クロップエリアの開始座標に加えて縦サイズと横サイズも出力する構成としても良い。
クロップ画像をリサイズすることなく運転者の顔認識を行うようにしても良い。
運転者の状態としては運転者の視線方向に限定されることなく、例えば運転者の眠気度を判断するようにしても良い。
【００４２】
本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【符号の説明】
【００４３】
図面中、１はＤＳＭ（画像検出部）、３は画像処理ＥＣＵ（状態監視部）である。
【図１】
2020155835.tif 000003
【図２】
2020155835.tif 000004
【図３】
2020155835.tif 000005
【図４】
2020155835.tif 000006
【図５】
2020155835.tif 000007
【図６】
2020155835.tif 000008
【図７】
2020155835.tif 000009
【図８】
2020155835.tif 000010
【図９】
2020155835.tif 000011
【図１０】
2020155835.tif 000012