(57)【要約】  移動体の状態を示すセンシング情報を取得する。移動体を運転している運転者を撮影した複数の撮影画像を取得する。複数の撮影画像からセンシング情報に基づいて移動体が前方に走行している状態において撮影された撮影画像を取得する。複数の撮影画像各々が示す運転者の視線方向の統計値に基づいて、運転者が正面を向いている場合における基準の視線方向を検出する。
2020250962.tif 000002
【特許請求の範囲】
【請求項１】
移動体の状態を示すセンシング情報を取得するセンシング情報取得手段と、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得する画像取得手段と、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を特定し、前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する基準方向検出手段と、
を備える画像処理装置。
【請求項２】
前記センシング情報は、前記移動体の加速度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記加速度が所定閾値以上である状態において撮影された複数の撮影画像を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記センシング情報は、前記移動体の速度とハンドル回転角度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記速度が所定速度以上かつ前記ハンドル回転角度が前方を示す角度である状態において撮影された複数の撮影画像を特定する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記センシング情報は、前記移動体の速度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記速度が所定閾値以上である状態において撮影された複数の撮影画像を特定する
請求項１から請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記センシング情報取得手段は、前記センシング情報として、前記移動体が前方に走行している場合の状態を示す情報を前記移動体の車載器から取得する
請求項１から請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記運転者が正面を向いている場合における基準の視線方向と現在の視線方向との差に基づいて前記運転者が余所見しているかを判定する余所見判定手段と、
をさらに備える請求項１から請求項５の何れか一項に記載の画像処理装置。
【請求項７】
前記移動体の車載器に対して前記運転者が正面を向いている場合における基準の視線方向を示す情報を通知する通知手段と、
をさらに備える請求項１から請求項６の何れか一項に記載の画像処理装置。
【請求項８】
移動体の状態を示すセンシング情報を取得し、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された前記撮影画像を特定し、
前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する
ことを含む画像処理方法。
【請求項９】
画像処理装置のコンピュータに、
移動体の状態を示すセンシング情報を取得し、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を取得し、
前記取得された撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する、
ことをコンピュータに実行させるプログラムを記憶した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、記録媒体に関する。
【背景技術】
【０００２】
自動車などの移動体の運転に関する技術の向上のための開発が多く行われている。関連する技術では、運転者の顔の向きを検出する技術が特許文献１に開示されている。特許文献２には視線方向を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１６−５７８３９号公報
【特許文献２】国際公開第２０１８／０７８８５７号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の運転者の顔の向きの検出において、移動体が直進する方向の運転者の視線の向きを容易に自動検出できる技術の向上が望まれている。【０００５】
この発明の目的の一例は、上述の課題を解決する画像処理装置、画像処理方法、記録媒体を提供することである。
【課題を解決するための手段】
【０００６】
本開示による第一の態様によれば、画像処理装置は、移動体の状態を示すセンシング情報を取得するセンシング情報取得手段と、前記移動体を運転している運転者を撮影した複数の撮影画像を取得する画像取得手段と、前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を特定し、前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する基準方向検出手段と、を備える。【０００７】
本開示による第二の態様によれば、画像処理方法は、移動体の状態を示すセンシング情報を取得し、前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された前記撮影画像を特定し、前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出することを含む。【０００８】
本開示による第三の態様は、記録媒体は、画像処理装置のコンピュータに、移動体の状態を示すセンシング情報を取得し、前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を取得し、前記取得された撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する、ことをコンピュータに実行させるプログラムを記憶する。
【発明の効果】
【０００９】
本発明の実施形態によれば、移動体が直進する方向の運転者の視線の向きを容易に自動検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態による余所見判定システムを示す図である。
【図２】本実施形態による画像処理装置のハードウェア構成図である。
【図３】本実施形態による画像処理装置の機能ブロック図である。
【図４】本実施形態によるドライブレコーダのハードウェア構成を示す図である。
【図５】本実施形態による制御装置の機能ブロック図である。
【図６】本実施形態による基準方向検出処理の概要を示す図である。
【図７】本実施形態によるドライブレコーダの処理フローを示す第一の図である。
【図８】本実施形態による画像処理装置の処理フローを示す第一の図である。
【図９】本実施形態による画像処理装置の処理フローを示す第二の図である。
【図１０】本実施形態によるドライブレコーダの処理フローを示す第二の図である。
【図１１】本実施形態によるドライブレコーダの処理フローを示す第三の図である。
【図１２】本実施形態による画像処理装置の構成の例を示す図である。
【図１３】図１２に示す画像処理装置の処理フローを示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態による画像処理装置１を含む余所見判定システム１００を図面を参照して説明する。
図１は本発明の実施形態による余所見判定システム１００を示す図である。
図１で示すように余所見判定システム１００は画像処理装置１と、運転状況センシング装置の一態様であるドライブレコーダ２（車載器）とを含む。画像処理装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続される。ドライブレコーダ２は一例としては車両２０に設けられている。画像処理装置１は市中を走る複数の車両２０にそれぞれ設置されたドライブレコーダ２と通信接続する。
【００１２】
図２は画像処理装置１のハードウェア構成図である。
図２が示すように画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。
【００１３】
図３は画像処理装置１の機能ブロック図である。
画像処理装置１は電源が投入されると起動し、予め記憶する余所見判定プログラムを実行する。これにより画像処理装置１には、制御部１１、センシング情報取得部１２、画像取得部１３、基準方向検出部１４、視線方向検出部１５、余所見判定部１６、を少なくとも備える。
【００１４】
制御部１１は画像処理装置１の各機能部を制御する。
センシング情報取得部１２は、車両２０のドライブレコーダ２から画像情報以外の車両２０におけるセンシング情報を取得する。センシング情報には、例えば、車両２０の加速度、速度、ハンドルの回転角度などが含まれる。センシング情報には他の車両２０に関する情報が含まれてもよい。センシング情報は車両２０に備わる各センサがセンシングし、それらセンサからドライブレコーダ２が取得して画像処理装置１へ送信した情報である。
【００１５】
画像取得部１３はドライブレコーダ２に設けられた、またはドライブレコーダ２と通信接続されたカメラ２３により撮影された画像を取得する。カメラ２３は予め車両２０の運転者の顔が撮影できる位置の車内に設置されている。
【００１６】
基準方向検出部１４は、センシング情報に基づいて車両２０が前方に走行している状態において撮影された撮影画像を取得し、その撮影画像が示す運転者の視線方向の統計値に基づいて、運転者が正面を向いている場合の撮影画像における基準の視線方向を検出する。基準の視線方向とは車両が直進している場合のその直進方向に一致する方向であるとする。
なお基準方向検出部１４は、加速度に基づいて、移動体が前方に走行している状態であるかを判定し、移動体が前方に走行している状態において撮影された撮影画像を取得してよい。
または基準方向検出部１４は、速度が所定速度以上かつハンドル回転角度が前方を示す角度である状態において撮影された撮影画像を取得してよい。
または基準方向検出部１４は、速度が所定閾値以上である状態において撮影された撮影画像を取得してよい。
そして基準方向検出部１４は、それら取得した撮影画像が示す運転者の視線方向の統計値に基づいて、運転者が正面を向いている場合の撮影画像における基準の視線方向を検出する。
【００１７】
視線方向検出部１５は、余所見を判定する場合に現在の運転者の視線方向を撮影画像から検出する。
余所見判定部１６は、運転者が正面を向いている場合の撮影画像における基準の視線方向と現在の視線方向との差に基づいて余所見を判定する。
【００１８】
図４はドライブレコーダ２のハードウェア構成を示す図である。
ドライブレコーダ２は、情報取得装置２１、通信装置２２、カメラ２３、制御装置２４、記憶装置２５等を含む。情報取得装置２１は加速度センサ３、速度センサ４、ハンドル角度センサ５と信号線等により接続される。加速度センサ３は車両２０の加速度を検出する。速度センサ４は車両２０の速度を検出する。ハンドル角度センサ５はハンドル回転角度を検出する。情報取得装置２１は、車両２０の加速度、速度、ハンドル角度などのセンシング情報を取得する。センシング情報には他のセンサが検出した情報が含まれていてよい。
【００１９】
通信装置２２は画像処理装置１と通信接続する。通信装置２２は基地局装置などを介して画像処理装置１と通信接続してよい。
カメラ２３は少なくとも車両２０の内部を撮影してその撮影画像を生成する。撮影画像は動画像でも静止画像でもよい。
制御装置２４はドライブレコーダ２の各機能を制御する。制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。
記憶装置２５は動画像、静止画像などの撮影画像、情報取得装置２１が取得したセンシング情報などを記憶する。
【００２０】
図５はドライブレコーダ２に備わる制御装置２４の機能ブロック図である。
制御装置２４はドライブレコーダ２が起動すると制御プログラムを実行する。これにより制御装置２４は、撮影画像送信部２４１、センシング情報送信部２４２などの各機能を発揮する。
撮影画像送信部２４１は、カメラ２３の生成した撮影画像を取得して画像処理装置１へ送信する。
センシング情報送信部２４２は、情報取得装置２１からセンシング情報を取得して画像処理装置１へ送信する。
【００２１】
図６は基準方向検出処理の概要を示す図である。
画像処理装置１の基準方向検出部１４は、ドライブレコーダ２から取得した撮影画像に基づいて、撮影画像に映る運転者の基準の視線方向を検出する。基準の視線方向は、運転者が車両２０の前方直進方向を視認している際の視線方向である。車両２０が所定の加速度で走行している場合、車両２０が所定の速度以上でかつ直進を示すハンドル角度で走行している場合、車両２０が時速１００ｋｍ以上で走行しているなどの所定の閾値以上の高速で走行している場合などには、運転者は前方直進方向を視認している可能性が極めて高い。基準方向検出部１４は、このような、運転者が前方直進方向を視認する可能性の高い状態に車両２０が有る場合の運転者を撮影した撮影画像を取得し、その撮影画像に基づいて基準の視線方向を検出する。
【００２２】
図６で示すように、基準方向検出部１４は撮影画像に映る運転者の顔の範囲Ａを認識する。顔の範囲Ａの認識は、公知の顔認識技術を用いればよい。また基準方向検出部１４は、顔の範囲Ａに含まれる、眼瞼の開口範囲における眼の瞳孔の位置等に基づいて、視線方向Ｅ（Ｅ１，Ｅ２）を認識する。また基準方向検出部１４は、顔の向き方向Ｆ（Ｆ１，Ｆ２，Ｆ３）を認識するようにしてもよい。図６において運転者の視線方向をＥで示す。また運転者の顔の向きの方向をＦ１，Ｆ２，Ｆ３で示す。基準方向検出部１４は運転者の左右の目の平均値などを、運転者の視線方向Ｅと算出する。運転者の視線方向Ｅはカメラの光軸を基準とした場合に、その光軸からの左右方向、上下方向のずれを数値により表した値である。運転者の視線方向Ｅの検出処理は公知の技術を用いればよい。基準方向検出部１４は、例えば、上記特許文献２として記載の国際公開第２０１８／０７８８５７号に記載の視線方向の検出技術を用いてよい。
【００２３】
例えば基準方向検出部１４は視線方向Ｅを（４，−１１）と算出する。この場合、視線方向Ｅ（４，−１１）に関しては、数値「４」が視線方向のカメラの光軸からの左右方向のずれ（Ｅ１）、数値「−１１」が視線方向のカメラの光軸からの上下方向のずれ（Ｅ２）を示す。視線方向の左右方向のずれの数値は、カメラの光軸から右にずれる場合、プラスを示す。一方で、視線方向の左右方向のずれの数値は、カメラの光軸から左にずれる場合、マイナスを示す。視線方向の上下方向のずれの数値は、カメラの光軸から下にずれる場合、プラスを示す。一方で、視線方向の上下方向のずれの数値は、カメラの光軸から上にずれる場合、マイナスを示す。
【００２４】
また基準方向検出部１４は顔の向き方向Ｆを（−２，−５，−７）と算出する。この場合、顔の向き方向Ｆ（−２，−５，−７）に関しては、数値「−２」が顔の向き方向のカメラの光軸からの左右方向のずれ（Ｆ１）、数値「−５」が顔の向き方向のカメラの光軸からの上下方向のずれ（Ｆ２）、数値「−７」が顔の向き（顔の範囲Ａの矩形平面）のカメラの光軸を中心とした回転方向（Ｆ３）を示す。顔の向き方向の左右方向のずれの数値は、カメラの光軸から右にずれる場合、数値はプラスを示す。一方で、顔の向き方向の左右方向のずれの数値は、カメラの光軸から左にずれる場合、マイナスを示す。顔の向き方向の上下方向のずれの数値は、カメラの光軸から下にずれる場合、プラスを示す。一方で、顔の向き方向の左右方向のずれの数値は、カメラの光軸から上にずれる場合、マイナスを示す。顔の向き（顔の範囲Ａの矩形平面）のカメラの光軸を中心とした回転方向の数値は、左回転の場合、プラスを示す。一方で、顔の向きのカメラの光軸を中心とした回転方向の数値、右回転の場合、マイナスを示す。図６は、左右の眼瞼の瞼開度Ｏ（Ｏ１，Ｏ２）を示している。基準方向検出部１４はこの瞼開度Ｏを算出してよい。
【００２５】
そして基準方向検出部１４は、センシング情報に基づいて車両２０が所定の状態で前方に走行している場合において撮影された撮影画像が示す運転者の視線方向の統計値に基づいて、運転者が正面（車両２０の前方直進方向）を向いている場合の撮影画像における基準の視線方向を検出する。車両２０が前方に走行している状態とは、加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合などの状態である。
【００２６】
図７はドライブレコーダ２の処理フローを示す第一の図である。
次に運転状況監視システム（余所見判定システム）の処理フローについて順を追って説明する。
まずドライブレコーダ２における撮影画像とセンシング情報の送信処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。また車両の電気系統が起動すると、加速度センサ３、速度センサ４、ハンドル角度センサ５がセンシングを開始する。そして情報取得装置２１はドライブレコーダ２の始動後に、加速度、速度、ハンドル角度などのセンシング情報を取得する。情報取得装置２１はそれらセンシング情報を制御装置２４へ出力する。
【００２７】
またドライブレコーダ２においてカメラ２３が撮影画像を生成する。カメラ２３は撮影画像を制御装置２４へ出力する。制御装置２４は、センシング情報と、撮影画像とを取得する。制御装置２４において撮影画像送信部２４１は取得した撮影画像の送信を通信装置２２に要求する。またセンシング情報送信部２４２は取得したセンシング情報の送信を通信装置２２に要求する。通信装置２２は撮影画像とセンシング情報とを画像処理装置１へ送信する（ステップＳ１０２）。なお撮影画像やセンシング情報には、それらの情報の生成時刻やドライブレコーダ２のＩＤなどが格納されているものとする。制御装置２４は処理を終了するかを判定する（ステップＳ１０３）。制御装置２４は処理を終了しない場合には、撮影画像とセンシング情報との画像処理装置１への送信を繰り返す。
【００２８】
制御装置２４は撮影画像やセンシング情報の送信タイミングを判定してもよい。例えば車両２０が前方に走行している状態とは、加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合などの状態を、制御装置２４がセンシング情報に基づいて検出し、そのタイミングが撮影画像やセンシング情報の送信タイミングと判定してよい。これにより、ドライブレコーダ２と画像処理装置１との間の通信量が削減される。またこれにより画像処理装置１において、加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合の撮影画像を特定する処理を省略することができる。以下の処理においては加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合などの処理を画像処理装置１が行う場合の例について説明する。
【００２９】
図８は画像処理装置１の処理フローを示す第一の図である。
画像処理装置１においてセンシング情報取得部１２は、ドライブレコーダ２から送信されたセンシング情報を取得する（ステップＳ２０１）。センシング情報取得部１２は、センシング情報をデータベース１０４に格納する。また画像取得部１３は、ドライブレコーダ２から送信された撮影画像を取得する（ステップＳ２０２）。画像取得部１３は、撮影画像をデータベース１０４に格納する。データベース１０４においては、ドライブレコーダ２のＩＤに基づいて、センシング情報と撮影画像とが紐づけて記録されてよい。センシング情報取得部１２は、駆動中の車両２０がドライブレコーダ２から所定のタイミングごとに、または順次、センシング情報を取得し、そのセンシング情報をデータベース１０４に記録する。画像取得部１３は、駆動中の車両２０がドライブレコーダ２から所定のタイミングごとに、または順次、撮影画像を取得し、その撮影画像をデータベース１０４に記録する。そして制御部１１は基準視線方向の検出処理を行うよう基準方向検出部１４に指示する。
【００３０】
基準方向検出部１４は、データベース１０４に記録されている撮影画像とセンシング情報の組のうち、ある一つのドライブレコーダ２のＩＤを含む撮影画像とセンシング情報の複数の組を取得する（ステップＳ２０３）。基準方向検出部１４は取得したセンシング情報に基づいて、車両２０が前方に直進している所定の状態であるかを判定する（ステップＳ２０４）。なお本実施形態においては、基準方向検出部１４は、取得したセンシング情報に基づいて、車両２０が前方に直進しさらにその直進の態様が所定の状態であるかを判定する。直進の態様が所定の状態とは、車両２０の加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合などの状態の、少なくとも何れか一つの状態である。
【００３１】
そして車両２０が前方に直進している所定の状態である場合、基準方向検出部１４は、所定の状態である場合（例えば加速度が所定閾値以上である場合）の開始時刻と終了時刻を取得したセンシング情報から検出する（ステップＳ２０５）。または基準方向検出部１４は、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合の開始時刻と終了時刻を取得したセンシング情報から検出してもよい。または基準方向検出部１４は、速度が所定閾値以上である場合の開始時刻と終了時刻を取得したセンシング情報から検出してもよい。基準方向検出部１４は、検出した開始時刻と終了時刻までの時刻を生成時刻として含む撮影画像を、取得した複数の撮影画像の中から特定する（ステップＳ２０６）。なお撮影画像が動画像である場合、基準方向検出部１４は、動画像に含まれるフレーム画像のうち、検出した開始時刻と終了時刻までの時刻を生成時刻として含むフレーム画像を撮影画像と特定すればよい。
【００３２】
そして基準方向検出部１４は特定した撮影画像に含まれる運転者の顔の範囲Ａを認識する（ステップＳ２０７）。基準方向検出部１４は、その顔の範囲Ａに含まれる運転者の眼瞼範囲や瞳孔位置に基づいて、各撮影画像における視線方向Ｅを検出する（ステップＳ２０８）。また基準方向検出部１４は、顔の範囲Ａに含まれる運転者の顔の情報に基づいて、顔の向きの方向Ｆを検出する（ステップＳ２０９）。基準方向検出部１４は、複数の撮影画像に基づいて算出した視線方向Ｅの平均値と、顔の向きの方向Ｆの平均値とを算出する。基準方向検出部１４は、視線方向Ｅの平均値を基準視線方向として特定する（ステップＳ２１０）。また基準方向検出部１４は、顔の向きの方向Ｆの平均値を基準顔方向として特定する（ステップＳ２１１）。そして基準方向検出部１４は、あるドライブレコーダ２について算出した基準視線方向と基準顔方向とを、ドライブレコーダ２のＩＤに紐づけてデータベース１０４に記録する（ステップＳ２１２）。
【００３３】
これにより、車両２０が前方に直進しさらにその直進の態様が所定の状態である場合の基準視線方向と基準顔方向とを記録することができる。車両２０が前方に直進しさらにその直進の態様が所定の状態（所定加速度以上、所定加速度以上かつハンドル角度が直進、所定速度以上の、少なくとも何れか一つの状態）である場合には、運転者の顔の方向が前方直進方向を向いている可能性が高い。従ってそのような状態において検出された基準視線方向や基準顔方向は、運転者が車両２０の前方直進方向を向いている時の視線方向や顔方向と推定することができる。
【００３４】
制御部１１は全てのドライブレコーダ２のＩＤについて処理を終了したかを判定する（ステップＳ２１３）。制御部１１は全てのドライブレコーダ２のＩＤについての処理が終了していない場合、未処理のドライブレコーダ２のＩＤを特定し、そのＩＤに紐づく撮影画像とセンシング情報の複数の組に基づいて基準視線方向と、基準顔方向の特定を行う。なお制御部１１（通知部）は、判定対象となる車両２０のドライブレコーダ２に対して基準の視線方向を示す情報を通知してよい。
【００３５】
図９は画像処理装置１の処理フローを示す第二の図である。
画像処理装置１は、基準視線方向や基準顔方向を用いて、運転者が余所見しているかの判定を行う。具体的には制御部１１は、余所見の判定を開始する（ステップＳ３０１）。すると視線方向検出部１５は制御部１１の制御に基づいて、あるドライブレコーダ２のＩＤをデータベース１０４から特定する（ステップＳ３０２）。なお制御部１１が余所見の判定を行うドライブレコーダ２のＩＤを特定してもよい。または余所見判定部１６が、センシング情報に基づいて、加速度が事故発生時の加速度などの、所定の閾値以上の大きな加速度を示す時刻のセンシング情報を特定し、そのセンシング情報に含まれるドライブレコーダ２のＩＤを余所見の判定対象となるドライブレコーダ２のＩＤと特定してもよい。
【００３６】
視線方向検出部１５は余所見判定対象となるドライブレコーダ２のＩＤを取得し、そのＩＤを含む撮影画像をデータベース１０４から取得する（ステップＳ３０３）。視線方向検出部１５は、取得した撮影画像のうち、加速度が事故発生時の加速度などの、所定の閾値以上の大きな加速度を示す時刻の撮影画像を抽出してもよい。視線方向検出部１５は取得した撮影画像に含まれる運転者の視線方向を上記と同様の処理により検出する（ステップＳ３０４）。余所見判定部１６は、取得したドライブレコーダ２のＩＤに紐づいてデータベース１０４に記録されている基準視線方向を取得する。余所見判定部１６は、新たに検出した視線方向と、基準視線方向との角度を算出する（ステップＳ３０５）。余所見判定部１６は、新たに検出した視線方向と、基準視線方向との角度が所定の閾値以上であるかを判定する（ステップＳ３０６）。余所見判定部１６は、視線方向と基準視線方向との角度が所定の閾値以上である場合には、運転者が余所見をしたと判定する（ステップＳ３０７）。制御部１１は処理を終了するかを判定する（ステップＳ３０８）。制御部１１は処理を終了しない場合、ステップＳ３０２からの処理を繰り返す。
【００３７】
以上の処理によれば、カメラ２３の位置がどのような位置に取り付けられていても、運転者の顔を撮影できる位置に設置されていれば、運転者の基準視線方向に基づいて、現在の運転者の視線方向に基づいて運転者が余所見をしているかどうかを判定することができる。そして上述の画像処理装置１の処理によれば、車両２０の前方直進方向に一致する方向の運転者の基準視線方向を容易に自動検出することができる。
【００３８】
なお余所見判定部１６は余所見であると判定した場合、余所見をしていた運転者の運転する車両２０のドライブレコーダ２のＩＤや余所見をしていた時刻の情報を紐づけてデータベース１０４に記録してもよい。
【００３９】
上述の処理において画像処理装置１は、基準視線方向の情報をドライブレコーダ２に送信してもよい。ドライブレコーダ２は基準視線方向の情報を記憶し、ドライブレコーダ２自体で、現在の運転者の視線方向と基準視線方向との角度に基づいて余所見の判定を同様の処理により行うようにしてもよい。
【００４０】
上述の処理においては、画像処理装置１が基準視線方向や基準顔方向を検出する処理を行っている。しかしながらドライブレコーダ２が運転者の基準視線方向や基準顔方向を同様の処理により検出してもよい。そしてドライブレコーダ２が基準視線方向や基準顔方向を画像処理装置１に送信してもよい。画像処理装置１は、ドライブレコーダ２の検出した基準視線方向と、新たな撮影画像に含まれる運転者の視線方向との成す角度に基づいて、運転者が余所見したか判定してもよい。ドライブレコーダ２が画像処理装置１の処理を行う場合、具体的には以下の様な処理となる。この場合、ドライブレコーダ２が上記画像処理装置１の各処理部の機能を発揮する。例えば制御装置２４が、センシング情報取得部１２、画像取得部１３、基準方向検出部１４、視線方向検出部１５、余所見判定部１６の機能を発揮する。
【００４１】
図１０はドライブレコーダ２の処理フローを示す第二の図である。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ４０１）。また車両の電気系統が起動すると、加速度センサ３、速度センサ４、ハンドル角度センサ５がセンシングを開始する。そして情報取得装置２１はドライブレコーダ２の始動後に、加速度、速度、ハンドル角度などのセンシング情報を取得する。情報取得装置２１はそれらセンシング情報を制御装置２４へ出力する。
【００４２】
またドライブレコーダ２においてカメラ２３が撮影画像を生成する。カメラ２３は撮影画像を制御装置２４へ出力する。制御装置２４は、センシング情報と、撮影画像とを取得する。ドライブレコーダ２は、撮影画像とセンシング情報との画像処理装置１への送信を繰り返す。
【００４３】
ドライブレコーダ２のセンシング情報取得部１２は、センシング情報と撮影画像とを取得する（ステップＳ４０２）。センシング情報取得部１２は、センシング情報と撮影画像を記憶装置２５に格納する（ステップＳ４０３）。記憶装置２５においては、ドライブレコーダ２のＩＤに基づいて、センシング情報と撮影画像とが紐づけて記録されてよい。センシング情報取得部１２は、所定のタイミングごとに、または順次、センシング情報と撮影画像とを取得し、それらセンシング情報や撮影画像を記憶装置２５に記録する。そして制御部１１は基準視線方向の検出処理を行うよう基準方向検出部１４に指示する。
【００４４】
基準方向検出部１４は、記憶装置２５に記録されている撮影画像とセンシング情報の組を取得する（ステップＳ４０４）。基準方向検出部１４は取得したセンシング情報に基づいて、車両２０が前方に直進している所定の状態であるかを判定する（ステップＳ４０５）。なお本実施形態においては、基準方向検出部１４は、取得したセンシング情報に基づいて、車両２０が前方に直進しさらにその直進の態様が所定の状態であるかを判定する。直進の態様が所定の状態とは、車両２０の加速度が所定閾値以上である場合、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合、速度が所定閾値以上である場合などの状態の、少なくとも何れか一つの状態である。
【００４５】
そして車両２０が前方に直進している所定の状態である場合、基準方向検出部１４は、所定の状態である場合（例えば加速度が所定閾値以上である場合）の開始時刻と終了時刻を取得したセンシング情報から検出する（ステップＳ４０６）。または基準方向検出部１４は、速度が所定速度以上かつハンドル回転角度が前方を示す角度である場合の開始時刻と終了時刻を取得したセンシング情報から検出してもよい。または基準方向検出部１４は、速度が所定閾値以上である場合の開始時刻と終了時刻を取得したセンシング情報から検出してもよい。基準方向検出部１４は、検出した開始時刻と終了時刻までの時刻を生成時刻として含む撮影画像を、取得した複数の撮影画像の中から特定する（ステップＳ４０７）。なお撮影画像が動画像である場合、基準方向検出部１４は、動画像に含まれるフレーム画像のうち、検出した開始時刻と終了時刻までの時刻を生成時刻として含むフレーム画像を撮影画像と特定すればよい。
【００４６】
そして基準方向検出部１４は特定した撮影画像に含まれる運転者の顔の範囲Ａを認識する（ステップＳ４０８）。基準方向検出部１４は、その顔の範囲Ａに含まれる運転者の眼瞼範囲や瞳孔位置に基づいて、各撮影画像における視線方向Ｅを検出する（ステップＳ４０９）。また基準方向検出部１４は、顔の範囲Ａに含まれる運転者の顔の情報に基づいて、顔の向きの方向Ｆを検出する（ステップＳ４１０）。基準方向検出部１４は、複数の撮影画像に基づいて算出した視線方向Ｅの平均値と、顔の向きの方向Ｆの平均値とを算出する。基準方向検出部１４は、視線方向Ｅの平均値を基準視線方向として特定する（ステップＳ４１１）。また基準方向検出部１４は、顔の向きの方向Ｆの平均値を基準顔方向として特定する（ステップＳ４１２）。そして基準方向検出部１４は、算出した基準視線方向と基準顔方向とを、記憶装置２５に記録する（ステップＳ４１３）。
【００４７】
これにより、車両２０が前方に直進しさらにその直進の態様が所定の状態である場合の基準視線方向と基準顔方向とを記録することができる。車両２０が前方に直進しさらにその直進の態様が所定の状態（所定加速度以上、所定加速度以上かつハンドル角度が直進、所定速度以上、少なくとも何れか一つの状態）である場合には、運転者の顔の方向が前方直進方向を向いている可能性が高い。従ってそのような状態において検出された基準視線方向や基準顔方向は、運転者が車両２０の前方直進方向を向いている時の視線方向や顔方向と推定することができる。
【００４８】
図１１はドライブレコーダ２の処理フローを示す第三の図である。
ドライブレコーダ２の制御装置２４は、図８で示す画像処理装置と同様の処理により、余所見判定を行ってよい。制御装置２４は、基準視線方向や基準顔方向を用いて、運転者が余所見していたかを判定する。具体的には制御部１１は、余所見の判定を開始する（ステップＳ５０１）。すると視線方向検出部１５は、撮影画像を記憶装置２５から取得する（ステップＳ５０２）。
【００４９】
視線方向検出部１５は、取得した撮影画像のうち、加速度が事故発生時の加速度などの、所定の閾値以上の大きな加速度を示す時刻の撮影画像を抽出してもよい。視線方向検出部１５は取得した撮影画像に含まれる運転者の視線方向を上記と同様の処理により検出する（ステップＳ５０３）。余所見判定部１６は、記憶装置２５に記録されている基準視線方向を取得する。
【００５０】
余所見判定部１６は、新たに検出した視線方向と、基準視線方向との角度を算出する（ステップＳ５０４）。余所見判定部１６は、新たに検出した視線方向と、基準視線方向との角度が所定の閾値以上であるかを判定する（ステップＳ５０５）。余所見判定部１６は、視線方向と基準視線方向との角度が所定の閾値以上である場合には、運転者が余所見していたと判定する（ステップＳ５０６）。制御部１１は処理を終了するかを判定する（ステップＳ５０７）。制御部１１は処理を終了しない場合、ステップＳ３０２からの処理を繰り返す。
【００５１】
上述の処理において画像処理装置１は新たな視線方向と基準視線方向との成す角度に基づいて余所見の判定を行っているが、さらに基準顔方向の情報を用いて余所見判定を行うようにしてもよい。例えば余所見判定部１６は顔方向が所定範囲内に入らない時間帯が所定時間以上ある場合には、運転者が余所見していたと判定してもよい。
【００５２】
図１２は画像処理装置１の構成の例を示す図である。
図１３は図１２に示す画像処理装置１による処理フローを示す図である。
画像処理装置１は少なくともセンシング情報取得部１２と、画像取得部１３と、基準方向検出部１４と、を備えればよい。
センシング情報取得部１２は、移動体のセンシング情報を取得する（ステップＳ６０１）。
画像取得部１３は、移動体を運転している運転者を撮影した撮影画像を取得する（ステップＳ６０２）。
基準方向検出部１４は、センシング情報に基づいて移動体が前方に走行している状態において撮影された撮影画像を取得し、その撮影画像が示す運転者の視線方向の統計値に基づいて、運転者が正面を向いている場合の撮影画像における基準の視線方向を検出する（ステップＳ６０３）。
【００５３】
上述の画像処理装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００５４】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５５】
この出願は、２０１９年６月１１日に出願された日本国特願２０１９−１０８３７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【００５６】
本発明は、画像処理装置、画像処理方法、記録媒体に適用してもよい。
【符号の説明】
【００５７】
１・・・画像処理装置
２・・・ドライブレコーダ
３・・・加速度センサ
４・・・速度センサ
５・・・ハンドル角度センサ
１１・・・制御部（制御手段）
１２・・・センシング情報取得部（センシング情報取得手段）
１３・・・画像取得部（画像取得手段）
１４・・・基準方向検出部（基準方向検出手段）
１５・・・視線方向検出部（視線方向検出手段）
１６・・・余所見判定部（余所見判定手段）
２１・・・情報取得装置
２２・・・通信装置
２３・・・カメラ
２４・・・制御装置
２５・・・記憶装置
２４１・・・撮影画像送信部（撮影画像送信手段）
２４２・・・センシング情報送信部（センシング情報送信手段）
【図１】
2020250962.tif 000003
【図２】
2020250962.tif 000004
【図３】
2020250962.tif 000005
【図４】
2020250962.tif 000006
【図５】
2020250962.tif 000007
【図６】
2020250962.tif 000008
【図７】
2020250962.tif 000009
【図８】
2020250962.tif 000010
【図９】
2020250962.tif 000011
【図１０】
2020250962.tif 000012
【図１１】
2020250962.tif 000013
【図１２】
2020250962.tif 000014
【図１３】
2020250962.tif 000015
【手続補正書】
【提出日】令和3年8月3日(2021.8.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体の状態を示すセンシング情報を取得するセンシング情報取得手段と、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得する画像取得手段と、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を特定し、前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する基準方向検出手段と、
を備える画像処理装置。
【請求項２】
前記センシング情報は、前記移動体の加速度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記加速度が所定閾値以上である状態において撮影された複数の撮影画像を特定する
請求項１に記載の画像処理装置。
【請求項３】
前記センシング情報は、前記移動体の速度とハンドル回転角度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記速度が所定速度以上かつ前記ハンドル回転角度が前方を示す角度である状態において撮影された複数の撮影画像を特定する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記センシング情報は、前記移動体の速度であり、
前記基準方向検出手段は、前記取得された複数の撮影画像から前記速度が所定閾値以上である状態において撮影された複数の撮影画像を特定する
請求項１から請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記センシング情報取得手段は、前記センシング情報として、前記移動体が前方に走行している場合の状態を示す情報を前記移動体の車載器から取得する
請求項１から請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記運転者が正面を向いている場合における基準の視線方向と現在の視線方向との差に基づいて前記運転者が余所見しているかを判定する余所見判定手段と、
をさらに備える請求項１から請求項５の何れか一項に記載の画像処理装置。
【請求項７】
前記移動体の車載器に対して前記運転者が正面を向いている場合における基準の視線方向を示す情報を通知する通知手段と、
をさらに備える請求項１から請求項６の何れか一項に記載の画像処理装置。
【請求項８】
移動体の状態を示すセンシング情報を取得し、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された前記撮影画像を特定し、
前記特定された複数の撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する
ことを含む画像処理方法。
【請求項９】
画像処理装置のコンピュータに、
移動体の状態を示すセンシング情報を取得し、
前記移動体を運転している運転者を撮影した複数の撮影画像を取得し、
前記取得された複数の撮影画像から前記センシング情報に基づいて前記移動体が前方に走行している状態において撮影された複数の撮影画像を取得し、
前記取得された撮影画像各々が示す前記運転者の視線方向の統計値に基づいて、前記運転者が正面を向いている場合における基準の視線方向を検出する、
ことをコンピュータに実行させるプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
この発明の目的の一例は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することである。
【国際調査報告】
2020250962.tif 000016
2020250962.tif 000017
2020250962.tif 000018
2020250962.tif 000019