(57)【要約】【課題】加速度装置や受信機などを車両に搭載する必要がなく、一般的に車両に搭載されているドライブレコーダのような定点撮像装置を用いて、運転者の運転中のながら運転を検出する支援を行なう運転状態監視支援システムを提供することを目的とする。【解決手段】本発明は、撮像範囲が固定された定点撮像装置により時系列に撮像された画像データを直前の画像データ及び直後の画像データと比較し、変化を有する画素の変化領域を示すマスキング画像を生成する変化領域抽出部と、変化領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出部と、運転者の動作状態を複数のクラスに分類する動作分類モデルに対して肌色領域を入力し、運転者の状態のクラス分類を行なう運転者状態判定部と、車両が走行している走行クラス、及び停止している停止クラスの何れかに分類する走行分類モデルにマスキング画像をクラス分類する車両走行判定部とを備える。【選択図】図１
2020042422.tif 000002
【特許請求の範囲】
【請求項１】
撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出部と、
前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出部と、
前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定部と、
前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定部と
を備えることを特徴とする運転状態監視支援システム。
【請求項２】
前記運転者状態判定部が前記肌色領域を運転者が携帯端末を操作している携帯端末操作クラスに分類し、かつ前記車両走行判定部が前記マスキング画像が前記走行クラスに分類した場合、対応する前記画像データを前記運転者が車両を運転しつつ携帯端末を操作している画像候補として抽出する結果統合部
をさらに有することを特徴とする請求項１に記載の運転状態監視支援システム。
【請求項３】
前記変化領域抽出部が、
前記画像データの各々をグレースケール画像に変換し、当該グレースケール画像の直前、直後それぞれのグレースケール画像とを比較し、対応する位置の画素の各々の階調度の差分が予め設定した閾値を超えた場合、変化を有する前記画素として前記変化領域を抽出する
ことを特徴とする請求項１または請求項２に記載の運転状態監視支援システム。
【請求項４】
前記変化領域抽出部が、
前記グレースケール画像及び当該グレースケール画像の直前のグレースケール画像を比較して得られる変化を有する画素の領域と、前記グレースケール画像及び当該グレースケール画像の直後のグレースケール画像を比較して得られる変化を有する画素の領域との重なり合う領域を、前記マスキング画像とする
ことを特徴とする請求項３に記載の運転状態監視支援システム。
【請求項５】
走行分類モデルが、
前記マスキング画像において、前記車両の車窓に対応する画像部分が変化しているか否かにより、前記車両の状態を走行クラス、あるいは停止クラスそれぞれに分類する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の運転状態監視支援システム。
【請求項６】
前記変化領域抽出部が、前記画像データを所定数のセグメントに分割し、前記肌色領域と重なる前記セグメントの存在確率を、当該肌色領域に重ならないセグメントに比較して増加させ、前記動作分類モデルにおける携帯端末を操作している携帯端末操作クラスの確信度を、前記存在確率に対応して増加させる
ことを特徴とする請求項１から請求項５のいずれか一項に記載の運転状態監視支援システム。
【請求項７】
変化領域抽出部が、撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出過程と、
肌色領域抽出部が、前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出過程と、
運転者状態判定部が、前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定過程と、
車両走行判定部が、前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定過程と
を含むことを特徴とする運転状態監視支援方法。
【請求項８】
コンピュータを、
撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出手段、
前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出手段、
前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定手段、
前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両を運転する運転者のながら運転を行なっているか否かなどの運転状態の監視を支援する運転状態監視支援システム、運転状態監視支援方法及びプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話やスマートフォンなどの携帯端末の普及により、多数の人間がいずれの場所においても、会話、メールのやり取りなどの情報の送受信が簡易かつ容易に行えるようになっている。
また、基地局が至る所に設置されているため、移動する車両中においても携帯端末が利用することが可能であり、運転者が運転以外に携帯端末の操作を行なうことができる。
【０００３】
このため、車両を運転しながら携帯端末を操作するながら運転を行なう運転者が増加し、携帯端末の操作に注意力の大部分が割かれ、運転者の車両の運転に対する注意力が大幅に低下してしまう。
これにより、運転者がながら運転を行なうことで、車両の運転が危険な状態に陥る場合があり、ながら運転による交通事故が発生する危険性が増大していることが問題となっている。
【０００４】
上述したながら運転を抑止するため、携帯電話の電波が発信されている走行中の車両を監視し、運転者が携帯電話を手に持って通話する違法運転を行なっているか否かを検出する装置がある（例えば、特許文献１参照）。
この装置は、車両の走行状態を確認するため、車両に加速度装置を搭載して、この加速度装置により車両が走行しているか否かの判定を行なう。
【０００５】
また、携帯電話から発信される電波により、運転者が携帯電話の操作状態にあるか否かを検出し、車両が走行した状態で携帯電話の電波が発信されている車両を特定し、運転者を撮像した撮像画像から運転者が携帯電話を操作している場合、違法運転を行なっていると判定する。
【０００６】
また、近年、ＡＩ（artificial intelligence）を用いた画像解析により、人間の動作の解析を容易に行なうことができる環境が整備されてきている。
このため、ドライブレコーダの撮像画像の解析にＡＩを用いて、運転者が携帯端末を操作するなどのながら運転を行なっているか否かを判定することも行なわれている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−５６０００号公報
【非特許文献】
【０００８】
【非特許文献１】”運転中のスマホ操作、アナタはしていませんよね？AIでながら運転”を監視・予防するISPの運輸ITソリューション”（https://news.mynavi.jp/article/20180531-isp/、２０１８年８月２０日検索）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１の違法運転を検出する装置は、車両の走行状態を検出する加速度センサと、携帯電話の発信する電波を検出する受信機とを、新たに車両を設ける必要がある。
また、特許文献１の違法運転を検出する装置は、携帯電話の操作が、車両を運転している運転者か否かを、撮影領域に設置された撮像装置により行なわれている。
【００１０】
このため、その撮像装置の位置までに携帯電話の操作が終了している場合、携帯電話の操作を行なっていたのが運転者か同乗者かの判定を行なうことはできなくなるので、撮像装置を短い距離ごとに配置する必要がある。
また、加速度センサ、受信装置及び撮像装置の各々のデータを、同一のタイミングで解析する必要があり、加速度センサ、受信装置、撮像装置を各車両毎に抽出して処理を行なうため、大規模なシステムの開発が必要となる。
【００１１】
また、ＡＩ、例えばＣＮＮ（convolutional neural network）などのディープラーニング技術を用いた解析により、ながら運転を行なっているか否かの解析においては、撮像画像に撮像されている物体や人間の表情などを精緻に特定はできる。
しかしながら、車両が走行中か否かの走行状態を検出することができないため、人間の状態が不自然であることを検出することはできるが、ながら運転であるか否かを判定することは困難である。
【００１２】
本発明は、このような事情に鑑みてなされたもので、加速度装置や受信機などを車両に搭載する必要がなく、一般的に車両に搭載されているドライブレコーダのような定点撮像装置を用いて、運転者の運転中におけるながら運転を容易に検出する支援を行なう運転状態監視支援システム、運転状態監視支援方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明は上述した課題を解決するためになされたもので、本発明の運転状態監視支援システムは、撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出部と、前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出部と、前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定部と、前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定部とを備えることを特徴とする。
【００１４】
本発明の運転状態監視支援システムは、前記運転者状態判定部が前記肌色領域を運転者が携帯端末を操作している携帯端末操作クラスに分類し、かつ前記車両走行判定部が前記マスキング画像が前記走行クラスに分類した場合、対応する前記画像データを前記運転者が車両を運転しつつ携帯端末を操作している画像候補として抽出する結果統合部をさらに有することを特徴とする。
【００１５】
本発明の運転状態監視支援システムは、前記変化領域抽出部が、前記撮像画像の各々をグレースケール画像に変換し、当該グレースケール画像の直前、直後それぞれのグレースケール画像とを比較し、対応する位置の画素の各々の階調度の差分が予め設定した閾値を超えた場合、変化を有する前記画素として前記変化領域を抽出することを特徴とする。
【００１６】
本発明の運転状態監視支援システムは、前記変化領域抽出部が、前記グレースケール画像及び当該グレースケール画像の直前のグレースケール画像を比較して得られる変化を有する画素の領域と、前記グレースケール画像及び当該グレースケール画像の直後のグレースケール画像を比較して得られる変化を有する画素の領域との重なり合う領域を、前記マスキング画像とすることを特徴とする。
【００１７】
本発明の運転状態監視支援システムは、走行分類モデルが、前記マスキング画像において、前記車両の車窓に対応する画像部分が変化しているか否かにより、前記車両の状態を走行クラス、あるいは停止クラスそれぞれに分類することを特徴とする。
【００１８】
本発明の運転状態監視支援システムは、前記変化領域抽出部が、前記画像データを所定数のセグメントに分割し、前記肌色領域と重なる前記セグメントの存在確率を、当該肌色領域に重ならないセグメントに比較して増加させ、前記動作分類モデルにおける前記携帯端末を操作している前記携帯端末操作クラスの確信度を、前記存在確率に対応して増加させることを特徴とする。
【００１９】
本発明の運転状態監視支援方法は、変化領域抽出部が、撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出過程と、肌色領域抽出部が、前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出過程と、運転者状態判定部が、前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定過程と、車両走行判定部が、前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定過程とを含むことを特徴とする。
【００２０】
本発明の運転状態監視支援方法は、変化領域抽出部が、撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像され画像データ群において、前記画像データの各々を直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出過程と、肌色領域抽出部が、前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出過程と、運転者状態判定部が、運転者の動作状態を複数のクラスのいずれかに分類する機械学習された動作分類モデルに対して前記肌色領域を入力し、前記運転者の状態のクラス分類の処理を行なう運転者状態判定過程と、車両走行判定部が、車両が走行している状態を示す走行クラス、及び前記車両が停止している状態を示す停止クラスのいずれかのクラスに分類する機械学習された走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定過程とを含むことを特徴とする。
【００２１】
本発明のプログラムは、コンピュータを、撮像範囲が固定され、運転席を含む車内の画像を撮像する定点撮像装置によって時系列に撮像された画像データの各々を、直前の画像データ及び直後の画像データそれぞれと比較し、変化を有する画素からなる変化領域を示すマスキング画像を生成する変化領域抽出手段、前記画像データにおける前記変化領域に対応する領域から肌色の画素を含む肌色領域を抽出する肌色領域抽出手段、前記肌色領域を運転者の動作状態を示す複数のクラスのいずれかに分類する機械学習モデルである動作分類モデルに対して前記肌色領域を入力し、前記運転者の動作状態のクラス分類を行なう運転者状態判定手段、前記マスキング画像を車両が走行している状態の走行クラス、及び前記車両が停止している状態の停止クラスのいずれかに分類する機械学習モデルである走行分類モデルに対し、前記マスキング画像を入力し、クラス分類の処理を行なう車両走行判定手段として機能させるためのプログラムである。
【発明の効果】
【００２２】
この発明によれば、加速度装置や受信機などを車両に搭載する必要がなく、一般的に車両に搭載されているドライブレコーダのような定点撮像装置を用いて、運転者の運転中におけるながら運転を容易に検出する支援を行なう運転状態監視支援システム、運転状態監視支援方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による運転状態監視支援システムの構成例を示す図である。
【図２】本実施形態における矩形領域生成部１５による、フレーム化画像から第２マスキング画像に基づく切出し処理により切出画像の生成を説明する概念図である。
【図３】本実施形態における記憶部２０の運転者状態判定テーブルの構成例を示す図である。
【図４】本実施形態における記憶部２０の走行状態判定テーブルの構成例を示す図である。
【図５】本実施形態の結果統合部１８によるながら運転シーンの抽出の処理を示す概念図である。
【図６】本実施形態における記憶部２０のシーンテーブルの構成例を示す図である。
【図７】本実施形態の運転状態監視支援システムにおけるながら運転の監視を支援する処理の動作例を示すフローチャートである。
【図８】運転状態監視支援システムにおける構成の各々が処理により生成する画像データのそれぞれを説明する概念図である。
【図９】本実施形態における運転者状態判定部１６が存在確率マップを用い、切出画像のクラス分類において携帯端末操作クラスへの分類の精度を上げる処理を説明する概念図である。
【発明を実施するための形態】
【００２４】
本発明は、車両を運転しながら、スマートフォンや携帯電話などの携帯端末を操作する危険な違法運転、所謂ながら運転を判定する際に用いる、高い確率でながら運転を行なっていることが推定される画像データを、撮像画像の画像データから抽出する支援を行なう運転状態監視支援システムに関する。
以下、図面を参照して、本発明の一実施形態による運転状態監視支援システムについて説明する。図１は、本発明の一実施形態による運転状態監視支援システムの構成例を示す図である。
図１において、本実施形態における運転状態監視支援システム１は、撮像画像入力部１１、フレーム化画像生成部１２、変化領域抽出部１３、肌色領域抽出部１４、矩形領域生成部１５、運転者状態判定部１６、車両走行判定部１７、結果統合部１８、画像提示制御部１９及び記憶部２０の各々を備えている。
【００２５】
撮像画像入力部１１は、撮像装置２が撮像する撮像画像（例えば、本実施形態においては動画像）の画像データを入力する。そして、撮像画像入力部１１は、入力した画像データに対して、この撮像装置２のユーザを識別するユーザ識別情報を付与し、記憶部２０に書き込んで記憶させる。本実施形態においては、例えば、ユーザ識別情報として動画名を付与し、画像データのファイル名（（動画名）.mpg）として用いる。
ここで、撮像装置２は、定点撮像装置（定点カメラ）であり、例えば、車両における運転席の運転者及び車窓を含む車両内を撮像するドライブレコーダなどである。撮像画像の画像データは、ドライブレコーダの記憶媒体であるメモリカードから、撮像画像入力部１１により読み込まれる。
【００２６】
フレーム化画像生成部１２は、記憶部２０に記憶されている画像データを単位時間（例えば、１秒間）当たり所定の枚数のフレーム化画像に変換する。
ここで、フレーム化画像生成部は、例えば、撮像装置２のＭＰＥＧ（moving picture experts group）−４形式である撮像画像を、静止画像であるＪＰＥＧ（joint photographic experts group）形式のフレーム化画像に変換する。
【００２７】
そして、フレーム化画像生成部１２は、ＪＰＥＧ形式に変換した画像データの各々に対して、動画名の末尾に、フレーム化画像の時系列の順番を付与して、記憶部２０に書き込んで記憶させる。
フレーム化画像のファイル名は、（動画名）_１（フレーム番号）．jpgであり、動画名、動画の画像データにおける時系列な順番を示すフレーム番号として付与されている。
上述したように、本実施形態においては、ドライブレコーダから撮像画像として動画像が供給される構成として説明したが、所定の時間幅（例えば、０．１秒毎）で撮像した静止画像（フレーム化画像に対応する画像データ）が時系列に供給される構成でも良い。
【００２８】
変化領域抽出部１３は、フレーム化画像の各々における動きのある画素領域、すなわち時系列にフレーム化画像の前後で画素値に変化を有する画素からなる領域を抽出する。
ここで、変化領域抽出部１３は、フレーム化画像の各々を時系列の順番に基づき、記憶部２０から順次読み出す。
そして、変化領域抽出部１３は、フレーム化画像の各々をモノクロ化し、グレースケール画像に変換し、グレースケール画像の各画素と、それぞれのグレースケール化画像の直前及び直後の他のグレースケール画像の対応する画素との階調度の差分を求める。
【００２９】
このとき、変化領域抽出部１３は、時系列において連続するフレーム化画像Ｔ1、Ｔ2及びＴ3の各々に対して、対応する画素との階調度の差分を求める。
ここで、例えば、フレーム化画像Ｔ1はフレーム化画像（動画名）_１．jpgであり、フレーム化画像Ｔ2はフレーム化画像（動画名）_2．jpgであり、フレーム化画像Ｔ3はフレーム化画像（動画名）_3．jpgである。
【００３０】
変化領域抽出部１３は、グレースケール画像Ｔ2と直前のグレースケール画像Ｔ1との対応する画素の階調度の差分を求め、各画素の階調度の差分（階調度の変化量）の絶対値を階調度とする差分画像Ｔ2−Ｔ1を生成する。
また、変化領域抽出部１３は、同様に、グレースケール画像Ｔ2と直後のグレースケール画像Ｔ3との対応する画素の階調度の差分を求め、画素の階調度の差分の絶対値を階調度とする差分画像Ｔ2−Ｔ3を求める。
【００３１】
そして、変化領域抽出部１３は、例えば、差分画像Ｔ2−Ｔ1及び差分画像Ｔ2−Ｔ3の各々において、各画素の階調度（差分）が、予め設定した差分閾値を超えた画素の階調度を「１」とし、差分閾値以下の画素の階調度を「０」とする２値化を行なう。
すなわち、変化領域抽出部１３は、直前及び直後に対して変化が有る画素の抽出を行なう。
【００３２】
変化領域抽出部１３は、２値化した差分画像Ｔ2−Ｔ1及び差分画像Ｔ2−Ｔ3の各々において、階調度が「１」である画素が重なり合う画素の領域を変化領域として、変化領域の画素の階調度を「１」とし、変化領域以外の画素の階調度を「０」とした第１マスキング画像を生成する。
すなわち、変化領域抽出部１３は、２値化した差分画像Ｔ2−Ｔ1及び差分画像Ｔ2−Ｔ3の各々の対応する画素の階調度の論理積を取り、論理積の結果を階調度とする第１マスキング画像を生成する。
【００３３】
ここで、変化領域抽出部１３は、生成した第１マスキング画像の各々に対して、動画名の末尾に、フレーム化画像の時系列の順番及び第１マスキング画像であることを示す情報を付与して、記憶部２０に書き込んで記憶させる。
第１マスキング画像のファイル名は、フレーム化画像（動画名）_2．jpgに対応する画像の場合、（動画名）_2_ｍ1．jpgであり、動画名、動画の画像データにおける時系列な順番を示すフレーム番号に加え、第１マスキング画像であることを示すｍ1が付与されている。
【００３４】
肌色領域抽出部１４は、時系列の順番で対応するフレーム化画像及び第１マスキング画像との各々を用いて、第１マスキング画像における変化領域のなかから肌色を含む領域である肌色領域を抽出する。
ここで、肌色領域抽出部１４は、第１マスキング画像（動画名）_n_ｍ1．jpgにおける変化領域に対応する、フレーム化画像（動画名）_n．jpgにおける画像領域が肌色を含んでいるか否かの判定を行なう。
【００３５】
このとき、肌色領域抽出部は、フレーム化画像の各画素の階調度のＲＧＢ（red、green、blue）値を、ＨＳＶ（hue、saturation、value）色空間における座標値に変換し、所定の肌色領域とする色空間領域に含まれる座標値に対応する画素を、肌色領域の画素として抽出する。
ＨＳＶ色空間はＲＧＢ色空間に比較して「鮮やかさ」や「明るさ」の変化に頑健性が高いため、環境光が変化するフレーム化画像における肌色領域（人間の皮膚の肌色）を抽出し易くすることが可能となる。
【００３６】
これにより、肌色領域抽出部１４は、フレーム化画像（動画名）_n．jpgにおける肌色を含んでいる画像領域に対応した、第１マスキング画像（動画名）_n_ｍ1．jpgにおける変化領域を、肌色領域として抽出する。
このとき、肌色領域抽出部１４は、抽出した肌色領域の各々において、各画素の画素値を、それぞれの画素を取り囲む複数の近傍画素、例えば４８画素（対象とする画素を中心とした７×７画素において、中心の画素を除く４８画素）の画素値の中央値に変換する。すなわち、メディアンフィルタによる平滑化を行なう。
【００３７】
そして、肌色領域抽出部１４は、第１マスキング画像（動画名）_n_ｍ1．jpgにおける肌色領域とした変化領域における画素の階調度を「１」とし、それ以外の変化領域を含む領域の画素の階調度を「０」に変換した第２マスキング画像を生成する。第２マスキング画像における肌色領域は、運転者及び同乗者の各々の動作状況に対応して、１個の場合もあれば、複数個が存在する場合もある。
第２マスキング画像のファイル名は、フレーム化画像（動画名）_n．jpgに対応する画像の場合、（動画名）_n_ｍ2．jpgであり、動画名、動画の画像データにおける時系列な順番を示すフレーム番号に加え、第２マスキング画像であることを示すｍ2が付与されている。
【００３８】
矩形領域生成部１５は、フレーム化画像（動画名）_n．jpgから、第２マスキング画像（動画名）_n_ｍ2．jpgにおける肌色領域の各々に対応する領域を切り出す。
そして、矩形領域生成部１５は、肌色領域に対応して切り出したフレーム化画像（動画名）_n．jpgの領域からなる切出画像を生成する。
【００３９】
このとき、すでに述べたように、第２マスキング画像（動画名）_n_ｍ2．jpgに複数の肌色領域が存在する場合、フレーム化画像（動画名）_n．jpgから切り出される切出画像は、複数個となる。
このため、矩形領域生成部１５は、以降の処理を簡易とするため、予め設定した画素数を超える肌色領域、あるいは画素数未満の肌色領域それぞれを、第２マスキング画像から除去する。
【００４０】
そして、矩形領域生成部１５は、第２マスキング画像の肌色領域に対応するフレーム化画像の画像領域を囲む矩形領域を生成し、この矩形領域を正方形に変換（領域拡大）して、フレーム化画像からこの矩形領域で囲まれる画像領域を切り出して切出画像を生成する。
矩形領域生成部１５は、生成した矩形画像の各々に対してファイル名をそれぞれ付与して、記憶部２０に書き込んで記憶させる。
切出画像のファイル名は、フレーム化画像（動画名）_n．jpgに対応する画像の場合、（動画名）_n_r．jpgであり、動画名、動画の画像データにおける時系列な順番を示すフレーム番号に加え、フレーム化画像における何個目（複数個における何れ）の切出画像であるかを示す切出画像番号ｒが付与されている。
【００４１】
図２は、本実施形態における矩形領域生成部１５による、フレーム化画像から第２マスキング画像に基づく切出し処理により切出画像の生成を説明する概念図である。
図２（ａ）は、フレーム化画像におけるスマートフォン２００（携帯端末の一例）を操作する運転者の手２０１を示す画像領域である。
【００４２】
図２（ｂ）は、第２マスキング画像の肌色領域に対応する、フレーム化画像における領域２２０を矩形枠１００で囲んだ矩形領域１００Ｓを示している。領域１５０は、肌色の画像領域であるが、第２マスキング画像における肌色領域から、所定の画素数未満のために第２マスキング画像から除去された領域であり、矩形領域として抽出はされない。
また、図２（ｂ）において、矩形領域１００Ｓは、ｘ軸方向の辺（右辺及び左辺）が画素数ａであり、ｙ軸方向の辺（上辺及び下辺）が画素数ｂの領域である。
【００４３】
図２（ｃ）は、矩形枠１００の上辺をｙ軸のプラス方向に画素数ｂ／２伸ばし、下辺をｙ軸のマイナス方向に画素数ｂ／２伸ばし、矩形枠１００の右辺をｘ軸のプラス方向に画素数ａ／２伸ばし、左辺をｘ軸のマイナス方向に画素数ａ／２伸ばして、正方形の画像である切出画像３００が生成されることを示している。
後述する一般的な画像を入力し、入力した画像のクラス分類する機械学習モデルは、入力する画像のアスペクト比が「１」である必要がある。このため、本実施形態においては、切出画像を正方形とする処理を行なっている。これにより、後述する機械学習モデルに入力する際、切出画像のアスペクト比が調整される処理がなくなり、アスペクト比の調整による画像における手の画像の変形を避けることができ、クラス分類の精度を上げることができる。
【００４４】
図１に戻り、運転者状態判定部１６は、矩形領域生成部１５が生成した切出画像の各々を、上記機械学習モデルである動作分類モデルに入力し、切出画像それぞれのクラス分類の処理を行なう。動作分類モデルは、分類するクラスとして、例えばスマートフォンを操作している手（クラス＃１）、検出する必要の無い物体（ハンドルやシフトレバーなど）を操作している手（クラス＃２）、人間の顔（クラス＃３）、人間の腕（クラス＃４）、その他の物体（肌色の物体、クラス＃５）などがある。また、動作分類モデルは、上記クラスの画像の各々を入力し、画像の示すクラスに分類される確信度を高くするように、各クラス（クラス＃１からクラス＃５）に対応する画像を教師データ（人間が画像を目視で確認してクラスに分類したデータ）として用いて予め機械学習されている。
【００４５】
また、運転者状態判定部１６は、切出画像を切り出したフレーム化画像と、当該フレーム化画像における切出画像の分類クラスとを、記憶部２０における運転者状態判定テーブルに書き込んで記憶させる。ここで、運転者状態判定部１６は、切出画像を入力して、動作分類モデルがクラス分類として出力する各クラスの確信度で最も高い確信度のクラスを、クラス分類されたクラスとして選択する。
【００４６】
図３は、本実施形態における記憶部２０の運転者状態判定テーブルの構成例を示す図である。図３の運転者状態判定テーブルは、レコード毎に、フレーム化画像のファイル名、分類されたクラス、分類されたクラスの確信度の各々の欄が備えられている。
フレーム化画像のファイル名は、フレーム化画像の時系列の順番を示す、（動画名）_n．jpgのファイル名である。また、レコード毎のフレーム化画像のファイル名の欄には、動画像をフレーム化画像とした際の時系列の順番に対応してフレーム化画像のファイル名が示されている。
【００４７】
分類されたクラスは、上述したクラス＃１（運転者がスマートフォンを操作している手を示す携帯端末操作クラス）、クラス＃２（検出する必要の無い物体（ハンドルやシフトレバーなど）を操作している手を示すクラス）、クラス＃３（人間の顔を示すクラス）、クラス＃４（人間の腕）、クラス＃５（その他の物体を示すクラス）などである。また、この分類されたクラスは、動作分類モデルが入力された切出画像のクラス分類において、クラス＃１からクラス＃５のうち最も確信度の高かったクラスである。最大確信度は、分類されたクラスの欄に記載されたクラスの確信度が示されている。
【００４８】
図１に戻り、車両走行判定部１７は、第１マスキング画像の各々を、機械学習モデルである走行分類モデルに入力し、第１マスキング画像が車両が走行しているクラスに分類されるか否かの判定を行なう。走行分類モデルは、分類するクラスとして、例えば走行クラス（車両が走行している状態とするクラス）、停止クラス（車両がしている状態とするクラス）などがある。また、走行分類モデルは、上記クラスの画像の各々を入力し、画像の示すクラスに分類される確信度を高くするように、動作分類モデルと同様に、走行クラス及び停止クラスの各々に対応する画像を教師データを学習データとして用いて予め機械学習されている。
【００４９】
また、車両走行判定部１７は、第１マスキング画像に対応するフレーム化画像と、当該第１マスキング画像の分類クラスとを、記憶部２０における走行状態判定テーブルに書き込んで記憶させる。ここで、車両走行判定部１７は、第１マスキング画像を入力して、走行分類モデルがクラス分類として出力する各クラスの確信度で最も高い確信度のクラスを、クラス分類されたクラスとして選択する。
図４は、本実施形態における記憶部２０の走行状態判定テーブルの構成例を示す図である。図４の走行状態判定テーブルは、レコード毎に、フレーム化画像のファイル名、分類されたクラス、分類されたクラスの確信度の各々の欄が備えられている。
【００５０】
フレーム化画像のファイル名は、フレーム化画像の時系列の順番を示す、（動画名）_n．jpgのファイル名である。また、レコード毎のフレーム化画像のファイル名の欄には、動画像をフレーム化画像とした際の時系列の順番に対応してフレーム化画像のファイル名が示されている。分類されたクラスは、上述した走行クラス（車両が走行している状態であるとするクラス）、停止クラス（車両が停止している状態であるとするクラス）などである。また、この分類されたクラスは、走行分類モデルが入力された第１マスキング画像のクラス分類において、走行クラスから停止クラスのうち確信度の高かったクラスである。最大確信度は、分類されたクラスの欄に記載されたクラスの確信度が示されている。
【００５１】
図１に戻り、結果統合部１８は、記憶部２０における運転者状態判定テーブル及び走行状態判定テーブルの各々を参照し、分類クラスそれぞれがクラス＃１（携帯端末操作クラス）であり、かつ走行クラスであるフレーム化画像を検索する。ここで、結果統合部１８は、分類クラスが携帯端末操作クラスかつ走行クラスであるフレーム化画像をながら運転候補画像として抽出する。このながら運転候補画像は、高い確度で運転者がながら運転をしていると推定されるフレーム化画像を示している。
【００５２】
そして、結果統合部１８は、記憶部２０におけるシーンテーブルの運転状態フラグにデータを書き込むことにより、時系列に連続するフレーム化画像の各々がながら運転候補画像がであるかを示す。
また、結果統合部１８は、記憶部２０における全てのフレーム化画像に対するながら運転候補画像か否かの判定が終了した後、運転判定シーンの抽出を行なう。この運転判定シーンは、時系列のフレーム化画像のなかから、ながら運転候補画像のフレーム化画像から、ながら運転を行なっていない正常運転候補画像のフレーム化画像までを、運転判定シーンとして抽出する。
【００５３】
図５は、本実施形態の結果統合部１８によるながら運転シーンの抽出の処理を示す概念図である。図５において、シーン＃Ｓ１は、ながら運転候補画像でないフレーム化画像（動画名）_n-8.jpgで終了している。シーン＃Ｓ２は、ながら運転候補画像であるフレーム化画像（動画名）_n.jpgで開始され、ながら運転候補画像ではないフレーム化画像（動画名）_n-8.jpgで終了している。シーン＃Ｓ３は、ながら運転候補画像であるフレーム化画像（動画名）_n+q.jpgで開始されている。
【００５４】
シーン＃Ｓ２のフレーム化画像（動画名）_n.jpgにおける画像領域５０１＿１及び５０１＿２の各々は、それぞれ車窓の変化領域、運転者の手の変化領域それぞれに対応している。
そして、第１マスキング画像における画像領域５０１＿１に対応する変化領域が走行状態分類モデルにより走行クラスに分類され、画像領域５０１＿２の変化領域（肌色領域）に対応する切出画像が動作分類モデルにより携帯端末操作クラスに分類されている。
これにより、結果統合部１８は、第１マスキング画像（動画名）_n_m1.jpgが走行クラスに分類され、かつ切出画像（動画名）_n_r.jpgが携帯端末操作クラスに分類されたフレーム化画像（動画名）_n.jpgを、ながら運転候補画像であると判定する。
【００５５】
また、結果統合部１８は、同様に、画像領域５０２＿１が走行クラス、画像領域５０２＿２が携帯端末操作クラスにそれぞれ分類されているため、フレーム化画像（動画名）_n+１.jpgをながら運転候補画像であると判定する。
一方、第１マスキング画像における画像領域５０１＿１に対応する変化領域が走行状態分類モデルにより走行クラスに分類され、画像領域５０１＿２の変化領域（肌色領域）に対応する切出画像が動作分類モデルによりクラス＃５に分類されている。
これにより、結果統合部１８は、フレーム化画像（動画名）_n+p.jpgをながら運転候補画像でない正常運転候補画像と判定する。
そして、結果統合部１８は、フレーム化画像（動画名）_n.jpgからフレーム化画像（動画名）_n+p.jpgまでの時系列のフレーム化画像群をシーン＃Ｓ２とする。
【００５６】
図１に戻り、画像提示制御部１９は、記憶部２０におけるシーンテーブルを参照し、運転判定シーン毎に、その運転判定シーンにおいて最も携帯端末操作クラスの確信度の高いフレーム化画像を抽出して、図示しない表示部に対して表示する。
この処理は、利用者、例えば運転者のながら運転を管理する担当者が、運転状態監視支援システム１に対し、ドライブレコーダから入力された任意の撮像画像（動画名）_n.mpgを選択し、この撮像画像（動画名）_n.mpgにおける運転者のながら運転の状態を示す画像であるながら運転候補画像を表示させる制御を行なうことにより行なわれる。
【００５７】
また、本実施形態においては、フレーム化画像（動画名）_n.jpgに対して、第１マスキング画像（動画名）_n_m1.jpg、第２マスキング画像（動画名）_n_m2.jpg及び切出画像（動画名）_n_r.jpgフレーム番号の各々が、ファイル名におけるフレーム番号により、対応付けられている。
【００５８】
図６は、本実施形態における記憶部２０のシーンテーブルの構成例を示す図である。図６のシーンテーブルは、レコード毎に、フレーム化画像ファイル名、運転状態フラグ及びシーン番号の各々の欄が備えられている。
フレーム化画像ファイル名は、動画像をフレーム化画像とした際の時系列の順番を示す情報（ｎ）が含まれる、（動画名）_n.jpgで示されるファイル名である。
【００５９】
運転状態フラグは、フレーム化画像がながら運転候補画像と判定したか否かを示すフラグである。この運転状態フラグは、例えば、ながら運転画像候補の場合に「１」とされ、ながら運転をしない運転である正常運転画像候補である場合に「０」とされる。シーン番号は、フレーム化画像が属するシーンの時系列の順番の番号を示している。ここで、シーンは、運転フラグが「１」のフレーム化画像から「０」のフレーム化画像までを単位とする。このため、連続している正常運転画像候補は、シーンに属さない場合もある。
【００６０】
次に、図７及び図８の各々を用いて、本実施形態の運転状態監視支援システムによるながら運転の監視を支援する処理の流れを説明する。図７は、本実施形態の運転状態監視支援システムにおけるながら運転の監視を支援する処理の動作例を示すフローチャートである。図８は、運転状態監視支援システムにおける構成の各々が処理により生成する画像データのそれぞれを説明する概念図である。
【００６１】
ステップＳ１０１：撮像画像入力部１１は、撮像装置２が撮像する動画像の画像データを入力し、ファイル名として動画名を付与して、図８（ａ）に示す様に、動画像の画像データをファイル名（（動画名）．mpg）として記憶部２０に書き込んで記憶させる。
【００６２】
ステップＳ１０２：フレーム化画像生成部１２は、記憶部２０に記憶されている動画像の画像データ（動画名）．mpgを読み出し、図８（ｂ）に示す様に、単位時間（例えば、１秒間）当たり所定の枚数のフレーム化画像に変換する。
そして、フレーム化画像生成部１２は、生成したフレーム化画像に対して、画像データのファイル名の（動画名）_n．jpgを付与して、フレーム番号の順番に従い時系列に記憶部２０に書き込んで記憶させる。
【００６３】
ステップＳ１０３：変化領域抽出部１３は、記憶部２０からフレーム化画像（動画名）_n.jpgを順次読み出し、それぞれをモノクロ化してグレースケール画像を生成する。
そして、変化領域抽出部１３は、グレースケール画像を一旦、記憶部２０に対して、フレーム化画像（動画名）_n.jpgと対応させて書き込んで記憶させる。
【００６４】
ステップＳ１０４：変化領域抽出部１３は、時系列の順番に、フレーム化画像（動画名）_n.jpgにおける変化する画素からなる変化領域を示す、このフレーム化画像（動画名）_n.jpgに対応する第１マスキング画像を生成する。
このとき、変化領域抽出部１３は、グレースケール画像の直前及び直後の他のグレースケール画像の対応する画素との階調度の差分を求める。
そして、変化領域抽出部１３は、対象のグレースケール画像と直前のグレースケール画像との各画素の階調度の差分が、差分閾値を超えた画素の階調度を「１」とし、差分閾値以下の画素の階調度を「０」とする２値化を行なった第１差分画像（上述した差分画像Ｔ2−Ｔ1）を生成する。
【００６５】
また、変化領域抽出部１３は、対象のグレースケール画像と直後のグレースケール画像との各画素の階調度の差分が、差分閾値を超えた画素の階調度を「１」とし、差分閾値以下の画素の階調度を「０」とする２値化を行なった第２差分画像（上述した差分画像Ｔ2−Ｔ3）を生成する。
次に、変化領域抽出部１３は、２値化した階調度の第１差分画像及び第２差分画像の各々において、図８（ｃ）に示す様に、フレーム化画像（動画名）_１.jpgに対応して、階調度が「１」である画素が重なり合う画素の領域を変化領域として、変化領域の画素の階調度を「１」とし、変化領域以外の画素の階調度を「０」とした第１マスキング画像（動画名）_n_ｍ1．jpgを生成する。
【００６６】
ステップＳ１０５：肌色領域抽出部１４は、時系列の順番で対応するフレーム化画像及び第１マスキング画像との各々を用いて、第１マスキング画像（動画名）_n_ｍ1．jpgにおける変化領域のなかから肌色を含む領域である肌色領域を抽出する。
ここで、肌色領域抽出部１４は、第１マスキング画像（動画名）_n_ｍ1．jpgにおける変化領域に対応する、フレーム化画像（動画名）_n．jpgにおける画像領域が肌色を含んでいるか否かの判定を行なう。
これにより、肌色領域抽出部１４は、フレーム化画像（動画名）_n．jpgにおける肌色を含んでいる画像領域に対応した、第１マスキング画像（動画名）_n_ｍ1．jpgにおける変化領域を、肌色領域として抽出する。
【００６７】
ステップＳ１０６：肌色領域抽出部１４は、第１マスキング画像（動画名）_n_ｍ1．jpgにおける肌色領域とした変化領域における画素の階調度を「１」とし、それ以外の変化領域を含む領域の画素の階調度を「０」に変換した第２マスキング画像（動画名）_n_ｍ2．jpgを、図８（ｄ）に示す様にフレーム化画像（動画名）_n．jpgに対応させて生成する。
【００６８】
ステップＳ１０７：矩形領域生成部１５は、図８（ｅ）に示す様に、それぞれのフレーム化画像（動画名）_n．jpgから、第２マスキング画像（動画名）_n_ｍ2.jpgにおける肌色領域の各々に対応する領域を切り出し、切出画像（動画名）_n_r．jpgを生成する。
【００６９】
ステップＳ１０８：運転者状態判定部１６は、矩形領域生成部１５が生成した切出画像（動画名）_n_r．jpgの各々を、機械学習モデルである動作分類モデルに入力し、切出画像（動画名）_n_r．jpgそれぞれのクラス分類を行なう。
そして、運転者状態判定部１６は、切出画像（動画名）_n_r．jpgのクラス分類の結果として、それぞれのクラスに分類する確信度を求める。
これにより、運転者状態判定部１６は、確信度の最も高いクラスを、クラス分類されたクラスとして選択し、切出画像（動画名）_n_r．jpgを切り出したフレーム化画像（動画名）_n.jpgに対応させて、記憶部２０の運転者状態判定テーブルに書き込んで記憶させる。
【００７０】
ステップＳ１０９：車両走行判定部１７は、記憶部２０から第１マスキング画像の各々を順次読み出し、機械学習モデルである走行分類モデルに入力する。
これにより、車両走行判定部１７は、第１マスキング画像（動画名）_n_ｍ1.jpgそれぞれが走行クラス、あるいは停止クラスに分類される。
そして、車両走行判定部１７は、記憶部２０の走行状態判定テーブルにおける分類されたクラスの欄及び確信度の欄の各々に、走行分類モデルによりクラス分類された結果としてのクラス（走行クラスあるいは停止クラス）及び確信度を書き込んで記憶させる。このとき、車両走行判定部１７は、走行しているクラスまたは停止しているクラスの確信度の高い方を、クラス分類により分類されたクラスとする。
【００７１】
ステップＳ１１０：結果統合部１８は、記憶部２０における運転者状態判定テーブル及び走行状態判定テーブルの各々を参照する。
そして、結果統合部１８は、動作分類モデルが分類したクラスと、走行分類モデルが分類したクラスとの各々における、それぞれのクラスを比較する。ここで、結果統合部１８は、分類クラスが携帯端末操作クラスかつ走行クラスであるフレーム化画像をながら運転候補画像として抽出する。このながら運転候補画像は、高い確度で運転者がながら運転をしていると推定されるフレーム化画像（動画名）_n.jpgを示している。
【００７２】
一方、結果統合部１８は、動作分類モデルが分類したクラスがクラス＃１でない場合、または、走行分類モデルが分類したクラスが走行クラスでない場合、そのフレーム化画像（動画名）_n.jpgを、運転者がながら運転をしていないことを示す正常運転候補画像とする。
そして、結果統合部１８は、記憶部２０のシーンテーブルにおけるフレーム化画像の各々に対応するレコードの運転状態フラグの欄に対し、このフレーム化画像がながら運転候補画像と判定された場合、フラグとして「１」を記入する。また、結果統合部１８は、記憶部２０のシーンテーブルにおけるフレーム化画像の各々に対応するレコードの運転状態フラグの欄に対し、このフレーム化画像が正常運転候補画像と判定された場合、フラグとして「０」を記入する。
【００７３】
ステップＳ１１１：結果統合部１８は、記憶部２０におけるシーンテーブルを参照し、フレーム化画像の各々のレコードにおける運転状態フラグそれぞれを確認する。
そして、結果統合部１８は、記憶部２０におけるシーンテーブルを参照し、時系列に運転状態フラグが「１」から「０」までのフレーム化画像（動画名）_n.jpgをグループ化し、グループ化したフレーム化画像群に対してシーン番号を付与し、運転判定シーンとする。
また、結果統合部１８は、記憶部２０のシーンテーブルにおいて、グループ化されたフレーム化画像（動画名）_n.jpgに対応するシーン番号の欄に対し、そのフレーム化画像の属する運転判定シーンのシーン番号を書き込む。一方、結果統合部１８は、運転判定シーンに含まれないフレーム化画像（動画名）_n.jpgのシーン番号の欄に対し、運転判定シーンに属さないことを示す文字、例えば「ＮＯ」を書き込む。
【００７４】
上述した構成により、本実施形態によれば、従来のように、加速度装置や受信機などを車両に搭載する必要がなく、一般的に車両に搭載されているドライブレコーダのような定点撮像装置の撮像画像を用い、運転者が携帯端末の操作を行い、かつ車両が走行している可能性の高いながら運転候補画像を抽出するため、運転者の管理を行なう担当者に対して、ながら運転が行なわれている可能性の高い運転判定シーンを簡易に提示することができ、運転者のながら運転の検出を容易とする支援を行なうことが可能となる。
【００７５】
次に、運転者状態判定部１６における切出画像（動画名）_n_r．jpgのクラス分類において、携帯端末操作クラス（クラス＃１）に対する分類の精度を向上させる動作について説明する。
図９は、本実施形態における運転者状態判定部１６が存在確率マップを用い、切出画像（動画名）_n_r．jpgのクラス分類において携帯端末操作クラスへの分類の精度を上げる処理を説明する概念図である。運転者状態判定部１６は、フレーム化画像（動画名）_n.jpg（３００）を、所定の複数（ｈ×ｉ）のセグメント（画像領域）３００Ｓに分割する。
そして、運転者状態判定部１６は、分割した全てのセグメントの位置に付与する係数αの初期値を１．０とする。
また、運転者状態判定部１６は、携帯端末操作クラスに分類された切出画像（動画名）_n_r．jpgと重なるセグメント３００Ｓの位置の存在確率αに対して所定の係数β（例えば、１．１）を乗算し、それ以外のセグメント３００Ｓの位置の存在確率αに対して所定の係数γ（例えば、０．９）を乗算する。
【００７６】
運転者状態判定部１６は、上述したように、時系列にフレーム化画像から切り出した切出画像（動画名）_n_r．jpgのクラス分類を行なう毎に、各セグメントの位置における存在確率αに対して、係数β、γそれぞれを順次乗算する。
これにより、時系列のフレーム化画像の各々において、携帯端末操作クラスに分類される切出画像に重なる位置にあるセグメントの存在確率αは順次増加していく。一方、携帯端末操作クラスに分割されない位置にあるセグメントの存在確率αは順次低下していく。
【００７７】
そして、運転者状態判定部１６は、フレーム化画像（動画名）_n.jpgから切り出した切出画像（動画名）_n_r.jpgのクラス分類を、動作分類モデルが行った際、この切出画像（動画名）_n_r.jpgに重なるセグメントの存在確率αの幾何平均を切出画像のクラス＃１の確信度に対して乗算する。
図９のフレーム化画像（動画名）_n.jpg（３００）の位置に対応するセグメント３００Ｓの各々において、動作分類モデルがクラス＃１にクラス分類した切出画像（動画名）_n_r.jpgに重なる位置に存在するため、領域３５０におけるセグメントの存在確率αは初期値「１」より大きくなっている。
【００７８】
例えば、運転者状態判定部１６は、フレーム化画像（動画名）_n.jpgから切り出した切出画像のクラス分類が終了した後、直前のフレーム化画像（動画名）_n-1.jpgまでに設定された各セグメントの存在確率αを用いて、クラス分類の結果として出力されるクラス＃１の確信度を補正する。
すなわち、運転者状態判定部１６は、フレーム化画像（動画名）_n.jpgから切り出した切出画像と重なる領域３６０におけるセグメント３００Ｓの存在確率αの幾何平均を算出する。
【００７９】
例えば、領域３６０におけるセグメント３００Ｓ＿１がα＝０．８、３００Ｓ＿２がα＝０．９、３００Ｓ＿３がα＝０．９、３００Ｓ＿４がα＝１．１、…、３００Ｓ＿９がα＝１．２の場合、
幾何平均Σ＝（０．８×０．９×０．９×１．１×…×１．２）１／９
として計算される。
【００８０】
そして、運転者状態判定部１６は、フレーム化画像（動画名）_n.jpgから切り出した切出画像のクラス分類において、クラス＃１の確信度に対して幾何平均Σを乗算する。
また、運転者状態判定部１６は、クラス＃１（携帯端末操作クラス）の確信度に対して幾何平均Σを乗算した後、クラス分類された各クラスの確信度を比較し、最も大きな確信度のクラスをクラス分類の結果として選択する。
【００８１】
これにより、携帯端末操作クラスの確信度が動作分類モデルによるクラス分類の直後に、他のクラスより微妙に小さい場合、切出画像（動画名）_n_r.jpgと重なる位置のセグメントの存在確率αから求めた幾何平均Σが１を超える場合、確信度の大きさが逆転して、携帯端末操作クラスがクラス分類として選択される確率が上昇する。
これは同一の人物であると、スマートフォンの操作に癖があり、同様の位置でスマートフォンを操作することが多いため、上述した存在確率αを用いることで、携帯端末操作クラス（クラス＃１）に分類する精度を向上させることができる。
【００８２】
また、上述した確信度マップは、入力される撮像画像から生成されるフレーム化画像における切出画像により順次更新、あるいは運転判定シーン毎にリセットして、運転判定シーンにおける切出画像により順次更新するか、または、前後のフレーム化画像の類似度を比較して画像に所定の類似閾値を下回るシーンチェンジが発生したタイミングでリセットして、以降のフレーム化画像で順次構成するなど、ながら運転候補画像を抽出する対象毎に適宜設定する。
【００８３】
また、図１に示す運転状態監視支援システムの定点撮像装置が撮像した動画データを用い、車両の運転者が携帯端末の操作を行い、かつ車両が走行している可能性の高いながら運転候補画像を抽出し、提示する機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、定点撮像装置が撮像した動画データからながら運転候補画像を抽出し、提示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８５】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８６】
１…運転状態監視支援システム
１１…撮像画像入力部
１２フレーム化画像生成部
１３…変化領域抽出部
１４…肌色領域抽出部
１５…矩形領域生成部
１６…運転者状態判定部
１７…車両走行判定部
１８…結果統合部
１９…画像提示制御部
２０…記憶部
【図１】
2020042422.tif 000003
【図２】
2020042422.tif 000004
【図３】
2020042422.tif 000005
【図４】
2020042422.tif 000006
【図５】
2020042422.tif 000007
【図６】
2020042422.tif 000008
【図７】
2020042422.tif 000009
【図８】
2020042422.tif 000010
【図９】
2020042422.tif 000011