(57)【要約】【課題】将来起こり得る危険な状況を予測し、予測した危険な状況が発生しないように使用者への教育を実施するフィードバック装置を提供すること。【解決手段】対象者の挙動についてフィードバックを行うフィードバック装置であって、フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを予め保持する記憶手段（ヒヤリハットデータベース１６）と、対象者の挙動記録を受け取り、挙動記録から対象者の挙動を抽出して挙動情報を出力する挙動抽出手段（挙動認識部１４）と、挙動情報に基づいて、対象者の挙動を前記複数の挙動特性に分類する特性分類手段（特性分類部１５）と、特性分類手段により分類された挙動特性に紐づくフィードバック情報を用いて、対象者にフィードバックを行うフィードバック手段（表示部１７）と、を備える。【選択図】図２
2018005261.tif 000002
【特許請求の範囲】
【請求項１】
対象者の挙動についてフィードバックを行うフィードバック装置であって、
前記フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを予め保持する記憶手段と、
前記対象者の挙動記録を受け取り、前記挙動記録から対象者の挙動を抽出して挙動情報を出力する挙動抽出手段と、
前記挙動情報に基づいて、前記対象者の挙動を前記複数の挙動特性に分類する特性分類手段と、
前記特性分類手段により分類された挙動特性に紐づくフィードバック情報を用いて、前記対象者にフィードバックを行うフィードバック手段と、
を備えるフィードバック装置。
【請求項２】
前記記憶手段は、前記複数の挙動特性として、危険が生じると予測される挙動の特性を記憶し、
前記挙動抽出手段は、前記挙動情報を、前記対象者の挙動と、前記対象者の挙動による危険度とを組み合わせたデータとして作成し、
前記特性分類手段は、前記危険度に基づいて、前記対象者の挙動の特性を判定し、前記複数の挙動特性に分類することを特徴とする請求項１に記載のフィードバック装置。
【請求項３】
前記挙動記録は、自動車に装備される撮像装置が撮った画像データを少なくとも含むことを特徴とする請求項１または２に記載のフィードバック装置。
【請求項４】
挙動記録は、さらに加速度情報を含み、
前記挙動抽出手段は、前記画像データと前記加速度情報とを用いて、速度、対象者の目線、およびハンドル操作のうちの少なくとも一つの挙動を抽出して前記挙動情報を作成することを特徴とする請求項３に記載のフィードバック装置。
【請求項５】
前記挙動抽出手段は、前記対象者の挙動のうち、所定の危険が生じると予測される挙動を選択し、選択した前記挙動と前記挙動が生じた画像データとを含む前記挙動情報を作成し、
前記特性分類手段は、前記画像データを前記フィードバック情報として前記記憶手段に書き込むことを特徴とする請求項３または４に記載のフィードバック装置。
【請求項６】
前記挙動抽出手段は、前記対象者の挙動のうち、所定の危険が生じると予測される挙動について、警告を出力することを特徴とする請求項３乃至５のいずれか一項に記載のフィードバック装置。
【請求項７】
前記挙動記録を採取する挙動記録装置を、さらに備えることを特徴とする請求項１乃至６のいずれか一項に記載のフィードバック装置。
【請求項８】
対象者の挙動についてフィードバックを行うフィードバック方法であって、
前記フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを記憶手段に保持する記憶工程と、
前記対象者の挙動記録を受け取り、前記挙動記録から対象者の挙動を抽出して挙動情報を出力する挙動抽出工程と、
前記挙動情報に基づいて、前記対象者の挙動を前記複数の挙動特性に分類する特性分類工程と、
前記特性分類工程により分類された挙動特性に紐づくフィードバック情報を前記記憶手段から読み出し、前記対象者にフィードバックを行うフィードバック工程と、
を備えるフィードバック方法。
【請求項９】
対象者の挙動についてフィードバックを行うフィードバック方法を実現するプログラムであって、
コンピュータに、
前記フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを記憶手段に保持する記憶処理と、
前記対象者の挙動記録を受け取り、前記挙動記録から対象者の挙動を抽出して挙動情報を出力する挙動抽出処理と、
前記挙動情報に基づいて、前記対象者の挙動を前記複数の挙動特性に分類する特性分類処理と、
前記特性分類処理により分類された挙動特性に紐づくフィードバック情報を前記記憶手段から読み出し、前記対象者にフィードバックを行うフィードバック処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィードバック装置、フィードバック方法およびプログラムに関する。
【背景技術】
【０００２】
近年、自動車や機器に対する利用者への操作学習が情報処理技術により電子化されているケースが多くなっている。これに伴い、学習教材は書籍などの印刷物から電子データでの提供が多くなっている。例えば、ｅラーニングなどの電子学習システムが活用されているが、利用者のばらつきがある領域に関しては、個別対応ができていないのが現状である。
特に、自動車の運転や、工場での機器操作など、人命に関わる領域では、個別対応の必要性が高い。この様な状況の中、自動車の運転に関して危険な状況が発生した場合に注意勧告を実施する技術（例えば、特許文献１）、あるいは危険な状況が発生した場合に機械的に補助を実施する技術（例えば、特許文献２）などが開示されている。
【０００３】
しかしながら、上述した技術は、危険な状況が発生すること自体を予防することを目的とするものではない。危険な状況を未然に防ぐためには、自動車や機器の使用者に対する事前教育が必要であり、使用者の特性に合わせた教育システムが望まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は、将来起こり得る危険な状況を予測し、予測した危険な状況が発生しないように使用者への教育を実施するフィードバック装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明は、対象者の挙動についてフィードバックを行うフィードバック装置であって、前記フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを予め保持する記憶手段と、前記対象者の挙動記録を受け取り、前記挙動記録から対象者の挙動を抽出して挙動情報を出力する挙動抽出手段と、前記挙動情報に基づいて、前記対象者の挙動を前記複数の挙動特性に分類する特性分類手段と、前記特性分類手段により分類された挙動特性に紐づくフィードバック情報を用いて、前記対象者にフィードバックを行うフィードバック手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、将来起こり得る危険な状況を予測し、予測した危険な状況が発生しないように使用者への教育を実施するフィードバック装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態のフィードバック装置の動作の概略を説明するフローチャートである。
【図２】実施形態１のフィードバック装置の構成例を説明する図である。
【図３】実施形態１の運転挙動データ（テーブル情報）の一例を示す図である。
【図４】実施形態２のフィードバック装置の構成例を説明する図である。
【図５】実施形態３のフィードバック装置の構成例を説明する図である。
【図６】実施形態４のフィードバック装置の構成例を説明する図である。
【図７】実施形態４の危険データベースの一例を示す図である。
【図８】実施形態５のフィードバック装置の構成例を説明する図である。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載および図面は、適宜、省略または簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明は省略する。
【０００９】
一実施形態のフィードバック装置は、対象者（以降適宜、利用者または使用者とも記載する）の挙動についてフィードバックを行う装置である。フィードバック装置は、少なくとも、記憶手段、挙動抽出手段、特性分類手段、およびフィードバック手段を備える。
また、対象者の挙動記録は、挙動記録装置によって採取され、フィードバック装置へ供給（入力）される。挙動記録装置は、対象者の挙動を採取（撮像、検知、記録など）する手段であり、例えば、撮像装置（ドライブレコーダ、動画または静止画を撮影するカメラなど）、センシング装置（センサーなど）を含む。
【００１０】
記憶手段は、フィードバックを行う挙動の特性を分類した複数の挙動特性と、各挙動特性に紐づくフィードバック情報とを予め保持する。記憶手段は、書き換え可能な記憶装置として構成されることが好ましい。これは、より適切な特性分類に更新すること、より適切なフィードバック情報を更新・追加することなどが望まれるからである。
複数の挙動特性は、フィードバックの対象となる挙動の特性であり、予測される将来起こり得る危険な状況に関連する挙動であることが好ましい。
フィードバック情報は、各挙動特性に応じて対象者への教育に用いる情報であり、例えば、対象者への注意勧告、警告、危険予知情報、実際の事故画像、挙動の評価（教習における採点）が含まれる。
【００１１】
挙動抽出手段は、対象者の挙動を採取した挙動記録が供給され、挙動記録から対象者の挙動を抽出して挙動情報を出力する。挙動抽出手段は、挙動特性と関連する挙動、言い換えると、予測される危険な状況と関連し、フィードバックが望まれる挙動を抽出して挙動情報を作成することが好ましい。
特性分類手段は、挙動情報に基づいて、対象者の挙動の特性を判定し、複数の挙動特性に分類する。このとき、特性分類手段は、記憶手段に保持する複数の挙動特性を参照する（読み出す）。分類された挙動特性は、フィードバック手段に出力される。また、特性分類手段は、記憶手段へのデータの書き込み（例えば、フィードバック情報の追加・更新）ができるように構成されることが好ましい。
フィードバック手段は、特性分類手段により分類された挙動特性に紐づくフィードバック情報を用いて、対象者にフィードバックを行う。
【００１２】
図１を参照してフィードバック装置の動作例を説明する。ここでは、記憶手段は予め複数の挙動特性とフィードバック情報との組み合わせを保持していることを前提とする。
挙動抽出手段は、挙動記録装置が採取した挙動記録を受け取ると（Ｓ１１）、挙動記録を解析・認識し、対象者の挙動を抽出し（Ｓ１３）、挙動情報を作成する（Ｓ１５）。挙動抽出手段は、抽出した挙動について、挙動特性との関連性、あるいは抽出した挙動の特性の度合い（危険度の強弱）などを表す数値とともに挙動情報を作成することが好ましい。
特性分類手段は、挙動抽出手段が作成した挙動情報を受け取ると、挙動情報に基づいて、対象者の挙動の特性を判定し、判定した結果に基づいて、挙動情報に含まれる対象者の挙動を、複数の挙動特性のいずれかに分類する（Ｓ１７）。分類した挙動特性は、フィードバック手段に通知される。
フィードバック手段は、通知された挙動特性に紐づくフィードバック情報を記憶手段から読み出し、フィードバック情報を用いて対象者にフィードバックを行う（Ｓ１９）。
【００１３】
上述した動作により、フィードバック装置は、対象者の行動（自動車の運転、機器の操作など）を採取した挙動記録から所定の挙動を抽出し、抽出した挙動に基づいて、フィードバックを行うことを可能にする。これにより、フィードバック装置は、対象者に対して、自己の挙動の特性（特に、予測される危険に関連する挙動特性）を通知するとともに、危険を回避するためのフィードバックを提供することが可能になる。
以下の各実施形態では、フィードバック装置を自動車の運転または工作機械の操作に適用する場合を一例として説明する。
【００１４】
実施形態１．
実施形態１では、自動車の運転技術に関するフィードバック装置の一例を説明する。
図２は、実施形態１のフィードバック装置の構成例を説明する図である。フィードバック装置１は、データ受け渡し部１３、運転認識部１４、特性分類部１５、ヒヤリハットデータベース１６、および表示部１７を備える。
また、利用者が運転する自動車１１には、ドライブレコーダ１２が装備されている。フィードバック装置１は、ドライブレコーダ１２によって採取された情報が供給（入力）されるように構成される。
【００１５】
ドライブレコーダ１２は、利用者の運転状況（運転情報）を採取し、運転状況データ（挙動記録の一例）を出力する手段であり、挙動記録装置の一例である。本実施形態では、運転状況データは、ドライブレコーダ１２のカメラから得られた画像データ、およびドライブレコーダ１２で測定される加速度情報を少なくとも含む。
データ受け渡し部１３は、ドライブレコーダ１２からの運転状況データを有線通信、無線通信もしくはメモリ媒体等でデータを受け取るデータ入力手段（データ供給手段）である。
【００１６】
運転認識部１４は、ドライブレコーダ１２から得られる運転状況データ（ここでは、画像データならびに加速度情報）を用いて、利用者の挙動を認識し、運転挙動データ（挙動情報の一例）を作成する手段であり、挙動抽出手段の一例である。運転挙動データは、特性分類部１５が判定する運転の特性に関連する挙動を含む。また、運転認識部１４は、データ受け渡し部１３から運転状況データを受け取り、特性分類部１５へ運転挙動データを送る。
特性分類部１５は、運転挙動データをもとに利用者の運転の特性を判定し、分類する手段であり、特性分類手段の一例である。
【００１７】
ヒヤリハットデータベース１６は、危険が予測される運転の特性を分類した複数の運転特性（複数の挙動特性の一例）と、動画または静止画などの事故画像（フィードバック情報の一例）とを結び付けて保持する手段であり、記憶手段の一例である。例えば、ヒヤリハットデータベース１６は、運転特性と事故との相関、そしてその条件から過去に発生した実際の事故動画を結び付けて格納する。
表示部１７は、ヒヤリハットデータベース１６に保持する事故動画を読み出して表示する手段であり、フィードバック手段の一例である。表示部１７は、事故動画を表示することによって、将来起こり得る危険な状況を予測し、その危険な状況が発生しないように使用者への教育（フィードバック）を実施する際に用いることができる。
【００１８】
本実施形態の動作を説明する。本実施形態ではドライブレコーダ１２とデータ受け渡し部１３との間のデータの受け渡しに関して、メモリ媒体を使用して実施する。利用者は自己が運転する自動車１１に装備されているドライブレコーダ１２を使い、運転挙動データを採取する。
ドライブレコーダ１２によって採取される運転状況データは、加速度情報、車の前方の録画データ、車内の運転者を録画したデータ、およびＧＰＳ（Global Positioning System）情報である。運転が完了した後、利用者はドライレコーダ１２からメモリ媒体を取り出し、メモリ媒体を車外に設置されているデータ受け渡し部１３に挿入する。データ受け渡し部１３は、前述した運転状況データを、例えば、フィードバック装置１が備える一時記憶領域へコピーする。また、データ受け渡し部１３は、コピーした運転状況データを運転認識部１４へ送る。
【００１９】
運転認識部１４は、供給された運転状況データを以下のように処理し、運転挙動データを作成する。
加速度情報について、運転認識部１４は、ＸＹＺ軸のベクトルの大きさを算出してローパスフィルタ処理を行う。運転認識部１４は、進行方向において予め設定されている閾値以上になった場合、急ブレーキと判断し、また左右方向において予め設定されている閾値以上になった場合、急ハンドルと判断し、ベクトルの大きさに従い、０から１００の範囲の値として正規化された値を決定する。
車の前方の録画データについて、運転認識部１４は、画像認識処理を施し、交通標識、信号を検出して画像認識結果を生成する。さらにＧＰＳ情報を使用し、任意の区間移動距離と時間を算出し、走行速度を算出する。
【００２０】
運転認識部１４は、画像認識結果と算出した走行速度とを対比し、例えば、速度規制の交通標識による制限速度と走行速度の差が予め設定されている値を超えて走行速度が大きい場合、速度違反（速度超過）と認識し、超過速度の大きさに従い、０から１００の範囲の値として正規化された値に決定する。
同様に、運転認識部１４は、一時停止の交通標識を認識し、その位置において、走行速度が０（ゼロ）でない場合、一時停止無視として、超過速度の大きさに従い、０から１００の範囲の値として正規化された値に決定する。
さらに、運転認識部１４は、車内の運転者を録画したデータより、運転者の顔を認識し、目の位置を特定、目線を検出する。ここで、予め設定してある時間を越えて運転者の目線が前方以外の箇所にあった場合、脇見運転と判断し、超過した時間の大きさに従い、０から１００の範囲の値として正規化された値に決定する。
【００２１】
運転認識部１４は、運転挙動データを、例えば図３に示すような、比較対象となる運転パラメータとそのスコアとを対応させるテーブル情報（構造データ）として作成する。運転認識パラメータは、利用者の挙動であり、急ブレーキ、急ハンドル、走行速度、速度超過（速度違反）、一時停止無視、脇見運転、信号無視などを含む。スコアは、利用者の挙動の危険度を表す数値であり、例えば上述したように０から１００の範囲の数値である。
また、挙動抽出手段は、一つまたは複数の対象者の挙動を抽出して挙動情報を作成する。
運転認識部１４は、作成した運転挙動データを特性分類部１５に渡す。
【００２２】
特性分類部１５は、運転挙動データを用いて、利用者の運転の特性を判定し、ヒヤリハットデータベース１６を参照して複数の運転特性のうちのいずれかに分類する。詳細には、特性分類部１５は、運転挙動データのテーブル情報をもとに、ヒヤリハットデータベース１６中で、最も類似度が高いものを選択し、その条件で発生した実際の事故画像を表示部１７に投影する。特性分類部１５が適切に運転特性を分類するため、ヒヤリハットデータベース１６は、特性分類として、テーブル情報に含まれる運転特性パラメータ、または複数の運転特性パラメータを含む運転特性などを用いることが好ましい。
【００２３】
本実施形態によれば、過去に発生した事故例とそれが発生しないようにするために、対象者はどの様にすべきかのアドバイスを受けることができ、再発防止の観点で、以後安全運転を実施することができる。
【００２４】
実施形態２．
実施形態２では、自動車の運転技術に関するフィードバック装置の二番目の例を説明する。
図４は、実施形態２のフィードバック装置の構成例を説明する図である。フィードバック装置２は、運転認識部２３、データ保存部２４、データ入力部２５、特性分類部２６、ヒヤリハットデータベース２７、および表示部２８を備える。
また、利用者が運転する自動車２１には、ドライブレコーダ２２が装備されている。さらに、本実施形態では、運転認識部２３およびデータ保存部２４が、自動車２１に装備される機器に搭載されることを前提とする。
ドライブレコーダ２２は、図２のドライブレコーダ１２と同様に機能するため説明を省略する。ドライブレコーダ２２は、運転状況データ（運転記録の一例）を出力する。
フィードバック装置２は、出力された運転状況データを、運転認識部２３へ供給するように構成される。
【００２５】
運転認識部２３は、ドライブレコーダ２２から得られる運転状況データ（カメラから得られた画像データならびに加速度情報など）を用いて、利用者の挙動を認識し、所定の挙動を抽出した運転挙動データ（挙動情報の一例）を作成する手段であり、挙動抽出手段の一例である。
運転認識部２３は、所定の挙動として、認識した挙動のうち、運転特性に関連し、かつ、危険な運転に関する挙動を少なくとも抽出して運転挙動データを作成する。
加えて、運転認識部２３は、抽出した挙動について、実施形態１と同様に、運転認識パラメータとスコアとを対応させるテーブル情報を作成し、テーブル情報に加え、危険な運転に関する挙動として認識した画像データなど（運転状況データの一部分または全部）を含む運転挙動データを作成する。さらに、運転認識部２３は、運転認識パラメータのうち、スコアが予め設定した基準を超える挙動について自動車２１内で警告を出力する。運転認識部２３は、作成した運転挙動データをデータ保存部２４へ書き込む。
【００２６】
データ保存部２４は、運転認識部２３から出力された運転挙動データを一時保存するための手段である。
データ入力部２５は、データ保存部２４に保存された運転挙動データを有線通信、無線通信もしくはメモリ媒体等でデータを受け取るデータ受け渡し手段である。
特性分類部２６は、認識された運転挙動データをもとに利用者の運転の特性を判定し、分類する手段であり、特性分類手段の一例である。また、特性分類部２６は、運転挙動データに含む画像データなどをヒヤリハットデータベース２７に書き込む。
ヒヤリハットデータベース２７は、基本的には実施形態１と同様の記憶手段である。さらに、本実施形態のヒヤリハットデータベース２７は、予め保持する事故画像に加え、新たな画像データなどの情報を書き込み可能に構成される。
表示部２８は、図２の表示部１７と同様に機能するため説明を省略する。
【００２７】
本実施形態の動作を説明する。本実施形態では運転挙動データに関し、データ保存部２４とデータ入力部２５の接続は３Ｇ／ＬＴＥ（Long Term Evolution）等の公衆回線を利用するものとする。
ドライブレコーダ２２は使用者が自動車２１を運転している時は常時運転記録データを採り、運転認識部２３に送る。ドライブレコーダ２２によって採取される運転状況データは、加速度情報と車の前方の録画データ、車内の運転者を録画したデータ、およびＧＰＳ情報である。
【００２８】
運転認識部２３は、運転状況データを実施形態１と同様に処理し、認識した挙動について、運転認識パラメータとスコアとを対応させるテーブルを作成する。詳細には、運転認識部２３は、急ブレーキ、急ハンドル、走行速度、速度超過（速度違反）、一時停止無視、脇見運転などの挙動を運転認識パラメータとして認識し、各パラメータのスコアを算出して、テーブル情報を作成する。
運転認識部２３は、複数の運転認識パラメータのスコアから一番大きなパラメータを抽出し、自動車２１の使用者にリアルタイムに注意勧告を行う。本実施形態では自動車２１の使用者にフロントガラス上に注意勧告を表示させる。
また、運転認識部２３は、急ブレーキや脇見などの危険な状況が発生している挙動を抽出し、抽出した挙動のテーブル情報、および、運転状況データ（加速度情報と車の前方を録画した画像データ、車内の運転者を録画した画像データ）の一部または全部を含む運転挙動データを作成し、データ保存部２４に送る。データ保存部２４は予め設定されている一定量のデータになるまで運転挙動データを保存する。
【００２９】
データ保存部２４は、一定量に達したときに、データを圧縮し、公衆回線網を経由してデータ入力部２５に転送する。データ入力部２５は送られてきたデータを一時保存する。
その後、使用者が本学習システムを使用する際に、データ入力部２５が保存したデータ（運転挙動データ）を解凍し、特性分類部２６に送る。
特性分類部２６は送られてきた運転挙動データのテーブル情報をもとに、ヒヤリハットデータベース２７中で、最も類似度が高いものを選択し、その条件で発生した実際の事故画像を表示部２８に投影する。さらに、送られてきた運転状況データを危険状態として、ヒヤリハットデータベース２７に格納し、データベースをアップデートする。特性分類部２６は、送られた運転状況データを表示部２８に投影してもよい。
【００３０】
なお、上述した動作では、運転認識部２３は、認識した挙動のうち、運転特性に関連し、かつ、危険な運転に関する挙動を少なくとも抽出して運転挙動データを作成する態様を説明したが、実施形態１と同様に認識した挙動のテーブル情報を運転挙動データに含めてもよい。例えば、運転認識部２３は、運転挙動データに、認識した挙動すべてのテーブル情報に加え、認識した挙動のうち、危険な運転にする挙動を認識した画像データなどを含めて作成してもよい。あるいは、認識した挙動のテーブル情報のスコアが所定の値以上（または一番大きなスコア）の運転認識パラメータを選択し、選択した挙動のテーブル情報および画像データなどを含む運転挙動データを作成してもよい。
また、上述した動作例では、運転認識部２３は、運転認識パタメータのスコアが一番高い挙動について警告を出力する態様を説明したが、予め定めた基準を超えるスコアの挙動について警告を出力するようにしてもよい。
【００３１】
本実施形態によれば、フィードバックに適切なデータを選択して運転挙動データを作成し、保存するため、データ量の削減が可能になり、無線通信などを用いて構成することができる。また、実際に撮影した画像データを利用者に提供できるため、改善点を指導する際に具体的に指摘することが可能になる。また、利用者の挙動に対して、警告をリアルタイムに出力することができる。
【００３２】
実施形態３．
実施形態３では、自動車の運転技術に関するフィードバック装置の三番目の例を説明する。
図５は、実施形態３のフィードバック装置の構成例を説明する図である。
フィードバック装置３は、運転認識部３３、特性分類部３４、記録部３５およびフィードバック部３６を備える。利用者が運転する自動車３１には、ドライブレコーダ３２が装備されている。フィードバック装置３は、ドライブレコーダ３２によって採取された情報が供給されるように構成される。フィードバック装置３の各構成は、車載器として自動車３１内に装備されてもよいし、実施形態２のように、運転認識部３３を含む一部分が自動車３１に装備され、他の部分が別の装置（例えば教習所内の装置）に搭載されていてもよい。
ドライブレコーダ３２は、車の運転手を撮像する内部カメラと、車の外部を撮像する外部カメラを備え、撮像した画像データ（挙動記録の一例）を運転認識部３３へ送る手段であり、挙動記録装置の一例である。
【００３３】
運転認識部３３は、ドライブレコーダ３２から運転状況データを受け取り、運転挙動データ（挙動情報の一例）を作成する手段であり、挙動抽出手段の一例である。また、運転認識部３３は、運転挙動データに基づいて、自動車３１内で警告を出力するとともに、運転挙動データを特性分類部３４へ送る。
特性分類部３４は、運転挙動データを受け取り、運転特性を判定し、運転特性に対応する処理を記録部３５から選択する手段であり、特性分類手段の一例である。
記録部３５は、特性分類部３４が分類する運転特性と、運転特性に応じた処理とを組み合わせて保持する記憶手段の一例である。運転特性に応じた処理として、例えば、運転認識パラメータが障害物の認識の場合、スコアに応じて、採点を加点または減点する、利用者に事故画像を見せる、自動運転への変更などを設定することができる。
フィードバック部３６は、特性分類部３４が選択した処理を、フィードバックとして実施するフィードバック手段の一例である。
【００３４】
本実施形態の動作を説明する。
ドライブレコーダ３２は、自動車３１の運転手を内部カメラで撮像し、自動車３１の外部を外部カメラで撮像する。内部カメラは例えば自動車３１の運転手の目線方向を検知する赤外線カメラである。外部カメラは例えば車の前方の障害物を検知するステレオカメラである。ドライブレコーダ３２は、内部カメラおよび外部カメラにより採取した画像データを運転状況データとして運転認識部３３へ送る。
【００３５】
運転認識部３３は、ドライブレコーダ３２から運転状況データを受け取る。運転認識部３３は、実施形態１と同様に、所定の運転認識パラメータとスコアとを対応づけるテーブル情報を作成する。具体的には、本実施形態では、ステレオカメラによって障害物が前方に検知された場合に、運転認識部３３は、内部カメラが検知した自動車３１の運転手の目線方向から、障害物の方向を所定時間以上（例えば１秒以上）見たと認識できたときには、運転手が障害物を認識したとしてスコアを算出する。一方、運転認識部３３は、所定時間以下であるときは、運転手が障害物を認識していないとしてスコアを算出する。
運転認識部３３は、運転認識パラメータとして障害物認識と、算出したスコアとをテーブル情報とする運転挙動データを作成する。
【００３６】
特性分類部３４は、運転挙動データに含まれる運転パラメータに基づいて運転特性を判定し、運転特性に紐づけられた処理を記録部３５から選択する。
フィードバック部３６は、選択された処理を実施する。例えば、運転手が障害物を認識していた場合、教習車であれば採点の点数を上げる、事故の映像を見せる等を行う。一方、運転手が障害物を認識していない場合には、教習車であれば採点の点数を下げる、通常の車であればナビゲーション画面やＨＵＤ（Head-Up Display）などへの警告表示や自律運転切り替えを行う等を行う。
また、フィードバック部３６は、利用者に情報を提供する場合に、例えば情報を表示するモニタや情報と印字するプリンタを用いることができる。
【００３７】
上述した具体例では、運転認識パラメータとして障害物認識を一例として説明したが、他の運転認識パラメータであっても同様に処理することが可能である。また、運転認識部３３は、ドライブレコーダ３２が採取する加速度情報やＧＳＰ情報を受け取り、画像データとあわせて、実施形態１と同様の運転挙動を認識することも可能である。
また、運転認識部３３と特性分類部３４との間に、図２に示すデータ受け渡し部１３または図４に示すデータ入力部２５のような、データを後続する構成に供給する手段を配置してもよい。
【００３８】
本実施形態によれば、利用者の挙動に対する注意点を、リアルタイムに提供することが可能になる。また、利用者の挙動特性を別の教育プログラムに組み込むことが可能になる。
【００３９】
実施形態４．
実施形態４では、機器の操作に関するフィードバック装置の一例を説明する。
図６は、実施形態４のフィードバック装置の構成例を説明する図である。フィードバック装置４は、データ解析部４５、特性分類部４６、危険データベース４７、および表示部４８を備える。また、図６では、利用者４１が操作する機器の一例として、鋼材４３を切断する機器４２を示している。フィードバック装置４は、機器４２に装備されたセンサー４４から検知したデータが供給されるように構成される。
センサー４４は、利用者４１の手の位置をセンシングする手段であり、挙動記録装置の一例である。
【００４０】
データ解析部４５は、センサー４４から得られたデータ（挙動記録の一例）を解析し、操作解析データ（挙動情報の一例）を作成する手段であり、挙動抽出手段の一例である。
特性分類部４６は、解析された操作解析データをもとに利用者４１の操作特性を判定し、分類する手段であり、特性分類手段の一例である。
【００４１】
危険データベース４７は、機器４２の操作において発生する危険性（挙動特性の一例）と、危険性が発生しないような指導を実施できる指導データ（フィードバック情報の一例）を蓄える手段であり、記憶手段の一例である。
表示部４８は、特性分類部４６により利用者の操作特性が分類された危険性に紐づくフィードバック情報として、指導データを用いて対象者にフィードバックを行うフィードバック手段の一例である。表示部４８は、将来起こり得る危険な状況を予測し、その危険な状況が発生しないように使用者への教育を実施する際に表示することができる。
【００４２】
本実施形態の動作を説明する。本実施形態では利用者４１が機器４２を使用し、鋼材４３を切断するものである。利用者４１は鋼材４３を手動で機器４２に入れる。この際、センサー４４は利用者４１の手の位置、手を離すタイミングをセンシングする。センシングされたデータはデータ解析部４５に伝達される。
データ解析部４５は、センサー４４から供給されたデータを解析し、手の位置が機器４２から遠い、もしくは近いかどうか、手を離すタイミングが早い、もしくは遅いかを判定し、判定結果（操作解析データ）を特性分類部４６に渡す。
特性分類部４６は、操作解析データから、図７に示すような複数のクラスから利用者の操作特性を分類し、その危険性と、それに関連するビデオデータを危険データベース４７から抽出し、表示部４８へ転送する。
【００４３】
ここで、危険データベース４７は、指導データの一例として、機器４２でかつて発生した事故例を元に作成されたビデオデータが格納されているものとする。作業完了後、利用者４１は自分の特性を学習するために表示部４８を使用する。仮に利用者４１が機器４２近くで手を離すタイミングが遅いケースが見受けられた場合、過去に発生した事故例とそれが発生しないようにするために、どの様にすべきかのアドバイスを受けることができ、以後の作業に活用することができる。
【００４４】
本実施形態によれば、使用者の挙動や特性と対比して、過去に発生した事故例を提供するとともに、同様の事故が発生しないようにするために、どの様にすべきかのアドバイスを受けることが可能になり、以後の作業の安全性を向上させることができる。
【００４５】
実施形態５．
実施形態５では、機器の操作に関するフィードバック装置にカメラを用いる例を説明する。
図８は、実施形態５のフィードバック装置の構成例を説明する図である。フィードバック装置５は、画像認識部５５、特性分類部５６、危険データベース５７、および表示部５８を備える。また、図８では、利用者５１が操作する機器の一例として、鋼材５３を切断する機器５２を示している。フィードバック装置５は、機器５２に装備されたカメラ５４から画像データが供給されるように構成される。
カメラ５４は、利用者５１の手の位置をセンシングする手段であり、挙動記録装置の一例である。
【００４６】
画像認識部５５は、カメラ５４から得られた画像データ（挙動記録の一例）を認識し、操作認識データ（挙動情報の一例）を作成する手段であり、挙動抽出手段の一例である。
特性分類部５６は、認識された操作認識データをもとに利用者５１の操作特性を判定し、分類する手段であり、特性分類手段の一例である。
危険データベース５７、表示部５８は、実施形態４の危険データベース４７、表示部４８と同様であるため、説明を省略する。
【００４７】
本実施形態の動作を説明する。本実施形態では利用者５１が機器５２を使用し、鋼材５３を切断するものである。利用者５１は鋼材５３を手動で機器５２に入れる。この際、カメラ５４は利用者５１の手の位置、手を離すタイミングを撮影する。撮影された画像データは画像認識部５５に伝達される。
データ解析部５５は、手の位置が機器５２から遠い、もしくは近いかどうか、手を離すタイミングが早い、もしくは遅いかを認識し、認識した結果（操作認識データ）を特性分類部５６に渡す。
特性分類部５６は、操作認識データから、図７に示すような複数のクラスから利用者の特性を分類し、その危険性と、それに関連するビデオデータを危険データベース５７から抽出し、表示部５８へ転送する。
【００４８】
本実施形態によれば、実施形態４の効果に加え、カメラを使用することにより、使用者の挙動をさらに精度よく認識することが可能になる。
【００４９】
その他の実施形態．
上述した各実施形態では、挙動記録を採取する挙動記録装置を外部に配置した構成例を説明したが、フィードバック装置内に挙動記録装置を配置する構成であってもよい。
例えば、図２では、フィードバック装置１内にドライブレコーダ１２を配置する構成であってもよい。例えば、運転を練習するための自動車である場合、フィードバック装置を備え、停車中に利用者が表示部１７を参照可能に構成する。あるいは、シミュレーション装置のように、自動車の運転を疑似体験可能な装置に搭載してもよい。
また、各実施形態のフィードバック装置と、挙動記録装置とを含むフィードバックシステムとして構成することも可能である。
【００５０】
さらに、上記各実施形態で説明したフィードバック装置が実行する各工程（各処理）は、命令群からなるプログラムにより実現することができる。プログラムは、コンピュータに命令群を実行させることにより、各処理を実現する。また、処理の一部（例えば、画像データの解析）をＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアを用い、ハードウェアとソフトウェアとを組合せて実現してもよい。
【００５１】
また、フィードバック装置（方法）の全部またはその一部をプログラムで実現する場合、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。
【００５２】
上記各実施形態によれば、使用者の挙動や特性に基づいて、過去に発生した事故例を提供するとともに、同様の事例が発生しないようにするために、どの様にすべきかのアドバイスを受けることができる。これにより、利用者の挙動に関する安全性を向上させることができる。
このように、一実施形態に係るフィードバック装置は、使用者の挙動を事前に取得し、取得したデータを解析し、使用者の傾向を予め設定されている複数のクラスに分類し、分類された特性から、将来起こり得る危険な状況を予測し、その危険な状況が発生しないように使用者への教育を実施することを可能にする。
【００５３】
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【符号の説明】
【００５４】
１−５  フィードバック装置
１１、２１、３１  自動車
１２、２２、３２  ドライブレコーダ
１４、２３、３３  運転認識部
１５、２６、３４、４６、５６  特性分類部
１６、２７  ヒヤリハットデータベース
１７、２８、４８、５８  表示部
３５  記録部
３６  フィードバック部
４４  センサー
４５  データ解析部
４７、５７  危険データベース
５４  カメラ
５５  画像認識部
【先行技術文献】
【特許文献】
【００５５】
【特許文献１】特開２０１３−１１７８０９号公報
【特許文献２】特許４９６７０１５号公報
【図１】
2018005261.tif 000003
【図２】
2018005261.tif 000004
【図３】
2018005261.tif 000005
【図４】
2018005261.tif 000006
【図５】
2018005261.tif 000007
【図６】
2018005261.tif 000008
【図７】
2018005261.tif 000009
【図８】
2018005261.tif 000010