(57)【要約】  ドライブレコーダ（１）は、車両の周囲を撮影するカメラから映像データを取得し、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、映像データとセンサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、車両にイベントが発生した際に、センサデータをデータ解析サーバ（２）へ送信し、データ解析サーバ（２）は、センサデータに基づいて、車両に発生したイベントの内容を識別し、識別結果をドライブレコーダ（１）へ送信し、ドライブレコーダ（１）は、識別結果で示される識別されたイベントが所定のイベントであるか否かを判定し、識別されたイベントが所定のイベントであると判定した場合、識別に用いたセンサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、特定した映像データを映像蓄積サーバ（３）へ送信する。
2020085223.tif 000002
【特許請求の範囲】
【請求項１】
情報処理システムにおける情報処理方法であって、
車両の周囲を撮影するカメラから映像データを取得し、
前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、
前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、
前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、
前記識別したイベントが所定のイベントであるか否かを判定し、
前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、
前記特定した映像データを送信する、
情報処理方法。
【請求項２】
前記イベントの識別において、前記センサデータを入力とし、前記イベントの内容を出力とし、機械学習により生成された識別モデルに、前記センサデータを入力することで前記イベントの内容を識別する、
請求項１記載の情報処理方法。
【請求項３】
前記所定のイベントは、危険運転を示すイベント、前記車両の衝突を示すイベント、道路の整備状況を示すイベント及び前記車両の不具合を示すイベントのうちの少なくとも１つを含む、
請求項１又は２記載の情報処理方法。
【請求項４】
さらに、前記センサデータに基づいて、前記イベントが発生したか否かを判定し、
前記イベントの識別において、前記イベントが発生したと判定した場合、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する、
請求項１〜３のいずれか１項に記載の情報処理方法。
【請求項５】
前記情報処理システムは、前記車両に着脱可能な携帯端末を備え、
前記センサデータの取得において、前記車両に取り付けられた前記携帯端末から前記センサデータを取得し、
さらに、前記携帯端末の姿勢を取得し、
さらに、取得した前記姿勢に基づいて、取得した前記センサデータを補正する、
請求項１〜４のいずれか１項に記載の情報処理方法。
【請求項６】
前記情報処理システムは、前記車両に搭載された端末装置と、前記端末装置に通信可能に接続されたサーバとを備え、
さらに、前記端末装置が、取得した前記センサデータを前記サーバへ送信し、
さらに、前記サーバが、前記センサデータを受信し、
前記イベントの識別において、前記サーバが、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、
さらに、前記サーバが、識別結果を送信し、
さらに、前記端末装置が、前記サーバによって送信された前記識別結果を受信し、
前記判定において、前記端末装置が、前記識別結果で示される前記識別したイベントが所定のイベントであるか否かを判定する、
請求項１〜５のいずれか１項に記載の情報処理方法。
【請求項７】
車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
前記識別したイベントが所定のイベントであるか否かを判定する判定部と、
前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
前記特定した映像データを送信する送信部と、
を備える情報処理装置。
【請求項８】
車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
前記識別したイベントが所定のイベントであるか否かを判定する判定部と、
前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
前記特定した映像データを送信する送信部としてコンピュータを機能させる情報処理プログラム。
【請求項９】
車両に搭載された端末装置と、前記端末装置と通信可能に接続されたデータ解析サーバと、前記端末装置と通信可能に接続された映像蓄積サーバとを備える情報処理システムであって、
前記端末装置は、
前記車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、
前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、
前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、
前記車両にイベントが発生した際に、前記センサデータを前記データ解析サーバへ送信するセンサデータ送信部と、
を備え、
前記データ解析サーバは、
前記端末装置によって送信された前記センサデータを受信するセンサデータ受信部と、
前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、
識別結果を送信する識別結果送信部と、
を備え、
前記端末装置は、
前記データ解析サーバによって送信された前記識別結果を受信する識別結果受信部と、
前記識別結果で示される前記識別されたイベントが所定のイベントであるか否かを判定する判定部と、
前記識別されたイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、
前記特定された映像データを前記映像蓄積サーバへ送信する映像データ送信部と、
を備え、
前記映像蓄積サーバは、
前記端末装置によって送信された前記映像データを受信する映像データ受信部と、
前記映像データを記憶する映像データ記憶部と、
を備える、
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に設置されたセンサにより取得されたセンサデータに対して処理を行う技術に関するものである。
【背景技術】
【０００２】
従来、車両の加速度が所定の閾値を超えた際に危険な状況が発生したと判定し、危険な状況が発生した時点の前後に撮影された画像情報を記憶するドライブレコーダが知られている。しかしながら、ドライブレコーダで記憶される画像情報の中には、実際には危険な状況が発生していない画像情報も含まれることがある。【０００３】
そこで、例えば、特許文献１では、処理対象が含まれた画像によって学習させたニューラルネットワークに、撮像部において撮像した画像を入力し、当該ニューラルネットワークからの出力をもとに、撮像部において撮像した画像に処理対象が含まれているか否かを判定し、画像に処理対象が含まれていることを判定した場合、撮像部において撮像した画像を送信する撮像装置が開示されている。【０００４】
しかしながら、上記従来の技術では、撮像装置で用いられる画像データはデータ量が多く、撮像装置の処理負荷が大きくなり、更なる改善が必要とされていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１２５７７７号公報
【発明の概要】
【０００６】
本開示は、上記の問題を解決するためになされたもので、情報処理システムの処理負荷を軽減することができる技術を提供することを目的とするものである。
【０００７】
本開示の一態様に係る情報処理方法は、情報処理システムにおける情報処理方法であって、車両の周囲を撮影するカメラから映像データを取得し、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、前記識別したイベントが所定のイベントであるか否かを判定し、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、前記特定した映像データを送信する。
【０００８】
本開示によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態１における情報処理システムの全体構成を概念的に示す図である。
【図２】本実施の形態１におけるドライブレコーダの構成を示すブロック図である。
【図３】本実施の形態１におけるデータ解析サーバの構成を示すブロック図である。
【図４】本実施の形態１における映像蓄積サーバの構成を示すブロック図である。
【図５】本実施の形態１における情報処理システムの処理を説明するための第１のフローチャートである。
【図６】本実施の形態１における情報処理システムの処理を説明するための第２のフローチャートである。
【図７】本実施の形態１において、危険運転イベントの１つである急ブレーキが行われた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。
【図８】本実施の形態１において、道路上の隆起を車両が乗り上げた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。
【図９】本実施の形態２における情報処理システムの全体構成を概念的に示す図である。
【図１０】本実施の形態２における携帯端末の構成を示すブロック図である。
【図１１】本実施の形態２における情報処理システムの処理を説明するための第１のフローチャートである。
【図１２】本実施の形態２における情報処理システムの処理を説明するための第２のフローチャートである。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
一般的に、画像データはデータ量が多い。そのため、上記の従来技術では、実用的な精度を実現するために必要な学習データの量が多くなり、学習時間も非常に長くなるおそれがある。また、データ量が多い画像データを入力データとして扱う場合、実用的な精度を実現するためには、複雑なモデルを作成する必要がある。
【００１１】
そのため、上記従来の技術では、撮像装置で用いられる画像データはデータ量が多く、撮像装置の処理負荷が大きくなる。
【００１２】
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、情報処理システムにおける情報処理方法であって、車両の周囲を撮影するカメラから映像データを取得し、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得し、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与し、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、前記識別したイベントが所定のイベントであるか否かを判定し、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定し、前記特定した映像データを送信する。
【００１３】
この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【００１４】
また、上記の情報処理方法において、前記イベントの識別において、前記センサデータを入力とし、前記イベントの内容を出力とし、機械学習により生成された識別モデルに、前記センサデータを入力することで前記イベントの内容を識別してもよい。
【００１５】
この構成によれば、センサデータを入力とし、イベントの内容を出力とし、機械学習により生成された識別モデルに、センサデータが入力されることでイベントの内容が識別される。映像データを識別モデルの入力データとして用いる場合、映像データはデータ量が多いため、実用的な精度を実現するためには、識別モデルは複雑なモデルとなり、学習に必要な入力データのデータ量も多くなり、識別モデルの学習時間も長くなる。一方、センサデータを識別モデルの入力データとして用いる場合、センサデータは映像データに比べてデータ量が少ないため、識別モデルは簡単なモデルとなり、学習に必要な入力データのデータ量も削減することができ、識別モデルの学習時間も短くすることができる。
【００１６】
また、上記の情報処理方法において、前記所定のイベントは、危険運転を示すイベント、前記車両の衝突を示すイベント、道路の整備状況を示すイベント及び前記車両の不具合を示すイベントのうちの少なくとも１つを含んでもよい。
【００１７】
この構成によれば、危険運転を示すイベントが発生した際の映像データ、車両の衝突を示すイベントが発生した際の映像データ、道路の整備状況を示すイベントが発生した際の映像データ及び車両の不具合を示すイベントが発生した際の映像データのうちの少なくとも１つを蓄積することができる。
【００１８】
また、上記の情報処理方法において、さらに、前記センサデータに基づいて、前記イベントが発生したか否かを判定し、前記イベントの識別において、前記イベントが発生したと判定した場合、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別してもよい。
【００１９】
この構成によれば、まず、センサデータに基づいて、イベントが発生したか否かが判定される。そして、イベントが発生したと判定した場合、センサデータに基づいて、車両に発生したイベントが識別される。したがって、全てのセンサデータに基づいてイベントの内容が識別されるのではなく、イベントが発生したと判定された際のセンサデータのみに基づいてイベントの内容が識別されるので、識別処理に要する時間を短縮することができる。
【００２０】
また、上記の情報処理方法において、前記情報処理システムは、前記車両に着脱可能な携帯端末を備え、前記センサデータの取得において、前記車両に取り付けられた前記携帯端末から前記センサデータを取得し、さらに、前記携帯端末の姿勢を取得し、さらに、取得した前記姿勢に基づいて、取得した前記センサデータを補正してもよい。
【００２１】
車両に着脱可能な携帯端末の姿勢は、車両に取り付ける毎に変化するおそれがある。しかしながら、上記の構成によれば、携帯端末の姿勢が取得され、取得された姿勢に基づいて、取得されたセンサデータが補正される。したがって、携帯端末を用いて映像データ及びセンサデータを取得することができる。
【００２２】
また、上記の情報処理方法において、前記情報処理システムは、前記車両に搭載された端末装置と、前記端末装置に通信可能に接続されたサーバとを備え、さらに、前記端末装置が、取得した前記センサデータを前記サーバへ送信し、さらに、前記サーバが、前記センサデータを受信し、前記イベントの識別において、前記サーバが、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別し、さらに、前記サーバが、識別結果を送信し、さらに、前記端末装置が、前記サーバによって送信された前記識別結果を受信し、前記判定において、前記端末装置が、前記識別結果で示される前記識別したイベントが所定のイベントであるか否かを判定してもよい。
【００２３】
この構成によれば、車両に搭載された端末装置ではなく、ネットワーク上のサーバが、センサデータに基づいて、車両に発生したイベントの内容を識別するので、識別処理に必要なソフトウエアを容易に更新することができ、ユーザの負担を軽減することができる。
【００２４】
本開示の他の態様に係る情報処理装置は、車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、前記識別したイベントが所定のイベントであるか否かを判定する判定部と、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定した映像データを送信する送信部と、を備える。
【００２５】
この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理装置の処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【００２６】
本開示の他の態様に係る情報処理プログラムは、車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、前記識別したイベントが所定のイベントであるか否かを判定する判定部と、前記識別したイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定した映像データを送信する送信部としてコンピュータを機能させる。
【００２７】
この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、コンピュータの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【００２８】
本開示の他の態様に係る情報処理システムは、車両に搭載された端末装置と、前記端末装置と通信可能に接続されたデータ解析サーバと、前記端末装置と通信可能に接続された映像蓄積サーバとを備える情報処理システムであって、前記端末装置は、前記車両の周囲を撮影するカメラから映像データを取得する映像データ取得部と、前記車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得するセンサデータ取得部と、前記映像データと前記センサデータとのそれぞれに、取得した時刻を示す時刻情報を付与する時刻情報付与部と、前記車両にイベントが発生した際に、前記センサデータを前記データ解析サーバへ送信するセンサデータ送信部と、を備え、前記データ解析サーバは、前記端末装置によって送信された前記センサデータを受信するセンサデータ受信部と、前記センサデータに基づいて、前記車両に発生したイベントの内容を識別する識別部と、識別結果を送信する識別結果送信部と、を備え、前記端末装置は、前記データ解析サーバによって送信された前記識別結果を受信する識別結果受信部と、前記識別結果で示される前記識別されたイベントが所定のイベントであるか否かを判定する判定部と、前記識別されたイベントが前記所定のイベントであると判定した場合、識別に用いた前記センサデータに付与されている時刻情報と同じ時刻情報が付与されている映像データを特定する特定部と、前記特定された映像データを前記映像蓄積サーバへ送信する映像データ送信部と、を備え、前記映像蓄積サーバは、前記端末装置によって送信された前記映像データを受信する映像データ受信部と、前記映像データを記憶する映像データ記憶部と、を備える。
【００２９】
この構成によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【００３０】
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
【００３１】
（実施の形態１）
図１は、本実施の形態１における情報処理システムの全体構成を概念的に示す図である。
【００３２】
図１に示す情報処理システムは、ドライブレコーダ１と、データ解析サーバ２と、映像蓄積サーバ３とを備える。ドライブレコーダ１は、端末装置の一例であり、車両に搭載される。データ解析サーバ２は、サーバの一例であり、ネットワーク４を介してドライブレコーダ１と互いに通信可能に接続されている。ネットワーク４は、例えば、インターネットである。映像蓄積サーバ３は、ネットワーク４を介してドライブレコーダ１と互いに通信可能に接続されている。
【００３３】
ドライブレコーダ１は、車両の進行方向を撮影した映像データを取得する。ドライブレコーダ１は、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得する。ドライブレコーダ１は、映像データ及びセンサデータにタイムスタンプを付与する。ドライブレコーダ１は、タイムスタンプを付与した映像データ及びセンサデータを記憶する。ドライブレコーダ１は、イベントが発生すると、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。ドライブレコーダ１は、発生したイベントが所定のイベントであると判定した場合、記憶した映像データ群を映像蓄積サーバ３へ送信する。
【００３４】
データ解析サーバ２は、ドライブレコーダ１から受信したセンサデータに基づいて、車両に発生したイベントの内容を識別する。具体的には、データ解析サーバ２は、ドライブレコーダ１から受信したセンサデータ群を、機械学習により生成された識別モデルに入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。データ解析サーバ２は、識別結果をドライブレコーダ１へ送信する。
【００３５】
映像蓄積サーバ３は、ドライブレコーダ１によって送信された映像データを記憶する。具体的には、映像蓄積サーバ３は、所定のイベントが発生した際の映像データ群を記憶する。
【００３６】
以下に、ドライブレコーダ１、データ解析サーバ２及び映像蓄積サーバ３の構成について、詳細に説明する。
【００３７】
図２は、本実施の形態１におけるドライブレコーダの構成を示すブロック図である。
【００３８】
ドライブレコーダ１は、例えば、車両のフロントガラス又はダッシュボードに取り付けられている。ドライブレコーダ１は、カメラ１１、加速度センサ１２、位置測定部１３、プロセッサ１４、メモリ１５及び通信部１６を備える。
【００３９】
カメラ１１は、車両の周囲を撮影する。具体的に、カメラ１１は、車両の前方を撮影する。なお、カメラ１１は、車両の左方、右方及び後方を撮影してもよい。
【００４０】
加速度センサ１２は、例えば、３軸加速度センサであり、車両の左右方向を示すＸ軸方向、車両の前後方向を示すＹ軸方向及び車両の垂直方向を示すＺ軸方向の加速度を測定する。
【００４１】
位置測定部１３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信機であり、ドライブレコーダ１の位置情報、すなわち、車両の位置情報を測定する。なお、位置情報は、緯度及び経度で表される。位置測定部１３によって測定される位置情報は、車両の速度を算出するために用いられる。例えば、第１の位置と第２の位置との間の距離と、第１の位置から第２の位置までの移動時間とが分かれば、第１の位置から第２の位置までの車両の移動速度を算出することができる。
【００４２】
プロセッサ１４は、例えばＣＰＵ（中央演算処理装置）であり、映像データ取得部１４１、センサデータ取得部１４２、タイムスタンプ付与部１４３、イベント発生検知部１４４、イベント判定部１４５及び映像データ特定部１４６を備える。
【００４３】
メモリ１５は、例えば半導体メモリであり、映像データ記憶部１５１及びセンサデータ記憶部１５２を備える。
【００４４】
映像データ取得部１４１は、カメラ１１から映像データを取得する。
【００４５】
センサデータ取得部１４２は、車両の加速度、速度及び角速度のうちの少なくとも１つを含むセンサデータを取得する。センサデータ取得部１４２は、加速度センサ１２から車両の加速度を取得する。また、センサデータ取得部１４２は、位置測定部１３から車両の位置情報を取得し、取得した位置情報に基づいて、車両の速度を算出する。
【００４６】
なお、本実施の形態１において、ドライブレコーダ１は、角速度を測定するジャイロセンサを備えてもよい。センサデータ取得部１４２は、ジャイロセンサから角速度を取得してもよい。
【００４７】
また、本実施の形態１において、センサデータ取得部１４２は、車両の加速度及び速度を取得しているが、本開示は特にこれに限定されず、センサデータ取得部１４２は、車両の加速度のみを取得してもよい。また、センサデータ取得部１４２は、Ｘ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度のいずれか１つを取得してもよいが、Ｘ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を取得することが好ましい。
【００４８】
また、本実施の形態１において、センサデータ取得部１４２は、位置測定部１３から取得した車両の位置情報から車両の速度を算出しているが、本開示は特にこれに限定されず、直接車両から速度を取得してもよい。この場合、ドライブレコーダ１は、位置測定部１３を備えなくてもよい。
【００４９】
タイムスタンプ付与部１４３は、取得された映像データとセンサデータとのそれぞれに、取得した時刻を示すタイムスタンプ（時刻情報）を付与する。タイムスタンプ付与部１４３は、タイムスタンプを付与した映像データを映像データ記憶部１５１に記憶すると共に、タイムスタンプを付与したセンサデータをセンサデータ記憶部１５２に記憶する。
【００５０】
映像データ記憶部１５１は、映像データ取得部１４１によって取得されると共に、タイムスタンプ付与部１４３によってタイムスタンプが付与された映像データを記憶する。
【００５１】
センサデータ記憶部１５２は、センサデータ取得部１４２によって取得されると共に、タイムスタンプ付与部１４３によってタイムスタンプが付与されたセンサデータを記憶する。
【００５２】
イベント発生検知部１４４は、センサデータ取得部１４２によって取得されたセンサデータに基づいて、イベントが発生したか否かを判定する。具体的には、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えた場合、イベントが発生したと判定する。
【００５３】
通信部１６は、イベント発生検知部１４４によってイベントが発生したと判定された場合、センサデータをデータ解析サーバ２へ送信する。このとき、通信部１６は、イベントが発生した時点を基準とする所定期間のセンサデータ群をデータ解析サーバ２へ送信する。より具体的には、通信部１６は、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。例えば、通信部１６は、イベントが発生した時点から１０秒前までの第１の期間と、イベントが発生した時点から５秒後までの第２の期間とを含む第３の期間のセンサデータ群をデータ解析サーバ２へ送信する。
【００５４】
通信部１６は、データ解析サーバ２によって送信されたイベントの内容の識別結果を受信する。
【００５５】
イベント判定部１４５は、データ解析サーバ２によって識別されたイベントが所定のイベントであるか否かを判定する。イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが所定のイベントであるか否かを判定する。ここで、所定のイベントは、危険運転を示すイベント、車両の衝突を示すイベント、道路の整備状況を示すイベント及び車両の不具合を示すイベントのうちの少なくとも１つを含む。
【００５６】
映像データ特定部１４６は、識別されたイベントが所定のイベントであると判定された場合、識別に用いたセンサデータに付与されているタイムスタンプ（時刻情報）と同じタイムスタンプ（時刻情報）が付与されている映像データを特定する。すなわち、映像データ特定部１４６は、イベント判定部１４５によって発生したイベントが所定のイベントであると判定された場合、識別に用いたセンサデータ群に付与されているタイムスタンプと同じタイムスタンプが付与されている映像データ群を特定する。
【００５７】
通信部１６は、映像データ特定部１４６によって特定された映像データを映像蓄積サーバ３へ送信する。すなわち、通信部１６は、映像データ特定部１４６によって特定された映像データ群を映像蓄積サーバ３へ送信する。
【００５８】
図３は、本実施の形態１におけるデータ解析サーバの構成を示すブロック図である。
【００５９】
データ解析サーバは、通信部２１、プロセッサ２２及びメモリ２３を備える。
【００６０】
通信部２１は、ドライブレコーダ１によって送信されたセンサデータを受信する。すなわち、通信部２１は、ドライブレコーダ１によって送信されたセンサデータ群を受信する。
【００６１】
プロセッサ２２は、例えばＣＰＵであり、イベント識別部２２１を備える。
【００６２】
メモリ２３は、例えば半導体メモリ又はハードディスクドライブであり、識別モデル記憶部２３１を備える。
【００６３】
識別モデル記憶部２３１は、センサデータを入力とし、イベントの内容を出力とし、機械学習により生成された識別モデルを予め記憶する。なお、機械学習としては、例えば、多層ニューラルネットワークを用いたディープラーニングが用いられる。
【００６４】
イベント識別部２２１は、センサデータに基づいて、車両に発生したイベントの内容を識別する。イベント識別部２２１は、識別モデル記憶部２３１に記憶されている識別モデルに、センサデータを入力することでイベントの内容を識別する。イベント識別部２２１は、識別モデルにセンサデータ群を入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。
【００６５】
なお、本実施の形態１において、イベント識別部２２１は、機械学習された識別モデルにセンサデータ群を入力することでイベントの内容を識別しているが、本開示は特にこれに限定されず、メモリ２３は、イベントの内容と、センサデータ群の波形を示す波形データとを対応付けて記憶してもよい。この場合、イベント識別部２２１は、受信されたセンサデータ群の波形と、メモリ２３に記憶されている波形データとのパターンマッチングを行い、一致する波形データに対応付けられているイベントの内容を識別結果として取得してもよい。
【００６６】
また、本実施の形態１において、識別モデル記憶部２３１は、識別するイベントの内容に応じて複数の識別モデルを記憶してもよい。例えば、識別モデル記憶部２３１は、危険運転イベントを識別するための第１の識別モデル及び衝突イベントを識別するための第２の識別モデルを記憶してもよい。
【００６７】
通信部２１は、イベント識別部２２１による識別結果をドライブレコーダ１へ送信する。
【００６８】
図４は、本実施の形態１における映像蓄積サーバの構成を示すブロック図である。
【００６９】
映像蓄積サーバ３は、通信部３１、プロセッサ３２及びメモリ３３を備える。
【００７０】
通信部３１は、ドライブレコーダ１によって送信された映像データを受信する。ドライブレコーダ１によって送信された映像データは、所定のイベントが発生した時点を基準に取得された映像データである。
【００７１】
プロセッサ３２は、例えばＣＰＵであり、映像データ管理部３２１を備える。
【００７２】
映像データ管理部３２１は、通信部３１によって受信された映像データを映像データ記憶部３３１に記憶する。すなわち、映像データ管理部３２１は、所定のイベントが発生した時点を基準に取得された映像データ群を映像データ記憶部３３１に記憶する。
【００７３】
メモリ３３は、例えば半導体メモリ又はハードディスクドライブであり、映像データ記憶部３３１を備える。
【００７４】
映像データ記憶部３３１は、映像データを記憶する。映像データ記憶部３３１に記憶されている映像データは、所定のイベントが発生した時点を基準に取得された映像データである。映像データは、例えば、運転評価、動態管理又は安全運転のサポートなどに利用される。
【００７５】
図５は、本実施の形態１における情報処理システムの処理を説明するための第１のフローチャートであり、図６は、本実施の形態１における情報処理システムの処理を説明するための第２のフローチャートである。
【００７６】
まず、ステップＳ１において、ドライブレコーダ１の映像データ取得部１４１は、カメラ１１から映像データを取得する。
【００７７】
次に、ステップＳ２において、センサデータ取得部１４２は、車両の加速度及び速度を含むセンサデータを取得する。このとき、センサデータ取得部１４２は、加速度センサ１２からＸ軸方向の加速度、Ｙ軸方向の加速度及びＺ軸方向の加速度を取得する。また、センサデータ取得部１４２は、位置測定部１３から車両の位置を取得し、今回取得した位置と前回取得した位置との間の距離を算出し、算出した距離を取得時間間隔で除算することにより、車両の速度を算出する。
【００７８】
次に、ステップＳ３において、タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、センサデータ取得部１４２によって取得されたセンサデータとのそれぞれに、取得された時刻を示すタイムスタンプを付与する。
【００７９】
次に、ステップＳ４において、タイムスタンプ付与部１４３は、タイムスタンプを付与した映像データを映像データ記憶部１５１に記憶する。
【００８０】
次に、ステップＳ５において、タイムスタンプ付与部１４３は、タイムスタンプを付与したセンサデータをセンサデータ記憶部１５２に記憶する。
【００８１】
次に、ステップＳ５において、イベント発生検知部１４４は、センサデータ取得部１４２によって取得されたセンサデータに基づいて、イベントが発生したか否かを判定する。このとき、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えたか否かを判定する。そして、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちのいずれも閾値を超えていないと判定した場合、イベントが発生していないと判定する。また、イベント発生検知部１４４は、Ｘ軸の加速度、Ｙ軸の加速度及びＺ軸の加速度のうちの少なくとも１つが閾値を超えたと判定した場合、イベントが発生したと判定する。
【００８２】
ここで、イベントが発生していないと判定された場合（ステップＳ６でＮＯ）、ステップＳ１に処理が戻る。
【００８３】
一方、イベントが発生したと判定された場合（ステップＳ６でＹＥＳ）、ステップＳ７において、イベント発生検知部１４４は、所定期間の映像データ及びセンサデータを取得したか否かを判断する。ここで、所定期間とは、イベントが発生した時点から所定時間前までの第１の期間と、イベントが発生した時点から所定時間後までの第２の期間とを合わせた期間である。例えば、イベント発生検知部１４４は、イベントが発生した時点から１０秒前までの第１の期間と、イベントが発生した時点から５秒後までの第２の期間とを合わせた１５秒間の映像データ及びセンサデータを取得したか否かを判断する。
【００８４】
ここで、所定期間の映像データ及びセンサデータを取得していないと判定された場合（ステップＳ７でＮＯ）、ステップＳ１に処理が戻る。
【００８５】
一方、所定期間の映像データ及びセンサデータを取得したと判定された場合（ステップＳ７でＹＥＳ）、ステップＳ８において、通信部１６は、所定期間内に取得されたセンサデータ群をデータ解析サーバ２へ送信する。
【００８６】
次に、ステップＳ９において、データ解析サーバ２の通信部２１は、ドライブレコーダ１によって送信されたセンサデータ群を受信する。
【００８７】
次に、ステップＳ１０において、イベント識別部２２１は、通信部２１によって受信されたセンサデータ群に基づいて、車両に発生したイベントの内容を識別する。このとき、イベント識別部２２１は、識別モデル記憶部２３１に記憶されている識別モデルにセンサデータ群を入力し、識別モデルから出力されるイベントの内容を識別結果として取得する。
【００８８】
次に、ステップＳ１１において、通信部２１は、イベント識別部２２１によるイベント内容の識別結果をドライブレコーダ１へ送信する。
【００８９】
次に、ステップＳ１２において、ドライブレコーダ１の通信部１６は、データ解析サーバ２によって送信されたイベント内容の識別結果を受信する。
【００９０】
次に、ステップＳ１３において、イベント判定部１４５は、通信部１６によって受信された識別結果に基づいて、識別されたイベントが所定のイベントであるか否かを判定する。このとき、所定のイベントは、映像蓄積サーバ３がどのようなイベントが発生した際の映像データを収集するかによって異なる。
【００９１】
例えば、所定のイベントが危険運転を示すイベントであれば、イベント判定部１４５は、識別されたイベントが、危険運転を示すイベント、すなわち、急ブレーキを示すイベント、急ハンドルを示すイベント及び急加速を示すイベントのいずれかであるか否かを判定する。
【００９２】
また、例えば、所定のイベントが衝突を示すイベントであれば、イベント判定部１４５は、識別されたイベントが衝突を示すイベントであるか否かを判定する。
【００９３】
また、例えば、所定のイベントが道路の整備状況を示すイベントであれば、イベント判定部１４５は、識別されたイベントが道路の不良を示すイベントであるか否かを判定する。所定のイベントが道路の整備状況を示すイベントであると判定され場合、センサデータに位置情報を含めることが好ましい。これにより、道路が不良である位置を特定することができる。
【００９４】
また、例えば、所定のイベントが車両の不具合を示すイベントであれば、イベント判定部１４５は、識別されたイベントが車両の不具合を示すイベントであるか否かを判定する。車両の不具合としては、例えば、車両のタイヤの空気圧が低い状態を示す。この場合、メモリ２３は、他の車両のセンサデータに基づいて道路上の隆起を通過したと識別された位置を予め記憶してもよい。そして、イベント識別部２２１は、他の車両が道路上の隆起を通過していないにもかかわらず、車両が道路上の隆起を通過したと識別された場合、車両のタイヤの空気圧が低い状態であると判定してもよい。
【００９５】
ここで、識別されたイベントが所定のイベントではないと判定された場合（ステップＳ１３でＮＯ）、ステップＳ１に処理が戻る。
【００９６】
一方、識別されたイベントが所定のイベントであると判定された場合（ステップＳ１３でＹＥＳ）、ステップＳ１４において、映像データ特定部１４６は、識別に用いたセンサデータ群に付与されているタイムスタンプと同じタイムスタンプが付与されている映像データ群を映像データ記憶部１５１の中から特定する。
【００９７】
次に、ステップＳ１５において、通信部１６は、映像データ特定部１４６によって特定された映像データ群と、識別に用いたセンサデータ群とを映像蓄積サーバ３へ送信する。
【００９８】
次に、ステップＳ１６において、映像蓄積サーバ３の通信部３１は、ドライブレコーダ１によって送信された映像データ群及びセンサデータ群を受信する。
【００９９】
次に、ステップＳ１７において、映像データ管理部３２１は、通信部３１によって受信された映像データ群及びセンサデータ群を映像データ記憶部３３１に記憶する。
【０１００】
本実施の形態１によれば、映像データに比べてデータ量が少ないセンサデータに基づいて車両に発生したイベントの内容が識別されるので、情報処理システムの処理負荷を軽減することができる。また、所定のイベントが発生した際の映像データのみが送信されるので、不要な映像データが送信されるのを防止し、データ通信量及びデータ通信費を削減することができる。
【０１０１】
なお、本実施の形態１では、情報処理システムは、データ解析サーバ２及び映像蓄積サーバ３を備えているが、本開示は特にこれに限定されず、データ解析サーバ２及び映像蓄積サーバ３の機能を備えた１つのサーバを備えてもよい。この場合、サーバは、既にセンサデータ群を取得しているので、ステップＳ１５において、ドライブレコーダ１の通信部１６は、映像データ群のみを映像蓄積サーバ３へ送信する。映像蓄積サーバ３の通信部３１は、ドライブレコーダ１によって送信された映像データ群を受信する。そして、映像データ管理部３２１は、通信部３１によって受信された映像データ群と、識別に用いたセンサデータ群とを映像データ記憶部３３１に記憶する。
【０１０２】
また、本実施の形態１において、ドライブレコーダ１の通信部１６は、映像データ群及びセンサデータ群を映像蓄積サーバ３へ送信しているが、本開示は特にこれに限定されず、映像データ群及びセンサデータ群に加えて、イベントの識別結果、すなわちイベントの内容を映像蓄積サーバ３へ送信してもよい。映像蓄積サーバ３の映像データ管理部３２１は、通信部３１によって受信された映像データ群、センサデータ群及びイベントの識別結果を映像データ記憶部３３１に記憶してもよい。
【０１０３】
続いて、本実施の形態１におけるイベントの識別についてさらに説明する。
【０１０４】
図７は、本実施の形態１において、危険運転イベントの１つである急ブレーキが行われた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。図７において、縦軸は加速度［Ｇ］を示し、横軸は時刻［ｓｅｃ］を示す。また、実線は、Ｘ軸方向の加速度を示し、破線は、Ｙ軸方向の加速度を示し、一点鎖線は、Ｚ軸方向の加速度を示す。また、時刻０［ｓｅｃ］は、イベントが発生したと判定された時刻を示す。
【０１０５】
図７に示すように、急ブレーキが行われた場合、Ｙ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、図７に示すセンサデータ群が識別モデルに入力された場合、急ブレーキのイベントが発生したと識別される。
【０１０６】
図８は、本実施の形態１において、道路上の隆起を車両が乗り上げた際に計測されるＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度と時刻との関係を示す図である。図８において、縦軸は加速度［Ｇ］を示し、横軸は時刻［ｓｅｃ］を示す。また、実線は、Ｘ軸方向の加速度を示し、破線は、Ｙ軸方向の加速度を示し、一点鎖線は、Ｚ軸方向の加速度を示す。また、時刻０［ｓｅｃ］は、イベントが発生したと判定された時刻を示す。
【０１０７】
図８に示すように、道路上の隆起を車両が乗り上げた場合、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、図８に示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。道路上の隆起を車両が乗り上げた際に撮影された映像は、映像蓄積サーバ３に記憶すべき映像ではない。そのため、道路上の隆起を車両が乗り上げたことを示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。通常イベントは所定のイベントではない。そのため、イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが通常イベントである場合、イベントが所定のイベントではないと判定する。
【０１０８】
また、車両がループ状の道路を移動する場合、ハンドルは一定方向に切り続けられるため、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。このように、車両がループ状の道路を移動していることを示すセンサデータ群が識別モデルに入力された場合も、通常イベントが発生したと識別される。
【０１０９】
また、車両が衝突した場合、Ｘ軸方向の加速度及びＹ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、このセンサデータ群が識別モデルに入力された場合、衝突イベントが発生したと識別される。
【０１１０】
なお、本実施の形態１において、イベント識別部２２１は、衝突イベントを識別するだけでなく、衝突の程度を識別してもよい。すなわち、イベント識別部２２１は、Ｘ軸方向、Ｙ軸方向及びＺ軸方向の加速度の最大値に応じて、衝突の程度が「大」、「中」及び「小」のいずれであるかを識別してもよい。
【０１１１】
また、道路上の隆起を車両が乗り上げた場合、Ｘ軸方向の加速度が、閾値を超えたと判定され、センサデータ群がデータ解析サーバ２へ送信される。そして、このセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。道路上の隆起を車両が乗り上げた際に撮影された映像は、映像蓄積サーバ３に記憶すべき映像ではない。そのため、道路上の隆起を車両が乗り上げたことを示すセンサデータ群が識別モデルに入力された場合、通常イベントが発生したと識別される。通常イベントは所定のイベントではない。そのため、イベント判定部１４５は、通信部１６によって受信された識別結果で示されるイベントが通常イベントである場合、イベントが所定のイベントではないと判定する。
【０１１２】
なお、本実施の形態１では、センサデータは、３軸の加速度及び速度を含んでいるが、本開示は特にこれに限定されず、ブレーキの有無を示すデータ、右ウインカーの有無を示すデータ及び左ウインカーの有無を示すデータを含んでもよい。
【０１１３】
また、本実施の形態１における情報処理システムは、ドライブレコーダ１と、データ解析サーバ２と、映像蓄積サーバ３とを備えているが、本開示は特にこれに限定されず、データ解析サーバ２を備えず、ドライブレコーダ１と映像蓄積サーバ３とを備えてもよい。この場合、ドライブレコーダ１がデータ解析サーバ２のイベント識別部及び識別モデル記憶部を備えてもよい。この場合、イベント識別部は、イベント発生検知部１４４によってイベントが発生したと判定された場合、センサデータに基づいて、車両に発生したイベントの内容を識別する。
【０１１４】
（実施の形態２）
実施の形態１の情報処理システムは、予め車両に固定されたドライブレコーダ１を備えているが、実施の形態２の情報処理システムは、ドライブレコーダ１に替えて、車両に着脱可能な携帯端末を備える。
【０１１５】
図９は、本実施の形態２における情報処理システムの全体構成を概念的に示す図である。
【０１１６】
図９に示す情報処理システムは、携帯端末１Ａと、データ解析サーバ２と、映像蓄積サーバ３とを備える。携帯端末１Ａは、端末装置の一例であり、車両に着脱可能である。データ解析サーバ２は、ネットワーク４を介して携帯端末１Ａと互いに通信可能に接続されている。映像蓄積サーバ３は、ネットワーク４を介して携帯端末１Ａと互いに通信可能に接続されている。なお、本実施の形態２において、実施の形態１と同じ構成については同じ符号を付し説明を省略する。
【０１１７】
実施の形態１のドライブレコーダ１は車両に固定されているため、車両に対するドライブレコーダ１の姿勢が変化することはない。一方、実施の形態２の携帯端末１Ａは、着脱可能であるため、携帯端末１Ａを車両に取り付ける毎に、車両に対する携帯端末１Ａの姿勢が変化するおそれがある。そこで、携帯端末１Ａは、携帯端末１Ａの姿勢を取得し、取得した姿勢に基づいて、取得したセンサデータを補正する。
【０１１８】
図１０は、本実施の形態２における携帯端末の構成を示すブロック図である。
【０１１９】
携帯端末１Ａは、例えば、スマートフォンである。携帯端末１Ａは、例えば、車両のダッシュボードに取り付けられている。携帯端末１Ａは、カメラ１１、加速度センサ１２、位置測定部１３、プロセッサ１４Ａ、メモリ１５、通信部１６及びジャイロセンサ１７を備える。
【０１２０】
ジャイロセンサ１７は、携帯端末１Ａの姿勢を検出する。携帯端末１Ａの姿勢は、携帯端末１Ａの角速度で表される。ジャイロセンサ１７は、例えば、３軸ジャイロセンサであり、携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を検出する。
【０１２１】
プロセッサ１４Ａは、例えばＣＰＵであり、映像データ取得部１４１、センサデータ取得部１４２、タイムスタンプ付与部１４３、イベント発生検知部１４４、イベント判定部１４５、映像データ特定部１４６及び前処理部１４７を備える。
【０１２２】
前処理部１４７は、ジャイロセンサ１７から携帯端末１Ａの姿勢を取得する。すなわち、前処理部１４７は、ジャイロセンサ１７から携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を取得する。前処理部１４７は、取得した姿勢に基づいて、取得したセンサデータを補正する。携帯端末１Ａには、基準となる取り付け姿勢がある。前処理部１４７は、取得した携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度から、携帯端末１Ａが基準姿勢からＸ軸周り、Ｙ軸周り及びＺ軸周りにどの程度傾いているかを算出する。そして、前処理部１４７は、算出した傾き角度に応じて加速度センサ１２によって検出されたＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度を補正する。
【０１２３】
タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、前処理部１４７によって補正されたセンサデータとのそれぞれに、取得した時刻を示すタイムスタンプを付与する。
【０１２４】
図１１は、本実施の形態２における情報処理システムの処理を説明するための第１のフローチャートであり、図１２は、本実施の形態２における情報処理システムの処理を説明するための第２のフローチャートである。
【０１２５】
図１１に示すステップＳ２１及びステップＳ２２の処理は、図５に示すステップＳ１及びステップＳ２の処理と同じであるので、説明を省略する。
【０１２６】
次に、ステップＳ２３において、携帯端末１Ａの前処理部１４７は、ジャイロセンサ１７から携帯端末１Ａの姿勢を取得する。このとき、前処理部１４７は、ジャイロセンサ１７から携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度を取得する。
【０１２７】
次に、ステップＳ２４において、前処理部１４７は、取得した携帯端末１Ａの姿勢に基づいて、センサデータ取得部１４２によって取得されたセンサデータを補正する。具体的には、前処理部１４７は、取得した携帯端末１ＡのＸ軸周りの角速度、Ｙ軸周りの角速度及びＺ軸周りの角速度に基づいて、センサデータ取得部１４２によって取得されたＸ軸方向、Ｙ軸方向及びＺ軸方向の加速度を補正する。
【０１２８】
次に、ステップＳ２５において、タイムスタンプ付与部１４３は、映像データ取得部１４１によって取得された映像データと、前処理部１４７によって補正されたセンサデータとのそれぞれに、取得された時刻を示すタイムスタンプを付与する。
【０１２９】
図１１に示すステップＳ２６〜図１２に示すステップＳ３９の処理は、図５に示すステップＳ４〜図６に示すステップＳ１７の処理と同じであるので、説明を省略する。
【０１３０】
なお、本実施の形態では、携帯端末１Ａは、センサデータを取得する毎に、携帯端末１Ａの姿勢を取得するとともに、センサデータを補正しているが、本開示は特にこれに限定されない。携帯端末１Ａは、最初にセンサデータを取得する前に、携帯端末１Ａの姿勢を取得してもよい。そして、携帯端末１Ａは、センサデータを取得する毎に、最初に取得した携帯端末１Ａの姿勢を用いてセンサデータを補正してもよい。
【０１３１】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１３２】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１３３】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１３４】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【０１３５】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【産業上の利用可能性】
【０１３６】
本開示に係る技術は、情報処理システムの処理負荷を軽減することができるので、車両に設置されたセンサにより取得されたセンサデータに対して処理を行う技術に有用である。
【図１】
2020085223.tif 000003
【図２】
2020085223.tif 000004
【図３】
2020085223.tif 000005
【図４】
2020085223.tif 000006
【図５】
2020085223.tif 000007
【図６】
2020085223.tif 000008
【図７】
2020085223.tif 000009
【図８】
2020085223.tif 000010
【図９】
2020085223.tif 000011
【図１０】
2020085223.tif 000012
【図１１】
2020085223.tif 000013
【図１２】
2020085223.tif 000014
【国際調査報告】
2020085223.tif 000015
2020085223.tif 000016
2020085223.tif 000017
2020085223.tif 000018