(57)【要約】【課題】車両内で生じた落とし物の持ち主を精度よく推定する。【解決手段】センサ情報記憶部２２は、落とし物センサ２０により検知された車両１０内に関する情報を記憶する。落とし物検出部３２は、車両１０内で落とし物が生じたことを検出する。推定部３４は、落とし物検出部３２により落とし物が検出された場合、センサ情報記憶部２２に記憶された落とし物が生じたときの情報をもとに、落とし物の持ち主を推定する。通知部３８は、落とし物検出部３２により検出された落とし物と、推定部３４により推定された持ち主とを対応付けた情報を外部へ通知する。【選択図】図１
2020166524.tif 000002
【特許請求の範囲】
【請求項１】
所定のセンサにより検知された車両内に関する情報を記憶する記憶部と、
前記車両内で落とし物が生じたことを検出する検出部と、
前記検出部により落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定する推定部と、
前記検出部により検出された落とし物と、前記推定部により推定された持ち主とを対応付けた情報を外部へ通知する通知部と、
を備える監視システム。
【請求項２】
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報を、前記車両に搭載された表示装置に表示させる、
請求項１に記載の監視システム。
【請求項３】
前記記憶部は、前記所定のセンサとしての撮像装置により撮像された車両内の画像を記憶し、
前記推定部は、前記記憶部に記憶された前記落とし物が生じたときの画像をもとに、前記落とし物の持ち主を推定する、
請求項１または２に記載の監視システム。
【請求項４】
前記検出部は、前記記憶部に記憶された前記画像から前記落とし物を検出し、
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報として、前記落とし物の画像と前記持ち主の画像の組を表示させる、
請求項３に記載の監視システム。
【請求項５】
前記検出部は、前記記憶部に記憶された前記画像から前記落とし物の位置を検出し、
前記推定部は、前記記憶部に記憶された前記画像から、前記持ち主の位置を検出し、
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報として、前記落とし物の画像と前記持ち主の位置を示す画像の組を表示させる、
請求項３に記載の監視システム。
【請求項６】
前記推定部は、前記記憶部に記憶された画像を前記落とし物が検知されたときから遡って前記持ち主を特定し、前記持ち主の現在位置をさらに特定して、その現在位置を前記持ち主の位置として特定する、
請求項５に記載の監視システム。
【請求項７】
前記持ち主の位置は、前記持ち主が乗車中に着座していた位置である、
請求項５に記載の監視システム。
【請求項８】
前記検出部は、乗員が降車したときの画像をもとに落とし物が生じたことを検出し、
前記推定部は、前記記憶部に記憶された画像を前記乗員が降車したときから遡り特定された、前記落とし物が最初に映った画像において、前記落とし物に最も近い乗員を前記落とし物の持ち主として推定する、
請求項３から７のいずれかに記載の監視システム。
【請求項９】
前記記憶部に記憶された画像を前記乗員が降車したときから遡り、前記落とし物が映らない画像が所定時間続いた場合、前記落とし物が最初に映らなくなった画像の次の時点の画像が、前記落とし物が最初に映った画像として特定される、
請求項８に記載の監視システム。
【請求項１０】
前記推定部は、前記検出部により前記落とし物が最初に検出された際の画像において、前記落とし物に最も近い乗員を前記落とし物の持ち主として推定し、
前記通知部は、乗員の降車に関する所定の条件が満たされた場合、前記落とし物と前記持ち主とを対応付けた情報を通知する、
請求項３から７のいずれかに記載の監視システム。
【請求項１１】
前記記憶部は、前記所定のセンサとしての圧力センサにより検知された車両の内装の面にかかる圧力情報を記憶し、
前記検出部は、前記記憶部に記憶された圧力情報をもとに前記落とし物を検出し、
前記推定部は、前記記憶部に記憶された前記落とし物が生じたときの圧力情報をもとに、前記落とし物の持ち主を推定する、
請求項１または２に記載の監視システム。
【請求項１２】
所定のセンサにより検知された車両内に関する情報を記憶する記憶部を備える情報処理システムが、
前記車両内で落とし物が生じたことを検出し、
前記落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定し、
検出された落とし物と、推定された持ち主とを対応付けた情報を外部へ通知する、
監視方法。
【請求項１３】
所定のセンサにより検知された車両内に関する情報を記憶する記憶部を備える情報処理システムに、
前記車両内で落とし物が生じたことを検出し、
前記落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定し、
検出された落とし物と、推定された持ち主とを対応付けた情報を外部へ通知する、
ことを実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はデータ処理技術に関し、特に監視システム、監視方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
車両内の忘れ物を、車両内に設置したカメラ映像に対する画像処理により検知する車載装置が提案されている（例えば特許文献１参照）。特許文献１の車載装置では、忘れ物が置かれた位置に座っていた人を忘れ物の持ち主と判断する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２３４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の乗員は、降車時の周辺状況により、座っていたシートと反対側のドアから降車する場合があるが、このような場合、特許文献１の技術では忘れ物の持ち主を正しく判断できないことがある。
【０００５】
本開示はこうした課題に鑑みてなされたものであり、１つの目的は、車両内で生じた落とし物の持ち主を精度よく推定することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示のある態様の監視システムは、所定のセンサにより検知された車両内に関する情報を記憶する記憶部と、車両内で落とし物が生じたことを検出する検出部と、検出部により落とし物が検出された場合、記憶部に記憶された落とし物が生じたときの情報をもとに、落とし物の持ち主を推定する推定部と、検出部により検出された落とし物と、推定部により推定された持ち主とを対応付けた情報を外部へ通知する通知部と、を備える。
【０００７】
本開示の別の態様は、監視方法である。この方法は、所定のセンサにより検知された車両内に関する情報を記憶する記憶部を備える情報処理システムが、車両内で落とし物が生じたことを検出し、落とし物が検出された場合、記憶部に記憶された落とし物が生じたときの情報をもとに、落とし物の持ち主を推定し、検出された落とし物と、推定された持ち主とを対応付けた情報を外部へ通知する。
【０００８】
なお、以上の構成要素の任意の組合せ、本開示の表現を、装置、コンピュータプログラム、コンピュータプログラムを記録した記録媒体、監視システムまたは監視装置を搭載した車両などの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【０００９】
本開示によれば、車両内で生じた落とし物の持ち主を精度よく推定することができる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例の車両の機能ブロックを示すブロック図である。
【図２】第１実施例の監視システムの動作を示すフローチャートである。
【図３】図２のＳ１４の落とし物検出処理の詳細を示すフローチャートである。
【図４】図２のＳ１８の所有者特定処理の詳細を示すフローチャートである。
【図５】落とし物情報の例を示す図である。
【図６】落とし物情報の例を示す図である。
【図７】第２実施例の監視システムの動作を示すフローチャートである。
【図８】図７のＳ４４の落とし物検出処理の詳細を示すフローチャートである。
【図９】図８のＳ６０の所有者特定処理の詳細を示すフローチャートである。
【図１０】落とし物情報の例を示す図である。
【発明を実施するための形態】
【００１１】
まず概要を説明する。近年、カーシェアリングやライドシェアリングが普及してきている。カーシェアリングやライドシェアリングでは、１つの車両を多くの人が使用するため、乗員（以下「ユーザ」とも呼ぶ。）が変わるタイミングまたは乗降するタイミングでの忘れ物の確認が重要になる。或る人の忘れ物を全く見ず知らずの他人が持って行くかもしれないからである。
【００１２】
上記の特許文献１には、車両内の忘れ物を、車両内に設置したカメラ映像に基づく画像処理により検知し、忘れ物が置かれた位置に座っていた人を忘れ物の持ち主と判断する車載装置が記載されている。しかし、車両の乗員は、降車時の周辺状況により、座っていたシートと反対側のドアから降車する場合があり、このような場合、忘れ物の持ち主を正しく判断できないことがある。忘れ物の持ち主を正しく判断できない場合、忘れ物が本来の持ち主以外に渡ってしまい、紛失や盗難が発生しうる。また、本来の持ち主以外が忘れ物の中身を確認することでプライバシーが侵害されうる。
【００１３】
そこで本開示の実施例および変形例で提案する監視システムは、所定のセンサにより検知された車両内に関する情報を記憶する記憶部と、車両内で落とし物が生じたことを検出する検出部と、検出部により落とし物が検出された場合、記憶部に記憶された落とし物が生じたときの情報をもとに、落とし物の持ち主を推定する推定部と、検出部により検出された落とし物と、推定部により推定された持ち主とを対応付けた情報を外部へ通知する通知部とを備える。
【００１４】
実施例および変形例で提案する監視システムは、忘れ物が置かれたシートや位置ではなく、忘れ物がどの人物から出てきたかをセンサ情報をもとに検出することにより、より正確に忘れ物の持ち主を特定する。これにより、忘れ物が本来の持ち主以外に渡ることを防止でき、また、本来の持ち主以外が忘れ物の中身を確認し、プライバシーの侵害が生じることを防止できる。なお、以下の説明における「落とし物」は、適宜「忘れ物」と言い換えることができる。
【００１５】
（第１実施例）
車両１０は、第１実施例の車両１０の機能ブロックを示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵおよびメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００１６】
車両１０は、乗員センサ１２、表示装置１４、監視システム１６を備える。乗員センサ１２は、公知の手法により車両１０における乗員の有無を検知するセンサである。乗員センサ１２は、シートへの圧力やシートベルの状態、車両１０の車室内が映る画像の解析等により、車両１０における乗員の有無を検知してもよい。
【００１７】
表示装置１４は、車両１０の車室内に設けられた装置であり、乗員（例えば運転者）に提示すべき各種情報を表示する。表示装置１４は、ＩＶＩ（In-Vehicle Infotainment system）またはカーナビゲーション装置の表示部であってもよい。または、表示装置１４は、監視システム１６から出力された情報を表示する専用装置であってもよい。
【００１８】
監視システム１６は、車両１０内の落とし物を監視する情報処理システムである。監視システム１６は、落とし物センサ２０、センサ情報記憶部２２、落とし物記憶部２４、処理部２６を備える。落とし物センサ２０は、上記概要に示したセンサに対応し、実施例では、車両１０の車室内を撮像する撮像装置（イメージセンサ）である。センサ情報記憶部２２は、上記概要に示した記憶部に対応し、実施例では、落とし物センサ２０により撮像された、車室内の様子を示す画像データ（映像の各フレーム）を記憶する。落とし物記憶部２４は、処理部２６により生成された落とし物に関する情報を記憶する。
【００１９】
処理部２６は、乗降検出部３０、落とし物検出部３２、推定部３４、生成部３６、通知部３８を含む。これら複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラムが、監視システム１６のＲＯＭに記憶されてもよい。監視システム１６のＣＰＵは、このコンピュータプログラムをＲＡＭに読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。処理部２６は、１台の情報処理装置（例えばＥＣＵ（Electronic Control Unit））により実現されてもよく、複数台の情報処理装置が連携することにより実現されてもよい。
【００２０】
乗降検出部３０は、乗員センサ１２から出力された信号をもとに、車両１０から乗員が降車した場合、そのことを検出する。
【００２１】
落とし物検出部３２は、車両１０の車室内で落とし物が生じたことを検出する。落とし物検出部３２は、公知の方法にて落とし物を検出してもよい。例えば、落とし物検出部３２は、センサ情報記憶部２２に記憶された乗員乗車前の車室内の様子を示す画像と、乗員降車後の車室内の様子を示す画像とを比較し、差分となる物体を落とし物として検出してもよい。
【００２２】
また、落とし物検出部３２は、一般物体検出の手法により、落とし物が生じたことを検出してもよい。落とし物検出部３２は、予め定められた落とし物の特徴（形状、模様、色彩等）を持つ物体を車室内の画像から検出した場合に、その物体を落とし物として検出してもよい。
【００２３】
また、車両１０の車室内（例えば複数のシート内部）に複数の圧力センサが設置されてもよい。この場合、落とし物検出部３２は、圧力センサにより検知された圧がかかるサイズや圧力に基づいて、車室内での落とし物の有無および位置を検出してもよい。
【００２４】
推定部３４は、上記概要に示した推定部に対応する。実施例では、推定部３４は、落とし物検出部３２により落とし物が検出された場合、センサ情報記憶部２２に記憶された落とし物が生じたときの画像を解析し、落とし物の持ち主を推定する。
【００２５】
生成部３６は、落とし物検出部３２により検出された落とし物と、推定部３４により推定された持ち主とを対応付けた落とし物情報を生成し、落とし物情報を落とし物記憶部２４に格納する。
【００２６】
通知部３８は、落とし物記憶部２４に記憶された落とし物情報を監視システム１６の外部装置へ通知する。実施例では、通知部３８は、落とし物情報を表示装置１４へ送信し、落とし物情報を表示装置１４に表示させる。
【００２７】
以上の構成による監視システム１６の動作を説明する。
図２は、第１実施例の監視システム１６の動作を示すフローチャートである。監視システム１６は、ユーザの乗車、エンジンオンまたはユーザによる特定の操作入力等、所定の開始条件が満たされると監視処理を開始する（Ｓ１０）。具体的には、落とし物センサ２０は、車室内の様子を撮像する処理を開始し、車室内の様子を示す映像データをセンサ情報記憶部２２に格納する。乗降検出部３０は、乗員センサ１２による検知結果をもとにユーザの降車を検出する処理を開始する。ユーザの降車が未検出の間（Ｓ１２のＮ）、センサ情報記憶部２２には、車室内の様子を示す画像が逐次蓄積されていく。
【００２８】
乗降検出部３０が、ユーザが降車したことを検出すると（Ｓ１２のＹ）、落とし物検出部３２は、後述の落とし物検出処理を実行する（Ｓ１４）。Ｓ１４で落とし物が検出されると（Ｓ１６のＹ）、後述の所有者特定処理を実行する（Ｓ１８）。通知部３８は、所有者特定処理において生成され、落とし物記憶部２４に記憶された落とし物情報を表示装置１４へ送信して表示させる（Ｓ２０）。Ｓ１４で落とし物が検出されなければ（Ｓ１６のＮ）、Ｓ１８とＳ２０の処理をスキップする。
【００２９】
図３は、図２のＳ１４の落とし物検出処理の詳細を示すフローチャートである。落とし物検出部３２は、センサ情報記憶部２２から画像（ｔ）を取得する（Ｓ２２）。画像（ｔ）は、時点ｔにおいて撮像された画像（または映像のフレーム）である。ｔの初期値は、乗降検出部３０によりユーザの降車が検出された時刻である。落とし物検出部３２は、画像（ｔ）を用いて、画像（ｔ）に落とし物が映っているか否かを判定する。既述したように、落とし物検出部３２は、公知の手法で落とし物の有無を判定してよい。例えば、落とし物検出部３２は、ユーザの乗車時の画像には映っていない物体（財布、スマートフォン等）が、画像（ｔ）に映っている場合、その物体を落とし物と判定してもよい。
【００３０】
画像（ｔ）から落とし物が検出された場合（Ｓ２４のＹ）、落とし物検出部３２は、ｔを１単位分（例えば１フレーム分）減算し（Ｓ２６）、Ｓ２２に戻る。例えば、落とし物検出部３２は、落とし物が検出された画像の１つ前に撮像された画像を取得し、その画像に落とし物が映っているかを再度判定する。このように、落とし物検出部３２は、センサ情報記憶部２２に記憶された画像を、乗員の降車時から、落とし物を検出しない画像まで遡っていく。
【００３１】
画像（ｔ）から落とし物が検出されない場合（Ｓ２４のＮ）、落とし物が１回も検出されなければ（Ｓ２８のＮ）、本図のフローを終了する。一方、落とし物が少なくとも１回検出されていれば（Ｓ２８のＹ）、落とし物検出部３２は、落とし物初検知時刻をｔ＋Δに設定する（Ｓ３０）。すなわち、落とし物検出部３２は、落とし物が検出されなくなった時点ｔの次の時点（すなわちｔ＋Δ）を落とし物初検知時刻として決定する。また、落とし物検出部３２は、センサ情報記憶部２２に記憶された画像（ｔ＋Δ）を参照し、落とし物が最初に生じた車室内の位置（例えばシート位置等）を特定する（Ｓ３２）。
【００３２】
図４は、図２のＳ１８の所有者特定処理の詳細を示すフローチャートである。推定部３４は、センサ情報記憶部２２から画像（ｔ＋Δ）を取得する（Ｓ３４）。画像（ｔ＋Δ）は、落とし物初検知時刻に撮像された画像である。すなわち、画像（ｔ＋Δ）は、センサ情報記憶部２２に記憶された画像を乗員が降車したときから遡って特定された画像であり、かつ、落とし物が最初に映った画像である。推定部３４は、公知の手法により、画像（ｔ＋Δ）に映る人物の位置を特定する（Ｓ３６）。例えば、推定部３４は、車両１０の各乗員がどのシートに座っていたかを画像処理により特定する。
【００３３】
推定部３４は、Ｓ３６で位置が特定された乗員のうち、画像（ｔ＋Δ）において、落とし物の位置に最も近い乗員が落とし物の所有者であると推定する（Ｓ３８）。生成部３６は、落とし物検出部３２により検出された落とし物と、推定部３４により推定された所有者とに関する落とし物情報を生成し、落とし物記憶部２４に記録する（Ｓ３９）。
【００３４】
図５は、落とし物情報の例を示す。生成部３６は、推定部３４により所有者が推定された画像（例えば画像（ｔ＋Δ））から所有者の顔が映る所有者画像４２を抽出してもよい。所有者画像は、落とし物の持ち主の画像とも言える。所有者画像は、所有者（言い換えれば持ち主）が映っている画像であればよく、所有者が写っている画像の所有者以外の部分をトリミングして、所有者が支配的に写っている画像であるとより好ましい。
【００３５】
また、生成部３６は、落とし物検出部３２により落とし物が検出された画像（例えば画像（ｔ＋Δ））から落とし物が映る落とし物画像４４を抽出してもよい。生成部３６は、所有者画像４２と落とし物画像４４の組を含む落とし物情報４０を生成してもよい。通知部３８は、図５に示す落とし物情報４０を表示装置１４に表示させてもよい。
【００３６】
図６も、落とし物情報の例を示す。推定部３４は、所有者を推定した画像（例えば画像（ｔ＋Δ））から所有者の位置を検出してもよい。実施例では、所有者の位置は、所有者が乗車中に着座していた位置（シート位置とも言える）である。生成部３６は、所有者の着座位置を示す所有者位置画像４６を生成してもよい。図６の所有者位置画像４６は、所有者の着座位置が車両１０の右後方であることを示している。生成部３６は、所有者位置画像４６と落とし物画像４４の組を含む落とし物情報４０を生成してもよい。通知部３８は、図６に示す落とし物情報４０を表示装置１４に表示させてもよい。変形例として、生成部３６は、落とし物検出部３２により検出された落とし物初期位置を示す所有者位置画像４６を生成してもよい。
【００３７】
第１実施例の監視システム１６は、車両１０内で落とし物を検出すると、落とし物が生じたときの画像をもとに落とし物の持ち主を推定する。これにより、車両１０内で生じた落とし物の持ち主を精度よく推定することができる。また、第１実施例の監視システム１６は、車両１０に搭載された表示装置１４に、落とし物とその持ち主とを対応付けた情報を表示させる。これにより、落とし物とその持ち主とを運転者等に把握させやすくなり、落とし物が無関係の第三者に渡ってしまうことを抑制できる。
【００３８】
以上、本開示を第１実施例をもとに説明した。第１実施例は例示であり、第１実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００３９】
第１実施例の変形例を説明する。落とし物検出部３２は、センサ情報記憶部２２に記憶された画像を乗員が降車したときから遡り、落とし物を画像から検出しなくなっても、所定時間分の画像をさらに遡ってもよい。ここでは遡った最後の時刻をｔとする。画像を遡る中で、落とし物が映る画像から落とし物が映らない画像に変化した後に、落とし物が映らない画像が所定時間（α）分続いた場合、落とし物検出部３２は、落とし物が最初に映らなくなった時点（ｔ＋α）の次の時点（ｔ＋α＋Δ）を落とし物初検知時刻として設定してもよい。推定部３４は、図４のＳ３４において、落とし物が最初に映らなくなった画像（画像（ｔ＋α））の次の時点の画像（画像（ｔ＋α＋Δ））を、落とし物が最初に映った画像として特定してもよい。
【００４０】
この変形例によると、落とし物検知の瞬断箇所を初検知時刻にしてしまうことを回避できる。これにより、落とし物センサ２０から落とし物が短時間遮られることがあっても、落とし物が実際に発生した時点を特定でき、落とし物の所有者の推定精度を一層高めることができる。なお、所定時間（α）は、開発者の知見、または監視システム１６を用いた実験により、落とし物検知の瞬断を除外するための適切な値が定められてよい。
【００４１】
（第２実施例）
第２実施例の監視システム１６の機能ブロックは、図１に示す第１実施例の監視システム１６の機能ブロックと同様である。以下、第１実施例で説明した内容は再度の説明を適宜省略し、第１実施例と異なる点を主に説明する。
【００４２】
乗降検出部３０は、車両１０の乗員が降車直前か否かを判定する。例えば、乗降検出部３０は、車両１０のナビゲーションシステムと接続され、乗員の目的地に到達するまでの距離または時間をナビゲーションシステムから取得してもよい。乗降検出部３０は、目的地到達までの距離または時間が所定の閾値未満の場合に降車直前と判定してもよい。また、乗降検出部３０は、車載ネットワークを介して、車両１０のパーキングブレーキが作動したことを示す信号を受け付けた場合に降車直前と判定してもよい。
【００４３】
落とし物検出部３２は、車両１０の車室内で落とし物が生じたことを検出する。落とし物検出部３２は、公知の方法にて落とし物を検出してもよい。例えば、落とし物検出部３２は、センサ情報記憶部２２に記憶された乗員乗車前の車室内の画像と、乗員乗車中に撮像された最新の車室内の画像とを比較し、差分となる物体を落とし物として検出してもよい。また、落とし物検出部３２は、最新の車室内の画像をもとに、一般物体検出の手法により落とし物を検出してもよい。
【００４４】
落とし物記憶部２４は、落とし物の候補リストを記憶する。落とし物検出部３２により落とし物が検出されると、生成部３６は、その落とし物に関する情報を候補リストに記録する。落とし物に関する情報は、以下「落とし物情報」とも呼び、落とし物の画像と位置（車室内での位置）を含む。落とし物の画像は、落とし物が映っている画像であればよく、落とし物が写っている画像の落とし物以外の部分をトリミングして、落とし物が支配的に写っている画像であるとより好ましい。
【００４５】
推定部３４は、落とし物検出部３２により落とし物が最初に検出された際の画像において、落とし物の位置に最も近い乗員を落とし物の持ち主として推定する。通知部３８は、乗員の降車に関する所定の条件が満たされた場合であり、第２実施例では乗員が降車直前と判定された場合、落とし物情報を表示装置１４へ送信して表示させる。
【００４６】
以上の構成による監視システム１６の動作を説明する。
図７は、第２実施例の監視システム１６の動作を示すフローチャートである。監視システム１６は、第１実施例と同様の所定の開始条件が満たされると監視処理を開始する（Ｓ４０）。乗員が降車直前であることが乗降検出部３０により未検出であれば（Ｓ４２のＮ）、後述の落とし物検出処理を実行する（Ｓ４４）。
【００４７】
乗員が降車直前であることが乗降検出部３０により検出され（Ｓ４２のＹ）、かつ、Ｓ４４で落とし物が検出された場合（Ｓ４６のＹ）、通知部３８は、落とし物記憶部２４に記憶された落とし物情報を表示装置１４へ送信して表示させる（Ｓ４８）。Ｓ４４で落とし物が検出されなければ（Ｓ４６のＮ）、Ｓ４８の処理をスキップする。
【００４８】
図８は、図７のＳ４４の落とし物検出処理の詳細を示すフローチャートである。落とし物検出部３２は、落とし物センサ２０により撮像された最新の画像である画像（ｔ）をセンサ情報記憶部２２から取得する（Ｓ５０）。落とし物検出部３２は、画像（ｔ）をもとに、車室内に落とし物が存在する場合、そのことを検出する。画像（ｔ）から落とし物が検出された場合（Ｓ５２のＹ）、落とし物検出部３２は、落とし物記憶部２４に格納された候補リストを参照し、今回検出した落とし物に関する情報が候補リストに登録済か否かを判定する（Ｓ５４）。
【００４９】
今回検出した落とし物が候補リストに未登録であれば（Ｓ５６のＮ）、落とし物検出部３２は、画像（ｔ）をもとに、落とし物が生じた車室内の位置を特定する（Ｓ５８）。推定部３４は、後述の所有者特定処理を実行する（Ｓ６０）。生成部３６は、落とし物検出部３２により検出された落とし物（種類や画像等）と、その位置、および推定部３４により推定された所有者とを対応付けた落とし物情報を生成する。生成部３６は、落とし物情報を落とし物記憶部２４の候補リストに記録する（Ｓ６２）。画像（ｔ）から落とし物が検出されず（Ｓ５２のＮ）、または、今回検出した落とし物が候補リストに登録済であれば（Ｓ５６のＹ）、以降の処理をスキップする。
【００５０】
図９は、図８のＳ６０の所有者特定処理の詳細を示すフローチャートである。推定部３４は、画像（ｔ）をセンサ情報記憶部２２から取得する（Ｓ７０）。推定部３４は、公知の手法により、画像（ｔ）に映る人物の位置を特定する（Ｓ７２）。推定部３４は、Ｓ７２で位置が特定された乗員のうち、画像（ｔ）において落とし物の位置に最も近い乗員が落とし物の所有者であると推定する（Ｓ７４）。
【００５１】
第２実施例の監視システム１６は、第１実施例の監視システム１６と同様の効果を奏する。すなわち、第２実施例の監視システム１６は、車両１０内で落とし物を検出すると、落とし物が生じたときの画像をもとに落とし物の持ち主を推定する。これにより、車両１０内で生じた落とし物の持ち主を精度よく推定することができる。また、第２実施例の監視システム１６は、車両１０に搭載された表示装置１４に、落とし物とその持ち主とを対応付けた情報を表示させる。これにより、落とし物とその持ち主とを運転者等に把握させやすくなり、落とし物が無関係の第三者に渡ってしまうことを抑制できる。さらにまた、第２実施例の監視システム１６によると、落とし物の所有者である乗員が降車する前に落とし物を通知することが可能であるため、落とし物が忘れ物になってしまうことを防止しやすくなる。
【００５２】
以上、本開示を第２実施例をもとに説明した。第２実施例は例示であり、第２実施例の各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
【００５３】
第１実施例と第２実施例の両方に適用可能な変形例として、落とし物に関する情報の通知方法のバリエーションを説明する。以下に示す通知方法は、実施例に記載の通知方法と任意の組合せが可能である。また、以下に示す複数の通知方法を適宜組み合わせることも可能である。
【００５４】
（１）監視システム１６において車室内のユーザ個人を識別可能な場合、通知部３８は、忘れ物の持ち主と推定されたユーザ自身に落とし物情報を通知してもよい。例えば、事前にユーザの顔写真がユーザアカウントに対応付けて登録される場合、通知部３８は、推定部３４により推定された落とし物の所有者について、落とし物センサ２０による撮像画像に映る所有者と、事前に登録された各ユーザの顔写真とを照合し、所有者の連絡先（例えばメールアドレスやユーザ端末の識別情報）を特定してもよい。通知部３８は、特定した連絡先をもとに、落とし物の所有者の端末に、落とし物情報を送信して表示させてもよい。
【００５５】
なお、車両１０に乗り込む人物が正規のユーザであることを示すために、ユーザは、車両１０に設けられた認証装置にユーザ端末（スマートフォン等）をかざして、監視システム１６を用いる落とし物監視サービスにログインしてもよい。監視システム１６には、落とし物監視サービスにログインしたユーザ（すなわち車両１０の乗員）の識別情報を記憶してもよい。また、監視システム１６は、落とし物監視サービスに登録済の正規のユーザの顔画像を記憶し、または、通信によりサーバから取得可能とする。この場合、車両１０の落とし物センサ２０が撮像した乗員の顔画像を、落とし物監視サービスに登録されている全ユーザの顔画像を照合することは不要であり、車両１０の乗員の登録された顔画像とのみ照合すればよい。この態様によると、画像照合の対象を乗員に絞ることができ、落とし物の所有者を特定する処理の負荷および時間を低減することができる。
【００５６】
（２）通知部３８は、車両１０と通信網を介して接続された管理センタの装置へ落とし物情報を送信して記憶させてもよい。これにより、車両１０の運転者等が落とし物を窃取することを防止しやすくなる。また、管理センタにおいて、落とし物の持ち主からの問い合わせに対応することが容易になる。
【００５７】
（３）通知部３８は、ユーザの降車直前にユーザ自身に落とし物情報を通知してもよい。例えば、生成部３６は、推定部３４により推定された所有者の位置情報（シート位置等）を落とし物情報に含めてもよい。通知部３８は、「××席のお客様、お忘れ物はありませんか？」等、所有者の位置を報知する音声データを車両１０内のスピーカへ送信して出力させてもよい。あわせて、通知部３８は、落とし物の画像を車両１０のナビゲーション画面または車両１０のリアシート用モニタに表示させてもよい。
【００５８】
（４）ライドシェアサービス等において車両１０に乗車するユーザを特定可能な場合、通知部３８は、ユーザの降車後または降車直前に、運転者やサービスプロバイダの装置へ落とし物情報を通知してもよい。また、通知部３８は、ユーザのアカウント（例えばサービスプロバイダが発行したアカウント）と、落とし物の画像の組を外部のサーバに登録してもよい。
【００５９】
（５）ライドシェアサービス等において車両１０に乗車するユーザを特定可能な場合、通知部３８は、ユーザの降車後または降車直前に、落とし物情報をユーザの端末へ通知してもよい。例えば、通知部３８は、落とし物の画像を含む落とし物情報をメールでユーザ端末へ送信してもよい。また、通知部３８は、サービスプロバイダのサーバへ落とし物情報を登録することにより、ユーザ端末で閲覧可能なサービス画面に落とし物情報を表示させてもよい。
【００６０】
また、生成部３６は、公知の画像解析処理（物体検出処理）により落とし物の種類（財布、スマートフォン等）を特定し、落とし物の種類を含む落とし物情報を生成してもよい。通知部３８は、落とし物の種類のみを含む落とし物情報であり、例えば落とし物の画像を含まない落とし物情報をユーザ端末へ通知してもよい。この落とし物情報は、例えば、「車に財布をお忘れではありませんか？」というメッセージであってもよい。これにより、落とし主の持ち主とは異なる第三者が持ち主になりすますことを防止できる。
【００６１】
別の変形例を説明する。推定部３４は、センサ情報記憶部２２に記憶された画像を、落とし物検出部３２により落とし物が検出されたときから遡って、言い換えれば、落とし物が検出された画像から遡って、その落とし物の持ち主を特定してもよい。例えば、推定部３４は、第１実施例と同様に、落とし物が生じたときにその落とし物に最も近い位置の乗員を持ち主として特定してもよい。推定部３４は、特定した持ち主の車室内での現在位置を顔認識等の公知技術によりさらに特定し、その現在位置を持ち主の位置として特定してもよい。生成部３６は、持ち主の現在位置を含む落とし物情報を生成し、通知部３８は、その落とし物情報を表示装置１４に表示させてもよい。この変形例によると、落とし物が生じた後にその持ち主の着座位置が変化しても、落とし物の真の持ち主を通知することができる。
【００６２】
第１実施例と第２実施例の両方に適用可能なさらに別の変形例を説明する。上記実施例では、車両内を撮像した画像をもとに、落とし物を検出し、その持ち主を推定した。変形例として、車両内で検知された圧力値をもとに、落とし物を検出し、その持ち主を推定してもよい。
【００６３】
この変形例では、監視システム１６の落とし物センサ２０は、車両１０の内装の面（言い換えれば車両１０の居室内の面であり、例えばシートや床等）に配設された圧力センサである。車両１０の内装における複数の面または複数の領域に、複数の圧力センサが配設されてもよい。この圧力センサは、車両１０の内装の面であって、配設された面にかかる圧力を検知し、検知結果を示す圧力情報を出力する。監視システム１６のセンサ情報記憶部２２は、落とし物センサ２０としての圧力センサから逐次出力された圧力情報を逐次記憶する。
【００６４】
落とし物検出部３２は、センサ情報記憶部２２に記憶された圧力情報が示す、落とし物センサ２０により検知された圧がかかるサイズや圧力に基づいて、車両１０内での落とし物の有無および位置を検出する。推定部は、落とし物検出部３２により落とし物が検出された場合に、センサ情報記憶部２２に記憶された、落とし物が生じたときの圧力情報をもとに落とし物の持ち主を推定する。
【００６５】
例えば、本変形例を第１実施例に適用すると、図３に示した処理において、画像（ｔ）が圧力情報（ｔ）に置き換わる。落とし物検出部３２は、センサ情報記憶部２２に記憶された圧力情報を乗員が降車したときから遡って、落とし物が生じた時刻および位置を検出してもよい。すなわち、落とし物検出部３２は、圧力に基づいて落とし物が検出されない時点まで遡り、その時点の次の時点を落とし物初検知時刻として決定してもよい。
【００６６】
また、本変形例では、図４に示した処理において、画像（ｔ＋Δ）が圧力情報（ｔ＋Δ）に置き換わる。推定部３４は、センサ情報記憶部２２に記憶された圧力情報をもとに、各乗員の位置を推定可能である。推定部３４は、落とし物初検知時刻における各乗員の位置を推定してもよい。推定部３４は、落とし物検出部３２により検出された落とし物初検知時刻において、落とし物検出部３２により検出された落とし物位置に最も近い乗員を落とし物の持ち主として推定してもよい。
【００６７】
また、本変形例を第２実施例に適用すると、図８に示した処理において、画像（ｔ）が圧力情報（ｔ）に置き換わる。落とし物検出部３２は、最新の圧力情報をセンサ情報記憶部２２から取得し、その圧力情報をもとに、車室内に落とし物が存在する場合、そのことを検出してもよい。また、本変形例では、図９に示した画像（ｔ）が圧力情報（ｔ）に置き換わる。推定部３４は、最新の圧力情報をセンサ情報記憶部２２から取得し、その圧力情報をもとに各乗員の位置を推定してもよい。推定部３４は、落とし物検出部３２により検出された落とし物位置に最も近い乗員を落とし物の持ち主として推定してもよい。
【００６８】
図１０は、本変形例における落とし物情報の例を示す。生成部３６は、推定部３４により推定された落とし物の持ち主の着座位置を示す所有者位置画像４６を生成する。それとともに、生成部３６は、落とし物検出部３２により検出された落とし物位置を示す落とし物位置画像４８を生成する。生成部３６は、所有者位置画像４６と落とし物位置画像４８の組を含む落とし物情報４０を生成する。通知部３８は、図１０に示す落とし物情報４０を表示装置１４に表示させる。
【００６９】
本変形例の監視システム１６においても、第１実施例および第２実施例の監視システム１６と同様の効果を奏する。また、本変形例の監視システム１６は、圧力情報を蓄積するが、圧力情報は一般的に画像データよりもデータサイズが小さいため、使用メモリ量を低減することができる。なお、監視システム１６は、画像に基づく落とし物検出処理および持ち主特定処理と、圧力情報に基づく落とし物検出処理および持ち主特定処理を組み合わせた構成であってもよい。例えば、画像に基づいて落とし物を検知する一方、圧力情報に基づいて落とし物の持ち主を推定してもよい。この態様によると、比較的データサイズが大きい画像データを走行期間全体に亘って蓄積することが不要になり、使用メモリ量を低減できる。
【００７０】
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
【００７１】
実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
［項目１］
所定のセンサにより検知された車両内に関する情報を記憶する記憶部と、
前記車両内で落とし物が生じたことを検出する検出部と、
前記検出部により落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定する推定部と、
前記検出部により検出された落とし物と、前記推定部により推定された持ち主とを対応付けた情報を外部へ通知する通知部と、
を備える監視システム。
［項目２］
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報を、前記車両に搭載された表示装置に表示させる、
項目１に記載の監視システム。
［項目３］
前記記憶部は、前記所定のセンサとしての撮像装置により撮像された車両内の画像を記憶し、
前記推定部は、前記記憶部に記憶された前記落とし物が生じたときの画像をもとに、前記落とし物の持ち主を推定する、
項目１または２に記載の監視システム。
［項目４］
前記検出部は、前記記憶部に記憶された前記画像から前記落とし物を検出し、
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報として、前記落とし物の画像と前記持ち主の画像の組を表示させる、
項目３に記載の監視システム。
［項目５］
前記検出部は、前記記憶部に記憶された前記画像から前記落とし物の位置を検出し、
前記推定部は、前記記憶部に記憶された前記画像から、前記持ち主の位置を検出し、
前記通知部は、前記落とし物と前記持ち主とを対応付けた情報として、前記落とし物の画像と前記持ち主の位置を示す画像の組を表示させる、
項目３に記載の監視システム。
［項目６］
前記推定部は、前記記憶部に記憶された画像を前記落とし物が検知されたときから遡って前記持ち主を特定し、前記持ち主の現在位置をさらに特定して、その現在位置を前記持ち主の位置として特定する、
項目５に記載の監視システム。
［項目７］
前記持ち主の位置は、前記持ち主が乗車中に着座していた位置である、
項目５に記載の監視システム。
［項目８］
前記検出部は、乗員が降車したときの画像をもとに落とし物が生じたことを検出し、
前記推定部は、前記記憶部に記憶された画像を前記乗員が降車したときから遡り特定された、前記落とし物が最初に映った画像において、前記落とし物に最も近い乗員を前記落とし物の持ち主として推定する、
項目３から７のいずれかに記載の監視システム。
［項目９］
前記記憶部に記憶された画像を前記乗員が降車したときから遡り、前記落とし物が映らない画像が所定時間続いた場合、前記落とし物が最初に映らなくなった画像の次の時点の画像が、前記落とし物が最初に映った画像として特定される、
項目８に記載の監視システム。
［項目１０］
前記推定部は、前記検出部により前記落とし物が最初に検出された際の画像において、前記落とし物に最も近い乗員を前記落とし物の持ち主として推定し、
前記通知部は、乗員の降車に関する所定の条件が満たされた場合、前記落とし物と前記持ち主とを対応付けた情報を通知する、
項目３から７のいずれかに記載の監視システム。
［項目１１］
前記記憶部は、前記所定のセンサとしての圧力センサにより検知された車両の内装の面にかかる圧力情報を記憶し、
前記検出部は、前記記憶部に記憶された圧力情報をもとに前記落とし物を検出し、
前記推定部は、前記記憶部に記憶された前記落とし物が生じたときの圧力情報をもとに、前記落とし物の持ち主を推定する、
項目１または２に記載の監視システム。
［項目１２］
所定のセンサにより検知された車両内に関する情報を記憶する記憶部を備える情報処理システムが、
前記車両内で落とし物が生じたことを検出し、
前記落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定し、
検出された落とし物と、推定された持ち主とを対応付けた情報を外部へ通知する、
監視方法。
［項目１３］
所定のセンサにより検知された車両内に関する情報を記憶する記憶部を備える情報処理システムに、
前記車両内で落とし物が生じたことを検出し、
前記落とし物が検出された場合、前記記憶部に記憶された前記落とし物が生じたときの情報をもとに、前記落とし物の持ち主を推定し、
検出された落とし物と、推定された持ち主とを対応付けた情報を外部へ通知する、
ことを実行させるためのコンピュータプログラム。
【符号の説明】
【００７２】
１０  車両、  １４  表示装置、  １６  監視システム、  ２０  落とし物センサ、  ２２  センサ情報記憶部、  ３２  落とし物検出部、  ３４  推定部、  ３８  通知部。
【図１】
2020166524.tif 000003
【図２】
2020166524.tif 000004
【図３】
2020166524.tif 000005
【図４】
2020166524.tif 000006
【図５】
2020166524.tif 000007
【図６】
2020166524.tif 000008
【図７】
2020166524.tif 000009
【図８】
2020166524.tif 000010
【図９】
2020166524.tif 000011
【図１０】
2020166524.tif 000012