(57)【要約】【課題】１の動体が他の動体に好ましくない行為を行ったことに気付かせる。【解決手段】測定部は、画像を撮影する撮像装置１０から画像に写る子供５０１までの距離Ｌ１と、撮像装置１０から画像に写る他の子供５０２までの距離Ｌ２とを測定する。報知部は、距離Ｌ１と距離Ｌ２との差が閾値以下であり、且つ、画像により子供５０１の身体の一部が子供５０２に接近したことが示されると、警告を報知する。【選択図】図６
2020027496.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定する測定部と、
前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近していることが示されると、警告を報知する報知部と
を備える監視装置。
【請求項２】
前記報知部は、前記画像により前記１の動体が前記他の動体を引っ掻く行為が行われたことが示される場合に、前記警告を報知する
請求項１に記載の監視装置。
【請求項３】
前記他の動体に対する前記１の動体の行為に応じて、前記引っ掻く行為を検出する検出部をさらに備える
請求項２に記載の監視装置。
【請求項４】
前記検出部は、前記画像により前記１の動体の指先が前記他の動体の顔に接触していることが示される場合に、前記引っ掻く行為を検出する
請求項３に記載の監視装置。
【請求項５】
前記検出部は、前記画像により前記１の動体が爪を立てた形状の手で掻く動作をしたことが示される場合に、前記引っ掻く行為を検出する
請求項３に記載の監視装置。
【請求項６】
前記接近に応じた前記他の動体の変化に応じて、前記引っ掻く行為を検出する検出部をさらに備える
請求項２に記載の監視装置。
【請求項７】
前記検出部は、前記画像に含まれる前記他の動体の顔領域に、前記接近に応じて傷跡を示す変化が現れた場合に、前記引っ掻く行為を検出する
請求項６に記載の監視装置。
【請求項８】
前記他の動体の音声を取得する音声取得部をさらに備え、
前記検出部は、前記音声取得部が取得した前記音声に、前記接近に応じた悲鳴が含まれる場合に、前記引っ掻く行為を検出する
請求項６に記載の監視装置。
【請求項９】
前記画像により示される前記１の動体から前記他の動体までの第３距離が前記閾値以下になった第１時点から、前記画像により前記１の動体の身体の一部が前記他の動体に接近した後に離反したことが示される第２時点までの期間、前記撮像部が撮影した前記画像を示す画像データを記憶する記憶部をさらに備える
請求項１から８のいずれか１項に記載の監視装置。
【請求項１０】
前記撮像部は、時系列に沿って複数の画像を撮影し、
前記記憶部は、第１の一時記憶領域と、第２の一時記憶領域と、保存領域とを有し、
前記第１の一時記憶領域には、前記撮像部が撮影した前記複数の画像のうち、前記第１時点から、前記複数の画像により前記１の動体の身体の一部が前記他の動体に接近したことが示される対象時点までの期間に対応する画像を示す第１画像データが、前記第１の一時記憶領域の記憶容量に対応する長さ分だけ順番に記憶され、
前記第２の一時記憶領域には、前記撮像部が撮影した前記複数の画像のうち、前記対象時点から前記第２時点までの期間に対応する画像を示す第２画像データが記憶され、
前記保存領域には、前記複数の画像により前記１の動体の身体の一部が前記他の動体から離反したことが示されると、前記第１の一時記憶領域に記憶された前記第１画像データと、前記第２の一時記憶領域に記憶された前記第２画像データとが記憶される
請求項９に記載の監視装置。
【請求項１１】
画像を撮影する撮像部と、
前記撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定する測定部と、
前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近したことが示されると、警告を報知する報知部と
を備える監視システム。
【請求項１２】
コンピュータに、
画像を撮影する撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定するステップと、
前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近したことが示されると、警告を報知するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置、監視システム、及びプログラムに関する。
【背景技術】
【０００２】
人物を撮影した画像から、人物の動きを検出して記録する技術が知られている。例えば特許文献１には、撮像映像から人物のモーション情報を検出し、人物の行動毎に分割した行動情報を外部に伝送することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／０９３３３０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
保育園や幼稚園等の施設では、子供同士が遊んでいる中で、引っ掻く等の行為により１の子供が他の子供に怪我をさせてしまう場合がある。しかし、このような施設では一人の監督者が複数の子供を監督しているため、子供が怪我をしたことに気付かない場合がある。
本発明は、１の動体が他の動体に好ましくない行為を行ったことに気付かせることを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、画像を撮影する撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定する測定部と、前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近したことが示されると、警告を報知する報知部とを備える監視装置である。
【０００６】
請求項２に係る発明は、請求項１に記載の監視装置において、前記報知部は、前記画像により前記１の動体が前記他の動体を引っ掻く行為が行われたことが示される場合に、前記警告を報知する。
【０００７】
請求項３に係る発明は、請求項２に記載の監視装置において、前記他の動体に対する前記１の動体の行為に応じて、前記引っ掻く行為を検出する検出部をさらに備える。
【０００８】
請求項４に係る発明は、請求項３に記載の監視装置において、前記検出部は、前記画像により前記１の動体の指先が前記他の動体の顔に接触していることが示される場合に、前記引っ掻く行為を検出する。
【０００９】
請求項５に係る発明は、請求項３に記載の監視装置において、前記検出部は、前記画像により前記１の動体が爪を立てた形状の手で掻く動作をしたことが示される場合に、前記引っ掻く行為を検出する。
【００１０】
請求項６に係る発明は、請求項２に記載の監視装置において、前記接近に応じた前記他の動体の変化に応じて、前記引っ掻く行為を検出する検出部をさらに備える。
【００１１】
請求項７に係る発明は、請求項６に記載の監視装置において、前記検出部は、前記画像に含まれる前記他の動体の顔領域に、前記接近に応じて傷跡を示す変化が現れた場合に、前記引っ掻く行為を検出する。
【００１２】
請求項８に係る発明は、請求項６に記載の監視装置において、前記他の動体の音声を取得する音声取得部をさらに備え、前記検出部は、前記音声取得部が取得した前記音声に、前記接近に応じた悲鳴が含まれる場合に、前記引っ掻く行為を検出する。
【００１３】
請求項９に係る発明は、請求項１から８のいずれか１項に記載の監視装置において、前記画像により示される前記１の動体から前記他の動体までの第３距離が前記閾値以下になった第１時点から、前記画像により前記１の動体の身体の一部が前記他の動体に接近した後に離反したことが示される第２時点までの期間、前記撮像部が撮影した前記画像を示す画像データを記憶する記憶部をさらに備える。
【００１４】
請求項１０に係る発明は、請求項９に記載の監視装置において、前記撮像部は、時系列に沿って複数の画像を撮影し、前記記憶部は、第１の一時記憶領域と、第２の一時記憶領域と、保存領域とを有し、前記第１の一時記憶領域には、前記撮像部が撮影した前記複数の画像のうち、前記第１時点から、前記複数の画像により前記１の動体の身体の一部が前記他の動体に接近したことが示される対象時点までの期間に対応する画像を示す第１画像データが、前記第１の一時記憶領域の記憶容量に対応する長さ分だけ順番に記憶され、前記第２の一時記憶領域には、前記撮像部が撮影した前記複数の画像のうち、前記対象時点から前記第２時点までの期間に対応する画像を示す第２画像データが記憶され、前記保存領域には、前記複数の画像により前記１の動体の身体の一部が前記他の動体から離反したことが示されると、前記第１の一時記憶領域に記憶された前記第１画像データと、前記第２の一時記憶領域に記憶された前記第２画像データとが記憶される。
【００１５】
請求項１１に係る発明は、画像を撮影する撮像部と、前記撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定する測定部と、前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近したことが示されると、警告を報知する報知部とを備える監視システムである。
【００１６】
請求項１２に係る発明は、コンピュータに、画像を撮影する撮像部から前記画像に写る１の動体までの第１距離と、前記撮像部から前記画像に写る他の動体までの第２距離とを測定するステップと、前記第１距離と前記第２距離との差が閾値以下であり、且つ、前記画像により前記１の動体の身体の一部が前記他の動体に接近したことが示されると、警告を報知するステップとを実行させるためのプログラムである。
【発明の効果】
【００１７】
請求項１に係る発明によれば、１の動体が他の動体に好ましくない行為を行ったことに気付くことができる。
請求項２に係る発明によれば、１の動体が他の動体に引っ掻く行為を行ったことに気付くことができる。
請求項３に係る発明によれば、他の動体の状態や動作を認識しなくても、引っ掻く行為を検出することができる。
請求項４に係る発明によれば、１の動体の身体の一部が前記他の動体に接近していることに応じて引っ掻く行為が検出される場合に比べて、引っ掻く行為の検出精度を向上させることができる。
請求項５に係る発明によれば、１の動体の身体の一部が前記他の動体に接近していることに応じて引っ掻く行為が検出される場合に比べて、引っ掻く行為の検出精度を向上させることができる。
請求項６に係る発明によれば、１の動体の状態や動作を認識しなくても、引っ掻く行為を検出することができる。
請求項７に係る発明によれば、１の動体の身体の一部が前記他の動体に接近していることに応じて引っ掻く行為が検出される場合に比べて、引っ掻く行為の検出精度を向上させることができる。
請求項８に係る発明によれば、１の動体の身体の一部が前記他の動体に接近していることに応じて引っ掻く行為が検出される場合に比べて、引っ掻く行為の検出精度を向上させることができる。
請求項９に係る発明によれば、好ましくない行為が行われた状況を後から確認することができる。
請求項１０に係る発明によれば、撮像部が撮影した全ての画像を示す画像データを記憶する場合に比べて、画像データの記憶容量を減らすことができる。
請求項１１に係る発明によれば、１の動体が他の動体に好ましくない行為を行ったことに気付かせることができる。
請求項１２に係る発明によれば、１の動体が他の動体に好ましくない行為を行ったことに気付かせることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る監視システム１の一例を示す図である。
【図２】端末装置２０のハードウェア構成の一例を示す図である。
【図３】処理装置３０のハードウェア構成の一例を示す図である。
【図４】処理装置３０の機能構成の一例を示す図である。
【図５】データベース３３４の一例を示す図である。
【図６】監視システム１の設置例を示す図である。
【図７】処理装置３０が行う処理の一例を示すフローチャートである。
【図８】表示部２６に表示される画面６０の一例を示す図である。
【発明を実施するための形態】
【００１９】
１．構成
図１は、本実施形態に係る監視システム１の一例を示す図である。監視システム１は、幼稚園や保育園等の複数の子供が居る施設において、１の子供が他の子供に対して行う好ましくない行為を監視するシステムである。この好ましくない行為とは、例えば他の子供に痛い思いや怪我をさせるような行為をいう。好ましくない行為には、例えば引っ掻く行為が含まれる。
【００２０】
監視システム１は、撮像装置１０と、端末装置２０と、処理装置３０とを備える。これらの装置は、通信回線４０を介して接続されている。通信回線４０は、これらの装置間の通信を伝送する。通信回線４０には、例えばＬＡＮ（Local Area Network）等のプライベートネットワークが用いられてもよい。
【００２１】
撮像装置１０は、複数の人の画像を時系列に沿って撮影する。この画像は、複数のフレーム画像により構成される動画であってもよいし、静止画であってもよい。撮像装置１０には、例えばデジタルビデオカメラが用いられてもよい。このデジタルビデオカメラは、光学系を用いて撮像素子上に像を結ばせることにより、動画を撮影する。また、撮像装置１０は、音声取得部１１を備える。音声取得部１１は、音声を取得して音声信号に変換する。音声取得部１１には、例えばマイクロフォンが用いられてもよい。さらに、撮像装置１０は、通信機能を有する。撮像装置１０は、撮影された画像を示す画像データ及び取得された音声を示す音声信号を通信回線４０を介して処理装置３０に送信する。
【００２２】
図２は、端末装置２０のハードウェア構成の一例を示す図である。端末装置２０は、処理装置３０の制御の下、警告を報知する。端末装置２０には、例えばスマートフォンやタブレット端末等の持ち運び可能な装置が用いられてもよい。端末装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信部２４と、操作部２５と、表示部２６とを備える。プロセッサ２１は、プログラムをメモリ２２に読み出して実行することにより、各種の処理を実行する。プロセッサ２１には、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリ２２は、プロセッサ２１により実行されるプログラムを記憶する。メモリ２２には、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）が用いられてもよい。ストレージ２３は、各種のデータ及びプログラムを記憶する。ストレージ２３には、例えばフラッシュメモリが用いられてもよい。通信部２４は、通信回線４０に接続され、通信回線４０を介してデータ通信を行う。操作部２５は、端末装置２０の操作に用いられる。操作部２５には、例えば操作ボタンやタッチセンサが用いられてもよい。表示部２６は、各種の情報を表示する。表示部２６には、例えば液晶ディスプレイが用いられてもよい。
【００２３】
図３は、処理装置３０のハードウェア構成の一例を示す図である。処理装置３０は、撮像装置１０が撮影した画像を解析し、その解析結果を用いて１の人が他の人に対して好ましくない行為を行うのを監視する処理を行う。処理装置３０には、例えば汎用のコンピュータが用いられてもよい。処理装置３０は、プロセッサ３１と、メモリ３２と、ストレージ３３と、通信部３４と、操作部３５と、表示部３６とを備える。プロセッサ３１は、プログラムをメモリ３２に読み出して実行することにより、各種の処理を実行する。プロセッサ３１には、例えばＣＰＵが用いられてもよい。メモリ３２は、プロセッサ３１により実行されるプログラムを記憶する。メモリ３２には、例えばＲＯＭ及びＲＡＭが用いられてもよい。ストレージ３３は、各種のデータ及びプログラムを記憶する。ストレージ３３には、例えばハードディスクドライブ又はソリッドステートドライブが用いられてもよい。通信部３４は、通信回線４０に接続され、通信回線４０を介してデータ通信を行う。操作部３５は、処理装置３０の操作に用いられる。操作部３５には、例えばマウス及びキーボードが用いられてもよい。表示部３６は、各種の情報を表示する。表示部３６には、例えば液晶ディスプレイが用いられてもよい。
【００２４】
図４は、処理装置３０の機能構成の一例を示す図である。処理装置３０は、動体検出部３０１と、測定部３０２と、判定部３０３と、引っ掻き検出部３０４と、録画部３０５と、識別部３０６と、報知部３０７として機能する。これらの機能は、メモリ３２に記憶されたプログラムと、このプログラムを実行するプロセッサ３１との協働により、プロセッサ３１が演算を行い又は通信部３４による通信を制御することにより実現される。
【００２５】
動体検出部３０１は、撮像装置１０が撮影した画像から、その画像に写る複数の動体を検出する。この動体の検出には、例えば背景差分などの差分処理を用いる方法や物体の移動方向を示すオプティカルフローを用いる方法等の周知の動体検出技術が用いられてもよい。
【００２６】
測定部３０２は、撮像装置１０から画像に写る１の動体までの距離と、撮像装置１０から画像に写る他の動体までの距離とを測定する。この距離の測定には、例えばＴＯＦ（Time  of  Flight）法やアクティブステレオ法等の周知の３次元画像計測技術が用いられてもよい。ＴＯＦ法では、例えば赤外線センサが用いられてもよい。
【００２７】
判定部３０３は、１の動体から定められた範囲内に他の動体が居るか否かを判定する。この定められた範囲は、例えば撮像装置１０から１の動体又は他の動体に向かう奥行方向と、撮像装置１０が撮影した画像において１の動体の位置から他の動体の位置へと向かう方向に対応する面方向とに延びる。この奥行方向は、例えば撮像装置１０の光軸と概ね平行な方向である。面方向は、例えば撮像素子の表面と概ね平行な方向であり、奥行方向と概ね直交する方向である。例えば定められた範囲は、１の動体から他の動体までの奥行方向の距離及び面方向の距離が閾値以下の距離となる範囲であってもよい。この閾値には、例えば１の動体の手が他の動体に届き得る奥行方向又は面方向の距離の最大値が用いられてもよい。奥行方向の距離の閾値と面方向の距離の閾値とは、同じであってもよいし、異なっていてもよい。１の動体から他の動体までの奥行方向の距離には、例えば測定部３０２が測定した２つの距離の差が用いられてもよい。１の動体から他の動体までの面方向の距離は、例えば周知の２次元画像計測技術を用いて測定されてもよい。このように、１の動体から他の動体までの面方向の距離に加えて奥行方向の距離に基づいて判定を行うのは、画像上では１の動体と他の動体とが近くにいるように示されていても、実際には奥行方向の距離が大きく異なり、１の動体の近くに他の動体が居ない場合があるため、このような場合に１の動体から定められた範囲内に他の動体が居ると誤判定されるのを防ぐためである。
【００２８】
引っ掻き検出部３０４は、撮像装置１０が撮影した画像から１の動体が他の動体を引っ掻く行為を検出する。例えば１の動体から定められた範囲内に他の動体が居り、且つ、１の動体の身体の一部が他の動体の身体の少なくとも一部に接近している場合には、引っ掻く行為が行われたとみなせる。したがって、この場合に引っ掻く行為が検出されてもよい。一般的に、引っ掻く行為は、１の動体の手により他の動体の顔に対して行われることが多い。したがって、１の動体の身体の一部は、例えば手であり、他の動体の身体の一部は、例えば顔であってもよい。この接近は、例えば面方向における１の動体の身体の一部から他の動体の身体の少なくとも一部までの距離と閾値とを比較することにより検出されてもよい。この距離は、例えば周知の２次元画像計測技術を用いて測定されてもよい。この閾値には、例えば上述した判定部３０３の判定に用いられる閾値以下の値であって、１の動体の身体の一部が他の動体の身体に容易に接触し得る距離の最大値が用いられてもよい。
【００２９】
また、引っ掻く行為の検出精度を高めるために、上述した接近に加えて、他の動体に対する１の動体の行為又は接近に応じた他の動体の変化があったときに限り、引っ掻く行為が検出されてもよい。例えば１の動体の身体の一部が他の動体の身体の一部に接近した状態で、１の動体の指先が他の動体の顔に接触した場合や１の動体が爪を立てた形状の手で掻く動作をした場合には、１の動体が他の動体を引っ掻く行為を行ったと考えられる。したがって、撮像装置１０が撮影した画像からこのような１の動体の行為が検出された場合には、１の動体が他の動体を引っ掻く行為を行ったと判定されてもよい。なお、爪を立てた形状とは、引っ掻くときの一般的な手の形状をいい、例えば鉤のように指先を曲げた形状であってもよい。また上述した接近に応じて画像に含まれる他の動体の顔領域に傷跡を示す変化が現れた場合や音声取得部１１が取得した音声に接近に応じた悲鳴が含まれる場合にも、１の動体が他の動体を引っ掻く行為を行ったと考えられる。したがって、撮像装置１０が撮影した画像又は音声取得部１１が取得した音声からこのような変化が検出された場合には、１の動体が他の動体を引っ掻く行為を行ったと判定されてもよい。
【００３０】
録画部３０５は、１の動体から定められた範囲内に他の動体が居ると判定された時点から、１の動体の身体の一部が他の動体に接近した後に離反した時点までの期間、撮像装置１０が撮影した画像を示す画像データをストレージ３３に記憶させる。１の動体から定められた範囲内に他の動体が居ると判定された時点を決定する方法としては、例えば判定部３０３がこの判定を行ったときに判定部３０３から録画部３０５に信号を送信するという方法が用いられてもよい。１の動体の身体の一部が他の動体に接近した時点を決定する方法としては、例えば引っ掻き検出部３０４が引っ掻く行為を検出したとき、引っ掻き検出部３０４から録画部３０５に信号を送信するという方法が用いられてもよい。同様に、１の動体の身体の一部が他の動体から離反した時点を決定する方法としては、例えば引っ掻き検出部３０４が引っ掻く行為を検出しなくなったときに、引っ掻き検出部３０４から録画部３０５に信号を送信するという方法が用いられてもよい。
【００３１】
図４に示すように、ストレージ３３は、一時記憶領域３３１と、録画領域３３２と、保存領域３３３とを有する。ストレージ３３には、１の動体から定められた範囲内に他の動体が居ると判定された時点から、１の動体の身体の一部が他の動体に接近した後に離反した時点までの期間、撮像装置１０が撮影した画像を示す画像データが記憶される。具体的には、一時記憶領域３３１には、撮像装置１０が撮影した画像のうち、１の動体から定められた範囲内に他の動体が居ると判定された時点から、１の動体の身体の一部が他の動体の身体に接近した時点までの期間に対応する画像を示す画像データが記憶される。一時記憶領域３３１には、その記憶容量に対応する長さ分だけ画像データが順番に記憶される。録画領域３３２には、撮像装置１０が撮影した画像のうち、１の動体の身体の一部が他の動体に接近した時点から離反した時点までの画像を示す画像データが記憶される。保存領域３３３には、１の動体の身体の一部が他の動体から離反すると、一時記憶領域３３１に記憶された画像データと録画領域３３２に記憶された画像データとが記憶される。
【００３２】
識別部３０６は、撮像装置１０が撮影した画像から人の顔画像を認識し、認識した顔画像に基づいて人を識別する。この顔画像を用いた識別は、顔認証とも呼ばれる。この識別は、例えば周知の顔認識技術を用いて、ストレージ３３に予め記憶されたデータベース３３４と照合することにより行われてもよい。
【００３３】
図５は、データベース３３４の一例を示す図である。データベース３３４には、人を識別するＩＤ（Identification）と対応付けて、人の顔画像を示す顔データが含まれる。これらの情報は、例えば管理者により予め登録されてもよい。
【００３４】
報知部３０７は、撮像装置１０が撮影した画像から１の動体が他の動体を引っ掻く行為が検出された場合に、端末装置２０又は処理装置３０から警告を報知する。この警告の報知は、例えば警告するメッセージを端末装置２０又は処理装置３０に表示させることにより実現されてもよい。
【００３５】
２．動作
図６は、監視システム１の設置例を示す図である。この例では、監視システム１は、幼稚園や保育所等の施設に設置されている。この施設には、複数の子供５０１から５０４と、これらの子供５０１から５０４を監視する先生５０５とが居る部屋５０と、園長等の先生が常駐する事務所５１とが含まれる。部屋５０には、撮像装置１０が設置されている。先生５０５は、端末装置２０を持ち運んでいる。事務所５１には、処理装置３０が設置されている。
【００３６】
図７は、処理装置３０が行う処理の一例を示すフローチャートである。撮像装置１０は、部屋５０の画像を撮影し、撮影した画像を示す画像データを処理装置３０に順次送信する。また、撮像装置１０は、部屋５０の音声を取得し、取得した音声を示す音声信号を順次送信する。この処理は、例えば処理装置３０が撮像装置１０から画像データ及び音声信号を受信したときに開始される。
【００３７】
ステップＳ１１では、動体検出部３０１において、撮像装置１０から受信された画像データが示す画像から動体が検出される。図６に示す例では、複数の子供５０１から５０４及び先生５０５が検出される。
【００３８】
ステップＳ１２では、測定部３０２において、撮像装置１０からステップＳ１１において検出された各動体までの奥行方向Ｄ１の距離が測定される。図６に示す例では、例えば撮像装置１０から子供５０１までの距離Ｌ１、及び、撮像装置１０から子供５０２までの距離Ｌ２が測定される。他の子供５０３から５０４及び先生５０５についても同様に、撮像装置１０からの距離が測定される。
【００３９】
ステップＳ１３では、判定部３０３において、ステップＳ１１において検出された１の動体から定められた範囲内に他の動体が居るか否かが判定される。具体的には、まずステップＳ１２において測定された距離の差が閾値以下であるか否かが判定される。続いて画像から検出された１の動体から他の動体までの面方向Ｄ２の距離が閾値以下であるか否かが判定される。図６に示す例において、例えば子供５０１と子供５０２については、まず距離Ｌ１と距離Ｌ２との差が閾値以下であるかが判定される。続いて、画像から子供５０１の胴の子供５０２側の端部から子供５０２の胴の子供５０１側の端部までの面方向Ｄ２の距離Ｌ３が測定される。そして、距離Ｌ３が閾値以下であるか否かが判定される。例えば閾値が２０ｃｍである場合、距離Ｌ１と距離Ｌ２との差及び距離Ｌ３のうち少なくともいずれかが２０ｃｍより大きいときは、１の動体から定められた範囲内に他の動体が居ないことを示すため、ステップＳ１３の判定がＮＯになる。この場合、処理はステップＳ１１に戻る。一方、距離Ｌ１と距離Ｌ２との差及び距離Ｌ３がいずれも２０ｃｍ以下である場合には、１の動体から定められた範囲内に他の動体が居ることを示すため、ステップＳ１３の判定がＹＥＳになる。この場合、処理はステップＳ１４に進む。他の子供５０３から５０４及び先生５０５についても同様の判定が行われる。
【００４０】
ステップＳ１４では、録画部３０５において、録画が開始される。例えば時刻ｔ１に１の動体から定められた範囲内に他の動体が居ると判定された場合、撮像装置１０が撮影した画像のうち時刻ｔ１以降の画像を示す画像データが図４に示す一時記憶領域３３１に記憶される。一時記憶領域３３１には、その記憶容量に対応する長さ分だけ画像データが順番に記憶される。例えば一時記憶領域３３１が５分間の画像データを記憶するだけの記憶容量を有している場合、時刻ｔ１から５分間の画像データはそのまま記憶される。一時記憶領域３３１の空き容量がなくなると、以降の画像データは既に記憶された画像データに上書きされる。このとき、古い画像データから順番に上書きされる。このようにして、一時記憶領域３３１には、記憶容量に対応する長さ分の最新の画像データが記憶される。
【００４１】
ステップＳ１５では、引っ掻き検出部３０４において、画像から１の動体の手が他の動体の顔に接近したことが検出されたか否かが判定される。図６に示す例では、例えば画像から子供５０１の手と子供５０２の顔とがそれぞれ認識される。続いて、画像から子供５０１の手の先端から子供５０２の顔の子供５０１側の端部までの面方向Ｄ２の距離Ｌ４が測定される。例えば閾値が１０ｃｍである場合、距離Ｌ４が１０ｃｍより大きいときは、子供５０１の手が子供５０２の顔に接近していないことを示すため、ステップＳ１５の判定がＮＯになる。この場合、処理はステップＳ１１に戻る。一方、距離Ｌ４が１０ｃｍ以下である場合、子供５０１の手が子供５０２の顔に接近していることを示すため、ステップＳ１５の判定がＹＥＳになる。この場合、処理はステップＳ１６に進む。
【００４２】
ステップＳ１６では、精度を高めるための追加処理を行うよう設定されているか否かが判定される。例えば管理者は、操作部３５を用いてこの追加処理を行うよう設定してもよい。追加処理を行うよう設定されていない場合には、ステップＳ１６の判定がＮＯになる。この場合、処理はステップＳ１７を行わずにステップＳ１８に進む。一方、追加処理を行うよう設定されている場合には、ステップＳ１６の判定がＹＥＳになる。この場合、処理はステップＳ１７に進む。
【００４３】
ステップＳ１７では、引っ掻き検出部３０４において、画像から１の動体が他の動体を引っ掻く行為が検出されたか否かが判定される。この引っ掻く行為の検出には、第１の方法から第４の方法が用いられる。例えば管理者は、操作部３５を用いて第１の方法から第４の方法のうち所望の方法を選択してもよい。これらの方法は、単独で用いられてもよいし、他の方法と併せて用いられてもよい。
【００４４】
第１の方法は、画像から１の動体の指先の他の動体の顔への接触を検出する方法である。図６に示す例では、例えば子供５０１の指先と子供５０２の顔とがそれぞれ認識される。続いて、画像から子供５０１の指先が子供５０２の顔に接触したか否かが判定される。例えば画像における子供５０１の指先の位置と子供５０２の顔の領域とが重なっている場合には、子供５０１の指先が子供５０２の顔に接触していると判定される。この場合、子供５０１が子供５０２を引っ掻く行為が検出される。
【００４５】
第２の方法は、１の動体が爪を立てた形状の手で行った掻く動作を検出する方法である。図６に示す例では、例えば子供５０１の手の形状が認識され、認識された形状が爪を立てた形状であるか否かが判定される。この手の形状の認識には、例えばパターン認識が用いられてもよい。子供５０１の手の形状が爪を立てた形状である場合、子供５０１の手がその形状のまま掻く動作を行ったか否かが判定される。この掻く動作は、例えば直線に沿ってスライド移動する動作である。例えば子供５０１の手の形状に概ね変化がなく、連続する複数の画像から得られる子供５０１の手の移動軌跡が直線に沿って移動している場合には、子供５０１が爪を立てた形状の手で掻く動作を行ったと判定される。この場合、子供５０１が子供５０２を引っ掻く行為が検出される。
【００４６】
第３の方法は、画像に含まれる他の動体の顔領域に、１の動体の手の接近に応じて現れた傷跡を示す変化を検出する方法である。図６に示す例では、例えば子供５０２の顔領域が認識される。例えば時刻ｔ２において子供５０１の手が子供５０２の顔に接近した場合、時刻ｔ２から定められた範囲内の画像に含まれる子供５０２の顔領域に、傷跡を示す変化があるか否かが判定される。この傷跡は、例えば線状の傷であってもよいし、赤い色を有していてもよい。例えば定められた範囲内の或る時刻の画像に含まれる子供５０２の顔領域から、それより前の時刻の画像にはなかった傷跡を示す特徴量が抽出された場合には、子供５０１の手の接近に応じて子供５０２の顔領域に傷跡が現れたことを示す。この場合、子供５０１が子供５０２を引っ掻く行為が検出される。
【００４７】
第４の方法は、音声取得部１１が取得した音声から、１の動体の手の接近に応じて発生した悲鳴を検出する方法である。図６に示す例において、例えば時刻ｔ２において子供５０１の手が子供５０２の顔に接近した場合、撮像装置１０から受信された音声信号が示す音声のうち、時刻ｔ２から定められた範囲内の音声に悲鳴が含まれるか否かが判定される。例えばこの音声に音声認識処理を施し、認識された音声に例えば「痛い」や「ぎゃー」等の定められたキーワード又は鳴き声が含まれる場合には、この音声に子供５０１の手の接近に応じて発生した悲鳴が含まれると判定される。この場合、子供５０１が子供５０２を引っ掻く行為が検出される。
【００４８】
例えば第１の方法から第４の方法から選択されたいずれも方法でも引っ掻く行為が検出されなかった場合には、ステップＳ１７の判定がＮＯになる。この場合、処理はステップＳ１５に戻る。一方、選択された方法の少なくともいずれかにより引っ掻く行為が検出された場合には、ステップＳ１７の判定がＹＥＳになる。この場合、処理はステップＳ１８に進む。
【００４９】
ステップＳ１８では、引っ掻く行為が発生したと判定される。図６に示す例では、例えば子供５０１が子供５０２に対して引っ掻く行為が発生したと判定される。
【００５０】
ステップＳ１９では、報知部３０７において、引っ掻く行為が発生したことを示す警告を端末装置２０から報知する処理が行われる。この処理に先立って、識別部３０６において、画像から引っ掻く行為を行った子供の顔画像と引っ掻く行為が行われた子供の顔画像が認識され、これらの顔画像に基づいて引っ掻く行為を行った子供と引っ掻く行為が行われた子供が識別される。図６に示す例では、例えば子供５０１の顔画像が認識され、この顔画像を示す顔データと図５に示すデータベース３３４に含まれる顔データとが比較される。この比較は、例えば顔データから抽出される特徴量を用いて行われてもよい。例えば子供５０１の顔データと、ＩＤ「００１」と対応付けられた顔データとの類似度が閾値より高い場合には、この「００１」というＩＤにより子供５０１が識別される。同様に、子供５０２の顔画像を示す顔データと、ＩＤ「００２」と対応付けられた顔データとの類似度が閾値より高い場合には、この「００２」というＩＤにより子供５０２が識別される。続いて、引っ掻く行為が発生したことを警告するメッセージが報知部３０７から端末装置２０に送信される。このとき、引っ掻く行為を行った加害者の子供のＩＤ及び引っ掻く行為が行われた被害者の子供のＩＤがデータベース３３４から読み出されて、メッセージとともに送信される。これにより、端末装置２０の表示部２６には、このメッセージ及びＩＤに応じた画面６０が表示される。
【００５１】
図８は、表示部２６に表示される画面６０の一例を示す図である。この画面６０には、「引っ掻く行為が発生しました」というメッセージが含まれる。また、画面６０には、例えば加害者の子供５０１のＩＤ「００１」に対応する子供５０１の名前が含まれる。さらに、画面６０には、例えば被害者の子供５０２のＩＤ「００２」に対応する子供５０２の名前が含まれる。
【００５２】
ステップＳ２０では、録画部３０５において、引っ掻く行為が発生した前後の画像を示す画像データが保存される。例えば時刻ｔ２において子供５０１の手が子供５０２の顔に接近した場合、撮像装置１０が撮影した画像のうち時刻ｔ２以降の画像を示す画像データが録画領域３３２に記憶される。そして、時刻ｔ３において引っ掻く行為が検出されなくなると、録画が停止される。そして、一時記憶領域３３１に記憶された時刻ｔ２までの画像の複製と、録画領域３３２に記憶された時刻ｔ２からｔ３までの画像の複製とを結合して結合画像が生成される。そして、結合画像を示す画像データが保存領域３３３に記憶される。すなわち、保存領域３３３には、時刻ｔ１からｔ３の画像データのうち、少なくとも時刻ｔ２からｔ３の画像データが記憶される。保存領域３３３に記憶された画像データは、例えば処理装置３０に送信され、画像データに応じた画像が表示部３６に表示されてもよい。
【００５３】
なお、上述した実施形態では、本発明に係る「監視装置」、「撮像部」、「記憶部」、「検出部」、「第１の一時記憶領域」、「第２の一時記憶領域」、「保存領域」として、それぞれ「処理装置３０」、「撮像装置１０」、「ストレージ３３」、「引っ掻き検出部３０４」、「一時記憶領域３３１」、「録画領域３３２」、「保存領域３３３」が用いられている。また、上述した実施形態では、本発明に係る「第１距離」、「第２距離」、「第３距離」「第１時点」、「対象時点」、「第２時点」、「第１画像データ」、「第２画像データ」として、それぞれ「距離Ｌ１」、「距離Ｌ２」、「距離Ｌ４」、「時刻ｔ１」、「時刻ｔ２」、「時刻ｔ３」、「一時記憶領域３３１に記憶された画像データ」、「録画領域３３２に記憶された画像データ」が用いられている。
【００５４】
以上説明した実施形態によれば、１の子供が他の子供に引っ掻く行為を行ったことが検出されると警告が報知されるため、先生は引っ掻く行為が発生したことに気付く。これにより、先生はこのような行為への対処を迅速に行うことができる。また、上述した実施形態では、１の動体から他の動体までの面方向の距離及び奥行方向の距離の両方に基づいて引っ掻く行為が検出されている。仮に、奥行方向の距離に関わらず、面方向の距離と１の子供の動作とに基づいて引っ掻く行為が検出される場合には、奥行方向の距離が大きく異なるため実際には１の動体は他の動体に接触し得ない場合にも、引っ掻く行為が検出される恐れがある。上述した実施形態によれば、このような引っ掻く行為の誤検出が防止される。さらに、上述した実施形態では、精度を高めるための追加処理を行うよう設定されていない場合には、１の動体の身体の一部が他の動体の身体に接近すると、引っ掻く行為が検出される。これは、子供同士で行われる引っ掻く行為は、大きな予備動作なしに行われることがあるためである。このような大きな予備動作なしに行われる引っ掻く行為は、例えば周知のモーション検出技術を用いても検出できない可能性がある。上述した実施形態によれば、大きな予備動作なしに引っ掻く行為が行われる場合でも、引っ掻く行為が検出される。
【００５５】
さらに、第１の方法から第４の方法を用いて引っ掻く行為を検出する場合には、１の動体の手が他の動体の顔に接近したことが検出されたことに応じて引っ掻く行為を検出する場合に比べて、引っ掻く行為の検出精度が向上する。さらに、第１の方法又は第２の方法を用いて引っ掻く行為を検出する場合には、他の動体の状態や動作を認識しなくても、引っ掻く行為が検出される。一方、第３の方法又は第４の方法を用いて引っ掻く行為を検出する場合には、１の動体の状態や動作を認識しなくても、引っ掻く行為が検出される。さらに、第４の方法では画像が使用されないため、画像から引っ掻く行為が検出されない場合にも、引っ掻く行為が検出される。
【００５６】
さらに、１の動体から定められた範囲内に他の動体が居る状態になったときに録画が開始されるため、撮像装置１０が撮影した全ての画像を示す画像データを記憶する場合に比べて、画像データの記憶容量が減る。さらに、引っ掻く行為が発生した前後の状況を示す画像データが保存されるため、この画像データが示す画像を表示することにより、引っ掻く行為が発生した状況が後から確認される。例えば被害者の子供の保護者から引っ掻く行為に関して後から説明を求められる場合がある。この場合には、例えば画像を表示して保護者に見せてもよい。
【００５７】
３．変形例
上述した実施形態は、本発明の一例である。本発明は、上述した実施形態に限定されない。例えば上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
【００５８】
上述した実施形態において、接近の判定に用いられる閾値は、人又は人の属性によって変化してもよい。子供は、年齢が低い程体が小さく、手の届く範囲も狭い。したがって、例えば１歳の子供について接近の判定に用いられる定められた距離は、５歳の子供について接近の判定に用いられる定められた距離より小さくてもよい。
【００５９】
上述した実施形態において、複数の撮像装置１０が用いられてもよい。この場合、複数の撮像装置１０に含まれる１の撮像装置１０が部屋５０全体の画像を撮影し、他の撮像装置１０が接近した１の人と他の人との画像を撮影してもよい。この場合、他の撮像装置１０は、これらの人を拡大して撮影してもよい。この変形例によれば、他の撮像装置１０が撮影した画像を用いて引っ掻く行為の検出を行うことにより、引っ掻く行為を検出しやすくなる。
【００６０】
上述した実施形態において、引っ掻く行為の検出には、１の動体から他の動体までの距離に加えて、１の動体の身体の一部が他の動体に接近する速度又は加速度が用いられてもよい。１の動体の身体の一部が他の動体に接近する速度又は加速度が小さい場合には、１の動体の身体の一部が他の動体に接触しても、他の動体が怪我をする可能性は低い。むしろ、１の動体が他の動体に対して頭を撫でる、手を繋ぐ等の好ましい行為を行う場合もある。この場合、連続して撮影された複数の画像に基づいて、子供５０１の手が子供５０２の顔に接近する速度又は加速度が定められた速度又は加速度が測定される。この速度又は加速度は、例えば子供５０１の手の移動量及び移動時間に基づいて算出されてもよい。例えば、測定された速度又は加速度が定められた速度又は加速度以上である場合には、引っ掻く行為が検出される。一方、測定された速度又は加速度が定められた速度又は加速度未満である場合には、１の動体の身体の一部が他の動体に接近しているときであっても、引っ掻く行為が検出されなくてもよい。
【００６１】
上述した実施形態において、保存領域３３３に記憶された画像データが示す画像が、端末装置２０上に表示されてもよい。この場合、保存領域３３３から画像データが読み出され、処理装置３０から端末装置２０に送信される。また、画面６０には、動画を再生する操作に用いられる再生ボタンが含まれてもよい。この再生ボタンが押されると、画像データに基づいて画像が表示されてもよい。
【００６２】
上述した実施形態において、保存領域３３３に記憶された画像データが示す画像が加工されて表示されてもよい。図６に示す例において、例えば子供５０２の保護者が画像を閲覧する場合、子供５０２に対して引っ掻く行為を行った子供５０１が特定されないように加工されてもよい。この加工は、例えば子供５０１の顔画像にモザイクを施す処理であってもよいし、画像から子供５０１の部分を切り取る処理であってもよい。
【００６３】
上述した実施形態において、警告の報知は、端末装置２０に代えて又は端末装置２０とともに処理装置３０を用いて行われてもよい。この場合、引っ掻く行為が発生したことを警告するメッセージ及び加害者及び被害者の子供のＩＤが報知部３０７から処理装置３０に送信される。そして、処理装置３０の表示部３６に、このメッセージ及びＩＤに応じた画面が表示されてもよい。
【００６４】
上述した実施形態において、接近の検出に用いられる体の部位は、必ずしも１の動体の手と他の動体の顔に限定されない。例えば１の動体の足が他の動体の下半身に接近したことが検出されてもよい。
【００６５】
上述した実施形態において、警告が報知される事象は、引っ掻く行為に限定されない。例えば１の動体が他の動体を殴る、押す、叩く等の行為が行われたときに、警告が報知されてもよい。例えば、１の動体から定められた範囲内に他の動体が居り、且つ、１の動体の身体の一部が他の動体の身体の少なくとも一部に接近している場合には、これらの行為が行われたと判定されてもよい。
【００６６】
上述した実施形態において、人によって精度を高めるための追加処理の要否が変わってもよい。子供の中には、引っ掻く行為を行いがちな子供がいる場合がある。このような子供が識別された場合には、追加処理が行われてもよい。一方、引っ掻く行為を普段行わないような子供が識別された場合には、追加処理が行われなくてもよい。
【００６７】
上述した実施形態において、処理装置３０とは異なる外部装置に、データベース３３４が記憶されていてもよい。この外部装置は、通信回線４０を介して処理装置３０に接続されている。例えば外部装置は、クラウドコンピューティングを利用してデータの保存サービスを提供するクラウドサーバであってもよい。この場合、処理装置３０は、通信回線４０を介して外部装置に記憶されたデータベース３３４にアクセスすることにより、上述した処理を行ってもよい。
【００６８】
上述した実施形態において、警告を報知する方法は、画像の表示に限定されない。例えば音の出力又は発光により警告が報知されてもよい。この場合、端末装置２０は音出力部又は発光部を備えてもよい。
【００６９】
上述した実施形態において、監視システム１が設置される対象は、幼稚園や保育園に限定されない。監視システム１は、複数の人が居る所であれば、どこに設置されてもよい。
【００７０】
上述した実施形態において、動体は人間に限定されない。例えば動体は、猫や犬等の動物であってもよい。例えば幼稚園や保育園では、このような動物を放し飼いにしている場合がある。このような場合に、例えば動物が子供に引っ掻く等の好ましくない行為を行った場合に、警告が報知されてもよい。また、ペットショップやペットホテル等、複数の動物が居る場所において、１の動物が他の動物に引っ掻く等の好ましくない行為を行った場合に、警告が報知されてもよい。
【００７１】
上述した実施形態において、撮像装置１０は、プリント機能、スキャン機能、コピー機能、ファクシミリ機能等の複数の機能を有する画像処理装置に設けられており、この画像処理装置から取り外して使用されてもよい。
【００７２】
監視システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、監視システム１において行われる処理のステップを備える方法として提供されてもよい。
【００７３】
本発明は、撮像装置１０、端末装置２０、又は処理装置３０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよいし、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
【符号の説明】
【００７４】
１：監視システム、１０：撮像装置、１１：音声取得部、２０：端末装置、３０：処理装置、３０１：動体検出部、３０２：測定部、３０３：判定部、３０４：引っ掻き検出部、３０５：録画部、３０６：識別部、３０７：報知部、３３１：一時記憶領域、３３２：録画領域、３３３：保存領域
【図１】
2020027496.tif 000003
【図２】
2020027496.tif 000004
【図３】
2020027496.tif 000005
【図４】
2020027496.tif 000006
【図５】
2020027496.tif 000007
【図６】
2020027496.tif 000008
【図７】
2020027496.tif 000009
【図８】
2020027496.tif 000010