(57)【要約】【課題】移動している物体を置去物として誤検知することを防止する。【解決手段】置去物検知装置１０は、撮影領域を撮影装置によって撮影することにより得られた撮影画像データに基づき、撮影領域に置き去られた置去物を検知する。背景差分計算部２２は、複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと背景画像データとの間の差分がある領域を示す背景差分情報を計算する。置去物検知部２３は、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。【選択図】図１
2020095554.tif 000002
【特許請求の範囲】
【請求項１】
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知部と
を備える置去物検知装置。
【請求項２】
前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を１とし、差分がない領域の画素を０とした２値の画像データを前記背景差分情報として計算し、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する
請求項１に記載の置去物検知装置。
【請求項３】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する
請求項１に記載の置去物検知装置。
【請求項４】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を０とし、差分がない領域の画素を１とした２値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第２基準数以上の値となった領域を前記置去領域として検知する
請求項２に記載の置去物検知装置。
【請求項５】
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データのうち、前記置去物検知部によって検知された前記置去領域について前記背景画像データとの間に差分が有る撮影画像データをテンプレートとして抽出するテンプレート抽出部と、
前記複数のフレームの撮影画像データの後に取得される、フレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレートにおける前記置去領域の画像データと類似すると判定する時間が基準期間以上経過した場合に、前記置去領域に前記置去物があると判定する置去物判定部と
を備える請求項１から４までのいずれか１項に記載の置去物検知装置。
【請求項６】
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データの後のフレームの撮影画像データにおける前記置去領域の画像データが、前記背景画像データにおける前記置去領域の画像データと類似する場合に、前記置去領域に前記置去物がないと判定する置去物判定部
を備える請求項１から４までのいずれか１項に記載の置去物検知装置。
【請求項７】
前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す
請求項１から６までのいずれか１項に記載の置去物検知装置。
【請求項８】
前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する
請求項１から７までのいずれか１項に記載の置去物検知装置。
【請求項９】
置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知方法。
【請求項１０】
背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記背景差分計算処理によって計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知処理と
を行う置去物検知方法としてコンピュータを機能させる置去物検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮影装置で撮影することによって得られた撮影画像データから、置き去られた物体である置去物を検知する技術に関する。
【背景技術】
【０００２】
撮影領域を撮影装置によって撮影することにより得られた撮影画像データと、背景画像データとの違いを、画素毎の色情報で比較し、違いが一定以上ある領域に置去物がある領域として検知する技術がある。
【０００３】
特許文献１には、被写体としての確信度という概念を用いて、立ち止まっている人物と、置去物とを区別することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１６５４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術では、移動している物体を置去物として誤検知してしまう可能性があった。特許文献１に記載された技術を用いることにより、人といった特定の対象物については、置去物と区別することができるものの、特定の対象物以外については、依然として、移動している物体を置去物として誤検知してしまう可能性がある。
この発明は、移動している物体を置去物として誤検知することの防止を目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る置去物検知装置は、
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知部と
を備える。
【０００７】
前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を１とし、差分がない領域の画素を０とした２値の画像データを前記背景差分情報として計算し、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する。
【０００８】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する。
【０００９】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を０とし、差分がない領域の画素を１とした２値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第２基準数以上の値となった領域を前記置去領域として検知する。
【００１０】
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データのうち、前記置去物検知部によって検知された前記置去領域について前記背景画像データとの間に差分が有る撮影画像データをテンプレートとして抽出するテンプレート抽出部と、
前記複数のフレームの撮影画像データの後に、さらに基準期間以上経過した後のフレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレートにおける前記置去領域の画像データと類似する場合に、前記置去領域に前記置去物があると判定する置去物判定部と
を備える。
【００１１】
前記置去物判定部は、前記基準期間以上経過した後のフレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレート抽出部によって抽出された前記テンプレートにおける前記置去領域の画像データと類似し、かつ、前記複数のフレームの撮影画像データの後のフレームから、前記置去領域の画像データが前記テンプレートと類似する撮影画像データよりも前のフレームまでのフレームの撮影画像データにおける前記置去領域の画像データが前記背景画像データにおける前記置去領域の画像データと類似しない場合に、前記置去領域に前記置去物があると判定する。
【００１２】
前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。
【００１３】
前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの上下方向の位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する。
【００１４】
この発明に係る置去物検知方法は、
置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する。
【００１５】
この発明に係る置去物検知プログラムは、
背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
置去物検知部が、前記複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象として前記背景差分計算処理によって計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知処理と
を行う置去物検知方法としてコンピュータを機能させる。
【発明の効果】
【００１６】
この発明では、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。これにより、移動している物体がある領域は、置去領域とならない可能性が高くなる。したがって、移動している物体を置去物として誤検知することをある程度防止可能である。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１に係る置去物検知装置１０の構成図。
【図２】実施の形態１に係る置去物検知装置１０の全体的な処理のフローチャート。
【図３】実施の形態１に係る背景差分計算処理のフローチャート。
【図４】実施の形態１に係る置去物検知処理のフローチャート。
【図５】実施の形態１に係る積算処理の説明図。
【図６】実施の形態１に係る２値化処理の説明図。
【図７】変形例１に係る制限サイズの説明図。
【図８】変形例２に係る置去物検知装置１０の構成図。
【図９】実施の形態２に係る置去物検知装置１０の構成図。
【図１０】実施の形態２に係る置去物検知装置１０の全体的な処理のフローチャート。
【図１１】実施の形態２に係るフレーム差分計算処理のフローチャート。
【図１２】実施の形態２に係る置去物検知処理のフローチャート。
【図１３】実施の形態２に係る積算処理の説明図。
【図１４】実施の形態２に係る積算処理の説明図。
【図１５】実施の形態２に係る２値化処理の説明図。
【図１６】変形例４に係る積算処理の説明図。
【図１７】変形例４に係る２値化処理の説明図。
【図１８】実施の形態３に係る置去物検知装置１０の構成図。
【図１９】実施の形態３に係る置去物検知装置１０の全体的な処理のフローチャート。
【発明を実施するための形態】
【００１８】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る置去物検知装置１０の構成を説明する。
置去物検知装置１０は、コンピュータである。
置去物検知装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【００１９】
プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である。
【００２０】
メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
【００２１】
ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）といった可搬記録媒体であってもよい。
【００２２】
通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）のポートである。
【００２３】
置去物検知装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と接続されている。
【００２４】
置去物検知装置１０は、機能構成要素として、画像取得部２１と、背景差分計算部２２と、置去物検知部２３とを備える。置去物検知装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、置去物検知装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、置去物検知装置１０の各機能構成要素の機能が実現される。
【００２５】
また、ストレージ１３は、画像記憶部３１の機能を実現する。画像記憶部３１には、背景画像データが記憶される。背景画像データは、撮影装置４１の撮影領域に置き去られた物体である置去物がない状態で撮影領域を撮影装置４１によって撮影することにより得られた画像データである。
【００２６】
図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。
【００２７】
＊＊＊動作の説明＊＊＊
図２から図６を参照して、実施の形態１に係る置去物検知装置１０の動作を説明する。
実施の形態１に係る置去物検知装置１０の動作は、実施の形態１に係る置去物検知方法に相当する。また、実施の形態１に係る置去物検知装置１０の動作は、実施の形態１に係る置去物検知プログラムの処理に相当する。
【００２８】
図２を参照して、実施の形態１に係る置去物検知装置１０の全体的な処理を説明する。
（ステップＳ１１：画像取得処理）
画像取得部２１は、通信インタフェース１４を介して、撮影領域を撮影装置４１によって撮影することにより得られた最新のフレームの撮影画像データを取得する。画像取得部２１は、最新のフレームの撮影画像データをメモリ１２に書き込む。
【００２９】
（ステップＳ１２：背景差分計算処理）
背景差分計算部２２は、ステップＳ１１で取得された撮影画像データと、画像記憶部３１に記憶された背景画像データとの間の差分がある領域を示す背景差分情報を計算する。背景差分計算部２２は、撮影画像データと対応付けて背景差分情報をメモリ１２に書き込む。
背景差分情報は、撮影画像データと背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す。テクスチャの性質とは、テクスチャの粗さと、方向性と、規則性と、粒状であるか線状であるかといったことである。実施の形態１では、テクスチャ特徴は、エッジ検出によって抽出されるエッジ特徴である。
【００３０】
（ステップＳ１３：置去物検知処理）
置去物検知部２３は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップＳ１２で計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。
基準数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
【００３１】
ステップＳ１３の後、再びステップＳ１１に処理が戻され、新たなフレームの撮影画像データに基づき処理が実行される。
【００３２】
図３を参照して、実施の形態１に係る背景差分計算処理（図２のステップＳ１２）を説明する。
（ステップＳ１２１：マスク処理）
背景差分計算部２２は、ステップＳ１１で取得された撮影画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。背景差分計算部２２は、画像記憶部３１に記憶された背景画像データについても、同様に置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
置去物が存在し得ない領域とは、具体例としては、空と、看板又は柱がある領域と等である。置去物が存在し得ない領域を処理の対象外とすることにより、以下の処理の処理量を削減することができる。以下のステップＳ１２２からステップＳ１２５の処理では、撮影画像データ及び背景画像データのうち、マスクされていない領域についてのみ処理が行われる。
【００３３】
（ステップＳ１２２：グレー変換処理）
背景差分計算部２２は、カラーの画像データである撮影画像データをグレースケールの画像データに変換する。背景差分計算部２２は、同様に、カラーの画像データである背景画像データをグレースケールの画像データに変換する。
【００３４】
（ステップＳ１２３：エッジ検出処理）
背景差分計算部２２は、ステップＳ１２２でグレースケールの画像データに変換された撮影画像データについてエッジ検出処理を行いエッジ特徴を抽出する。背景差分計算部２２は、背景画像データについても、同様にエッジ検出処理を行いエッジ特徴を抽出する。
エッジ検出処理は、既存の手法が用いられる。
【００３５】
（ステップＳ１２４：画像変換処理）
背景差分計算部２２は、ステップＳ１２３で撮影画像データから抽出されたエッジ特徴を表す画像データに対して、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。背景差分計算部２２は、ステップＳ１２３で背景画像データから抽出されたエッジ特徴を表す画像データに対しても、同様に、膨張処理を実行し、その後平滑化処理を実行し、その後オープニング処理を実行し、その後クロージング処理を実行する。
膨張処理と、オープニング処理と、クロージング処理とは、モルフォロジー変換の処理である。平滑化処理は、画像の輝度値を滑らかにする処理であり、例えば移動平均フィルタ又はガウシアンフィルタを用いて実行される処理である。
【００３６】
（ステップＳ１２５：差分計算処理）
背景差分計算部２２は、ステップＳ１２４で変換された後の撮影画像データと背景画像データとの差分がある領域を示す背景差分情報を計算する。具体的には、背景差分計算部２２は、撮影画像データと背景画像データとの間で、差分がある領域の画素を１とし、差分が無い領域の画素を０とした２値の画像データを背景差分情報として計算する。
背景差分計算部２２は、計算された背景差分情報を、ステップＳ１１で取得された撮影画像データについての背景差分情報としてメモリ１２に書き込む。
【００３７】
なお、背景画像データについては、ステップＳ１２１からステップＳ１２４までの処理は、１度実行してしまえば、その後は背景画像データが更新されるまで省略してもよい。
【００３８】
図４を参照して、実施の形態１に係る置去物検知処理（図２のステップＳ１３）を説明する。
（ステップＳ１３１：差分情報取得処理）
置去物検知部２３は、過去Ｎフレームの撮影画像データについての背景差分情報をメモリ１２から読み出す。Ｎは、２以上の整数である。過去Ｎフレームの撮影画像データは、直近Ｎ個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を１とし、差分が無い領域の画素を０とした２値の画像データである。
【００３９】
（ステップＳ１３２：マスク処理）
置去物検知部２３は、ステップＳ１３１で読み出された全ての背景差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップＳ１３３からステップＳ１３６の処理では、背景差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
【００４０】
（ステップＳ１３３：積算処理）
置去物検知部２３は、ステップＳ１３１で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部２３は、過去Ｎフレームの撮影画像データについての背景差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
【００４１】
図５の（Ａ）に示すように、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの３つの背景差分情報の画像データがあるとする。この場合には、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとについて、同じ位置を表す画素の値を足し合わせることにより、図５の（Ｂ）に示すように、積算画像データが生成される。
つまり、鞄５１は、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの全てに示されているため、鞄５１の領域の画素の値は３になる。人５２は、背景差分情報Ｙにのみ示されているため、人５２の領域の画素の値は１になる。その他の領域の画素の値は０になる。人５２が背景差分情報Ｙにのみ示されているのは、人５２が移動することにより、一時的に撮影装置４１の撮影領域に入ったためである。
【００４２】
（ステップＳ１３４：２値化処理）
置去物検知部２３は、ステップＳ１３３で生成された積算画像データにおいて基準数以上の値となった画素を１とし、基準数未満の値となった画素を０とすることにより、積算画像データを２値の画像データに変換する。
図５の（Ｂ）に示す積算画像データについて、基準数を３として２値の画像データに変換すると、図６に示すようになる。つまり、３つの背景差分情報の画像データで示されていた鞄５１については、２値の画像データでは画素の値が１になる。これに対して、１つの背景差分情報の画像データでしか示されていなかった人５２については、積算画像データにおける画素の値が１であるため、２値の画像データでは画素の値が０になってしまう。
【００４３】
（ステップＳ１３５：膨張処理）
置去物検知部２３は、ステップＳ１３４で変換された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
本来１つの置去領域として検知されるべきものが、撮影画像データが鮮明でなかったこと等の影響により２つの領域に分かれてしまうことがある。膨張処理を実行することにより、このように２つの領域に分かれてしまったものが１つの領域にまとまる可能性がある。
【００４４】
（ステップＳ１３６：置去領域検知処理）
置去物検知部２３は、ステップＳ１３５で膨張処理が実行された後の積算画像データから、画素の値が１の領域を置去物がある置去領域として検知する。
図６の積算画像データの場合には、鞄５１の領域が置去領域として検知される。
【００４５】
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る置去物検知装置１０は、過去Ｎフレームの撮影画像データのうち、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域を、置去物がある置去領域として検知する。これにより、移動している物体がある領域は、置去領域とならない可能性が高くなる。したがって、移動している物体を置去物として誤検知することをある程度防止可能である。
【００４６】
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１で説明した方法では、置去物としてあり得ないサイズの置去領域が検知される可能性がある。そこで、置去物検知部２３は、置去物としてあり得ないサイズの置去領域を除外するため、制限サイズを設定してもよい。そして、置去物検知部２３は、基準数以上の撮影画像データを対象として計算された背景差分情報が差分が有ることを示す領域が制限サイズ内である場合に、置去領域として検知してもよい。
【００４７】
一般的に撮影装置４１である監視カメラ等は、空間の上部から角度を持って空間を撮影するため、撮影画像データは、上側ほど撮影装置４１から離れた奥の領域を表しており、下側ほど撮影装置４１に近い手前の領域を表している。そのため、制限サイズは、撮影画像データの上下方向の位置に応じて異なるサイズが設定される。
例えば、図７に示すように、撮影画像データを上下方向の位置に応じて上側領域と中間領域と下側領域との３つの領域に分け、上側領域と中間領域と下側領域とのそれぞれについて別々に制限サイズが設定される。上側領域は、撮影装置４１から離れた領域であるため、大きい置去物があるとは考えられない。そこで、上側領域は、ある程度のサイズ以下の領域だけが置去領域として検知されるように、制限サイズが設定される。また、下側領域は、撮影装置４１に近い領域であるため、小さい置去物があるとは考えられない。そこで、下側領域は、ある程度のサイズ以上の領域だけが置去領域として検知されるように、制限サイズが設定される。また、中間領域は、中くらいの置去物だけがあると考えられる。そこで、中間領域は、あるサイズより大きく、あるサイズよりも小さい領域だけが置去領域として検知されるように、制限サイズが設定される。
なお撮影画像データの領域の区切りは図７に示したように、直線に等分に区切るだけでなく、撮影装置４１が撮影する撮影領域に応じて、不等分に曲線による区切りでもよい。また上下方向ではなく左右方向で区切りでもよい。領域の区切り数も任意に設定可能である。つまり撮影画像データに応じて、任意の位置での制限サイズを設定することができる。
【００４８】
＜変形例２＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例２として、各機能構成要素はハードウェアで実現されてもよい。この変形例２について、実施の形態１と異なる点を説明する。
【００４９】
図８を参照して、変形例２に係る置去物検知装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、置去物検知装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
【００５０】
電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。
【００５１】
＜変形例３＞
変形例３として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【００５２】
プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【００５３】
実施の形態２．
実施の形態２は、フレーム間の差分であるフレーム差分情報を用いて置去領域を検知する点が実施の形態１と異なる。実施の形態２は、この異なる点を説明し、同一の点については説明を省略する。
【００５４】
＊＊＊構成の説明＊＊＊
図９を参照して、実施の形態２に係る置去物検知装置１０の構成を説明する。
置去物検知装置１０は、フレーム差分計算部２４を備える点が図１に示す実施の形態１に係る置去物検知装置１０と異なる。
【００５５】
＊＊＊動作の説明＊＊＊
図１０から図１５を参照して、実施の形態２に係る置去物検知装置１０の動作を説明する。
実施の形態２に係る置去物検知装置１０の動作は、実施の形態２に係る置去物検知方法に相当する。また、実施の形態２に係る置去物検知装置１０の動作は、実施の形態２に係る置去物検知プログラムの処理に相当する。
【００５６】
図１０を参照して、実施の形態２に係る置去物検知装置１０の全体的な処理を説明する。
ステップＳ２１からステップＳ２２の処理は、図２のステップＳ１１からステップＳ１２の処理と同じである。
【００５７】
（ステップＳ２３：フレーム差分計算処理）
フレーム差分計算部２４は、ステップＳ２１で取得された撮影画像データと、ステップＳ２１で取得された撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算する。
【００５８】
（ステップＳ２４：置去物検知処理）
置去物検知部２３は、過去の複数のフレームの撮影画像データのうち基準数以上の撮影画像データを対象としてステップＳ２３で計算された背景差分情報が差分が有ることを示す領域を特定する。置去物検知部２３は、特定された領域のうち、制限数以上の撮影画像データを対象としてステップＳ２３で計算されたフレーム差分情報が差分が無いことを示す領域を、置去領域として検知する。
制限数は、検知漏れと誤検知との関係と、過去の複数のフレームを何フレームとするかといった情報から事前に決定される値である。
【００５９】
ステップＳ２４の後、再びステップＳ２１に処理が戻され、新たなフレームの撮影画像データに基づき処理が実行される。
【００６０】
図１１を参照して、実施の形態２に係るフレーム差分計算処理（図１０のステップＳ２３）を説明する。
ステップＳ２３１からステップＳ２３４の処理は、原則として図３のステップＳ１２１からステップＳ１２４の処理と同じである。但し、図３のステップＳ１２１からステップＳ１２４の処理では、背景差分計算部２２が、ステップＳ１１で取得された撮影画像データと背景画像データとを対象として処理を行った。これに対して、ステップＳ２３１からステップＳ２３４の処理では、フレーム差分計算部２４が、ステップＳ２１で取得された撮影画像データと、ステップＳ２１で取得された撮影画像データの前のフレームの撮影画像データとを対象として処理を行う。
【００６１】
（ステップＳ２３５：差分計算処理）
フレーム差分計算部２４は、ステップＳ２３４で変換された後の撮影画像データと、前のフレームの撮影画像データとの差分がある領域を示すフレーム差分情報を計算する。具体的には、フレーム差分計算部２４は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を０とし、差分が無い領域の画素を１とした２値の画像データを背景差分情報として計算する。ここで、背景差分情報とフレーム差分情報とでは、差分がある領域の画素と、差分が無い領域の画素との値が逆になっている。
フレーム差分計算部２４は、計算されたフレーム差分情報を、ステップＳ２１で取得された撮影画像データについてのフレーム差分情報としてメモリ１２に書き込む。
【００６２】
図１２を参照して、実施の形態２に係る置去物検知処理（図１０のステップＳ２４）を説明する。
（ステップＳ２４１：差分情報取得処理）
置去物検知部２３は、過去Ｎフレームの撮影画像データについての背景差分情報及びフレーム差分情報をメモリ１２から読み出す。Ｎは、２以上の整数である。過去Ｎフレームの撮影画像データは、直近Ｎ個のフレームの撮影画像データである。
ここでは、上述した通り、背景差分情報は、撮影画像データと背景画像データとの間で、差分がある領域の画素を１とし、差分が無い領域の画素を０とした２値の画像データである。また、フレーム差分情報は、撮影画像データと前のフレームの撮影画像データとの間で、差分がある領域の画素を０とし、差分が無い領域の画素を１とした２値の画像データである。
【００６３】
（ステップＳ２４２：マスク処理）
置去物検知部２３は、ステップＳ２４１で読み出された全ての背景差分情報及びフレーム差分情報の画像データについて、置去物が存在し得ない領域をマスクして、以下の処理の対象外の領域とする。
以下のステップＳ２４３からステップＳ２４６の処理では、背景差分情報及びフレーム差分情報の画像データのうち、マスクされていない領域についてのみ処理が行われる。
【００６４】
（ステップＳ２４３：積算処理）
置去物検知部２３は、実施の形態１と同様に、ステップＳ２４１で読み出された全ての背景差分情報の画像データについて、同じ位置についての画素毎に値を積算して背景積算画像データを生成する。また、置去物検知部２３は、ステップＳ２４１で読み出された全てのフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算してフレーム積算画像データを生成する。
【００６５】
図１３の（Ａ）に示すように、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの３つの背景差分情報の画像データがあるとする。この場合には、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとについて、同じ位置を表す画素の値を足し合わせることにより、図１３の（Ｂ）に示すように、積算画像データが生成される。
つまり、鞄５３及び物体５４は、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの全てに示されているため、鞄５３及び物体５４の領域の画素の値は３になる。その他の領域の画素の値は０になる。
また、図１４の（Ａ）に示すように、フレーム差分情報Ｘ’とフレーム差分情報Ｙ’とフレーム差分情報Ｚ’との３つのフレーム差分情報の画像データがあるとする。この場合には、フレーム差分情報Ｘ’とフレーム差分情報Ｙ’とフレーム差分情報Ｚ’とについて、同じ位置を表す画素の値を足し合わせることにより、図１４の（Ｂ）に示すように、フレーム積算画像データが生成される。
つまり、領域５５は、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの全てに前のフレームとの差分があったため、領域５５の画素の値は０になり、その他の領域の画素の値は３になる。
【００６６】
（ステップＳ２４４：２値化処理）
置去物検知部２３は、ステップＳ２４３で生成された背景積算画像データにおいて基準数以上の値となり、かつ、フレーム積算画像データにおいて制限数以上の値となった画素を１とし、他の画素を０とした２値の積算画像データを生成する。
図１３の（Ｂ）に示す背景積算画像データ及び図１４の（Ｂ）に示すフレーム積算画像データについて、基準数及び制限数を３として２値の積算画像データを生成すると、図１５に示すようになる。つまり、３つの背景差分情報の画像データで示されていた鞄５３については、積算画像データでは画素の値が１になる。これに対して、物体５４については、３つの背景差分情報の画像データで示されているものの、フレーム積算画像データの画像データにおける領域５５と重なる位置にあるため、積算画像データでは画素の値が０になる。
【００６７】
（ステップＳ２４５：膨張処理）
置去物検知部２３は、ステップＳ２４４で生成された積算画像データについて、膨張処理を実行する。膨張処理は、モルフォロジー変換の処理である。
【００６８】
（ステップＳ２４６：置去領域検知処理）
置去物検知部２３は、ステップＳ２４５で膨張処理が実行された後の積算画像データから、画素の値が１の領域を置去物がある置去領域として検知する。
図１５の積算画像データの場合には、鞄５３の領域が置去領域として検知される。
【００６９】
＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る置去物検知装置１０は、背景差分情報だけでなく、フレーム差分情報も用いて、置去領域を検知する。フレーム差分情報では、移動する物体がある領域が特定される。そのため、フレーム差分情報を用いることにより、移動する物体があった領域を置去領域として検知され難くすることが可能である。
【００７０】
＊＊＊他の構成＊＊＊
＜変形例４＞
実施の形態２では、図１２のステップＳ２４３で、置去物検知部２３は、背景差分情報の画像データを積算した背景積算画像データと、フレーム差分情報の画像データを積算したフレーム積算画像データとを生成した。しかし、置去物検知部２３は、背景差分情報の画像データと、フレーム差分情報の画像データとの両方を積算して、１つの積算画像データを生成してもよい。
この場合には、置去物検知部２３は、ステップＳ２４１で読み出された全ての背景差分情報の画像データ及びフレーム差分情報の画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成する。つまり、置去物検知部２３は、過去Ｎフレームの撮影画像データについての背景差分情報及びフレーム差分情報を、同じ位置についての画素の値を足し合わせることにより、積算画像データを生成する。
【００７１】
図１３の（Ａ）に示すように、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとの３つの背景差分情報の画像データがあり、図１４の（Ａ）に示すように、フレーム差分情報Ｘ’とフレーム差分情報Ｙ’とフレーム差分情報Ｚ’との３つのフレーム差分情報の画像データがあるとする。この場合には、背景差分情報Ｘと背景差分情報Ｙと背景差分情報Ｚとフレーム差分情報Ｘ’とフレーム差分情報Ｙ’とフレーム差分情報Ｚ’とについて、同じ位置を表す画素の値を足し合わせることにより、図１６に示すように、積算画像データが生成される。
つまり、３つの背景差分情報の画像データで示されており、かつ、領域５５と重ならない鞄５３については、画素の値が６になる。また、物体５４については、３つの背景差分情報の画像データで示されているものの、領域５５と重なるため、画素の値が３になる。鞄５３及び物体５４以外の領域については、領域５５と重ならない部分の画素の値が３になり、領域５５と重なる部分の画素の値が０になる。
【００７２】
背景差分情報の画像データと、フレーム差分情報の画像データとの両方を積算して、１つの積算画像データが生成された場合には、ステップＳ２４４で置去物検知部２３は、ステップＳ２４３で生成された積算画像データにおいて、基準数よりも多い第２基準数以上の値となった画素を１とし、第２基準数未満の値となった画素を０とすることにより、積算画像データを２値の画像データに変換する。
図１６に示す積算画像データについて、第２基準数を６として２値の画像データに変換すると、図１７に示すようになる。つまり、鞄５３については、２値の画像データでは画素の値が１になる。これに対して、物体５４については、２値の画像データでは画素の値が０になる。
【００７３】
実施の形態３．
実施の形態３では、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
ここでは、実施の形態１に機能を追加した例を説明する。しかし、実施の形態２に対しても同様に機能を追加することが可能である。
【００７４】
＊＊＊構成の説明＊＊＊
図１８を参照して、実施の形態３に係る置去物検知装置１０の構成を説明する。
置去物検知装置１０は、テンプレート抽出部２５と置去物判定部２６とを備える点が図１に示す実施の形態１に係る置去物検知装置１０と異なる。
【００７５】
＊＊＊動作の説明＊＊＊
図１９を参照して、実施の形態３に係る置去物検知装置１０の動作を説明する。
実施の形態３に係る置去物検知装置１０の動作は、実施の形態３に係る置去物検知方法に相当する。また、実施の形態３に係る置去物検知装置１０の動作は、実施の形態３に係る置去物検知プログラムの処理に相当する。
【００７６】
ステップＳ３１からステップＳ３３の処理は、図２のステップＳ１１からステップＳ１３の処理と同じである。
【００７７】
（ステップＳ３４：領域判定処理）
テンプレート抽出部２５は、ステップＳ３３で検知された置去領域が新規の置去領域であるか否かを判定する。
テンプレート抽出部２５は、新規の置去領域である場合には、処理をステップＳ３５に進める。一方、テンプレート抽出部２５は、新規の置去領域でない場合には、処理をステップＳ３６に進める。
【００７８】
（ステップＳ３５：候補追加処理）
テンプレート抽出部２５は、ステップＳ３３で検知された置去領域を置去候補に追加する。そして、テンプレート抽出部２５は、ステップＳ３３で対象とした過去複数のフレームの撮影画像データのうち、ステップＳ３３で検知された置去領域について背景差分情報が差分が有ることを示す撮影画像データを、置去候補についてのテンプレートとして抽出する。
実施の形態３では、テンプレート抽出部２５は、ステップＳ３１で取得された撮影画像データをテンプレートとして抽出する。ここで、ステップＳ３１で取得された撮影画像データが取得されたことにより新規に置去領域が検知されたので、ステップＳ３１で取得された撮影画像データについての背景差分情報は、置去領域について差分が有ることを示す。
【００７９】
置去物判定部２６は、ステップＳ３６からステップＳ３９の処理を各置去候補を対象として実行する。ステップＳ３６からステップＳ３９の処理を置去物判定処理と呼ぶ。
【００８０】
（ステップＳ３６：類似判定処理）
置去物判定部２６は、対象の置去候補が示す領域について、ステップＳ３１で取得された撮影画像データと、背景画像データとが類似するか否かを判定する。また、置去物判定部２６は、対象の置去候補が示す領域について、ステップＳ３１で取得された撮影画像データと、対象の置去候補についてのテンプレートとが類似するか否かを判定する。
具体的には、置去物判定部２６は、撮影画像データ及び背景画像データの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部２６は、撮影画像データのエッジ特徴と、背景画像データのエッジ特徴との相関値を計算する。置去物判定部２６は、相関値が閾値以上の場合に、撮影画像データと背景画像データとが類似すると判定する。
同様に、置去物判定部２６は、撮影画像データ及びテンプレートの置去候補が示す領域を対象として、グレースケールの画像データに変換した上で、エッジ検出を行いエッジ特徴を抽出する。そして、置去物判定部２６は、撮影画像データのエッジ特徴と、テンプレートのエッジ特徴との相関値を計算する。置去物判定部２６は、相関値が閾値以上の場合に、撮影画像データとテンプレートとが類似すると判定する。
【００８１】
置去物判定部２６は、撮影画像データと背景画像データとが類似すると判定された場合には、処理をステップＳ３７に進める。また、置去物判定部２６は、撮影画像データとテンプレートとが類似すると判定された場合には、処理をステップＳ３８に進める。また、置去物判定部２６は、撮影画像データが背景画像データ及びテンプレートのどちらとも類似しないと判定された場合には、対象の置去候補についての処理を終了する。
【００８２】
（ステップＳ３７：候補除外処理）
置去物判定部２６は、対象の置去候補が示す領域を置去候補から除外する。つまり、対象の置去候補が示す領域について、撮影画像データと背景画像データとが類似するということは、対象の置去候補が示す領域には置去物がなくなったことを意味するため、置去物判定部２６は、対象の置去候補が示す領域を置去候補から除外する。
【００８３】
（ステップＳ３８：時間判定処理）
置去物判定部２６は、対象の置去候補が追加されてから基準期間以上経過したか否かを判定する。基準期間は、物が置かれてからどの程度経過した場合に置き去りとして扱うかに応じて決定される期間である。
置去物判定部２６は、基準期間以上経過した場合には、処理をステップＳ３９に進める。一方、置去物判定部２６は、基準期間以上経過していない場合には、対象の置去候補についての処理を終了する。
【００８４】
（ステップＳ３９：置去発報処理）
置去物判定部２６は、対象の置去候補が示す領域に置去物があると判定し、通信インタフェース１４を介して通知を送信する。
【００８５】
＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る置去物検知装置１０は、検知された置去領域の画像データをテンプレートとして、その後のフレームの画像データと比較をして、置去領域に置去物があるか否かを判定する。そして、置去物検知装置１０は、置去領域が検知されてから基準期間以上経過しても変化しない場合にのみ置去物があると判定する。これにより、移動する物体があった領域に置去物があると判定され難くなる。
【００８６】
また、実施の形態３に係る置去物検知装置１０は、新たなフレームの撮影画像データが背景画像データと類似する場合にのみ置去候補から除外し、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、置去候補に残しておく。これにより、置去候補となった領域にオクルージョンがあったとしても、置去物がないと判定してしまう検知漏れが発生しない。
【００８７】
＊＊＊他の構成＊＊＊
＜変形例５＞
実施の形態３では、新たなフレームの撮影画像データが背景画像データ及びテンプレートのどちらとも類似しない場合には、置去候補に残しておいた。つまり、オクルージョンが発生して、新たなフレームの撮影画像データがテンプレートと類似しない場合であっても、置去候補に残しておいた。
しかし、一定数以上連続したフレームの撮影画像データがテンプレートと類似しない場合には、置去候補から除外してもよい。
【００８８】
以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【００８９】
１０  置去物検知装置、１１  プロセッサ、１２  メモリ、１３  ストレージ、１４  通信インタフェース、１５  電子回路、２１  画像取得部、２２  背景差分計算部、２３  置去物検知部、２４  フレーム差分計算部、２５  テンプレート抽出部、２６  置去物判定部、３１  画像記憶部、４１  撮影装置、５１  鞄、５２  人、５３  鞄、５４  物体、５５  領域。
【図１】
2020095554.tif 000003
【図２】
2020095554.tif 000004
【図３】
2020095554.tif 000005
【図４】
2020095554.tif 000006
【図５】
2020095554.tif 000007
【図６】
2020095554.tif 000008
【図７】
2020095554.tif 000009
【図８】
2020095554.tif 000010
【図９】
2020095554.tif 000011
【図１０】
2020095554.tif 000012
【図１１】
2020095554.tif 000013
【図１２】
2020095554.tif 000014
【図１３】
2020095554.tif 000015
【図１４】
2020095554.tif 000016
【図１５】
2020095554.tif 000017
【図１６】
2020095554.tif 000018
【図１７】
2020095554.tif 000019
【図１８】
2020095554.tif 000020
【図１９】
2020095554.tif 000021
【手続補正書】
【提出日】令和2年2月7日(2020.2.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算部と、
前記複数のフレームの撮影画像データのうち、前記複数のフレームに含まれるフレーム数とは別に定められた基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知部と
を備える置去物検知装置。
【請求項２】
前記背景差分計算部は、前記対象の撮影画像データと前記背景画像データとの間の差分がある領域の画素を１とし、差分がない領域の画素を０とした２値の画像データを前記背景差分情報として計算し、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数以上の値となった領域を前記置去領域として検知する
請求項１に記載の置去物検知装置。
【請求項３】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域を示すフレーム差分情報を計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域のうち、制限数以上の撮影画像データを対象として計算された前記フレーム差分情報が差分が無いことを示す領域を、前記置去領域として検知する
請求項１に記載の置去物検知装置。
【請求項４】
前記置去物検知装置は、さらに、
前記対象の撮影画像データと、前記対象の撮影画像データの前のフレームの撮影画像データとの間の差分がある領域の画素を０とし、差分がない領域の画素を１とした２値の画像データをフレーム差分情報として計算するフレーム差分計算部
を備え、
前記置去物検知部は、前記複数のフレームの撮影画像データそれぞれを対象として計算された前記背景差分情報である画像データ及び前記フレーム差分情報である画像データについて、同じ位置についての画素毎に値を積算して積算画像データを生成し、前記積算画像データにおいて前記基準数よりも多い第２基準数以上の値となった領域を前記置去領域として検知する
請求項２に記載の置去物検知装置。
【請求項５】
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データのうち、前記置去物検知部によって検知された前記置去領域について前記背景画像データとの間に差分が有る撮影画像データをテンプレートとして抽出するテンプレート抽出部と、
前記複数のフレームの撮影画像データの後に取得される、フレームの撮影画像データにおける前記置去領域の画像データが、前記テンプレートにおける前記置去領域の画像データと類似すると判定する時間が基準期間以上経過した場合に、前記置去領域に前記置去物
があると判定する置去物判定部と
を備える請求項１から４までのいずれか１項に記載の置去物検知装置。
【請求項６】
前記置去物検知装置は、さらに、
前記複数のフレームの撮影画像データの後のフレームの撮影画像データにおける前記置去領域の画像データが、前記背景画像データにおける前記置去領域の画像データと類似する場合に、前記置去領域に前記置去物がないと判定する置去物判定部
を備える請求項１から４までのいずれか１項に記載の置去物検知装置。
【請求項７】
前記背景差分情報は、前記対象の撮影画像データと前記背景画像データとの間におけるテクスチャの性質を定量的に表したテクスチャ特徴において差分がある領域を示す
請求項１から６までのいずれか１項に記載の置去物検知装置。
【請求項８】
前記置去物検知部は、基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域が、撮影画像データの位置に応じて設定された制限サイズ内である場合に、前記置去領域として検知する
請求項１から７までのいずれか１項に記載の置去物検知装置。
【請求項９】
置去物検知装置の背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算し、
前記置去物検知装置の置去物検知部が、前記複数のフレームの撮影画像データのうち、前記複数のフレームに含まれるフレーム数とは別に定められた基準数以上の撮影画像データを対象として計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知方法。
【請求項１０】
背景差分計算部が、撮影領域を撮影装置によって撮影することにより得られた複数のフレームの撮影画像データそれぞれを対象として、対象の撮影画像データと、前記撮影領域に置き去られた物体である置去物がない状態で前記撮影領域を前記撮影装置によって撮影することにより得られた背景画像データとの間の差分がある領域を示す背景差分情報を計算する背景差分計算処理と、
置去物検知部が、前記複数のフレームの撮影画像データのうち、前記複数のフレームに含まれるフレーム数とは別に定められた基準数以上の撮影画像データを対象として前記背景差分計算処理によって計算された前記背景差分情報が差分が有ることを示す領域を、前記置去物がある置去領域として検知する置去物検知処理と
を行う置去物検知装置としてコンピュータを機能させる置去物検知プログラム。