(57)【要約】【課題】人物をシルエット化させる技術において、人物が背景化してしまう恐れを低減させること。【解決手段】人物をシルエット化させる技術において、人物が背景化してしまう恐れを低減させるため、背景画像用に取得した画像に人物が含まれている場合に、当該画像における人物を含む領域と、あらかじめ記憶されている背景画像における同位置の領域とに基づいて、人物を含まない背景画像を生成する。 【選択図】図８
2020106895.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた画像を取得する取得手段と、
前記取得手段で取得された画像に所定の被写体が含まれているかを判定する判定手段と、
前記判定手段で前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得手段で取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記取得手段は被写体を含む画像を取得し、
前記取得手段で取得された画像に不鮮明化処理をする被写体が含まれているかを判定する判定手段と、
前記判定手段で前記画像に不鮮明化処理をする被写体が含まれていると判定された場合に、前記生成手段で生成された新たな背景画像を用いて、前記被写体を不鮮明化処理して表示させるよう制御する表示制御手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記取得手段で取得された画像を用いて前記背景画像を所定のタイミングで更新する更新手段を備え、
前記判定手段は、前記更新手段で前記背景画像が更新される場合に、前記取得手段で取得された画像に所定の被写体が含まれているかを判定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記生成手段は、前記判定手段により判定を行った画像の一部と、前記画像とは異なる前記取得手段で取得された画像の一部とを合成して前記背景画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記所定の領域とは、前記所定の被写体を含む領域と同位置における領域であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記被写体は人物であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
撮影して得られた画像を取得する取得ステップと、
前記取得ステップで取得された画像に所定の被写体が含まれているかを判定する判定ステップと、
前記判定ステップで前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得ステップで取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成ステップと
を含むことを特徴とする情報処理装置の制御方法。
【請求項８】
コンピュータを、
撮影して得られた画像を取得する取得手段と、
前記取得手段で取得された画像に所定の被写体が含まれているかを判定する判定手段と、
前記判定手段で前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得手段で取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成手段
として機能させるためのプログラム。
【請求項９】
撮影して得られた画像を取得する取得手段と、
前記取得手段で取得された画像に所定の被写体が含まれているかを判定する判定手段と、
前記判定手段で前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得手段で取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成手段と
を備えることを特徴とする情報処理システム。
【請求項１０】
撮影して得られた画像を取得する取得ステップと、
前記取得ステップで取得された画像に所定の被写体が含まれているかを判定する判定ステップと、
前記判定ステップで前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得ステップで取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成ステップと
を含むことを特徴とする情報処理システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置で撮影された対象物を確認する方法に関する。
【背景技術】
【０００２】
ネットワークカメラなどの撮影装置で撮影された被撮影者を表示画面に表示させる際に、被撮影者のプライバシーを考慮して、被撮影者をシルエット化して表示させる仕組みが存在する。被撮影者をシルエット化して表示させる仕組みの実現方法として、背景差分法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２５３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の発明では、保護対象となる目的の人物が存在しない状態で背景画像が作成されることを前提としている。保護対象とならない人物が存在する状態で背景画像が作成された場合、当該保護対象とならない人物が背景化してしまう。
【０００５】
また、人物が長時間略静止状態にある場合にも、人物が背景化してしまう恐れがある。
【０００６】
そこで本発明では、人物をシルエット化させる技術において、人物が背景化してしまう恐れを低減させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、撮影して得られた画像を取得する取得手段と、前記取得手段で取得された画像に所定の被写体が含まれているかを判定する判定手段と、前記判定手段で前記画像に所定の被写体が含まれていると判定された場合に、前記画像の前記所定の被写体を含む領域と、前記画像とは異なる前記取得手段で取得された画像の所定の領域とに基づいて、前記所定の被写体を含まない背景画像を生成する生成手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、人物をシルエット化させる技術において、人物が背景化してしまう恐れを低減させることができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における、情報処理システムの構成の一例を示す構成図である。
【図２】情報処理装置のハードウェア構成の一例を示す構成図である。
【図３】情報処理装置のモジュールの構成の一例を示すブロック図である。
【図４】シルエット化処理の流れを示すフローチャートである。
【図５】背景画像更新処理の流れを示すフローチャートである。
【図６】背景画像更新処理の流れを示すフローチャートである。
【図７】管理テーブルの構成を示す構成図である。
【図８】背景の更新の流れの一例を示す背景更新例である。
【図９】ネットワークカメラのハードウェア構成の一例を示す構成図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１１】
図１は、本発明の実施形態における情報処理システムにおける、その構成の一例を示すシステム構成図である。
【００１２】
本発明の実施形態における情報処理システムは、情報処理装置１００と、ネットワークカメラ１０１と、録画サーバ１０２と、監視カメラビューワー１０３とが、ネットワーク１１０（例えばＷＡＮ＝ワイドエリアネットワーク）を介して通信可能に接続され構成されている。
【００１３】
ネットワークカメラ１０１は、任意の場所を撮影し、撮影して得られた映像・画像を、録画サーバ１０２に送信するカメラである。
【００１４】
録画サーバ１０２は、ネットワークカメラ１０１から送信された映像・画像を受信し、記憶し、情報処理装置１００に送信するサーバである。
【００１５】
録画サーバ１０２がネットワークカメラ１０１から受信する映像・画像は、ライブ映像であってもよいし、過去に録画された映像であっても良い。
【００１６】
情報処理装置１００は、録画サーバ１０２に記憶された映像・画像を受信し、映像・画像に含まれる被写体をシルエット化する処理を行う装置である。
【００１７】
また、映像・画像に含まれる人物をシルエット化して監視カメラビューワー１０３へ表示させるよう指示する装置である。
【００１８】
なお、本実施形態では、被写体の輪郭の中を塗りつぶした部分と輪郭線とをあわせてシルエットと呼ぶ。
【００１９】
監視カメラビューワー１０３は、情報処理装置１００におけるシルエット化処理に基づいてシルエット化された、ネットワークカメラ１０１で撮影して得られた映像・画像に含まれる人物を表示するビューワーである。
【００２０】
なお、情報処理装置１００と、ネットワークカメラ１０１と、録画サーバ１０２とで行われる処理は、例えばネットワークカメラ１０１などの単一の装置内で行われていても良い。
【００２１】
また、録画サーバ１０２を備えず、ネットワークカメラ１０１で撮影して得られた映像・画像を、クラウドなどに記憶するようにしても良い。
【００２２】
また、情報処理装置１００と監視カメラビューワー１０３とが一体となっていてもよい。
【００２３】
また、シルエット化処理は、情報処理装置１００ではなく、映像・画像を撮影するネットワークカメラ１０１自身により行われても良い。
【００２４】
また、ネットワークカメラ１０１を１台ではなく複数台備えても良い。
【００２５】
また、監視カメラビューワー１０３は、複数のネットワークカメラ１０１で表示されたそれぞれの映像・画像を、それぞれのネットワークカメラ１０１に対応する表示領域へ同時に表示させても良い。
【００２６】
以上で、図１に示す情報処理システムの構成に関する説明を終了する。
【００２７】
以下、図２を用いて、図１に示した情報処理装置１００のハードウェア構成について説明する。
【００２８】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２９】
また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、各サーバあるいは各ＰＣが実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。また、本発明を実施するために必要な情報が記憶されている。なお外部メモリはデータベースであってもよい。
【００３０】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００３１】
また、入力コントローラ２０５は、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。
【００３２】
ビデオコントローラ２０６は、ディスプレイ２１０等の表示器への表示を制御する。尚、表示器は液晶ディスプレイ等の表示器でもよい。これらは、必要に応じて管理者が使用する。
【００３３】
メモリコントローラ２０７は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、あるいは、ＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｍｅｍｏｒｙ  Ｃａｒｄ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ａｓｓｏｃｉａｔｉｏｎ）カードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００３４】
通信Ｉ／Ｆコントローラ２０８は、ネットワークを介して外部機器と接続・通信し、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）を用いた通信等が可能である。
【００３５】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上に表示することが可能である。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソル（図示しない）等によるユーザ指示を可能とする。
【００３６】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。
【００３７】
以上で、図２に示す情報処理装置１００のハードウェア構成に関する説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。
【００３８】
以下、図９を用いて、図１に示したネットワークカメラ１０１のハードウェア構成について説明する。
【００３９】
ＣＰＵ９０１は、システムバス９０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ９０２あるいは外部メモリ９０５には、ＣＰＵ９０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ネットワークカメラ１０１の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ９０３は、ＣＰＵ９０１の主メモリ、ワークエリア等として機能する。
【００４０】
ＣＰＵ９０１は、処理の実行に際して必要なプログラム等をＲＡＭ９０３にロードして、プログラムを実行することで各種動作を実現するものである。
【００４１】
メモリコントローラ（ＭＣ）９０６は、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ、画像等を記憶するハードディスク（ＨＤ）やＰＣＭＣＩＡカードスロットにアダプタを介して接続されるＣＦメモリやスマートメディア（登録商標）等の外部メモリ９０５へのアクセスを制御する。
【００４２】
カメラ部９０７は、イメージ処理部９０８と接続されており、監視対象に対して向けられたレンズを透過して得られた光をＣＣＤやＣＭＯＳ等の受光セルによって光電変換を行った後、ＲＧＢ信号や補色信号をイメージ処理部９０８に対して出力する。
【００４３】
イメージ処理部９０８は、ＲＧＢ信号や捕色信号に基づいて、ホワイトバランス調整、ガンマ処理、シャープネス処理を行い、更に、ＹＣ信号処理を施して輝度信号Ｙとクロマ信号（以下、ＹＣ信号）を生成し、ＹＣ信号を所定の圧縮形式（例えばＪＰＥＧフォーマット、あるいはＭｏｔｉｏｎＪＰＥＧフォーマット等）で圧縮し、この圧縮されたデータは、画像として外部メモリ９０５へ一時保管される。
【００４４】
通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）９０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行しており、外部メモリ９０５に記憶された画像は、通信Ｉ／Ｆコントローラ９０９によって外部機器へ送信される。
【００４５】
以上で、図９に示すネットワークカメラ１０１のハードウェア構成に関する説明を終了する。上記の構成は一例であって、目的や用途に応じて適宜変更されうる。
【００４６】
以下、図３を用いて、本発明の実施形態における情報処理装置１００のモジュールの構成の一例を示すブロック図について説明する。尚、各々の機能の詳細については、後述するフローチャートと合わせて説明を行う。
【００４７】
情報処理装置１００は、指示受付部３０１、更新部３０２、取得部３０３、抽出部３０４、検出部３０５、画像処理部３０６、表示制御部３０７、判定部３０８、及び管理部３０９を備えている。
【００４８】
指示受付部３０１は、処理の指示を受け付けるよう制御する機能部であり、更新部３０２は、背景画像を更新するよう制御する機能部である。
【００４９】
取得部３０３は、画像などを取得するよう制御する機能部であり、抽出部３０４は、画像の変化成分を抽出するよう制御する機能部である。
【００５０】
検出部３０５は、人物や人物のいるエリアなどを検出するよう制御する機能部であり、画像処理部３０６は、画像の作成などの画像処理を行うよう制御する機能部である。
【００５１】
表示制御部３０７は、背景画像とシルエット画像とを重畳表示させるよう制御する機能部であり、判定部３０８は、シルエット化処理終了指示受付の有無やテンポラリ背景画像における人物の有無、更新時刻到達有無などの判定を行うよう制御する機能部である。
【００５２】
管理部３０９は、管理テーブルに格納・削除・更新、情報処理装置に画像を格納・削除・更新するよう制御する機能部である。
【００５３】
以上で、図３に示す情報処理装置１００のモジュールの構成の一例を示すブロック図に関する説明を終了する。
【００５４】
以下、図４を用いて、本発明の実施形態における、シルエット化処理について説明する。
【００５５】
図４に示すシルエット化処理は、撮影して得られた画像をシルエット化して表示させるための一連の処理である。
【００５６】
背景差分法を用いたシルエット化処理においては、背景画像と、撮影して得られた画像との差分をとり、差分をシルエット化して表示させる。
【００５７】
したがって、差分、すなわち、動きのある部分をシルエット化して表示させるため、人物の動きがない状態もしくはほとんどない状態が一定時間続いてしまうと、当該人物が背景化してしまう恐れがある。
【００５８】
そこで、本シルエット化処理によって、人物が背景化してしまうことを抑止することが可能となっている。
【００５９】
ステップＳ４０１では、指示受付部３０１が、背景画像更新指示を受け付ける。
【００６０】
背景画像更新指示は、ユーザの指示により適宜行われても良いし、所定時間ごとに背景画像更新がなされるようにあらかじめ設定されていても良い。
【００６１】
ステップＳ４０２では、更新部３０２が、背景画像を更新する。背景画像更新処理は、あらかじめ定められた時間間隔に基づいて、適宜行われる。
【００６２】
背景画像更新処理については、図５及び図６を用いて、後ほど詳しく説明する。
【００６３】
ステップＳ４０３では、取得部３０３が、カメラ部９０７によって撮影することにより得られた新規の画像を取得する。
【００６４】
ステップＳ４０４では、抽出部３０４が、ステップＳ４０２で更新された背景画像とステップＳ４０３で取得された新規画像との変化成分を抽出する。具体的には、背景差分法を用いて変化成分を抽出する。
【００６５】
ステップＳ４０５では、検出部３０５が、ステップＳ４０４で抽出された変化成分から人物を検出する。具体的には、情報処理装置１００の外部メモリ２１１などに人物の形をあらかじめ記憶させておき、記憶されている人物の形と比較をして、人物を検出する。
【００６６】
ステップＳ４０６では、画像処理部３０６が、ステップＳ４０５で検出された人物の形状をシルエット化したシルエット画像を作成する（不鮮明化処理に相当する）。
【００６７】
ステップＳ４０７では、表示制御部３０７が、監視カメラビューワー１０３に対して、ステップＳ４０２で更新された背景画像とステップＳ４０６で作成されたシルエット画像とを重畳表示の指示を行う。
【００６８】
監視カメラビューワー１０３は、重畳表示の指示に基づいて、ステップＳ４０２で更新された背景画像とステップＳ４０６で作成されたシルエット画像とを重畳表示する。
【００６９】
ステップＳ４０８では、判定部３０８が、シルエット化処理の終了指示を受け付けたかを判定し、終了指示を受付けたと判定した場合は、本処理を終了し、終了指示を受付けたと判定しない場合は、ステップS４０１へ処理を進める。
【００７０】
以上で、図４に示すシルエット化処理に関する説明を終了する。
【００７１】
以下、図５及び図６を用いて、本発明の実施形態における、ステップＳ４０２の背景画像更新処理について説明する。
【００７２】
本実施形態においては、ネットワークカメラ１０１により定常的に撮影が行われている。
【００７３】
ステップＳ５０１では、管理部３０９が、情報処理装置１００のＲＡＭ２０３に記憶されているテンポラリ背景画像を削除する。テンポラリ背景画像とは、ステップＳ５０５で作成される、仮の背景画像である。
【００７４】
ステップＳ５０２では、取得部３０３が、ネットワークカメラ１０１で撮影して得られた画像を、所定のタイミングで所定枚数取得する。
【００７５】
以降のステップＳ５０３〜ステップＳ５０５の処理は、背景画像を作成するにあたり、一定時間において動きのあった人物を背景化してしまわないようにする処理である。
【００７６】
ステップＳ５０３では、検出部３０５が、ステップＳ５０２で取得した複数の画像を用いて、動いている人物を追尾する。
【００７７】
具体的には、ステップＳ５０２で取得した画像それぞれにおいて、人物の特徴点をとらえることにより、人物を追尾する。
【００７８】
ステップＳ５０４では、検出部３０５が、ステップＳ５０２で取得した画像から、ステップＳ５０３で追尾された人物がいない画像を選出し、選出された画像から追尾された人物のいないエリアを切り出す。
【００７９】
ステップＳ５０５では、画像処理部３０６が、ステップＳ５０４で切り出した、人物がいないエリア同士を合成して、テンポラリ背景画像を作成し、情報処理装置１００のＲＡＭ２０３に記憶する。
【００８０】
具体的には、人物がいないエリアは画像における座標と紐づいており、当該座標に基づいて、人物がいないエリア同士を合成する。
【００８１】
人物がいないエリア同士が座標を共有する場合は、人物がいないエリアの面積が大きいほうを優先して、合成を行う。
【００８２】
ステップＳ５０６では、判定部３０８が、テンポラリ背景画像が完成したかを判定する。
【００８３】
尚、ステップＳ５０４で人物がいないエリアとして認識されていないエリアが存在する場合、テンポラリ背景画像は完成しないとして判定する。
【００８４】
テンポラリ背景画像が完成したと判定された場合はステップＳ５０７に進む。テンポラリ背景画像が完成したと判定されなかった場合はステップＳ５０２に処理を戻し、再度所定枚数の画像を取得する。
【００８５】
ステップＳ５０７では、判定部３０８が、ステップＳ５０５で作成したテンポラリ背景画像から人物を認識したかを判定する。
【００８６】
具体的には、ステップＳ５０５で作成したテンポラリ背景画像と情報処理装置１００のＲＡＭ２０３に記憶されている背景画像との差分を抽出し、抽出した変化成分から人物を認識する。
【００８７】
人物を認識したと判定された場合はステップＳ５１０に進み、人物を認識したと判定されなかった場合はステップＳ５０８に進む。
【００８８】
ステップＳ５０８では、管理部３０９が、図７に示す管理テーブル７００の背景画像更新予定時刻７０２に、現在時刻に背景画像更新間隔（秒）７０１を加えた時刻を格納する。
【００８９】
管理テーブル７００は、背景画像更新間隔（秒）７０１、背景画像更新予定時刻７０２、補完画像更新間隔（秒）７０３、補完画像更新予定時刻７０４、画像取得数（枚）７０５、画像取得間隔７０６、エリア１の補完位置７０７、左上７０８、右下７０９、エリア２の補完位置７１０、左上７１１、右下７１２、エリア３の補完位置７１３、左上７１４、及び右下７１５で構成されている。
【００９０】
背景画像更新間隔（秒）７０１は、図５及び図６に示す背景画像更新処理を行う時間の間隔である。背景画像更新間隔（秒）７０１は、ユーザの指示によって変更可能である。
【００９１】
背景画像更新予定時刻７０２は、次に背景画像を更新する予定時刻であって、前回背景画像を更新した時刻に背景画像更新間隔（秒）７０１を加えた時刻である。
【００９２】
補完画像更新間隔（秒）７０３は、のちに説明する補完画像の更新処理を行う時間の間隔である。補完画像更新間隔（秒）７０３は、ユーザの指示によって変更可能である。
【００９３】
補完画像更新予定時刻７０４は、次に補完画像を更新する予定時刻であって、前回補完画像を更新した時刻に補完画像更新間隔（秒）７０３を加えた時刻である。
【００９４】
画像取得数（枚）７０５は、ステップＳ５０２で取得する画像の枚数である。
【００９５】
画像取得間隔７０６は、ステップＳ５０２で画像を取得する際の取得時間の間隔である。
【００９６】
エリア１の補完位置７０７は、のちに説明する補完位置のうち、エリア１の情報である。
【００９７】
左上７０８は、エリア１を構成する座標情報のうち、ユーザ視点で左上に位置する座標である。
【００９８】
右下７０９は、エリア１を構成する座標情報のうち、ユーザ視点で右下に位置する座標である。
【００９９】
エリア２の補完位置７１０は、のちに説明する補完位置のうち、エリア２情報である。
【０１００】
左上７１１は、エリア２を構成する座標情報のうち、ユーザ視点で左上に位置する座標である。
【０１０１】
右下７１２は、エリア２を構成する座標情報のうち、ユーザ視点で右下に位置する座標である。
【０１０２】
エリア３の補完位置７１３は、のちに説明する補完位置のうち、エリア３の情報である。
【０１０３】
左上７１４は、エリア３を構成する座標情報のうち、ユーザ視点で左上に位置する座標である。
【０１０４】
右下７１５は、エリア３を構成する座標情報のうち、ユーザ視点で右下に位置する座標である。
【０１０５】
例えば、現在時刻が２０１８／１２／０６／１４：５０：００．０００であって、背景画像更新間隔（秒）７０１が６００である場合、背景画像更新予定時刻７０２には、２０１８／１２／０６／１５：００：００．０００を格納する。
【０１０６】
ステップＳ５０９では、管理部３０９が、ステップＳ５０５で作成したテンポラリ背景画像を背景画像として情報処理装置１００のＲＡＭ２０３に複製保存する。
【０１０７】
背景画像が既に保存されていた場合は、既に保存されている背景画像を削除したうえでテンポラリ背景画像を背景画像として複製保存する。
【０１０８】
いずれの場合も、ステップＳ５０９ではテンポラリ背景画像は削除しない。
【０１０９】
以降のステップＳ５１０〜ステップＳ５１４の処理は、背景画像を作成するにあたり、一定時間において動きのなかった人物を背景化してしまわないようにする処理である。
【０１１０】
ステップＳ５１０では、検出部３０５が、ステップＳ５０７での人物の認識に基づいて、人物がいるエリアを矩形で認識する。矩形で認識するエリアは、１枚の画像につき複数あっても良い。エリアの形は円などでもよく、矩形に限らない。
【０１１１】
例えば、図８に示す背景更新例８００のテンポラリ背景画像８０３のように、ステップＳ５０５で作成されたテンポラリ背景画像に人物が存在する場合を想定する。
【０１１２】
ステップＳ５１０で人物矩形８０４のように、人物がいるエリアを矩形で認識する。
【０１１３】
ステップＳ５１１では、管理部３０９が、ステップＳ５１０で、矩形で認識したエリア（補完位置に相当する）について、ユーザ視点で左上に位置する座標を、管理テーブル７００の左上７０８に格納する。
【０１１４】
ステップＳ５１０で、矩形で認識したエリアについて、ユーザ視点で右下に位置する座標を管理テーブル７００の右下７０９に格納する。
【０１１５】
矩形で認識したエリアが複数個所ある場合は、エリア２の補完位置７１０やエリア３の補完位置７１３にも座標を格納する。
【０１１６】
矩形で認識したエリアが４つ以上ある場合は、管理テーブル７００の項目を増やし、矩形で認識したエリアすべての座標が格納できるようにしても良い。
【０１１７】
ステップＳ５１２では、画像処理部３０６が、管理テーブル７００に格納された補完位置の情報に基づいて、情報処理装置１００のＲＡＭ２０３に記憶されている背景画像から、補完位置を補完するための補完画像を作成する。
【０１１８】
補完位置は、テンポラリ背景画像のうち人物がいるエリアを示す。補完位置を、背景画像から作成した補完画像で補完し、補完し終えたテンポラリ背景画像を背景画像とするべく、まずは補完画像を作成する。
【０１１９】
例えば、背景更新例８００の背景画像８０１のような背景画像から、補完画像８０２を作成する。
【０１２０】
作成された補完画像は、情報処理装置１００のＲＡＭ２０３に記憶される。
【０１２１】
テンポラリ背景画像には人物が含まれている恐れがあるが、背景画像には人物が含まれていないため、背景画像を用いれば補完画像を作成することができる。
【０１２２】
ステップＳ５１３では、画像処理部３０６が、ステップＳ５１２で作成した補完画像を、テンポラリ背景画像における補完位置と同じ座標（同位置）上に貼り付け、補完する。
【０１２３】
すなわち、テンポラリ背景画像における補完位置を、背景画像から作成した補完画像で補完する。
【０１２４】
ステップＳ５１４では、管理部３０９が、ステップＳ５１３で貼付状態となった画像をテンポラリ背景画像として上書き保存する。
【０１２５】
ステップＳ５１５では、管理部３０９が、管理テーブル７００の補完画像更新予定時刻７０４に、現在時刻に補完画像更新間隔（秒）７０３を加えた時刻を格納する。
【０１２６】
例えば、背景更新例８００の新しく作成した背景画像８０５のように、補完画像８０２をテンポラリ背景画像８０３に貼り付けて作成されたテンポラリ背景画像を、背景画像として保存する。
【０１２７】
例えば、現在時刻が２０１８／１２／０６／１４：２９：３０．０００であって、補完画像更新間隔（秒）７０３が３０である場合、補完画像更新予定時刻７０４には、２０１８／１２／０６／１４：３０：００．０００を格納する。
【０１２８】
ステップＳ５１６では、管理部３０９が、ステップＳ５１４で作成した上書き保存されたテンポラリ背景画像を、背景画像として情報処理装置１００のＲＡＭ２０３に複製保存する。
【０１２９】
背景画像が既に保存されていた場合は、既に保存されている背景画像を削除したうえでテンポラリ背景画像を背景画像として複製保存する。
【０１３０】
ステップＳ５０５で作成されたテンポラリ背景画像には人物が含まれており、ステップＳ５１６においては、人物を含むエリアについて背景画像で作成された補完画像と背景画像とを用いて新たに作成された背景画像を保存する。
【０１３１】
ステップＳ５１７では、判定部３０８が、現在時刻が背景画像更新予定時刻７０２を超えたかを判定する。
【０１３２】
現在時刻が背景画像更新予定時刻７０２を超えたと判定された場合はステップＳ５０２に処理を戻し、現在時刻が背景画像更新予定時刻７０２を超えたと判定されなかった場合はステップＳ５１８に進む。
【０１３３】
ステップＳ５１８では、判定部３０８が、管理テーブル７００に補完位置があるかを判定する。
【０１３４】
補完位置があると判定された場合はステップＳ５１９に進み、補完位置があると判定されなかった場合はステップＳ５１７に処理を戻す。
【０１３５】
ステップＳ５１９では、判定部３０８が、現在時刻が補完画像更新予定時刻７０４を超えたかを判定する。
【０１３６】
現在時刻が補完画像更新予定時刻７０４を超えたと判定された場合はステップＳ５２０に進み、現在時刻が補完画像更新予定時刻７０４を超えたと判定されなかった場合はステップＳ５２１に処理を戻す。
【０１３７】
ステップＳ５２０では、取得部３０３が、補完画像を更新するべく、新規に画像を取得する。
【０１３８】
ステップＳ５２１では、検出部３０５が、ステップＳ５２０で取得した画像から人物を認識する。
【０１３９】
ステップＳ５２２では、判定部３０８が、ステップＳ５２０で取得した画像の補完位置のうち、人物がいない箇所があるかを判定する。
【０１４０】
補完位置に人物がいない箇所があると判定された場合、すなわち、少なくとも１か所の補完位置に人物がいないと判定された場合はステップＳ５２３に進む。補完位置に人物がいない箇所があると判定されなかった場合、すなわち、補完位置に人物がいると判定された場合、ステップＳ５２０に処理を戻す。
【０１４１】
ステップＳ５２３では、検出部３０５が、ステップＳ５２０で取得した画像から、人物がいないエリアを認識する。
【０１４２】
ステップＳ５２４では、画像処理部３０６が、ステップＳ５２３で認識した人物がいないエリアを背景画像に合成する。
【０１４３】
ステップＳ５２５では、管理部３０９が、ステップＳ５２４で合成してできた画像を、テンポラリ背景画像として情報処理装置１００のＲＡＭ２０３に上書き保存する。
【０１４４】
ステップＳ５２６では、管理部３０９が、ステップＳ５２５で保存されたテンポラリ背景画像を、背景画像として情報処理装置１００のＲＡＭ２０３に複製保存する。
【０１４５】
背景画像が既に保存されていた場合は、既に保存されている背景画像を削除したうえでテンポラリ背景画像を背景画像として複製保存する。
【０１４６】
ステップＳ５１６で保存された背景画像は、１つ古い背景画像から作成された補完画像を用いて補完されている背景画像である。すなわち、ステップＳ５１６で保存された背景画像における補完位置は、背景画像の更新はなされていない。
【０１４７】
そこで、ステップＳ５２６では、補完位置に人物が存在していないことを確認したうえで補完位置の最新の画像を合成してできた画像を、背景画像として保存している。
【０１４８】
ステップＳ５２７では、管理部３０９が、ステップＳ５２４における合成処理及びステップＳ５２５における保存処理により、補完画像の使用が必要なくなった補完位置の情報を削除する。
【０１４９】
すなわち、背景画像において、補完位置に対応する位置に人物が存在しない場合には、管理テーブル７００から補完位置の座標を削除する。
【０１５０】
ステップＳ５２８では、判定部３０８が、補完位置がすべて削除済であるかを判定する。
【０１５１】
補完位置がすべて削除済であると判定された場合は処理を終了し、補完位置がすべて削除済であると判定されなかった場合、すなわち、削除済でない補完位置がある場合はステップＳ５１７に処理を戻す。
【０１５２】
なお、本実施形態においては、人物の認識・検出は、背景差分法を用いて得られた変化成分に基づいて行っている。
【０１５３】
以上で、図５及び図６に示すシルエット化処理に関する説明を終了する。
【０１５４】
＜その他の実施形態＞
本実施形態においては、背景化しないような処理を施す対象を人物としているが、人物に限らず、食物、生物、機器、文具等の動体であればどのようなものであってもよい。
【０１５５】
図４、図５、図６に示す処理は、情報処理装置１００ではなく例えば図９のようなシステム構成を備えるネットワークカメラ１０１などにより行われても良い。
【０１５６】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１５７】
したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１５８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１５９】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１６０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１６１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１６２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。
【０１６３】
また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１６４】
さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１６５】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１６６】
１００  情報処理装置
１０１  ネットワークカメラ
１０２  録画サーバ
１０３  監視カメラビューワー
１１０  ネットワーク
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  システムバス
２０５  入力コントローラ
２０６  ビデオコントローラ
２０７  メモリコントローラ
２０８  通信Ｉ／Ｆコントローラ
２０９  キーボード
２１０  ディスプレイ
２１１  外部メモリ
【図１】
2020106895.tif 000003
【図２】
2020106895.tif 000004
【図３】
2020106895.tif 000005
【図４】
2020106895.tif 000006
【図５】
2020106895.tif 000007
【図６】
2020106895.tif 000008
【図７】
2020106895.tif 000009
【図８】
2020106895.tif 000010
【図９】
2020106895.tif 000011