(57)【要約】【課題】  画像上の固定領域にマスク画像を描画しても、該固定領域内の動体を確認可能にするための技術を提供すること。【解決手段】  画像から検出した動体の領域が該画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する。この判断結果に応じて第１のマスク画像の描画を制御する。【選択図】  図２
2019075660.tif 000002
【特許請求の範囲】
【請求項１】
画像から検出した動体の領域が該画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する判断手段と、
前記判断手段による判断結果に応じて前記第１のマスク画像の描画を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記判断手段は、前記画像特徴量が規定の条件を満たしていれば、前記第１のマスク画像を前記第２のマスク画像上に重ねて描画すると判断し、前記画像特徴量が規定の条件を満たしていなければ、前記第１のマスク画像を前記第２のマスク画像上に重ねて描画しないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段は、前記動体の領域が前記固定領域と重なっていなければ、前記第１のマスク画像を前記第２のマスク画像上に重ねて描画しないと判断することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記制御手段は、前記判断手段が前記第１のマスク画像を前記第２のマスク画像上に重ねて描画すると判断した場合には、前記第２のマスク画像を前記固定領域に描画してから前記第１のマスク画像を前記動体の領域に描画することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記制御手段は、前記判断手段が前記第１のマスク画像を前記第２のマスク画像上に重ねて描画しないと判断した場合には、前記第１のマスク画像を前記動体の領域に描画してから前記第２のマスク画像を前記固定領域に描画することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記画像における固定領域に前記第２のマスク画像を描画した後、前記画像から検出された動体の領域のうち前記判断手段が前記第１のマスク画像を前記第２のマスク画像上に重ねて描画すると判断した動体の領域に前記第１のマスク画像を描画することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記画像における固定領域に前記第２のマスク画像を描画した後、前記画像から検出された動体の領域のうち前記判断手段が前記第１のマスク画像を前記第２のマスク画像上に重ねて描画すると判断した動体の一部の領域に前記第１のマスク画像を描画することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項８】
更に、撮像装置により撮像された撮像画像を前記画像として取得する手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記固定領域は前記画像に対してユーザが指定した領域であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の判断手段が、画像から検出した動体の領域が該画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する判断工程と、
前記画像処理装置の制御手段が、前記判断工程による判断結果に応じて前記第１のマスク画像の描画を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータを、請求項１乃至９の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像上にマスク画像を描画するための技術に関するものである。
【背景技術】
【０００２】
従来より、セキュリティやプライバシーを考慮して、画像上の特定の領域にマスク画像を重畳する技術が知られている。以降では、前述の、画像上の特定の領域に重畳するマスク画像を固定マスクと記載する。
【０００３】
また、画像上に動体が存在する場合、該動体のプライバシーを考慮し、画像上の動体が存在する領域にマスク画像を重畳する技術が知られている。以降では、前述の、動体に重畳するマスク画像を動体マスクと記載する。
【０００４】
例えば、特許文献１には、作業現場の映像を配信する際、作業員のプライバシーを考慮する目的で、人が常に居続ける領域に固定マスクを重畳する処理を行い、人が移動する領域には動体に動体マスクを重畳する処理を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８６５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、固定マスクを重畳した領域において作業員の状態が確認できないという課題があった。従って、例えば固定マスクを重畳した領域で作業を行っている作業員が倒れていても、映像の監視者は気づくことができない。この場合、上記領域に固定マスクではなく、動体マスクを適用する事で、上記の問題を解決できる。しかしながら固定マスクは作業員のプライバシーを考慮するためだけではなく、セキュリティ及びプライバシーの観点から作業現場に存在する、動体でない物体を隠す役割も果たしているため、作業現場全てに動体マスクを適用することができない可能性がある。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、画像上の固定領域にマスク画像を描画しても、該固定領域内の動体を確認可能にするための技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、画像から検出した動体の領域が該画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する判断手段と、前記判断手段による判断結果に応じて前記第１のマスク画像の描画を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成により、画像上の固定領域にマスク画像を描画しても、該固定領域内の動体を確認可能にすることができる。
【図面の簡単な説明】
【００１０】
【図１】システムの構成例を示す図。
【図２】撮像装置１１０、クライアント装置１２０のハードウェア構成例を示すブロック図。
【図３】撮像装置１１０、クライアント装置１２０の機能構成例を示すブロック図。
【図４】クライアント装置１２０が行う処理のフローチャート。
【図５】撮像画像の一例を示す図。
【図６】撮像画像の一例を示す図。
【図７】クライアント装置１２０が行う処理のフローチャート。
【図８】撮像画像の一例を示す図。
【図９】撮像画像の一例を示す図。
【図１０】撮像画像の一例を示す図。
【図１１】撮像画像の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１２】
［第１の実施形態］
本実施形態では、画像から検出した動体の領域が該画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する。そして、この判断結果に応じて第１のマスク画像の描画を制御する。
【００１３】
先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１１０、クライアント装置１２０，入力装置１３０，表示装置１４０を有する。
【００１４】
先ず、撮像装置１１０について説明する。撮像装置１１０はネットワークカメラなどの撮像装置であり、クライアント装置１２０において設定された姿勢や画角などの撮像パラメータに従って、実空間の動画像若しくは静止画像を撮像する。撮像装置１１０によって撮像された動画像若しくは静止画像は、ネットワーク１５０を介してクライアント装置１２０に対して送信される。
【００１５】
次に、ネットワーク１５０について説明する。ネットワーク１５０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１５０は、撮像装置１１０とクライアント装置１２０との間の通信を行うことができるものであればよく、その通信規格、規模、構成を問わない。例えば、ネットワーク１５０は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等により構成されてもよい。
【００１６】
次に、クライアント装置１２０について説明する。クライアント装置１２０は、パーソナルコンピュータ、サーバ装置、タブレット装置等の画像処理装置として機能する装置である。クライアント装置１２０は、撮像装置１１０からネットワーク１５０を介して動画像若しくは静止画像を撮像画像として受信する。撮像装置１１０から動画像が送信された場合には、クライアント装置１２０は、該動画像を構成する各フレームの画像を撮像画像として受信する。一方、撮像装置１１０から静止画像が送信された場合には、クライアント装置１２０は、該静止画像を撮像画像として受信する。
【００１７】
そしてクライアント装置１２０は、受信した撮像画像から動体検出を行って、動体の領域（動体領域）の画像特徴量を抽出する。そしてクライアント装置１２０は、該動体領域が該撮像画像中の固定領域と重なる場合に、該動体領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該画像特徴量に基づいて判断する。そしてクライアント装置１２０は、該撮像画像上の動体領域には第１のマスク画像、固定領域には第２のマスク画像を描画するのであるが、その描画処理を該判断の結果に応じて制御し、該制御後の撮像画像を表示装置１４０に表示する。
【００１８】
次に入力装置１３０について説明する。入力装置１３０は、キーボードやマウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をクライアント装置１２０に対して入力することができる。
【００１９】
次に、表示装置１４０について説明する。表示装置１４０は、ＣＲＴや液晶画面などにより構成されており、クライアント装置１２０による処理結果を画像や文字などでもって表示することができる。なお、図１では、クライアント装置１２０、入力装置１３０、表示装置１４０はそれぞれ別個の装置としているが、このような構成に限らない。例えば、これらの装置を一体化させて１つの装置としても良いし、クライアント装置１２０と表示装置１４０とを一体化させても良いし、入力装置１３０と表示装置１４０とを一体化させても良い。また、クライアント装置１２０と撮像装置１１０とを一体化させても良い。
【００２０】
次に、撮像装置１１０のハードウェア構成例について、図２（ａ）のブロック図を用いて説明する。なお、図２（ａ）に示した構成は、撮像装置１１０に適用可能な構成の一例に過ぎず、適宜変形／変更が可能である。
【００２１】
ＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２１１は、撮像装置１１０全体の動作制御を行うと共に、撮像装置１１０が行うものとして後述する各処理を実行若しくは制御する。例えばＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図３（ａ）に示した撮像制御部３１１、信号処理部３１２、駆動制御部３１３、通信制御部３１４の各機能部の機能を実現する。これらの各機能部については後述する。
【００２２】
主記憶装置２１２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置２１２は、補助記憶装置２１３からロードされたコンピュータプログラムやデータ、撮像部２１５による撮像画像、ネットワークＩ／Ｆ２１６を介してクライアント装置１２０から受信した各種のデータ、を格納するためのエリアを有する。さらに主記憶装置２１２は、ＣＰＵ２１１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置２１２は、各種のエリアを適宜提供することができる。
【００２３】
補助記憶装置２１３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。補助記憶装置２１３には、ＯＳ（オペレーティングシステム）や、撮像装置１１０が行うものとして後述する各処理をＣＰＵ２１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また補助記憶装置２１３には、ネットワークＩ／Ｆ２１６を介してクライアント装置１２０から受信したデータ（例えば上記の撮像パラメータ）も保存される。補助記憶装置２１３に保存されているコンピュータプログラムやデータは、ＣＰＵ２１１による制御に従って適宜主記憶装置２１２にロードされ、ＣＰＵ２１１による処理対象となる。
【００２４】
駆動部２１４は、クライアント装置１２０から受信した撮像パラメータに基づいて撮像部２１５を駆動して、該撮像部２１５の姿勢（撮像方向）や画角等を制御する。駆動部２１４による制御対象は特定の対象に限らず、撮像部２１５の姿勢及び画角であっても良いし、何れか一方のみであっても良いし、その他の対象（例えば撮像部２１５の位置）であっても良い。また、撮像部２１５の位置や姿勢、画角などは固定しても良く、その場合は、駆動部２１４は設けなくても良い。
【００２５】
撮像部２１５は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等がある。ネットワークＩ／Ｆ２１６は、撮像装置１１０がネットワーク１５０を介してクライアント装置１２０との間のデータ通信を行うために利用するインターフェースである。
【００２６】
次に、クライアント装置１２０のハードウェア構成例について、図２（ｂ）のブロック図を用いて説明する。なお、図２（ｂ）に示した構成は、クライアント装置１２０に適用可能な構成の一例に過ぎず、適宜変形／変更が可能である。
【００２７】
ＣＰＵ２２１は、主記憶装置２２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、クライアント装置１２０全体の動作制御を行うと共に、クライアント装置１２０が行うものとして後述する各処理を実行若しくは制御する。例えばＣＰＵ２２１は、主記憶装置２２２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図３（ｂ）の各機能部の機能を実現する。図３（ｂ）の各機能部については後述する。
【００２８】
主記憶装置２２２は、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置２２２は、補助記憶装置２２３からロードされたコンピュータプログラムやデータ、ネットワークＩ／Ｆ２２６を介して撮像装置１１０から受信した各種のデータ（例えば、撮像画像）、を格納するためのエリアを有する。さらに主記憶装置２２２は、ＣＰＵ２２１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置２２２は、各種のエリアを適宜提供することができる。
【００２９】
補助記憶装置２２３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。補助記憶装置２２３には、ＯＳ（オペレーティングシステム）や、クライアント装置１２０が行うものとして後述する各処理をＣＰＵ２２１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また補助記憶装置２２３には、ネットワークＩ／Ｆ２２６を介して撮像装置１１０から受信した各種のデータ（例えば、撮像画像）も保存される。補助記憶装置２２３に保存されているコンピュータプログラムやデータは、ＣＰＵ２２１による制御に従って適宜主記憶装置２２２にロードされ、ＣＰＵ２２１による処理対象となる。
【００３０】
入力Ｉ／Ｆ２２４は、入力装置１３０をクライアント装置１２０に接続するためのインターフェースである。出力Ｉ／Ｆ２２５は、表示装置１４０をクライアント装置１２０に接続するためのインターフェースである。ネットワークＩ／Ｆ２２６は、クライアント装置１２０がネットワーク１５０を介して撮像装置１１０との間のデータ通信を行うために利用するインターフェースである。
【００３１】
次に、撮像装置１１０の機能構成例について図３（ａ）のブロック図を用いて説明する。図３（ａ）に示した各機能部はハードウェアとして実装しても良いし、ソフトウェア（コンピュータプログラム）として実装しても良い。後者の場合、このコンピュータプログラムは補助記憶装置２１３に保存される。ＣＰＵ２１１はこのコンピュータプログラムを必要に応じて主記憶装置２１２にロードして実行することで、対応する機能部の機能を実現する。
【００３２】
撮像制御部３１１は、撮像部２１５の撮像動作を制御して、該撮像部２１５によって撮像された動画像若しくは静止画像を撮像画像として取得する。
【００３３】
信号処理部３１２は、撮像制御部３１１が取得した動画像若しくは静止画像に対して符号化処理を行う。撮像制御部３１１が静止画像を取得した場合には、信号処理部３１２は該静止画像に対して、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の符号化方式を用いて符号化を行う。一方、撮像制御部３１１が動画像を取得した場合には、信号処理部３１２は該動画像に対して、例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（以下では、Ｈ．２６４）、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ符号化方式）等の符号化方式を用いて符号化を行う。また信号処理部３１２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０の操作部（不図示）を介してユーザにより選択された符号化方式を用いて動画像や静止画像に対して符号化を行うようにしてもよい。
【００３４】
駆動制御部３１３は、クライアント装置１２０から受信した撮像パラメータに基づいて撮像部２１５を駆動して、該撮像部２１５の姿勢（撮像方向）や画角等を制御する。上記の通り、撮像部２１５の姿勢（撮像方向）や画角等は固定であっても良い。
【００３５】
通信制御部３１４は、信号処理部３１２により処理された動画像若しくは静止画像（符号化済み）を、ネットワークＩ／Ｆ２１６を介してクライアント装置１２０に対して送信する。また通信制御部３１４は、ネットワークＩ／Ｆ２１６を介して、クライアント装置１２０から送信された撮像装置１１０に対する制御命令（撮像パラメータを含む）等を受信する。
【００３６】
次に、クライアント装置１２０の機能構成例について図３（ｂ）のブロック図を用いて説明する。図３（ｂ）に示した各機能部はハードウェアとして実装しても良いし、ソフトウェア（コンピュータプログラム）として実装しても良い。後者の場合、このコンピュータプログラムは補助記憶装置２２３に保存される。ＣＰＵ２２１はこのコンピュータプログラムを必要に応じて主記憶装置２２２にロードして実行することで、対応する機能部の機能を実現する。
【００３７】
取得部３２１は、ユーザが入力装置１３０を操作することで入力した各種の指示を取得する。通信制御部３２２は、撮像装置１１０から送信された動画像若しくは静止画像（符号化済み）をネットワークＩ／Ｆ２２６を介して取得する。また通信制御部３２２は、撮像装置１１０への制御命令を、ネットワークＩ／Ｆ２２６を介して撮像装置１１０に対して送信する。
【００３８】
画像取得部３２３は、通信制御部３２２が撮像装置１１０から受信した動画像若しくは静止画像を取得して復号する。なお、撮像装置１１０による動画像／静止画像に対する符号化は必須ではなく、符号化することなく動画像若しくは静止画像をクライアント装置１２０に対して送信しても良い。この場合、画像取得部３２３は通信制御部３２２が撮像装置１１０から受信した動画像若しくは静止画像を復号することなく取得する。
【００３９】
検出部３２４は、画像取得部３２３が取得した動画像若しくは静止画像から動体の検出を行う。評価部３２５は、撮像画像から検出した動体の領域が該撮像画像中の固定領域と重なる場合に、該動体の領域に描画する第１のマスク画像を、該固定領域に描画する第２のマスク画像上に重ねて描画するか否かを、該動体の領域の画像特徴量に基づいて判断する。
【００４０】
ここで、この固定領域については予め設定されているものとする。例えば、予めユーザが入力装置１３０を操作して撮像画像上における固定領域を規定する情報（固定領域情報）を入力して補助記憶装置２２３に保存しておいても良い。固定領域情報には様々な情報が考えられ、固定領域の左上隅の位置及び右下隅の位置を固定領域情報としても良いし、固定領域の左上隅の位置と固定領域の縦及び横のサイズとを固定領域情報としても良い。また、例えば、本システムを適用する現場において、撮像画像において隠したい物体があらかじめ決まっていたとする。このとき、システムを稼働させて撮像画像を取得し、該撮像画像に対して隠したい物体の検出処理を行い、該検出した物体が隠れるような領域を固定領域として求めても良い。このように、固定領域の設定方法は特定の設定方法に限らない。
【００４１】
描画部３２６は、撮像画像上の動体の領域には第１のマスク画像を描画し、該撮像画像上の固定領域には第２のマスク画像を描画するのであるが、その描画処理は、評価部３２５による判断結果に応じて制御する。表示制御部３２７は、描画部３２６による描画処理済みの撮像画像を表示装置１４０に表示させる。
【００４２】
次に、クライアント装置１２０が、撮像装置１１０による撮像画像上の固定領域及び動体領域にマスク画像を描画して表示装置１４０に表示させるために行う処理について、同処理のフローチャートを示す図４を用いて説明する。なお、図４のフローチャートに従った処理は、撮像装置１１０による１枚の撮像画像についての処理である。然るに、撮像装置１１０から動画像を構成する各フレームの画像（撮像画像）がクライアント装置１２０に対して送信される場合、クライアント装置１２０は、それぞれのフレームの画像（撮像画像）について図４のフローチャートに従った処理を行う。以下では説明を簡単にするために、撮像装置１１０からは動画像若しくは静止画像を符号化せずに送信したものとする。
【００４３】
ステップＳ４００では、ＣＰＵ２２１は、ネットワークＩ／Ｆ２２６を介して撮像装置１１０から受信した撮像画像（動画像を構成する各フレームの画像若しくは静止画像）を主記憶装置２２２に取得する。
【００４４】
ステップＳ４０１では、ＣＰＵ２２１は、ステップＳ４００で主記憶装置２２２に取得した撮像画像から動体を検出し、該検出した動体の領域を動体領域として抽出する。ステップＳ４００で取得した撮像画像の一例を図５（ａ）、（ｂ）に示す。図５（ａ）の撮像画像５００は、動体である作業員５０１，５０２，５０３が含まれている撮像画像の一例である。図５（ｂ）の撮像画像５１０は、動体を含まない撮像画像の一例である。ステップＳ４００において図５（ａ）の撮像画像５００を取得した場合、ステップＳ４０１ではＣＰＵ２２１は撮像画像５００から作業員５０１，５０２，５０３を検出することになる。
【００４５】
本実施形態では撮像画像から動体を検出するために背景差分を用いる。つまり、あらかじめ取得しておいた背景画像と、ステップＳ４００で主記憶装置２２２に取得した撮像画像と、で位置的に対応する画素同士で輝度値の差分を計算し、差分が閾値を超えた画素からなる領域を動体領域と判断する。しかし、画像から動体を検出するための方法は背景差分に限らず、他の周知の方法を使用しても良い。例えば、本実施形態では輝度値を用いたが、ＲＧＢ値を三次元の座標として扱い、差分として背景画像のＲＧＢ値と撮像画像のＲＧＢ値の距離を測っても良い。また、背景差分に限らず、例えばオプティカルフローのように画像内の各座標の移動方向を計算して動体を検出してもよい。
【００４６】
ステップＳ４０２でＣＰＵ２２１は、動体領域が固定領域と重なる場合、該動体領域に描画する第１のマスク画像（動体マスク）を、該固定領域に描画する第２のマスク画像（固定マスク）上に重ねて描画するか否かを判断する判断処理を行う。本実施形態では、動体領域は必ず固定領域に重なっているものとするので、この場合、ステップＳ４０２では、第２のマスク画像上に重ねて第１のマスク画像を描画するか否かを判断することになる。
【００４７】
本実施形態では、この判断処理に動体領域の画像特徴量を用い、該画像特徴量が規定の条件を満たしている場合には、第２のマスク画像上に重ねて第１のマスク画像を描画する、と判断する。一方、動体領域の画像特徴量が規定の条件を満たしていない場合には、第２のマスク画像上に重ねて第１のマスク画像を描画しない、と判断する。なお、ステップＳ４０２における判断の基準として使用するものは動体領域の画像特徴量に限らない。
【００４８】
ここで、動体領域の画像特徴量には様々な特徴量を使用することができる。例えば、動体領域の画像特徴量として、該動体領域の面積（動体領域を構成する画素の数）、動体領域を包含する矩形領域の面積、該矩形領域の縦及び／又は横の長さなどを適用することができる。そして、動体領域／矩形領域のサイズが規定のサイズ以上（面積が規定面積以上、縦及び／又は横の長さが規定長以上等）であれば、画像特徴量は規定の条件を満たしているとし、第２のマスク画像上に重ねて第１のマスク画像を描画する、と判断する。一方、動体領域／矩形領域のサイズが規定のサイズ未満（面積が規定面積未満、縦及び／又は横の長さが規定長未満等）であれば、画像特徴量は規定の条件を満たしていないとし、第２のマスク画像上に重ねて第１のマスク画像を描画しない、と判断する。
【００４９】
このような判断処理によれば、例えば撮像画像にノイズなどの微小な動体のみが存在する際、該微少な物体を第１のマスク画像を描画すべき動体として検出することを抑制することが可能になる。しかしながらこの限りでは無い。例えば小さい動体のみを第１のマスク画像の描画対象とするようにしても良い。
【００５０】
ステップＳ４０２における判断の結果、動体領域の画像特徴量が規定の条件を満たしている場合には、第１のマスク画像を第２のマスク画像上に重ねて描画すると判断し、処理はステップＳ４０３に進む。一方、動体領域の画像特徴量が規定の条件を満たしていない場合には、第１のマスク画像を第２のマスク画像上に重ねて描画しないと判断し、処理はステップＳ４０５に進む。
【００５１】
ステップＳ４０３では、ＣＰＵ２２１は、ステップＳ４００で取得した撮像画像における固定領域に第２のマスク画像を描画する。そしてステップＳ４０４では、ＣＰＵ２２１は、ステップＳ４００で取得した撮像画像における動体領域に第１のマスク画像を描画する。
【００５２】
一方、ステップＳ４０５では、ＣＰＵ２２１は、ステップＳ４００で取得した撮像画像における動体領域に第１のマスク画像を描画する。そしてステップＳ４０６では、ＣＰＵ２２１は、ステップＳ４００で取得した撮像画像における固定領域に第２のマスク画像を描画する。
【００５３】
ステップＳ４０７ではＣＰＵ２１１は、ステップＳ４０３及びステップＳ４０４による描画処理、若しくはステップＳ４０５及びステップＳ４０６による描画処理、によって得られた撮像画像を、出力Ｉ／Ｆ２２５を介して表示装置１４０に対して出力する。なおステップＳ４０３及びステップＳ４０４による描画処理、若しくはステップＳ４０５及びステップＳ４０６による描画処理、によって得られた撮像画像の出力先は特定の出力先に限らず、例えばネットワークＩ／Ｆ２２６を介して外部の装置に送信しても良い。
【００５４】
なお、ステップＳ４０１における動体検出の結果、撮像画像から動体を検出できなかった場合には、動体領域は存在しないのであるから、撮像画像には第１のマスク画像は描画されず、第２のマスク画像が描画されることになる。
【００５５】
なお、上記の説明では第１のマスク画像、第２のマスク画像については言及しなかったが、第１のマスク画像は、動体領域の形状を有する画像であっても良いし、動体を包含する矩形領域の形状を有する画像であっても良い。第２のマスク画像は、固定領域を包含する形状を有する画像である。しかし、これらのマスク画像に適用可能な画像は特定の画像に限らない。例えば、一定のパターンで塗りつぶされた画像、例えば、ドット柄やボーダー、一色で塗りつぶされた画像を第１，２のマスク画像として使用しても良い。また、例えば、特定のタイミングで取得された撮像画像、あらかじめ補助記憶装置２２３に登録されている画像を第１，２のマスク画像として使用しても良い。また、撮像画像と第１，２のマスク画像とのアルファブレンドでもって、撮像画像に第１，２のマスク画像を描画するようにしても良い。また、第１のマスク画像と第２のマスク画像とは同じマスク画像でなくても良いし、描画方法も同じでなくても良い。
【００５６】
また、ステップＳ４００で取得した撮像画像から複数の動体領域を抽出した場合には、ＣＰＵ２２１は、それぞれの動体領域についてステップＳ４０２〜Ｓ４０６の処理を行うことになる。
【００５７】
ステップＳ４００において取得した撮像画像が図５（ａ）の撮像画像５００であった場合に、ステップＳ４０７において表示装置１４０に出力されて表示される撮像画像の一例を図６（ａ）に示す。作業員５０１，５０２，５０３の各々の画像特徴量は規定の条件を満たすので、先ず撮像画像５００の固定領域に第２のマスク画像６０４が描画され、その後、作業員５０１，５０２，５０３のそれぞれの領域に第１のマスク画像６０１，６０２，６０３が描画される。このような処理によって得られる画像が撮像画像６００である。
【００５８】
ステップＳ４００において取得した撮像画像が図５（ｂ）の撮像画像５１０であった場合に、ステップＳ４０７において表示装置１４０に出力されて表示される撮像画像の一例を図６（ｂ）に示す。撮像画像５１０には動体が存在しないので、撮像画像５００の固定領域に第２のマスク画像６０４が描画され、第１のマスク画像は描画されない。このような処理によって得られる画像が撮像画像６１０である。
【００５９】
［第２の実施形態］
本実施形態を含め、以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、先に固定領域に第２のマスク画像を描画し、その後、撮像画像に含まれているどの動体について第１のマスク画像を描画するのか、を決定し、描画すると決定した動体について第１のマスク画像を描画する。
【００６０】
クライアント装置１２０が、撮像装置１１０による撮像画像上の固定領域及び動体領域にマスク画像を描画して表示装置１４０に表示させるために行う処理について、同処理のフローチャートを示す図７を用いて説明する。なお、図７のフローチャートに従った処理は、撮像装置１１０による１枚の撮像画像についての処理である。然るに、撮像装置１１０から動画像を構成する各フレームの画像（撮像画像）がクライアント装置１２０に対して送信される場合、クライアント装置１２０は、それぞれのフレームの画像（撮像画像）について図７のフローチャートに従った処理を行う。
【００６１】
ステップＳ７００では、ＣＰＵ２２１は、ネットワークＩ／Ｆ２２６を介して撮像装置１１０から受信した撮像画像（動画像を構成する各フレームの画像若しくは静止画像）を主記憶装置２２２に取得する。ステップＳ７００で取得した撮像画像の一例を図８に示す。図８の撮像画像８００には、動体である作業員８０１，８０２，８０３，８０４と、動体である対象物８０５と、が含まれている。対象物８０５は、作業者の作業によって発生した動体であり、例えば、ホワイトボード上に描かれた図形や文字である。またステップＳ７００ではＣＰＵ２２１は、以下で用いる変数ｉを１に初期化する。
【００６２】
図７に戻って、次にステップＳ７０１では、ＣＰＵ２２１は、ステップＳ７００で取得した撮像画像から、上記のステップＳ４０１と同様にして動体を検出し、該検出した動体の領域を動体領域として抽出する。なお、ＣＰＵ２２１は、抽出したそれぞれの動体領域に対して固有の識別番号を付す。本実施形態では、撮像画像からＮ（Ｎは２以上の整数）個の動体領域を抽出したものとし、抽出したそれぞれの動体領域に固有のインデックス（１〜Ｎ）を付す。以下ではインデックス＝ｊ（１≦ｊ≦Ｎ）の動体領域を動体領域ｊと称する場合がある。
【００６３】
ステップＳ７０２ではＣＰＵ２２１は、ステップＳ７００で取得した撮像画像における固定領域に第２のマスク画像を描画する。そしてステップＳ７０３でＣＰＵ２２１は、インデックス＝１〜Ｎのそれぞれに対応する動体領域について、該動体領域を規定する情報（例えば動体領域を構成する画素群の位置情報）、該動体領域の画像特徴量、を登録したリストを主記憶装置２２２に作成する。
【００６４】
ステップＳ７０４ではＣＰＵ２２１は、ステップＳ７０３において主記憶装置２２２に作成したリストにおいてインデックス＝ｉに対応する動体領域を規定する情報を読み出す。
【００６５】
ステップＳ７０５においてＣＰＵ２２１は先ず、ステップＳ７０４で読み出した情報が規定する動体領域の一部若しくは全部が固定領域と重なっているか否かを判断する。この判断の結果、動体領域の一部若しくは全部が固定領域と重なっていなければ、処理はステップＳ７０７に進む。一方、動体領域の一部若しくは全部が固定領域と重なっている場合には、次にＣＰＵ２２１は、インデックス＝ｉに対応する動体領域の画像特徴量が規定の条件を満たすか否かを判断する。「画像特徴量が規定の条件を満たす場合」、「画像特徴量が規定の条件を満たさない場合」のそれぞれについては第１の実施形態で説明したとおりである。
【００６６】
ステップＳ７０５における判断の結果、インデックス＝ｉに対応する動体領域の画像特徴量が規定の条件を満たしている場合には、インデックス＝ｉに対応する動体領域には第１のマスク画像を描画すると判断し、処理はステップＳ７０６に進む。一方、インデックス＝ｉに対応する動体領域の画像特徴量が規定の条件を満たしていない場合には、インデックス＝ｉに対応する動体領域には第１のマスク画像は描画しないと判断し、処理はステップＳ７０７に進む。ステップＳ７０６では、ＣＰＵ２２１は、ステップＳ７０４で読み出した情報が規定する動体領域に第１のマスク画像を描画する。
【００６７】
ステップＳ７０７では、ＣＰＵ２２１は、変数ｉの値＝Ｎであるか否かを判断する。この判断の結果、変数ｉの値＝Ｎであれば、リストに登録されている全ての動体領域についてステップＳ７０５及びステップＳ７０６の処理を行ったと判断して、処理はステップＳ７０９に進む。一方、変数ｉの値＜Ｎであれば、リストに登録されている動体領域のうちステップＳ７０５及びステップＳ７０６の処理を行っていない動体領域が残っていると判断して、処理はステップＳ７０８に進む。
【００６８】
ステップＳ７０８では、ＣＰＵ２２１は、変数ｉの値を１つインクリメントして、リストに登録されている次の動体領域についてステップＳ７０５以降の処理を行うようにする。そして処理はステップＳ７０５に戻る。ステップＳ７０９では、ＣＰＵ２２１は、ステップＳ７０８までの処理によって得られた撮像画像を、出力Ｉ／Ｆ２２５を介して表示装置１４０に対して出力する。
【００６９】
ステップＳ７００において取得した撮像画像が図８の撮像画像８００であった場合に、ステップＳ７０９において表示装置１４０に出力されて表示される撮像画像の一例を図９に示す。先ず、撮像画像８００の固定領域には第２のマスク画像９０５が描画される。そして、作業員８０１，８０２，８０３，８０４の各々の画像特徴量は規定の条件を満たすので、作業員８０１，８０２，８０３，８０４のそれぞれの領域に第１のマスク画像９０１，９０２，９０３，９０４が描画される。対象物８０５については、該対象物８０５の画像特徴量は規定の条件を満たさなかったので、該対象物８０５には第１のマスク画像が描画されていない。これは、対象物８０５はホワイトボード上の文字や図形であり、サイズが小さいため、その画像特徴量（ここではサイズ）は規定の条件を満たさなかったと判断されたからである。このような処理によって得られる画像が撮像画像９００である。
【００７０】
［第３の実施形態］
本実施形態は図７のフローチャートにおいて、ステップＳ７０５で用いる動体領域の画像特徴量として動体領域に含まれる動体の各部位の太さを使用し、ステップＳ７０６では太い部位について第１のマスク画像を描画する点が第２の実施形態と異なる。以下では第２の実施形態と本実施形態との差異について重点的に説明する。
【００７１】
ステップＳ７０５においてＣＰＵ２２１は、動体領域の一部若しくは全部が固定領域と重なっている場合には、該動体領域に含まれる動体の各部位について、該部位の画像特徴量である該部位の太さが規定の太さ以上であるか否かを判断する。動体を構成する部位とは、例えば、動体が人である場合には、頭、胴体、腕、手、足に対応する。画像中の領域からそれぞれの部位を認識するための技術については、画像認識処理などの周知の技術がある。また、部位の太さを求めるための方法には様々な方法があり、特定の方法に限らない。例えば、部位の位置（部位の中心位置、部位を囲む矩形領域の四隅の何れかの位置等）を中心とした小領域を設定し、該小領域において該部位が占める割合を該部位の太さとして求める。そして動体領域に含まれる動体の各部位うち太さが規定の太さ以上である部位が１つ以上存在したという条件が満たされた場合は、処理はステップＳ７０６に進み、この条件が満たされなかった場合には、処理はステップＳ７０７に進む。
【００７２】
なお、ステップＳ７０５では、あらかじめ太いと判断する小領域画像を学習した検出器を作成しておき、この検出器を動体領域に適用することで検出された部位を「太い部位」と判断するようにしても良い。この場合、「太い部位」と判断された部位が１つ以上存在した場合には、処理はステップＳ７０６に進む。
【００７３】
また、動体領域に対してウェーブレット変換を行い、特定の周波数以下に反応する領域を太い部位の領域と判断するようにしても良い。この場合、「太い部位の領域」と判断された領域が１つ以上存在すると、処理はステップＳ７０６に進む。
【００７４】
また、動体領域に対してモルフォロジーを用いた細線の除去処理を行い、除去されなかった部位を「太い部位」と判断するようにしても良い。この場合、「太い部位」と判断された部位が１つ以上存在した場合には、処理はステップＳ７０６に進む。ステップＳ７０６では、ＣＰＵ２２１は、太さが規定の太さ以上である部位（太い部位と判断された部位）に第１のマスク画像を描画する。
【００７５】
本実施形態においてステップＳ７００で取得される撮像画像の一例を図１０に示す。図１０に示す如く、撮像画像１０００には、動体である作業員１００１と、作業者の作業によって発生した動体であってホワイトボード上に描かれた図形や文字である対象物１００２（作業員１００１の一部）と、が含まれている。
【００７６】
ステップＳ７００において取得した撮像画像が図１０の撮像画像１０００であった場合に、ステップＳ７０９において表示装置１４０に出力されて表示される撮像画像の一例を図１１に示す。先ず、撮像画像１０００の固定領域には第２のマスク画像１１０２が描画される。図１１では、セキュリティを鑑みて、撮像画像１０００上のホワイトボードの領域を固定領域としている。そして、作業員１００１の各部位のうち規定の太さ以上の部位（太い部位と判断された部位）に第１のマスク画像１１０１が描画される。
【００７７】
一方、対象物１００２については太さが規定の太さ未満であるから、対象物１００２の領域には第１のマスク画像は描画されない。このような処理によって得られる画像が撮像画像１１００である。
【００７８】
上記の通り、動体領域の画像特徴量には様々な特徴量が考えられる。例えば、動体領域内の色を該動体領域の画像特徴量として用いても良い。例えば、動体領域を構成する画素のＲ，Ｂ，Ｇのそれぞれの平均値を求め、求めたＲ，Ｇ，Ｂのそれぞれの平均値が規定の値を超えていた場合には、該動体領域の画像特徴量は規定の条件を満たしていると判断しても良い。
【００７９】
また、動体が動いていた期間を画像特徴量として使用しても良い。また、撮像画像から検出した動体のうち「マスク画像を描画すべき動体として予め指定されていた指定動体」（例えば人体）のみをステップＳ４０２（Ｓ７０２）以降の対象とするようにしても良い。
【００８０】
また、撮像画像は撮像装置１１０から取得することに限らない。例えば、記録済みの動画像若しくは静止画像を記録したメモリ装置（補助記憶装置２１３や補助記憶装置２２３等）やサーバ装置から、該動画像の各フレームの画像若しくは該静止画像を撮像画像として取得するようにしても良い。
【００８１】
また、画像特徴量が規定の条件を満たした場合に行われる処理と、画像特徴量が規定の条件を満たさなかった場合に行われる処理と、を逆にしても良いし、このような条件分岐における条件は適宜変更しても良い。以上説明した各実施形態の一部若しくは全部を適宜組み合わせても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。
【００８２】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８３】
２２１：ＣＰＵ  ２２２：主記憶装置  ２２３：補助記憶装置  ２２４：入力Ｉ／Ｆ  ２２５：出力Ｉ／Ｆ  ２２６：ネットワークＩ／Ｆ
【図１】
2019075660.tif 000003
【図２】
2019075660.tif 000004
【図３】
2019075660.tif 000005
【図４】
2019075660.tif 000006
【図５】
2019075660.tif 000007
【図６】
2019075660.tif 000008
【図７】
2019075660.tif 000009
【図８】
2019075660.tif 000010
【図９】
2019075660.tif 000011
【図１０】
2019075660.tif 000012
【図１１】
2019075660.tif 000013