(57)【要約】【課題】遮蔽物ではない動体の移動については反映させつつ、遮蔽物である動体についてはより高精度で消去する。【解決手段】対象物を撮影した画像から遮蔽物である動体を消去した動体消去画像を生成する画像処理システム１であって、遮蔽物がない状態で前記対象物を予め撮影して得られた第１の画像に対して、所定の基準背景領域を設定し、前記第１の画像を、それぞれが前記基準背景領域の一部を含む複数のセルに分割し、当該セル毎に前記各基準背景領域の画像データを記録する基準背景設定部１２と、前記対象物を撮影して得られた複数枚の第２の画像のそれぞれを複数の前記セルに分割し、前記セル毎に、前記各第２の画像の中から前記基準背景領域が遮蔽されていない第３の画像を取得し、当該第３の画像に基づいて前記対象物に係る動体消去画像を生成する動体消去部１３とを有する。【選択図】図１
2019022141.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影した画像から遮蔽物である動体を消去した動体消去画像を生成する画像処理システムであって、
遮蔽物がない状態で前記対象物を予め撮影して得られた第１の画像に対して、所定の基準背景領域を設定し、前記第１の画像を、それぞれが前記基準背景領域の一部を含む複数のセルに分割し、当該セル毎に前記各基準背景領域の画像データを記録する基準背景設定部と、
前記対象物を撮影して得られた複数枚の第２の画像のそれぞれを複数の前記セルに分割し、前記セル毎に、前記各第２の画像の中から、前記基準背景領域が遮蔽されていない第３の画像を取得し、当該第３の画像に基づいて前記対象物に係る動体消去画像を生成する動体消去部と、を有する、画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記動体消去部は、前記第３の画像を取得できなかった前記セルについては所定の画像を設定する、画像処理システム。
【請求項３】
請求項１または２に記載の画像処理システムにおいて、
前記基準背景設定部は、前記第１の画像において、前記基準背景領域の延伸方向に基づいて複数の走査線を設定し、前記基準背景領域と前記各走査線により区分される領域に基づいて前記セルを設定する、画像処理システム。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理システムにおいて、
前記基準背景設定部は、前記第１の画像においてユーザにより指定された領域を前記基準背景領域として設定する、画像処理システム。
【請求項５】
請求項１〜３のいずれか１項に記載の画像処理システムにおいて、
前記基準背景設定部は、複数枚の前記第１の画像における各画素の表示内容の変化の程度が所定の値以下である領域を前記基準背景領域として設定する、画像処理システム。
【請求項６】
請求項１〜３のいずれか１項に記載の画像処理システムにおいて、
前記基準背景設定部は、前記第１の画像において、前記対象物における所定の色の領域を識別して前記基準背景領域として設定する、画像処理システム。
【請求項７】
対象物を撮影した画像から遮蔽物である動体を消去した動体消去画像を生成する画像処理システムにおける画像処理方法であって、
遮蔽物がない状態で前記対象物を予め撮影して得られた第１の画像に対して、所定の基準背景領域を設定し、前記第１の画像を、それぞれが前記基準背景領域の一部を含む複数のセルに分割し、当該セル毎に前記各基準背景領域の画像データを記録する基準背景設定工程と、
前記対象物を撮影して得られた複数枚の第２の画像のそれぞれを複数の前記セルに分割し、前記セル毎に、前記各第２の画像の中から、前記基準背景領域が遮蔽されていない第３の画像を取得し、当該第３の画像に基づいて前記対象物に係る動体消去画像を生成する動体消去工程と、を有する、画像処理方法。
【請求項８】
対象物を撮影した画像から遮蔽物である動体を消去した動体消去画像を生成する画像処理システムとして機能するよう、コンピュータに処理を実行させる画像処理プログラムであって、
遮蔽物がない状態で前記対象物を予め撮影して得られた第１の画像に対して、所定の基準背景領域を設定し、前記第１の画像を、それぞれが前記基準背景領域の一部を含む複数のセルに分割し、当該セル毎に前記各基準背景領域の画像データを記録する基準背景設定処理と、
前記対象物を撮影して得られた複数枚の第２の画像のそれぞれを複数の前記セルに分割し、前記セル毎に、前記各第２の画像の中から、前記基準背景領域が遮蔽されていない第３の画像を取得し、当該第３の画像に基づいて前記対象物に係る動体消去画像を生成する動体消去処理と、を前記コンピュータに実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、動画像中の遮蔽物である動体を消去する画像処理システム、画像処理方法、および画像処理プログラムに適用して有効な技術に関するものである。
【背景技術】
【０００２】
例えば、コンビニエンスストアの店舗における商品陳列棚の画像を撮影し、取得した画像を遠隔地から参照することに対するニーズがある。具体的には、例えば、コンビニエンスストアのフランチャイザーの本部が店舗の陳列棚の棚割を確認・指導するために参照する場合等がある。
【０００３】
陳列棚の画像は、例えば、陳列棚の対面側から通路を挟んでデジタルビデオカメラ（以下では単に「カメラ」と記載する場合がある）により撮影して画像データとして取得する。しかし、コンビニエンスストア等の店舗では、タイミングによっては、来店中の顧客や従業員等の人物、納入商品の運搬用のパレット等の遮蔽物が写り込んでしまい、陳列棚の所望の領域全体の画像が得られない場合がある。これに対し、陳列棚の動画像から人物やパレット等の動体を消去し、遮蔽された部分も含む陳列棚の所望の領域全体の画像を取得する動体消去技術が用いられる。
【０００４】
これに関する技術として、例えば、特許第３９９３１９２号公報（特許文献１）には、所定の時間間隔で撮影された商品陳列棚の元画像から、元画像ｎと時間的に連続する過去の元画像ｎ−１，ｎ−２を抽出し、各元画像に含まれる対応画素の濃度値を平均化させた画素群を備えた画像を生成して人影等の遮蔽物を希釈化することにより、陳列棚の様子を簡易迅速に観察可能とする旨が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３９９３１９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術によれば、陳列棚の画像から人物やパレット等の動体（遮蔽物）を消去することができる。しかし、ある程度の長時間その場にとどまっている人物やパレット等については、希釈化が不十分となって完全に消去することができず、残像のような不自然な画像となってしまう場合がある。
【０００７】
また、例えば、陳列棚の商品が実際に売れてなくなる、もしくは欠品となっていた商品が補充されることによりその部分の画像が変化した場合も、動体（遮蔽物）と判断されて希釈化の処理が行われてしまう可能性がある。従来技術では、これを回避するため、例えば、変化した画像の領域が所定の面積（例えば、遮蔽物である人物に相当する程度の面積）以上である場合にのみ希釈化に基づく遮蔽物の消去を行うものとされている。しかし、この場合、例えば、所定の面積より大きい商品が陳列棚に新たに陳列された場合に、遮蔽物と判断されて消去されてしまうことになる。逆に、パレット等の遮蔽物が所定の面積より小さかった場合には消去されないことになる等、所定の面積として適切な面積を設定することが困難な場合が生じ得る。
【０００８】
そこで本発明の目的は、陳列棚からの商品の取り出しや補充等、遮蔽物ではない動体の移動については反映させつつ、顧客・従業員等の人物やパレット等、遮蔽物である動体についてはより高精度で消去することを可能とする画像処理システム、画像処理方法、および画像処理プログラムを提供することにある。
【０００９】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【００１１】
本発明の代表的な実施の形態による画像処理システムは、対象物を撮影した画像から遮蔽物である動体を消去した動体消去画像を生成する画像処理システムであって、遮蔽物がない状態で前記対象物を予め撮影して得られた第１の画像に対して、所定の基準背景領域を設定し、前記第１の画像を、それぞれが前記基準背景領域の一部を含む複数のセルに分割し、当該セル毎に前記各基準背景領域の画像データを記録する基準背景設定部と、前記対象物を撮影して得られた複数枚の第２の画像のそれぞれを複数の前記セルに分割し、前記セル毎に、前記各第２の画像の中から、前記基準背景領域が遮蔽されていない第３の画像を取得し、当該第３の画像に基づいて前記対象物に係る動体消去画像を生成する動体消去部と、を有するものである。
【００１２】
また、本発明は、上記のような画像処理システムにおける画像処理方法、およびコンピュータを上記のような画像処理システムとして動作させるプログラムにも適用することができる。
【発明の効果】
【００１３】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１４】
すなわち、本発明の代表的な実施の形態によれば、陳列棚からの商品の取り出しや補充等、遮蔽物ではない動体の移動については反映させつつ、顧客・従業員等の人物やパレット等、遮蔽物である動体についてはより高精度で消去することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態である画像処理システムの構成例について概要を示した図である。
【図２】本発明の一実施の形態における事前準備の処理の流れの例について概要を示したフローチャートである。
【図３】本発明の一実施の形態における遮蔽物である動体を消去する画像処理の流れの例について概要を示したフローチャートである。
【図４】（ａ）〜（ｃ）は、本発明の一実施の形態における画像取得部によりカメラを介して取得した陳列棚の画像の例を示した図である。
【図５】本発明の一実施の形態における遮蔽物である動体を消去する対象となる陳列棚の画像の例を示した図である。
【図６】（ａ）〜（ｃ）は、本発明の一実施の形態における遮蔽物である動体を消去した全体画像を生成する例について概要を示した図である。
【図７】（ａ）、（ｂ）は、本発明の一実施の形態における遮蔽物である動体を消去した全体画像を生成する例について概要を示した図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。
【００１７】
本発明の一実施の形態である画像処理システムは、撮影対象に対して予め「基準背景」を設定しておくとともに、撮影された複数の画像についてそれぞれ多数のセルに分割する。そして、セル単位で基準背景が写っているか否か（すなわち、動体によって遮蔽されていないかどうか）に基づいて採用・非採用を判断し、採用されたセルを合成して全体画像を生成することで動体を消去するものである。
【００１８】
なお、以下の説明では、撮影対象の例をコンビニエンスストア等における商品陳列棚としており、例えば、上述したようなコンビニエンスストアのフランチャイザーの本部が店舗の陳列棚の棚割を確認・指導するために参照する場合に適用することができる。また、利用者が遮蔽物のない陳列棚の状況をリアルタイムで参照することができることから、例えば、ＥＣ（Electronic Commerce）サイトを介してコンビニエンスストアの店舗に実際に陳列されている商品をオンラインで販売する仕組みに適用してこれを実現することもできる。また、コンビニエンスストア等における陳列棚の画像から人物等の遮蔽物を消去する場合に限られず、画像から遮蔽物である動体を消去することが求められる場面において広く適用することができる。
【００１９】
＜システム構成＞
図１は、本発明の一実施の形態である画像処理システム１の構成例について概要を示した図である。画像処理システム１は、カメラ３によって撮影された陳列棚２の画像（動画像もしくは複数枚の静止画像）に対して、顧客や従業員等の人物やパレット等の遮蔽物である動体を消去した画像を、利用者端末５を介して利用者に提供する情報処理システムである。
【００２０】
カメラ３は、陳列棚２の画像を歪みなく撮影できるよう、通路等を挟んで対面側に正対して設置されるのが望ましいが、陳列棚２が撮影できる位置であれば、陳列棚２の上部／下部や側面の縁部分等、陳列棚２に正対しない位置に設置されて、斜め方向から陳列棚２を撮影するものであってもよい。また、コンビニエンスストア等の店舗では通路が狭い場合があり、通路等を挟んで対面側にカメラ３を設置したとしても陳列棚２までの距離が十分確保できない場合もあるため、陳列棚２の所望の領域が撮影できるよう、画角の広いカメラ３を用いるのが望ましい。これらの場合、取得した画像に対して公知の画像処理技術により歪み補正や台形補正等を施して矩形の画像を得るようにしてもよい。
【００２１】
画像処理システム１は、例えば、ＰＣ（Personal Computer）等の汎用の情報処理端末、もしくはサーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成される。そして、図示しないＣＰＵ（Central Processing Unit）により、ＨＤＤ（Hard Disk Drive）等の記録装置からメモリ上に展開したＯＳ（Operating System）やＤＢＭＳ（DataBase Management System）、Ｗｅｂサーバプログラム等のミドルウェアや、その上で稼働するソフトウェアを実行することで、画像からの動体消去に係る後述する各種機能を実現する。汎用の端末や機器に代えて、専用の機器や装置として構成してもよい。
【００２２】
画像取得部１１は、カメラ３により撮影された画像を取得して、画像データ１４として記録する機能を有する。時間帯による撮影のオン／オフや、一定時間毎に連続的に静止画を撮影する場合の時間間隔等の制御、カメラ３による撮影方向・撮影範囲の調整等、カメラ３の動作に対する各種制御を行うようにしてもよい。
【００２３】
基準背景設定部１２は、カメラ３により事前に撮影した陳列棚２の画像に対して、上述した「基準背景」を設定して基準背景データ１５として記録する機能を有する。基準背景の設定方法については後述するが、設定に際しては、例えば、図示しない管理者端末を介してシステム管理者により手動で指定された画像領域を基準背景として設定してもよい。もしくは、カメラ３により一定時間陳列棚２を撮影して得られた画像に基づいて自動的に設定する、もしくは設定内容をシステム管理者に提案するようにしてもよい。
【００２４】
動体消去部１３は、画像データ１４の画像から、基準背景データ１５に記録された基準背景の情報に基づいて動体を消去した画像を生成し、動体消去画像データ１６として記録する機能を有する。動体消去画像データ１６は、例えば、インターネット等のネットワーク４を介して利用者端末５から参照可能とする。動体消去の具体的な手法については後述する。
【００２５】
＜処理の流れ（事前準備）＞
図２は、本実施の形態における事前準備の処理の流れの例について概要を示したフローチャートである。事前準備では、基準背景を設定する処理を行う。まず、カメラ３によって遮蔽物である動体が写っていない基準背景設定用の画像を撮影して、画像取得部１１によりその画像データを取得する（Ｓ０１）。図４は、本実施の形態における画像取得部１１によりカメラ３を介して取得した陳列棚２の画像の例を示した図である。図４（ａ）では、ステップＳ０１で取得する、遮蔽物である動体が写っていない状態の陳列棚２の画像の例を示している。なお、ここでの画像は、図示するように、遮蔽物ではない動体である商品等（図中の例では缶飲料）が陳列されている状態であってもよい。
【００２６】
図２に戻り、次に、ステップＳ０１で取得した基準背景設定用の画像に対して、基準背景設定部１２により基準背景を設定する（Ｓ０２）。ここで、基準背景とは、対象の画像中において遮蔽物である動体が存在しなければ常に写っており位置や形状等が変化しない領域のことである。例えば、図４（ａ）の例に示したような陳列棚２の画像では、陳列されている商品は顧客により取り出されたり従業員により補充されたり等、移動することが当然に想定される。したがって、陳列されている商品部分の領域の画像は、「遮蔽物である動体が存在しなければ常に写っており位置や形状等が変化しない」とはいえず、基準背景とするには適さない。
【００２７】
一方、陳列棚の各段や側板における前面の縁部分（図中では斜線網掛けで示される）については、陳列されている商品の取り出しや補充等に関わらず、人物やパレット等の遮蔽物が存在しなければ、常にその場に固定的に写っているものである。したがって、本実施の形態では、図４（ｂ）の画像例に示すように、商品棚の縁部分を基準背景として設定するものとする。なお、商品棚の縁部分には、価格表示やＰＯＰ（Point Of Purchase）広告等が付されて一定期間で表示内容が変化する場合があるが、商品棚の縁部分自体の位置や形状は不変であるため、基準背景とすることが可能である。
【００２８】
基準背景の設定方法としては、例えば、図４（ａ）の例に示したような基準背景設定用の画像を、店舗の開店前や閉店後等の遮蔽物がない状態で撮影し、これを図示しない管理者端末を介してシステム管理者が参照して手動で設定するようにしてもよい。例えば、図４（ｂ）に示したような基準背景とする領域（図中では太破線の枠で表示）をマウス操作やタッチパネル上でのジェスチャー等により選択して手動で設定する。基準背景は、図４（ｂ）に示すように、複数箇所に設定するものとする。手動での設定に代えて、例えば、営業時間中も含めてカメラ３により一定時間陳列棚２を撮影して得られた複数の画像に基づいて、画素（もしくは領域）毎に表示内容の変化の程度を統計的に把握し、変化の程度が一定以下の画素や領域に基づいて自動的に設定するようにしてもよい。
【００２９】
なお、上記のように、陳列棚２の縁部分を手動もしくは自動で選択して基準背景として設定するのに代えて、例えば、縁部分に、商品等や人物、パレット等の動体から画像上識別可能となるような特定の色（例えば、自然界には稀有な蛍光色等）を付することで、当該領域を自動的に画像認識できるようにしてもよい。これにより、基準背景の設定の手間を省略することができる。特定の色を付するには、例えば、シール等を貼付したり紙を挿入したり等の手段を適宜用いることができる。
【００３０】
図２に戻り、基準背景が設定されると、次に、画像に対する走査線の方向を選択し（Ｓ０３）、選択された方向に設定された複数の走査線と複数箇所の基準背景に基づいて、画像取得部１１により取得する陳列棚２の画像を複数の領域に分割するためのセルを設定する（Ｓ０４）。
【００３１】
走査線の方向は、例えば、画像に対して縦方向もしくは横方向のいずれかを、基準背景の領域がより細かく分割されるように選択するのが望ましい。すなわち、基準背景の領域が延伸する方向に対して直交する方向を選択するのが望ましい。図４（ｂ）の例では、基準背景が横方向（水平方向）に延伸した形状となっていることから、走査線は縦方向（垂直方向）が選択されている。走査線の方向の選択は、例えば、基準背景の設定と併せてシステム管理者が手動で選択してもよいし、基準背景設定部１２が基準背景の形状を自動的に判別して適切な方向を選択するようにしてもよい。本実施の形態では縦方向・横方向のいずれかとしているが、基準背景の形状等によっては斜め方向に設定できるようにしてもよい。また、本実施の形態では走査線を直線としているが、折れ線や曲線等の任意の線としてもよい。
【００３２】
選択された方向に対して、図４（ｂ）に示すように、走査線が所定の間隔で複数本設定される。走査線が設定される間隔は、例えば、システム管理者が予め設定しておくことができる。そして、複数本の走査線と、複数箇所の基準背景により区分される領域をセルとして設定する。
【００３３】
図４（ｃ）は、走査線と基準背景により区分される領域およびセルの例を示している（背景の陳列棚２の画像は省略している）。ここで、図中の「１」〜「１６」、「２１」〜「３６」、および「４１」〜「５６」の番号が付された領域は、基準背景に対応する領域（以下では「基準背景領域」と記載する場合がある）である。また、「１０１」〜「１１６」、および「２０１」〜「２１６」の番号が付された領域は、商品が陳列されている部分等、基準背景ではない領域（以下では「一般領域」と記載する場合がある）である。
【００３４】
そして、原則として、１つのセルは、２つ（もしくはそれ以上でもよい）の基準背景領域を含んで構成される。例えば、図４（ｃ）の例では、「１」および「２１」の２つの基準背景領域と、これらに挟まれた「１０１」の一般領域からなるセル、「２」および「２２」の２つの基準背景領域と、これらに挟まれた「１０２」の一般領域からなるセル、…、「２１」および「４１」の２つの基準背景領域と、これらに挟まれた「２０１」の一般領域からなるセル、「２２」および「４２」の２つの基準背景領域と、これらに挟まれた「２０２」の一般領域からなるセル、…が構成される。１つの基準背景領域が複数のセルに重複して含まれていてもよい。なお、例外的に、画像の端部のセルは、例えば、「５６」の基準背景領域が含まれるセルのように、基準背景領域が１つしか含まれなくてもよいものとする。
【００３５】
図２に戻り、基準背景設定用の画像に対してセルが設定されると、その全てのセルを対象としたループ処理を開始する（Ｓ０５）。ループ処理では、処理対象のセルについて、当該セルを構成する基準背景領域の位置とその画像（以下では「基準背景画像」と記載する場合がある）のデータを全て、当該セルに関連付けて基準背景データ１５として記録し（Ｓ０６）、次のセルの処理に移る（Ｓ０７、Ｓ０５）。全てのセルについて基準背景画像を記録してループ処理を終了すると、事前準備処理を終了する。これにより、セル毎に基準背景画像を把握することができる。
【００３６】
＜処理の流れ（動体消去）＞
図３は、本実施の形態における遮蔽物である動体を消去する画像処理の流れの例について概要を示したフローチャートである。まず、遮蔽物である動体を消去する処理の対象（本実施の形態では陳列棚２）が、カメラ３を介して画像取得部１１により連続的に撮影され、画像データ１４として記録されている状態で、動体消去部１３により、画像データ１４から処理対象の複数枚の画像（動画像のフレームでもよい）を取得する（Ｓ１１）。図５は、本実施の形態における遮蔽物である動体を消去する対象となる陳列棚２の画像の例を示した図である。ここでは、商品（図中の例では缶飲料）が陳列された陳列棚２の前に、消去の対象となる顧客等の人物（図中の例では黒塗り図形で示される）が立っている状態の画像を示している。
【００３７】
図３に戻り、その後、ステップＳ１１で取得した全ての画像を対象としたループ処理を開始する（Ｓ１２）。このループ処理では、まず、処理対象の画像について、上述の図２に示した事前準備処理におけるステップＳ０４で設定したセルと同様のセルに分割する（Ｓ１３）。そして、その全てのセルを対象としたループ処理を開始する（Ｓ１４）。
【００３８】
このループ処理では、処理対象のセルの画像について、これに含まれているべき全ての基準背景画像を基準背景データ１５から取得する（Ｓ１５）。そして、取得した基準背景画像が全て処理対象のセルの画像に含まれているか否かを判定し、その結果を基準背景画像の有無として記録しておく（Ｓ１６）。すなわち、全ての基準背景画像（例えば、本実施の形態では、図４の例に示すように、原則として１つのセルには２つの基準背景画像が含まれる）が当該セルの画像に含まれる場合に、当該セルにおける基準背景画像は「有」（すなわち、動体により遮蔽されていない）となり、１つでも含まれないものがある場合は「無」（すなわち、動体により遮蔽されている）となる。
【００３９】
なお、セルの画像に各基準背景画像が含まれるか否かの判定には、公知の画像認識技術や照合技術等を適宜利用することができる。その際、基準背景画像の全体が１００％含まれる場合に限らず、所定の割合（例えば、８０％等）以上が含まれる場合を含むようにしてもよい。
【００４０】
処理対象のセルについて基準背景画像の有無を判定すると、次のセルの処理に移る（Ｓ１７、Ｓ１４）。そして、全てのセルについて基準背景画像の有無を判定してループ処理を終了すると、次の画像の処理に移る（Ｓ１８、Ｓ１２）。全ての画像についてセル毎の基準背景画像の有無を判定してループ処理を終了すると、次に、全てのセル（全ての画像分を含む）を対象とした新たなループ処理を開始する（Ｓ１９）。
【００４１】
このループ処理では、まず、処理対象のセルについて、基準背景画像が「有」の画像が少なくとも１枚以上あるか否かを判定する（Ｓ２０）。基準背景画像が「有」（すなわち、動体により遮蔽されていない）の画像が１枚以上ある場合は（Ｓ２０：Ｙ）、それらの画像に基づいて対象のセルの画像を設定もしくは合成する（Ｓ２１）。例えば、基準背景画像が「有」の画像が１枚のみであった場合は、当該画像を対象のセルの画像として設定する。一方、基準背景画像が「有」の画像が複数枚あった場合は、いずれか１枚の画像を選択して対象のセルの画像として設定してもよいし、各画像に対して、例えば、画素毎に色や輝度を平均化する等の処理を適宜行って対象のセルの画像を合成するようにしてもよい。
【００４２】
一方、基準背景画像が「有」の画像が１枚もない場合は（Ｓ２０：Ｎ）、対象のセルを欠損セルとして処理する（Ｓ２２）。例えば、対象のセルの画像として、白色や黒色、その他の所定の色や模様により塗りつぶされた画像を設定する。所定の色や模様を、近接する周囲のセルに設定された画像に基づいて設定するようにしてもよい。
【００４３】
処理対象のセルについて画像を設定・合成すると、次のセルの処理に移る（Ｓ２３、Ｓ１９）。そして、全てのセルについて画像を設定・合成してループ処理を終了すると、各セルの画像を並べて合成することにより、全体の画像を生成して動体消去画像データ１６として記録し（Ｓ２４）、一連の処理を終了する。全体の画像の生成に際しては、各セルの画像を単順に並べて合成してもよいし、隣接するセル間の境界部分が不自然とならないよう、例えば、公知の画像処理技術により平滑化等の処理を行うようにしてもよい。
【００４４】
図６、図７は、本実施の形態における遮蔽物である動体を消去した全体画像を生成する例について概要を示した図である。図６（ａ）〜（ｃ）、および図７（ａ）は、図５の例に示したような、遮蔽物である動体を消去する対象となる陳列棚２の一連の画像に対して、図４（ｃ）に示したものと同様のセルが設定された状態を示している。説明の便宜上、陳列棚２や商品の画像は省略する一方、各セル（およびこれを構成する背景画像領域と一般領域）と、遮蔽物である人物の画像の輪郭を表示している。
【００４５】
図６（ａ）〜（ｃ）では、陳列棚２の前に立っている人物が移動している状態での一連の画像を時系列で示している。これら一連の画像において、人物により遮蔽されているセル、すなわち、基準背景画像の１つ以上が遮蔽されているセルについては網掛けにより示している。そして、これらの一連の画像において、例えば、「３２」および「５２」の２つの基準背景領域と、これらに挟まれた「２１２」の一般領域からなるセルは、図６（ａ）では人物により遮蔽されている（基準背景画像「無」）が、図６（ｂ）および（ｃ）では遮蔽されていない（基準背景画像「有」）ことを示している。したがって、図３のステップＳ２１の処理により、当該セルについては、基準背景画像「有」である図６（ｂ）や（ｃ）に基づいて画像が設定される。
【００４６】
一方、例えば、「２８」および「４８」の２つの基準背景領域と、これらに挟まれた「２０８」の一般領域からなるセルは、図６（ａ）〜（ｃ）のいずれの画像においても人物により遮蔽されている（基準背景画像「無」）ことを示している。したがって、図３のステップＳ２２の処理において、図７（ａ）に示すように、当該セルは欠損セルとして処理される。
【００４７】
そして、全てのセルの画像を合成して全体の画像を生成することで、図７（ｂ）に示すように、欠損セル以外のセルについては、人物により遮蔽されていない画像を表示することができる。一方、欠損セルに対応する部分は、欠損セルに係る画像（図中の例では白色で塗りつぶされた画像）が表示される。なお、欠損セルに係る画像としては、上述したように、例えば、近接する周囲のセルに設定された画像に基づいて色や模様等を設定することで平滑化する画像を設定してもよい。しかし、これにより全体として違和感のある画像となるよりは、あえて白色や黒色等により塗りつぶされた画像を設定することで、欠損セルであることが明確に認識され、全体での違和感が低減される場合もあると考えられる。
【００４８】
なお、セルのサイズをより小さくする、すなわち、図４（ｂ）における走査線の間隔をより狭くすることで、欠損セルが生じる確率や欠損セルの数をより低減させることができる。しかし、セルのサイズを小さくするとセルの総数が増え、図３に示した画像処理における処理負荷が高くなるため、動作環境に応じて適切なセルの大きさ・数となるよう走査線の間隔を設定するのが望ましい。
【００４９】
以上に説明したように、本発明の一実施の形態である画像処理システム１によれば、撮影対象に対して予め「基準背景」を設定しておくとともに、撮影された複数枚の画像についてそれぞれ複数のセルに分割する。そして、セル単位で基準背景の有無（すなわち、動体によって遮蔽されていないか）に基づいて画像の採用・非採用を判断し、採用されたセルの画像を合成して全体画像を生成することで、遮蔽物である動体を消去することができる。
【００５０】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００５１】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００５２】
また、上記の各図において、制御線や情報線は説明上必要と考えられるものを示しており、必ずしも実装上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【産業上の利用可能性】
【００５３】
本発明は、動画像中の遮蔽物である動体を消去する画像処理システム、画像処理方法、および画像処理プログラムに利用可能である。
【符号の説明】
【００５４】
１…画像処理システム、２…陳列棚、３…カメラ、４…ネットワーク、５…利用者端末、
１１…画像取得部、１２…基準背景設定部、１３…動体消去部、１４…画像データ、１５…基準背景データ、１６…動体消去画像データ
【図１】
2019022141.tif 000003
【図２】
2019022141.tif 000004
【図３】
2019022141.tif 000005
【図４】
2019022141.tif 000006
【図５】
2019022141.tif 000007
【図６】
2019022141.tif 000008
【図７】
2019022141.tif 000009