(57)【要約】【課題】撮像しながら出力する画像を更新することができるプログラムを提供すること。【解決手段】情報処理装置を、撮像装置が撮像した画像を入力画像として取得する画像取得手段と、前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段、として機能させるためのプログラムを提供する。【選択図】図３
2019057849.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置を、
撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段、として機能させるためのプログラム。
【請求項２】
前記情報処理装置を、
前記画像取得手段が取得した前記入力画像と外部に出力された前記出力画像の第一の類似度を算出する類似度算出手段として機能させ、
前記第一の類似度が第一の閾値以上の場合、前記被写体画像判断手段は、前記入力画像が前記被写体の画像であると判断し、前記第一の類似度が第一の閾値未満の場合、前記入力画像を被写体の画像でないと判断する請求項１に記載のプログラム。
【請求項３】
情報処理装置を、動体が写っている画像又は写っていない画像を予め学習して画像における動体の有無を出力する学習モデルとして機能させ、
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデルが判断しない場合、前記被写体画像判断手段は前記入力画像を被写体の画像と判断し、前記入力画像に動体が写っていると前記学習モデルが判断した場合、前記被写体画像判断手段は前記入力画像を被写体の画像でないと判断する請求項１に記載のプログラム。
【請求項４】
前記第一の類似度が第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断する請求項２に記載のプログラム。
【請求項５】
前記画像取得手段が取得した前記入力画像に動体が写っていると前記学習モデルが判断しない場合、前記情報処理装置を、前記画像取得手段が取得した前記入力画像と外部に出力された出力画像の第一の類似度を算出する類似度算出手段として機能させ、
前記第一の類似度が第一の閾値以上の場合、
前記類似度算出手段は、前記画像取得手段が取得した現在の入力画像と、前記現在の入力画像よりも過去の入力画像との第二の類似度を算出し、
前記判断手段は、前記第二の類似度が第二の閾値以上の場合、現在の前記入力画像を出力すると判断し、前記第二の類似度が第二の閾値未満の場合、外部に出力した前記出力画像を出力すると判断する請求項３に記載のプログラム。
【請求項６】
前記判断手段は、前記第一の類似度が第一の閾値未満の場合、又は、前記第二の類似度が第二の閾値未満の場合、
前記撮像装置が撮像する被写体と前記撮像装置の間に存在する場合に前記被写体よりも手前に写る動体が、前記画像取得手段が取得した現在の前記入力画像に写っていると判断する請求項４又は５に記載のプログラム。
【請求項７】
前記類似度算出手段は、動体の移動速度に基づいて決定された所定時間前の入力画像と、前記画像取得手段が取得した現在の前記入力画像との前記第二の類似度を算出する請求項４〜６のいずれか１項に記載のプログラム。
【請求項８】
前記第二の閾値は前記第一の閾値よりも大きいことを特徴とする請求項４〜７のいずれか１項に記載のプログラム。
【請求項９】
前記情報処理装置を、前記画像取得手段が取得した前記入力画像をブロックに分割する画像分割手段として機能させ、
前記類似度算出手段は、ブロックに分割された前記入力画像と出力された前記出力画像のブロックごとの前記第一の類似度を算出し、
前記判断手段はブロックごとに、現在の前記入力画像を出力するか、又は、外部に出力された前記出力画像を出力するかを判断する請求項２又は４〜８のいずれか１項に記載のプログラム。
【請求項１０】
前記画像分割手段は、前記撮像装置が撮像する画像の座標情報に対応付けて前記ブロックの大きさに関する情報が対応付けられた大きさ情報を参照し、
前記画像取得手段が取得した前記入力画像をブロックに分割する請求項９に記載のプログラム。
【請求項１１】
前記ブロックの大きさは、前記撮像装置が撮像する被写体よりも大きく、前記被写体をと前記撮像装置の間に存在する場合に前記被写体よりも手前に写る動体よりも小さいことを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記情報処理装置を、更に、外部に出力すると前記判断手段が判断したブロックに隣接した各ブロックについても前記出力画像を外部に出力すると判断する処理手段として機能させることを特徴とする請求項９〜１１のいずれか１項に記載のプログラム。
【請求項１３】
前記処理手段は、外部に出力すると前記判断手段が判断したブロックの８近傍に隣接した各ブロックについて前記出力画像を外部に出力すると判断する請求項１２に記載のプログラム。
【請求項１４】
撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、を有することを特徴とする情報処理装置。
【請求項１５】
周囲を周期的に撮像する撮像装置と、１つ以上の情報処理装置とを有する画像処理システムであって、
撮像装置が撮像した画像を入力画像として取得する画像取得手段と、
前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、
前記入力画像を被写体の画像と判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、
前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段と、を有することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、情報処理装置、及び、画像処理システムに関する。
【背景技術】
【０００２】
同じ場所から同じ方向を撮像装置が周期的に撮像して、撮像範囲の現在の状況をリアルタイムに提供するサービスがある。監視カメラや消費者の行動調査などでは人物などの動体の動向が観測対象になるが、人物などの動体以外の背景が観測対象となる場合も少なくない。
【０００３】
背景が観測対象となるケースの一例として、ＥＣ（Electronic Commerce）サイト向けに実店舗の商品棚の画像をリアルタイムに、ユーザである商品の購入者等の端末装置に配信することが検討されている。ＥＣサイトのユーザは実際の商品棚を端末装置で見ることができるため、通信販売でありながら臨場感のある買い物を楽しむことができる。しかし、実店舗の内部が撮像された画像には商品棚の前にいる来客者が写っている場合が少なくない。来客者が写っている画像をそのまま提供することはプライバシーの保護に欠け、また、商品が来客者で隠れた画像が端末装置に提供されるとユーザが商品を閲覧できなくなる。
【０００４】
そこで、撮像された画像から背景以外の動体を除去する技術が知られている（例えば、特許文献１参照。）。特許文献１には、動体が映されたフレームを検出する動体検出部と、動体が検出されなくなった検出後フレームと検出後フレームより前の動体が検出された各検出フレームとを比較していくことによって、検出フレームから画情報が描画された検出フレームを更新フレームとして特定し、描画された画情報の領域を特定する描画フレーム特定部と、検出フレームを検出フレームの前のフレームで置き換え、検出フレームが画情報の描画された更新フレームである場合、対応する画情報の領域を検出後フレームの対応する領域の画像に重畳する合成処理部と、を備えた映像編集装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかながら、従来の技術は、ある程度の期間の時系列の画像から動体を除去する技術であるため、撮像しながら出力する画像を更新することができないという問題があった。例えば、従来の技術は、動体が検出されなくなった検出後フレームが検出された時点から過去にさかのぼって動体の消去や画情報の描画の合成処理を行う方式であるため、人物がいなくなるまでホワイトボードなどに手書きされた画情報が表示されない。
【０００６】
本発明は、上記課題に鑑み、撮像しながら出力する画像を更新することができるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、情報処理装置を、撮像装置が撮像した画像を入力画像として取得する画像取得手段と、前記画像取得手段が取得した前記入力画像が被写体の画像か否かを判断する被写体画像判断手段と、前記入力画像が被写体の画像であると判断した場合に、前記入力画像を出力すると判断し、被写体の画像でないと判断した場合に外部に出力された出力画像を出力すると判断する判断手段と、前記判断手段の判断結果に応じて、前記入力画像又は前記出力画像を出力する出力手段、として機能させるためのプログラムを提供する。
【発明の効果】
【０００８】
撮像しながら出力する画像を更新することができるプログラムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】時系列に撮像された商品棚の画像と動体の除去処理を説明する図の一例である。
【図２】周期的に撮像された画像がどのように変化するかを説明する図の一例である。
【図３】時系列の入力画像とその中から出力される出力画像を説明する図の一例である。
【図４】画像処理システムの概略構成図の一例である。
【図５】店舗のイメージと撮像装置の配置例の一例を説明する図である。
【図６】撮像装置のハードウェア構成図の一例である。
【図７】無線通信機能を有したクレードルの場合の通信端末のハードウェア構成図の一例である。
【図８】画像管理装置及び端末装置のハードウェア構成図の一例である。
【図９】画像処理システムが有する、撮像装置、通信端末、画像管理装置、及び端末装置の各機能ブロック図の一例である。
【図１０】分割後の画像の大きさを説明する図の一例である。
【図１１】類似度に基づく出力画像の決定方法について説明する図の一例である。
【図１２】画像処理システムが画像を提供する全体的な手順を示すシーケンス図の一例である。
【図１３】端末装置が表示した店舗一覧画面の一例を示す図である。
【図１４】端末装置が表示した商品画面の一例を示す図である。
【図１５】画像管理装置が出力画像を決定する手順を示すフローチャート図の一例である。
【図１６】画像処理システムが解決する不都合を説明する図の一例である。
【図１７】類似度に基づく出力画像の決定方法について説明する図の一例である（実施例２）。
【図１８】類似度に基づく出力画像の決定方法について説明する図の一例である（実施例２）。
【図１９】画像処理システムが出力画像を更新する手順を説明するフローチャート図の一例である（実施例２）。
【図２０】画像処理システムが有する、撮像装置、通信端末、画像管理装置、及び端末装置の各機能ブロック図の一例である（実施例３）。
【図２１】拡張処理を説明する図の一例である。
【図２２】８近傍拡張処理の好適例を説明する図の一例である。
【図２３】拡張処理部が分割後の画像に対し拡張処理を行うフローチャート図の一例である。
【図２４】画像処理システムが有する、撮像装置、通信端末、画像管理装置、及び端末装置の各機能ブロック図の一例である（実施例４）。
【図２５】学習モデルを用いた出力画像の決定方法について説明する図の一例である。
【図２６】学習モデルが入力画像を破棄する手順を示すフローチャート図の一例である。
【図２７】学習モデルを用いた出力画像の決定方法について説明する図の一例である。
【図２８】画像管理装置が出力画像を決定する手順を示すフローチャート図の一例である（実施例４）。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１１】
＜画像から動体を除去する画像処理の比較例＞
本実施形態を説明するに当たって、画像から動体を除去する動体除去の比較例を説明する。
【００１２】
図１は、時系列に撮像された商品棚８１の画像と動体の除去処理を説明する図の一例である。撮像装置は商品棚の少なくとも一部を撮像する位置に配置され、周期的に商品棚を撮像している。このように同じ場所で撮像装置１が撮像することを定点観測という場合がある。撮像の時間間隔は、商品棚が変化した場合にいつまでも古い画像を提供することなく早期に画像を提供できる時間間隔であり、商品が売れる早さなどを考慮して決定される。このような映像配信をリアルタイム配信又はライブ配信などという。また、時間間隔の決定に当たっては、ネットワークの帯域や画像処理等の処理負荷が考慮される。時間間隔は短い方が、リアルタイム性が増すが、それほど短時間に商品棚は変化しない場合、処理負荷も増大してしまう。以上から、あくまで一例として本実施形態では時間間隔を１秒とするが、３０フレーム/secのように短い時間間隔で撮像してもよいし、２〜１０フレーム/secで撮像してもよいし、１分以上を時間間隔としてもよい。
【００１３】
図１（ａ）は時系列に撮像された商品棚８１の画像を示す。画像８３_１、画像８３_２、画像８３_４及び画像８３_５には変化がないが、画像８３_３には人物８２が写っている。画像処理システムが画像８３_３を提供する際、人物８２を除去するが、人物８２を除去する方法としては、過去の所定時間の画像の画素ごとに平均を取って平均画像を作成する方法が考えられる。人物８２の滞留時間を１秒、所定時間を例えば３０秒とすると画像８３_３が平均画像に与える影響は１／３０になるので、人物８２が写っていない平均画像が得られる。
【００１４】
しかしながら、店舗内の人物８２は単に通過する場合よりも商品を物色するために同じ商品棚８１の前で少なくとも数秒は滞留する。このため、平均画像に半透明の人物８２が写ってしまう。図１（ｂ）はこの半透明の人物８２が写っている平均画像８４を模式的に示す図である。より具体的には、人物８２が写っている画像の比率が多くなるにつれて時間と共に徐々に半透明の人物８２が濃くなり、また、比率が少なくなるにつれて時間と共に徐々に半透明の人物８２が薄くなっていく。平均に用いる画像の数を多くすれば人物８２を除去できるが、商品の変化が画像に反映されるのも遅くなってしまう。
【００１５】
このように、平均画像による動体の除去は、平均画像の母数となる画像数に比べ人物８２が写っている画像の数が少なければ有効な場合があるが、商品を物色する人物８２が写る店舗内では好適でない場合がある。
【００１６】
＜本実施形態が着目する画像の変化例＞
そこで、本実施形態では実際に出力した出力画像と撮像された入力画像を比較して人物８２のような動体を検出し、動体が検出された場合は動体が検出されていない過去の出力画像を出力する動体除去方法で動体を除去する。出力画像とはユーザに提供される画像又は表示される画像であり、入力画像とは撮像された画像である。
【００１７】
図２は、周期的に撮像された画像がどのように変化するかを説明する図の一例であり、図３は、時系列の入力画像とその中から出力される出力画像を説明する図の一例である。図２では、ドリンク類が置かれた商品棚８１が周期的に撮像された画像の変化を示す。なお、画像はブロックに分割された状態で処理されるが、ブロックへの分割については後述する。
【００１８】
図２では時間の経過に対する出力画像と入力画像の類似度（０〜１の値を取り値が大きいほど類似度が高い）８５とその時の画像例を示す。
【００１９】
時刻ｔ０：商品棚８１が撮像され、商品が写った入力画像８６（以下、時刻ｔ０〜ｔｎを付して区別する）が得られる。出力画像は入力画像８６_ｔ０である。
【００２０】
時刻ｔ１：商品が写った入力画像８６_ｔ１が得られるが、直前の入力画像８６_ｔ０に対し変化がなく類似度はほぼ１である。出力画像は入力画像８６_ｔ１である。
【００２１】
時刻ｔ２：人物８２が撮像範囲に入っため、人物８２が写った入力画像８６_ｔ２が得られる。また、類似度が大きく低下したため、時刻ｔ１の出力画像は更新されない。この処理については図３で説明する。
【００２２】
時刻ｔ３：引き続き人物８２が撮像されているため人物８２が写った入力画像８６_ｔ３が得られる。また、類似度が大きく低下したため、時刻ｔ１の出力画像は更新されない。
【００２３】
時刻ｔ４：引き続き人物８２が撮像されているため人物８２が写った入力画像８６_ｔ４が得られる。また、類似度が大きく低下したため、時刻ｔ１の出力画像は更新されない。
【００２４】
時刻ｔ５：撮像される人物８２の部位が変動しても引き続き人物８２が撮像されているため、人物８２が写った入力画像８６_ｔ５が得られる。類似度は変動するが低下したままであり、時刻ｔ１の出力画像は更新されない。
【００２５】
時刻ｔ６：人物８２が撮像範囲から立ち去ると商品棚８１が写った入力画像８６_ｔ６が撮像される。類似度が高くなるため、出力画像は入力画像８６_ｔ６に更新される。しかし、時刻ｔ６で商品が１つなくなっているため、類似度はわずかに１より小さくなる。
【００２６】
図３（ａ）は時間に対する類似度８５を示し、図３（ｂ）は入力画像８６_ｔ０〜８６_ｔ６を示し、図３（ｃ）は出力画像８７（以下、時刻ｔ０〜ｔｎを付して区別する）を示す。本実施形態の画像処理システムが提供したい画像は商品棚８１であるため、人物８２が写っている入力画像８６_ｔ２〜８６_ｔ４は除去すべきである。除去すべき画像であることは類似度８５が閾値未満であることから判断される。
【００２７】
画像処理システムは除去した入力画像８６_ｔ２〜８６_ｔ４の代わりに過去の出力画像を提供する。過去の出力画像は一例として最も新しい出力画像である（類似度が閾値以上の最も新しい出力画像８７_ｔ１である。）。
【００２８】
このように本実施形態の画像処理システムはある入力画像に人物８２が写っていたら人物８２が写っていない過去の出力画像を出力する。したがって、人物８２などの動体が写っている入力画像を除去して背景である商品棚８１の画像を提供することができる。動体が写っている間は動体が検出される前の出力画像が表示されるので、閲覧者が商品を閲覧できないということがない。商品棚８１の商品が取り出されて商品棚８１の画像に変化が生じても類似度の低下はわずかなので、商品が減った商品棚の入力画像で出力画像を更新できる。
【００２９】
＜用語について＞
入力画像とは、出力されるか否かに関係なく情報処理装置に入力された画像をいう。撮像装置から受信した画像だけでなく、記憶媒体に記憶された画像でもよい。
【００３０】
出力画像とは外部に出力された画像であり、入力画像の全部又は一部が出力画像となる。出力先はディスプレイなどの表示装置の他、ネットワークを介して接続された情報処理装置、又は、記憶媒体でもよい。出力手段が出力することには、表示装置への出力、外部の装置への送信、及び、記憶媒体への記憶が含まれる。
【００３１】
動体とは、移動する機能を備えるものをいう。例えば、人間、動物、車・自転車移動体、カート（手押し車）、などがある。また、人間の移動に伴い移動するものも動体である。例えば、手提げ鞄も動体であり、人間が把持するドリンクも動体である。一方、商品としてのドリンクは移動する機能がなく人間が把持していないので動体でない。
【００３２】
被写体とは写し取られる対象をいう。何が被写体であるかは撮像の目的によって決まり、変更され得る。被写体と撮像装置の間にあるものを動体と称してもよい。また、被写体は撮影対象とも呼ばれる。
【００３３】
背景画像とは、商品棚の画像又は動体が写っていない画像をいう。また、被写体は商品棚といった背景画像に含まれるものでもよく、背景画像が被写体を写した画像となってもよい。
【００３４】
＜システム構成例＞
図４は、画像処理システム２００の概略構成図の一例である。画像処理システム２００は、通信ネットワーク９を介して接続された画像管理装置５、撮像装置１、通信端末３、及び、端末装置７を有している。撮像装置１は設置者Ｘにより店舗内に設置されている。端末装置７は閲覧者Ｙにより操作される。
【００３５】
通信ネットワーク９は、店舗内や閲覧者Ｙの所属先の企業のＬＡＮ、ＬＡＮをインターネットに接続するプロバイダのプロバイダネットワーク、及び、回線事業者が提供する回線等の少なくとも１つを含んで構築されている。通信端末３や端末装置７がＬＡＮを介さずに直接、回線電話網や携帯電話網に接続する場合は、ＬＡＮを介さずにプロバイダネットワークに接続することができる。また、通信ネットワークにはＷＡＮやインターネットが含まれる。通信ネットワークは有線又は無線のどちらで構築されてもよく、また、有線と無線が組み合わされていてもよい。
【００３６】
撮像装置１は、一般的な画角のカメラ（例えば、焦点距離で３５ｍｍ）でもよいし一度の撮像で周囲３６０度を撮像し全天球画像を作成するカメラでもよい。一般的な画角と周囲３６０度との間の画角を撮像するカメラでもよい。ただし、画角が大きいほど少ない数の撮像装置１で広い範囲をカバーできる。
【００３７】
撮像装置１はデジタルスチルカメラ又はデジタルビデオカメラと呼ばれる場合がある。また、通信端末３にカメラが付いている場合は、通信端末３がデジタルカメラとなりうる。本実施形態では、説明を分かりやすくするために撮像装置１は全天球画像を得るためのデジタルカメラとして説明を行う。撮像装置１は周期的に周囲３６０度を撮像する。必ずしも周期的である必要はなく、不定期に撮像してもよいし、設置者Ｘの操作により撮像してもよいし、閲覧者Ｙが画像管理装置５に要求することで画像管理装置５からの命令で撮像してもよい。また、時間帯によって撮像する時間間隔を変更してもよい。例えば、商品が売れやすい時間帯（来客者が多い時間帯）は短くして、商品が売れにくい時間帯（来客者が少ない時間帯）は長くする。
【００３８】
なお、撮像装置１は、視線方向が異なる何枚かの風景を自動的に撮像し、複数の画像データを合成することで全天球画像を作成してもよい。
【００３９】
撮像装置１は定点観測の対象となる被写体がある場所に配置される。図４では店舗内に配置されているが一例に過ぎない。ＥＣサイト以外の動体除去の利用シーンについては後述する。撮像装置１の数は配置場所によって様々である。一般的に、見通しのよい配置場所では少ない数でよいし、見通しの悪い配置場所では多くなる。
【００４０】
通信端末３は、撮像装置１の代わりに通信ネットワーク９に接続する通信機能を有している。通信端末３は、撮像装置１への電力供給や店舗への固定を行うためのクレードル(Cradle)である。クレードルとは、撮像装置１の機能を拡張する拡張機器をいう。通信端末３は撮像装置１と接続するためのインタフェースを有し、これにより撮像装置１は通信端末３の機能を利用できる。通信端末３は、このインタフェースを介して撮像装置１とデータ通信を行なう。そして、無線ルータ９ａ及び通信ネットワーク９を介して画像管理装置５とデータ通信を行なう。
【００４１】
なお、撮像装置１が無線ルータ９ａや通信ネットワーク９と直接、データ通信する機能を有する場合、通信端末３はなくてもよい。あるいは、撮像装置１と通信端末３が一体に構成されていてもよい。
【００４２】
画像管理装置５は、例えば、サーバとして機能する情報処理装置であり、通信ネットワーク９を介して、通信端末３及び端末装置７とデータ通信を行なうことができる。画像管理装置５は画像から動体を除去する画像処理を行い、この画像をＷｅｂページとして端末装置７に提供する。したがって、画像管理装置５はＷｅｂサーバとして動作する。このＷｅｂページは、例えば店舗の商品を販売するＥＣサイトのＷｅｂページとして利用されてよい。Ｗｅｂページに店舗のライブ映像が含まれるため臨場感のあるショッピングが可能になる。また、Ｗｅｂページは店舗内の商品棚８１を監視する監視用のＷｅｂページでもよい。管理者は商品棚８１の商品が少ないことを確認して補充したり、商品棚８１の商品が乱れていることを確認して整列させたりすることができる。
【００４３】
全天球画像が撮像される場合、画像管理装置５には、OpenGL ES（3Dグラフィックス用のＡＰＩ：Application Interface）がインストールされている。OpenGL ESを呼び出すことで全天球画像から正距円筒画像を作成したり、全天球画像の一部の画像（所定領域画像）のサムネイル画像を作成したりすることができる。
【００４４】
なお、画像管理装置５にはクラウドコンピューティングが適用されていてよい。クラウドコンピューティングの物理的な構成に厳密な定義はないが、情報処理装置を構成するＣＰＵ、ＲＡＭ、ストレージなどのリソースが負荷に応じて動的に接続・切断されることで情報処理装置の構成や設置場所が柔軟に変更される構成が知られている。また、クラウドコンピューティングでは、画像管理装置５が仮想化されることが一般的である。１台の情報処理装置が仮想化によって複数の画像管理装置５としての機能を提供することや、複数の情報処理装置が仮想化によって一台の画像管理装置５としての機能を提供することができる。なお、画像管理装置５がクラウドコンピューティングとしてではなく単独の情報処理装置により提供されることも可能である。
【００４５】
端末装置７は、画像管理装置５から動体が除去された画像を含むＷｅｂページを取得して表示する情報処理装置である。例えば、ＰＣ(Personal Computer)であり、通信ネットワーク９を介して、画像管理装置５とデータ通信を行う。端末装置７は、ノートＰＣの他、タブレット端末、ＰＣ、ＰＤＡ（Personal Digital Assistant）、電子黒板、テレビ会議端末、ウェアラブルＰＣ、ゲーム機、携帯電話、カーナビゲーションシステム、スマートフォンなどでもよい。また、これらに限られるものではない。
【００４６】
撮像装置１、通信端末３、及び無線ルータ９ａは、店舗等の各販売拠点で設置者Ｘによって所定の位置に設置される。ＥＣサイトと通信する端末装置７は、一般の消費者が生活する場所に配置されるか、又は、一般の諸費者により携帯されてもよい。店舗を監視する端末装置７は、各店舗を統括する本社、店長の自宅、事務室、商品の配送者等に配置されるか、又は、管理者により携帯されてもよい。
【００４７】
＜店舗のイメージと撮像装置の配置例＞
図５は、店舗２のイメージと撮像装置１の配置例の一例である。一般の店舗２では通路を挟んで商品棚８１が並べられている。壁際には冷蔵庫の機能がある商品棚８１にドリンク類が陳列されている場合が多い。撮像装置１は全ての商品棚８１の全ての商品が撮像範囲に入るように数及び配置が決定されてもよいし、所定の１つ以上の商品が撮像範囲に入るように数及び配置が決定されてもよい。撮像装置１が全天球画像を撮像する場合、一般的な画角の撮像装置１よりも少ない数で所望の商品を撮像できる。図５では壁から１つ手前の商品棚８１の上部に撮像装置１が配置されている。撮像装置１は天井に配置されてもよいし、商品棚８１の中段に配置されてもよい。
【００４８】
＜実施形態のハードウェア構成＞
次に、図６〜図８を用いて、本実施形態の撮像装置１、通信端末３，端末装置７及び画像管理装置５のハードウェア構成を説明する。
【００４９】
<<撮像装置>>
図６は、撮像装置１のハードウェア構成図の一例である。以下では、撮像装置１は、２つの撮像素子を使用した撮像装置とするが、撮像素子は３つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置１と同じ機能を有するようにしてもよい。
【００５０】
図６に示されているように、撮像装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及びアンテナ１１７ａによって構成されている。
【００５１】
このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【００５２】
撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とはパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４及び撮像制御ユニット１０５は、バス１１０を介してＣＰＵ１１１と接続される。更に、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、及び電子コンパス１１８なども接続される。
【００５３】
画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒図のデータを作成する。
【００５４】
撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、該撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。
【００５５】
また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。撮像装置１によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。
【００５６】
また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置１には表示部が設けられていないが、表示部を設けてもよい。
【００５７】
マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。
【００５８】
ＣＰＵ１１１は、撮像装置１の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒図のデータを記憶する。
【００５９】
操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮像モードや撮像条件などを入力する。
【００６０】
ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わずにネットワークインタフェースである場合も考えられる。ＤＲＡＭ１１４に記憶された正距円筒図のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／ＦとなるネットワークＩ／Ｆ１１６を介して通信端末３等の外部装置に送信されたりする。
【００６１】
通信部１１７は、撮像装置１に設けられたアンテナ１１７ａを介して、Wi-Fi(wireless fidelity)、ＮＦＣ、又はＬＴＥ（Long Term Evolution）等の離無線技術によって、通信端末３等の外部装置と通信を行う。この通信部１１７によっても、正距円筒図のデータを通信端末３の外部装置に送信することができる。
【００６２】
電子コンパス１１８は、地球の磁気から撮像装置１の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【００６３】
<<通信端末>>
次に、図７を用いて、通信端末３のハードウェア構成を説明する。なお、図７は、無線通信機能を有したクレードルの場合の通信端末３のハードウェア構成図である。
【００６４】
図７に示されているように、通信端末３は、通信端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)３０４、Wi-Fi（登録商標）、ＮＦＣ、ＬＴＥ等でデータ通信する通信部３０５、撮像装置１と有線で通信するためのＵＳＢ I/F３０３、カレンダーや時間情報を保持するＲＴＣ（Real Time Clock）３０６を有している。
【００６５】
また、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。
【００６６】
なお、ＲＯＭ３０２には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。
【００６７】
通信部３０５は、アンテナ３０５ａを利用して無線通信信号により、無線ルータ９ａ等と通信を行う。
【００６８】
図示する他、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって通信端末３の位置情報（緯度、経度、及び高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部を備えていてもよい。
【００６９】
<<画像管理装置、端末装置>>
図８を用いて、画像管理装置５及びノートＰＣの場合の端末装置７のハードウェア構成を説明する。なお、図８は、画像管理装置５及び端末装置７のハードウェア構成図である。画像管理装置５及び端末装置７はともにコンピュータであるため、以下では、画像管理装置５の構成について説明する。端末装置７の構成は画像管理装置５と同様であるとし、相違があるとしても本実施形態の説明に関し支障がないものとする。
【００７０】
画像管理装置５は、画像管理装置５全体の動作を制御するＣＰＵ５０１、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶したＲＯＭ５０２、ＣＰＵ５０１のワークエリアとして使用されるＲＡＭ５０３を有する。また、画像管理装置５用のプログラム等の各種データを記憶するＨＤ５０４、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)５０５を有する。また、フラッシュメモリ等の記録メディア５０６に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ５０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ５０８を有する。ディスプレイ５０８にはタッチパネルが装着されていることが好ましい。また、通信ネットワーク９を利用してデータ通信するためのネットワークＩ／Ｆ５０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード５１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス５１２を有する。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Compact Disc Read Only Memory)５１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ５１４を有する。また、上記各構成要素を図８に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン５１０を備えている。
【００７１】
＜画像処理システムの機能について＞
図９は、本実施形態の画像処理システム２００が有する、撮像装置１、通信端末３、画像管理装置５、及び端末装置７の各機能ブロック図である。
【００７２】
<<撮像装置の機能構成>>
撮像装置１は、受付部１２、撮像部１３、集音部１４、接続部１５、及び記憶・読出部１９を有している。これら各部は、図６に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮像装置１用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。
【００７３】
また、撮像装置１は、図６に示されているＲＯＭ１１２、ＳＲＡＭ１１３、及びＤＲＡＭ１１４の１つ以上によって構築される記憶部１０００を有している。記憶部１０００には撮像装置１用のプログラム及び端末ＩＤが記憶されている。
【００７４】
撮像装置１の受付部１２は、ユーザ（図４では、設置者Ｘ）から撮像装置１に対する操作入力を受け付ける。なお、撮像装置１は設置者Ｘによる撮像のための操作がなくても自動的かつ周期的に周囲を撮像する。周期の間隔は、設置者Ｘが撮像装置１に設定する。あるいは、本社の管理者である閲覧者Ｙが画像管理装置５を介して設定してもよい。
【００７５】
撮像部１３は、周囲を撮像して画像データを作成する。本実施形態では周囲３６０度が写っている全天球画像の画像データを作成するが、一般的な画角の画像データであってもよい。
【００７６】
集音部１４は、撮像装置１の周囲の音を集音して音声データに変換する。音声データが端末装置７に送信される場合、閲覧者Ｙはより臨場感がある状態でＥＣサイトから商品を購入できる。なお、音声データにプライバシー性が高い情報が含まれる可能性があるため、音声データが送信されなくてもよい。
【００７７】
接続部１５は、通信端末３からの電力供給を受けると共に、通信端末３とデータ通信を行う。電力はＡＣアダプターなど別の電源から供給されてもよい。また、撮像装置１と通信端末３は無線で通信してもよい。
【００７８】
記憶・読出部１９は、記憶部１０００に各種データを記憶したり、記憶部１０００から各種データを読み出したりする。なお、以下では、撮像装置１が記憶部１０００から読み書きする場合でも「記憶・読出部１９を介して」という記載を省略する場合がある。
【００７９】
<<通信端末の機能構成>>
通信端末３は、送受信部３１、受付部３２、接続部３３、及び記憶・読出部３９を有している。これら各部は、図７に示されている各構成要素のいずれかが、ＲＯＭ３０２からＲＡＭ３０４上に展開された通信端末３用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。
【００８０】
また、通信端末３は、図７に示されているＲＯＭ３０２及びＲＡＭ３０４によって構築される記憶部３０００を有している。記憶部３０００には通信端末３用のプログラムが記憶されている。
【００８１】
（通信端末の各機能構成）
通信端末３の送受信部３１は、無線ルータ９ａ及び通信ネットワーク９を介して、画像管理装置５と各種データの送受信を行う。なお、以下では、通信端末３が画像管理装置５と通信する場合でも、「送受信部３１を介して」という記載を省略する場合がある。
【００８２】
接続部３３は、撮像装置１に電力供給すると共に、データ通信を行う。撮像装置１と通信端末３は無線で通信してもよい。通信端末３にはＡＣアダプターなどから電力が供給される。
【００８３】
記憶・読出部３９は、記憶部３０００に各種データを記憶したり、記憶部３０００から各種データを読み出したりする。なお、以下では、通信端末３が記憶部３０００から読み書きする場合でも「記憶・読出部３９を介して」という記載を省略する場合がある。
【００８４】
<<画像管理装置の機能構成>>
画像管理装置５は、送受信部５１、画像分割部５２、類似度算出部５３、画面作成部５４、判断部５５、画像合成部５６、及び記憶・読出部５９を有している。これら各部は、図８に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された画像管理装置５用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【００８５】
また、画像管理装置５は、図８に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部５０００を有している。この記憶部５０００には、店舗管理ＤＢ５００１及び分割数ＤＢ５００２が構築されている。以下、各データベースについて説明する。
【００８６】
【表１】
2019057849.tif 000003
表１は、店舗管理ＤＢ５００１に記憶される各情報をテーブル状に示す店舗管理テーブルを示す。店舗管理テーブルには、店舗ＩＤ、店舗名、住所、拠点レイアウトマップ、端末ＩＤと商品、及び、画角の各項目が対応付けて記憶されている。また、店舗管理テーブルの１つの行をレコードという場合がある。
【００８７】
店舗ＩＤは、店舗２を識別するための識別情報の一例である。店舗ＩＤは店舗２に対し重複しないように付与される。店舗ＩＤの一例としては重複しない番号とアルファベットの組み合わせが挙げられる。なお、ＩＤはIdentificationの略であり識別子や識別情報という意味である。ＩＤは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち１つ以上の組み合わせをいう。以下のＩＤについても同様である。
【００８８】
店舗名は、店舗２の名称であり、主に閲覧者Ｙが店舗２を判別するために使用される。住所は店舗２の所在を示す。住所は画像処理システム２００が地図上に店舗２の位置を表示する際に使用される。必要に応じて住所は緯度と経度に変換される。
【００８９】
店舗レイアウトマップには、各店舗のレイアウトを示す画像データなどのファイル名が登録される。店舗レイアウトマップにより店舗２における撮像装置１の位置、及び、商品などの位置が２次元座標で特定される。
【００９０】
端末ＩＤと商品の項目は撮像装置１と商品を対応付ける項目である。店舗レイアウトマップで商品が選択された場合に、商品に対応付けられている店舗内の撮像装置１を画像管理装置５が特定するために使用される。端末ＩＤは、撮像装置１を識別するための識別情報である。端末ＩＤは、例えば、撮像装置１の例えばシリアル番号、製造番号、型番と重複しない数値、ＩＰアドレス、又は、ＭＡＣアドレスなどであるがこれらには限定されない。表１に示すように、１つの店舗２には１つ以上の撮像装置１（端末ＩＤ）が設置されており、商品の位置が店舗レイアウトマップに登録されている。商品と端末ＩＤは１対１に対応するとは限らず、１つの端末ＩＤに複数の商品が対応付けられる場合がある。
【００９１】
画角は、被写体である商品が写っている画角である。全天球画像には周囲の３６０度が写っているため、同一種の商品が写っている範囲は全天球画像の一部である。このため、商品に対応付けて画角が登録されている。画角のうちＨ１、Ｖ１は緯度と経度であり、同一種の商品の領域の中央の座標を示す。α１は同一種の商品の領域を画角で指定する。画角は同じ種類の商品の領域を指定する座標情報である。なお、１対の対角頂点で同一種の商品の領域を指定してもよい。画像処理システム２００は全天球画像のこの画角の範囲を指定して端末装置７に送信するので、端末装置７は全天球画像を受信した直後から所定の商品の商品棚の画像を表示できる。
【００９２】
【表２】
2019057849.tif 000004
表２は、分割数ＤＢ５００２に記憶される各情報をテーブル状に示す分割数テーブルを示す。分割数テーブルには全天球画像が分割される際、どのくらいの大きさに分割されるが登録されている。分割数テーブルは画角、分割数、及び、商品の各項目を有する。画角と商品は表１の店舗管理テーブルと同じものである。分割数は画角で指定される領域を縦と横それぞれ何個に分割するかを示す。表２では縦と横の分割数は同じであるが異ならせてもよい。分割数が多いほど分割後の画像の大きさは小さくなる。分割数で分割後の画像の大きさを指定するのでなく分割後の画像の大きさそのものを指定してもよい。
【００９３】
商品ごとに分割後の画像の大きさが決定されることで、動体及び商品棚の変化を画像管理装置５が区別しやすくなり、全天球画像から動体を除去しやすくなる。詳細を図１０にて説明する。なお、必ずしも商品ごとに分割後の画像の大きさを変更する必要はなく、分割後の画像の大きさは商品の種類が異なっても同じでよい。
【００９４】
（画像管理装置の各機能構成）
画像管理装置５の送受信部５１は、通信ネットワーク９を介して通信端末３、又は端末装置７と各種データの送受信を行う。なお、以下では、画像管理装置５が端末装置７と通信する場合でも、「送受信部５１を介して」という記載を省略する場合がある。
【００９５】
画像分割部５２は、全天球画像を所定の大きさのブロックに分割する。ブロックに分割することで１枚の全天球画像に動体が全く写らないことがなくても動体を除去できる。したがって、来客者数が少ない店舗２の全天球画像は分割されなくてもよい場合がある。また、撮像装置１が撮像する画像が全天球画像でなく一般的な画角である場合、分割されなくてもよい場合がある。ブロックへの分割については図１０にて説明する。
【００９６】
類似度算出部５３はブロックに分割された各画像について、上記した出力画像と入力画像の類似度を算出する。詳細は後述する。なお、類似度を算出するため、類似度算出部５３は端末装置７に送信された出力画像を保持しておく。
【００９７】
判断部５５は、類似度が閾値以上か否かを判断することで、出力画像を更新するか否かを決定する。すなわち、入力画像が被写体の画像かどうかを判断する。類似度が閾値上の場合、出力画像を現在の入力画像で更新すると決定し、類似度が閾値未満の場合、１周期前の出力画像をそのまま出力すると決定する。
【００９８】
画像合成部５６は、判断部５５が出力画像に決定した分割後の画像を合成して元の全天球画像を生成する。画面作成部５４は、画像データを端末装置７に送信する際に、ＨＴＭＬデータ（又はＸＨＴＭＬデータ）、JavaScript（登録商標）及びＣＳＳ（Cascade Style Sheet）などで端末装置７が全天球画像を表示するためのＷｅｂページを作成する。端末装置７はＷｅｂページを解析して画面を表示するため、Ｗｅｂページは画面情報になる。なお、本実施形態でＷｅｂページと称した場合、Ｗｅｂアプリにより適宜構築されるＷｅｂページが含まれるものとする。Ｗｅｂアプリとは、Ｗｅｂブラウザ上で動作するスクリプト言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、Ｗｅｂブラウザ上で使用されるソフトウェア又はその仕組みを言う。
【００９９】
記憶・読出部５９は、記憶部５０００に各種データを記憶したり、記憶部５０００から各種データを読み出したりする。なお、以下では、画像管理装置５が記憶部５０００から読み書きする場合でも「記憶・読出部５９を介して」という記載を省略する場合がある。
【０１００】
＜端末装置の機能構成＞
端末装置７は、送受信部７１、受付部７２、表示制御部７３、及び、記憶・読出部７９を有している。これら各部は、図８に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された端末装置７用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。
【０１０１】
また、端末装置７は、図８に示されているＲＡＭ５０３、及びＨＤ５０４によって構築される記憶部７０００を有している。記憶部７０００には端末装置７用のプログラムが記憶されている。端末装置７用のプログラムは、例えばブラウザソフトウェアであるが、ブラウザソフトウェアのような通信機能を備えたアプリケーションソフトウェアでもよい。
【０１０２】
（端末装置の各機能構成）
端末装置７の送受信部７１は、通信ネットワーク９を介して画像管理装置５と各種データの送受信を行う。なお、以下では、端末装置７が画像管理装置５と通信する場合でも、「送受信部７１を介して」という記載を省略する場合がある。
【０１０３】
受付部７２は、ユーザ（図４では、閲覧者Ｙ）からの操作入力を受け付ける。本実施形態では、商品棚８１（撮像装置１）の選択、閲覧者Ｙが購入する商品の選択、個数の受け付け、画像の回転、及び、商品が写っている画像の拡大や縮小などを受け付ける。
【０１０４】
表示制御部７３は、画像管理装置５から送信された画面情報を解釈して端末装置７のディスプレイ５０８に各種画面を表示させるための制御を行なう。
【０１０５】
記憶・読出部７９は、記憶部７０００に各種データを記憶したり、記憶部７０００から各種データを読み出したりする。なお、以下では、端末装置７が記憶部７０００から読み書きする場合でも「記憶・読出部７９を介して」という記載を省略する場合がある。
【０１０６】
＜画像の分割＞
全天球画像は画角が広いため店舗内に動体があれば写してしまう可能性がある。店舗２への来客頻度が高い場合、動体が写っている全天球画像の頻度も多くなる。ある画像に人物８２が写っていたら人物８２が写っていない過去の全天球画像を出力する動体除去方法では、全く人物８２が写っていない全天球画像が来客頻度に応じて過去のものになるため、時間的に古い商品棚８１が表示されてしまう。このため、本実施形態では、全天球画像をブロック状に分割してから動体除去を行う。ブロックに分割すれば１つのブロックに動体が写る頻度が小さくなりそれほど古くない商品棚８１の画像を出力できる。
【０１０７】
図１０を用いて分割後の画像の大きさについて説明する。図１０は分割後の画像の大きさを説明する図の一例である。分割後の画像の大きさは商品（図１０ではドリンク）の大きさと動体の大きさを考慮して決定される。
【０１０８】
図１０（ａ）に示すように分割後の画像の大きさを商品と同程度にした場合を考える。分割後の画像の大きさを点線９１で示す。本実施形態では動体が写っている場合には過去の出力画像を出力し、商品棚８１の商品が減少又は増大した場合には入力画像を出力したい。しかし、分割後の画像の大きさと商品の大きさが同程度であると、動体が写っている場合も商品が減少又は増大した場合も類似度が低くなるおそれがあり区別がつかない。
【０１０９】
次に、図１０（ｂ）に示すように分割後の画像の大きさを動体よりも大きくした場合を考える。分割後の画像の大きさを点線９１で示す。分割後の画像に動体が写っている場合、類似度は低下するが、商品の数が減少又は増大した場合も類似度が低くなるため区別がつかないおそれがある。例えば、分割後の画像の一部に人体が重なると、商品の減少時の類似度と近くなり、区別がつかない。
【０１１０】
以上から、分割後の画像の大きさは少なくとも商品よりも大きく、動体の大きさ以下であることが好ましい。更に、好ましくは、分割後の画像の大きさは商品の大きさの数倍以上であり、かつ、動体により完全に覆い隠される程度である。こうすることで、動体が写っている分割後の画像の類似度は十分に低くなり、商品の数が減少又は増大した場合の類似度はそれよりも高くなるので、両者を判別しやすくなる。表２の分割数テーブルは両者を判別しやすくなるように分割数が決定されている。本実施形態ではあくまで一例であるが、商品が４つ程度入る大きさに全天球画像を分割する。
【０１１１】
＜類似度＞
類似度は分割後の画像と画像がどのくらい似ているかに関する指標である。一致度や相関度と称してもよい。
【０１１２】
【数１】
2019057849.tif 000005
式（１）のＲは相互相関係数であり、Ｉは例えば入力画像、Ｔは出力画像であり、（ｉ、ｊ）は画素位置を示す。Ｎは横方向の画素数であり、Ｍは縦方向の画素数である。相互相関係数Ｒは１が最大で０が最小である。相互相関係数Ｒが大きいほど類似していることを意味する。
【０１１３】
更に、入力画像の画素値の平均を入力画像から減じ、出力画像の画素値の平均を出力画像から減じて式（１）と同様の計算を行ってもよい。これにより、入力画像の明るさが変動しても類似度を安定的に計算することができる。
【０１１４】
また、画素値の差の絶対値の合計であるＳＡＤ（Sum of Absolute Difference）、輝度値の差の二乗の合計であるＳＳＤ(Sum of Squared Difference)、を用いてもよい。しかしながら、ＳＡＤ又はＳＳＤでは商品の数に変化がないのに照明や日差しによる明るさの変化で値が大きくなる傾向がある。このため、類似度は相互相関係数により求めることが好適である。ただし、店舗内では照明が常時点灯されているため明るさの変化は少なく、ＳＡＤ又はＳＳＤが利用されてもよい。
【０１１５】
なお、人の顔を認識する技術が知られており、動体が人物８２であるとすると、画像管理装置５がこの技術を使って動体を検出することも考えられる。しかし、撮像装置１が商品棚８１を撮像する際、人は背後から撮像されるので顔が写らない。このため、人物８２の顔の検出は困難であり、本実施形態の動体の検出には向いていない。
【０１１６】
＜出力画像の決定＞
図１１を用いて、類似度に基づく出力画像の決定方法について説明する。図１１（ａ）は類似度を示し、図１１（ｂ）は入力画像を示し、図１１（ｃ）は出力画像を示す。判断部５５は、出力画像と入力画像の類似度が閾値以上かどうかの判断を繰り返す。
【０１１７】
時刻ｔ０：撮像装置１が全天球画像を初めて撮像した場合は、入力画像８６_ｔ０がそのまま出力画像である。
【０１１８】
時刻ｔ１：商品棚８１の商品に変化がないので、入力画像８６_ｔ１と時刻ｔ０の出力画像８７_ｔ０の類似度は高く閾値以上となる。判断部５５は時刻ｔ１の入力画像８６_ｔ１を出力画像８７_ｔ１に決定する。
【０１１９】
時刻ｔ２：人物８２が写ったため、入力画像８６_ｔ２と時刻ｔ１の出力画像８７_ｔ１の類似度は閾値未満となる。判断部５５は時刻ｔ１の出力画像８７_ｔ１をそのまま出力画像に決定する。
【０１２０】
時刻ｔ３〜ｔ５：引き続き人物８２が写っているため、入力画像８６_ｔ３〜８６_ｔ５と１周期前の出力画像８７_ｔ２〜８７_ｔ４の類似度は閾値未満となる。判断部５５は１周期前の出力画像８７_ｔ２〜８７_ｔ４をそのまま出力画像に決定する。
【０１２１】
時刻ｔ６：人物８２が商品を取って商品棚８１の前から立ち去ったため、入力画像８６_ｔ６には商品棚８１が写るが商品が１つ少なくっている。このため、時刻ｔ６の入力画像と時刻ｔ５の出力画像の類似度は、商品に全く変更がない状況よりも小さくなり人物８２が写っている場合よりも大きくなる。以下、この類似度と「中程度の類似度」という。中程度の類似度は閾値以上なので、判断部５５は時刻ｔ６の入力画像８６_ｔ６を出力画像に決定する。
【０１２２】
時刻ｔｎ：その後、商品の数に変更がないとすると、時刻ｔ６の出力画像８７_ｔ６と時刻ｔｎの入力画像８６_ｔｎの類似度が高くなるので（類似度はほぼ１）、判断部５５は時刻ｔｎの入力画像８６_ｔｎを出力画像に決定する。
【０１２３】
時刻ｔ２〜ｔ５の出力画像を見ると分かるように、入力画像から動体が検出された場合、出力画像８７_ｔ２〜８７_ｔ５は過去の出力画像８７_ｔ１がそのまま出力画像になるので、閲覧者Ｙはほぼリアルタイムに（数秒程度の遅れで）端末装置７が表示する商品を閲覧できる。また、店舗２の人物８２のプライバシーを守ることができる。
【０１２４】
類似度算出部５３と判断部５５は分割後の画像ごとに類似度の算出と出力画像の決定を行う。そして、全ての分割後の画像で出力画像を決定すると、画像合成部５６が分割された画像を１つの全天球画像に合成する。
【０１２５】
＜動作手順＞
図１２は画像処理システム２００が画像を提供する全体的な手順を示すシーケンス図の一例である。図１２では閲覧者Ｙが画像管理装置５をＥＣサイトとして利用するシーンが想定されている。
【０１２６】
S12-1：端末装置７は画像管理装置５にログインする。一般的なＥＣサイトでは閲覧者が会員登録しており、ログインすることで閲覧者Ｙに関する情報（住所、電話番号、メールアドレス等）が特定される。なお、ログインせずに閲覧者Ｙが商品を購入することも可能であるが、この場合、閲覧者Ｙは住所等を入力する必要がある。
【０１２７】
S12-2：ログインした端末装置７に対し画像管理装置５の画面作成部５４は、閲覧者Ｙの住所から閲覧者Ｙの近くの店舗２の一覧を含む店舗一覧画面を作成する。画面作成部５４は予め登録されている閲覧者Ｙの住所又は端末装置７から送信された端末装置７の位置情報と店舗管理テーブルの住所を比較して、例えば、最寄りの店舗２を含む１０店舗程度を特定する。そして、地図上に店舗２の位置を明示する店舗一覧画面を作成する。画像管理装置５の送受信部５１は店舗一覧画面を端末装置７に送信する。店舗一覧画面の一例を図１３に示す。
【０１２８】
S12-3：端末装置７の送受信部７１は店舗一覧画面を受信し、表示制御部７３が店舗一覧画面をディスプレイ５０８に表示する。閲覧者Ｙが商品を購入したい店舗２を選択すると受付部が商品の選択を受け付ける。
【０１２９】
S12-4：端末装置７の送受信部７１は店舗２を特定するための店舗ＩＤを画像管理装置５に送信する。画像管理装置５の送受信部５１は店舗ＩＤを受信する。これにより、店舗２を特定できたので、画像管理装置５はこの店舗２の商品画面を端末装置７に送信できるようになる。
【０１３０】
S12-5：店舗２の撮像装置１は一例として周期的に周囲を撮像する。
【０１３１】
S12-6：撮像装置１は通信端末３を介して全天球画像、店舗ＩＤ及び装置ＩＤを画像管理装置５に送信する。説明の便宜上、図１２では通信端末３が省略されている。また、店舗内の全ての撮像装置１がそれぞれ全天球画像を送信する。
【０１３２】
S12-7：画像管理装置５の送受信部５１は全天球画像、店舗ＩＤ及び装置ＩＤを受信し、類似度算出部５３及び判断部５５が出力画像を決定する。この処理については図１５を用いて説明する。
【０１３３】
S12-8：画像管理装置５の送受信部５１は全天球画像を含む商品画面を端末装置７に送信する。商品画面の一例を図１４に示す。
【０１３４】
S12-9：端末装置７の送受信部７１は商品画面を受信して、表示制御部７３は商品画面をディスプレイ５０８に表示する。閲覧者Ｙが商品画面で購入したい商品の商品棚８１を選択すると受付部７２が商品棚８１の選択を受け付ける。
【０１３５】
S12-10：端末装置７の送受信部７１は商品棚８１に対応付けられた端末ＩＤを画像管理装置５に送信する。これにより、画像管理装置５は撮像装置１を特定してこの撮像装置１が撮像した全天球画像を端末装置７に送信できるようになる。
【０１３６】
S12-11：画像管理装置５の送受信部５１は端末ＩＤで特定される撮像装置１が送信した全天球画像を画角と共に端末装置７に送信する。全天球画像には周囲３６０度が撮像されているので、この画角は商品が撮像されている範囲を指定するために使用される。端末装置７の表示制御部７３はこの画角で指定される範囲をディスプレイ５０８に表示する。
【０１３７】
なお、ステップＳ１２−１０の全天球画像の送信タイミングは一例であって、端末装置７から端末ＩＤが送信されたかどうかに関係なく、出力画像の決定が終わった全天球画像を遅滞なく画像管理装置５が端末装置７に送信してもよい。ステップＳ１２−１０のように端末ＩＤで指定された撮像装置１の全天球画像のみが送信される場合は、通信負荷を低減できる。出力画像の決定が終わった全天球画像を遅滞なく画像管理装置５が端末装置７に送信する場合は、閲覧者Ｙが商品棚８１（全天球画像）を選択した時に短時間で全天球画像を切り替えることができる。
【０１３８】
＜画面例＞
図１３は端末装置７が表示した店舗一覧画面６０１の一例を示す。店舗一覧画面６０１は、地図表示欄６０２、検索欄６０３、店舗情報欄６０４、及び、決定ボタン６０５を有している。地図表示欄６０２は、閲覧者Ｙを中心とする地図を表示する欄であり、閲覧者の周囲にある店舗２を表示する。店舗２の数は予め決まっていてもよいし、閲覧者Ｙが設定してもよい。閲覧者Ｙは地図を拡大又は縮小することができ、より多くの店舗２を表示させたり、店舗２までのより詳細な経路を確認したりできる。
【０１３９】
検索欄６０３は更に入力欄６０３ａと検索ボタン６０３ｂを有する。入力欄６０３ａは店舗名や場所を閲覧者Ｙが入力するための欄であり、検索ボタン６０３ｂは検索要求を画像管理装置５に端末装置７が送信するためのボタンである。店舗２が検索されると地図表示欄６０２も更新され、検索にヒットした店舗２を中心とする地図が表示される。
【０１４０】
店舗情報欄６０４は、選択中の店舗２の詳細な情報を表示するための欄である。送信直後の店舗一覧画面６０１では最寄り又は最期に利用した店舗２の詳細な情報が表示される。閲覧者Ｙはマウスやタッチパネルなどのポインティングデバイスで地図表示欄６０２から任意の店舗２を選択できる。決定ボタン６０５は、選択中の店舗２の画像を表示する旨を端末装置７が画像管理装置５に送信するためのボタンである。このように閲覧者Ｙは任意の店舗２を選択して、商品を選択できる。
【０１４１】
地図表示欄６０２に代わって又は地図表示欄６０２と共に店舗２のリストをテキストデータで表示してもよい。
【０１４２】
図１４は、端末装置７が表示した商品画面６１１の一例を示す。商品画面６１１は、店舗レイアウトマップ欄６１２、商品画像欄６１３、カート６１４、及び、レジに進むボタン６１５を有している。店舗レイアウトマップ欄６１２には、店舗レイアウトマップが表示される。店舗レイアウトマップ欄６１２は店内のどこにどの商品があるかというマップを簡略化して表示する。例えば、商品棚アイコン６１２ａに商品のカテゴリーが表示されており、各商品棚アイコン６１２ａはポインティングデバイス６１８による選択を受け付けるボタンを兼用している。表１の店舗管理テーブルに示したように各商品棚アイコン６１２ａは撮像装置１の端末ＩＤと対応付けられており（リンクされている又は埋め込まれている）、商品棚アイコン６１２ａが選択されると撮像装置１の端末ＩＤが特定される。選択中の商品棚アイコン６１２ａは反転表示される。
【０１４３】
商品画像欄６１３には、店舗レイアウトマップで選択された商品棚アイコン６１２ａに対応付けられた撮像装置１の全天球画像が表示される。表示された直後の画角は画像管理装置５から指定されるが、閲覧者Ｙは全天球画像を回転させ任意の方向を表示させることができる。全天球画像には、１つの商品（商品のカテゴリーでなく個別の１商品）が占める領域ごとに領域に写っている商品の商品名とその価格が対応付けられている。領域は画角により特定される。端末装置７の受付部７２はポインティングデバイス６１８のクリック（又はタップ）を受け付けると、受け付けた領域に対応付けられた商品とその価格を表示制御部７３がポップアップ画像６１７で表示する。単なるマウスオーバーによりポップアップ画像６１７を表示してもよい。
【０１４４】
閲覧者Ｙは所望の商品かどうかを確認して、所望の商品であればポインティングデバイス６１８をカート６１４にドラッグ＆ドロップする。受付部７２は商品がカート６１４にドラッグ＆ドロップされたことを検出し、カート６１４に商品を対応付ける。カート６１４に対するクリック（又はタップ）等の操作により、表示制御部７３がカート６１４に入っている商品のリスト、価格、及び、合計金額等を表示する。
【０１４５】
レジに進むボタン６１５はカートの商品を決済する画面に遷移するためのボタンである。閲覧者Ｙはこの画面で商品の配送先を設定したり合計金額を支払ったりすることができる。
【０１４６】
＜出力画像の決定＞
図１５は、画像管理装置５が出力画像を決定する手順を示すフローチャート図の一例である。図１５の処理は撮像装置１が１つの全天球画像を撮像し、画像管理装置５に送信するごとにスタートする。
【０１４７】
まず、画像分割部５２が全天球画像を分割する（ステップＳ１５−１）。画像分割部５２は分割数テーブルを参照し、画角に対応付けられた分割数で全天球画像を分割する。分割数テーブルに登録されていない画角については予め決まった大きさに分割する。また、全天球画像の全体を分割する必要はない。店舗２の天井や撮像装置１の真下付近には動体が存在しないと考えてよいためである。したがって、画像分割部５２は天井や撮像装置１の真下付近の画角を分割しなくてもよい。
【０１４８】
次に、類似度算出部５３は分割後の画像ごとに１周期前の出力画像と現在の入力画像の類似度を算出する（ステップＳ１５−２）。
【０１４９】
そして、判断部５５が１周期前の出力画像と現在の入力画像の類似度が閾値以上か否かを判断する（ステップＳ１５−３）。
【０１５０】
類似度が閾値以上の場合、判断部５５は出力画像を入力画像で更新する（ステップＳ１５−４）。類似度が閾値未満の場合、判断部５５は１周期前の出力画像をそのまま出力画像として出力すると決定する（ステップＳ１５−５）。
【０１５１】
そして、判断部５５は全ての分割後の画像の処理が終わったか否かを判断する（ステップＳ１５−６）。動体が写る可能性がない画角に対応する分割後の画像については出力画像を決定することなく、出力画像を入力画像で更新すればよい。これにより、出力画像の決定に要する時間を短縮できる。
【０１５２】
全ての分割後の画像の処理が終わると、判断部５５によるブロックごとの判断結果に応じて、画像合成部５６は入力画像又は出力画像を合成して１つの全天球画像を生成する（ステップＳ１５−７）。画面作成部５４は全天球画像を含むＷｅｂページを、送受信部５１を介して端末装置７に送信する。あるいは全天球画像のみを端末装置７に送信する。端末装置７の表示制御部７３は動体が除去された全天球画像をディスプレイ５０８に表示することができる。
【０１５３】
＜まとめ＞
以上説明したように、本実施形態の画像処理システム２００は、ある時刻の画像に人物８２が写っていたら人物８２が写っていない過去の全天球画像を出力するので、人物８２などの動体を除去して商品棚８１の画像を提供することができる。動体が写っている間は動体が検出される前の出力画像が表示されるので、閲覧者が商品を閲覧できないということがない。商品棚８１の商品が取り出されて商品棚８１の画像に変化が生じても類似度の低下はわずかなので、商品棚８１の入力画像で出力画像を更新できる。
【実施例２】
【０１５４】
本実施例では動体の一部が分割後の画像に写っていてもこれを検出することで、入力画像で出力画像を更新しない画像処理システム２００について説明する。本実施例において、実施例１において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１５５】
図１６は、本実施例の画像処理システム２００が解決する不都合を説明する図の一例である。図１６（ａ）はある周期の出力画像であり、図１６（ｂ）と図１６（ｃ）は時間的に後の入力画像である。
【０１５６】
図１６（ｂ）では商品が１つ減っているため、実施例１で説明したように類似度が中程度になる。類似度が中程度であるため、判断部５５は図１６（ａ）の出力画像を図１６（ｂ）の入力画像で更新すると判断する。これに対し、図１６（ｃ）では人物８２の一部（例えば指）が写っているため、同じように類似度が中程度になる。類似度が中程度であるため、判断部５５は図１６（ａ）の出力画像を図１６（ｃ）の入力画像で置き換えると判断する。しかし、人物８２の一部が写っているため閲覧者には違和感を与えてしまう。
【０１５７】
このような不都合に対応するため、本実施例では図１６（ｃ）のような入力画像を人物８２が写っていると判断できる画像処理システム２００について説明する。
【０１５８】
＜出力画像の決定＞
図１７を用いて、本実施例における類似度に基づく出力画像の決定方法について説明する。図１７（ａ）は類似度を示し、図１７（ｂ）は入力画像を示し、図１７（ｃ）は出力画像を示す。判断部５５は、出力画像と入力画像の類似度が閾値以上かどうかの判断を繰り返す。
【０１５９】
時刻ｔ０：撮像装置１が全天球画像を初めて撮像した場合は、入力画像８６_ｔ０がそのまま出力画像である。
【０１６０】
時刻ｔ１：商品棚８１の商品に変化がないので、入力画像８６_ｔ１と時刻ｔ０の出力画像８７_ｔ０の類似度は高く閾値以上となる。本実施例では類似度が中程度以上の場合、判断部５５が所定数の周期前の入力画像と現在の入力画像の類似度を算出する。図１７では２周期前と４周期前の入力画像と、現在の入力画像８６_ｔ１との類似度がそれぞれ算出されている。そして類似度が高い場合、商品棚８１の変化であると判断して、判断部５５は時刻ｔ１の入力画像８６_ｔ１を出力画像８７_ｔ１に決定する。
【０１６１】
時刻ｔ２：人物８２が写ったため、入力画像８６_ｔ２と時刻ｔ１の出力画像８７_ｔ１の類似度は閾値未満となる。判断部５５は時刻ｔ１の出力画像８７_ｔ１をそのまま出力画像に決定する。
【０１６２】
時刻ｔ３〜ｔ５：引き続き人物８２が写っているため、入力画像８６_ｔ３〜８６_ｔ５と１周期前の出力画像８７_ｔ２〜８７_ｔ４の類似度は閾値未満となる。判断部５５は１周期前の出力画像８７_ｔ２〜８７_ｔ４をそのまま出力画像に決定する。
【０１６３】
時刻ｔ６：人物８２が商品を取って商品棚８１の前から立ち去ったため、入力画像には商品棚８１が写るが商品が１つ少なくっている。このため、時刻ｔ６の入力画像８６_ｔ６と時刻ｔ５の出力画像８７_ｔ５の類似度は、中程度となる。類似度が中程度以上の場合、類似度算出部５３は２周期前と４周期前の入力画像８６_ｔ２、８６_ｔ４と、現在の入力画像８６_ｔ６との類似度をそれぞれ算出する。出力画像と入力画像の類似度が閾値以上なのに、過去の入力画像と現在の入力画像との類似度が低い場合、商品棚８１の変化か人体の一部が写っているのか判断できないと考え、判断部５５は１周期前の時刻ｔ５の出力画像８７_ｔ５をそのまま出力画像に決定する。
【０１６４】
時刻ｔｎ：その後、商品の数に変更がないとすると、時刻ｔ６の出力画像８７_ｔ６と時刻ｔｎの入力画像８６_ｔｎの類似度が中程度以上になるので、判断部５５は２周期前と４周期前の入力画像と、現在の入力画像８６_ｔｎとの類似度をそれぞれ算出する。人物８２が立ち去った後のタイミングになると、時刻ｔｎの入力画像８６_ｔｎと２周期前と４周期前の入力画像との類似度が高いので（ほぼ一致するので）、判断部５５は現在の入力画像８６_ｔｎを出力画像に決定する。したがって、入力画像がしばらく変化しなかった場合には、出力画像と入力画像の中程度以上の変化を背景の変化と判断して、出力画像を入力画像８６_ｔｎで更新できる。
【０１６５】
本実施例の動体除去方法によれば、時刻ｔ６で出力画像８７_ｔ５が現在の入力画像８６_ｔ６で更新されないため、商品棚が実際に変化していても端末装置７に送信されるタイミングが遅れてしまう。しかし、商品棚８１が変化していないのに人体の一部が写っているために商品棚８１の変化であると誤判断して、人体の一部が写っている現在の入力画像で出力画像を更新することを抑制できる。
【０１６６】
図１８を用いて補足する。図１８は図１７と同様の図であるが、時刻ｔ６の入力画像８６_ｔ６が図１７と異なっている。
【０１６７】
時刻ｔ６：人物８２が商品棚８１の前から立ち去ったが、商品を取らなかった。しかし、現在の入力画像８６_ｔ６には人体の一部が写っている。このため、時刻ｔ６の入力画像８６_ｔ６と時刻ｔ５の出力画像８７_ｔ５の類似度は、中程度となる。類似度が中程度以上の場合、類似度算出部５３は２周期前と４周期前の入力画像８６_ｔ２、８６_ｔ４と、現在の入力画像８６_ｔ６との類似度がそれぞれ算出する。
【０１６８】
類似度が低いので、判断部５５は１周期前の時刻ｔ５の出力画像８７_ｔ５をそのまま出力画像に決定する。したがって、人体の一部が写っているが入力画像と１周期前の出力画像との類似度が中程度になっても、人体の一部が写っている現在の入力画像で出力画像を更新することを抑制できる。
【０１６９】
図１８から理解されるように、２周期前と４周期前の入力画像と現在の入力画像とが比較されるのは、現在の入力画像に人体の一部が写っている場合は、人間の移動速度から考えて数秒前（所定時間前）の入力画像にも人体が写っている可能性が高いためである。毎秒１枚の画像が撮像される場合、２周期前と４周期前は２秒前と４秒前に相当する。撮像装置１の撮像周期が変わった場合、一例として２秒前と４秒前の入力画像が抽出されればよい。したがって、２周期前と４周期前というタイミングは一例であり、人間の移動速度から考えられる所定時間前の入力画像と現在の入力画像が比較されればよい。例えば、１周期前と３周期前、３秒前と５秒前等でもよい。
【０１７０】
２周期前と４周期前の２つのタイミングで比較するのは、過去に人体が写っていなかったことをより確実に確認するためであり、２周期前又は４周期前のいずれか一方のタイミングで比較してもよい。どちらかの入力画像と現在の入力画像との類似度が低ければ、現在の入力画像に人体の一部が写っている可能性があるためである。
【０１７１】
１周期前〜５周期前の入力画像のうち１つと現在の入力画像との類似度を算出してもよいし、１周期前〜５周期前の入力画像のうち２つ以上（１秒周期の場合は最大で５つ）の入力画像と現在の入力画像との類似度を算出してもよい。複数の入力画像と現在の入力画像の類似度が算出された場合、すべての類似度が閾値以上かどうか判断される。
【０１７２】
＜動作手順＞
図１９は、本実施例の画像処理システム２００が出力画像を更新する手順を説明するフローチャート図の一例である。図１９の説明では図１５との相違を説明する。まず、ステップＳ１９−１とＳ１９−２の処理は図１５のステップＳ１５−１、Ｓ１５−２と同様でよい。
【０１７３】
ステップＳ１９−３で判断部５５は類似度が閾値ｘ以上か否かを判断する（ステップＳ１９−３）。閾値ｘは商品棚８１に変化がある場合又は人体の一部が写っている場合の類似度よりも低い閾値である。閾値ｘは図１５のステップＳ１５−３の閾値と同程度になる。
【０１７４】
ステップＳ１９−３の判断がＹｅｓの場合、類似度算出部５３は２周期前と４周期前の入力画像と現在の入力画像の類似度を算出する（ステップＳ１９−４）。すなわち、数秒前の動体が写っている可能性がある入力画像と現在の入力画像との類似度が算出される。
【０１７５】
判断部５５は２周期前の入力画像と現在の入力画像との類似度が閾値ｙ以上かどうか、及び、４周期前の入力画像と現在の入力画像との類似度が閾値ｙ以上かどうかを判断する（ステップＳ１９−５）。
【０１７６】
ステップＳ１９−５でＹｅｓと判断された場合、過去の入力画像に動体が写っていないので、判断部５５は出力画像を現在の入力画像で更新すると判断する（Ｓ１９−６）。これにより、商品棚８１に変化が合った場合には変化後の入力画像で出力画像を更新できる。
【０１７７】
ステップＳ１９−５でＮｏと判断された場合、過去の入力画像に動体が写っている可能性があるため、現在の入力画像に人体の一部が写っているのか商品棚の変化なのかを判断できないとして、判断部５５は１周期前の出力画像をそのまま出力画像に決定する（Ｓ１９−７）。これにより、現在の入力画像に人体の一部が写っている場合には、出力画像を更新することを回避できる。
【０１７８】
なお、閾値ｙは数秒前の入力画像と一致することを検出したいため（商品棚８１が写っており変化がない）、最大の類似度である１に近い値となる。したがって、閾値ｙは閾値ｘよりも大きい。これにより、入力画像が変化しない場合には出力画像を入力画像で更新できる。
【０１７９】
ステップＳ１９−８とＳ１９−９の処理は図１５のステップＳ１５−６とＳ１５−７と同じでよい。
【０１８０】
以上説明したように、本実施例の画像処理システム２００は、現在の入力画像と過去の入力画像を比較することで、動体の一部が分割後の画像に写っていてもこれを検出して出力画像を更新することを抑制できる。
【実施例３】
【０１８１】
本実施例では、分割後の画像に動体が写っているか否かの判断の後、出力画像を更新しないと判断した旨を周りに拡張する拡張処理を施すことで動体が一部だけ写った入力画像で出力画像を更新することをより確実に抑制する画像処理システム２００について説明する。
【０１８２】
図２０は、本実施例の画像処理システム２００が有する、撮像装置１、通信端末３、画像管理装置５、及び端末装置７の各機能ブロック図である。なお、図２０の説明において、図９と同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１８３】
本実施例の画像管理装置５は拡張処理部５７を有している。拡張処理部５７は動体が検出された分割後の画像に隣接した分割後の画像でも動体が検出されたとみなす処理を行う。すなわち、動体が検出された分割後の画像の範囲を拡張する。
【０１８４】
＜拡張処理＞
図２１は拡張処理を説明する図の一例である。図２１においてマスは分割後の画像を現し、「１」の画像は動体が検出された分割後の画像を現し、「０」は動体が検出されていない分割後の画像を現す。まず、図２１（ａ）は実施例１，２により動体の検出処理が行われた９つの分割後の画像を示す。図２１（ａ）では中央の画像でのみ動体が検出されている。
【０１８５】
図２１（ｂ）は動体が検出された分割後の画像の上下左右に隣接した画像への動体が検出された旨の拡張を説明する図である。図２１（ｂ）では中央の画像の上下左右に隣接した画像に「１」が設定されている。このような拡張処理を４近傍拡張処理という。
【０１８６】
図２１（ｃ）は動体が検出された分割後の画像の上下左右及び斜めに隣接した画像への動体が検出された旨の拡張を説明する図である。図２１（ｃ）では中央の画像の上下左右及び斜めに隣接した画像に「１」が設定されている。このような拡張処理を８近傍拡張処理という。
【０１８７】
図２２は８近傍拡張処理の好適例を説明する図の一例である。図２２（ａ）に示すように、例えば、人体の頭部が９つの分割後の画像の中央に写っているものとする。中央、左下、下中央及び右下の画像からは動体が検出されると考えられる。図２２（ｂ）に示すように、４近傍拡張処理では上下左右の画像に人体が写っていると見なすことができるが、斜め上の画像にも人体の一部が写っている。右上及び左上の画像にわずかにだけ人体が写っている場合、実施例２の判断方法でも出力画像が更新されるおそれがある。
【０１８８】
これに対し、図２２（ｃ）に示すように、８近傍拡張処理では右上及び左上の画像に人体の一部が写っていたと見なすことができるので、動体が写っている入力画像で出力画像を更新することを抑制できる。
【０１８９】
したがって、８近傍拡張処理が有効であることが分かるが、動体の形状等によっては４近傍拡張処理を採用してもよい。
【０１９０】
図２３は、拡張処理部５７が分割後の画像に対し拡張処理を行うフローチャート図の一例である。図２３の処理では図１９との相違を主に説明する。
【０１９１】
図２３の処理ではステップＳ２３−１〜Ｓ２３−４が追加されている。ステップＳ２３−１では、拡張処理部５７が、分割後の画像を１つ決定する（ステップＳ２３−１）。分割後の画像の決定方法は任意でよい。
【０１９２】
次に、着目している分割後の画像に動体が検出されているか否かを判断する（ステップＳ２３−２）。
【０１９３】
ステップＳ２３−２の判断がＹｅｓの場合、拡張処理部５７は上下左右及び斜めの画像で動体が検出されたとみなす（ステップＳ２３−３）。ステップＳ２３−２の判断がＮｏの場合、拡張処理部５７は拡張処理を行わない。
【０１９４】
拡張処理部５７は全ての分割後の画像で終了したか否かを判断し（ステップＳ２３−４）、終了した場合は分割後の画像を合成する（Ｓ１９−９）。
【０１９５】
なお、ステップＳ２３−２において、動体が検出されたとみなされた分割後の画像はＹｅｓと判断されないことに注意されたい。これにより、動体が検出されたとみなされた分割後の画像と隣接する分割後の画像が連鎖的に、動体が検出されたとみなされることを回避できる。
【０１９６】
本実施例によれば、出力画像を更新しないと判断した分割後の画像を近傍に拡張することで、人物８２の一部が写っているが過去の入力画像との類似度が閾値ｙ以上となった場合でも出力画像が更新されないので、動体が一部だけ写った入力画像で出力画像を更新することを抑制することができる。
【実施例４】
【０１９７】
本実施例では人体が写っている画像を機械的に学習しておき学習モデル５８を構築し、学習モデル５８により入力画像に人物が写っているか否かを判断する画像処理システム２００について説明する。
【０１９８】
図２４は、本実施例の画像処理システム２００が有する、撮像装置１、通信端末３、画像管理装置５、及び端末装置７の各機能ブロック図である。なお、図２４の説明において、図９と同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
【０１９９】
本実施例の画像管理装置５は学習モデル５８を有している。学習モデル５８は、動体が写っている画像又は写っていない画像の学習結果を保持しており、入力された画像に対し動体の有無を出力する。学習モデル５８は入力画像に動体が写っているか否か（又は、確度、確率、又は確からしさ等）を出力する。入力画像から抽出した特徴量を使用してもよい。学習装置は予め、ディープラーニング、サポートベクターマシン、ニューラルネットワーク、ランダムフォレストなどのアルゴリズムでトレーニング用の入力画像に人物が写っているか否を学習することで学習モデル５８を構築する。学習モデル５８にはこの学習結果が保持されており、入力画像に動体が写っているか否か（被写体の画像かどうか）を判断する判断部として機能する。
【０２００】
＜学習モデルを用いた判断について＞
１．学習モデルのみで入力画像を破棄
図２５を用いて、学習モデル５８を用いた出力画像の決定方法について説明する。図２５（ａ）は入力画像を示し、図２５（ｂ）は出力画像を示す。判断部５５は、学習モデル５８を単独で使って動体が写っているか否かに基づいて出力画像を決定する。
【０２０１】
時刻ｔ０：入力画像８６_ｔ０が撮像されると、学習モデル５８に入力される。学習モデル５８は人物が写っていないと判断する。時刻ｔ０では出力画像がないため判断部５５は入力画像８６_ｔ０を出力すると判断する。
【０２０２】
時刻ｔ１：入力画像８６_ｔ１が撮像されると、学習モデル５８に入力される。学習モデル５８は人物が写っていないと判断するので、時刻ｔ１の入力画像８６_ｔ１を出力画像８７_ｔ１に決定する。
【０２０３】
時刻ｔ２：入力画像８６_ｔ２には人物８２が写ったため、学習モデル５８は人物が写っていると判断し、入力画像８６_ｔ２を破棄し、時刻ｔ１の出力画像８７_ｔ１をそのまま出力画像に決定する。
【０２０４】
時刻ｔ３〜ｔ５：引き続き人物８２が写っているため、学習モデル５８は人物が写っていると判断する。このため、１周期前の出力画像８７_ｔ２〜８７_ｔ４をそのまま出力画像に決定する。
【０２０５】
時刻ｔ６：人物８２が商品を取って商品棚８１の前から立ち去ったため、入力画像には商品棚８１が写るが商品が１つ少なくっている。学習モデル５８は人物が写っていないと判断するので、時刻ｔ６の入力画像８６_ｔ６を出力画像８７_ｔ６に決定する。
【０２０６】
このように、学習モデル５８を使用することで学習モデル５８の精度で人物が写っている入力画像を破棄できる。
【０２０７】
図２６は、学習モデルが入力画像を破棄する手順を示すフローチャート図の一例である。図２６の処理は入力画像が撮像されるごとに繰り返し実行される。まず、入力画像がブロックに分割される（Ｓ１５−１）。
【０２０８】
学習モデルは入力画像に動体が写っているか否かを判断する（Ｓ２６−１）。入力画像に動体が写っていない場合、学習モデルは出力画像を入力画像で更新する（Ｓ２６−２）。
【０２０９】
入力画像に動体が写っている場合、学習モデルは１周期前の出力画像を出力する（Ｓ２６−３）。
【０２１０】
そして、学習モデル５８は全ての分割後の画像の処理が終わったか否かを判断する（Ｓ１５−６）。全ての分割後の画像の処理が終わっていなければステップＳ２６−１からの処理を繰り返し、全ての分割後の画像の処理が終わった場合は分割後の画像を合成する（Ｓ１５−７）。
【０２１１】
２．学習モデルで破棄されなかった入力画像と出力画像の類似度により入力画像を破棄
図２７を用いて、学習モデル５８を用いた出力画像の決定方法について説明する。図２７（ａ）は入力画像を示し、図２７（ｂ）は出力画像を示す。判断部５５は、学習モデル５８を使うと共に、出力画像と入力画像の類似度が閾値以上かどうかに基づいて出力画像を決定する。
【０２１２】
時刻ｔ０：入力画像８６_ｔ０が撮像されると、学習モデル５８に入力される。学習モデル５８は人物が写っていないと判断する。時刻ｔ０では出力画像がないため判断部５５は入力画像８６_ｔ０を出力すると判断する。
【０２１３】
時刻ｔ１：入力画像８６_ｔ１が撮像されると、学習モデル５８に入力される。学習モデル５８は人物が写っていないと判断する。次に、類似度算出部５３は出力画像８７_ｔ０と入力画像８６_ｔ１の類似度を算出する。商品棚８１の商品に変化がないので、入力画像８６_ｔ１と出力画像８７_ｔ０の類似度は高く閾値以上となる。類似度が閾値以上の場合、判断部５５は時刻ｔ１の入力画像８６_ｔ１を出力画像８７_ｔ１に決定する。
【０２１４】
時刻ｔ２：入力画像８６_ｔ２には人物８２が写ったため、学習モデル５８は人物が写っていると判断する。判断部５５は入力画像８６_ｔ２を破棄し、時刻ｔ１の出力画像８７_ｔ１をそのまま出力画像に決定する。
【０２１５】
時刻ｔ３〜ｔ５：引き続き人物８２が写っているため、学習モデル５８は人物が写っていると判断する。判断部５５は１周期前の出力画像８７_ｔ２〜８７_ｔ４をそのまま出力画像に決定する。
【０２１６】
時刻ｔ６：人物８２が商品を取って商品棚８１の前から立ち去ったため、入力画像には商品棚８１が写るが商品が１つ少なくっている。まず、学習モデル５８は人物が写っていないと判断する。時刻ｔ６の入力画像８６_ｔ６と時刻ｔ５の出力画像８７_ｔ５の類似度は、中程度となる。類似度が中程度（閾値以上）の場合、判断部５５は時刻ｔ６の入力画像８６_ｔ６を出力画像８７_ｔ６に決定する。
【０２１７】
このように、学習モデル５８を使用することで学習モデル５８の精度で人物が写っている入力画像を破棄できる。人物が写っていないと学習モデル５８が判断した入力画像に対し、類似度算出部５３が類似度を算出するので、実際には人物が写っている入力画像を破棄することができる。
【０２１８】
＜動作手順＞
図２８は、画像管理装置５が出力画像を決定する手順を示すフローチャート図の一例である。図２８の説明では主に図１５との相違を説明する。
【０２１９】
まず、画像分割部５２が全天球画像を分割する（ステップＳ１５−１）。
【０２２０】
次に、学習モデル５８が分割された画像に人物が写っているか否かを判断する（Ｓ２６−１）。人物が写っていると判断された場合、処理はステップＳ１５−５に進み、判断部５５は１周期前の出力画像をそのまま出力画像として出力すると決定する（ステップＳ１５−５）。
【０２２１】
人物が写っていないと判断された場合、処理はステップＳ２６−１に進み、学習モデル５８は分割後の画像１つずつについて動体が写っているか否かを判断する（ステップＳ２６−１）。以降の処理は図１５と同様でよい。
【０２２２】
＜まとめ＞
したがって、本実施例の画像処理システム２００によれば、学習モデル５８を利用するので学習モデル５８の精度が高ければ人物が写っている入力画像を高精度に検出できる。人物が写っていると学習モデル５８が判断した画像には商品棚が更新された画像は含まれないので、人物が写っていないと学習モデル５８が判断した画像は商品棚が更新された画像又は更新されていない画像になる。商品棚が更新されている場合は出力画像を早期に入力画像で更新したい場合には、閾値を小さくすることで人体が写っている可能性が低い状況で早期に出力画像を更新できる。
【０２２３】
また、学習モデル５８を用いた処理は実施例１だけでなく実施例２，３のいずれとも組み合わせて適用できる。いずれの実施例と組み合わせる場合でも、入力画像に対し人物が写っているか否かを最初に学習モデル５８が判断すればよい。実施例３において人物が写っていると学習モデル５８が判断した場合、人物が存在するブロックを中心に拡張処理部５７が拡張処理を行う。
【０２２４】
また、本実施例では、入力画像と出力画像の類似度が算出される前に人物が写っているか否かを学習モデル５８が判断したが、入力画像と出力画像の類似度の算出の後に、人物が写っているか否かを学習モデル５８が判断してもよい。類似度が閾値よりも高いため、判断部５５が出力画像を入力画像で更新すると判断しても、人体の一部が写っている場合に入力画像を破棄できる。すなわち、商品棚の更新に対しては出力画像を入力画像で更新する必要があるため、閾値（実施例２では閾値ｘ）を大きくすることに限界があるが、本実施例では早期に出力画像を更新するために閾値が低くなり人体が写っている入力画像があっても、学習モデル５８がこれを検出して人物が写っている入力画像を破棄できる。
【実施例５】
【０２２５】
本実施例では画像処理システム２００の変形例について説明する。
【０２２６】
＜動体除去を行う装置について＞
実施例１〜３では画像管理装置５が動体除去を行ったが、動体除去は撮像装置１、通信端末３、無線ルータ９ａ、又は、端末装置７のどの装置が行ってもよい。また、店舗側に存在するコンピュータ又はマイクロサーバのような情報処理装置が行ってもよい。また、図４には記載がないが通信ネットワーク９を介して接続された動体除去の専用の情報処理装置が動体を除去してもよい。
【０２２７】
また、図４では端末装置７が画像管理装置５から動体除去された全天球画像を取得しているが、端末装置７は撮像装置１から直接、全天球画像を取得してもよい。この場合も、撮像装置１、通信端末３、無線ルータ、又は端末装置７のどの装置が動体除去を行ってもよい。また、撮像装置１と端末装置７が直接、接続されていてもよい。また、端末装置７と撮像装置１が一体に構成されていてもよい。
【０２２８】
また、端末装置７と撮像装置１とが一体の場合、端末装置７が画像管理装置５に全天球画像を送信し、動体が除去された全天球画像を画像管理装置５から取得してもよい。
【０２２９】
＜店舗以外の利用シーン＞
会議や講義等で使用されるホワイトボード又は電子黒板に表示された情報を、複数の端末装置７で共有するために、撮像装置１がホワイトボード又は電子黒板を撮像する場合がある。撮像時に筆記者が写る場合があるが、本実施形態で説明した動体除去により筆記者を除外すると共に、ホワイトボード又は電子黒板に表示された情報の変化を検出して出力画像を更新できる。
【０２３０】
また、ライブカメラについても好適に利用することができる。ライブカメラとは、遠隔地の映像をユーザのいる場所から監視するために遠隔地に設置され、映像を周期的に撮像する撮像装置１である。例えば、天候の観測地や観光地に設置され、全天球画像に環境客等が写っている場合に画像管理装置５が動体を除去できる。屋外だけでなく博物館などの屋内に撮像装置１が配置されてもよい。
【０２３１】
また、物流倉庫等に配置された撮像装置１の画像を解析して画像管理装置５が商品の補充を行う在庫管理にも、本実施形態の動体除去方法を適用できる。物流倉庫では商品をピックアップしたり補充したりする作業員が働いているため、全天球画像に写る場合があるが、本実施形態により全天球画像から作業員を除去し、更に、商品の減少による全天球画像の変化を出力画像として出力できる。
【０２３２】
また、工場のラインを撮像装置１で撮像し、画像管理装置５がラインの異常を検知する異常監視にも本実施形態の動体除去方法を適用できる。工場のラインでは作業員が組み立て等を行っているが、本実施形態により全天球画像から作業員を除去し、更に、ライン上の製品の変化による全天球画像の変化を出力画像として出力できる。
【０２３３】
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０２３４】
例えば、本実施形態では同じ場所から周囲３６０度（同じ方向を撮像するのと同じ効果）を撮像する定点観測を例に説明したが、撮像装置１は固定されていなくてもよい。例えばユーザが把持する状態でも撮像は可能である。また、撮像装置１がゆっくりと移動する場合、背景の変化による類似度は中程度以上になるので、入力画像で出力画像を更新できる。
【０２３５】
また、端末装置７が表示した全天球画像が時系列に記憶されてもよい。これにより、商品棚の商品がどのように変化したのか商品棚だけの変化を再生できる。商品棚の他、天候の変化を記録する場合などでも有効である。
【０２３６】
また、以上の実施例で示した図９、図２０などの構成例は、画像処理システム２００の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像処理システム２００は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
【０２３７】
また、画像管理装置５の機能が複数のサーバ装置に分散されていてもよいし、画像処理システム２００が複数の画像管理装置５を有していてもよい。
【０２３８】
また、送受信部５１は画像取得手段の一例であり、類似度算出部５３は類似度算出手段の一例であり、判断部５５と学習モデル５８は判断手段の一例であり、判断部５５と学習モデル５８は被写体画像判断手段の一例であり、画像分割部５２は画像分割手段の一例として、拡張処理部５７は処理手段の一例であり、表示制御部７３と送受信部５１は出力手段の一例である。閾値ｘは第一の閾値の一例であり、閾値ｙは第二の閾値の一例であり、入力画像と出力画像の類似度は第一の類似度の一例であり、現在の入力画像と過去の入力画像の類似度は第二の類似度の一例である。
【符号の説明】
【０２３９】
１          撮像装置
３          通信端末
５          画像管理装置
７          端末装置
８１        商品棚
８２        人物
８６        入力画像
８７        出力画像
２００      画像処理システム
【先行技術文献】
【特許文献】
【０２４０】
【特許文献１】特許５４９３７０９号公報
【図１】
2019057849.tif 000006
【図２】
2019057849.tif 000007
【図３】
2019057849.tif 000008
【図４】
2019057849.tif 000009
【図５】
2019057849.tif 000010
【図６】
2019057849.tif 000011
【図７】
2019057849.tif 000012
【図８】
2019057849.tif 000013
【図９】
2019057849.tif 000014
【図１０】
2019057849.tif 000015
【図１１】
2019057849.tif 000016
【図１２】
2019057849.tif 000017
【図１３】
2019057849.tif 000018
【図１４】
2019057849.tif 000019
【図１５】
2019057849.tif 000020
【図１６】
2019057849.tif 000021
【図１７】
2019057849.tif 000022
【図１８】
2019057849.tif 000023
【図１９】
2019057849.tif 000024
【図２０】
2019057849.tif 000025
【図２１】
2019057849.tif 000026
【図２２】
2019057849.tif 000027
【図２３】
2019057849.tif 000028
【図２４】
2019057849.tif 000029
【図２５】
2019057849.tif 000030
【図２６】
2019057849.tif 000031
【図２７】
2019057849.tif 000032
【図２８】
2019057849.tif 000033