(57)【要約】【課題】ユーザが陳列部材の設置場所まで出向かなくても商品の陳列状態を認識可能とする。【解決手段】直線成分検出部は、満載画像の陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第１の直線群情報を生成する。直線成分検出部は、撮影画像の陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第２の直線群情報を生成する。判定部は、第１の直線群情報と第２の直線群情報とを比較して陳列部材に陳列されている商品が乱雑状態にあるか否かを判定する。【選択図】      図４
2015148956.tif 000002
【特許請求の範囲】
【請求項１】
商品を陳列する陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に前記商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す差分画像を生成する差分画像生成部と、
前記差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する陳列領域抽出部と、
前記満載画像の前記陳列領域抽出部で抽出された陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第１の直線群情報を生成する第１の直線成分検出部と、
前記陳列部材を撮影する撮影手段から取り込んだ撮影画像の前記陳列領域抽出部で抽出された陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第２の直線群情報を生成する第２の直線成分検出部と、
前記第１の直線群情報と前記第２の直線群情報とを比較して前記陳列部材に陳列されている商品が乱雑状態にあるか否かを判定する判定部と、
前記判定部による判定結果を報知する報知部と、
を具備する画像処理装置。
【請求項２】
前記第１の直線群情報に含まれる傾き値のヒストグラムを生成する第１の傾き分布生成部と、
前記第２の直線群情報に含まれる傾き値のヒストグラムを生成する第２の傾き分布生成部と、
をさらに具備し、
前記判定部は、前記第１の傾き分布生成部で生成されるヒストグラムと前記第２の傾き分布生成部で生成されるヒストグラムとの類似度を求め、この類似度によって乱雑状態にあるか否かを判定する請求項１記載の画像処理装置。
【請求項３】
前記報知部は、前記撮影画像を、判定結果を認識可能な画像に加工し可視化することで報知する請求項１または２記載の画像処理装置。
【請求項４】
前記撮影画像の判定対象領域を指示する指示部、をさらに具備し、
前記第１の直線成分検出部は、前記満載画像の前記陳列領域抽出部で抽出された陳列領域内に相当する画像のうち前記指示部で指示された判定対象領域の画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第１の直線群情報を生成し、
前記第２の直線成分検出部は、前記撮影画像の前記陳列領域抽出部で抽出された陳列領域内に相当する画像のうち前記指示部で指示された判定対象領域の画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第２の直線群情報を生成する請求項１または２記載の画像処理装置。
【請求項５】
前記報知部は、前記撮影画像のうち前記判定対象領域の画像を、判定結果を認識可能な画像に加工し可視化することで報知する請求項４記載の画像処理装置。
【請求項６】
商品を陳列する陳列部材を撮影する撮影手段を接続してなるコンピュータを、
商品を陳列する陳列部材に前記商品が陳列されていない状態を撮影したカラ画像と前記陳列部材に前記商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す差分画像を生成する差分画像生成手段、
前記差分画像のなかで前記カラ画像と前記満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する陳列領域抽出手段、
前記満載画像の前記陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第１の直線群情報を生成する第１の直線成分検出手段、
前記撮影手段で撮影された撮影画像の前記陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第２の直線群情報を生成する第２の直線成分検出手段、
前記第１の直線群情報と前記第２の直線群情報とを比較して前記陳列部材に陳列されている商品が乱雑状態にあるか否かを判定する判定手段、及び
前記判定手段による判定結果を報知する報知手段、
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、商品棚等に陳列されている商品の状態を検出可能な画像処理を行う画像処理装置及びコンピュータを当該画像処理装置として機能させるための画像処理プログラムに関する。
【背景技術】
【０００２】
店舗における商品棚の画像をモニタカメラによって時系列に撮影し、その撮影画像を画像処理装置で処理して、品薄状態を監視するシステムが知られている。従来のシステムであれば、店員が商品棚の設置場所まで出向かなくても、品薄の商品があるか否かを認識できる。
【０００３】
しかしながら従来のシステムでは、商品の陳列状態までを店員が確認することはできない。例えば商品棚に陳列された商品が乱雑のまま放置されていると、客に悪印象を与え、客離れが進みかねない。このため多くの店では、商品の陳列状態に乱れがないか、定期的に店員が店内を見回っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−８１５５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一実施形態が解決しようとする課題は、ユーザが陳列部材の設置場所まで出向かなくても商品の陳列状態を認識できる画像処理装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
一実施形態において、画像処理装置は、差分画像生成部と、陳列領域抽出部と、第１の直線成分検出部と、第２の直線成分検出部と、判定部と、報知部とを含む。差分画像生成部は、商品を陳列する陳列部材に商品が陳列されていない状態を撮影したカラ画像と陳列部材に商品が満載されている状態を撮影した満載画像との所定の尺度における差分を表す差分画像を生成する。陳列領域抽出部は、差分画像のなかでカラ画像と満載画像との差分が所定の第１のしきい値よりも大きい領域を陳列領域として抽出する。第１の直線成分検出部は、満載画像の陳列領域抽出部で抽出された陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第１の直線群情報を生成する。第２の直線成分検出部は、陳列部材を撮影する撮影手段から取り込んだ撮影画像の陳列領域抽出部で抽出された陳列領域内に相当する画像から直線成分を検出し、検出された直線群の傾き値の集合を含む第２の直線群情報を生成する。判定部は、第１の直線群情報と第２の直線群情報とを比較して陳列部材に陳列されている商品が乱雑状態にあるか否かを判定する。報知部は、判定部による判定結果を報知する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態における監視システムの概略構成を示す模式図。
【図２】第１の実施形態において、画像処理装置の要部構成を示すブロック図。
【図３】第１の実施形態において、画像ファイルのデータ構造を示す模式図。
【図４】第１の実施形態において、画像処理装置が有する陳列監視機能を説明するためのブロック図。
【図５】第１の実施形態において、陳列領域抽出部の情報処理手順を示す流れ図。
【図６】第１の実施形態において、乱雑状態判定部の情報処理手順を示す流れ図。
【図７】カラ画像の一例を示す図。
【図８】満載画像の一例を示す図。
【図９】撮影画像の一例を示す図。
【図１０】撮影画像の他の例を示す図。
【図１１】陳列領域抽出画像の一例を示す図。
【図１２】直線群情報Ｄ１の一例を示す図。
【図１３】図８に示す満載画像から検出される直線成分の傾き分布であるヒストグラムを示す図。
【図１４】図９に示す撮影画像から検出される直線成分の傾き分布であるヒストグラムを示す図。
【図１５】図１０に示す撮影画像から検出される直線成分の傾き分布であるヒストグラムを示す図。
【図１６】第２の実施形態において、陳列状態が乱雑状態と判定されたときに情報処理装置に表示される撮影画像の一例を示す図。
【図１７】第２の実施形態において、画像処理装置が有する陳列監視機能を説明するためのブロック図。
【図１８】第３の実施形態において、画像処理装置が有する陳列監視機能を説明するためのブロック図。
【図１９】指示画像の一例を示す図。
【図２０】第３の実施形態において、陳列状態が乱雑状態と判定されたときに情報処理装置に表示される撮影画像の一例を示す図。
【発明を実施するための形態】
【０００８】
以下、画像処理装置の実施形態について、図面を用いて説明する。  
なお、この実施形態は、図１に示すように、商品を陳列する陳列部材を平置き型の商品棚１とし、この商品棚１を撮影した画像から商品の陳列状態を監視する監視システムの画像処理装置３を例示する。
【０００９】
［第１の実施形態］
はじめに、第１の実施形態について、図１〜図１６を用いて説明する。  
図１は、第１の実施形態における監視システムの概略構成を示す模式図である。監視システムは、モニタカメラ２と画像処理装置３と情報処理装置４とを含む。モニタカメラ２は、監視対象である平置き型の商品棚１を上方から撮影できるように、例えば店舗の天井部に間隔をあけて複数取り付けられる。したがって、モニタカメラ２によって撮影される画像領域は、商品が陳列される面とその周囲の床面とが含まれる。
【００１０】
商品棚１は平置き型であり、上面１ａに商品が陳列される。本実施形態の商品棚１は、上面１ａが階段状になっており、各段に商品が陳列される。通常、商品は、品種毎に区分けされて商品棚１に陳列される。
【００１１】
画像処理装置３は、モニタカメラ２に対して１対１で対応するように複数用意される。画像処理装置３は、モニタカメラ２によって撮影される画像から商品棚１に陳列されている商品の状態を検出する。画像処理装置３は、ＬＡＮ（Local Area Network）等のネットワーク５を介して情報処理装置４に接続される。
【００１２】
情報処理装置４は、情報を入力する入力デバイス４ａと、情報を表示する表示デバイス４ｂとを含む。入力デバイス４ａは、キーボード、マウス等である。表示デバイス４ｂは、液晶ディスプレイ等である。例えばパーソナルコンピュータが、情報処理装置４として採用される。情報処理装置４は、各画像処理装置３を制御し、各画像処理装置３で検出された商品の陳列状態をオペレータに知らせるための画面を表示デバイス４ｂに表示する。情報処理装置４を操作するオペレータは、例えば店長や商品の補充責任者等である。
【００１３】
図２は、画像処理装置３の要部構成を示すブロック図である。各画像処理装置３は、同一構成であるので、ここでは１台のみ説明する。
【００１４】
画像処理装置３は、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、補助記憶デバイス３４、時計部３５、通信インターフェース３６及びカメラコントローラ３７を備える。ＣＰＵ３１は、アドレスバス，データバス等のバスライン３８を接続しており、このバスライン３８を介してＲＯＭ３２、ＲＡＭ３３、補助記憶デバイス３４、時計部３５、通信インターフェース３６及びカメラコントローラ３７の各部とデータ信号を送受信する。
【００１５】
ＣＰＵ３１は、コンピュータの中枢部分に相当する。ＣＰＵ３１は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置３としての各種の機能を実現するべく各部を制御する。
【００１６】
ＲＯＭ３２は、上記コンピュータの主記憶部分に相当する。ＲＯＭ３２は、上記のオペレーティングシステムやアプリケーションプログラムを記憶する。ＲＯＭ３２は、ＣＰＵ３１が各部を制御するための処理を実行する上で必要なデータを記憶する場合もある。
【００１７】
ＲＡＭ３３は、上記コンピュータの主記憶部分に相当する。ＲＡＭ３３は、ＣＰＵ３１が処理を実行する上で必要なデータを記憶する。またＲＡＭ３３は、ＣＰＵ３１によって情報が適宜書き換えられるワークエリアとしても利用される。
【００１８】
補助記憶デバイス３４は、上記コンピュータの補助記憶部分に相当する。補助記憶デバイス３４は、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）などである。補助記憶デバイス３４は、ＣＰＵ３１が各種の処理を行う上で使用するデータや、ＣＰＵ３１での処理によって生成されたデータを保存する。補助記憶デバイス３４は、上記のアプリケーションプログラムを記憶する場合もある。
【００１９】
時計部３５は、現在の日付及び時刻を計時する。  
通信インターフェース３６は、情報処理装置４からネットワーク５を介して送信されるデータ信号を受信する。また通信インターフェース３６は、ＣＰＵ３１の指令に応じて、ネットワーク５を介して情報処理装置４にデータ信号を送信する。
【００２０】
カメラコントローラ３７は、対応するモニタカメラ２の撮影開始，終了を制御する。またカメラコントローラ３７は、モニタカメラ２で撮影されるフレーム画像を取り込み、時系列にフレームメモリに格納する。フレームメモリは、例えばＲＡＭ３３に形成される。
【００２１】
このように構成された画像処理装置３は、商品棚１における商品の陳列状態を監視する機能、いわゆる陳列監視機能を有する。この陳列監視機能を実現するために、画像処理装置３は、補助記憶デバイス３４に、図３に示すように記憶エリア３４１，３４２，３４３を有する画像ファイル３４０を保存する。
【００２２】
記憶エリア３４１はカラ画像Ｇ０の格納部であり、記憶エリア３４２は満載画像Ｇ１の格納部であり、記憶エリア３４３は撮影画像Ｇ２の格納部である。カラ画像Ｇ０は、商品がほとんど陳列されていない状態の商品棚１を表す画像である。満載画像Ｇ１は、商品がほぼ満載されている状態の商品棚１を表す画像である。カラ画像Ｇ０及び満載画像Ｇ１の解像度は、モニタカメラ２によって撮影されるフレーム画像の解像度と一致する。
【００２３】
画像処理装置３は、カラ画像Ｇ０及び満載画像Ｇ１の設定モードを有する。設定モードは、情報処理装置４からのコマンドにより選択される。例えば情報処理装置４のオペレータは、商品棚１から商品を取り除いた状態で入力デバイス４ａを操作して、カラ画像Ｇ０の設定モードを指令する。カラ画像Ｇ０の設定モードが指令されると、情報処理装置４は、カラ画像Ｇ０の設定モード選択コマンドを、ネットワーク５を介して各画像処理装置３に送信する。
【００２４】
カラ画像Ｇ０の設定モード選択コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを設定モードに切り替える。設定モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影された画像をカラ画像Ｇ０として、記憶媒体である補助記憶デバイス３４の記憶エリア３４１に格納する。
【００２５】
同様に、オペレータは、商品棚１に商品を満載させた状態で入力デバイス４ａを操作して、満載画像Ｇ１の設定モードを指令する。満載画像Ｇ１の設定モードが指令されると、情報処理装置４は、満載画像Ｇ１の設定モード選択コマンドを、ネットワーク５を介して各画像処理装置３に送信する。
【００２６】
満載画像Ｇ１の設定モード選択コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを設定モードに切り替える。設定モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影された画像を満載画像Ｇ１として、記憶媒体である補助記憶デバイス３４の記憶エリア３４２に格納する。
【００２７】
撮影画像Ｇ２は、上記設定モードとは異なる稼働モードのときにモニタカメラ２によって撮影される画像である。稼働モードは、補助記憶デバイス３４にカラ画像Ｇ０と満載画像Ｇ１とが格納されると、選択可能となる。稼働モードは、情報処理装置４からのコマンドにより選択される。
【００２８】
情報処理装置４は、例えば店舗の開店時刻になると、稼働モードの開始コマンドを、ネットワーク５を介して各画像処理装置３に配信する。開始コマンドを受信した画像処理装置３のＣＰＵ３１は、動作モードを稼働モードに切り替える。稼働モードに切り替わると、ＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２を動作させる。そしてＣＰＵ３１は、モニタカメラ２によって撮影される画像を周期的に取り込み、撮影画像Ｇ２として補助記憶デバイス３４の記憶エリア３４３に格納する。このときＣＰＵ３１は、時計部３５で計時されている日時のデータを読み込み、この日時データを撮影日時として撮影画像Ｇ２に付加する。
【００２９】
記憶エリア３４３の容量には限りがある。このため、記憶エリア３４３の容量がフルもしくはニアフルになった場合には、ＣＰＵ３１は、撮影日時の古い順に撮影画像Ｇ２を消去し、その代わりに新たな撮影画像Ｇ２を記憶エリア３４３に格納する。
【００３０】
情報処理装置４は、例えば店舗の閉店時刻になると、稼働モードの終了コマンドを、ネットワーク５を介して各画像処理装置３に送信する。終了コマンドを受信した画像処理装置３のＣＰＵ３１は、カメラコントローラ３７を制御してモニタカメラ２の動作を停止させる。その後ＣＰＵ３１は、次のコマンドを待機する。
【００３１】
稼働モードの開始コマンド及び終了コマンドの送信タイミングは、上記例に限定されるものではない。例えばオペレータによる情報処理装置４の手動操作により、稼働モードの開始コマンド及び終了コマンドを画像処理装置３に送信してもよい。
【００３２】
画像処理装置は、動作モードが稼働モードのとき、陳列管理機能が有効となる。  
図４は、画像処理装置３が有する陳列監視機能を説明するためのブロック図である。陳列監視機能を実現するために、画像処理装置３は、受付部３１１、画像選択部３１２、差分画像生成部３１３、陳列領域抽出部３１４、第１の直線成分検出部３１５Ａ、第２の直線成分検出部３１５Ｂ、第１の傾き分布生成部３１６Ａ、第２の傾き分布生成部３１６Ｂ、乱雑状態判定部３１７及び可視化部３１８の各部を備える。各部３１１〜３１８は、ＣＰＵ３１が所定の画像処理プログラムにしたがって処理を実行することにより実現される。画像処理プログラムは、ＲＯＭ３２に格納される。補助記憶デバイス３４に画像処理プログラムが格納され、実行する際にＲＡＭ３３のプログラムエリアに展開されてもよい。
【００３３】
受付部３１１は、陳列監視コマンドの受付機能を果たす。陳列監視コマンドは、例えば時計部３５で検出される時刻が１分を経過する毎に発生する。情報処理装置４から各画像処理装置３に、ネットワーク５を介して定期的にあるいは不定期に陳列監視コマンドが送信されてもよい。情報処理装置４から不定期に送信される陳列監視コマンドには、陳列監視日時のデータが含まれてもよい。
【００３４】
受付部３１１は、陳列監視コマンドを待機する。陳列監視コマンドを検出すると、受付部３１１は、画像選択部３１２に対して画像の選択を指令する。このとき受付部３１１は、陳列監視日時も指令する。陳列監視日時は、陳列監視コマンドに陳列監視日時のデータが含まれている場合にはそのデータの日時である。陳列監視日時のデータが含まれていない場合には、陳列監視コマンドを検出した時点の時計部３５で計時されている日時である。
【００３５】
画像選択部３１２は、画像ファイル３４０に保存されている画像データの選択機能を果たす。前述したように画像ファイル３４０には、カラ画像Ｇ０と満載画像Ｇ１と撮影日時毎の撮影画像Ｇ２とが保存されている。画像選択部３１２は、受付部３１１から画像の選択が指令されると、画像ファイル３４０の記憶エリア３４１及び記憶エリア３４２から、カラ画像Ｇ０と満載画像Ｇ１とを選択する。また画像選択部３１２は、画像ファイル３４０の記憶エリア３４３から、撮影日時が陳列監視日時に最も近い撮影画像Ｇ２を選択する。この場合、陳列監視日時に対して撮影日時が前か後かは問わず、陳列監視日時に最も近い撮影日時の撮影画像Ｇ２を選択すればよい。あるいは、陳列監視日時に対して撮影日時が前の撮影画像Ｇ２の中で、陳列監視日時に最も近い撮影日時の撮影画像Ｇ２を選択してもよい。
【００３６】
陳列監視コマンドに陳列監視日時のデータが含まれていない場合、画像選択部３１２は、カラ画像Ｇ０及び満載画像Ｇ２とともに、撮影日時が現在日時に最も近い撮影画像Ｇ２を選択する。陳列監視コマンドに陳列監視日時のデータが含まれている場合には、画像選択部３１２は、カラ画像Ｇ０及び満載画像Ｇ２とともに、撮影日時が陳列監視日時に最も近い撮影画像Ｇ２を選択する。
【００３７】
画像選択部３１２は、画像ファイル３４０から選択したカラ画像Ｇ０を、差分画像生成部３１３に出力する。また画像選択部３１２は、画像ファイル３４０から選択した満載画像Ｇ１を、差分画像生成部３１３と第１の直線成分検出部３１５Ａとに出力する。さらに画像選択部３１２は、画像ファイル３４０から選択した撮影画像Ｇ２を、第２の直線成分検出部３１５Ｂと可視化部３１８とに出力する。
【００３８】
差分画像生成部３１３は、カラ画像Ｇ０と満載画像Ｇ１との所定の尺度における差分を表す差分画像Ｇ３を生成する機能を果たす。差分を求める際の尺度としては、例えば以下の方法１〜４が考えられる。
【００３９】
方法１．２つの画像の対応する画素毎に三原色Ｒ，Ｇ，Ｂの値の差分を色別に求め、その絶対値abs(ΔＲ)、abs(ΔＧ)、abs(ΔＢ)を差分画像Ｇ３，Ｇ４の各画素の三原色Ｒ，Ｇ，Ｂの値として設定する方法  
方法２．２つの画像の対応する画素間のＲＧＢ空間でのユークリッド距離（絶対値abs(ΔＲ)、abs(ΔＧ)、abs(ΔＢ)の各二乗の和の平方根）を求め、このユークリッド距離の値を、差分画像Ｇ３，Ｇ４の各画素の値とする方法
方法３．ＲＧＢ画像をＨＳＶ色空間画像（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、このＨＳＶ色空間画像の画素毎に明度差の絶対値abs(ΔＶ)を求め、この明度差の絶対値abs(ΔＶ)を差分画像Ｇ３，Ｇ４の各画素の値として設定する方法  
方法４．ＲＧＢ画像をＨＳＶ色空間画像（Ｈ：色相、Ｓ：彩度、Ｖ：明度）に変換し、このＨＳＶ色空間画像の画素毎に彩度差の絶対値abs(ΔＳ)を求め、この彩度差の絶対値abs(ΔＳ)を差分画像Ｇ３，Ｇ４の各画素の値として設定する方法  
なお、差分を求める方法は上記方法１〜４に限定されるものではなく、他の方法であってもよい。
【００４０】
差分画像生成部３１３は、生成した差分画像Ｇ３を陳列領域抽出部３１４に出力する。陳列領域抽出部３１４は、差分画像Ｇ３から陳列領域内と陳列領域外とを抽出し、陳列領域抽出画像Ｇ４を生成する機能を果たす。
【００４１】
図５は、陳列領域抽出部３１４の情報処理手順を示す流れ図である。差分画像生成部３１３にて差分画像Ｇ３が生成されると、ＣＰＵ３１は、図５の流れ図に示す手順の処理を開始する。
【００４２】
先ずＣＰＵ３１は、差分画像Ｇ３をＲＡＭ３３のワークエリアに格納する（Act１）。またＣＰＵ３１は、カウンタｎを“０”にリセットする（Act２）。カウンタｎは、例えばＲＡＭ３３に形成される。なお、Act１とAct２との処理の順序はこれに限定されるものではなく、前後が入れ替わってもよい。
【００４３】
次にＣＰＵ３１は、カウンタｎを“１”だけカウントアップする（Act３）。そしてＣＰＵ３１は、カウンタｎが上限値Ｎを超えたか否かを確認する（Act４）。上限値Ｎは、モニタカメラ２で撮影される画像の１フレームの画素数である。上限値Ｎは、モニタカメラ２の解像度によって定まる。上限値Ｎは、例えば補助記憶デバイス３４に予め設定される。各画像処理装置３にそれぞれ接続されるモニタカメラ２の解像度がカメラ毎に異なる場合、各画像処理装置３に設定される上限値Ｎも、その解像度に応じて異なる。
【００４４】
カウンタｎが上限値Ｎを超えていない場合（Act４にてＮＯ）、ＣＰＵ３１は、差分画像Ｇ３における注目画素の画素値３Ｐｎを検出する（Act５）。注目画素の画素値３Ｐｎの“ｎ”は、カウンタｎの値である。本実施形態では、差分画像Ｇ３を示すフレーム画像の１ライン目における左端の画素値を“３Ｐ１”と表し、この画素に隣接する同一ラインの画素値を“３Ｐ２”と表す。以後、同様に同一ラインの画素値を左から順番に“３Ｐ３”，“３Ｐ４”，……と表す。そして１ライン目の右端の画素値を“３Ｐｋ”と表したとき、２ライン目の左端の画素値を“３Ｐ(k+1)”と表す。したがって、最終ラインの右端の画素値は“３ＰＮ”と表される。
【００４５】
注目画素の画素値３Ｐｎを検出したならば、ＣＰＵ３１は、この画素値３Ｐｎが第１のしきい値Ｌ１以上か否かを確認する（Act６）。第１のしきい値Ｌ１は、注目画素が陳列領域内の画素なのか陳列領域外の画素なのかを識別するために設定される任意の値である。
【００４６】
差分画像Ｇ３の各画素の値は、カラ画像Ｇ０の同一画素の値と満載画像Ｇ１の同一画素の値との差分である。カラ画像Ｇ０の一例を図７に示し、満載画像Ｇ１の一例を図８に示す。図７及び図８に示すように、カラ画像Ｇ０と満載画像Ｇ１とには、それぞれ同一の商品棚１の画像が映し出されている。カラ画像Ｇ０に映し出されている商品棚１には、商品が何も陳列されていない。満載画像Ｇ１に映し出されている商品棚１には、３種類の商品Ｍ１，Ｍ２，Ｍ３が全域に亙って整然と並べられて陳列されている。
【００４７】
カラ画像Ｇ０と満載画像Ｇ１とを画素毎に比較した場合、商品棚１が映し出されている領域、すなわち陳列領域内については商品の有無により画像に差があるため、画素値の差が大きい。しかし、商品棚１以外の領域、すなわち陳列領域外については類似した画像のため画素値の差が小さい。したがって、第１のしきい値Ｌ１としては、商品棚１が映し出されている領域の画素値の差分と商品棚１が映し出されていない領域の画素値の差分とを識別可能な値を設定すればよい。
【００４８】
注目画素の画素値３Ｐｎが第１のしきい値Ｌ１以上の場合（Act６にてＹＥＳ）、注目画素は、商品棚１が存在する領域、すなわち陳列領域内の画素であると推測できる。この場合、ＣＰＵ３１は、陳列領域抽出画像Ｇ４の注目画素に相当する画素の値４Ｐｎを、陳列領域内を示す任意の値ａに設定する（Act７）。これに対し、注目画素の画素値３Ｐｎが第１のしきい値Ｌ１よりも小さい場合には（Act６にてＮＯ）、注目画素は、商品棚１が存在しない領域、すなわち陳列領域外の画素であると推測できる。この場合、ＣＰＵ３１は、陳列領域抽出画像Ｇ４の注目画素に相当する画素の値４Ｐｎを、陳列領域外を示す任意の値ｚに設定する（Act８）。値ａと値ｚとは、異なる値であればその大小関係は限定されない。
【００４９】
陳列領域抽出画像Ｇ４の注目画素に相当する画素の値４Ｐｎを任意の値ａまたは値ｚに設定したならば、ＣＰＵ３１は、Act３の処理に戻る。すなわちＣＰＵ３１は、カウンタｎをさらに“１”だけカウントアップする。そしてカウンタｎが上限値Ｎを超えていない場合（Act４にてＮＯ）、ＣＰＵ３１は、Act５〜Act８の処理を再度実行する。
【００５０】
ＣＰＵ３１は、カウンタｎをカウントアップする毎に、Act５〜Act８の処理を繰り返す。そしてカウンタｎが上限値Ｎを超えたならば（Act４にてＹＥＳ）、ＣＰＵ３１は、陳列領域抽出画像Ｇ４を第１及び第２の直線成分検出部３１５Ａ，３１５Ｂに出力する（Act９）。
【００５１】
図７に示したカラ画像Ｇ０と図８に示した満載画像Ｇ１との差分画像Ｇ３から生成される陳列領域抽出画像Ｇ４の一例を図１１に示す。図１１に示すように、陳列領域抽出画像Ｇ４は、商品棚１の商品が陳列される上面１ａの領域に相当する画素値ａの画像と、それ以外の領域に相当する画素値ｚの画像とに区分される。図１１では、画素値ａの画像が白抜きによって示される。また、画素値ｚの画像が第１の網掛けパターンＰ１で示される。
【００５２】
第１の直線成分検出部３１５Ａは、画像選択部３１２により選択される満載画像Ｇ１について、陳列領域抽出画像Ｇ４によって陳列領域として指定された領域内の直線成分を検出する機能を果たす。第２の直線成分検出部３１５Ｂは、画像選択部３１２により選択される撮影画像Ｇ２について、陳列領域抽出画像Ｇ４によって陳列領域として指定された領域内の直線成分を検出する機能を果たす。直線成分の検出方法としては、例えば公知技術である画像のHough（ハフ）変換を採用することができる。
【００５３】
第１の直線成分検出部３１５Ａは、満載画像Ｇ１の直線成分を検出すると、その検出結果を直線群の傾き値の集合である直線群情報Ｄ１としてまとめる。そして第１の直線成分検出部３１５Ａは、直線群情報Ｄ１を第１の傾き分布生成部３１６Ａに出力する。第２の直線成分検出部３１５Ｂは、撮影画像Ｇ２の直線成分を検出すると、その検出結果を直線群の傾き値の集合である直線群情報Ｄ２としてまとめる。そして第２の直線成分検出部３１５Ｂは、直線群情報Ｄ２を第２の傾き分布生成部３１６Ｂに出力する。
【００５４】
直線群情報Ｄ１の一例を図１２に示す。直線群情報Ｄ２についても同様なので、ここでの説明は省略する。直線群情報Ｄ１は、検出された各直線の個別番号（直線No.）と、直線に対して所定の座標原点から下した垂線の長さρと、前記垂線が所定の座標軸となす角度θとから構成される。ρとθとが決まれば、直線は特定できる。
【００５５】
図８に示す満載画像Ｇ１の場合、商品Ｍ１，Ｍ２，Ｍ３は品種が異なるもののパッケージの形状はいずれもほぼ直方体である。しかも商品Ｍ１，Ｍ２，Ｍ３は、それぞれパッケージの長辺及び短辺が商品棚１における上面１ａの長辺及び短辺とほぼ一致するように整然と並べられている。したがって、満載画像Ｇ２における陳列領域内の画像の直線成分は、商品Ｍ１，Ｍ２，Ｍ３の長辺方向と短辺方向との２方向にほぼ収束する。
【００５６】
図９及び図１０は撮影画像Ｇ２の例である。図９は、商品Ｍ１，Ｍ２，Ｍ３が満載状態のときと同様にほぼ整然と並べられている撮影画像Ｇ２-1の例である。図１０は、商品Ｍ１，Ｍ２，Ｍ３が乱雑に置かれている撮影画像Ｇ２-2の例である。
【００５７】
撮影画像Ｇ２-1の場合、陳列領域内の画像の直線成分は、満載画像Ｇ２のときと同様に、商品パッケージの長辺方向と短辺方向との２方向にほぼ収束する。これに対し、撮影画像Ｇ２-2の場合には、商品パッケージの長辺方向と短辺方向とがばらばらのため、陳列領域内の画像の直線成分が多方向に分散する。
【００５８】
第１の傾き分布生成部３１６Ａは、直線群情報Ｄ１に基づいて傾き値のヒストグラムＨ１を生成する機能を果たす。第２の傾き分布生成部３１６Ｂは、直線群情報Ｄ２に基づいて傾き値のヒストグラムＨ２を生成する機能を果たす。直線の傾きは、直線群情報Ｄ１，Ｄ２の構成要素である角度θを用いて表される。例えば、角度［−（cosθ/sinθ）］のように表すことができるし、単純に角度θで表してもよい。なお、直線の傾きを表す方法は角度θを用いる方法に限定されるものではなく、他の方法であってもよい。
【００５９】
第１の傾き分布生成部３１６Ａにおいて生成されるヒストグラムＨ１の一例を図１３に示す。直線群情報Ｄ１は、満載画像Ｇ２における陳列領域内の画像の直線成分を示す情報である。満載画像Ｇ２における陳列領域内の画像の直線成分は、一定方向に並べられた商品のパッケージの長辺方向と短辺方向との２方向にほぼ収束する。したがって第１の傾き分布生成部３１６Ａでは、図１３に示すように、長辺方向と短辺方向との２方向を示す値で急峻なピークを持つヒストグラムＨ１が生成される。
【００６０】
第２の傾き分布生成部３１６Ｂにおいて、撮影画像Ｇ２-1に対する直線群情報Ｄ２から生成されるヒストグラムＨ２の一例を図１４に示す。撮影画像Ｇ２-1における陳列領域内の画像の直線成分は、一定方向に並べられた商品のパッケージの長辺方向と短辺方向との２方向にほぼ収束する。したがって第２の傾き分布生成部３１６Ｂでは、図１４に示すように、長辺方向と短辺方向との２方向を示す値で急峻なピークを持つヒストグラムＨ２が生成される。
【００６１】
第２の傾き分布生成部３１６Ｂにおいて、撮影画像Ｇ２-2に対する直線群情報Ｄ２から生成されるヒストグラムＨ２の一例を図１５に示す。撮影画像Ｇ２-2における陳列領域内の画像の直線成分はばらつきがあり、多方向に分散する。したがって第２の傾き分布生成部３１６Ｂでは、図１５に示すように、ピークのないなだらかなヒストグラムＨ２が生成される。
【００６２】
乱雑状態判定部３１７は、第１の傾き分布生成部３１６Ａで生成されたヒストグラムＨ１と第２の傾き分布生成部３１６Ｂで生成されたヒストグラムＨ２とに基づいて、商品の陳列状態、すなわち商品が整然と並べられているか乱雑に置かれているかを判定する機能を果たす。
【００６３】
図６は、乱雑状態判定部３１７の情報処理手順を示す流れ図である。第１の傾き分布生成部３１６Ａ及び第２の傾き分布生成部３１６ＢにてヒストグラムＨ１及びヒストグラムＨ２が生成されると、ＣＰＵ３１は、図６の流れ図に示す手順の処理を開始する。
【００６４】
先ずＣＰＵ３１は、ヒストグラムＨ１及びヒストグラムＨ２をＲＡＭ３３のワークエリアに格納する（Act１１）。次にＣＰＵ３１は、ヒストグラムＨ１とヒストグラムＨ２との類似度Ｒを算出する（Act１２）。ヒストグラムの類似度算出方法としては、公知であるバタチャリア（Bhattacharyya）係数などを用いることができる。バタチャリア係数は、次の（１）式で定義される。
【００６５】
【数１】
2015148956.tif 000003
【００６６】
（１）式において、“Ｂ”はバタチャリア係数である。“ｓ”は直線の傾きである。ＨｎＩ(s)は、規格化されたヒストグラムＨ１の傾きｓの度数である。ＨｎII(s)は、規格化されたヒストグラムＨ２の傾きｓの度数である。規格化されたヒストグラムとは、元のヒストグラムの各ビンの度数を総度数で割って得られるヒストグラムを指す。バタチャリア係数Ｂを計算する際には、予め、ヒストグラムＨ１とヒストグラムＨ２とを規格化する。なお、規格化されたヒストグラムが完全に一致すると、バタチャリア係数Ｂは最大値1.0となる。なお、ヒストグラムの類似度算出方法は上記方法に限定されるものではなく、他の方法であってもよい。
【００６７】
ヒストグラムの類似度Ｒを算出したならば、ＣＰＵ３１は、この類似度Ｂが第２のしきい値Ｌ２未満か否かを確認する（Act１３）。第２のしきい値Ｌ２は、ヒストグラムＨ１とヒストグラムＨ２とが類似しているか否かを識別するために設定される任意の値である。
【００６８】
図９に示すように、商品棚１に商品Ｍ１，Ｍ２，Ｍ３が満載状態のときと同様にほぼ整然と並べられている場合、撮影画像Ｇ２-1から生成されるヒストグラムＨ２は、満載画像Ｇ１から生成されるヒストグラムＨ１との類似度Ｒが高い。これに対し、図１０に示すように、商品Ｍ１，Ｍ２，Ｍ３が乱雑に置かれている場合、撮影画像Ｇ２-2から生成されるヒストグラムＨ２は、満載画像Ｇ１から生成されるヒストグラムＨ１との類似度Ｒが低くなる。そこで、商品が乱雑に置かれていると認識すべき類似度Ｒの最大値が第２のしきい値Ｌ１として設定される。
【００６９】
類似度Ｒが第２のしきい値Ｌ２よりも高い場合（Act１３にてＹＥＳ）、商品は乱雑に置かれていないと推測される。この場合、ＣＰＵ３１は、判定結果のデータを“Ｎ”とする（Act１４）。一方、類似度Ｒが第２のしきい値Ｌ２以下の場合には（Act１３にてＮＯ）、商品が乱雑に置かれていると推測される。この場合、ＣＰＵ３１は、判定結果のデータを“Ｙ”とする（Act１５）。なお、判定結果のデータ“Ｎ”，“Ｙ”は一例であり、このデータに限定されるものではない。
【００７０】
Act１４またはAct１５にて判定結果が求まると、ＣＰＵ３１は、この判定結果のデータを可視化部３１８に出力する（Act１６）。
【００７１】
可視化部３１８は、乱雑状態判定部３１７による判定結果を報知する報知部としての機能を果たす。詳しくは、判定結果のデータ“Ｎ”または“Ｙ”に基づき、画像選択部３１２で選択された撮影画像Ｇ２を加工し、商品の陳列状態を可視化することで報知する。例えば可視化部３１８は、判定結果のデータが“Ｎ”のときには撮影画像Ｇ２の背景を第１の色で塗り潰し、判定結果のデータが“Ｙ”のときには撮影画像Ｇ２の背景を前記第１の色とは異なる第２の色で塗り潰す。なお、撮影画像ｇ２の加工方法は、背景色の塗り潰しに限定されるものではない。例えば判定結果を示すテキスト情報を撮影画像ｇ２に重ねてよい。要は、加工された画像から判定結果を可視化できるのであれば、いかなる方法であってもよい。また、乱雑状態ではないデータ“Ｎ”のときには加工しないが、乱雑状態であるデータ“Ｙ”のときには加工するとしてもよい。あるいは逆に、乱雑状態ではないデータ“Ｎ”のときには加工するが、乱雑状態であるデータ“Ｙ”のときには加工しないとしてもよい。
【００７２】
可視化部３１８は、判定結果のデータ“Ｎ”または“Ｙ”に基づき加工した（加工をしない場合も含む）撮影画像Ｇ５を、ネットワーク５を介して情報処理装置４に送信する。情報処理装置４は、受信した撮影画像Ｇ５を表示デバイス４ｂに表示させる。したがって、情報処理装置４のオペレータは、例えば撮影画像Ｇ５の背景色の違いにより、商品棚１に陳列されている商品が乱雑な状態であるか否かを容易に識別できる。その結果、例えば店員が商品棚１の設置場所まで出向かなくても、商品棚１の陳列状態を正確に把握することができる。
【００７３】
［第２の実施形態］
次に、第２の実施形態について、図１６及び図１７を用いて説明する。  
図１７は、画像処理装置３が有する陳列監視機能を説明するためのブロック図である。図４と共通する部分には同一符号を付し、その詳しい説明は省略する。
【００７４】
第２の実施形態が第１の実施形態と異なる点は、陳列領域抽出部３１４で生成される陳列領域抽出画像Ｇ４を可視化部３１８に出力するようにした点である。すなわち可視化部３１８は、画像選択部３１２で選択された撮影画像Ｇ２と、陳列領域抽出部３１４で生成された陳列領域抽出画像Ｇ４とを取り込む。そして可視化部３１８は、撮影画像Ｇ２を構成する各画素のうち、陳列領域抽出画像Ｇ４において陳列領域内を示す任意の値ａに設定されている画素を、判定結果のデータ“Ｎ”または“Ｙ”に基づき加工する。例えば可視化部１７は、判定結果のデータが“Ｎ”のときには、該当する画素を第１の色となる画素値に変更し、判定結果のデータが“Ｙ”のときには、該当する画素を前記第１の色とは異なる第２の色となる画素値に変更する。あるいは、判定結果のデータが“Ｎ”のときのみ、該当する画素を第１の色となる画素値に変更してもよい。
【００７５】
可視化部３１８は、判定結果のデータ“Ｎ”または“Ｙ”に基づき加工した（加工をしない場合も含む）撮影画像Ｇ２を、ネットワーク５を介して情報処理装置４に送信する。情報処理装置４は、受信した撮影画像Ｇ２を表示デバイス４ｂに表示させる。
【００７６】
図１６は、表示デバイス４ｂに表示される撮影画像Ｇ５の一例である。この例においては、商品棚１に商品Ｍ１，Ｍ２．Ｍ３が乱雑に置かれていて判定結果が“Ｎ”であるため、商品棚１が第１の色に着色されている場合を示す。このように商品棚１が着色された強調されるので、情報処理装置４のオペレータは、商品棚１の商品が乱雑に置かれていることを容易に認識できる。
【００７７】
［第３の実施形態］
次に、第３の実施形態について、図１８乃至図２０を用いて説明する。  
図１８は、画像処理装置３が有する陳列監視機能を説明するためのブロック図である。図４と共通する部分には同一符号を付し、その詳しい説明は省略する。
【００７８】
第３の実施形態が第１の実施形態と異なる点は、新たに指示部３１９を有する点である。指示部３１９は、撮影画像Ｇ２の判定対象領域を指示する機能を果たす。判定対象領域の指定は、情報処理装置４で行われる。すなわち情報処理装置４のオペレータが入力デバイス４ａを操作して、商品棚１のどの部分を判定対象領域とするかを指定する。そうすると、この指定された領域を判定対象領域とするコマンドが情報処理装置４から画像処理装置３に送信される。このコマンドを受信した画像処理装置３は、指示部３１８を動作させる。指示部３１８は、判定対象領域を特定する指示画像Ｇ６を生成し、第１及び第２の直線成分検出部３１５Ａ，３１５Ｂと可視化部３１８とに指示画像Ｇ６を出力する。
【００７９】
図１９は、指示画像Ｇ６の一例である。指示画像Ｇ６は、判定対象領域として指定された領域とそれ以外の領域とを相異なる画素値とした二値画像である。図１９の指示画像Ｇ６では、ハッチングされた領域Ｐ１が判定対象領域として表されている。
【００８０】
第１の直線成分検出部３１５Ａは、画像選択部３１２により選択される満載画像Ｇ１のうち、陳列領域抽出画像Ｇ４によって陳列領域として指定された領域内で、かつ指示画像Ｇ６で判定対象領域として指定された領域内の画像について、直線成分を検出する機能を果たす。第２の直線成分検出部３１５Ｂは、画像選択部３１２により選択される撮影画像Ｇ２のうち、陳列領域抽出画像Ｇ４によって陳列領域として指定された領域内で、かつ指示画像Ｇ６で判定対象領域として指定された領域内の画像について、直線成分を検出する機能を果たす。
【００８１】
可視化部３１８は、撮影画像Ｇ２のうち、指示画像Ｇ６で判定対象領域として指定された領域内の画像について、判定結果を示すデータ“Ｎ”または“Ｙ”に基づき加工する。例えば可視化部３１８は、判定結果のデータが“Ｎ”のときには撮影画像Ｇ２における判定対象領域内の画素を第１の色となる画素値に変更し、判定結果のデータが“Ｙ”のときには、該当する画素を前記第１の色とは異なる第２の色となる画素値に変更する。
【００８２】
可視化部３１８は、判定結果のデータ“Ｎ”または“Ｙ”に基づき加工した（加工をしない場合も含む）撮影画像Ｇ５を、ネットワーク５を介して情報処理装置４に送信する。情報処理装置４は、受信した撮影画像Ｇ５を表示デバイス４ｂに表示させる。
【００８３】
図２０は、表示デバイス４ｂに表示される撮影画像Ｇ５の一例である。この例においては、商品棚１の上から見て右側の領域が判定対象領域であり、この領域内の商品Ｍ３が乱雑に置かれていて判定結果が“Ｎ”であるため、この判定対象領域の部分が、商品棚１が第１の色に着色されている場合を示す。このように商品棚１の判定対象領域が着色によって強調されるので、情報処理装置４のオペレータは、商品棚１の判定対象領域におかれている商品が乱雑に置かれていることを容易に認識できる。
【００８４】
一般に、店舗では、商品棚のどの区画にどの商品が置かれているかといった棚割りのデータは持っている。したがって、この棚割りのデータと併用することで、オペレータは、どの種類の商品が乱雑になっているかを容易に特定することができる。
【００８５】
なお、本発明は、前記実施形態に限定されるものではない。  
例えば前記実施形態では、第１及び第２の傾き分布生成部３１６Ａ，３１６Ｂにおいて、直線群情報Ｄ１，Ｄ２に基づいて傾き値のヒストグラムＨ１，Ｈ２をそれぞれ生成し、両ヒストグラムＨ１，Ｈ２の類似度Ｒを算出して陳列状態を判定した。しかし、陳列状態を判定する方法は、ヒストグラムＨ１，Ｈ２の類似度Ｒを基に判定する方法に限定されるものではない。要は、直線群情報Ｄ１と直線群情報Ｄ２を比較して、陳列部材に陳列されている商品が乱雑状態にあるか否かを判定できればよい。
【００８６】
また前記実施形態では、乱雑状態判定部３１７での判定結果に基づき、可視化部３１８が撮影画像Ｇ２を、判定結果を認識可能な画像に加工し可視化することで陳列状態を報知した。しかし、陳列状態の報知方法はこれに限定されるものではない。例えば陳列状態が乱雑であると判定されたときブザーから警告音を発して、ユーザに報知してもよい。
【００８７】
また、前記第３の実施形態において、指示部１１９で判定対象領域を指示する場合と指示しない場合とを切り替えられるようにしてもよい。指示しない場合、第１の実施形態のように撮影画像Ｇ２の全体を加工してもよいし、第２の実施形態のように陳列領域内を加工してもよい。
【００８８】
また、前記各実施形態では、陳列部材を平置き型の商品棚１として説明したが、陳列部材の形状は特に限定されるものではない。例えば、２段以上の階層構造を有する商品棚であってもよい。この場合、モニタカメラ２は、商品棚の正面側から商品棚を撮影することとなる。
【００８９】
なお、画像処理装置の譲渡は一般に、画像処理プログラム等のプログラムがＲＯＭ３２に記憶された状態にて行われる。しかしこれに限らず、コンピュータ装置が備える書き込み可能な記憶デバイスに、このコンピュータ装置とは個別に譲渡された画像処理プログラム等がユーザなどの操作に応じて書き込まれてもよい。画像処理プログラム等の譲渡は、リムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録媒体は、ＣＤ−ＲＯＭ，メモリカード等のようにプログラムを記憶でき、かつ装置が読み取り可能であれば、その形態は問わない。また、プログラムのインストールやダウンロードにより得る機能は、装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであってもよい。
【００９０】
この他、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１…商品棚（陳列部材）、２…モニタカメラ、３…画像処理装置、４…情報処理装置、３１１…受付部、３１２…画像選択部、３１３…差分画像生成部、３１４…陳列領域抽出部、３１５Ａ，３１５Ｂ…直線成分検出部、３１６Ａ，３１６Ｂ…傾き分布生成部、３１７…乱雑状態判定部、３１８…可視化部、３１９…指示部、３４０…画像ファイル。
【図１】
2015148956.tif 000004
【図２】
2015148956.tif 000005
【図３】
2015148956.tif 000006
【図４】
2015148956.tif 000007
【図５】
2015148956.tif 000008
【図６】
2015148956.tif 000009
【図７】
2015148956.tif 000010
【図８】
2015148956.tif 000011
【図９】
2015148956.tif 000012
【図１０】
2015148956.tif 000013
【図１１】
2015148956.tif 000014
【図１２】
2015148956.tif 000015
【図１３】
2015148956.tif 000016
【図１４】
2015148956.tif 000017
【図１５】
2015148956.tif 000018
【図１６】
2015148956.tif 000019
【図１７】
2015148956.tif 000020
【図１８】
2015148956.tif 000021
【図１９】
2015148956.tif 000022
【図２０】
2015148956.tif 000023