(57)【要約】【課題】空間内を移動する人とその他の人とが相互に関係を有するか否かを判別すること。【解決手段】記憶部１２は、相互に関係を有する複数の人が特定の空間に共存するときの複数の人の軌跡の特徴量を記憶する。検出部１１１は、特定の空間に共存する複数の人を繰り返し検出する。算出部１１２は、検出部１１により検出された複数の人の軌跡の特徴量を算出する。判別部１１３は、算出部１１２により算出された特徴量と記憶部１２の記憶内容とを用いて、検出部１１１により検出された複数の人が相互に関係を有するか否かを判別する。【選択図】図２
2019133530.tif 000002
【特許請求の範囲】
【請求項１】
相互に関係を有する複数の人が特定の空間に共存するときの前記複数の人の軌跡の特徴量を記憶する記憶部と、
前記特定の空間に共存する複数の人を繰り返し検出する検出部と、
前記検出部により検出された前記複数の人の軌跡の特徴量を算出する算出部と、
前記算出部により算出された前記特徴量と前記記憶部の記憶内容とを用いて、前記検出部により検出された複数の人が相互に関係を有するか否かを判別する判別部と
を備える情報処理装置。
【請求項２】
前記記憶部は、前記特徴量を前記関係の種別毎に記憶し、
前記判別部は、前記算出部により算出された前記特徴量に該当する前記関係の種別を前記記憶部の記憶内容を用いて判別する
請求項１に記載の情報処理装置。
【請求項３】
前記特徴量は、前記複数の人の距離の経時的変化を表す
請求項１又は２に記載の情報処理装置。
【請求項４】
前記特徴量は、前記複数の人の速度ベクトルの差の経時的変化を表す
請求項１又は２に記載の情報処理装置。
【請求項５】
前記特徴量は、前記空間を分割した領域毎の前記複数の人の滞留時間を表す
請求項１又は２に記載の情報処理装置。
【請求項６】
前記判別部は、前記空間を分割した領域毎に定められた重みを乗じた前記特徴量を用いて判別を行う
請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記特徴量は、前記複数の人の重心の位置又は速度の経時的変化を表す
請求項１又は２に記載の情報処理装置。
【請求項８】
前記判別部により判別された前記関係の種別に応じた情報を出力する出力部を備える
請求項２に記載の情報処理装置。
【請求項９】
前記出力部は、前記空間に配置された複数の表示装置のうち前記検出部により検出された複数の人との距離が予め定められた条件に合致する表示装置に前記情報を出力する
請求項８に記載の情報処理装置。
【請求項１０】
前記出力部は、前記検出部により検出された前記複数の人の移動速度が閾値以上である場合に前記情報を出力しない
請求項８又は９に記載の情報処理装置。
【請求項１１】
前記出力部は、前記検出部により検出された前記複数の人の移動速度に応じて前記情報の形態を変化させる
請求項８乃至１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記出力部は、前記検出部により検出された前記複数の人のいずれかが所持する携帯端末に前記情報を出力する
請求項８に記載の情報処理装置。
【請求項１３】
操作を受け付ける受付部を備え、
前記判別部は、判別された種別を前記出力部に出力させ、出力された種別を修正する操作が前記受付部により受け付けられた場合に、修正された種別と前記算出部により算出された特徴量とを関連付けて前記記憶部に記憶させる
請求項８に記載の情報処理装置。
【請求項１４】
前記判別部は、前記検出部により検出された複数の人の特定の場所における距離が予め定められた条件に合致した場合に、判別された種別を修正し、修正された種別と前記算出部により算出された特徴量とを関連付けて前記記憶部に記憶させる
請求項１に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
購買に関する情報と店舗内での顧客の動線に関する情報を対応付ける技術を開示した文献として、特許文献１がある。特許文献１に記載された情報処理装置は、店舗内を撮影した画像から、出入口における入店した顧客に関する情報と該店舗内での顧客の動線に関する情報を対応付ける第１の対応付手段と、前記店舗内の支払領域から出入口までの顧客の動線に関する情報と該店舗における購買に関する情報を対応付ける第２の対応付手段と、前記店舗の出入口における入店した顧客に関する情報と退店した顧客に関する情報を対応付ける第３の対応付手段と、前記第１の対応付手段と第２の対応付手段と第３の対応付手段によって対応付けられた情報を用いて、前記購買に関する情報と前記店舗内での顧客の動線に関する情報を対応付ける第４の対応付手段を具備する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６２２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、空間内を移動する人と空間内のその他の人とが相互に関係を有するか否かを判別する技術の提供を目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の情報処理装置は、相互に関係を有する複数の人が特定の空間に共存するときの前記複数の人の軌跡の特徴量を記憶する記憶部と、前記特定の空間に共存する複数の人を繰り返し検出する検出部と、前記検出部により検出された前記複数の人の軌跡の特徴量を算出する算出部と、前記算出部により算出された前記特徴量と前記記憶部の記憶内容とを用いて、前記検出部により検出された複数の人が相互に関係を有するか否かを判別する判別部とを備える。
【０００６】
請求項２に記載の情報処理装置は、請求項１に記載の情報処理装置において、前記記憶部は、前記特徴量を前記関係の種別毎に記憶し、前記判別部は、前記算出部により算出された前記特徴量に該当する前記関係の種別を前記記憶部の記憶内容を用いて判別する。
【０００７】
請求項３に記載の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記特徴量は、前記複数の人の距離の経時的変化を表す。
【０００８】
請求項４に記載の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記特徴量は、前記複数の人の速度ベクトルの差の経時的変化を表す。
【０００９】
請求項５に記載の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記特徴量は、前記空間を分割した領域毎の前記複数の人の滞留時間を表す。
【００１０】
請求項６に記載の情報処理装置は、請求項３乃至５のいずれか１項に記載の情報処理装置において、前記判別部は、前記空間を分割した領域毎に定められた重みを乗じた前記特徴量を用いて判別を行う。
【００１１】
請求項７に記載の情報処理装置は、請求項１又は２に記載の情報処理装置において、前記特徴量は、前記複数の人の重心の位置又は速度の経時的変化を表す。
【００１２】
請求項８に記載の情報処理装置は、請求項２に記載の情報処理装置において、前記判別部により判別された前記関係の種別に応じた情報を出力する出力部を備える。
【００１３】
請求項９に記載の情報処理装置は、請求項８に記載の情報処理装置において、前記出力部は、前記空間に配置された複数の表示装置のうち前記検出部により検出された複数の人との距離が予め定められた条件に合致する表示装置に前記情報を出力する。
【００１４】
請求項１０に記載の情報処理装置は、請求項８又は９に記載の情報処理装置において、前記出力部は、前記検出部により検出された前記複数の人の移動速度が閾値以上である場合に前記情報を出力しない。
【００１５】
請求項１１に記載の情報処理装置は、請求項８乃至１０のいずれか１項に記載の情報処理装置において、前記出力部は、前記検出部により検出された前記複数の人の移動速度に応じて前記情報の形態を変化させる。
【００１６】
請求項１２に記載の情報処理装置は、請求項８に記載の情報処理装置において、前記出力部は、前記検出部により検出された前記複数の人のいずれかが所持する携帯端末に前記情報を出力する。
【００１７】
請求項１３に記載の情報処理装置は、請求項８に記載の情報処理装置において、操作を受け付ける受付部を備え、前記判別部は、判別された種別を前記出力部に出力させ、出力された種別を修正する操作が前記受付部により受け付けられた場合に、修正された種別と前記算出部により算出された特徴量とを関連付けて前記記憶部に記憶させる。
【００１８】
請求項１４に記載の情報処理装置は、請求項１に記載の情報処理装置において、前記判別部は、前記検出部により検出された複数の人の特定の場所における距離が予め定められた条件に合致した場合に、判別された種別を修正し、修正された種別と前記算出部により算出された特徴量とを関連付けて前記記憶部に記憶させる。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、空間内を移動する人とその他の人とが相互に関係を有するか否かが判別される。
請求項２に記載の発明によれば、空間内を移動する人とその他の人との関係の種別が判別される。
請求項３に記載の発明によれば、複数の人の距離の経時的変化から関係の種別が判別される。
請求項４に記載の発明によれば、複数の人の速度ベクトルの差の経時的変化から関係の種別が判別される。
請求項５に記載の発明によれば、空間を分割した領域毎の複数の人の滞留時間から関係の種別が判別される。
請求項６に記載の発明によれば、関係の種別の判別に領域毎の重みが加味される。
請求項７に記載の発明によれば、複数の人の重心の位置又は速度の経時的変化から関係の種別が判別される。
請求項８に記載の発明によれば、関係の種別に応じた情報が提示される。
請求項９に記載の発明によれば、表示装置と複数の人との距離と無関係に情報を出力する場合と比べて、複数の人に情報が伝達されやすくなる。
請求項１０に記載の発明によれば、情報処理装置の負荷が軽減される。
請求項１１に記載の発明によれば、移動速度に応じて情報の形態を変化させない場合と比べて、複数の人に情報が伝達されやすくなる。
請求項１２に記載の発明によれば、情報を提示するための装置を空間に配置しなくても情報が提示される。
請求項１３に記載の発明によれば、判別された種別を修正する操作が行われた場合に、修正内容が以後の判別に反映される。
請求項１４に記載の発明によれば、複数の人の特定の場所における距離に基づく種別の修正内容が以後の判別に反映される。
【図面の簡単な説明】
【００２０】
【図１】店舗Ａの平面図。
【図２】情報処理装置１０の構成を示す図。
【図３】特徴量データベース１２１を示す図。
【図４】提示情報データベース１２２を示す図。
【図５】表示装置テーブル１２３を示す図。
【図６】制御部１１が実行する処理の全体を示す流れ図。
【図７】検出部１１１が実行する検出処理の流れ図。
【図８】人の検出結果を示す図。
【図９】第１算出処理の流れ図。
【図１０】人領域Ｈの移動履歴Ｒを示す図。
【図１１】作成された軌跡Ｋを示す図。
【図１２】第２算出処理の流れ図。
【図１３】統合された軌跡マップＭの例を示す図。
【図１４】第１特徴量を示す図。
【図１５】第２特徴量を示す図。
【図１６】第３特徴量を示す図。
【図１７】第４特徴量を示す図。
【図１８】第５特徴量を示す図。
【図１９】特徴ベクトルの分類を示す散布図。
【発明を実施するための形態】
【００２１】
本発明を実施するための形態の一例について説明する。本実施形態は、店舗（特定の空間の一例）に来店した複数の来店者（複数の人の一例）の店舗内での軌跡を利用して当該複数の来店者の相互の関係の種別を判別する構成を有する。
【００２２】
図１は、店舗Ａの平面図である。店舗Ａは、清算台Ｂ、陳列棚Ｃ（１）乃至Ｃ（３）（以下、これらを陳列棚Ｃと総称する）、出入口Ｄを備える。清算台Ｂには金銭登録機が配置される。店舗Ａ内には、撮影装置２０（１）乃至２０（４）（以下、これらを撮影装置２０と総称する）、表示装置３０（１）乃至３０（６）（以下、これらを表示装置３０と総称する）が配置される。なお、図１に示した陳列棚Ｃ、撮影装置２０、表示装置３０の数、配置等は例示であって、それらが図１と異なってもよい。
【００２３】
図２は、情報処理装置１０の構成を示す図である。情報処理装置１０は、店舗Ａの中に配置されてもよく、店舗Ａの外に配置されてもよい。情報処理装置１０は、制御部１１、記憶部１２、通信部１３、表示部１４、受付部１５を備える。制御部１１は、ＣＰＵ（Central Processing Unit）などの演算装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置とを備える。ＲＯＭは、ハードウェアやＯＳ（Operating System）の起動の手順を記述したファームウェアを記憶する。ＲＡＭは、ＣＰＵが演算を実行する際のデータの記憶に用いられる。
【００２４】
記憶部１２は、例えばメモリやハードディスク記憶装置などを備え、ＯＳやアプリケーションなどのソフトウェア、特徴量データベース１２１、提示情報データベース１２２、表示装置テーブル１２３を記憶する。通信部１３は、他の電子機器との間で通信を行うためのＩ／Ｆ（Interface）を備える。撮影装置２０及び表示装置３０が、通信部１３に接続される。
【００２５】
表示部１４は、例えば、液晶表示パネルなどの表示装置を備える。制御部１１は、情報処理装置１０を操作するためのウィジェットが配置されたＧＵＩ（graphical user interface）の画面を表示部１４に表示させる。受付部１５は、例えば、キーボード、ポインティングデバイスなどを備え、ＧＵＩに対する操作を受け付ける。ポインティングデバイスは、例えば、表示部１４の表示面を覆うタッチパネル、マウス、タッチパッドなどである。なお、表示部１４と受付部１５が情報処理装置１０と分離された装置として構成され、表示部１４と受付部１５が通信部１３に接続されてもよい。
【００２６】
撮影装置２０は、例えばビデオカメラであり、被写体を撮影し、被写体の画像を表す画像データを情報処理装置１０へ出力する。店舗Ａの天井、壁などに少なくとも１つの撮影装置２０が配置される。撮影装置２０は、全方位カメラが望ましい。店舗Ａ内に死角が生じないように、複数の撮影装置２０が店舗Ａ内の天井や壁などに分散配置されることが望ましい。また、後述する処理の精度を高めるためには、各々の来店者が複数の撮影装置２０で撮影されることが望ましい。そのためには、複数の撮影装置２０の撮影範囲に重複が生じるように複数の撮影装置２０が配置されることが望ましい。店舗Ａの広さ、店舗Ａの空間の形状、天井の高さによっては１台の撮影装置２０でも死角が生じずに撮影可能な場合があるから、撮影装置２０を店舗Ａに１台だけ備える場合もあり得る。
【００２７】
表示装置３０は、制御部１１から出力された情報を表す画像を表示する。店舗Ａ内に少なくとも１台の表示装置３０が配置される。店舗Ａ内にいる来店者の視野に常に少なくとも１台の表示装置３０が入るように複数の表示装置３０が配置されることが望ましい。表示装置３０は、例えば陳列棚Ｃを示す矩形の長辺で示される面の各々に配置される。店舗内の壁、清算台Ｂなどに表示装置３０が配置されてもよい。金銭登録機の背面（従業員が操作する操作部と反対側の面）に表示装置３０が配置されてもよい。子供の視野にも入る高さに表示装置３０が配置されることが望ましい。大人用の高さと子供用の高さにそれぞれ表示装置３０が配置されてもよい。表示装置３０は、例えば、有機ＥＬ（electro-luminescence）パネル、液晶パネルなどを備えた薄型のものが望ましい。
【００２８】
図３は、特徴量データベース１２１を示す図である。特徴量データベース１２１は、相互に関係を有する複数の人が特定の空間に共存するときの複数の人の軌跡の特徴量を関係の種別毎に記憶する。特徴量データベース１２１のレコードの各々は、種別ＩＤ，種別名、特徴量のフィールドを有する。種別ＩＤは、複数の人の相互の関係の種別を識別するための識別子である。種別名は、関係の種別の名称である。この例では、関係の種別として、「親と子（幼児）」、「友人」、「恋人」が設定されている。特徴量については、後述する。
【００２９】
図４は、提示情報データベース１２２を示す図である。提示情報データベース１２２は、複数の人の相互の関係の種別毎に、当該複数の人に提示する情報を記憶する。提示情報データベース１２２のレコードの各々は、種別ＩＤ、商品分野ＩＤ、提示情報のフィールドを有する。種別ＩＤは、特徴量データベース１２１における種別ＩＤと同じものである。商品分野ＩＤは、商品の分野を識別するための識別子である。本実施形態では、理解を容易にするために、例えば、陳列棚Ｃ（１）が生鮮食品、陳列棚Ｃ（２）が菓子、陳列棚Ｃ（３）が日用品というように、陳列棚毎に陳列される商品の分野が異なることを想定する。この例では、商品分野ＩＤ＝１は生鮮食品、商品分野ＩＤ＝２は菓子、商品分野ＩＤ＝２は日用品を指す。
【００３０】
提示情報は、来店者に提示される情報である。提示情報のフィールドには、提示情報を示すファイルのバイナリデータが格納されてもよく、ファイルの格納場所のパスが格納されてもよい。提示情報の内容は、例えば、販売実績から抽出された売れ筋商品を示す情報、新製品を示す情報、販売者や製造者が販売量の増加を目論む製品を示す情報、料理のレシピを示す情報などである。
【００３１】
図５は、表示装置テーブル１２３を示す図である。表示装置テーブル１２３のレコードの各々は、表示装置ＩＤ、商品分野ＩＤ、位置情報のフィールドを有する。表示装置ＩＤは、表示装置３０を識別するための識別子である。商品分野ＩＤは、提示情報データベース１２２における商品分野ＩＤと同じものである。位置情報は、表示装置３０が配置された位置の座標である。
【００３２】
図６は、制御部１１が実行する処理の全体を示す流れ図である。これらの処理の手順を記述したプログラムが記憶部１２に記憶されており、制御部１１がこのプログラムに従って処理を実行する。制御部１１は、検出部１１１、算出部１１２、判別部１１３、出力部１１４として機能する（図２参照）。ステップＳ０１においては、検出部１１１が、特定の空間に共存する複数の人を繰り返し検出する（検出処理）。ステップＳ０２においては、算出部１１２が、検出部１１１により検出された複数の人の軌跡の特徴量を算出する（算出処理）。ステップＳ０３においては、判別部１１３が、算出部１１２により算出された特徴量に該当する関係の種別を記憶部１２の記憶内容を用いて判別する（判別処理）。ステップＳ０４においては、出力部１１４が、判別部１１３により判別された関係の種別に応じた情報を出力する（出力処理）。上記の各ステップの詳細な内容は以下のとおりである。
【００３３】
図７は、検出部１１１が実行する検出処理（図６のステップＳ０１）の流れ図である。検出部１１１は、検出処理を予め定められた時間間隔で繰り返し実行する。徒歩で移動する人を検出対象とするため、時間間隔は例えば１秒に設定されるが、１秒よりも短い間隔又は１秒よりも長い間隔に設定されてもよい。ステップＳ１０１においては、検出部１１１が、撮影装置２０から出力された画像データに含まれるフレームからオブジェクトを検出する。ステップＳ１０２においては、検出部１１１が、検出されたオブジェクトから人の形状を示す領域（人領域Ｈ）を検出する。ステップＳ１０３においては、検出部１１１が、検出された人領域Ｈの座標を求め、フレームの撮影時刻又は撮影時刻の順序を示す情報と座標とを対応付けて記憶部１２に記憶させる。人領域Ｈの座標は、表示装置３０の位置情報（図５参照）と共通の座標系を用いて表される。
【００３４】
図８は、人の検出結果を示す図である。図示した例は、撮影装置２０として全方位カメラを用いた例であり、円形の撮影範囲Ｅが撮影される。人を囲う矩形により人領域Ｈが表される。この例は、３つの人領域Ｈ（１）、Ｈ（２）、Ｈ（３）が検出された例である。
【００３５】
人の検出は、例えば、深層学習のオブジェクト抽出技術（例えば、S.Ren, K.He, R.Girshick, and J.Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.”, NIPS 2015.、例えば、W.Liu, D.Anhuelov, D.Erhan, C.Szegedy, S.Reed, and C.Fu, and A.Berg, “SSD: Single Shot MultiBox Detector.”, ECCV 2016.）を利用して実現される。深層学習のオブジェクト抽出技術によれば、人の顔が認識されなくても人が検出される。
【００３６】
次に、算出部１１２が実行する算出処理（図６のステップＳ０２）について説明する。算出部１１２は、検出部１１１により検出された複数の人の軌跡の特徴量を算出する。
算出処理は、第１算出処理と第２算出処理とを含む。第１算出処理は、複数の撮影装置２０の撮影範囲Ｅ毎に、検出部１１１により検出された複数の人の軌跡を算出する処理である。第２算出処理は、第１算出処理により算出された撮影範囲Ｅ毎の軌跡を統合し、統合された軌跡の特徴量を算出する処理である。
【００３７】
図９は、第１算出処理の流れ図である。以下の説明において、添え字ｉは、撮影装置２０から出力されたフレームの撮影時刻の順序を表す。算出部１１２は、第１算出処理を、撮影時刻の順に繰り返し実行する。
【００３８】
ステップＳ２０１においては、算出部１１２が、連続する３フレーム（Ｉi-1，Ｉi，Ｉi+1）について、全ての人領域Ｈの座標を記憶部１２から読み出す。以下、フレームＩi-1，Ｉi，Ｉi+1をそれぞれ第１フレーム、第２フレーム、第３フレームと呼ぶ。
【００３９】
ステップＳ２０２においては、算出部１１２が、２組の連続する２フレーム（第１フレームと第２フレームの組と、第２フレームと第３フレームの組）について、人領域Ｈの中心座標の速度ベクトルを作成する。以下、第１フレームと第２フレームの組を第１組、第２フレームと第３フレームの組を第２組と呼ぶ。例えば第１組の場合、第１フレームに含まれる複数の人領域Ｈの中心を始点とし、第２フレームに含まれる複数の人領域Ｈの中心を終点とする速度ベクトルの組を作成するが、本実施形態では複数の人領域Ｈを識別する手段を備えていないため、第１フレームに含まれる複数の人領域Ｈと第２フレームに含まれる複数の人領域Ｈとの全ての組み合わせを作成する。この例では、３つの速度ベクトルの組が６組作成される。第２フレームと第３フレームとの組についても、同様に、３つの速度ベクトルの組が６組作成される。
【００４０】
ステップＳ２０３においては、算出部１１２が、作成された速度ベクトルを用いて人領域Ｈの尤もらしい組み合わせを選択する。具体的には、算出部１１２は、第１組において作成された６組の速度ベクトルと、第２組において作成された６組の速度ベクトルとの全ての組み合わせから、第１組から第２組への速度ベクトルの変化量が予め定められた条件に合致する組み合わせを選択する。予め定められた条件とは、例えば、第１組から第２組への速度ベクトルの変化量が最小であることである。なお、人領域Ｈ内の画像の特徴、例えば色ヒストグラムなどを用いて人領域Ｈの組み合わせが選択されてもよい。
【００４１】
ステップＳ２０４においては、算出部１１２が、直前の３フレームに対する第１算出処理の結果と整合するように人領域Ｈの組み合わせを修正する。具体的には、算出部１１２は、直前の３フレーム（Ｉi-2，Ｉi-1，Ｉi）に含まれるフレームＩi-1とフレームＩiとの組において選択された人領域Ｈの組み合わせ（以下、第１の組み合わせ）と、３フレーム（Ｉi-1，Ｉi，Ｉi+1）に含まれるフレームＩi-1とフレームＩiとの組において選択された人領域Ｈの組み合わせ（以下、第２の組み合わせ）とを比較し、両者が相違する場合には、両者が整合するように第１の組み合わせと第２の組み合わせのいずれかを修正する。こうして、４フレーム（Ｉi-2，Ｉi-1，Ｉi，Ｉi+1）にわたる複数の人領域Ｈの移動履歴Ｒが作成される。上記の処理が、全ての連続する３フレームに対して実行される。
【００４２】
図１０は、算出部１１２により作成された人領域Ｈの移動履歴Ｒを示す図である。同図は、図８に示す人領域Ｈ（３）の移動履歴Ｒ（３）の例である。人領域Ｈ（１）、Ｈ（２）についても同様の手順で移動履歴Ｒ（１）、Ｒ（２）が作成される。算出部１１２は、このようにして作成された移動履歴Ｒにおける人領域Ｈの中心座標をフレームの撮影時刻の順に結ぶ近似曲線を作成する。作成された近似曲線により人の軌跡Ｋが表される。
【００４３】
図１１は、作成された軌跡Ｋを示す図である。同図は、人領域Ｈ（３）の軌跡Ｋ（３）の例である。人領域Ｈ（１）、Ｈ（２）についても同様の手順で軌跡Ｋ（１）、Ｋ（２）が作成される。この軌跡Ｋを店舗Ａの平面図に射影することにより、軌跡マップＭが作成される。移動履歴Ｒ及び軌跡マップＭの作成は、複数の撮影装置２０の撮影範囲Ｅ毎に実行され、作成された移動履歴Ｒ及び軌跡マップＭは、撮影装置２０の識別子と対応付けて記憶部１２に記憶される。
【００４４】
軌跡マップＭの作成方法としては、以下の２つの方法が考えられる。第１の方法は、全方位カメラでの人領域Ｈの場所から事前に軌跡マップＭへの写像関数Ｆを学習しておく方法であり、例えば、multilayer perceptronなどの手法が用いられる。入力が２次元（人領域Ｈの左上座標と右下座標）＋１次元（カメラの位置）で、出力が２次元（軌跡マップＭの座標）などの構成が考えられる。第２の方法は、人領域Ｈの重心の床からの高さｈから人の軌跡マップＭでの位置を射影変換により計算する方法である。ｈの値は、事前に定めた数値（例えば人間の平均身長の半分など）が用いられる。
【００４５】
図１２は、第２算出処理の流れ図である。第２算出処理は、第１算出処理により算出された撮影範囲Ｅ毎の軌跡Ｋを統合し、統合された軌跡の特徴量を算出する処理である。ここでは、複数の撮影装置２０の撮影範囲Ｅが重複しない場合の例を示す。以下の処理は、互いに隣接する２つの撮影範囲Ｅを選択して実行される。互いに隣接する２つの撮影範囲Ｅのうち、相対的に出入口Ｄに近い撮影範囲Ｅを第１撮影範囲と呼び、相対的に出入口Ｄから遠い撮影範囲Ｅを第２撮影範囲と呼ぶ。最初に、出入口Ｄに最も近い撮影範囲Ｅ（撮影装置２０（１）の撮影範囲Ｅ）が第１撮影範囲として選択され、撮影装置２０（２）の撮影範囲Ｅが第２撮影範囲として選択される。
【００４６】
ステップＳ３０１においては、算出部１１２が、第１撮影範囲における複数の移動履歴Ｒと複数の軌跡マップＭとを記憶部１２から読み出し、読み出された移動履歴Ｒと軌跡マップＭに対して人を識別するための人ＩＤを付与する。例えば、人領域Ｈ（１）の移動履歴Ｒと軌跡マップＭに対して人ＩＤ＝１が付与され、人領域Ｈ（２）の移動履歴Ｒと軌跡マップＭに対して人ＩＤ＝２が付与され、人領域Ｈ（３）の移動履歴Ｒと軌跡マップＭに対して人ＩＤ＝３が付与される。複数の移動履歴Ｒに含まれる全ての人領域Ｈの集合をＸとする。
【００４７】
ステップＳ３０２においては、算出部１１２が、第２撮影範囲における複数の移動履歴Ｒと複数の軌跡マップＭを記憶部１２から読み出す。複数の移動履歴Ｒに含まれる全ての人領域Ｈの集合をＹとする。
【００４８】
ステップＳ３０３においては、算出部１１２が、第１撮影範囲における複数の軌跡マップＭと第２撮影範囲における複数の軌跡マップＭとを統合する。具体的には、集合Ｘに含まれる複数の人領域Ｈ（１）の各々の中心座標と、集合Ｙに含まれる全ての人領域Ｈの中心座標との距離を計算し、距離が最短の人領域Ｈを含む移動履歴Ｒと軌跡マップＭに対して、集合Ｘに含まれる人領域Ｈ（１）の移動履歴Ｒと同じ人ＩＤを付与する。人ＩＤの付与により、第１撮影範囲における軌跡マップＭ（１）と、第２撮影範囲における軌跡マップＭ（１）とが一対一に対応付けられる。この対応付けにより、第１撮影範囲における軌跡マップＭ（１）と第２撮影範囲における軌跡マップＭ（１）とが統合される。集合Ｘに含まれる人領域Ｈ（２）、Ｈ（３）についても同様の処理を実行する。上記と同様の処理を、互いに隣接する２つの撮影範囲Ｅの全ての組み合わせに対して実行することにより、全ての撮影範囲Ｅにおける軌跡マップＭが統合される。
【００４９】
図１３は、統合された軌跡マップＭの例を示す図である。この例は、人領域Ｈ（１）の軌跡マップＭ（１）と、人領域Ｈ（２）の軌跡マップＭ（２）を示している。例えば、人領域Ｈ（１）が親であり、人領域Ｈ（２）が子（幼児）である。陳列棚Ｃ（１）には、生鮮食品が陳列され、陳列棚Ｃ（２）には、菓子が陳列されている。親は子に菓子を買い与えようとしている。親は、生鮮食品にも関心を示しつつ、できるだけ短い経路で陳列棚Ｃ（２）に辿り着こうとするため、図示したように親の軌跡マップＭ（１）が記録される。領域ａ０、ａ１では、子は生鮮食品には関心がないため親から離れて歩き、領域ａ２に差し掛かると菓子を買ってもらうために親に接近し、親と連れ立って陳列棚Ｃ（２）で菓子を選ぶ。その結果、図示したように子の軌跡マップＭ（２）が記録される。
【００５０】
上記のとおり、この軌跡は、店舗Ａに共存する複数の人の相互の関係が親子である場合の傾向を表している。一方、店舗Ａに共存する複数の人の相互の関係が友人や恋人の場合、親子の場合と比べて店舗Ａ内を連れ立って歩く時間が長くなる傾向があると考えられる。また、友人と恋人を比べると、恋人の方が短い距離を保って歩く傾向があると考えられる。
【００５１】
ステップＳ３０４においては、算出部１１２が、軌跡の特徴量を算出する。以下、特徴量の５つの例（第１特徴量乃至第５特徴量）を説明する。ここでは、図１３に示す軌跡マップＭ（１）と軌跡マップＭ（２）が示す軌跡の例を用いて説明する。
【００５２】
（１）第１特徴量
図１４は、第１特徴量を示す図である。第１特徴量は、複数の人の距離の経時的変化を表す。複数の人の距離は、撮影時刻毎の複数の人領域Ｈの中心座標Ｐを端点とする線分Ｌの長さで表される。第１特徴量は、例えば、撮影時刻の順に並べられた距離を成分とする特徴ベクトルで表される。あるいは、第１特徴量は、距離の範囲を横軸とし、各範囲に含まれる値の出現頻度を縦軸とするヒストグラムの度数を成分とする特徴ベクトルで表されてもよい。
【００５３】
（２）第２特徴量
図１５は、第２特徴量を示す図である。第２特徴量は、複数の人の速度ベクトルの差の経時的変化を表す。人の速度ベクトルは、例えば、１つの撮影時刻における人領域Ｈの中心座標Ｐを始点とし、その次の撮影時刻における人領域Ｈの中心座標Ｐを終点とするベクトルＶで表される（図１５（ａ）参照）。複数の人の速度ベクトルの差は、例えば、人領域Ｈ（１）の速度ベクトルＶ（１）と人領域Ｈ（２）の速度ベクトルＶ（２）との差Ｖ（１）−Ｖ（２）で表される（図１５（ｂ）参照）。第２特徴量は、例えば、撮影時刻の順に並べられた速度ベクトルの差の成分又は大きさを成分とする特徴ベクトルで表される。あるいは、第２特徴量は、速度ベクトルの差の成分又は大きさの範囲を横軸とし、各範囲に含まれる値の出現頻度を縦軸とするヒストグラムの度数を成分とする特徴ベクトルで表されてもよい。
【００５４】
（３）第３特徴量
図１６は、第３特徴量を示す図である。第３特徴量は、空間を複数に分割した領域毎の複数の人の滞留時間を表す。例えば、店舗Ａの空間を複数に分割した領域を定め（図１６（ａ）参照）、複数の人の各々について、領域の各々における滞留時間をフレームの撮影時刻から求める（図１６（ｂ）、（ｃ）参照）。第３特徴量は、例えば、領域を横軸とし、各領域における滞留時間を縦軸とするヒストグラムの各滞留時間を成分とする特徴ベクトルで表される。
【００５５】
（４）第４特徴量
図１７は、第４特徴量を示す図である。第４特徴量は、第１特徴量乃至第３特徴量に対して領域毎に重み付けを行ったものである。図示した例は、第１特徴量（複数の人の距離の経時的変化）に重み付けを行った例である。第１特徴量が、Ｐ（２）とＰ（１）を端点とする線分Ｌで表されるのに対して、第４特徴量は、Ｐ（２）とＱ（１）を端点とする線分Ｗで表される。この例では、領域ａ０と領域ａ２において１．５の重みが設定され、領域ａ１と領域ａ３において０．５の重みが設定された例である。
【００５６】
この重みの設定は、以下の想定に基づくものである。例示した軌跡マップＭは、前述のとおり、店舗Ａに共存する複数の人が親子である場合の傾向を表したものであるが、領域ａ０において親と子の距離が増加し、領域ａ２において親と子の距離が減少するという特徴がある。上記の重み付けにより、親子の距離の経時的変化が強調され、後述する判定処理の効率が向上することが考えられる。
【００５７】
（５）第５特徴量
図１８は、第５特徴量を示す図である。第５特徴量は、複数の人の重心Ｇの位置又は速度の経時的変化を表す。複数の人の重心Ｇは、撮影時刻毎の複数の人領域Ｈの中心座標Ｐを端点とする線分Ｌの中点で表される。第５特徴量は、例えば、撮影時刻の順に並べられた重心Ｇの位置又は速度を成分とする特徴ベクトルで表される。
【００５８】
特徴量データベース１２１には、第１特徴量乃至第５特徴量のいずれか１つが関係の種別毎に格納されている。格納される特徴量は、過去の来店者の軌跡から算出された特徴量でもよく、関係の種別毎に仮定した軌跡から算出された特徴量でもよい。なお、第１特徴量乃至第５特徴量のうち２つ以上が特徴量データベース１２１に格納されてもよい。
【００５９】
１回の検出処理が実行される度に算出処理が実行されてもよいが、人の検出結果がある程度蓄積されてからでなければ有意な特徴量が得られないから、例えば、予め定められた回数（複数回）の検出処理が実行された後に算出処理が実行されてもよい。その後、予め定められた回数（１回以上）の検出処理が実行される度に算出処理が実行されることにより定期的に軌跡マップＭと特徴量が更新されてもよい。
【００６０】
次に、判別部１１３が実行する判別処理（図６のステップＳ０３）について説明する。判別部１１３は、算出部１１２により算出された特徴量に該当する関係の種別を記憶部１２の記憶内容を用いて判別する。具体的には、判別部１１３は、ＳＶＭ（support vector machine）などのパターン認識モデルを用いて、算出された特徴量に該当する特徴量を特徴量データベース１２１から抽出し、抽出された特徴量に関連付けられた種別ＩＤを特定する。ただし、入店から退店までの時間の長さはまちまちであるから、経時的変化を示す特徴量（第１特徴量、第２特徴量、第５特徴量）については、時間軸方向の正規化により特徴ベクトルの次元数を統一してから判別処理を行う。
【００６１】
図１９は、軌跡マップＭから算出された特徴ベクトルの分類を示す散布図である。この散布図は、多次元の特徴ベクトルの成分を便宜上２次元に集約して表示したものである。例えば主成分分析の手法を用いて特徴ベクトルの主成分軸を特定することで、図示のように特徴ベクトルが他人、友人、親子、恋人など、複数の人の相互の関係の種別を表す複数のグループに分類される。各グループが占める領域の境界面を学習により作成しておき、検出された複数の人の軌跡の特徴量に対応する領域を特定することにより、検出された複数の人の相互の関係の種別が判別される。
【００６２】
なお、最初に、特徴量が他人の領域（図１９参照）に該当するか否かにより、検出された複数の人が相互に関係を有するか否かを判別し、相互に関係を有する場合に限り、関係の種別を判別するように判別部１１３が構成されてもよい。
【００６３】
次に、出力部１１４が実行する出力処理（図６のステップＳ０４）について説明する。出力部１１４は、空間に配置された複数の表示装置３０のうち検出部１１１により検出された複数の人との距離が予め定められた条件に合致する表示装置３０に、判別部１１３により判別された関係の種別に応じた情報を出力する。前述のとおり、定期的に軌跡マップＭが更新される。最新の軌跡マップＭが示す複数の軌跡の先端の位置が、複数の人の最新の位置である。出力部１１４は、複数の人に最も近い位置に配置された表示装置３０の表示装置ＩＤを、表示装置テーブル１２３の位置情報（図５参照）を用いて特定する。出力部１１４は、特定された表示装置ＩＤに対応する商品分野ＩＤ（図５参照）と、判別部１１３により判別された種別の種別ＩＤとに対応する提示情報を、提示情報データベース１２２（図４参照）から抽出する。出力部１１４は、抽出された提示情報を、特定された表示装置ＩＤに対応する表示装置３０に出力する。表示装置３０は、出力された提示情報を表示する。
【００６４】
提示情報の内容は、例えば、販売実績から抽出された売れ筋商品を示す情報、新製品を示す情報、販売者や製造者が販売量の増加を目論む製品を示す情報、料理のレシピを示す情報などである。これらの情報のうちいずれか１つの情報が出力されてもよく、複数の情報が出力されてもよい。複数の情報が出力される場合、予め定められた時間が経過する毎に複数の情報のいずれか１つを示す画面が表示されてもよく、複数の情報が並べられた画面が表示されてもよい。
【００６５】
提示情報の例を示すと、種別ＩＤ＝１（親と子（幼児））、商品分野ＩＤ＝１（生鮮食品）の場合、幼児が好む料理のレシピや、そのレシピに含まれる食材などを示す情報が出力される。種別ＩＤ＝１（親と子（幼児））、商品分野ＩＤ＝２（菓子）の場合、幼児向けの菓子を示す情報が出力される。この場合、幼児でもわかりやすいように、ひらがなの情報が出力されてもよく、商品の写真やアニメーション、テレビＣＭ（commercial message）の動画などが出力されてもよい。種別ＩＤ＝１（親と子（幼児））、商品分野ＩＤ＝３（日用品）の場合、幼児向けの日用品を示す情報が出力される。
【００６６】
種別と商品分野の異なる組み合わせに対して同じ提示情報が格納されている場合もある。例えば、種別ＩＤ＝２（友人）、商品分野ＩＤ＝３（生鮮食品）の場合と、種別ＩＤ＝３（恋人）、商品分野ＩＤ＝３（生鮮食品）の場合に、提示情報としてホームパーティー用のレシピや、そのレシピに含まれる食材などを示す情報が出力される、という具合である。なお、種別と商品分野の組み合わせによっては提示情報データベース１２２に提示情報が格納されていない場合がある。その場合には、提示情報は表示装置３０に出力されない。
【００６７】
本実施形態によれば、空間内を移動する人とその他の人とが相互に関係を有するか否かが判別される。また、本実施形態によれば、空間内を移動する人とその他の人との関係の種別が判別される。また、本実施形態によれば、複数の人の距離の経時的変化から関係の種別が判別される。また、本実施形態によれば、複数の人の速度ベクトルの差の経時的変化から関係の種別が判別される。また、本実施形態によれば、空間を分割した領域毎の複数の人の滞留時間から関係の種別が判別される。また、本実施形態によれば、関係の種別の判別に領域毎の重みが加味される。また、本実施形態によれば、複数の人の重心の位置又は速度の経時的変化から関係の種別が判別される。また、本実施形態によれば、関係の種別に応じた情報が提示される。また、本実施形態によれば、表示装置３０と複数の人との距離と無関係に情報を出力する場合と比べて、複数の人に情報が伝達されやすくなる。
【００６８】
上記の実施形態が以下のように変形されてもよい。
【００６９】
（１）検出部１１１により検出された複数の人の移動速度が閾値以上である場合に出力部１１４が情報を出力しないように構成されてもよい。複数の人の移動速度は、例えば第２特徴量（図１５参照）の項で説明した手法で求められる。複数の人の移動速度が閾値以上である場合として想定されるのは、例えば、関心のない陳列棚の前を来店者が素通りする場合である。このような場合、提示情報を出力しても来店者が提示情報を視認できず、来店者に提示情報が伝達されないことが考えられる。本変形例によれば、人に伝達されない情報の出力が回避されるから、情報処理装置１０の負荷が軽減される。
【００７０】
（２）検出部１１１により検出された複数の人の移動速度に応じて出力部１１４が情報の形態を変化させるように構成されてもよい。位置が固定された表示装置３０に情報が表示される場合、一般に、人の移動速度が速いほど人は情報を視認しづらくなると考えられる。そこで、移動速度が閾値以上である場合には、商品の写真や絵柄など直感的に理解される情報を表示させ、移動速度が閾値未満である場合には、商品を説明する文を表示させるという具合に、移動速度に応じた形態の情報が出力されてもよい。あるいは、移動速度が閾値以上である場合には、比較的大きなサイズの文字で文を表示させ、移動速度が閾値未満である場合には、比較的小さなサイズの文字で文を表示させるように構成されてもよい。本変形例によれば、移動速度に応じて情報の形態を変化させない場合と比べて、複数の人に情報が伝達されやすくなる。
【００７１】
（３）図３の例のように特徴量データベース１２１に関係の種別が３つ以上設定されている場合には、種別毎に正事例と負事例により構成された識別器を用いて正事例である確率を算出し、確率が最大の種別に応じた情報が出力されてもよい。また、確率が閾値以上である種別に応じた情報が出力されてもよい。複数の種別の確率が閾値以上である場合には、複数の種別の各々に応じた情報が出力されてもよく、複数の種別に共通の情報が出力されてもよい。
【００７２】
（４）上記実施形態では、店舗Ａに配置された表示装置３０に提示情報が出力される例を示したが、検出部１１１により検出された複数の人のいずれかが所持する携帯端末に情報が出力されてもよい。例えば、無線ＬＡＮ基地局を店舗Ａに配置しておき、来店者に携帯端末の無線ＬＡＮ機能を有効にすることをポスターや店内放送などを用いて促し、無線ＬＡＮ基地局を介して携帯端末に提示情報が出力されるように構成されてもよい。本変形例によれば、情報を提示するための装置を空間に配置しなくても情報が提示される。
【００７３】
（５）特徴量データベース１２１を増強する構成が備えられてもよい。例えば、判別部１１３が、判別された種別を出力部１１４に出力させ、出力された種別を修正する操作が受付部１５により受け付けられた場合に、修正された種別と算出部１１２により算出された特徴量とを関連付けて記憶部１２に記憶させるように構成されてもよい。具体的には、判別された種別が親子の場合、親子に対応する提示情報を示す画面が表示される。この画面には、「親子向けの情報を表示しています。親子でない場合はボタンで情報を選択してください。」というメッセージと、「友人向けの情報」のボタン、「恋人向けの情報」のボタンが表示される。来店者がボタンを操作すると、操作されたボタンに対応する提示情報が表示される。判別部１１３は、操作されたボタンに対応する種別と、算出部１１２により算出された特徴量とを関連付けて特徴量データベース１２１に記憶させる。
【００７４】
（６）特徴量データベース１２１を増強する構成の別の例を以下に示す。判別部１１３が、検出部１１１により検出された複数の人の特定の場所における距離が予め定められた条件に合致した場合に、判別された種別を修正し、修正された種別と算出部１１２により算出された特徴量とを関連付けて記憶部１２に記憶させるように構成されてもよい。例えば、軌跡の特徴量から２人の人が恋人であると判別された後、更新後の軌跡から清算台Ｂにて別々に支払を済ませたことが判明した場合、判別部１１３がこの２人の関係の種別を友人に修正し、修正された種別と算出部１１２により算出された特徴量とを特徴量データベース１２１に記憶させるという具合である。
【００７５】
（７）関係の種別を判別する対象を事前に限定する構成が採用されてもよい。具体的には、店舗Ａの外側を撮影する撮影装置が店舗Ａの出入口Ｄ付近に配置され、店舗Ａに進入する人が撮影される。撮影された画像から同時又は予め定められた閾値以下の時間差を伴って２人以上の人が検出された場合に限り、制御部１１が図５に示す処理を実行する。出入口Ｄにおける人の検出は、上記実施形態で例示した検出処理（図７参照）が用いられてもよく、正面顔の顔認識処理が用いられてもよい。顔認識処理によって推定される複数の人の年齢が、関係の種別の判別に補助的に利用されてもよい。画像から推定される複数の人の身長が、関係の種別の判別に補助的に利用されてもよい。人の身長の推定は、ステレオカメラを用いて行われてもよい。
【００７６】
（８）上記実施形態は、複数の撮影装置２０の撮影範囲Ｅが重複しない場合の例であるが、複数の撮影装置２０の撮影範囲Ｅが重複していても一方の撮影範囲Ｅの画像しか使用しない場合も同様の処理が実行される。なお、複数の撮影装置２０の撮影範囲Ｅが重複する場合に、撮影範囲Ｅが重複する複数の撮影範囲Ｅの画像を使用することにより、複数の撮影範囲Ｅにおける移動履歴Ｒと軌跡マップＭを単純につなげてもよい。
【００７７】
（９）上記実施形態の第２算出処理のステップＳ３０３においては、人領域Ｈの中心座標の距離を２つの人領域Ｈ間の距離だけで判定する例を示したが、集合Ｙに含まれる人領域Ｈに対して集合Ｘから距離の短い順に上位複数個の人領域Ｈが選択され、選択された複数個の人領域Ｈに付与されている人ＩＤのうち最も頻度が高い人ＩＤが選択されてもよい。距離を計算するための特徴抽出器としては、単純な色ヒストグラムや深層学習により学習した人同定モデル（例えば、E.Ahmed, M.Jones, and T.Marks, “An Improved Deep Learning Architecture for Person Re-Identification.”, CVPR, 2015.）などが用いられてもよい。また、集合Ｙの各画像に対して人ＩＤを付与した後、軌跡の修正を行うことで軌跡の精度が高められてもよい。
【００７８】
（１０）上記実施形態では、撮影された画像から人を検出する例を示したが、他の方法で人が検出されてもよい。例えば、店舗Ａ内の複数の箇所にビーコンの受信機を配置しておき、来店者にビーコンの発振機を配布し、受信機が受信したビーコン信号の強度により来店者の位置が特定されるように構成されてもよい。
【００７９】
（１１）上記実施形態では、複数の人に最も近い位置に配置された表示装置３０に提示情報を出力する例を示したが、人の操作により提示情報が出力されてもよい。例えば、表示装置３０に備えられたタッチパネルに人が触れた場合や、表示装置３０に備えられたスイッチを人が操作した場合などに、提示情報が表示装置３０に出力されるように構成されてもよい。あるいは、店内に印刷装置が配置され、表示装置３０のタッチパネルの操作により提示情報が印刷されるように構成されてもよい。また、提示情報にクーポン券の画像データが含まれ、クーポン券が印刷されるように構成されてもよい。また、表示装置３０に代えて音響装置が配置され、提示情報を示す音声が出力されるように構成されてもよい。また、表示装置３０と音響装置の両方が配置されてもよい。
【００８０】
（１２）相互に関係を有する複数の人の全員との距離が閾値以下である表示装置３０に提示情報が出力されてもよい。あるいは、相互に関係を有する複数の人のうちの少なくとも１人との距離が閾値以下の表示装置３０に提示情報が出力されてもよい。これら２つの場合であっても、相互に関係を有する複数の人以外の人と表示装置３０との距離が閾値以下である場合には提示情報が出力されないように構成されてもよい。
【００８１】
（１３）上記実施形態では、店舗Ａに共存する複数の人に商品に関する情報を提示するシステムに本発明を適用した例であるが、店舗Ａの例は一例に過ぎず、例えば、商行為が行われない展示場、展覧会場などの空間に共存する複数の人に展示物に関する情報を提示するシステムに本発明が適用されてもよい。
【００８２】
（１４）コンピュータに上記の処理を実行させるためのプログラムは、例えば、光記録媒体、半導体メモリなどのコンピュータに読取り可能な記録媒体に持続的に記憶された状態で提供されてもよいし、インターネット等の通信ネットワークを介して提供されてもよい。本発明に係るプログラムが記録媒体に持続的に記憶された状態で提供される場合、コンピュータが当該プログラムを記録媒体から読み取り用いる。また、本発明に係るプログラムが通信ネットワークを介して提供される場合、コンピュータが当該プログラムを配信元の装置から受信して用いる。
【符号の説明】
【００８３】
１０…情報処理装置、１１…制御部、１２…記憶部、１３…通信部、１４…表示部、１５…受付部、１１１…検出部、１１２…算出部、１１３…判別部、１１４…出力部、１２１…特徴量データベース、１２２…提示情報データベース、１２３…表示装置テーブル、２０…撮影装置、３０…表示装置
【図１】
2019133530.tif 000003
【図２】
2019133530.tif 000004
【図３】
2019133530.tif 000005
【図４】
2019133530.tif 000006
【図５】
2019133530.tif 000007
【図６】
2019133530.tif 000008
【図７】
2019133530.tif 000009
【図８】
2019133530.tif 000010
【図９】
2019133530.tif 000011
【図１０】
2019133530.tif 000012
【図１１】
2019133530.tif 000013
【図１２】
2019133530.tif 000014
【図１３】
2019133530.tif 000015
【図１４】
2019133530.tif 000016
【図１５】
2019133530.tif 000017
【図１６】
2019133530.tif 000018
【図１７】
2019133530.tif 000019
【図１８】
2019133530.tif 000020
【図１９】
2019133530.tif 000021