(57)【要約】【課題】展示施設等に来場する来場者の満足度向上を図ることができる情報処理装置等を提供する。【解決手段】情報処理装置１は、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する記憶部と、人物画像から属性を判別する属性判別部と、判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する生成部とを備えることを特徴とする。これにより、来場者を個々の属性に応じた場所に案内することができるため、来場者の満足度向上を図ることができる。【選択図】図２
2017211932.tif 000002
【特許請求の範囲】
【請求項１】
人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する記憶部と、
人物画像から属性を判別する属性判別部と、
判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する生成部と
を備えることを特徴とする情報処理装置。
【請求項２】
生成した前記案内情報を外部装置に出力する出力部を備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記場所は、所定の施設における展示品の展示場所、又は商品若しくは役務の提供場所であり、
前記案内情報は、前記展示場所又は提供場所を含む
ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記案内情報は、複数の前記場所を案内する案内経路を含む
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
前記人物画像に基づき、人物の外観に関する外観情報を抽出する抽出部を備え、
前記属性判別部は、抽出した前記外観情報に基づき属性を判別する
ことを特徴とする請求項１〜請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記場所における人物の画像、音声、又は待機時間を取得する取得部と、
取得した前記画像、音声、又は待機時間に基づき、前記人物の感情を示す感情情報を推定する推定部と、
推定した前記感情情報に応じて、前記案内情報を変更する変更部と
を備えることを特徴とする請求項１〜請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
前記属性判別部は、前記人物画像から複数の人物の属性を判別する
ことを特徴とする請求項３〜請求項６のいずれか１項に記載の情報処理装置。
【請求項８】
人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する記憶部と、
人物画像から属性を判別する属性判別部と、
判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する生成部と
を備えることを特徴とする情報処理システム。
【請求項９】
人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶部に記憶し、
人物画像から属性を判別し、
判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１０】
人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶部に記憶し、
人物画像から属性を判別し、
判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する
処理をコンピュータに実行させることを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、プログラム及び情報処理方法に関する。
【背景技術】
【０００２】
従来、美術館等の施設において、学芸員等が作成した展示ルートを来場者に提示するサービスが行われている。しかし、当該展示ルートは主として学術的見地に立って作成されるものであり、展示品に関して詳細な知識を持たない来場者にとっては満足度の高いものではなかった。
【０００３】
例えば特許文献１では、個々の見学者に対して個別に展示品を案内、誘導等する端末探索システム等が開示されている。特許文献１によれば、見学者の趣味、嗜好等を示す見学者情報に基づいて見学計画を作成し、端末装置を介して見学者に展示品を案内する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１９２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１では来場者の趣味、嗜好等を考慮して展示品を案内するのみであり、展示品に対する来場者の興味を積極的に惹起させるに至っていない。
【０００６】
本発明は斯かる事情によりなされたものであって、その目的とするところは、展示施設等に来場する来場者の満足度向上を図ることができる情報処理装置等を提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る情報処理装置は、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する記憶部と、人物画像から属性を判別する属性判別部と、判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する生成部とを備えることを特徴とする。
【０００８】
本発明に係る情報処理装置は、生成した前記案内情報を外部装置に出力する出力部を備えることを特徴とする。
【０００９】
本発明に係る情報処理装置は、前記場所は、所定の施設における展示品の展示場所、又は商品若しくは役務の提供場所であり、前記案内情報は、前記展示場所又は提供場所を含むことを特徴とする。
【００１０】
本発明に係る情報処理装置は、前記案内情報は、複数の前記場所を案内する案内経路を含むことを特徴とする。
【００１１】
本発明に係る情報処理装置は、前記人物画像に基づき、人物の外観に関する外観情報を抽出する抽出部を備え、前記属性判別部は、抽出した前記外観情報に基づき属性を判別することを特徴とする。
【００１２】
本発明に係る情報処理装置は、前記場所における人物の画像、音声、又は待機時間を取
得する取得部と、取得した前記画像、音声、又は待機時間に基づき、前記人物の感情を示す感情情報を推定する推定部と、推定した前記感情情報に応じて、前記案内情報を変更する変更部とを備えることを特徴とする。
【００１３】
本発明に係る情報処理装置は、前記属性判別部は、前記人物画像から複数の人物の属性を判別することを特徴とする。
【００１４】
本発明に係る情報処理システムは、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する記憶部と、人物画像から属性を判別する属性判別部と、判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する生成部とを備えることを特徴とする。
【００１５】
本発明に係るプログラムは、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶部に記憶し、人物画像から属性を判別し、判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する処理をコンピュータに実行させることを特徴とする。
【００１６】
本発明に係る情報処理方法は、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶部に記憶し、人物画像から属性を判別し、判別した属性に応じて前記記憶部を参照して関連する前記情報を特定し案内情報を生成する処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、展示施設等に来場する来場者の満足度向上を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】情報処理システムの構成例を示す模式図である。
【図２】サーバの構成例を示すブロック図である。
【図３】端末の構成例を示すブロック図である。
【図４】属性ＤＢのレコードレイアウトの一例を示す説明図である。
【図５】展示ＤＢのレコードレイアウトの一例を示す説明図である。
【図６】感情テーブルのレコードレイアウトの一例を示す説明図である。
【図７】来場者の個人属性の判別処理を説明するための説明図である。
【図８】展示品の特定処理を説明するための説明図である。
【図９】マップ画面の一例を示す説明図である。
【図１０】展示品の説明処理を説明するための説明図である。
【図１１】感情情報に基づく案内変更処理を説明するための説明図である。
【図１２】サーバが実行する処理手順の一例を示すフローチャートである。
【図１３】実施の形態２に係るサーバの構成例を示すブロック図である。
【図１４】実施の形態２に係る施設ＤＢのレコードレイアウトの一例を示す説明図である。
【図１５】実施の形態２に係る案内処理を説明するための説明図である。
【図１６】実施の形態２に係るサーバが実行する処理手順の一例を示すフローチャートである。
【図１７】実施の形態３に係るサーバの構成例を示すブロック図である。
【図１８】実施の形態３に係る属性ＤＢのレコードレイアウトの一例を示す説明図である。
【図１９】実施の形態３に係る商品ＤＢのレコードレイアウトの一例を示す説明図である。
【図２０】実施の形態３に係る来場者の団体属性の判別処理を説明するための説明図である。
【図２１】実施の形態３に係る商品等の案内処理を説明するための説明図である。
【図２２】実施の形態３に係る商品等の案内処理を説明するための説明図である。
【図２３】実施の形態３に係るサーバが実行する処理手順の一例を示すフローチャートである。
【図２４】上述した形態のサーバの動作を示す機能ブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、情報処理システムの構成例を示す模式図である。本実施の形態では、展示品を展示する展示施設（例えば美術館等）において、当該展示施設に来場した来場者に展示品を案内する情報処理システムを一例として説明を行う。情報処理システムは、ネットワークＮを介して相互に通信接続された情報処理装置１、情報処理端末２、受付装置３、監視装置４、ＡＰ（Access Point）５等を含む。ネットワークＮはインターネット、ＬＡＮ（Local Area Network）等である。
【００２０】
情報処理装置１は、種々の情報を記憶すると共に、ネットワークＮを介して情報の送受信を行う情報処理装置である。情報処理装置１は、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態において情報処理装置１はサーバコンピュータであるものとし、サーバ１と読み替える。サーバ１は、受付装置３から取得した来場者個人の情報に基づき、来場者に対して展示品を案内する処理を実行する。
【００２１】
情報処理端末２は、各来場者が所持している端末装置であり、例えばスマートフォン、タブレット端末、携帯電話等である。本実施の形態で情報処理端末２はスマートフォンであるものとし、以下では簡潔のため端末２と読み替える。端末２は、サーバ１で生成される来場者向けの案内情報を取得し、後述するマップ画面等を出力する。
【００２２】
受付装置３は、展示施設の受付に設置された端末装置であり、例えばＰｅｐｐｅｒ（登録商標）等の人間型ロボット、自動受付機などである。本実施の形態において、受付装置３は人間型ロボットであるものとする。受付装置３は、来場者の入場受付処理を行うと共に、ＣＣＤ（Charge Coupled Device）カメラ等で来場者の人物画像を撮像し、当該人物画像を含む来場者個人の情報をサーバ１に送信する。なお、受付装置３はロボット、受付機等の情報処理装置ではなく、監視カメラ等であってもよい。
【００２３】
監視装置４は、例えばＣＣＤカメラ、スピーカ等を含む監視装置であり、施設内の各展示品の展示場所周辺に設置されている。監視装置４は、展示品を観覧する来場者を撮像すると共に、当該来場者の声等を集音する。ＡＰ５は無線アクセスポイントであり、展示施設内の所定箇所に一又は複数設置されている。ＡＰ５は、端末２等と無線通信を行う。
【００２４】
図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、記憶部１２、通信部１３、大容量記憶装置１４を含む。
制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing   Unit）等の演算処理装置を含む。制御部１１は、記憶部１２に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理又は制御処理等を行う。
【００２５】
記憶部１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含む。記憶部１２は、制御部１１が本実施の形態に係る処理を実行するために必要なプログラムＰ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。
【００２６】
通信部１３は通信に関する処理を行うための処理回路等を含み、ネットワークＮを介して端末２等と情報の送受信を行う。
【００２７】
大容量記憶装置１４は、例えばハードディスク等を含む大容量の記憶装置である。大容量記憶装置１４は、属性ＤＢ１４１、展示ＤＢ１４２、感情テーブル１４３等を記憶している。属性ＤＢ１４１は、来場者の属性を記憶している。展示ＤＢ１４２は、人物に対応付けられた属性と、展示施設内の場所と、当該場所に関する情報とを属性毎に関連付けて記憶している。本実施の形態において人物に対応付けられた属性は展示品の属性であり、展示施設内の場所は展示品の展示場所であり、当該場所に関する情報は展示品の情報である。感情テーブル１４３は、来場者の感情を示す感情情報を推定するためのテーブルである。
なお、本実施の形態において記憶部１２及び大容量記憶装置１４は一体の記憶装置として構成されていてもよい。また、大容量記憶装置１４は複数の記憶装置により構成されていてもよい。また、大容量記憶装置１４はサーバ１に接続された外部記憶装置であってもよい。
【００２８】
なお、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、サーバ１に係る情報を表示する表示部、可搬型記憶媒体に記憶された情報を読み取る読取部等を含んでもよい。
【００２９】
図３は、端末２の構成例を示すブロック図である。端末２は、制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、音声出力部２６、撮像部２７を含む。
制御部２１はＣＰＵ又はＭＰＵ等の演算処理装置を含み、記憶部２２に記憶されたプログラムを読み出して実行することにより、端末２に係る種々の情報処理又は制御処理等を行う。
記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。
通信部２３はアンテナ及び通信処理回路等を含み、ネットワークＮを介してサーバ１等と情報の送受信を行う。
【００３０】
表示部２４は液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の画面を有し、制御部２１から与えられた画像を表示する。
入力部２５は表示部２４に設けられたタッチパネル又は押下式のボタン等であり、来場者による操作入力を受け付ける。入力部２５は、来場者によりなされた操作内容を制御部２１に通知する。
音声出力部２６は音声の出力を行うスピーカ等であり、制御部２１の指令に従って音声を出力する。
撮像部２７はＣＣＤカメラ等を含み、画像の撮像を行う。撮像された画像は、記憶部２２に記憶される。
【００３１】
なお、本実施の形態において端末２は上記の構成に限られず、例えば音声の入力を受け付けるマイク等を含んでもよい。
【００３２】
図４は、属性ＤＢ１４１のレコードレイアウトの一例を示す説明図である。属性ＤＢ１４１は、来場者列、属性列を含む。来場者列は、展示施設に来場する来場者を識別するための来場者ＩＤを記憶している。属性列は、来場者ＩＤと対応付けて、来場者の個人属性を記憶している。具体的に属性列は、来場者を撮像した画像から判別される複数の属性項目に係るデータを記憶している。例えば属性列は、来場者の顔の目、鼻、口等の各パーツ
のタイプ、髪型、体型、身長、姿勢、年齢、性別、表情、衣服等の各項目のデータを記憶している。
【００３３】
図５は、展示ＤＢ１４２のレコードレイアウトの一例を示す説明図である。展示ＤＢ１４２は、展示列、種類列、属性列、説明列、詳細説明列、場所列を含む。展示列は、展示施設に展示されている展示品を識別するための展示ＩＤを記憶している。種類列は、展示ＩＤと対応付けて、展示品の種類を記憶している。属性列は、展示ＩＤと対応付けて、人物に対応付けられた属性を記憶している。具体的に属性列は、展示品の属性を、当該展示品を案内する対象である人物、すなわち来場者の属性と比較可能に記憶している。例えば展示品が「人物画」である場合、属性列には、当該人物画に描かれている各人物の顔の各パーツのタイプ、髪型、衣服等、属性項目毎に展示品の属性が記憶されている。当該人物画中の人物の顔パーツのタイプ、髪型、衣服等の属性は、来場者の属性と比較可能である（図４及び図５参照）。後述するマッチング処理において、サーバ１は当該展示品の属性を来場者の属性と比較し、来場者の外観と展示品との類似性を判断することで、来場者に案内する展示品を特定する。つまりサーバ１は、各展示品と関連付けて展示品の案内対象である人物に対応付けられた属性を展示ＤＢ１４２に記憶しておき、後述するマッチング処理において来場者の属性が案内対象である人物に対応付けられた属性と類似性を有するか否かを判断することで、展示品を来場者に案内するか否かを判断する。そしてサーバ１は、案内対象である人物に対応付けられた属性として展示品の内容を表す属性を記憶しておくことで、来場者の外観と展示品との類似性を判断し、来場者と外観において類似する展示品を特定して来場者に案内することになる。説明列は、展示ＩＤと対応付けて、展示品を来場者に説明するための説明情報を記憶している。説明情報は、例えば来場者に展示品を説明するための音声、画像等である。詳細説明列は、展示ＩＤと対応付けて、説明列に記憶されている説明情報よりも詳細な説明を行うための説明情報を記憶している。場所列は、展示ＩＤと対応付けて、展示施設内における展示品の展示場所を記憶している。
【００３４】
図６は、感情テーブル１４３のレコードレイアウトの一例を示す説明図である。感情テーブル１４３は、項目列、詳細列、ポイント列を含む。項目列は、来場者の感情情報を推定する基準となる基準項目を記憶している。詳細列は、基準項目と対応付けて、各基準項目について詳細な推定基準を記憶している。なお、詳細列には画像、音声、時間等に係るより詳細な基準値が記憶されているが、図６では便宜上概要のみを図示する。ポイント列は、推定基準と対応付けて、各推定基準を満たした場合に加算又は減算されるポイントを記憶している。後述するようにサーバ１は、各推定基準を満たしているか否かに応じてポイントを算出することで、来場者の感情情報、具体的には満足度を算出する。
【００３５】
図７は、来場者の個人属性の判別処理を説明するための説明図である。以下では情報処理システムが実行する処理の概要について述べる。なお、以下では説明の便宜のため、サーバ１の処理主体は制御部１１とし、端末２の処理主体は制御部２１とする。
図７では、受付装置３が来場者を撮像した人物画像例を示している。受付装置３は、例えば展示施設の入り口付近に設置されている。受付装置３は、展示施設に入場した来場者に対して所定の入場受付処理を行う。例えば受付装置３は、図示しない通信機を介して端末２の事前登録を行う。さらに受付装置３は、図７に示す来場者の全身像を撮像する。受付装置３は、撮像した人物画像をサーバ１に送信する。
【００３６】
サーバ１の制御部１１は、受付装置３から人物画像を取得する。制御部１１は、取得した人物画像に基づき、来場者の個人属性を判別する。具体的に制御部１１は、取得した人物画像に基づき、来場者の外観に関する外観情報を抽出し、当該外観情報に基づいて来場者の属性を判別する。
【００３７】
例えば制御部１１は、来場者の顔の目、鼻、口等の各パーツについて、画像から形状、
位置、大きさ等の特徴量を抽出する。制御部１１は、抽出した特徴量から、各パーツのタイプを判別する。なお、顔パーツのタイプはプログラムＰにおいて予め規定されている。上記処理により、制御部１１は属性項目「顔」について来場者の属性を判別する。
【００３８】
また、制御部１１は顔部分の画像から抽出した特徴量に基づき、来場者の表情、年齢、性別等を判別する。例えば制御部１１は「笑顔」「真顔」「緊張」等の複数の表情のパターンについてサンプル画像から特徴点、特徴ベクトル等を抽出する機械学習を行っておき、当該学習モデルに基づき来場者の顔画像から表情を判別する。同様に、制御部１１は年齢、性別等についても機械学習を行っておき、来場者の顔画像から年齢、性別等を判別する。そのほかにも、制御部１１は撮像画像から来場者の髪型を判別する。
【００３９】
また、制御部１１は画像から来場者の身体部分について全体の輪郭、高さ、横幅、各部（手、足、肩など）の位置等の特徴量を抽出し、来場者の体型、身長、姿勢等の属性を判別する。
【００４０】
また、制御部１１は来場者の衣服についても色彩、輝度、形状等の特徴量を抽出し、色、タイプ（例えばＴシャツ、Ｙシャツ等の種別）等の属性を判別する。なお、制御部１１は色、タイプ以外に衣服の模様などを判別してもよい。
上述のごとく、制御部１１は来場者を撮像した人物画像から顔、身体、衣服等に係る外観情報を抽出し、各属性項目に係る属性を判別する。制御部１１は、判別した来場者の属性を属性ＤＢ１４１に記憶しておく。
【００４１】
図８は、展示品の特定処理を説明するための説明図である。制御部１１は、上記で判別した来場者の属性に応じて、来場者に案内する展示品を展示ＤＢ１４２から特定する。具体的に制御部１１は、来場者の属性と展示品の属性とを比較するマッチング処理を行い、類似性を有する展示品を特定する。
例えば制御部１１は、来場者の属性からランダムに属性項目を選択し、当該属性項目について類似性の有無を判断する。ここで、制御部１１は属性項目「顔」を選択したものとする。この場合、制御部１１は展示ＤＢ１４２を参照し、来場者の目、鼻、口等の各パーツのタイプと、例えば人物画、彫刻等の模写媒体である人物、写真の被写媒体である人物等の各パーツのタイプとを比較し、顔全体での類似性を判断する。制御部１１は類似性を有する展示品、例えば来場者の顔と似ている人物が描かれた人物画を特定する。制御部１１は各展示品について上記のマッチング処理を行い、類似性を有する展示品を特定する。
【００４２】
なお、上記で制御部１１は一の属性項目を基準にマッチング処理を行ったが、本実施の形態はこれに限るものではない。制御部１１はその他の属性項目「表情」「衣服」「髪型」等についても類似性の有無を判断し、総合的に類似性を有するか否かを判断してもよい。
【００４３】
制御部１１は、特定した展示品を来場者に案内するための案内情報を生成する。具体的に制御部１１は、展示ＤＢ１４２を参照し、展示施設内における展示品の展示場所、展示施設内における展示品の案内経路、各展示品を来場者に説明するための説明情報等を含む案内情報を生成する。説明情報については後述する。
【００４４】
制御部１１は、展示ＤＢ１４２から各展示品の展示場所を読み出す。制御部１１は読み出した展示場所に応じた案内経路を生成する。例えば制御部１１は、記憶部１２又は大容量記憶装置１４に予め記憶してある展示施設内のマップ図を参照し、各展示場所を最短経路で結ぶ案内経路を生成する。
【００４５】
図９は、マップ画面の一例を示す説明図である。制御部１１は、黒丸で示す展示場所９
１、実線で示す案内経路９２等を含むマップ画面を端末２に出力する。制御部１１はマップ画面を端末２に出力することにより、来場者を展示場所９１へと案内する。なお、制御部１１はマップ画面だけでなく、進行指示に係る音声データ、テキストデータ等を併せて出力することにしてもよい。また、図９において丸中黒で示すように、制御部１１はマップ画面上に来場者の位置９３を表示することにしてもよい。この場合、例えば展示施設内に設置されたＡＰ５が端末２と無線通信を行い、通信電波の強度、方向等から端末２の位置情報を取得する。サーバ１の制御部１１はＡＰ５から位置情報を取得し、マップ画面上に来場者の位置９３を表示する。なお、端末２が自装置の位置情報を判別し、マップ画面に反映することとしてもよい。また、上記で制御部１１はＡＰ５による無線通信に基づき端末２の位置情報を判断したが、例えばＢｌｕｅｔｏｏｔｈ（登録商標）通信機との通信、ＧＰＳ（Global Positioning System）に係る通信、携帯電話基地局との通信等に基づき位置情報を判断してもよい。
【００４６】
サーバ１の制御部１１は、来場者が展示品の展示場所９１付近に到着したか否かを判定する。例えば制御部１１は上記と同じくＡＰ５から端末２の位置情報を取得し、端末２が展示品の展示場所９１から所定範囲内に位置するか否かを判定する。来場者が展示場所９１付近に到着したと判定した場合、制御部１１は展示ＤＢ１４２を参照し、以下の説明情報を端末２に出力する。
【００４７】
図１０は、展示品の説明処理を説明するための説明図である。サーバ１から案内情報の出力を受けた端末２の制御部２１は、図１０に示すように、来場者に展示品を説明するための音声及び画像を出力する。当該音声は、例えば来場者の外観が展示品と類似性を有する旨、展示品の概要等を含むメッセージである。また、当該画像は、例えば来場者の外観と類似性を有する展示品の具体的な箇所等を示す画像である。図１０に示すように、例えば制御部２１はメッセージ冒頭で「この人があなたにそっくり」との音声を出力すると共に、続いて展示品の概要を簡単に説明する音声を出力する。また、制御部２１は併せて来場者の外観と類似する展示品の箇所を強調表示する。なお、制御部２１は上記以外に、例えば案内する展示品に応じた音楽等を出力してもよい。また、上記で制御部２１は来場者に対して音声案内を行ったが、例えばテキスト案内を行ってもよいことは勿論である。
【００４８】
図１１は、感情情報に基づく案内変更処理を説明するための説明図である。上記のように、サーバ１の制御部１１は来場者の属性に応じて特定した展示品を案内する。さらに制御部１１は、案内を受けた来場者の反応に応じて、適宜に案内情報の変更を行う。具体的に制御部１１は、案内を受けた来場者の感情を示す感情情報を推定し、推定した感情情報に応じて案内情報を変更する処理を行う。
【００４９】
例えば制御部１１は、上記と同様にして端末２の位置情報、すなわち来場者の現在位置を取得し、来場者が展示場所に待機している待機時間を計測する。また、制御部１１は、来場者の現在位置付近に設置されている監視装置４から、来場者を撮像した画像、来場者の発話等に係る音声を取得する。制御部１１は、取得した来場者の画像、音声、待機時間に基づき、来場者の感情情報を推定する。例えば制御部１１は、来場者の表情の変化、体の動作、声、待機時間等に基づき、来場者が案内にどの程度満足しているか、満足度を推定する。
【００５０】
例えば制御部１１は、取得した画像から顔部分の特徴量を抽出し、来場者の表情の変化を観察する。なお、制御部１１は属性判別時と同様にして顔画像の特徴量から表情をパターン分けすることにより表情を判別する。例えば制御部１１は、来場者の入場受付時点での表情、すなわち属性ＤＢ１４１に記憶してある表情と、説明情報の出力を終了した時点での表情を比較する。制御部１１は感情テーブル１４３を参照し、例えば当該表情の変化に基づき満足度に係るポイントを算出する。例えば入場時は「真顔」であったが、出力終
了時、すなわち説明を受けた後は「笑顔」になった場合を考える。この場合、制御部１１は感情テーブル１４３を参照し、「真顔」が０ポイント、「笑顔」が２ポイントであることから、当該表情の変化について満足度２ポイントを算出する。なお、上記で制御部１１は入場時と説明終了時との表情の変化から来場者の感情を推定したが、例えば説明開始時、すなわち説明情報の出力を開始した時点と説明終了時点との表情を比較して上記の処理を行ってもよい。また、制御部１１は表情の変化ではなく、現時点、すなわち説明終了時点での表情のみに基づき来場者の感情を推定してもよい。
【００５１】
また、制御部１１は画像から身体部分の特徴量、例えば手、足、肩、胸部等に係る特徴点及び特徴ベクトルを抽出する。制御部１１は、抽出した身体部分の特徴量に基づいて来場者の動作、例えば来場者が腕組みをしているか否か、頬杖を着いているか否か等の動作を判別する。表情の場合と同様に、制御部１１は来場者の動作に応じて来場者の満足度をポイント形式で算出する。例えば制御部１１は、腕組みをしている場合は１ポイント加算、貧乏ゆすりをしている場合は２ポイント減算、として各動作に係るポイントを加減し、動作に係る満足度を算出する。
【００５２】
また、制御部１１は取得した音声から来場者の発話に係る大きさ、周波数、会話継続時間等の特徴量を抽出し、来場者の感情を推定する。例えば制御部１１は、「笑い」「喜び」「怒り」等の複数パターンの感情に係るサンプル音声から特徴量を抽出する機械学習を行い、当該学習処理によるモデルと来場者の発話音声の特徴量とをマッチングさせて、来場者の感情を上記複数のパターンから推定する。また、制御部１１は取得した音声から来場者の発話中の言葉を抽出し、感情テーブル１４３に規定してある言葉が出てきたか否かを判断する。例えば制御部１１は、「面白い」「つまらない」等のキーフレーズが出てきたか否かを判断する。当該キーフレーズにより、制御部１１は来場者の感情を推定する。制御部１１は表情、動作の場合と同じく、ポイント形式で満足度を算出する。
【００５３】
また、制御部１１は来場者が展示品の前に待機している待機時間に基づき、来場者の感情を推定する。例えば制御部１１は、来場者が短時間で展示場所から離れた場合、来場者が案内に不満を持っていると推定する。これとは逆に長時間展示場所付近に居る場合、制御部１１は来場者が案内に満足していると推定する。制御部１１は上記と同様に、待機時間の長短に応じて満足度のポイントを算出する。
【００５４】
制御部１１は、推定した感情情報に応じて案内情報を変更する。例えば制御部１１は、上記の満足度に係るポイントを所定の第１閾値、及び第１閾値よりも小さい第２閾値と比較することで、来場者が案内に満足しているか、不満を持っているか、又は満足でも不満でもなく平常状態であるかを判定する。算出したポイントが第１閾値以上であると判定した場合、制御部１１は来場者が案内に満足し、当該展示品に対して興味を持ったものと推定する。この場合、制御部１１は展示ＤＢ１４２の詳細説明列を参照し、出力済みの説明情報よりも詳細な説明情報を端末２に出力する。
【００５５】
算出したポイントが第２閾値未満であると判定した場合、制御部１１は来場者が案内に対して不満を持ち、現在の案内を受けたくないものと推定する。この場合、制御部１１は案内情報を修正する。例えば制御部１１は、展示品の特定処理に利用した属性項目を別の属性項目に変更し、来場者に案内する展示品を修正する。上記のように属性項目「顔」に応じて展示品を特定した場合、制御部１１は別の属性項目（例えば「衣服」）を選択し、当該属性項目に応じて来場者の外観と展示品との類似性を判断し、別の展示品を特定する。制御部１１は、特定した展示品の展示場所９１を展示ＤＢ１４２から読み出し、来場者の現在位置９３から各展示場所９１までの最短経路に係る案内経路９２を再生成する。制御部１１は、当該展示品の展示場所９１、案内経路９２を含む案内情報を端末２に再出力する。
【００５６】
ポイントが第１閾値未満であり、かつ、第２閾値以上であると判定した場合、制御部１１は来場者が展示品に興味を示したわけではないが、案内を不満に思っているわけでもないと推定する。制御部１１は案内情報を変更せず、そのまま次の展示品を来場者に案内する。制御部１１は展示ＤＢ１４２から特定した展示品全てについて案内を行うまで上記の処理を繰り返す。全ての展示品について案内処理を行った場合、制御部１１は一連の処理を終了する。
【００５７】
なお、上記で制御部１１は来場者の表情、動作、声、待機時間等の複数要素に基づいて来場者の感情情報を推定したが、本実施の形態はこれに限るものではない。例えば制御部１１は来場者の表情の変化のみに基づいて感情情報を推定してもよい。この場合、制御部１１はポイント計算をすることなく、例えば来場者の表情が「真顔」から「笑顔」又は「怒り」に変化したか否か等、表情の変化を分岐条件として案内情報の変更処理を行えばよい。
【００５８】
図１２は、サーバ１が実行する処理手順の一例を示すフローチャートである。図１２に基づいて、サーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、展示施設に来場した来場者を撮像した人物画像を受付装置３から取得する（ステップＳ１１）。例えば受付装置３は、展示施設に来場した来場者が所定の受付処理を行う場合に、併せて来場者の全身像を撮像する。制御部１１は、撮像された来場者の画像を受付装置３から取得する。
【００５９】
制御部１１は、取得した人物画像から来場者の外観に関する外観情報を抽出する（ステップＳ１２）。具体的に制御部１１は当該人物画像から、来場者の顔、頭髪、全身のシルエット、衣服等の外観について、形状、大きさ、位置、色彩、輝度等の特徴量を抽出する。制御部１１は、抽出した外観情報に基づき、来場者の属性を判別する（ステップＳ１３）。例えば制御部１１は、抽出した特徴量に基づいて顔の各パーツのタイプ、髪型、体型、身長、衣服の色、タイプ等を判別する。また、制御部１１は予め学習済みのモデルデータと比較して、来場者の年齢、性別、表情等を判別する。制御部１１は、判別した来場者の個人属性を属性ＤＢ１４１に記憶する。
【００６０】
制御部１１は展示ＤＢ１４２を参照し、判別した来場者の属性に応じて、来場者に案内する場所に関する情報、すなわち展示品を特定する（ステップＳ１４）。具体的に制御部１１は、展示ＤＢ１４２に記憶されている人物に対応付けられた属性、詳しくは各展示品の属性と、属性ＤＢ１４１に記憶した来場者の属性とを比較するマッチング処理を行い、来場者の外観と展示品との類似性を判断する。例えば制御部１１は、類似性を判断する判断基準である属性項目をランダムに選択し、当該属性項目について類似性を判断する。例えば属性項目「顔」を選択した場合、制御部１１は来場者の目、鼻、口等の各パーツのタイプと、展示施設に展示されている人物画の各パーツのタイプとを比較し、顔全体での類似性を判断する。なお、制御部１１は撮像画像から判別した複数の属性項目について、全ての項目に関し類似性を判断してもよい。制御部１１は、来場者の外観と類似性を有する展示品を特定する。
【００６１】
制御部１１は、特定した展示品の展示場所、案内経路を含む案内情報を生成し、端末２に出力する（ステップＳ１５）。具体的に制御部１１は展示ＤＢ１４２を参照し、展示施設内における当該展示品の展示場所を読み出す。例えば制御部１１は、複数の展示品の展示場所を最短経路で結ぶ案内経路を生成する。制御部１１は、各展示品の展示場所、生成した案内経路を含むマップ画面を端末２に出力する。なお、案内情報は展示場所、案内経路だけでなく、例えば来場者を展示場所まで案内するための音声等を含んでもよい。
【００６２】
制御部１１は、来場者が展示品の展示場所付近に到着したか否かを判定する（ステップＳ１６）。例えば展示施設内に設置されたＡＰ５が端末２と通信を行い、端末２の位置情報を取得する。サーバ１の制御部１１はＡＰ５から当該位置情報を取得する。制御部１１は、端末２が展示品の展示場所から所定範囲内に位置するか否かに応じて判定を行う。展示場所付近に到着していないと判定した場合（Ｓ１６：ＮＯ）、制御部１１は処理を待機する。展示場所付近に到着したと判定した場合（Ｓ１６：ＹＥＳ）、制御部１１は、当該展示品を来場者に説明するための説明情報を端末２に出力する（ステップＳ１７）。例えば制御部１１は、来場者の外観と展示品とが類似性を有する旨の説明情報を端末２に出力する。端末２の制御部２１は当該説明情報をサーバ１から取得し、来場者の外観と展示品とが類似性を有する箇所を画像表示すると共に、類似性を有する旨、展示品の概要等を説明する説明音声を出力する。
【００６３】
制御部１１は、展示品の展示場所における来場者の画像、音声、及び待機時間を取得する（ステップＳ１８）。具体的に制御部１１は、展示品の展示場所付近に設置された監視装置４から、来場者を撮像した画像、及び来場者の発話等の音声を取得する。また、制御部１１は上記と同様にＡＰ５等から端末２の位置情報を取得し、待機時間を計測する。
【００６４】
制御部１１は、取得した画像、音声、及び待機時間に基づき、来場者の感情を示す感情情報を推定する（ステップＳ１９）。例えば制御部１１は、取得した画像から来場者の顔部分の特徴量を抽出し、現在の表情を判別する。また、制御部１１は画像から来場者の手、足等の特徴点及び特徴ベクトルを抽出し、来場者の動作を判別する。また、制御部１１は取得した音声から来場者の声の大きさ、周波数等の特徴量を抽出すると共に、発した言葉等を判別する。制御部１１は感情テーブル１４３を参照し、上記のように判別した来場者の表情、動作、声、待機時間等の情報に基づき、来場者の感情を推定する。具体的に制御部１１は、来場者の満足度をポイント形式で算出する。例えば制御部１１は、現在の来場者の表情と、入場受付時の来場者の表情、すなわち属性ＤＢ１４１に記憶した表情との変化を判断し、感情テーブル１４３を参照して当該変化をポイント形式で算出する。また、制御部１１は手、足、姿勢等の各動作についてポイントを算出する。また、制御部１１は音声の特徴量、来場者が発した言葉等に基づき、ポイントを算出する。また、制御部１１は待機時間に応じてポイントを算出する。制御部１１は、表情、動作等の各要素についてポイントの合算値を求め、来場者の感情を示す感情情報、例えば満足度を推定する。
【００６５】
制御部１１は、推定した感情情報に応じて、来場者が案内に満足しているか否かを判定する（ステップＳ２０）。例えば制御部１１は上記で算出したポイントが所定の第１閾値以上であるか否かを判定する。満足していると判定した場合（Ｓ２０：ＹＥＳ）、制御部１１は、ステップＳ１７で出力した説明情報よりも詳細な説明情報を端末２に出力する（ステップＳ２１）。例えば制御部１１は、展示ＤＢ１４２を参照して、詳細列に記憶されている、より詳細な説明を端末２に出力する。制御部１１は、処理をステップＳ２４に移行する。
【００６６】
満足していないと判定した場合（Ｓ２０：ＮＯ）、制御部１１は、ステップＳ１９で推定した感情情報に応じて、来場者が案内に不満であるか否かを判定する（ステップＳ２２）。例えば制御部１１は、上記で算出したポイントが第１閾値よりも小さい第２閾値未満であるか否かを判定する。不満であると判定した場合（Ｓ２２：ＹＥＳ）、制御部１１は、案内情報を修正して端末２に出力する（ステップＳ２３）。例えば制御部１１は、ステップＳ１４の特定処理において判断基準とした属性項目を変更し、来場者に案内する展示品を再度特定する。例えばステップＳ１４で属性項目「顔」を選択した場合、制御部１１は別の属性項目「衣服」を再選択し、衣服について類似する展示品を特定する。制御部１１は、展示ＤＢ１４２から特定した展示品の当該展示場所を読み出し、来場者の現在位置から各展示品までの案内経路を再生成することで、案内情報を修正する。制御部１１は、
修正した案内情報を端末２に出力して、処理をステップＳ２４に移行する。
【００６７】
不満でないと判定した場合（Ｓ２２：ＮＯ）、制御部１１は案内を終了するか否かを判定する（ステップＳ２４）。例えば制御部１１は、案内経路に係る最後の展示品の展示場所に端末２が位置するか否かを判定する。終了しないと判定した場合（Ｓ２４：ＮＯ）、制御部１１は処理をステップＳ１６に戻す。終了すると判定した場合（Ｓ２４：ＹＥＳ）、制御部１１は一連の処理を終了する。
【００６８】
なお、上記でサーバ１は来場者に展示品を案内するための案内経路を生成したが、本実施の形態はこれに限るものではない。例えばサーバ１は案内経路を生成せず、端末２が展示品の展示場所から所定範囲内に位置した場合、すなわち展示施設内を見学する来場者が展示品に近づいてきた場合に、所定のアラート音と共に説明情報等の案内を端末２に出力することとしてもよい。つまりサーバ１は、案内経路の生成処理を行わずともよい。
【００６９】
また、上記ではサーバ１が来場者の属性を判別する処理を行ったが、本実施の形態はこれに限るものではない。例えば受付装置３が来場者の属性を判別し、判別結果をサーバ１に通知する構成としてもよい。この場合、受付装置３が人物画像に基づき来場者の属性を判別する属性判別部として機能する。また、サーバ１が、来場者の属性に応じて展示場所に関する情報、すなわち展示品を特定し、案内情報を生成する生成部として機能する。すなわち本実施の形態において、情報処理システム全体として一連の処理を実行することができればよい。
【００７０】
また、上記でサーバ１は生成した案内情報を直接的に端末２に出力したが、本実施の形態はこれに限るものではない。例えばサーバ１は、案内情報に係るデータを受付装置３に出力し、人型ロボットである受付装置３の胸部に備わる表示ディスプレイにＱＲコード（登録商標）を表示させることにしてもよい。端末２は撮像部２７によりＱＲコードを認識し、案内情報をダウンロードする。当該構成であっても、上記と同様の効果を奏する。
【００７１】
また、上記でサーバ１は、来場者の外観と展示品との類似性を基準に展示品を特定したが、本実施の形態はこれに限るものではない。例えばサーバ１は、年少の来場者には子供向けの、中高年の来場者には大人向けの展示品を案内するというように、年齢に応じた案内処理を行ってもよい。つまりサーバ１は、来場者の属性に応じて来場者に案内する展示品を特定することができればよい。
【００７２】
以上より、本実施の形態１によれば、展示施設等に来場する来場者の満足度向上を図ることができる。
【００７３】
また、本実施の形態１によれば、例えばスマートフォン等の端末２に案内情報を出力することで、来場者は展示施設を見学しながら手軽に案内を受けることができる。
【００７４】
また、本実施の形態１によれば、例えばマップ画面に展示場所を表示することで適切な案内を行うことができる。
【００７５】
また、本実施の形態１によれば、来場者の個人属性に応じた展示品の案内経路を自動生成することができる。
【００７６】
また、本実施の形態１によれば、来場者の外観に応じて案内する展示品を特定する。来場者は自らの外観という極めて身近な情報に基づいて展示品の案内を受けるため、来場者は展示品に対して興味を持ちやすくなる。これによって、より来場者の満足度向上を図ることができる。
【００７７】
また、本実施の形態１によれば、案内を受けた来場者の反応に応じて、詳細な説明の出力、案内経路の修正等を行い、その後の案内を柔軟に変更することができる。
【００７８】
（実施の形態２）
本実施の形態では、来場者の属性に応じて、展示施設内の展示品だけでなく、他の展示品等に係る情報を併せて案内する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【００７９】
図１３は、実施の形態２に係るサーバ１の構成例を示すブロック図である。本実施の形態では、来場者の個人属性に応じて展示施設付近の観光施設を案内する形態について述べる。本実施の形態に係る大容量記憶装置１４は、施設ＤＢ１４４を記憶している。施設ＤＢ１４４は、展示施設付近の観光施設に係る情報を記憶している。
【００８０】
図１４は、実施の形態２に係る施設ＤＢ１４４のレコードレイアウトの一例を示す説明図である。施設ＤＢ１４４は、施設列、名称列、展示列、種類列、属性列、紹介列、場所列を含む。施設列は、展示施設外の他の施設、例えば観光施設を識別するための施設ＩＤを記憶している。名称列は、施設ＩＤと対応付けて、観光施設の名称を記憶している。展示列は、施設ＩＤと対応付けて、当該観光施設で展示されている展示品を識別するための展示ＩＤを記憶している。種類列は、展示ＩＤと対応付けて、展示品の種類を記憶している。属性列は、展示ＩＤと対応付けて、案内対象である人物に対応付けられた属性、詳しくは展示品の属性を記憶している。紹介列は、展示ＩＤと対応付けて、展示品を来場者に紹介するための紹介情報を記憶している。紹介情報は、例えば実施の形態１の説明情報と同様に音声及び画像等のデータである。場所列は、施設ＩＤと対応付けて、観光施設の場所を示す位置情報を記憶している。
【００８１】
図１５は、実施の形態２に係る案内処理を説明するための説明図である。制御部１１は実施の形態１と同様に、展示施設内に展示されている展示品の案内処理を行う。制御部１１は当該案内終了後に、来場者の属性に応じて、来場者に他の観光施設を案内する処理を実行する。
例えば制御部１１は、属性ＤＢ１４１に記憶されている来場者の属性と、施設ＤＢ１４４に記憶されている他の観光施設に展示されている展示品の属性とのマッチング処理を行う。当該マッチング処理は実施の形態１と同様に、来場者の外観と展示品との類似性を判断する。制御部１１は、来場者の外観と類似する展示品を特定する。制御部１１は、特定した展示品が展示されている観光施設の名称、場所、特定した展示品の紹介情報等を施設ＤＢ１４４から読み出す。
【００８２】
制御部１１は、来場者に当該観光施設を案内する案内情報を生成する。例えば制御部１１は、図１５に示すように、来場者の外観と類似すると判断した展示品の画像、当該展示品が展示されている観光施設の名称、場所等を端末２に表示すると共に、当該展示品が来場者の外観と類似している旨、当該展示品が表示中の観光施設に展示されている旨等の紹介メッセージを端末２に音声出力する。なお、例えば制御部１１は観光施設の場所だけでなく、現在地、すなわち来場者が見学を行った展示施設から観光施設までの交通経路等も併せて表示してもよい。
【００８３】
また、図１５では一の観光施設を案内する様子を図示したが、本実施の形態はこれに限るものではない。例えば制御部１１は複数の観光施設に係る展示品を特定し、当該複数の観光施設を案内するための案内情報を生成して端末２に出力してもよい。これにより、制御部１１は来場者が訪れた展示施設だけでなく、その他の複数の施設も含む包括的な観光案内を行うことができる。
【００８４】
図１６は、実施の形態２に係るサーバ１が実行する処理手順の一例を示すフローチャートである。図１６に基づいて、本実施の形態に係るサーバ１が実行する処理内容について説明する。
展示施設内の展示品について終了すると判定した場合（Ｓ２４：ＹＥＳ）、制御部１１は以下の処理を実行する。制御部１１は、来場者の属性に応じて、来場者に案内する場所に関する情報、詳しくは来場者に案内する他の施設の展示品を特定する（ステップＳ２０１）。具体的に制御部１１は、属性ＤＢ１４１から来場者の属性に関する情報を読み出す。制御部１１は施設ＤＢ１４４を参照し、読み出した来場者の属性と、他の観光施設に展示されている展示品の属性とのマッチング処理を行う。具体的には、制御部１１は来場者の外観と展示品との類似性を判断する。制御部１１は、来場者の外観と類似する他の観光施設の展示品を特定する。
【００８５】
制御部１１は、特定した展示品が展示されている他の観光施設を案内するための案内情報を生成し、端末２に出力する（ステップＳ２０２）。例えば制御部１１は、施設ＤＢ１４４を参照し、ステップＳ２０１で特定した展示品が展示されている観光施設の名称、場所等の情報、及び当該展示品を来場者に紹介するための画像、音声等の紹介情報を読み出す。制御部１１は、読み出した各情報に基づき、当該観光施設を案内するための案内情報を生成する。例えば案内情報は、展示品、観光施設の名称、場所等を示す表示画像のほかに、来場者の外観と類似する展示品が展示されている等の旨の音声メッセージを含む。制御部１１は、案内情報を端末２に出力し、一連の処理を終了する。
【００８６】
なお、上記では来場者に美術館、博物館、動物園等の他の施設を案内する処理について述べたが、本実施の形態はこれに限るものではない。例えば制御部１１は、来場者の外観から判別される属性に応じて、来場者と外観が似ている人物、キャラクター等が登場する映画、テレビドラマ、テレビコマーシャル、漫画、雑誌等を紹介することとしてもよい。すなわち、制御部１１が案内する対象は観光スポット等の施設に展示されている展示品に限られず、広義のメディア媒体上のコンテンツであってもよい。
【００８７】
以上より、本実施の形態２によれば、展示施設に展示されている展示品だけでなく、他の施設に展示されている展示品等も含めて来場者に案内することで、来場者の満足度向上をより一層図ることができる。
【００８８】
（実施の形態３）
実施の形態１では美術館等の展示施設において、来場者に美術品等の展示品を案内する形態について述べた。本実施の形態では、ショッピングモール等の商業施設において、来場者に対して各店舗で提供される商品又は役務を案内する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【００８９】
本実施の形態に係る情報処理システムは、実施の形態１と同様にサーバ１、端末２等を含む。本実施の形態において受付装置３は、商品又は役務を提供する提供施設（商業施設）の出入口等に設置され、監視装置４は提供施設内の各店舗等に設置される。その他の構成は実施の形態１と同様であるため、ここでは情報処理システムの構成について図示を省略する。
【００９０】
図１７は、実施の形態３に係るサーバ１の構成例を示すブロック図である。本実施の形態に係る大容量記憶装置１４は、展示ＤＢ１４２に代えて商品ＤＢ１４５を記憶している。商品ＤＢ１４５は、人物に対応付けられた属性と、提供施設内の場所と、当該場所に関する情報とを記憶している。本実施の形態において、人物に対応付けられた属性は商品又は役務の属性であり、提供施設内の場所は各商品又は役務を提供する提供場所であり、当
該場所に関する情報は商品又は役務の情報である。各店舗で提供される商品又は役務に関する情報を記憶している。なお、以下では説明の便宜のため、商品又は役務を適宜に総称して商品等と記す。
【００９１】
図１８は、実施の形態３に係る属性ＤＢ１４１のレコードレイアウトの一例を示す説明図である。本実施の形態に係る属性ＤＢ１４１は、団体列、団体属性列を含む。団体列は、来場者ＩＤと対応付けて、来場者の団体を識別するための団体ＩＤを記憶している。団体属性列は、団体ＩＤと対応付けて、各団体の属性を記憶している。例えば団体属性は、「家族」「カップル」「友人」等の各来場者の関係性の概要、団体内における各来場者の構成に係る詳細な関係性等を示す情報である。
【００９２】
図１９は、実施の形態３に係る商品ＤＢ１４５のレコードレイアウトの一例を示す説明図である。商品ＤＢ１４５は、店舗列、商品列、種類列、属性列、説明列、詳細説明列、場所列を含む。店舗列は、各店舗を識別するための店舗ＩＤを記憶している。商品列は、店舗ＩＤと対応付けて、各店舗で提供される商品等を識別するための商品ＩＤを記憶している。種類列は、商品ＩＤと対応付けて、商品の種類を記憶している。属性列は、商品ＩＤと対応付けて、案内対象である人物に対応付けられた属性、詳しくは商品等の属性を属性項目毎に記憶している。例えば商品がシャツである場合、当該シャツの色、タイプ（Ｔシャツ、Ｙシャツ等の種別）、商品の対象性別等の属性を記憶している。説明列及び詳細説明列は展示ＤＢ１４２と同様に、商品ＩＤと対応付けて、各商品を来場者に説明するための説明情報を記憶している。場所列は、店舗ＩＤと対応付けて、各店舗の位置、すなわち商品等を提供する提供場所を記憶している。
【００９３】
図２０は、実施の形態３に係る来場者の団体属性の判別処理を説明するための説明図である。サーバ１の制御部１１は、実施の形態１と同様に来場者を撮像した人物画像を受付装置３から取得し、来場者の個人属性を判別する。本実施の形態ではさらに、受付装置３が撮像した人物画像に来場者が複数含まれる場合、制御部１１は当該複数の来場者の属性、すなわち団体属性を判別する。
【００９４】
図２０に示すように、撮像画像に来場者が複数含まれる場合を考える。この場合、制御部１１は各来場者の顔、身体、衣服等の外観に係る外観情報を抽出し、個人属性を判別して属性ＤＢ１４１に記憶する。併せて制御部１１は、抽出した外観情報に基づき、当該複数の来場者の団体属性を判別する。例えば制御部１１は、画像から複数の顔を認識した場合、当該来場者が団体であるものと判断する。制御部１１は、各来場者の外観情報に基づき団体属性を判別する。例えば制御部１１は、各来場者の顔画像から年齢を推測し、当該団体の年齢構成を判断する。制御部１１は当該年齢構成に基づき、当該団体が「家族」であるか等を判別する。「家族」であると判別した場合、例えば制御部１１は、年齢構成に応じて家族構成を判別する。また、例えば制御部１１は、年齢が近く、二名の来場者の性別が異なり、手を繋いでいると判断した場合、当該団体が「カップル」であるか等を判別する。上記のように、制御部１１は画像から抽出される外観情報に基づき、団体属性を判別する。制御部１１は、判別した団体属性を属性ＤＢ１４１に記憶する。
【００９５】
図２１及び図２２は、実施の形態３に係る商品等の案内処理を説明するための説明図である。図２１では、来場者の個人属性に応じた案内処理を概念的に示している。図２２では、来場者の団体属性を含めた案内処理を概念的に示している。図２１の場合、サーバ１の制御部１１は、判別した来場者の属性に応じて来場者に案内する場所に関する情報、すなわち商品等を特定する。例えば制御部１１は属性項目「衣服」「性別」について、来場者が着用している衣服と色、模様、形状、タイプ等が類似しており、商品の対象性別が来場者の性別と同一である商品を商品ＤＢ１４５から特定する。なお、上記は一例であって、例えば制御部１１は来場者の年齢、体型等のその他の個人属性を含めて特定処理を行っ
てよい。
【００９６】
制御部１１は、特定した商品等を案内するための案内情報を生成する。制御部１１は商品ＤＢ１４５から商品等を提供する店舗の位置、すなわち商品等の提供場所２１１を読み出す。制御部１１は当該提供場所２１１に来場者を案内するための案内経路２１２を生成し、端末２に出力する。制御部１１は提供施設内に設置されたＡＰ５等から来場者の位置２１３を取得する。来場者が提供場所２１１に到着した場合、制御部１１は説明情報を端末２に出力する。
【００９７】
制御部１１は、例えば店舗内に設置されている監視装置４から画像等の情報を取得し、感情情報を推定する。具体的に制御部１１は、感情テーブル１４３を参照し、来場者の動作、例えば来場者が衣服を手に取ったか否か、衣服を試着したか否か等に応じて、案内した衣服を来場者が気に入ったか否かを推定する。なお、本実施の形態では簡潔のため感情テーブル１４３の図示は省略する。来場者が衣服を気に入ったと推定した場合、制御部１１は詳細な説明情報をさらに出力する。また、例えば制御部１１は、来場者の視線が衣服に向いているか否か、「似合わない」等のキーフレーズを発話から抽出したか否か等に応じて、案内した衣服を来場者が気に入らなかったか否かを推定する。この場合、制御部１１は案内情報を修正する。例えば制御部１１は、実施の形態１と同様に、属性項目を変更して再び商品等を特定し、提供場所２１１を判別し、案内経路２１２を修正する。
【００９８】
図２２に示すように、制御部１１はさらに来場者の団体属性を含めた案内処理を行う。具体的に制御部１１は、属性項目「家族」「カップル」等の団体属性と、商品等の属性のマッチング処理を行う。例えば団体が「家族」である場合、制御部１１は役務「映画」について、家族向けの映画作品を特定する。さらに制御部１１は、例えば団体の構成員である一の来場者の外観に係る個人属性「顔」と、当該映画に登場する登場人物の属性「顔」とを比較し、類似性を判断する。制御部１１は、来場者の「顔」と似た登場人物が登場する映画作品を商品ＤＢ１４５から特定し、案内情報を生成する。図２２に示すように、制御部１１は当該映画作品を上映している映画館の位置を示す提供場所２１１、映画館への案内経路２１２、映画作品の説明等に係る案内情報を端末２に出力する。なお、上記では役務「映画」を一例として説明を行ったが、その他の役務、商品等であってもよいことは勿論である。
なお、上記で制御部１１は個人属性、団体属性の両方を考慮した処理を行ったが、団体属性のみに基づく処理を行ってもよい。
【００９９】
図２３は、実施の形態３に係るサーバ１が実行する処理手順の一例を示すフローチャートである。図２３に基づいて、本実施の形態に係るサーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、提供施設に来場した一又は複数の来場者を撮像した人物画像を受付装置３から取得する（ステップＳ３０１）。例えば受付装置３は、提供施設に来場した来場者を撮像する。本実施の形態において受付装置３は、来場者が団体である場合に、当該団体に係る複数の来場者を撮像する。制御部１１は、撮像された一又は複数の来場者の人物画像を受付装置３から取得する。
【０１００】
制御部１１は、取得した人物画像から来場者の外観に関する外観情報を抽出する（ステップＳ３０２）。具体的に制御部１１は当該画像から、来場者の顔、頭髪、全身のシルエット、衣服等の外観について形状、大きさ、色等の特徴量を抽出する。取得した画像に複数の来場者が含まれる場合、制御部１１は各来場者の外観について特徴量を抽出する。
【０１０１】
制御部１１は、抽出した外観情報に基づき、一又は複数の来場者の個人属性及び団体属性を判別する（ステップＳ３０３）。例えば制御部１１は、抽出した特徴量に基づいて顔
の各パーツのタイプ、髪型、体型、衣服の色等を判別する。また、制御部１１は予め学習済みのモデルデータと比較して、来場者の年齢、性別、表情等を判別する。また、監視装置４から取得した画像に複数の来場者が含まれる場合、制御部１１は上記の個人属性のほかに、団体属性を判別する。例えば制御部１１は、団体の人数、年齢構成等に基づき、複数の来場者の関係性を推測する。制御部１１は、判別した来場者の個人属性及び団体属性を属性ＤＢ１４１に記憶する。
【０１０２】
制御部１１は商品ＤＢ１４５を参照し、判別した来場者の個人属性及び団体属性に応じて、来場者に案内する場所に関する情報、すなわち商品等を特定する（ステップＳ３０４）。具体的に制御部１１は、商品ＤＢ１４５に記憶されている商品等の属性と、属性ＤＢ１４１に記憶した来場者の個人属性とを比較するマッチング処理を行い、来場者の外観と商品等との類似性を判断する。また、制御部１１は各来場者の個人属性だけでなく、団体属性も含めてマッチング処理を行い、商品等を特定する。具体的に制御部１１は、上記のように推測した来場者の関係性、すなわち「家族」であるか、「カップル」であるか等に応じて、当該団体の来場者に案内する商品等を特定する。例えば団体が「家族」である場合、制御部１１は家族向けの役務「映画」を特定する。
【０１０３】
制御部１１は、特定した商品等の提供場所、案内経路を含む案内情報を生成し、端末２に出力する（ステップＳ３０５）。具体的に制御部１１は商品ＤＢ１４５を参照し、提供施設内において当該商品等を提供する店舗の位置を読み出す。例えば制御部１１は、複数の商品等の提供場所を最短経路で結ぶ案内経路を生成する。制御部１１は、読み出した各商品等の提供場所、生成した案内経路を含むマップ画面を端末２に出力する。
【０１０４】
制御部１１は、来場者が商品等の提供場所に到着したか否かを判定する（ステップＳ３０６）。例えば制御部１１はＡＰ５等から端末２の位置情報を取得し、端末２が商品等の提供場所から所定範囲内に位置するか否かに応じて判定を行う。提供場所に到着していないと判定した場合（Ｓ３０６：ＮＯ）、制御部１１は処理を待機する。提供場所に到着したと判定した場合（Ｓ３０６：ＹＥＳ）、制御部１１は、当該商品等を来場者に説明するための説明情報を端末２に出力する（ステップＳ３０７）。例えば制御部１１は、来場者の外観と商品等とが類似性を有する旨の説明情報を端末２に出力する。
【０１０５】
制御部１１は、提供場所における来場者の画像、音声、及び待機時間を取得する（ステップＳ３０８）。具体的に制御部１１は、店舗内に設置された監視装置４から、来場者を撮像した画像、及び来場者の発話等の音声を取得する。また、制御部１１は上記と同様に、ＡＰ５から端末２の位置情報を取得し、待機時間を計測する。
【０１０６】
制御部１１は、取得した画像、音声、及び待機時間に基づき、来場者の感情を示す感情情報を推定する（ステップＳ３０９）。例えば制御部１１は、取得した画像等から来場者の表情、動作、声、待機時間等の情報を抽出し、感情テーブル１４３を参照して、来場者の感情を推定する。制御部１１は、推定した感情情報に応じて、来場者が案内に満足しているか否かを判定する（ステップＳ３１０）。満足していると判定した場合（Ｓ３１０：ＹＥＳ）、制御部１１は商品ＤＢ１４５を参照し、ステップＳ３０７で出力した説明情報よりも詳細な説明情報を端末２に出力し（ステップＳ３１１）、処理をステップＳ３１４に移行する。満足していないと判定した場合（Ｓ３１０：ＮＯ）、制御部１１は、ステップＳ３０９で推定した感情情報に応じて、来場者が案内に不満であるか否かを判定する（ステップＳ３１２）。不満であると判定した場合（Ｓ３１２：ＹＥＳ）、制御部１１は、案内情報を修正して端末２に出力する（ステップＳ３１３）。例えば制御部１１は、ステップＳ３０４の特定処理に係る属性の類否判断の基準とした属性項目を変更し、来場者に案内する商品等を再度特定する。制御部１１は、商品ＤＢ１４５から特定した商品等の提供場所を読み出し、来場者の現在位置から各商品等の提供場所までの案内経路を再生成す
ることで、案内情報を修正する。制御部１１は、修正した案内情報を端末２に出力して、処理をステップＳ３１４に移行する。
【０１０７】
不満でないと判定した場合（Ｓ３１２：ＮＯ）、制御部１１は案内を終了するか否かを判定する（ステップＳ３１４）。終了しないと判定した場合（Ｓ３１４：ＮＯ）、制御部１１は処理をステップＳ３０６に戻す。終了すると判定した場合（Ｓ３１４：ＹＥＳ）、制御部１１は一連の処理を終了する。
【０１０８】
以上より、本実施の形態３によれば、実施の形態１に係る情報処理システムを、展示品を展示する展示施設だけでなく、商品等を提供する提供施設にも応用可能となる。
【０１０９】
また、本実施の形態３によれば、来場者が複数人であっても適切な案内を行うことができる。
【０１１０】
（実施の形態４）
図２４は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。記憶部２４１は、人物に対応付けられた属性と、場所と、前記場所に関する情報とを属性毎に関連付けて記憶する。属性判別部２４２は、人物画像から属性を判別する。生成部２４３は、判別した属性に応じて前記記憶部２４１を参照して関連する前記情報を特定し案内情報を生成する。
【０１１１】
本実施の形態４は以上の如きであり、その他は実施の形態１から３と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
【０１１２】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１３】
１  サーバ
１１  制御部
１２  記憶部
Ｐ  プログラム
１３  通信部
１４  大容量記憶装置
１４１  属性ＤＢ
１４２  展示ＤＢ
１４３  感情テーブル
１４４  施設ＤＢ
１４５  商品ＤＢ
２  端末
２１  制御部
２２  記憶部
２３  通信部
２４  表示部
２５  入力部
２６  音声出力部
２７  撮像部
３  受付装置
４  監視装置
５  ＡＰ
【図１】
2017211932.tif 000003
【図２】
2017211932.tif 000004
【図３】
2017211932.tif 000005
【図４】
2017211932.tif 000006
【図５】
2017211932.tif 000007
【図６】
2017211932.tif 000008
【図７】
2017211932.tif 000009
【図８】
2017211932.tif 000010
【図９】
2017211932.tif 000011
【図１０】
2017211932.tif 000012
【図１１】
2017211932.tif 000013
【図１２】
2017211932.tif 000014
【図１３】
2017211932.tif 000015
【図１４】
2017211932.tif 000016
【図１５】
2017211932.tif 000017
【図１６】
2017211932.tif 000018
【図１７】
2017211932.tif 000019
【図１８】
2017211932.tif 000020
【図１９】
2017211932.tif 000021
【図２０】
2017211932.tif 000022
【図２１】
2017211932.tif 000023
【図２２】
2017211932.tif 000024
【図２３】
2017211932.tif 000025
【図２４】
2017211932.tif 000026