(57)【要約】【課題】商品を試用した自身の姿を観察する際の違和感を軽減しつつ、商品選択を効果的に支援すること。【解決手段】商品選択支援システム１０００は、ハーフミラー２１とハーフミラー２１の背面に対向配置された表示装置２２とを有し、ハーフミラー２１の正面に映る鏡像に重畳するように表示装置２２上に所定の画像を表示する鏡面型表示装置２と、制御部３１と、を備える。制御部３１は、ハーフミラー２１の正面に所定の商品Ｇと商品Ｇを試用する客Ｕとが鏡像として映っている場合に、商品Ｇ及び客Ｕを含む領域を除去した背景画像を、表示装置２２に表示させる。【選択図】図１
2019191620.tif 000002
【特許請求の範囲】
【請求項１】
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示部と、
制御部と、
を備える商品選択支援システムであって、
前記制御部は、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる
商品選択支援システム。
【請求項２】
複数の背景候補画像を記憶する記憶部をさらに備え、
前記制御部は、
所定の選択情報に基づき前記記憶部の中から少なくとも１つの前記背景候補画像を選択する画像選択部と、
前記選択した背景候補画像から前記領域を除去して前記背景画像を生成する画像生成部と、
前記背景画像を前記表示装置に表示させるように、前記鏡面型表示部へ指示する表示指示部と、
を備える
請求項１に記載の商品選択支援システム。
【請求項３】
前記画像選択部は、
前記商品の利用状況を前記選択情報として受け付け、
前記受け付けた選択情報に基づき前記記憶部の中から少なくとも１つの前記背景候補画像を選択する
請求項２に記載の商品選択支援システム。
【請求項４】
前記ハーフミラーの正面に位置する前記商品及び前記ユーザを撮影する撮影部を備え、
前記制御部は、
前記撮影部による撮影画像から前記領域の外形を、前記ユーザの動きに応じてリアルタイムに認識する認識部をさらに備え、
前記画像生成部は、
前記選択した背景候補画像から前記認識された外形の内側を前記領域として除去して前記背景画像を生成する
請求項２又は３に記載の商品選択支援システム。
【請求項５】
前記鏡像に含まれる前記商品に関する商品情報と、前記選択された背景候補画像と、を関連付けた履歴情報を前記記憶部に登録する登録部をさらに備える
請求項２乃至４のいずれか１項に記載の商品選択支援システム。
【請求項６】
前記登録部は、
前記鏡像に含まれる前記ユーザに関するユーザ情報を前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項５に記載の商品選択支援システム。
【請求項７】
前記登録部は、
前記背景画像が前記表示装置に表示された期間を示す表示期間を前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項５又は６に記載の商品選択支援システム。
【請求項８】
前記登録部は、
前記背景画像が前記表示装置に表示された時刻及び日付を示す表示時刻及び表示日付を前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項５乃至７のいずれか１項に記載の商品選択支援システム。
【請求項９】
前記登録部は、
前記鏡像に含まれる前記商品に対する購入結果の入力を受け付け、
前記購入結果を前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項５乃至８のいずれか１項に記載の商品選択支援システム。
【請求項１０】
前記登録部は、
前記鏡像に含まれる前記商品を購入したか否かを含めて前記購入結果としての入力を受け付ける
請求項９に記載の商品選択支援システム。
【請求項１１】
前記認識部は、前記撮影画像から前記商品をさらに認識し、
前記登録部は、前記認識された商品に関する情報を前記商品情報として前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項４に従属する請求項５乃至１０のいずれか１項に記載の商品選択支援システム。
【請求項１２】
前記認識部は、前記撮影画像から前記ユーザをさらに認識し、
前記登録部は、前記認識されたユーザに関する情報を前記ユーザ情報として前記履歴情報にさらに関連づけて前記記憶部に登録する
請求項５又は請求項５に従属する請求項６乃至１１のいずれか１項に記載の商品選択支援システム。
【請求項１３】
前記画像選択部は、
前記ユーザの嗜好情報を前記選択情報として受け付け、
前記受け付けた選択情報と前記記憶部内の前記履歴情報とに基づき、前記記憶部の中から少なくとも１つの前記背景候補画像を選択する
請求項５乃至１２のいずれか１項に記載の商品選択支援システム。
【請求項１４】
前記認識部は、前記撮影画像から前記商品の特徴をさらに認識し、
前記画像選択部は、
前記記憶部内の前記履歴情報を参照し、前記認識された商品の特徴に類似する前記商品情報と関連づけられた前記背景候補画像を前記選択情報として決定し、
前記決定した選択情報に基づき前記記憶部の中から１つの前記背景候補画像を選択する
請求項４に従属する請求項５乃至１３のいずれか１項に記載の商品選択支援システム。
【請求項１５】
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示部と、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる制御部と、
を備える商品選択支援装置。
【請求項１６】
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示装置を制御する制御装置を用いた商品選択支援方法であって、
前記制御装置が、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる商品選択支援方法。
【請求項１７】
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示装置を制御するコンピュータに対して、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる処理
を実行させる商品選択支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は商品選択支援システム、装置、方法及びプログラムに関し、特に光学像を重畳的に表示する装置を用いる商品選択支援システム、装置、方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、電子ミラー装置に関する技術が開示されている。特許文献１にかかる電子ミラー装置は、カメラにより撮影されたユーザのライブ映像を左右判定してディスプレイに表示し、併せて、過去に撮影された参照画像をディスプレイに表示して、ユーザに比較させるものである。
【０００３】
特許文献２には鏡面型表示装置に関する技術が開示されている。特許文献２にかかる鏡面型表示装置は、ハーフミラーの背面に所定の画像を表示する液晶ディスプレイが配されている。そして、ハーフミラーは、鏡面型表示装置の前にいるユーザを実像として映し出すと共に、液晶ディスプレイに表示された画像についての表示光の少なくとも一部を透過して虚像として映し出す。これにより、ハーフミラーの鏡面に鏡像と液晶ディスプレイの表示像との重ね合わせ像を表示することができる。そのため、現実の鏡像に対して虚構の表示像を光学的に合成することで、一種の拡張現実効果をもたらすものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１４／１２５８３１号
【特許文献２】国際公開第２０１７／１２６６２４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、店舗に来店した客が複数の商品の中から自分の好みに合う商品を選択して購入する場合、客が購入を検討する商品を試用して、試用した自身の姿を店舗に設置された鏡に映し出して、その鏡像を視認して購入の検討を行うことが一般的である。しかしながら、商品の購入を検討する際の試用に特許文献１のような電子ミラー装置を用いた場合、観察者であり試用者である客は、違和感を覚える可能性がある。
【０００６】
上記電子ミラー装置における違和感の一例としては、観察者の視線と液晶ディスプレイの表示画像の視線とのずれが挙げられる。ここで、観察者の視線を合わせるために電子ミラー装置の液晶ディスプレイの中央付近にカメラを設置してしまうと、設置位置に相当する画素は使用できず、鏡面としては不十分となる。そのため、電子ミラー装置で用いるカメラの設置位置は、液晶ディスプレイの周辺にならざるを得ない。その場合、観察者の視線を液晶ディスプレイ上に向けると必然的に、視線がカメラから外れるため、観察者としては液晶ディスプレイに映し出された観察者の視線とのずれを感じてしまう。特に、試用する商品が化粧品の場合、化粧品が試し塗された自身の顔を凝視するため、視線のずれによる違和感が顕著となる。
【０００７】
尚、その他の違和感については後述する。また、特許文献２は商品の試用を想定したものではない。
【０００８】
本発明は、このような問題点を解決するためになされたものであり、商品を試用した自身の姿を観察する際の違和感を軽減しつつ、商品選択を効果的に支援するための商品選択支援システム、装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
［１］  ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示部と、
制御部と、
を備える商品選択支援システムであって、
前記制御部は、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる
商品選択支援システム。
［２］
複数の背景候補画像を記憶する記憶部をさらに備え、
前記制御部は、
所定の選択情報に基づき前記記憶部の中から少なくとも１つの前記背景候補画像を選択する画像選択部と、
前記選択した背景候補画像から前記領域を除去して前記背景画像を生成する画像生成部と、
前記背景画像を前記表示装置に表示させるように、前記鏡面型表示部へ指示する表示指示部と、
を備える
［１］に記載の商品選択支援システム。
［３］
前記画像選択部は、
前記商品の利用状況を前記選択情報として受け付け、
前記受け付けた選択情報に基づき前記記憶部の中から少なくとも１つの前記背景候補画像を選択する
［２］に記載の商品選択支援システム。
［４］
前記ハーフミラーの正面に位置する前記商品及び前記ユーザを撮影する撮影部を備え、
前記制御部は、
前記撮影部による撮影画像から前記領域の外形を、前記ユーザの動きに応じてリアルタイムに認識する認識部をさらに備え、
前記画像生成部は、
前記選択した背景候補画像から前記認識された外形の内側を前記領域として除去して前記背景画像を生成する
［２］又は［３］に記載の商品選択支援システム。
［５］
前記鏡像に含まれる前記商品に関する商品情報と、前記選択された背景候補画像と、を関連付けた履歴情報を前記記憶部に登録する登録部をさらに備える
［２］乃至［４］のいずれか１項に記載の商品選択支援システム。
［６］
前記登録部は、
前記鏡像に含まれる前記ユーザに関するユーザ情報を前記履歴情報にさらに関連づけて前記記憶部に登録する
［５］に記載の商品選択支援システム。
［７］
前記登録部は、
前記背景画像が前記表示装置に表示された期間及び日付を示す表示期間及び表示日付を前記履歴情報にさらに関連づけて前記記憶部に登録する
［５］又は［６］に記載の商品選択支援システム。
［８］
前記登録部は、
前記背景画像が前記表示装置に表示された時刻を示す表示時刻を前記履歴情報にさらに関連づけて前記記憶部に登録する
［５］乃至［７］のいずれか１項に記載の商品選択支援システム。
［９］
前記登録部は、
前記鏡像に含まれる前記商品に対する購入結果の入力を受け付け、
前記購入結果を前記履歴情報にさらに関連づけて前記記憶部に登録する
［５］乃至［８］のいずれか１項に記載の商品選択支援システム。
［１０］
前記登録部は、
前記鏡像に含まれる前記商品を購入したか否かを含めて前記購入結果としての入力を受け付ける
［９］に記載の商品選択支援システム。
［１１］
前記認識部は、前記撮影画像から前記商品をさらに認識し、
前記登録部は、前記認識された商品に関する情報を前記商品情報として前記履歴情報にさらに関連づけて前記記憶部に登録する
［４］に従属する［５］乃至［１０］のいずれか１項に記載の商品選択支援システム。
［１２］
前記認識部は、前記撮影画像から前記ユーザをさらに認識し、
前記登録部は、前記認識されたユーザに関する情報を前記ユーザ情報として前記履歴情報にさらに関連づけて前記記憶部に登録する
［５］又は［５］に従属する［６］乃至［１１］のいずれか１項に記載の商品選択支援システム。
［１３］
前記画像選択部は、
前記ユーザの嗜好情報を前記選択情報として受け付け、
前記受け付けた選択情報と前記記憶部内の前記履歴情報とに基づき、前記記憶部の中から少なくとも１つの前記背景候補画像を選択する
［５］乃至［１２］のいずれか１項に記載の商品選択支援システム。
［１４］
前記認識部は、前記撮影画像から前記商品の特徴をさらに認識し、
前記画像選択部は、
前記記憶部内の前記履歴情報を参照し、前記認識された商品の特徴に類似する前記商品情報と関連づけられた前記背景候補画像を前記選択情報として決定し、
前記決定した選択情報に基づき前記記憶部の中から１つの前記背景候補画像を選択する
［４］に従属する［５］乃至［１３］のいずれか１項に記載の商品選択支援システム。
［１５］
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示部と、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる制御部と、
を備える商品選択支援装置。
［１６］
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示装置を制御する制御装置を用いた商品選択支援方法であって、
前記制御装置が、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる商品選択支援方法。
［１７］
ハーフミラーと前記ハーフミラーの背面に対向配置された表示装置とを有し、前記ハーフミラーの正面に映る鏡像に重畳するように前記表示装置上に所定の画像を表示する鏡面型表示装置を制御するコンピュータに対して、
前記ハーフミラーの正面に所定の商品と当該商品を試用するユーザとが前記鏡像として映っている場合に、当該商品及び当該ユーザを含む領域を除去した背景画像を、前記表示装置に表示させる処理
を実行させる商品選択支援プログラム。
【発明の効果】
【００１０】
本発明により、商品を試用した自身の姿を観察する際の違和感を軽減しつつ、商品選択を効果的に支援するための商品選択支援システム、装置、方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態１にかかる商品選択支援システムの全体構成を示すブロック図である。
【図２】本実施形態１にかかる制御装置の構成を示すブロック図である。
【図３】本実施形態１にかかる撮影画像から輪郭が認識されたことの概念を説明するための図である。
【図４】本実施形態１にかかる背景候補画像の例を示す図である。
【図５】本実施形態１にかかる背景候補画像の例を示す図である。
【図６】本実施形態１にかかる生成される背景画像の例を示す図である。
【図７】本実施形態１にかかる商品選択支援処理の流れを示すフローチャートである。
【図８】本実施形態１にかかる実像と虚像の位置関係の概念を説明するための図である。
【図９】本実施形態１にかかる実像と虚像とが合成されて視認される鏡像の例を示す図である。
【図１０】本実施形態２にかかる制御装置の構成を示すブロック図である。
【図１１】本実施形態２にかかる履歴情報登録処理の流れを示すフローチャートである。
【図１２】本実施形態３にかかる制御装置の構成を示すブロック図である。
【図１３】本実施形態３にかかる商品選択支援処理の流れを示すフローチャートである。
【図１４】本実施形態３にかかる商品選択支援処理の流れを示すフローチャートである。
【図１５】本実施形態４にかかる商品選択支援装置の全体構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下では、本発明の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【００１３】
まず、本発明にかかる各実施形態が解決しようとする課題について補足する。上記電子ミラー装置における違和感の他の例としては、色や光沢の違和感が挙げられる。例えば、複数のカラーバリエーションがある商品の中から自分に似合う色を選択する場合、実際に試用を行い、試用を行った自身の姿を鏡に映して視認することとなる。その際、電子ミラー装置では、カメラやディスプレイの解像度の限界もあり、実際の自分の顔等の肌の色、商品の色や光沢等と、ディスプレイ越しに視認できる色や光沢との違いがあることは否めない。特に、商品が化粧品の場合、実際に自分の顔等の肌に塗り、その状態について色や光沢の違いを厳密かつ細部に視認し、長時間をかけて複数の商品を試用して検討を行うことが一般的である。そのため、電子ミラー装置における色や光沢の違和感が顕著となる。
【００１４】
また、上記電子ミラー装置における違和感の他の例としては、表示時間の遅れによる違和感が挙げられる。仮に、上述した違和感を解消すべく、カメラやディスプレイに高解像度のものを用いた場合、カメラによる撮影画像（映像）を画像処理して実際に画面に表示するまでに、ある程度の時間を要してしまう。例えば、電子ミラー装置の場合、現実の観察者の動きの変化に対して、モーションを検出し、追従するように再現して表示するには、処理速度の限界があり、リアルタイム性に欠けてしまう。そのため、観察者が顔の表情を変えた場合などには、変えた後の表情が画面に表示されるまでに遅延が生じ、観察者としては鏡と比べて違和感を覚える。特に、商品が化粧品の場合、所定の化粧品を実際に顔に塗った上で、表情を変え、顔の向きを変えるなどを行った状態を視認して、商品の購入を検討するため、表示時間の遅れによる違和感が顕著となる。そのため、特許文献１にかかる技術では、商品の購入を検討するために、当該商品を試用した際の姿を表示して商品の選択を支援するには不十分といえる。
【００１５】
さらに、複数の商品の中から所望の商品を購入のために選択するためには、実際に自分の身体で試用（試着を含む）を行い、その姿を店舗内の鏡に映し出して、その鏡像を視認することになるが、商品を販売する店舗の風景、明るさだけでは、その商品が自分に似合うかどうかを検討するには不十分である。そこで、形状、色、光沢等が異なる複数の商品を試用して比較検討するには、想定される場面、時間帯、場所等の利用状況を仮想的に実現することが望ましい。よって、このような各種課題を解決するための各実施形態を以下に説明する。
【００１６】
＜実施形態１＞
図１は、本実施形態１にかかる商品選択支援システム１０００の全体構成を示すブロック図である。商品選択支援システム１０００は、店員Ｓの接客により客（ユーザ）Ｕが複数の商品の中から所望の商品Ｇを試用して、購入する商品を選択することを支援するための情報システムである。例えば、客Ｕは、複数の商品のそれぞれについて自身に試用して、その姿を商品選択支援システム１０００を介して視認して、比較検討するものとする。
【００１７】
ここで、試用には、例えば商品Ｇが化粧品の場合に、客Ｕの肌に化粧品を試しに塗ることを含むものとする。また、試用には、例えば、商品Ｇが宝石、イヤリング、ネックレス若しくはブレスレッド等のアクセサリー、眼鏡、衣服、カバン、靴又はウィッグ等の場合に、客Ｕの身体に試着することを含むものとする。
【００１８】
商品選択支援システム１０００は、鏡面型表示装置２と、制御装置３とを備える。尚、鏡面型表示装置２と、制御装置３とは、所定の通信ケーブル又は通信ネットワークを介して接続されているものとする。そのため、鏡面型表示装置２と、制御装置３とは、同一の筐体内に同梱されたものでもよい。または、制御装置３は、鏡面型表示装置２の設置場所に対して遠隔地に設置されたコンピュータであるサーバ装置等であってもよい。また、鏡面型表示装置２と、制御装置３とは、有線又は無線により通信可能であればよい。
【００１９】
鏡面型表示装置２は、鏡面型表示部の一例である。鏡面型表示装置２は、カメラ１と、ハーフミラー２１と、表示装置２２と、表示制御部２３とを備える。カメラ１は、鏡面型表示装置２内のハーフミラー２１の正面付近を撮影する撮影部の一例である。図１では、所定の商品Ｇと、商品Ｇを試用する客Ｕとがハーフミラー２１の正面に位置している（例えば、着席又は立っている）ものとする。そのため、カメラ１により撮影された撮影画像には、商品Ｇ及び客Ｕが含まれるものとする。カメラ１は、撮影画像を制御装置３へ出力する。尚、カメラ１は、鏡面型表示装置２の外部に設置されたものであってもよい。
【００２０】
ハーフミラー２１は、半透鏡（semi-transparent mirror）である。ハーフミラー２１は、正面（図１の左側）からの入射光の一部をそのまま透過させ、残りの光を鏡面によって（正面側に）反射させるものである。また、ハーフミラー２１は、背面に設置された表示装置２２からの表示光の少なくとも一部を透過させて、鏡面の反射光と上記表示光とを合成させて正面側へ出射するものである。但し、ハーフミラー２１は透過率と反射率とが互いに等しいハーフミラーに限定されない。尚、ハーフミラー２１は、透明な基材からなる支持体に光学薄膜を形成したものであってもよい。
【００２１】
表示装置２２は、ハーフミラー２１の背面に対向配置された表示デバイスである。表示装置２２は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等のフラットパネルディスプレイが好適である。表示装置２２は、表示制御部２３による制御により所定の画像をハーフミラー２１側（図１の左側）に表示する。そのため、表示装置２２が表示する画像の表示光がハーフミラー２１の背面に入射する。よって、鏡面型表示装置２は、ハーフミラー２１の正面に映る鏡像に重畳するように表示装置２２上に所定の画像を表示するものといえる。
【００２２】
表示制御部２３は、制御装置３からの表示指示に応じて、指示された所定の画像を表示装置２２上に表示させるための制御回路である。表示制御部２３は、マイクロコンピュータ等の情報処理装置を用いることができる。
【００２３】
尚、鏡面型表示装置２には、特許文献２にかかる鏡面表示装置を適用することもできる。その場合、ハーフミラー２１と表示装置２２の間に、広帯域選択反射フィルムを配置するものとする。
【００２４】
制御装置３は、ハーフミラー２１の正面に商品Ｇと商品Ｇを試用する客Ｕとが鏡像として映っている場合に、商品Ｇ及び客Ｕを含む領域を除去した背景画像を、表示装置２２に表示させる。尚、ハーフミラー２１の正面に商品Ｇ及び客Ｕとが鏡像として映っている場合の検出の仕方としては、制御装置３は、例えば、店員Ｓ等の操作により検出する方法、カメラ１から入力される撮影画像の画像認識により、後述する認識部３１１が商品Ｇ及び客Ｕを検出する方法、図示しないカメラを客Ｕの背後に設置し、これを用いて画像処理することで、商品Ｇ及び客Ｕを検出する方法、あるいは図示しない赤外線センサを鏡面型表示装置２内に設置し、これを用いて商品Ｇを試用する客Ｕを検出する方法等が挙げられるが、これらに限定されない。
【００２５】
制御装置３は、少なくとも制御部３１と、ＩＦ部３２と、記憶部３３とを備えるマイクロコンピュータ、パーソナルコンピュータ、サーバコンピュータ等の情報処理装置である。図２は、本実施形態１にかかる制御装置３の構成を示すブロック図である。
【００２６】
記憶部３３は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部３３は、複数の背景候補画像３３１１、・・・、３３１ｎ（ｎは２以上の自然数。）と、プログラム３３０とを記憶する。尚、背景候補画像３３１１から３３１ｎの全て又は一部は、制御装置３と接続された外部の記憶装置内に保存されていてもよい。プログラム３３０は、商品選択支援プログラムの一例であり、本実施形態にかかる商品選択支援処理が実装されたコンピュータプログラムである。
【００２７】
背景候補画像３３１１等は、鏡面型表示装置２の設置場所以外の場所の風景を示す画像データ群であり、背景画像として表示装置２２に表示するための候補となる画像データの集合である。背景候補画像３３１１等には、例えば、公園、テーマパーク、スキー場、ゴルフ場等の屋外、レストランやバー等の店内、オフィス、結婚式場、披露宴会場等の屋内の風景の撮影画像である。また、屋外の画像には、同じ場所であっても、昼間や夜間等の時間帯や天候による明るさの違いごとの撮影画像が含まれる。但し、背景候補画像３３１１等は、商品選択の際に当該商品の利用状況の参考となり得る場面（シーン）がイメージできるものであればよく、撮影画像である必要はない。背景候補画像３３１１等には、画像データ自体の他に、画像の識別情報、後述する利用状況を示す属性情報等が対応付けられているものとする。
【００２８】
図４は、本実施形態１にかかる背景候補画像３３１１の例を示す図である。背景候補画像３３１１は、例えば、薄暗い照明下におけるレストランやバー等の店内を示す画像である。図５は、本実施形態１にかかる背景候補画像３３１２の例を示す図である。背景候補画像３３１２は、天気の良い日に屋外で撮影された画像である。
【００２９】
図２に戻り説明を続ける。ＩＦ部３２は、制御装置３の外部との入出力を行うインタフェースである。例えば、ＩＦ部３２は、キーボード、マウス、タッチパネル等の入力デバイス（不図示）を介して、店員Ｓや客Ｕの操作を受け付け、受け付けた操作に応じた入力内容を制御部３１へ出力する。また、ＩＦ部３２は、カメラ１から入力された撮影画像を受け付け、撮影画像を制御部３１へ出力する。また、ＩＦ部３２は、制御部３１からの指示に応じて、鏡面型表示装置２に対して背景画像及び背景画像の表示指示を出力する。また、ＩＦ部３２は、制御部３１からの指示に応じて、タッチパネル、鏡面型表示装置２以外の表示装置、プリンタ等（不図示）へ出力を行っても良い。
【００３０】
制御部３１は、ＣＰＵ（Central Processing Unit）等のプロセッサ及びメモリを含むものであり、制御装置３の各構成を制御する。制御部３１のプロセッサは、記憶部３３からプログラム３３０をメモリへ読み込み、プログラム３３０を実行する。これにより、制御部３１は、認識部３１１、画像選択部３１２、画像生成部３１３及び表示指示部３１４の機能を実現する。
【００３１】
認識部３１１は、カメラ１による撮影画像から、商品Ｇと商品Ｇを試用する客Ｕを含む領域の外形を、客Ｕの動きに応じてリアルタイムに認識する。認識部３１１は、公知の画像認識アルゴリズムを用いて、当該領域の輪郭形状を認識するものであってもよい。また、認識部３１１は、撮影画像をそのまま画像認識するばかりでなく、カメラ１とハーフミラー２１との位置関係や角度等を考慮して、撮影画像を回転や変換等を行った上で、領域の輪郭形状の画像認識を行っても良い。尚、認識部３１１は、少なくとも客Ｕの輪郭形状を認識するものであればよい。但し、客Ｕは商品Ｇを試用していることから、結果的に認識された輪郭形状の領域内には商品Ｇが含まれているといえる。また、認識部３１１は、商品Ｇの輪郭形状と客Ｕの輪郭形状とを個別に認識し、それらを合成した領域の外形を認識してもよい。例えば、商品Ｇがバッグ等の場合、客Ｕの輪郭形状の外側にバッグの輪郭形状が存在することがあるためである。
【００３２】
図３は、本実施形態１にかかる撮影画像４１から輪郭４１１が認識されたことの概念を説明するための図である。撮影画像４１は、商品Ｇ及び商品Ｇを試用する客Ｕが、ハーフミラー２１の正面に位置する場合において、カメラ１により撮影された画像の例である。そして、撮影画像４１は、客Ｕが商品Ｇを試着しており、客Ｕの後方（背景領域）に、店舗内の人やカウンター、商品等が写り込んでいることを示す。そして、認識部３１１は、撮影画像４１から商品Ｇ及び客Ｕを含む領域の外形を輪郭４１１として認識したことを示す。
【００３３】
図２に戻り説明を続ける。画像選択部３１２は、所定の選択情報に基づき記憶部３３の中から少なくとも１つの背景候補画像を選択する。所定の選択情報とは、例えば、店員ＳによりＩＦ部３２を介して入力された背景候補画像の選択条件である。選択条件には、例えば、背景候補画像の識別情報、商品の利用状況等であるが、これらに限定されない。ここで、商品の利用状況とは、例えば、客Ｕが商品Ｇを利用する際の場所、時間帯等であるか、屋外又は屋内を示す情報、明るさを示す情報等が含まれる。そして、画像選択部３１２は、入力された選択情報を受け付け、受け付けた選択情報に該当する背景候補画像を、背景候補画像３３１１から３３１ｎの中から検索することにより特定する。例えば、画像選択部３１２は、選択情報が示す背景候補画像の識別情報又は商品の利用状況に対応付けられた背景候補画像を、記憶部３３の中から検索する。そのため、店員Ｓは、客Ｕに商品Ｇを薦める際に、指定した背景候補画像を用いて背景画像として表示させることができる。そして、店員Ｓは、複数の背景候補画像を切り替えて、一つの商品に対して複数の利用状況について、客Ｕに比較検討させることができる。そのため、本実施形態は、販売促進に寄与することができる。また、店員Ｓや客Ｕが具体的な背景候補画像を指定することができなくても、利用状況を入力することで、画像選択部３１２が該当する背景候補画像を複数の画像の中から検索して特定することができる。そのため、曖昧なニーズに対応することができる。尚、画像選択部３１２は、選択情報に該当する画像として、複数の背景候補画像を選択してもよい。
【００３４】
画像生成部３１３は、画像選択部３１２が選択した背景候補画像から、商品Ｇ及び客Ｕを含む領域を除去して背景画像を生成する。尚、背景画像において除去された領域は、黒で塗りつぶしたものとしてもよい。これにより、虚像として表示させる画像には、実像の領域が含まれないため、鏡像における実像の視認性を低下させず、店舗等の背景を打ち消して、背景画像により虚像を視認させることができる。よって、客Ｕが視認する鏡像の違和感をより軽減できる。尚、制御部３１は、必ずしも認識部３１１を備える必要はない。そのため、商品Ｇ及び客Ｕを含む領域のパターンを予め、複数種類、保持しておき、店員Ｓ等が適宜、領域のパターンの指定するようにしてもよい。
【００３５】
また、画像生成部３１３は、画像選択部３１２が選択した背景候補画像から、認識部３１１により認識された外形の内側を領域として除去して背景画像を生成するとよい。これにより、実際の鏡像内の客Ｕ及び商品Ｇを含む領域により近付けることができ、客Ｕが視認する鏡像の違和感をさらに軽減できる。
【００３６】
尚、画像選択部３１２において複数の背景候補画像が選択された場合、画像生成部３１３は、選択された複数の背景候補画像を適宜、合成等して背景画像を生成しても構わない。また、画像生成部３１３は、選択情報に含まれる時間帯や明るさの情報に基づいて、背景画像の明度を調整するなど、背景候補画像又は背景画像に対して適宜、加工を行っても構わない。
【００３７】
図６は、本実施形態１にかかる生成される背景画像４２の例を示す図である。背景画像４２は、撮影画像４１から認識された輪郭４１１の内側に対応する非視認領域４２１を、背景候補画像３３１１から除去した画像を示す。そのため、背景画像４２のうち非視認領域４２１以外の領域が、実質的な虚像に相当する背景領域４２２である。
【００３８】
図２に戻り説明を続ける。表示指示部３１４は、画像生成部３１３により生成された背景画像を表示装置２２に表示させるように、鏡面型表示装置２へ指示する。具体的には、表示指示部３１４は、ＩＦ部３２を介して表示制御部２３に対して、背景画像を表示装置２２に表示させるための表示指示を出力する。併せて、表示指示部３１４は、背景画像自体の画像データをＩＦ部３２を介して表示制御部２３に対して出力する。これにより、表示制御部２３は、制御装置３から指示された背景画像を表示装置２２に表示させる。
【００３９】
図７は、本実施形態１にかかる商品選択支援処理の流れを示すフローチャートである。前提として、店員Ｓの接客に応じて客Ｕが商品Ｇを試用して、鏡面型表示装置２の正面に着席等したものとする。そして、例えば、店員Ｓは、上述した入力デバイスを操作して、客Ｕが商品Ｇを利用する状況等を示す選択情報を入力する。このとき、ＩＦ部３２は、店員Ｓ等から選択情報の入力を受け付ける（Ｓ１１）。そして、ＩＦ部３２は、入力された選択情報を画像選択部３１２へ出力する。次に、画像選択部３１２は、入力された選択情報に基づき、選択情報に該当する背景候補画像を記憶部３３の中から選択する（Ｓ１２）。
【００４０】
また、カメラ１は、鏡面型表示装置２の正面に着席等した客Ｕの周辺を撮影し、撮影画像を制御装置３へ出力する。そして、認識部３１１は、撮影画像から商品Ｇ客Ｕを含む領域を認識する（Ｓ１３）。
【００４１】
ステップＳ１２及びＳ１３の後、画像生成部３１３は、ステップＳ１２で選択した背景候補画像から、ステップＳ１３で認識した領域を除去して背景画像を生成する（Ｓ１４）。その後、表示指示部３１４は、ステップＳ１４で生成した背景画像の表示指示を鏡面型表示装置２の表示制御部２３に対して行う（Ｓ１５）。
【００４２】
図８は、本実施形態１にかかる実像と虚像の位置関係の概念を説明するための図である。尚、以下では表示装置２２が液晶ディスプレイである場合について説明する。表示制御部２３は、表示指示部３１４から指示された背景画像の各画素の画素値を、表示装置２２内の対応する液晶素子に表示させるように制御する。ここでは、表示装置２２の液晶ディプレイは、非視認領域２２１と背景領域２２２１及び２２２２とを含むものとする。非視認領域２２１は、認識部３１１により認識された領域であり、画像生成部３１３により除去された領域である。非視認領域２２１は、例えば、黒で塗りつぶされた領域であり、図６の非視認領域４２１に相当する。また、背景領域２２２１及び２２２２は、元々の背景候補画像に含まれる領域であり、図６の背景画像４２のうち非視認領域４２１以外の領域である背景領域４２２に相当し、虚像２２２といえる。そして、表示装置２２は、内部のバックライトからの表示光により、各液晶素子の表示内容をハーフミラー２１の背面へ出射する。
【００４３】
ハーフミラー２１は、正面に客Ｕ及び商品Ｇが位置しており、入射光の一部を反射する。ここでは、ハーフミラー２１は、被写体領域２１１と背景領域２１２１及び２１２２とを含むものとする。被写体領域２１１は、客Ｕ及び商品Ｇが鏡像として映し出された領域であるものとする。被写体領域２１１においては、客Ｕがハーフミラー２１からの反射光だけを認識できるようにするため、表示装置２２において非認識領域２２１からは表示光を入射させないようにする。そのため、ハーフミラー２１からの反射光には影響を与えない。そのため、客Ｕは、被写体領域２１１において客Ｕ及び商品Ｇを明確に視認できる。また、背景領域２１２１及び２１２２は、元々、客Ｕ及び商品Ｇ以外が鏡像として映し出された領域であるものとする。そして、背景領域２１２１及び２１２２の背面からは、背景領域２２２１及び２２２２からの表示光が入射され、ハーフミラー２１は、当該表示光の少なくとも一部を透過する。入射する表示光が充分であるとき、客Ｕは、背景領域２１２１及び２１２２において背景領域２１２１及び２１２２に表示された背景画像の内容を明確に視認できる。
【００４４】
図９は、本実施形態１にかかる実像と虚像とが合成されて視認される鏡像４３の例を示す図である。鏡像４３は、客Ｕ及び商品Ｇを含む被写体領域２１１と、背景画像が映し出された背景領域２１２とを含むことを示す。そして、被写体領域２１１は実像であり、背景領域２１２が虚像である。
【００４５】
以上のことから、本実施形態１により、虚像である背景と実像を合せて適切な化粧品を選択することを可能となる。ここで、本実施形態は少なくとも鏡面型表示装置２を用いて、商品と商品を試用するユーザを含む実像と、仮想的な背景画像を表示する虚像とを一体化して視認させるものである。つまり、本実施形態は、商品をバーチャルにするのではなく、背景やシーンをバーチャルにすることで、鏡面の背景のバーチャル化するものである。そして、これにより、実物の商品を試用した際の見栄えを見比べるものである。そのため、ユーザの表情等は、ハーフミラー２１の反射像であることから、ユーザの視線のずれによる違和感は発生しない。
【００４６】
また、実像は、反射率が高く、明るく見え、また、虚像は透過率が高く、ディプレイ画像が良く見える。つまり、試用する商品と自身の肌の色等は実際のままであるため、色や光沢の違和感も起こらない。よって、綺麗で違和感のない拡張現実表現を実現できる。さらに、ユーザの表情や向きの変化にリアルタイムに追従するため、表示時間の遅れによる違和感も生じない。
【００４７】
さらに、鏡像のうち背景領域のみを仮想的に切り替えるため、店舗に居ながらにして、購入を検討する商品の想定される利用状況を、拡張現実効果によりイメージすることができる。例えば、現在の場所とは異なる明るさの場所での利用状況を容易に実現できる。具体的には、ユーザの実像（被写体領域）２１１の照度と、背景画像の虚像２２２の照度が異なる場合には、制御部３１が実像２１１の照度を虚像２２２の照度に合わせて調整し、実像２１１と虚像２２２との一体感を高める。それにより、ユーザはあたかも背景画像の空間に自分が存在するかのような状況を想定しながら、商品選択を効果的に実施できる。また、背景画像を変更することで、容易に利用状況を切り替えることができ、当該商品に適した利用状況を把握することができる。例えば、商品が化粧品の場合、この商品の色が自分の肌に合うか否かを判断するだけでなく、昼間の屋外では明る過ぎるが、夜のレストランには適するなどと判断することもできる。そのため、店舗での接客を効果的にサポートすることができる。
【００４８】
＜実施形態２＞
本実施形態２は、上述した実施形態１の改良例である。本実施形態２は、実施形態１において選択した背景候補画像と商品の組合せや、表示した結果等を履歴情報として記録するものである。そして、履歴情報を解析することで、各種マーケティングデータとして活用することができる。つまり、本実施形態２は、マーケティングの基礎データを収集するものである。尚、本実施形態２においては、上述した商品選択支援システム１０００のうち制御装置を改良したものであり、他の構成は同等である。よって、以下では、本実施形態２にかかる制御装置について説明する。
【００４９】
図１０は、本実施形態２にかかる制御装置３ａの構成を示すブロック図である。制御装置３ａの制御部３１は、上述した制御装置３と比べて、認識部３１１が認識部３１１ａに置き換わり、登録部３１５が追加されたものである。また、制御装置３ａの記憶部３３は、プログラム３３０がプログラム３３０ａに置き換わり、履歴情報３３２が新たに記憶されたものである。それ以外の構成は制御装置３と同様であるため、詳細な説明を省略する。
【００５０】
プログラム３３０ａは、プログラム３３０の処理に、本実施形態にかかる履歴情報登録処理を追加して、実装されたコンピュータプログラムである。そして、制御部３１のプロセッサは、記憶部３３からプログラム３３０ａをメモリへ読み込み、プログラム３３０ａを実行する。これにより、制御部３１は、認識部３１１ａ、画像選択部３１２、画像生成部３１３、表示指示部３１４及び登録部３１５の機能を実現する。
【００５１】
履歴情報３３２は、商品選択支援システム１０００を用いて行われた各種処理、店員Ｓによる接客の履歴等を示す情報である。例えば、履歴情報３３２は、商品情報３３２１、背景情報３３２２、ユーザ情報３３２３、表示時刻３３２４、表示日付３３２５、表示期間３３２６及び購入結果３３２７のうち少なくとも一部が対応付けられた情報である。
【００５２】
商品情報３３２１は、鏡像に含まれる商品Ｇに関する情報である。例えば、商品情報３３２１は、商品ＩＤ，商品名、型番、価格等を含む。背景情報３３２２は、画像選択部３１２が選択した背景候補画像の識別情報、又は、当該背景候補画像の属性情報等を含む。ユーザ情報３３２３は、鏡像に含まれるユーザ（客Ｕ）に関する情報である。例えば、ユーザ情報３３２３は、ユーザＩＤ、ユーザの氏名、性別、年齢もしくは年代、住所等の個人情報、ユーザの商品の好み等を含む。
【００５３】
表示時刻３３２４は、画像生成部３１３により生成された背景画像が表示装置２２に表示された時刻を示し、例えば、時分秒で表現される。表示日付３３２５は、画像生成部３１３により生成された背景画像が表示装置２２に表示された日付を示し、例えば、年月日で表現される。表示期間３３２６は、画像生成部３１３により生成された背景画像が表示装置２２に表示された期間を示す。そのため、商品情報３３２１、背景情報３３２２、ユーザ情報３３２３、表示時刻３３２４、表示日付３３２５及び表示期間３３２６を対応付けた情報は、鏡面型表示装置２における表示履歴ということができる。
【００５４】
購入結果３３２７は、鏡像に含まれる商品Ｇに対する客Ｕにおける購入結果を示す情報である。例えば、購入結果３３２７は、商品Ｇの購入の有無、商品Ｇが購入され場合、購入金額、個数、日時、接客担当者等を含む。そのため、商品情報３３２１、ユーザ情報３３２３及び購入結果３３２７を対応付けた情報は、購入履歴ということができる。
【００５５】
登録部３１５は、鏡像に含まれる商品Ｇに関する商品情報３３２１と、画像選択部３１２により選択された背景候補画像を特定できる背景情報３３２２と、を関連付けた履歴情報３３２を記憶部３３に登録する。これにより、商品と選択された背景候補画像の組合せの履歴を保持できる。そのため、例えば、履歴情報３３２の分析により、ある商品について選択される頻度が高い背景候補画像が判明した場合、当該背景候補画像の利用シーンにその商品が適する可能性が高いといえる。また、商品が指定された際に、より選択された頻度が高い背景候補画像を選択でき、商品に適した利用シーンを客に推薦及び提案することができる。尚、鏡像に含まれる商品Ｇについては、店員Ｓが入力デバイスを操作して商品ＩＤ等を入力するか、後述する認識部３１１ａによる画像認識により特定されるものとする。
【００５６】
また、登録部３１５は、鏡像に含まれる客Ｕに関するユーザ情報３３２３を履歴情報３３２にさらに関連づけて記憶部３３に登録するとよい。これにより、ユーザごとの商品と選択された背景候補画像の組合せの履歴を保持できる。そのため、例えば、履歴情報３３２の分析により、あるユーザについて過去に提示した背景候補画像とマッチする他の商品を新たに推薦及び提案することもできる。尚、鏡像に含まれる客Ｕについては、店員Ｓが入力デバイスを操作してユーザＩＤ等を入力するか、後述する認識部３１１ａによる画像認識により特定されるものとする。
【００５７】
また、登録部３１５は、背景画像が表示装置２２に表示された期間を示す表示期間を履歴情報３３２にさらに関連づけて記憶部３３に登録するとよい。これにより、客Ｕがある商品について、及び商品と背景の組合せについて、検討に要した時間を記録できる。そのため、例えば、商品と背景候補画像の組合せについて、検討時間の長短を把握することができる。よって、新たな商品開発のヒントとして活用し得る。尚、登録部３１５は、画像選択部３１２により背景候補画像が選択された時刻から次の背景候補画像が選択されるまでの期間を表示期間としてもよい。または、登録部３１５は、表示装置２２に背景画像を表示する期間を計測して、表示期間としてもよい。
【００５８】
また、登録部３１５は、背景画像が表示装置２２に表示された時刻を示す表示時刻を履歴情報３３２にさらに関連づけて記憶部３３に登録するとよい。これにより、例えば、履歴情報３３２の分析により、客Ｕの来店履歴、商品及び背景の組合せが選択される時間帯の傾向、商品が選択される季節の傾向、商品及び背景の組合せの表示頻度、表示順序等を把握することが可能となる。よって、新たな商品開発のヒントとして活用し得る。尚、登録部３１５は、表示時刻の代わりに、店員Ｓにより選択情報等が入力された時刻を用いてもよい。
【００５９】
また、登録部３１５は、鏡像に含まれる商品Ｇに対する購入結果の入力を受け付け、購入結果３３２７を履歴情報３３２にさらに関連づけて記憶部３３に登録するとよい。例えば、店員Ｓが入力デバイスを操作して、客Ｕに提案した商品Ｇについての購入結果を入力すると、登録部３１５は、ＩＦ部３２を介して購入結果を受け付ける。そして、登録部３１５は、購入結果が示す商品情報３３２１と入力された購入結果３３２７とを関連付けて記憶部３３に登録する。これにより、商品選択支援システム１０００による商品の選択支援の成果を客観的に記録できる。そのため、例えば、履歴情報３３２の分析により、商品の売上傾向と背景との関連等が把握できる。例えば、海岸の背景と組み合わせて視認された商品が売れ始める時期等を把握でき、商品開発及び販売計画に反映し得る。尚、登録部３１５は、店舗のＰＯＳ（Point Of Sales）システム等から商品及び購入者を含む購入履歴を取得してもよい。
【００６０】
さらに、登録部３１５は、鏡像に含まれる商品Ｇを購入したか否かを含めて購入結果としての入力を受け付けるとよい。つまり、商品と背景の組合せを提示したが、客Ｕが購入にしなかった履歴を記録できる。そのため、例えば、履歴情報３３２の分析により、商品には適さない背景、利用シーンを把握することもできる。これは、履歴情報３３２に記録されたということは、背景候補画像が選択される時点、つまり、商品Ｇを試用した客Ｕが背景画像と組合せ視認する前の時点では、客Ｕ又は店員Ｓがその商品Ｇに適していると考えていたことを示す。それにもかかわらず、客Ｕが実際に視認したにもかかわらず、購入に至らなかったものがわかり、商品開発及び販売戦略が当初の意図通りでなかったことなども把握できる。また、商品と背景の組合せで相性が悪いものの傾向を把握できるため、店員Ｓによる接客に反映できる。
【００６１】
認識部３１１ａは、認識部３１１の機能に加えて、撮影画像から商品をさらに認識するとよい。例えば、記憶部３３は、商品の形状、色等を示す画像データをさらに記憶しているものとする。その場合、認識部３１１ａは、記憶部３３を参照し、撮影画像内の商品の形状、色等から客Ｕが試用する商品Ｇを画像認識して特定することができる。そして、登録部３１５は、認識部３１１ａにより認識された商品Ｇに関する情報を商品情報３３２１として履歴情報３３２にさらに関連づけて記憶部３３に登録するとよい。これにより、店員Ｓによる商品情報の入力を省くことができ、接客の効率を向上できる。
【００６２】
また、認識部３１１ａは、認識部３１１の機能に加えて、撮影画像からユーザをさらに認識するとよい。例えば、記憶部３３は、ユーザの顔や全身等の画像データをさらに記憶しているものとする。その場合、認識部３１１ａは、記憶部３３を参照し、撮影画像内の客Ｕの顔認識、体格等の認識をして、ハーフミラー２１の正面に位置する客Ｕを特定できる。そして、登録部３１５は、認識部３１１ａにより認識されたユーザに関する情報をユーザ情報３３２３として履歴情報３３２にさらに関連づけて記憶部３３に登録する。
【００６３】
図１１は、本実施形態２にかかる履歴情報登録処理の流れを示すフローチャートである。まず、店員Ｓは、入力デバイスを操作して、客Ｕに提案した商品Ｇについての購入結果を入力する。これに応じて、登録部３１５は、ＩＦ部３２を介して購入結果を受け付ける（Ｓ２１）。また、認識部３１１ａは、撮影画像から商品を認識する（Ｓ２２）。尚、ステップＳ２２は、上述したステップＳ１３と併せて実行されてもよい。
【００６４】
ステップＳ２１及びＳ２２の後、登録部３１５は、履歴情報３３２を生成する（Ｓ２３）。例えば、上述した処理を合せて、登録部３１５は、商品情報３３２１、背景情報３３２２、ユーザ情報３３２３、表示時刻３３２４、表示日付３３２５、表示期間３３２６及び購入結果３３２７を関連付けて履歴情報３３２を生成する。そして、登録部３１５は、生成した履歴情報３３２を記憶部３３に登録する（Ｓ２４）。
【００６５】
以上のように、本実施形態２によりマーケティングの基礎データを収集することができる。
【００６６】
＜実施形態３＞
本実施形態３は、上述した実施形態２の改良例である。本実施形態３は、実施形態２により蓄積された履歴情報を用いて、商品Ｇや客Ｕに応じた背景、利用シーンを提案するものである。これにより、客Ｕの潜在的なニーズを汲み取った商品や利用シーンの提案が可能となり、客Ｕによる商品選択をさらに効果的に支援できる。また、店員Ｓの接客をより効果的にサポートすることもできる。尚、本実施形態３においては、上述した制御装置３ａを改良したものであり、他の構成は同等である。よって、以下では、本実施形態３にかかる制御装置について説明する。
【００６７】
図１２は、本実施形態３にかかる制御装置３ｂの構成を示すブロック図である。制御装置３ｂの制御部３１は、上述した制御装置３ａと比べて、認識部３１１ａが認識部３１１ｂに置き換わり、画像選択部３１２が画像選択部３１２ｂに置き換わったものである。また、制御装置３ｂの記憶部３３は、プログラム３３０ａがプログラム３３０ｂに置き換わったものである。それ以外の構成は制御装置３ａと同様であるため、詳細な説明を省略する。
【００６８】
プログラム３３０ｂは、プログラム３３０又は３３０ａ内の商品選択支援処理が、後述する本実施形態にかかる商品選択支援処理に改良されて、実装されたコンピュータプログラムである。そして、制御部３１のプロセッサは、記憶部３３からプログラム３３０ｂをメモリへ読み込み、プログラム３３０ｂを実行する。これにより、制御部３１は、認識部３１１ｂ、画像選択部３１２ｂ、画像生成部３１３、表示指示部３１４及び登録部３１５の機能を実現する。
【００６９】
画像選択部３１２ｂは、ユーザの嗜好情報を選択情報として受け付け、受け付けた選択情報と記憶部３３内の履歴情報３３２とに基づき、記憶部３３の中から少なくとも１つの背景候補画像を選択する。ここで、ユーザの嗜好情報とは、客Ｕの趣味の映画、スポーツ、料理等を示す情報や、色や光沢の好み等を含むものである。また、履歴情報３３２が解析された場合には、あるユーザが過去に購入に至った商品において選択した背景候補画像の傾向や、選択された背景候補画像に共通する利用状況の情報等が解析結果として分析済みとする。その場合、記憶部３３は、当該解析結果をさらに記憶するものとする。そして、画像選択部３１２ｂは、解析結果を参照して、受け付けた嗜好情報に該当する背景候補画像を特定する。尚、ユーザの嗜好情報の受付は、店員Ｓが入力デバイスを操作して客Ｕの嗜好情報等を入力するものとする。または、ユーザの嗜好情報の受付として、ユーザのスマートフォン内の画像を入力し、認識部３１１ｂが当該入力画像を解析して、入力画像の特徴を抽出し、画像選択部３１２ｂは、当該特徴に類似する背景候補画像を選択してもよい。これにより、ユーザが良く行く場所、好みの観光地等を利用状況とすることができ、ユーザは、自分の嗜好がより反映された上で、商品の検討を行うことができる。
【００７０】
図１３は、本実施形態３にかかる商品選択支援処理の流れを示すフローチャートである。図１３は、図７の商品選択支援処理の一部が変更されたものである。まず、店員Ｓは、上述した入力デバイスを操作して、客Ｕの嗜好情報等を入力する。このとき、ＩＦ部３２は、店員Ｓから嗜好情報の入力を選択情報として受け付ける（Ｓ１１ａ）。そして、ＩＦ部３２は、入力された選択情報を画像選択部３１２ｂへ出力する。次に、画像選択部３１２は、入力された選択情報と履歴情報に基づき、背景候補画像を記憶部３３の中から選択する（Ｓ１２）。尚、ステップＳ１３、Ｓ１４及びＳ１５は、図７と同様であるため、説明を省略する。
【００７１】
図１２に戻り説明を続ける。認識部３１１ｂは、撮影画像から商品Ｇの特徴をさらに認識するとよい。例えば、記憶部３３は、商品の特徴（色、形状等）を示すベクトル情報等をさらに記憶しているものとする。また、商品情報３３２１にも商品の特徴を示すベクトル情報等が含まれるものとする。その場合、認識部３１１ｂは、記憶部３３を参照し、撮影画像に対して特徴量の抽出を行い、撮影画像内の商品の特徴を示すベクトル情報を特定することができる。尚、画像データから特徴量、ベクトル情報を抽出する処理は、公知の技術を適用できる。そして、画像選択部３１２ｂは、記憶部３３内の履歴情報３３２を参照し、認識部３１１ｂにより認識された商品の特徴に類似する商品情報３３２１と関連づけられた背景候補画像を選択情報として決定する。そして、画像選択部３１２ｂは、決定した選択情報に基づき記憶部３３の中から１つの背景候補画像を選択する。
【００７２】
図１４は、本実施形態３にかかる商品選択支援処理の流れを示すフローチャートである。図１４は、図７の商品選択支援処理の一部が変更されたものである。まず、認識部３１１ｂは、撮影画像から商品の特徴を認識する（Ｓ１６）。次に、画像選択部３１２ｂは、履歴情報３３２と、ステップＳ１６において認識された商品の特徴に基づき、選択情報を決定する（Ｓ１７）。その後、画像選択部３１２ｂは、決定された選択情報に基づき背景候補画像を選択する（Ｓ１２ｂ）。尚、ステップＳ１３、Ｓ１４及びＳ１５は、図７と同様であるため、説明を省略する。
【００７３】
このように、本実施形態３により、履歴情報を用いて、商品Ｇや客Ｕに応じた背景、利用シーンを提案して、客Ｕの潜在的なニーズを汲み取った商品や利用シーンの提案が可能となる。よって、客Ｕによる商品選択をさらに効果的に支援できる。
【００７４】
尚、本実施形態３では、ユーザの反応に応じて背景候補画像を選択してもよい。例えば、制御装置３ｂは、一度、何らかの背景候補画像に基づき背景画像を表示し、客Ｕの音声又は顔の表情等から、商品と背景の組合せに対するユーザの反応を検出する。例えば、マイクにより集音された客Ｕの感想の発言等を音声認識してユーザの反応を検出できる。または、撮影画像内の客Ｕの顔の表情を解析する公知の技術を用いてユーザの反応を検出できる。あるいは、公知のセンサを用いて客Ｕの生体情報を取得してユーザの反応を検出できる。そして、例えば、ユーザの反応が良好であれば、最初の背景候補画像と類似した利用状況の背景候補画像を別途、選択して、背景画像として表示する。一方、ユーザの反応が不良であれば、最初の背景候補画像とは別のタイプの利用状況の背景候補画像を別途、選択して、背景画像として表示する。これにより、ユーザの反応に応じて、適切な利用状況の提案が可能となり、商品の購入をより促進できる。
【００７５】
＜実施形態４＞
本実施形態４は、上述した実施形態１とは異なる態様である。本実施形態４にかかる商品選択支援装置は、鏡面型表示部と制御部が一体となった構成である。
【００７６】
図１５は、本実施形態４にかかる商品選択支援装置２０００の全体構成を示すブロック図である。商品選択支援装置２０００は、鏡面型表示部２０と、制御部３１と、ＩＦ部３２と、記憶部３３とを備える。但し、鏡面型表示部２０内のカメラ１については、本実施形態４にかかる商品選択支援装置２０００と別構成であってもよい。鏡面型表示部２０内のカメラ１、ハーフミラー２１、表示装置２２及び表示制御部２３、制御部３１、ＩＦ部３２並びに記憶部３３は、図１と同機能である。但し、記憶部３３内のプログラム３３０ｃは、プログラム３３０の商品選択支援処理を商品選択支援装置２０００内の各構成により実行するように実装されたコンピュータプログラムである。そして、制御部３１のプロセッサは、記憶部３３からプログラム３３０ｃをメモリへ読み込み、プログラム３３０ｃを実行する。これにより、制御部３１は、認識部３１１、画像選択部３１２、画像生成部３１３及び表示指示部３１４の機能を実現する。尚、表示制御部２３及び制御部３１は、マイクロコンピュータ等の同一の制御回路により実現されてもよい。
【００７７】
以上のことから、本実施形態４は、上述した実施形態１と同等の効果を奏することができる。さらに、本実施形態４にかかる商品選択支援装置２０００には、実施形態２又は３の改良を適用することもできる。
【００７８】
＜その他の実施形態＞
尚、上述した各実施形態において、店員Ｓによる接客は必須ではなく、商品選択支援システム１０００又は商品選択支援装置２０００に対する操作を、客Ｕ自身が直接行っても良い。
【００７９】
尚、上述の各実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【００８０】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００８１】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【符号の説明】
【００８２】
１０００  商品選択支援システム
１  カメラ
２  鏡面型表示装置
２０  鏡面型表示部
２１  ハーフミラー
２１１  被写体領域
２１２  背景領域
２１２１  背景領域
２１２２  背景領域
２２  表示装置
２２１  非視認領域
２２２  虚像
２２２１  背景領域
２２２２  背景領域
２３  表示制御部
３  制御装置
３ａ  制御装置
３ｂ  制御装置
３１  制御部
３１１  認識部
３１１ａ  認識部
３１１ｂ  認識部
３１２  画像選択部
３１２ｂ  画像選択部
３１３  画像生成部
３１４  表示指示部
３１５  登録部
３２  ＩＦ部
３３  記憶部
３３１１  背景候補画像
３３１２  背景候補画像
３３１ｎ  背景候補画像
３３０  プログラム
３３０ａ  プログラム
３３０ｂ  プログラム
３３０ｃ  プログラム
３３２  履歴情報
３３２１  商品情報
３３２２  背景情報
３３２３  ユーザ情報
３３２４  表示時刻
３３２５  表示日付
３３２６  表示期間
３３２７  購入結果
２０００  商品選択支援装置
Ｕ  客
Ｇ  商品
Ｓ  店員
４１  撮影画像
４１１  輪郭
４２  背景画像
４２１  非視認領域
４２２  背景領域
４３  鏡像
【図１】
2019191620.tif 000003
【図２】
2019191620.tif 000004
【図３】
2019191620.tif 000005
【図４】
2019191620.tif 000006
【図５】
2019191620.tif 000007
【図６】
2019191620.tif 000008
【図７】
2019191620.tif 000009
【図８】
2019191620.tif 000010
【図９】
2019191620.tif 000011
【図１０】
2019191620.tif 000012
【図１１】
2019191620.tif 000013
【図１２】
2019191620.tif 000014
【図１３】
2019191620.tif 000015
【図１４】
2019191620.tif 000016
【図１５】
2019191620.tif 000017