(57)【要約】【課題】ユーザが提示するサンプルに基づいて、ユーザとの間で対話しながら商品情報を提供する。【解決手段】商品情報提供システム１０は商品検索端末１１と、サーバ２０とを備えている。サーバ２０は商品情報記憶部２４と、画像、音声データ処理部２２と、画像、音声データ処理部２２で生成された画像データおよび音声データに基づいて検索キーワードおよび特徴画像を生成するキーワード/特徴画像生成部２３とを有し、キーワード/特徴画像生成部２３で生成された検索キーワードおよび特徴画像を用いて、商品情報記憶部２４から商品情報が読み出される。【選択図】図１
2020052833.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが提示するサンプルに基づいて、前記ユーザとの間で対話をしながら前記ユーザに対して商品情報を提供する商品情報提供システムにおいて、
サンプルを撮影して画像データを得る撮影部と、音声を受けかつ発する音声部と、商品情報を表示する表示部とを有する商品検索端末と、
前記商品検索端末に接続されたサーバとを備え、
前記サーバは送受信部と、商品情報を格納する商品情報記憶部と、前記送受信部に接続され画像データおよび／又は音声データを処理する画像、音声データ処理部と、前記画像、音声データ処理部で生成された画像データおよび／又は音声データに基づいて、検索キーワードおよび／又は特徴画像を生成するキーワード/特徴画像生成部とを有し、前記キーワード/特徴画像生成部で生成された検索キーワードおよび/又は特徴画像に基づいて前記商品情報記憶部内の商品情報を読み出して前記画像、音声データ処理部へ送る、商品情報提供システム。
【請求項２】
前記商品検索端末の前記表示部は、３Ｄ表示部からなる、請求項１記載の商品情報提供システム。
【請求項３】
前記サーバに、前記サーバからの前記サンプルの画像データを受け、この画像データの解析結果を前記サーバに送る画像解析システムが接続される、請求項１または２記載の商品情報提供システム。
【請求項４】
前記サーバに、前記ユーザとの間の対話中の前記ユーザ側の会話文を受け、接客側の会話文を生成するチャットボットが接続される、請求項１乃至３のいずれか記載の商品情報提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、商品情報提供システムに係り、とりわけユーザが提示するサンプルに基づいて、ユーザとの間で対話をしながら商品情報を提供する商品情報提供システムに関する。
【背景技術】
【０００２】
大型の書籍販売店には書籍の検索システムが導入され、この検索システムには、様々な書籍がジャンル別に分類して表示されている。そのため、ユーザがこの書籍の検索システムを用い、好みのジャンルを選択して書籍一覧を表示させることにより、好みに合った書籍を容易に探すことができるようになっている。
【０００３】
また、書籍の検索システム上で、店内の情報をキーワードにより検索できるようになされた大型店も多い。このような書籍の検索システムを備えた大型店では、書籍に関連したキーワードを用いて店内を検索することにより、ユーザの好みに合った書籍をより簡単に探すことができるようになっている。
【０００４】
しかしながら、上記の様な検索システムは様々な商品を販売しているモールのような大型店には導入されていない。また、キーワードにより商品情報を検索することは容易ではなく、特に不慣れなユーザにとっては検索が困難である。このような場合、ユーザとの間で対話をしながら商品情報を検索する技術も開発されている。しかしながら、この技術では対話の中味は定型の会話文からなり、ユーザとの間でスムーズな対話をすることはできない。
【０００５】
他方、ユーザとしては自ら持ち込んだサンプルに基づいて商品情報を検索したい要望もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１８２５４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本開示はこのような点を考慮してなされたものであり、ユーザとの間で自由な対話をしながら、かつユーザが提示するサンプルに基づいて商品情報を確実に検索することができる商品情報提供システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示は、ユーザが提示するサンプルに基づいて、前記ユーザとの間で対話をしながら前記ユーザに対して商品情報を提供する商品情報提供システムにおいて、サンプルを撮影して画像データを得る撮影部と、音声を受けかつ発する音声部と、商品情報を表示する表示部とを有する商品検索端末と、前記商品検索端末に接続されたサーバとを備え、前記サーバは送受信部と、商品情報を格納する商品情報記憶部と、前記送受信部に接続され画像データおよび/又は音声データを処理する画像、音声データ処理部と、前記画像、音声データ処理部で生成された画像データおよび/又は音声データに基づいて、検索キーワードおよび/又は特徴画像を生成するキーワード/特徴画像生成部とを有し、前記キーワード/特徴画像生成部で生成された検索キーワードおよび/又は特徴画像に基づいて前記商品情報記憶部内の商品情報を読み出して前記画像、音声データ処理部へ送る、商品情報提供システムである。
【０００９】
本開示は、前記商品検索端末の前記表示部は、３Ｄ表示部からなる、商品情報提供システムである。
【００１０】
本開示は、前記サーバに、前記サーバからの前記サンプルの画像データを受け、この画像データの解析結果を前記サーバに送る画像解析システムが接続される、商品情報提供システムである。
【００１１】
本開示は、前記サーバに、ユーザとの間の対話中のユーザ側の会話文を受け、接客側の会話文を生成するチャットボットが接続される、商品情報提供システムである。
【発明の効果】
【００１２】
本開示によれば、ユーザとの間で自由な対話をしながら、かつユーザが提示するサンプルに基づいて商品情報を容易かつ確実に検索することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は本実施形態による商品情報提供システムの機能構成例を示すブロック図。
【図２】図２は本実施形態による商品検索端末を示す図。
【図３】図３は本実施形態による商品情報提供システムの作用を示す図。
【図４】図４は本実施形態による商品情報提供システムの他の作用を示す図。
【図５】図５（ａ）（ｂ）（ｃ）は商品検索端末の表示部を示す図。
【図６】図６は本実施形態による商品情報提供システムの作用を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下、図面を参照して商品情報提供システムについて説明する。
【００１５】
ここで図１乃至図６は本実施の形態による商品情報提供システムを示す図である。
【００１６】
まず図１により商品情報提供システムの概略について述べる。図１１に示すように、商品情報提供システム１０は、大型店内に設置され、ユーザＰが提示するサンプルに基づいて、ユーザＰとの間で対話をしながらユーザＰに対して商品情報を提供するものである。
【００１７】
このような商品情報提供システム１０は、サンプル５を撮影して画像データ５ａを得る撮影部（カメラ）１２と、音声を発する音声部１３と、商品情報を表示する表示部１４とを有する商品検索端末１１と、この商品検索端末１１に接続されたサーバ２０とを備えている。
【００１８】
このうち商品検索端末１１は図２に示すように商品検索端末本体１１ａと、商品検索端末本体１１ａの上方部に設けられたカメラからなる撮影部１２を有し、商品検索端末本体１１ａの中央部に３Ｄ表示部からなる表示部１４が設けられている。また商品検索端末本体１１ａの下方部に音声部１３が設けられ、この音声部１３は音声を発するスピーカと音声を受けるマイクとを含む。
【００１９】
また商品検索端末１１にはインターネット１を介してサーバ２０が接続され、このサーバ２０は送受信部２１と、商品情報を格納する商品情報記憶部２４と、サンプル画像の画像データおよび対話中の音声データを処理する画像、音声データ処理部２２とを有する。またサーバ２０は、画像、音声データ処理部２２で生成された画像データおよび音声データに基づいて、検索キーワードおよび特徴画像を生成するキーワード/特徴画像生成部２３を有する。またキーワード/特徴画像生成部２３で生成された検索キーワードおよび特徴画像に基づいて、データ読み出し部２５が商品情報記憶部２４内の商品情報を読み出して画像、音声データ処理部２２へ送るようになっている。
【００２０】
またサーバ２０には、インターネット１を介してサーバ２０からのサンプル５の画像データ５ａを受けて画像データ５ａを画像解析し、画像データ５ａの解析結果をサーバ２０へ送る画像解析システム３０が接続され、この画像解析システム３０は外部サーバ３０ａを含む。
【００２１】
さらにサーバ２０には、インターネット１を介してユーザＰとの間の対話中のユーザＰ側の会話文を受け、接客側の会話文を生成するチャットボットシステム３２が接続され、このチャットボットシステム３２は外部サーバ３２ａを含む。
【００２２】
ところで商品情報提供システム１０のサーバ２０が備える画像、音声データ生成部２２、キーワード/特徴画像生成部２３、およびデータ読み出し部２５の各機能は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、これらの各機能は、実際にはサーバ２０内の記憶部２６内に格納された、コンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された商品情報提供用プログラムが動作することによって実現される。
【００２３】
また商品情報記憶部２４は、ユーザに提案する商品の情報を記憶する。商品情報記憶部２４に記憶する商品情報は、例えば、商品名、商品属性（色、サイズ、男性用か女性用かの性別など）、商品画像、商品の説明文、価格などを含んでいる。
【００２４】
またキーワード/特徴画像生成部２３は、画像、音声データ処理部２２で生成された画像データおよび音声データに基づいて検索キーワードおよび特徴画像を生成する。そしてキーワード/特徴画像生成部２３で生成された検索キーワードおよび特徴画像に基づいて商品情報記憶部２４内の商品情報がデータ読み出し部２５により読み出される。そして、データ読み出し部２５で読み出された商品情報は画像、音声データ処理部２２へ送られて、表示部１４で表示される画像データおよび音声部１３から発せられる音声データが生成される。
【００２５】
次にこのような構成からなる本実施の形態の作用について図３、および図６のフローチャートにより説明する。
【００２６】
まず大型店内に入ったユーザＰは商品検索端末１１の前に立ち、商品検索端末１１との間で対話を開始する。
【００２７】
具体的には、商品検索端末１１にはサーバ２０が接続され、このサーバ２０にチャットボットシステム３２が接続されている。ユーザＰは対話中のユーザ側会話文を音声部１３のマイクから商品検索端末１１に送る。次にユーザ側会話文は商品検索端末１１からサーバ２０の送受信部２１から画像、音声データ処理部２２へ送られ、この画像、音声データ処理部２２において音声データが生成されてチャットボットシステム３２へ送られる。次にチャットボットシステム３２では、ユーザ側会話文に回答する接客側会話文の音声データを生成し、この接客側会話文の音声データは画像、音声データ処理部２２から送受信部２１を介して商品検索端末１１へ送られて、音声部１３のスピーカからユーザＰあてに接客側会話文が発せられる。
【００２８】
このような手順を繰り返すことにより、ユーザＰと商品検索端末１１との間で対話が実行されて進められる。
【００２９】
ところでユーザＰと商品検索端末１１との間で進行する対話文としては以下のものが挙げられる。
【００３０】
ユーザＰ「ちょっと聞きたいことがあるんだけど…」
商品検索端末１１「いらっしゃいませ。どのようなご用件でしょうか？」（このとき表示部１４に店員のアバター３５が表示される（図５（ａ）参照））。
【００３１】
ユーザＰ「これが壊れたんだけど、同一商品は売っている？」
このときユーザＰはサンプル５を商品検索端末１１の撮影部１２に提示する。
【００３２】
次に商品検索端末１１は「少々お待ちください。」と音声を発して、対話を続ける。
【００３３】
その後撮影部１２はサンプル５を撮影して画像データ５ａを得るとともに、撮影部１２からの画像データ５ａはサーバ２０に送られる。画像データ５ａは、次にサーバ２０の送受信部２１から画像、音声データ処理部２２へ送られる。さらに画像データ５ａはサーバ２０から画像解析システム３０に送られ、送られた画像データが解析されて特定の商品が特定される。画像解析システム３０で解析結果はサーバ２０の画像、音声データ処理部２２へ送られる。
【００３４】
次に画像、音声データ処理部２２からユーザＰと商品検索端末１１との間の対話中におけるユーザ側会話文と、画像解析システム３０で解析された画像データがキーワード/特徴画像生成部２３へ送られ、このキーワード/特徴画像生成部２３において検索キーワードおよび特徴画像が生成される。
【００３５】
次にサーバ２０のキーワード/特徴画像生成部２３において生成されたキーワードに基づいて、データ読み出し部２５により、商品情報記憶部２４内の商品情報が読み出され、商品情報記憶部２４内から読み出された商品情報が画像、音声データ処理部２２へ送られる。次に画像、音声データ処理部２２において、商品情報記憶部２４内から読み出された商品情報に基づいて、商品情報に関する音声データおよび画像データが作成される。
【００３６】
次にサーバ２０の画像、音声データ処理部２２で作成された商品情報に関する音声データおよび画像データは、サーバ２０から商品検索端末１１へ送られる。そして音声データは商品検索端末１１の音声部１３のスピーカから音声として外方へ発せられる。
【００３７】
この場合、商品検索端末１１は、音声部１３のスピーカから「○○社製の××−△△ですね。生産終了してますが、後継商品があります。」と対話する。同時に商品検索端末１１の表示部１４から商品情報の画像データ５ｂ、例えが商品の外観が外部へ表示される（図５（ｂ）参照）。
【００３８】
その後、ユーザＰは「そうなんだ。ありがとう。」と言って対話を終了する。
【００３９】
以上のように本実施の形態によれば、ユーザＰは商品検索端末１１との間でチャットボットシステム３２により作成された対話を続けながら、サンプル５を撮影部１２で撮影することにより得られた画像データを用いて必要な商品情報を容易かつ確実に得ることができる。
【００４０】
なお、商品検索端末１１の表示部１４から商品情報の画像データ５ｂを表示する例を示したが、これに限らず商品検索端末１１の表示部１４から商品情報の画像データ５ｂを他の背景５ｃと組み合わせてＡＲ表示（Argumented Reality表示）の形態で表示してもよい（図５（ｃ）参照）。
【００４１】
次にこのような構成からなる本実施の形態の他の作用について図４、および図６のフローチャートにより説明する。
【００４２】
まず大型店内に入ったユーザＰは商品検索端末１１の前に立ち、商品検索端末１１との間で対話を開始する。
【００４３】
具体的には、商品検索端末１１にはサーバ２０が接続され、このサーバ２０にチャットボットシステム３２が接続されている。ユーザＰは対話中のユーザ側会話文を音声部１３のマイクから商品検索端末１１に送る。次にユーザ側会話文は商品検索端末１１からサーバ２０の送受信部２１から画像、音声データ処理部２２へ送られ、この画像、音声データ処理部２２において音声データが生成されてチャットボットシステム３２へ送られる。次にチャットボットシステム３２では、ユーザ側会話文に回答する接客側会話文の音声データを生成し、この接客側会話文の音声データは画像、音声データ処理部２２から送受信部２１を介して商品検索端末１１へ送られて、音声部１３のスピーカからユーザＰあてに接客側会話文が発せられる。
【００４４】
このような手順を繰り返すことにより、ユーザＰと商品検索端末１１との間で対話が実行されて進められる。
【００４５】
ところでユーザＰと商品検索端末１１との間で進行する対話文としては以下のものが挙げられる。
【００４６】
ユーザＰ「ちょっと聞きたいことがあるんだけど…」
商品検索端末１１「いらっしゃいませ。どのようなご用件でしょうか？」（このとき表示部１４に店員のアバター３５が表示される（図５（ａ）参照））。
【００４７】
ユーザＰ「この商品の裏側がみたいんだけど。」
このときユーザＰはサンプル５を商品検索端末１１の撮影部１２に提示する。
【００４８】
次に商品検索端末１１は「少々お待ちください。」と音声を発して、対話を続ける。
【００４９】
その後撮影部１２はサンプル５を撮影して画像データ５ａを得るとともに、撮影部１２からの画像データ５ａはサーバ２０に送られる。画像データ５ａは、次にサーバ２０の送受信部２１から画像、音声データ処理部２２へ送られる。さらに画像データ５ａはサーバ２０から画像解析システム３０に送られ、送られた画像データが画像解析システム３０内で解析されて特定の商品が特定される。画像解析システム３０で解析結果はサーバ２０の画像、音声データ処理部２２へ送られる。
【００５０】
次に画像、音声データ処理部２２からユーザＰと商品検索端末１１との間の対話中におけるユーザ側会話文と、画像解析システム３０で解析された画像データがキーワード/特徴画像生成部２３へ送られ、このキーワード/特徴画像生成部２３において検索キーワードおよび特徴画像が生成される。
【００５１】
次にサーバ２０のキーワード/特徴画像生成部２３において生成されたキーワードに基づいて、データ読み出し部２５により、商品情報記憶部２４内の商品情報が読み出され、商品情報記憶部２４内から読み出された商品情報が画像、音声データ処理部２２へ送られる。次に画像、音声データ処理部２２において、商品情報記憶部２４内から読み出された商品情報に基づいて、商品情報に関する音声データおよび画像データが作成される。
【００５２】
次にサーバ２０の画像、音声データ処理部２２で作成された商品情報に関する音声データおよび画像データは、サーバ２０から商品検索端末１１へ送られる。そして音声データは商品検索端末１１の音声部１３のスピーカから音声として外方へ発せられる。
【００５３】
この場合、商品検索端末１１は、音声部１３のスピーカから「○○社製の××−△△ですね。マニュアル表示します。」と対話する。同時に商品検索端末１１の表示部１４から商品情報の画像データ５ｂ、例えが商品のマニュアルが外部へ表示される。
【００５４】
その後、ユーザＰは「そうなんだ。ありがとう。」と言って対話を終了する。
【００５５】
以上のように本実施の形態によれば、ユーザＰは商品検索端末１１との間でチャットボットシステム３２により作成された対話を続けながら、サンプル５を撮影部１２で撮影することにより得られた画像データを用いて必要な商品情報を容易かつ確実に得ることができる。なお、上記の実施の形態において、画像、音声データ処理部２２で生成された画像データおよび音声データに基づいて、検索キーワードおよび特徴画像を生成し、この検索キーワードおよび特徴画像に基づいて商品情報記憶部２４内の商品情報を検索して読み出し画像、音声データ処理部２２へ送る例を示したが、これに限らず、画像、音声データ処理部２２で生成された画像データ及び音声データのいずれかのデータに基づいて、検索キーワード又は特徴画像を生成し、この検索キーワード又は特徴画像に基づいて前記商品情報記憶部２４内の商品情報を検索して読み出し、前記画像、音声データ処理部２２へ送ってもよい。
【符号の説明】
【００５６】
１  インターネット
５  サンプル
５ａ、５ｂ  画像データ
１０  商品情報提供システム
１１  商品検索端末
１２  撮影部
１３  音声部
１４  表示部
２０  サーバ
２１  送受信部
２２  画像、音声データ処理部
２３  キーワード/特徴画像生成部
２４  商品情報記憶部
２５  データ読み出し部
２６  記憶部
３０  画像解析システム
３２  チャットボットシステム
【図１】
2020052833.tif 000003
【図２】
2020052833.tif 000004
【図３】
2020052833.tif 000005
【図４】
2020052833.tif 000006
【図５】
2020052833.tif 000007
【図６】
2020052833.tif 000008