(57)【要約】【課題】客の特徴を表わす特徴量に基づいて、複数の服飾アイテムの中から客に応じた服飾アイテムをより高い精度で提案する技術を提供する。【解決手段】情報処理装置は、カメラで客を撮像して得られた画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、画像の顔領域から第１特徴量を抽出するとともに、画像の体領域から第２特徴量を抽出するための画像特徴抽出部と、マイクロフォンで収集された音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、第１特徴量、第２特徴量および第３特徴量の入力を受けて、複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力する学習済の推定モデルと、推定結果に基づいて、客に応じた服飾アイテムを表示するための表示部とを含む。【選択図】図１１
2020071811.tif 000002
【特許請求の範囲】
【請求項１】
客の特徴を表わす特徴量に基づいて複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置であって、
前記客を撮像するためのカメラと、
音声を収集するためのマイクロフォンと、
前記カメラで前記客を撮像して得られた画像内において、前記客の顔を表わす顔領域と、前記客の体を表わす体領域とを特定するための領域特定部と、
前記画像の前記顔領域から第１特徴量を抽出するとともに、前記画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記マイクロフォンで収集された音声のうち前記客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、
前記第１特徴量、前記第２特徴量および前記第３特徴量の入力を受けて、前記複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力する学習済の推定モデルと、
前記推定結果に基づいて、前記客に応じた服飾アイテムを表示するための表示部とを備え、
前記推定モデルは、学習用データセットを用いた学習処理により生成され、前記学習用データセットは、他の客を撮像して得られた画像および当該他の客が発話した音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む、情報処理装置。
【請求項２】
前記表示部は、前記マイクロフォンによる音声の収集前に、服飾アイテムの分類を示すカテゴリのリストを表示するとともに、当該リストに表示されているカテゴリのいずれかを音声で選択することを前記客に促すメッセージを表示する、請求項１に記載の情報処理装置。
【請求項３】
前記領域特定部は、前記客が身につけている服飾を表わす部分を前記体領域として特定する、請求項１または２に記載の情報処理装置。
【請求項４】
前記複数の服飾アイテムの各々は、予め定められた複数のカテゴリのいずれかに属しており、
前記情報処理装置は、前記客が発話した音声に基づいて、前記複数のカテゴリの中から、前記客によって選択されたカテゴリを特定するための音声解析部をさらに備え、
前記表示部は、前記推定結果に基づいて表示される服飾アイテムのうち、前記音声解析部により特定されたカテゴリに属する服飾アイテムと、当該特定されたカテゴリに属さない服飾アイテムとを異なる表示態様で表示する、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
情報処理システムであって、
客の特徴を表わす特徴量を学習済の推定モデルに入力して複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置と、
前記推定モデルを生成するための学習装置とを備え、
前記情報処理装置は、
前記客を撮像するためのカメラと、
音声を収集するためのマイクロフォンと、
前記カメラで前記客を撮像して得られた入力画像内において、前記客の顔を表わす顔領域と、前記客の体を表わす体領域とを特定するための領域特定部と、
前記入力画像の前記顔領域から第１特徴量を抽出するとともに、前記入力画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記マイクロフォンで収集された音声のうち前記客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部とを備え、
前記推定モデルは、前記第１特徴量、前記第２特徴量および前記第３特徴量の入力を受けて、
前記第１特徴量、前記第２特徴量および前記第３特徴量の入力を受けて、前記複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力するように学習されており、
前記情報処理装置は、前記推定結果に基づいて、前記客に応じた服飾アイテムを表示するための表示部をさらに備え、
前記学習装置は、
学習用データセットを取得するための取得部を含み、前記学習用データセットは、他の客を撮像して得られた学習用画像および当該他の客が発話した学習用音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含み、さらに
前記学習用画像内において、前記他の客の顔を表わす顔領域と、前記他の客の体を表わす体領域とを特定するための領域特定部と、
前記学習用画像の前記顔領域から第１学習用特徴量を抽出するとともに、前記学習用画像の前記体領域から第２学習用特徴量を抽出するための画像特徴抽出部と、
前記学習用音声のうち前記他の客の発話に対応する部分の音声から第３学習用特徴量を抽出するための音声特徴抽出部と、
前記学習用データから抽出された、前記第１学習用特徴量、前記第２学習用特徴量および前記第３学習用特徴量を前記推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、前記推定モデルを最適化するための学習部とを含む、情報処理システム。
【請求項６】
客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルを生成するための学習装置であって、
学習用データセットを取得するための取得部を備え、前記学習用データセットは、客を撮像して得られた画像および当該客が発話した音声に対して、当該客が購入した服飾アイテムをラベル付けした学習用データを複数含み、さらに
前記画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、
前記画像の前記顔領域から第１特徴量を抽出するとともに、前記画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、
前記学習用データから抽出された、前記第１特徴量、前記第２特徴量および前記第３特徴量を前記推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、前記推定モデルを最適化するための学習部とを備える、学習装置。
【請求項７】
客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる学習済の推定モデルであって、
前記推定モデルは、学習用データセットを用いた学習処理により生成され、
前記学習用データセットは、客を撮像して得られた画像および当該客が発話した音声に対して、当該客が購入した服飾アイテムをラベル付けした学習用データを複数含み、
前記学習処理は、前記学習用データの各々について、
前記画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するステップと、
前記画像の前記顔領域から第１特徴量を抽出するとともに、前記画像の前記体領域から第２特徴量を抽出するステップと、
前記音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するステップと、
前記第１特徴量、前記第２特徴量および前記第３特徴量を前記推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、前記推定モデルを最適化するステップとを含む、学習済の推定モデル。
【請求項８】
客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルの学習に用いられる学習用データの収集方法であって、
前記客を撮像して得られた画像および前記客の発話を含む音声を取得するステップと、
前記画像および前記音声から抽出される複数の特徴量を学習済の推定モデルに入力して当該客に応じた服飾アイテムの提案を生成するステップと、
識別情報を生成するステップと、
前記生成された服飾アイテムの提案および前記生成された識別情報を含む、服飾アイテムの購入を促す媒体を発行するステップと、
前記生成された識別情報と前記画像および前記音声とを関連付けるステップと、
前記媒体に含まれる前記識別情報および前記客が購入した服飾アイテムを取得するステップと、
前記媒体から取得された識別情報と前記客が購入した服飾アイテムとを関連付けるステップと、
前記識別情報をキーとして前記画像および前記音声と前記客が購入した服飾アイテムとを関連付けて、前記推定モデルの学習に用いられる学習用データとして保存するステップとを備える、学習用データの収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の服飾アイテムの中からに応じた服飾アイテムを提案する技術に関する。
【背景技術】
【０００２】
服飾アイテムを販売する店舗においては、多くの服飾アイテムが陳列されており、購入予定者が目的の服飾アイテムを探すことが容易ではない。
【０００３】
例えば、特開２０１７−２１５６６７号公報（特許文献１）は、来店した顧客に対し、当該顧客が所持している物や顧客が見ている販売商品に基づく推奨商品を簡単にレコメンドすることができなかったといった課題に対して、店舗に来店した顧客に対して、当該顧客が身に着けている物品や店舗内の顧客がいる位置に陳列されている販売商品を撮影した写真を用いて、当該写真に写っている物品等の所有者情報に応じた種類の推奨商品に関する商品情報を提案する構成を開示する。
【０００４】
国際公開第２００３／０６９５２６号公報（特許文献２）は、身体的特徴が入力されたとき、その特徴に似合うファッション内容のデータを出力する第１データベース装置と、その第１データベース装置から出力されたファッション内容のデータに基づき、そのファッション内容を提供する店舗のデータを出力する第２データベース装置とを備えているファッションアドバイジングシステムを開示する。
【０００５】
特表２００１−５０２０９０号公報（特許文献３）は、顧客によるファッションショッピングの方法に関し、具体的には、顧客に関するデータに基づいて、購入するための適切なファッションを選択するのを助ける方法を開示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−２１５６６７号公報
【特許文献２】国際公開第２００３／０６９５２６号公報
【特許文献３】特表２００１−５０２０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示される構成は、写真に写っている物品の種類と異なる商品で、例えば、色、形状、模様などのデザイン要素がその物品に合う商品、あるいは、所有者情報が第二所有者情報の場合の推奨商品は、例えば、写真に写っている物品の種類と同じ商品で、例えば、色、形状、模様などのデザイン要素がその物品に合う商品を、レコメンドするものであり、客の嗜好に応じた商品をレコメンドするようなものではない。
【０００８】
特許文献２に開示される構成は、客の身体的特徴が入力されたとき、その特徴に似合うファッション内容を決定することが主眼に置かれており、客の嗜好に応じたファッションを提供するようなものではない。
【０００９】
特許文献３に開示される構成は、バスト、ヒップ、ウエスト、腕長、身長、および正面中心の測定値を含む個人情報を取得して、購入するための衣服アイテムの選択を支援するものであり、衣服アイテムの提案には個人情報が必要となり、汎用的な運用には適さない構成である。
【００１０】
本発明は、客の特徴を表わす特徴量に基づいて、複数の服飾アイテムの中から客に応じた服飾アイテムをより高い精度で提案する技術を提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明のある局面によれば、客の特徴を表わす特徴量に基づいて複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置が提供される。情報処理装置は、客を撮像するためのカメラと、音声を収集するためのマイクロフォンと、カメラで客を撮像して得られた画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、画像の顔領域から第１特徴量を抽出するとともに、画像の体領域から第２特徴量を抽出するための画像特徴抽出部と、マイクロフォンで収集された音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、第１特徴量、第２特徴量および第３特徴量の入力を受けて、複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力する学習済の推定モデルと、推定結果に基づいて、客に応じた服飾アイテムを表示するための表示部とを含む。推定モデルは、学習用データセットを用いた学習処理により生成され、学習用データセットは、他の客を撮像して得られた画像および当該他の客が発話した音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む。
【００１２】
表示部は、マイクロフォンによる音声の収集前に、服飾アイテムの分類を示すカテゴリのリストを表示するとともに、当該リストに表示されているカテゴリのいずれかを音声で選択することを客に促すメッセージを表示するようにしてもよい。
【００１３】
領域特定部は、客が身につけている服飾を表わす部分を体領域として特定するようにしてもよい。
【００１４】
複数の服飾アイテムの各々は、予め定められた複数のカテゴリのいずれかに属していてもよい。情報処理装置は、客が発話した音声に基づいて、複数のカテゴリの中から、客によって選択されたカテゴリを特定するための音声解析部をさらに含んでいてもよい。表示部は、推定結果に基づいて表示される服飾アイテムのうち、音声解析部により特定されたカテゴリに属する服飾アイテムと、当該特定されたカテゴリに属さない服飾アイテムとを異なる表示態様で表示するようにしてもよい。
【００１５】
本発明の別の局面に従う情報処理システムは、客の特徴を表わす特徴量を学習済の推定モデルに入力して複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置と、推定モデルを生成するための学習装置とを含む。情報処理装置は、客を撮像するためのカメラと、音声を収集するためのマイクロフォンと、カメラで客を撮像して得られた入力画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、入力画像の顔領域から第１特徴量を抽出するとともに、入力画像の体領域から第２特徴量を抽出するための画像特徴抽出部と、マイクロフォンで収集された音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部とを含む。推定モデルは、第１特徴量、第２特徴量および第３特徴量の入力を受けて、第１特徴量、第２特徴量および第３特徴量の入力を受けて、複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力するように学習されている。情報処理装置は、推定結果に基づいて、客に応じた服飾アイテムを表示するための表示部をさらに含む。学習装置は、学習用データセットを取得するための取得部を含む。学習用データセットは、他の客を撮像して得られた学習用画像および当該他の客が発話した学習用音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む。学習装置は、さらに、学習用画像内において、他の客の顔を表わす顔領域と、他の客の体を表わす体領域とを特定するための領域特定部と、学習用画像の顔領域から第１学習用特徴量を抽出するとともに、学習用画像の体領域から第２学習用特徴量を抽出するための画像特徴抽出部と、学習用音声のうち他の客の発話に対応する部分の音声から第３学習用特徴量を抽出するための音声特徴抽出部と、学習用データから抽出された、第１学習用特徴量、第２学習用特徴量および第３学習用特徴量を推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、推定モデルを最適化するための学習部とを含む。
【００１６】
本発明のさらに別の局面に従えば、客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルを生成するための学習装置が提供される。学習装置は、学習用データセットを取得するための取得部を含む。学習用データセットは、客を撮像して得られた画像および当該客が発話した音声に対して、当該客が購入した服飾アイテムをラベル付けした学習用データを複数含む。学習装置は、画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、画像の顔領域から第１特徴量を抽出するとともに、画像の体領域から第２特徴量を抽出するための画像特徴抽出部と、音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、学習用データから抽出された、第１特徴量、第２特徴量および第３特徴量を推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、推定モデルを最適化するための学習部とを含む。
【００１７】
本発明のさらに別の局面に従えば、客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる学習済の推定モデルが提供される。推定モデルは、学習用データセットを用いた学習処理により生成される。学習用データセットは、客を撮像して得られた画像および当該客が発話した音声に対して、当該客が購入した服飾アイテムをラベル付けした学習用データを複数含む。学習処理は、学習用データの各々について、画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するステップと、画像の顔領域から第１特徴量を抽出するとともに、画像の体領域から第２特徴量を抽出するステップと、音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するステップと、第１特徴量、第２特徴量および第３特徴量を推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、推定モデルを最適化するステップとを含む。
【００１８】
本発明のさらに別の局面に従えば、客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルの学習に用いられる学習用データの収集方法が提供される。学習用データの収集方法は、客を撮像して得られた画像および客の発話を含む音声を取得するステップと、画像および音声から抽出される複数の特徴量を学習済の推定モデルに入力して当該客に応じた服飾アイテムの提案を生成するステップと、識別情報を生成するステップと、生成された服飾アイテムの提案および生成された識別情報を含む、服飾アイテムの購入を促す媒体を発行するステップと、生成された識別情報と画像および音声とを関連付けるステップと、媒体に含まれる識別情報および客が購入した服飾アイテムを取得するステップと、媒体から取得された識別情報と客が購入した服飾アイテムとを関連付けるステップと、識別情報をキーとして画像および音声と客が購入した服飾アイテムとを関連付けて、推定モデルの学習に用いられる学習用データとして保存するステップとを含む。
【発明の効果】
【００１９】
本発明によれば、客の特徴を表わす特徴量に基づいて、複数の服飾アイテムの中から客に応じた服飾アイテムをより高い精度で提案できる。
【図面の簡単な説明】
【００２０】
【図１】本実施の形態に従う服飾提案システムが配置される店舗の外観の一例を示す模式図である。
【図２】本実施の形態に従う服飾提案システムを構成する表示端末での処理を説明するための図である。
【図３】本実施の形態に従う服飾提案システムを構成する表示端末での処理を説明するための図である。
【図４】本実施の形態に従う服飾提案システムを構成する表示端末から出力されたクーポンを利用する来店者を説明するための図である。
【図５】本実施の形態に従う服飾提案システムにおける学習用データセットの生成処理を説明するための図である。
【図６】本実施の形態に従う服飾提案システムのシステム構成の一例を示す模式図である。
【図７】本実施の形態に従う服飾提案システムを構成する表示端末のハードウェア構成の一例を示す模式図である。
【図８】本実施の形態に従う服飾提案システムを構成するＰＯＳ端末のハードウェア構成の一例を示す模式図である。
【図９】本実施の形態に従う服飾提案システムを構成する管理装置のハードウェア構成の一例を示す模式図である。
【図１０】本実施の形態に従う服飾提案システムを構成する表示端末の機能構成の一例を示す模式図である。
【図１１】本実施の形態に従う服飾提案システムを構成する表示端末の提案アイテム推定機能における処理内容を説明するための図である。
【図１２】図１１に示す領域特定モジュールによる領域特定の処理を説明するための図である。
【図１３】図１１に示す区間特定モジュールによる区間特定の処理を説明するための図である。
【図１４】図１１に示す推定モデルのネットワーク構成例を示す模式図である。
【図１５】本実施の形態に従う服飾提案システムを構成する表示端末の表示制御機能１５０およびクーポン発行制御機能における処理内容を説明するための図である。
【図１６】本実施の形態に従う服飾提案システムを構成する表示端末の画像音声保存機能１７０における処理内容を説明するための図である。
【図１７】本実施の形態に従う服飾提案システムを構成する表示端末におけるアイテム推定処理の処理手順を示すフローチャートである。
【図１８】本実施の形態に従う服飾提案システムを構成するＰＯＳ端末の機能構成の一例を示す模式図である。
【図１９】本実施の形態に従う服飾提案システムを構成するＰＯＳ端末の売上情報保存機能２５０における処理内容を説明するための図である。
【図２０】本実施の形態に従う服飾提案システムを構成するＰＯＳ端末における売上管理処理の処理手順を示すフローチャートである。
【図２１】本実施の形態に従う服飾提案システムにおける学習フェーズの概要について説明するための図である。
【図２２】本実施の形態に従う服飾提案システムを構成する管理装置の機能構成の一例を示す模式図である。
【図２３】本実施の形態に従う服飾提案システムを構成する管理装置の学習用データセット生成機能３５０における処理内容を説明するための図である。
【図２４】本実施の形態に従う服飾提案システムを構成する管理装置の学習機能３６０における処理内容を説明するための図である。
【図２５】本実施の形態に従う服飾提案システムを構成する管理装置における学習処理の処理手順を示すフローチャートである。
【図２６】本実施の形態の変形例１に従う服飾提案システムのシステム構成の一例を示す模式図である。
【図２７】本実施の形態の変形例２に従う服飾提案システムの表示端末に表示されるアイテム提案画面を説明するための図である。
【図２８】本実施の形態の変形例２に従う服飾提案システムを構成する表示端末の表示制御機能およびクーポン発行制御機能における処理内容を説明するための図である。
【図２９】本実施の形態の変形例３に従う服飾提案システムを構成する表示端末の提案アイテム推定機能における処理内容を説明するための図である。
【図３０】本実施の形態の変形例４に従う服飾提案システムを構成する表示端末の提案アイテム推定機能における処理内容を説明するための図である。
【図３１】本実施の形態の変形例５に従う服飾提案システムの使用例を示す模式図である。
【図３２】本実施の形態の変形例５に従う服飾提案システムの実装例を示す模式図である。
【発明を実施するための形態】
【００２１】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。
【００２２】
＜Ａ．服飾提案システムの概要＞
まず、本発明に係る情報処理システムの典型例として、本実施の形態に従う服飾提案システム１の概要について説明する。
【００２３】
本明細書において、「服飾」は、人が身につける衣服（衣類）および装身具（装飾品）の全般を意味する。「服飾アイテム」は、服飾に含まれる任意の商品を指し示す用語である。説明の簡単化のため、「服飾アイテム」を単に「アイテム」と称することもある。
【００２４】
本明細書において、「客」は、服飾アイテムについて何らかの購入意思を有するユーザ一般を意味するものである。以下の説明においては、店舗の来店する客を「来店者」とも称す。また、携帯端末を介して本実施の形態に従うシステムを利用する客を「ネットユーザ」とも称す。
【００２５】
図１は、本実施の形態に従う服飾提案システム１が配置される店舗の外観の一例を示す模式図である。図２および図３は、本実施の形態に従う服飾提案システム１を構成する表示端末１００での処理を説明するための図である。
【００２６】
図１に示すように、店舗３０に客（以下、「来店者４０」とも称す。）が入店したとする。店舗３０の店内の入り口付近には、情報処理装置の一例である表示端末１００が配置されている。表示端末１００は、比較的大型のディスプレイ１０２と、ディスプレイ１０２に近傍に配置された人感センサ１２８、カメラ１３０およびマイクロフォン１３２とを含む。ディスプレイ１０２の下部には、プリンタ１２０が配置されている。
【００２７】
来店者４０が表示端末１００に接近すると（図２（ａ））、人感センサ１２８がその接近を検知して、ディスプレイ１０２にはカテゴリ選択受付画面５０が表示される（図２（ｂ））。この状態において、表示端末１００のカメラ１３０により来店者４０が撮像される。すなわち、表示端末１００では来店者４０を示す画像（以下、「撮像画像１３６」とも称す。）が取得される。
【００２８】
カテゴリ選択受付画面５０には、１または複数のカテゴリがリスト表示されている。併せて、来店者４０の発話を促すための、「音声でカテゴリを選択して下さい」とのメッセージが表示されている。
【００２９】
その後、表示端末１００のマイクロフォン１３２により音声の収集が開始され、来店者４０が希望するカテゴリを示す音声（図２に示す例では、「ジャケット」）を発すると（図２（ｃ））、ディスプレイ１０２にはアイテム提案画面５２が出力される（図３（ａ））。このとき、表示端末１００では来店者４０が発した音声（以下、「収集音声１３８」とも称す。）が取得される。
【００３０】
このように、ディスプレイ１０２は、マイクロフォン１３２による音声の収集前に、服飾アイテムの分類を示すカテゴリのリストを表示するとともに、当該リストに表示されているカテゴリのいずれかを音声で選択することを来店者４０に促すメッセージを表示する。
【００３１】
アイテム提案画面５２は、来店者４０の嗜好に応じて「おすすめ」と推定された服飾アイテムの一覧表示５４を含む。アイテム提案画面５２に一覧表示されるアイテムは、後述するような学習済モデルを用いたアイテム推定処理の実行により得られる推定結果に基づいて決定される。このように、情報処理装置の一例である表示端末１００は、客の特徴を表わす特徴量（典型的には、撮像画像１３６および収集音声１３８）に基づいて複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する。
【００３２】
アイテム提案画面５２は、クーポン発行ボタン５６をさらに有している。クーポン発行ボタン５６の押下に応答して、プリンタ１２０からはクーポン１０が出力される。
【００３３】
プリンタ１２０から出力されるクーポン１０は、割引額表示１２に加えて、アイテム提案画面５２に含まれる一覧表示５４に対応する一覧表示１４と、一覧表示１４に含まれる各アイテムが店舗内のいずれに位置にあるのかを示す地図１６とを含む（図３（ｂ））。
【００３４】
さらに、クーポン１０は、後述するクーポンＩＤを示すＱＲコード（登録商標）などの識別画像１８を含む。識別画像１８が示すクーポンＩＤを用いることで、推定モデルの学習に用いられる学習用データセットが生成される。
【００３５】
図４は、本実施の形態に従う服飾提案システム１を構成する表示端末１００から出力されたクーポン１０を利用する来店者４０を説明するための図である。来店者４０は、クーポン１０に印字された内容を参考にしながら、ショッピングを楽しむことができる（図４（ａ））。クーポン１０を提示することで割引が適用されるので、通常、来店者４０は、表示端末１００から出力されたクーポン１０を会計時に提示する（図４（ｂ））。
【００３６】
図５は、本実施の形態に従う服飾提案システム１における学習用データセットの生成処理を説明するための図である。図５を参照して、表示端末１００において取得された撮像画像１３６および収集音声１３８と、購入されたアイテムの情報（以下、「売上情報２１８」とも称す。）とは、クーポン１０（正確には、クーポンＩＤ１６６）を媒介として対応付けられる。このように、対応付けられた撮像画像１３６および収集音声１３８と売上情報２１８とが学習用データセットとして推定モデルの学習に用いられる。
【００３７】
このように、本実施の形態に従う服飾提案システム１においては、入店時に来店者４０の嗜好に基づくアイテムの提案を行うとともに、来店者４０が実際に購入したアイテムの情報を用いて、アイテムの提案を行うための推定モデルを学習することができる。
【００３８】
＜Ｂ．服飾提案システムのハードウェア構成例＞
次に、本実施の形態に従う服飾提案システム１のシステム構成例について説明する。先に、服飾提案システム１の全体構成例を説明した上で、服飾提案システム１に含まれる主要装置のハードウェア構成例について説明する。
【００３９】
（ｂ１：システム構成例）
図６は、本実施の形態に従う服飾提案システム１のシステム構成の一例を示す模式図である。図６を参照して、服飾提案システム１は、ローカルネットワーク２を介して接続された、１または複数の表示端末１００と、１または複数のＰＯＳ端末２００と、管理装置３００とを含む。
【００４０】
表示端末１００は、典型的には店舗３０の入口付近に配置されて、来店者の嗜好に応じた服飾を提案する。より具体的には、表示端末１００は、来店者を撮像することで画像を取得するとともに、当該来店者が発する音声を収集する。表示端末１００は、来店者の画像（以下、「撮像画像」とも称す。）および音声（以下、「収集音声」とも称す。）を学習済モデルに入力することで、当該来店者の嗜好への適合度（以下、「スコア」とも称す。）を販売しているアイテム毎に算出する。表示端末１００は、上位のスコアを有するアイテムを当該来店者へ提案する。表示端末１００は、来店者へ提案したアイテムが印字されたクーポンを発行することもできる。
【００４１】
表示端末１００は、さらに、撮像画像および収集音声を要求に応じて管理装置３００へ送信することもできる。
【００４２】
ＰＯＳ端末２００は、来店者が購入を希望するアイテムの会計処理を実行する。ＰＯＳ端末２００は、購入されたアイテムの情報（売上情報）を生成するとともに、要求に応じて管理装置３００へ送信することもできる。
【００４３】
管理装置３００は、表示端末１００が利用する学習済モデルの管理および更新を担当する。より具体的には、管理装置３００は、表示端末１００から撮像画像および収集音声を取得するとともに、ＰＯＳ端末２００から売上情報を取得する。そして、管理装置３００は、取得した撮像画像および収集音声と取得した売上情報とから学習用データセットを生成する。管理装置３００は、生成した学習用データセットを用いて、学習済モデルの学習（新規学習および追加学習の両方を含み得る。）を実行する。
【００４４】
管理装置３００により生成または更新された学習済モデルは、表示端末１００へ送信される。
【００４５】
（ｂ２：表示端末１００）
図７は、本実施の形態に従う服飾提案システム１を構成する表示端末１００のハードウェア構成の一例を示す模式図である。表示端末１００は、汎用コンピュータを用いて実現されてもよい。
【００４６】
図７を参照して、表示端末１００は、主要なハードウェア要素として、ディスプレイ１０２と、プロセッサ１０４と、メモリ１０６と、ネットワークコントローラ１０８と、ストレージ１１０と、プリンタ１２０と、光学ドライブ１２２と、タッチ検出部１２６と、人感センサ１２８と、カメラ１３０と、マイクロフォン１３２とを含む。
【００４７】
ディスプレイ１０２は、カテゴリ選択受付画面５０やアイテム提案画面５２などを出力する。ディスプレイ１０２は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどで構成される。
【００４８】
プロセッサ１０４は、後述するような各種プログラムを実行することで、表示端末１００の実現に必要な処理を実行する演算主体である、プロセッサ１０４としては、例えば、１または複数のＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などで構成される。複数のコアを有するＣＰＵまたはＧＰＵを用いてもよい。
【００４９】
メモリ１０６は、プロセッサ１０４がプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ１０６としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などの揮発性メモリデバイスを用いてもよい。
【００５０】
ネットワークコントローラ１０８は、ローカルネットワーク２を介して、管理装置３００を含む任意の情報処理装置などとの間でデータを送受信する。ネットワークコントローラ１０８は、例えば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式に対応するようにしてもよい。
【００５１】
ストレージ１１０は、プロセッサ１０４にて実行されるＯＳ（Operating System）１１２、後述するような機能構成を実現するためのアプリケーションプログラム１１４、学習済モデル１１６、およびアイテム提案画面５２を生成するためのアイテム画像１１８などを格納する。ストレージ１１０としては、例えば、ハードディスク、ＳＳＤ（Solid State Drive）などの不揮発性メモリデバイスを用いてもよい。さらに、ストレージ１１０には、来店者を撮像して取得される撮像画像および当該来店者が発する音声である収集音声を格納するようにしてもよい。
【００５２】
アプリケーションプログラム１１４をプロセッサ１０４で実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳ１１２が標準で提供するライブラリまたは機能モジュールを用いるようにしてもよい。この場合には、アプリケーションプログラム１１４単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳ１１２の実行環境下にインストールされることで、後述するような機能構成を実現できることになる。そのため、このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。
【００５３】
プリンタ１２０は、来店者へ提案したアイテムが印字されたクーポンを発行する。プリンタ１２０としては、電子写真方式、インクジェット方式および感熱紙方式などの任意の印刷方式を採用できる。
【００５４】
光学ドライブ１２２は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）などの光学ディスク１２４に格納されているプログラムなどの情報を読み出す。光学ディスク１２４は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ１２２が光学ディスク１２４からプログラムを読み出して、ストレージ１１０にインストールすることで、本実施の形態に従う表示端末１００を構成できる。したがって、本発明の主題は、ストレージ１１０などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク１２４などの記録媒体でもあり得る。
【００５５】
図７には、非一過的な記録媒体の一例として、光学ディスク１２４などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体を用いてもよい。
【００５６】
あるいは、表示端末１００を実現するためのプログラムは、上述したような任意の記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。
【００５７】
タッチ検出部１２６は、ディスプレイ１０２に対応付けられて配置されており、ディスプレイ１０２への入力操作を検知する。タッチ検出部１２６としては、静電容量方式、抵抗膜方式、超音波表面弾性波方式などの任意の検出方式を採用できる。
【００５８】
人感センサ１２８は、赤外線などを用いて、表示端末１００への来店者の接近を検知する。
【００５９】
カメラ１３０は、来店者を撮像するデバイスであり、ディスプレイ１０２の表示エリアの近傍などに配置され、ディスプレイ１０２に正対する来店者を視野に含むように構成される。カメラ１３０は、視野範囲を所定周期で連続的に撮像するようにしてもよいし、プロセッサ１０４などから発せられる指令に応じて撮像を行うようにしてもよい。
【００６０】
マイクロフォン１３２は、音声を収集するためのデバイスであり、来店者が発する音声を収集可能な、ディスプレイ１０２の表示エリアの近傍などに配置される。マイクロフォン１３２は、ディスプレイ１０２に正対する来店者の声のみを収集することが好ましく、そのため、先鋭な指向性を有することが好ましい。
【００６１】
図７には、汎用コンピュータ（プロセッサ１０４）がアプリケーションプログラム１１４を実行することで表示端末１００を実現する構成例を示すが、表示端末１００を実現するために必要な機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などを用いて実現してもよい。
【００６２】
（ｂ３：ＰＯＳ端末２００）
図８は、本実施の形態に従う服飾提案システム１を構成するＰＯＳ端末２００のハードウェア構成の一例を示す模式図である。図８を参照して、ＰＯＳ端末２００は、主要なハードウェア要素として、ディスプレイ２０２と、プロセッサ２０４と、メモリ２０６と、ネットワークコントローラ２０８と、ストレージ２１０と、プリンタ２２０と、光学ドライブ２２２と、タッチ検出部２２６と、光学読取機２２８と、入力部２３０と、決済処理部２３２とを含む。
【００６３】
ディスプレイ２０２は、アイテムの会計処理に必要な情報などを表示する。ディスプレイ２０２は、例えば、ＬＣＤや有機ＥＬディスプレイなどで構成される。
【００６４】
プロセッサ２０４は、後述するような各種プログラムを実行することで、ＰＯＳ端末２００の実現に必要な処理を実行する演算主体である、プロセッサ２０４としては、例えば、１または複数のＣＰＵなどで構成される。複数のコアを有するＣＰＵを用いてもよい。
【００６５】
メモリ２０６は、プロセッサ２０４がプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ２０６としては、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性メモリデバイスを用いてもよい。
【００６６】
ネットワークコントローラ２０８は、ローカルネットワーク２を介して、管理装置３００を含む任意の情報処理装置などとの間でデータを送受信する。ネットワークコントローラ２０８は、例えば、イーサネット、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈなどの任意の通信方式に対応するようにしてもよい。
【００６７】
ストレージ２１０は、プロセッサ２０４にて実行されるＯＳ２１２、後述するような機能構成を実現するためのアプリケーションプログラム２１４、会計処理に必要な各アイテムの価格や属性情報などを含むアイテム情報２１６、および購入されたアイテムの情報である売上情報２１８などを格納する。ストレージ２１０としては、例えば、ハードディスク、ＳＳＤなどの不揮発性メモリデバイスを用いてもよい。
【００６８】
アプリケーションプログラム２１４をプロセッサ２０４で実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳ２１２が標準で提供するライブラリまたは機能モジュールを用いるようにしてもよい。この場合には、アプリケーションプログラム２１４単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳ２１２の実行環境下にインストールされることで、後述するような機能構成を実現できることになる。そのため、このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。
【００６９】
プリンタ２２０は、会計処理の結果など印字されたレシートを発行する。プリンタ２２０としては、電子写真方式、インクジェット方式および感熱紙方式などの任意の印刷方式を採用できる。
【００７０】
光学ドライブ２２２は、ＣＤ−ＲＯＭ、ＤＶＤなどの光学ディスク２２４に格納されているプログラムなどの情報を読み出す。光学ディスク２２４は、非一過的な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ２２２が光学ディスク２２４からプログラムを読み出して、ストレージ２１０にインストールすることで、本実施の形態に従うＰＯＳ端末２００を構成できる。したがって、本発明の主題は、ストレージ２１０などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク２２４などの記録媒体でもあり得る。
【００７１】
図８には、非一過的な記録媒体の一例として、光学ディスク２２４などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯなどの光磁気記録媒体を用いてもよい。
【００７２】
あるいは、ＰＯＳ端末２００を実現するためのプログラムは、上述したような任意の記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。
【００７３】
タッチ検出部２２６は、ディスプレイ２０２に対応付けられて配置されており、ディスプレイ２０２への入力操作を検知する。タッチ検出部２２６としては、静電容量方式、抵抗膜方式、超音波表面弾性波方式などの任意の検出方式を採用できる。
【００７４】
光学読取機２２８は、アイテムに付されているアイテムタグの情報やクーポンに含まれるＱＲコードなどを光学的に読み取る。光学読取機２２８としては、レーザスキャン方式やイメージセンシング方式などの任意の検出方式を採用できる。
【００７５】
入力部２３０は、金額は品種などの入力操作を受け付ける。入力部２３０としては、例えば、レジキー、キーボード、マウス、タッチパネル、ペンなどを用いてもよい。
【００７６】
決済処理部２３２は、現金決済に必要な機構、ならびに、クレジットカードなどの電子的決済に必要な機構を含む。より具体的には、決済処理部２３２は、現金決済に関して、紙幣や硬貨を格納するための現金格納部および売上額を管理する売上管理部などを含む。決済処理部２３２は、電子決済に関して、クレジットカードに格納された情報を読み取って決済センタなどとの間で決済情報を遣り取りする機構などを含む。
【００７７】
図８には、汎用コンピュータ（プロセッサ２０４）がアプリケーションプログラム２１４を実行することでＰＯＳ端末２００を実現する構成例を示すが、ＰＯＳ端末２００を実現するために必要な機能の全部または一部を、集積回路などのハードワイヤード回路を用いて実現してもよい。例えば、ＡＳＩＣやＦＰＧＡなどを用いて実現してもよい。
【００７８】
（ｂ４：管理装置３００）
図９は、本実施の形態に従う服飾提案システム１を構成する管理装置３００のハードウェア構成の一例を示す模式図である。図９を参照して、管理装置３００は、主要なハードウェア要素として、ディスプレイ３０２と、プロセッサ３０４と、メモリ３０６と、ネットワークコントローラ３０８と、ストレージ３１０と、入力部３３０とを含む。
【００７９】
ディスプレイ３０２は、管理装置３００での処理に必要な情報を表示する。ディスプレイ３０２は、例えば、ＬＣＤや有機ＥＬディスプレイなどで構成される。
【００８０】
プロセッサ３０４は、後述するような各種プログラムを実行することで、管理装置３００の実現に必要な処理を実行する演算主体である、プロセッサ３０４としては、例えば、１または複数のＣＰＵやＧＰＵなどで構成される。複数のコアを有するＣＰＵまたはＧＰＵを用いてもよい。管理装置３００においては、学習済モデルを生成するための学習処理に適したＧＰＵなどを採用することが好ましい。
【００８１】
メモリ３０６は、プロセッサ３０４がプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域を提供する。メモリ３０６としては、例えば、ＤＲＡＭやＳＲＡＭなどの揮発性メモリデバイスを用いてもよい。
【００８２】
ネットワークコントローラ３０８は、ローカルネットワーク２を介して、表示端末１００およびＰＯＳ端末２００を含む任意の情報処理装置などとの間でデータを送受信する。ネットワークコントローラ３０８は、例えば、イーサネット、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈなどの任意の通信方式に対応するようにしてもよい。
【００８３】
ストレージ３１０は、プロセッサ３０４にて実行されるＯＳ３１２、後述するような機能構成を実現するためのアプリケーションプログラム３１４、画像／音声情報３２０および売上情報３２２から学習用データセット３２４を生成するための前処理プログラム３１６、ならびに、学習用データセット３２４を用いて学習済モデル３２６を生成するための学習用プログラム３１８などを格納する。
【００８４】
画像／音声情報３２０は、表示端末１００から取得される撮像画像１３６および収集音声１３８からなる。売上情報３２２は、ＰＯＳ端末２００から取得された売上情報２１８からなる。画像／音声情報３２０および売上情報３２２の取得処理については、後に詳述する。
【００８５】
学習用データセット３２４は、画像／音声情報３２０に売上情報３２２をラベル（あるいは、タグ）として付与した訓練データセットである。学習済モデル３２６は、学習用データセット３２４を用いて学習処理を実行することで得られる推定モデルである。
【００８６】
ストレージ３１０としては、例えば、ハードディスク、ＳＳＤなどの不揮発性メモリデバイスを用いてもよい。
【００８７】
アプリケーションプログラム３１４、前処理プログラム３１６および学習用プログラム３１８をプロセッサ３０４で実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳ３１２が標準で提供するライブラリまたは機能モジュールを用いるようにしてもよい。この場合には、アプリケーションプログラム３１４、前処理プログラム３１６および学習用プログラム３１８の各単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳ３１２の実行環境下にインストールされることで、後述するような機能構成を実現できることになる。そのため、このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。
【００８８】
アプリケーションプログラム３１４、前処理プログラム３１６および学習用プログラム３１８は、光学ディスクなどの光学記録媒体、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ならびにＭＯなどの光磁気記録媒体といった非一過的な記録媒体に格納されて流通し、ストレージ３１０にインストールされてもよい。したがって、本発明の主題は、ストレージ３１０などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した記録媒体でもあり得る。
【００８９】
あるいは、管理装置３００を実現するためのプログラムは、上述したような任意の記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。
【００９０】
入力部３３０は、各種の入力操作を受け付ける。入力部３３０としては、例えば、キーボード、マウス、タッチパネル、ペンなどを用いてもよい。
【００９１】
図９には、汎用コンピュータ（プロセッサ３０４）がアプリケーションプログラム３１４、前処理プログラム３１６および学習用プログラム３１８を実行することで管理装置３００を実現する構成例を示すが、管理装置３００を実現するために必要な機能の全部または一部を、集積回路などのハードワイヤード回路を用いて実現してもよい。例えば、ＡＳＩＣやＦＰＧＡなどを用いて実現してもよい。
【００９２】
（ｂ５：統合型構成／クラウド構成）
図６〜図９には、典型例として、表示端末１００、ＰＯＳ端末２００および管理装置３００の各々が担当する機能を実現するためにプロセッサを有している構成を例示したが、これに限らず、服飾提案システム１の実現に必要な機能をより少ない演算主体で実現する統合型の構成を採用してもよい。
【００９３】
このような統合型の構成の一例としては、表示端末１００およびＰＯＳ端末２００が担当する機能を管理装置３００において実現するとともに、表示端末１００およびＰＯＳ端末２００は、いわばシンクライアントのようなユーザインターフェイスのみを提供するようにしてもよい。
【００９４】
さらに、管理装置３００についても、コンピュータネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して実現するようにしてもよい。複数のコンピュータが連携する場合、一部のコンピュータがいわゆるクラウドコンピュータと称される、ネットワーク上にある不特定のコンピュータであってもよい。
【００９５】
当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う服飾提案システム１を実現できるであろう。
【００９６】
＜Ｃ．表示端末１００の機能および処理＞
次に、本実施の形態に従う服飾提案システム１を構成する表示端末１００の機能および処理について説明する。服飾提案システム１において、表示端末１００は、学習済モデル（推定モデル）を用いた服飾の提案という運用フェーズを担当するとともに、学習済モデルを構築するための学習フェーズの一部も担当することになる。
【００９７】
（ｃ１：表示端末１００の機能構成）
図１０は、本実施の形態に従う服飾提案システム１を構成する表示端末１００の機能構成の一例を示す模式図である。図１０に示す各機能は、典型的には、表示端末１００のプロセッサ１０４がＯＳ１１２およびアプリケーションプログラム１１４（いずれも図７参照）を実行することで実現されてもよい。
【００９８】
図１０を参照して、表示端末１００は、機能構成として、提案アイテム推定機能１４０と、表示制御機能１５０と、クーポン発行制御機能１６０と、画像音声保存機能１７０とを有している。
【００９９】
提案アイテム推定機能１４０は、カメラ１３０により来店者を撮像して得られた撮像画像１３６、および、マイクロフォン１３２により来店者が発した音声を収集して得られた収集音声１３８を入力として受け付けて、学習済モデル１１６に入力することで、推定結果を出力する。
【０１００】
表示制御機能１５０は、提案アイテム推定機能１４０からの推定結果を受け付けて、来店者の嗜好に応じた服飾を提案する画面を生成する。
【０１０１】
クーポン発行制御機能１６０は、表示制御機能１５０が来店者に提案したアイテムの情報を受け付けて、クーポンＩＤ１６６を生成するとともに、提案アイテムおよびクーポンＩＤ１６６が印字されたクーポン１０を発行する。
【０１０２】
画像音声保存機能１７０は、提案アイテム推定機能１４０が入力として受け付けた撮像画像１３６および収集音声１３８に、クーポン発行制御機能１６０が生成したクーポンＩＤ１６６を付与して保存する。画像音声保存機能１７０により保存される撮像画像１３６および収集音声１３８（クーポンＩＤ１６６が付与されている）は、後述するように、管理装置３００へ送信されて、学習済モデルを生成するための学習処理に用いられる。
【０１０３】
（ｃ２：提案アイテム推定機能１４０）
次に、図１０に示す表示端末１００の提案アイテム推定機能１４０の詳細について説明する。
【０１０４】
図１１は、本実施の形態に従う服飾提案システム１を構成する表示端末１００の提案アイテム推定機能１４０における処理内容を説明するための図である。図１１を参照して、表示端末１００は、提案アイテム推定機能１４０として、領域特定モジュール１４１と、サイズ調整モジュール１４２，１４３と、区間特定モジュール１４４と、リサンプリングモジュール１４５とを含む。
【０１０５】
領域特定モジュール１４１は、撮像画像１３６に含まれる被写体（来店者）を解析して、顔領域および体領域を特定する。すなわち、領域特定モジュール１４１は、カメラ１３０で客を撮像して得られた画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定する。領域特定モジュール１４１は、特定した顔領域および体領域に対応する顔領域部分画像１４７および体領域部分画像１４８を撮像画像１３６から抽出して出力する。
【０１０６】
典型的には、領域特定モジュール１４１は、目や鼻などの顔特徴を抽出するとともに、手足などの骨格特徴を抽出することで、顔領域および体領域を特定する。このとき、領域特定モジュール１４１は、客が身につけている服飾を表わす部分を体領域として特定するようにしてもよい。
【０１０７】
図１２は、図１１に示す領域特定モジュール１４１による領域特定の処理を説明するための図である。図１２を参照して、領域特定モジュール１４１は、来店者の顔を含む領域を顔領域部分画像１４７として抽出し、来店者の顔より下部の領域を体領域部分画像１４８として抽出する。
【０１０８】
顔領域部分画像１４７は、来店者の性別や年齢などの属性情報を含むと考えられ、体領域部分画像１４８は、来店者の現在の服装に関する情報（すなわち、服飾の嗜好傾向を示す情報）を含むと考えられる。
【０１０９】
再度図１１を参照して、領域特定モジュール１４１が撮像画像１３６から抽出した顔領域部分画像１４７は、サイズ調整モジュール１４２へ出力される。同様に、領域特定モジュール１４１が撮像画像１３６から抽出した体領域部分画像１４８は、サイズ調整モジュール１４３へ出力される。
【０１１０】
サイズ調整モジュール１４２および１４３において、顔領域部分画像１４７および体領域部分画像１４８は、予め定められた次元をもつ特徴量（特徴量ベクトル）に変換されて推定モデル１４００に与えられる。ここで、領域特定モジュール１４１により抽出される顔領域部分画像１４７および体領域部分画像１４８の画像サイズは変動し得るため、サイズ調整モジュール１４２および１４３は画像サイズを規格化する。
【０１１１】
より具体的には、サイズ調整モジュール１４２は、領域特定モジュール１４１からの顔領域部分画像１４７を予め定められた画素数の画像に調整した上で、調整後の画像を構成する各画素の画素値を顔領域特徴量１４１０として推定モデル１４００に入力する。
【０１１２】
同様に、サイズ調整モジュール１４３は、領域特定モジュール１４１からの体領域部分画像１４８を予め定められた画素数の画像に調整した上で、調整後の画像を構成する各画素の画素値を体領域特徴量１４２０として推定モデル１４００に入力する。
【０１１３】
このように、サイズ調整モジュール１４２，１４３は、顔領域部分画像１４７（画像の顔領域）から顔領域特徴量１４１０（第１特徴量）を抽出するとともに、体領域部分画像１４８（画像の体領域）から体領域特徴量１４２０（第２特徴量）を抽出する。
【０１１４】
区間特定モジュール１４４は、収集音声１３８に含まれる来店者が発した音声の区間を特定して、特定区間音声１４９を抽出して出力する。典型的には、区間特定モジュール１４４は、収集音声１３８が示す音声の時間的変化を解析して、表示端末１００の周囲にある雑音成分に対して、振幅あるいは周波数などが変化した区間を特定することで、特定区間音声１４９を抽出する。
【０１１５】
図１３は、図１１に示す区間特定モジュール１４４による区間特定の処理を説明するための図である。図１３を参照して、区間特定モジュール１４４は、収集音声１３８が示す音声の時間的変化のうち、前後の時間的変化に対して有意な変化を示す区間を来店者による発話区間であるとして特定し、特定区間音声１４９として抽出する。
【０１１６】
特定区間音声１４９は、来店者が希望するカテゴリを発話した音声であるので、希望するカテゴリを特定するための情報を含む。さらに、特定区間音声１４９は、来店者の現在のフィーリング（気分）を示す情報を含むと考えられる。
【０１１７】
このように、区間特定モジュール１４４およびリサンプリングモジュール１４５は、マイクロフォン１３２で収集された音声のうち客の発話に対応する部分の音声から音声特徴量１４３０（第３特徴量）を抽出する。
【０１１８】
再度図１１を参照して、リサンプリングモジュール１４５が収集音声１３８から抽出した特定区間音声１４９は、リサンプリングモジュール１４５へ出力される。リサンプリングモジュール１４５において、特定区間音声１４９は、予め定められた次元をもつ特徴量（特徴量ベクトル）に変換されて推定モデル１４００に与えられる。ここで、区間特定モジュール１４４により特定される特定区間音声１４９の音声の時間長さは変動し得るため、リサンプリングモジュール１４５が音声サンプリング数を規格化する。
【０１１９】
より具体的には、リサンプリングモジュール１４５は、区間特定モジュール１４４からの特定区間音声１４９が示す音声の時間波形を予め定められたサンプル数でサンプリングすることで、各サンプリング点での振幅値を音声特徴量１４３０として推定モデル１４００に入力する。
【０１２０】
推定モデル１４００は、ネットワーク構造および対応するパラメータを規定する学習済モデル１１６に基づいて構築される。顔領域特徴量１４１０、体領域特徴量１４２０および音声特徴量１４３０が推定モデル１４００に入力されることで、推定モデル１４００が定義する演算処理が実行されて、推定結果１４５０としてアイテム毎のスコアが算出される。ここで、アイテム毎のスコアは、各服飾アイテムが提案されるべき服飾アイテムであるそれぞれの可能性を示す値である。
【０１２１】
推定モデル１４００は、後述するような学習用データセットを用いた学習処理により生成される。後述するように、学習用データセットは、他の客を撮像して得られた画像および当該他の客が発話した音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む。
【０１２２】
このように、学習済の推定モデルである推定モデル１４００は、顔領域特徴量１４１０（第１特徴量）、体領域特徴量１４２０（第２特徴量）および音声特徴量１４３０（第３特徴量）の入力を受けて、複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性（スコア）を、推定結果１４５０として出力する。
【０１２３】
（ｃ３：推定モデル１４００）
図１４は、図１１に示す推定モデル１４００のネットワーク構成例を示す模式図である。図１４を参照して、推定モデル１４００は、ＤＮＮ（Deep Neural Network）に分類されるネットワークである。推定モデル１４００は、ＣＮＮ（Convolutional Neural Network）に分類される前処理ネットワーク１４６０，１４７０，１４８０と、中間層１４９０と、出力層に相当する活性化関数１４９２と、Ｓｏｆｔｍａｘ関数１４９４とを含む。
【０１２４】
前処理ネットワーク１４６０，１４７０，１４８０は、相対的に次数の大きな顔領域特徴量１４１０、体領域特徴量１４２０および音声特徴量１４３０から、推定結果１４５０を算出するために有効な特徴量を抽出するための一種のフィルタとして機能することが予定されている。前処理ネットワーク１４６０，１４７０，１４８０の各々は、畳み込み層（CONV）およびプーリング層（Pooling）が交互に配置された構成を有している。なお、畳み込み層とプーリング層との数は同数でなくてもよく、また、畳み込み層の出力側にはＲｅＬＵ（正規化線形関数：rectified linear unit）などの活性化関数が配置される。
【０１２５】
より具体的には、前処理ネットワーク１４６０は、顔領域特徴量１４１０（ｘ１１，ｘ１２，・・・，ｘ１ｒ）の入力を受けて、来店者の性別や年齢などの属性情報を示す内部特徴量を出力するように構築される。前処理ネットワーク１４７０は、体領域特徴量１４２０（ｘ２１，ｘ２２，・・・，ｘ２ｓ）の入力を受けて、来店者の現在の服装に関する情報（すなわち、服飾の嗜好傾向を示す情報）を示す内部特徴量を出力するように構築される。前処理ネットワーク１４８０は、音声特徴量１４３０（ｘ３１，ｘ３２，・・・，ｘ３ｔ）の入力を受けて、カテゴリを特定するための情報、および、来店者の現在のフィーリング（気分）を示す情報を示す内部特徴量を出力するように構築される。
【０１２６】
中間層１４９０は、所定数の層数を有する全結合ネットワークからなり、前処理ネットワーク１４６０，１４７０，１４８０の各々からの出力を、各ノードについて決定される重みおよびバイアスを用いてノード毎に順次結合する。
【０１２７】
中間層１４９０の出力側には、ＲｅＬＵなどの活性化関数１４９２が配置され、最終的には、Ｓｏｆｔｍａｘ関数１４９４により確率分布に正規化された上で、推定結果１４５０（ｙ１，ｙ２，・・・，ｙＮ）が出力される。
【０１２８】
後述するような学習フェーズにおいては、推定モデル１４００のネットワークを構築する各エレメントのパラメータが最適化される。
【０１２９】
（ｃ４：表示制御機能１５０およびクーポン発行制御機能１６０）
次に、図１０に示す表示端末１００の表示制御機能１５０およびクーポン発行制御機能１６０の詳細について説明する。
【０１３０】
図１５は、本実施の形態に従う服飾提案システム１を構成する表示端末１００の表示制御機能１５０およびクーポン発行制御機能１６０における処理内容を説明するための図である。図１５を参照して、表示端末１００は、表示制御機能１５０として、表示制御モジュール１５２を含む。
【０１３１】
表示制御モジュール１５２は、提案アイテム推定機能１４０により算出される推定結果１４５０を受け付けて、推定結果１４５０において上位のスコアを有するアイテムに対応するアイテム画像１１８を用いてアイテム提案画面５２を生成する。表示制御モジュール１５２は、生成したアイテム提案画面５２をディスプレイ１０２に出力する。すなわち、ディスプレイ１０２は、推定結果１４５０に基づいて、客に応じた服飾アイテムを表示する。
【０１３２】
アイテム画像１１８は、アイテムの識別情報に対応付けられた各アイテムの画像を含む。表示制御モジュール１５２は、推定結果１４５０に基づいて、アイテム画像１１８に含まれる画像のうち必要な画像を抽出する。
【０１３３】
また、表示端末１００は、クーポン発行制御機能１６０として、クーポン発行制御モジュール１６２と、クーポンＩＤ生成モジュール１６４とを含む。クーポン発行制御モジュール１６２は、表示制御モジュール１５２からの提案アイテムとクーポンＩＤ生成モジュール１６４からのクーポンＩＤ１６６とを受け付けて、それらの情報が印字されたクーポン１０をプリンタから発行する。
【０１３４】
クーポンＩＤ生成モジュール１６４は、ユニークな識別情報であるクーポンＩＤ１６６を任意の方法で生成する。なお、クーポンＩＤ１６６は、ＱＲコードなどの形でクーポン１０に印字されてもよい。この場合には、クーポンＩＤ生成モジュール１６４は、所定数の文字列をランダムに生成するとともに、生成された文字列に対応するＱＲコードを生成するようにしてもよい。後述するように、クーポンＩＤ１６６は、学習用データセット３２４を生成するためのキーとして用いられる。
【０１３５】
（ｃ５：画像音声保存機能１７０）
次に、図１０に示す表示端末１００の画像音声保存機能１７０の詳細について説明する。
【０１３６】
図１６は、本実施の形態に従う服飾提案システム１を構成する表示端末１００の画像音声保存機能１７０における処理内容を説明するための図である。図１６を参照して、表示端末１００は、画像音声保存機能１７０として、対応付けモジュール１７２と、画像音声格納部１７４とを含む。
【０１３７】
クーポン発行制御モジュール１６２（図１５参照）がクーポン１０を発行したことに応答して、対応付けモジュール１７２は、発行されたクーポン１０に付与されたクーポンＩＤ１６６を受け付けて、当該クーポン１０の発行に利用された撮像画像１３６および収集音声１３８に受け付けたクーポンＩＤ１６６を対応付ける。対応付けモジュール１７２は、対応付けられたクーポンＩＤ１６６と、撮像画像１３６および収集音声１３８とを一体として画像音声格納部１７４に格納する。
【０１３８】
画像音声格納部１７４は、メモリ１０６あるいはストレージ１１０（いずれも図７参照）が提供する記憶領域の少なくとも一部を用いて実現される。画像音声格納部１７４には、クーポンＩＤ１６６、撮像画像１３６および収集音声１３８からなるデータセットの単位でデータが格納される。
【０１３９】
（ｃ６：処理手順）
次に、服飾提案システム１を構成する表示端末１００において実行されるアイテム推定処理について説明する。
【０１４０】
図１７は、本実施の形態に従う服飾提案システム１を構成する表示端末１００におけるアイテム推定処理の処理手順を示すフローチャートである。図１７に示す各ステップは、典型的には、表示端末１００のプロセッサ１０４がＯＳ１１２およびアプリケーションプログラム１１４（いずれも図７参照）を実行することで実現されてもよい。
【０１４１】
図１７を参照して、まず、表示端末１００は、来店者を検知したか否かを判断する（ステップＳ１００）。ステップＳ１００においては、典型的には、人感センサ１２８（図７参照）からの検知結果に基づいて、来店者が存在しているか否かが判断される。来店者が検知されなければ（ステップＳ１００においてＮＯ）、ステップＳ１００の処理が繰り返される。
【０１４２】
来店者が検知されると（ステップＳ１００においてＹＥＳ）、表示端末１００は、カテゴリ選択受付画面（図２参照）をディスプレイ１０２に表示する（ステップＳ１０２）。
【０１４３】
続いて、表示端末１００は、表示端末１００に正対する来店者をカメラ１３０により撮像することで撮像画像１３６を取得する（ステップＳ１０４）。併せて、表示端末１００は、音声の収集を開始する（ステップＳ１０６）。そして、表示端末１００は、収集される音声に基づいて、来店者の発話を検知したか否かを判断する（ステップＳ１０８）。ステップＳ１０８においては、図１３に示すように、音声の時間的変化に対して有意な変化を示す区間（発話区間）が現れたか否かが判断される。来店者の発話が検知されなければ（ステップＳ１０８においてＮＯ）、ステップＳ１０６およびＳ１０８の処理が繰り返される。このように、表示端末１００は、客を撮像して得られた撮像画像１３６および客の発話を含む収集音声１３８を取得する処理を事項する。
【０１４４】
来店者の発話が検知されると（ステップＳ１０８においてＹＥＳ）、表示端末１００は、撮像画像１３６から顔領域部分画像１４７および体領域部分画像１４８を抽出する（ステップＳ１１０）。そして、表示端末１００は、抽出した顔領域部分画像１４７および体領域部分画像１４８をサイズ調整して顔領域特徴量１４１０および体領域特徴量１４２０を抽出する（ステップＳ１１２）。
【０１４５】
併せて、表示端末１００は、収集音声１３８に含まれる発話区間を特定区間音声１４９として抽出する（ステップＳ１１４）。そして、表示端末１００は、抽出した特定区間音声１４９をリサンプリングして音声特徴量１４３０を抽出する（ステップＳ１１６）。
【０１４６】
表示端末１００は、ステップＳ１１２において生成した顔領域特徴量１４１０および体領域特徴量１４２０、ならびに、ステップＳ１１６において生成した音声特徴量１４３０を推定モデル１４００に入力して推定結果１４５０を生成する（ステップＳ１１８）。
【０１４７】
このように、表示端末１００は、撮像画像１３６および収集音声１３８から抽出される複数の特徴量を学習済の推定モデル１４００に入力して当該客に応じた服飾アイテムの提案を生成する処理を実行する。
【０１４８】
表示端末１００は、ステップＳ１１８において生成した推定結果１４５０においてスコアが上位のアイテムに基づいてアイテム提案画面５２を生成して出力する（ステップＳ１２０）。
【０１４９】
表示端末１００は、クーポン発行ボタンが押下されたか否かを判断する（ステップＳ１２２）。クーポン発行ボタンが押下されなければ（ステップＳ１２２においてＮＯ）、ステップＳ１２２の処理が繰り返される。
【０１５０】
クーポン発行ボタンが押下されると（ステップＳ１２２においてＹＥＳ）、表示端末１００は、クーポンＩＤ１６６を生成するとともに、提案アイテムおよびクーポンＩＤ１６６が印字されたクーポン１０を発行する（ステップＳ１２４）。すなわち、表示端末１００は、識別情報であるクーポンＩＤ１６６を生成する処理を実行するとともに、媒体であるクーポン１０を発行する処理を実行する。クーポン１０は、生成された服飾アイテムの提案および生成されたクーポンＩＤ１６６（識別情報）を含むとともに、服飾アイテムの購入を促すための割引の内容が表示されている。
【０１５１】
最終的に、表示端末１００は、クーポンＩＤ１６６に対応付けて撮像画像１３６および収集音声１３８を保存する（ステップＳ１２６）。すなわち、表示端末１００は、生成されたクーポンＩＤ１６６（識別情報）と撮像画像１３６および収集音声１３８とを関連付ける処理を実行する。
【０１５２】
以上により、一人の来店者に対するアイテム推定処理は完了する。
（ｃ７：小括）
本実施の形態に従う表示端末１００は、来店者の顔領域部分画像１４７から生成される顔領域特徴量１４１０と、来店者の体領域部分画像１４８から生成される体領域特徴量１４２０と、来店者の特定区間音声１４９から生成される音声特徴量１４３０とを推定モデル１４００に与えることで、来店者の嗜好に応じた服飾を提案できる。
【０１５３】
また、本実施の形態に従う表示端末１００は、クーポンＩＤ１６６を含むクーポン１０を発行することで、後述するような学習フェーズで使用される学習データセットを生成するためのプラットフォームを提供できる。
【０１５４】
＜Ｄ．ＰＯＳ端末２００の機能構成＞
次に、本実施の形態に従う服飾提案システム１を構成するＰＯＳ端末２００の機能および処理について説明する。服飾提案システム１において、ＰＯＳ端末２００は、主として、学習済モデルを構築するための学習フェーズの一部を担当することになる。
【０１５５】
（ｄ１：ＰＯＳ端末２００の機能構成）
図１８は、本実施の形態に従う服飾提案システム１を構成するＰＯＳ端末２００の機能構成の一例を示す模式図である。図１８に示す各機能は、典型的には、ＰＯＳ端末２００のプロセッサ２０４がＯＳ２１２およびアプリケーションプログラム２１４（いずれも図８参照）を実行することで実現されてもよい。
【０１５６】
図１８を参照して、ＰＯＳ端末２００は、機能構成として、会計機能２４０と、売上情報保存機能２５０とを有している。
【０１５７】
会計機能２４０は、来店者がアイテムを購入する際の決済処理を担当する。より具体的には、会計機能２４０は、購入対象のアイテムに付されているアイテムタグ２０の情報およびクーポンから読み取られるクーポンＩＤ１６６に基づいて、購入対象アイテムの金額、割引額、支払額などを算出するとともに、決済処理を実行する。会計機能２４０は、決済処理されたアイテムを示す売上情報２１８を出力する。
【０１５８】
売上情報保存機能２５０は、会計機能２４０から出力される売上情報２１８に、クーポン１０から読み取られたクーポンＩＤ１６６を付与して保存する。売上情報保存機能２５０により保存される売上情報２１８（クーポンＩＤ１６６が付与されている）は、後述するように、管理装置３００へ送信されて、学習済モデルを生成するための学習処理に用いられる。
【０１５９】
（ｄ２：売上情報保存機能２５０）
次に、図１８に示すＰＯＳ端末２００の売上情報保存機能２５０の詳細について説明する。
【０１６０】
図１９は、本実施の形態に従う服飾提案システム１を構成するＰＯＳ端末２００の売上情報保存機能２５０における処理内容を説明するための図である。図１９を参照して、ＰＯＳ端末２００は、売上情報保存機能２５０として、対応付けモジュール２５２と、売上情報格納部２５４とを含む。
【０１６１】
会計機能２４０（図１８参照）から売上情報２１８およびクーポンＩＤ１６６が入力されたことに応答して、対応付けモジュール２５２は、売上情報２１８に係るアイテムの購入時に使用されたクーポン１０に付与されていたクーポンＩＤ１６６を受け付けて、売上情報２１８と対応付ける。対応付けモジュール２５２は、対応付けられたクーポンＩＤ１６６と売上情報２１８とを一体として売上情報格納部２５４に格納する。
【０１６２】
売上情報格納部２５４は、メモリ１０６あるいはストレージ１１０（いずれも図７参照）が提供する記憶領域の少なくとも一部を用いて実現される。売上情報格納部２５４には、クーポンＩＤ１６６および売上情報２１８からなるデータセットの単位でデータが格納される。
【０１６３】
売上情報２１８は、典型的には、アイテム種別（アイテム１，アイテム２，・・・，アイテムＮ）毎に売上個数が格納されている。
【０１６４】
（ｄ３：処理手順）
次に、服飾提案システム１を構成するＰＯＳ端末２００において実行される売上管理処理について説明する。
【０１６５】
図２０は、本実施の形態に従う服飾提案システム１を構成するＰＯＳ端末２００における売上管理処理の処理手順を示すフローチャートである。図２０に示す各ステップは、典型的には、ＰＯＳ端末２００のプロセッサ２０４がＯＳ２１２およびアプリケーションプログラム２１４（いずれも図８参照）を実行することで実現されてもよい。
【０１６６】
図２０を参照して、まず、ＰＯＳ端末２００は、光学読取機２２８（図８参照）によりクーポン１０が読み取られたか否かを判断する（ステップＳ２００）。クーポン１０が読み取られると（ステップＳ２００においてＹＥＳ）、ＰＯＳ端末２００は、読み取られたクーポン１０のクーポンＩＤ１６６を取得する（ステップＳ２０２）。一方、クーポン１０が読み取られなければ（ステップＳ２００においてＮＯ）、ステップＳ２０２の処理はスキップされる。
【０１６７】
続いて、ＰＯＳ端末２００は、光学読取機２２８（図８参照）により購入対象のアイテムに付されているアイテムタグ２０が読み取られたか否かを判断する（ステップＳ２０４）。アイテムタグ２０が読み取られると（ステップＳ２０４においてＹＥＳ）、ＰＯＳ端末２００は、読み取られたアイテムタグ２０のアイテム情報を売上情報２１８に追加する（ステップＳ２０６）。
【０１６８】
そして、ＰＯＳ端末２００は、アイテムタグの読み取り終了指示が与えられたか否かを判断する（ステップＳ２０８）。アイテムタグの読み取り終了指示が与えられていなければ（ステップＳ２０８においてＮＯ）、ステップＳ２０４以下の処理が繰り返される。
【０１６９】
アイテムタグの読み取り終了指示が与えられると（ステップＳ２０８においてＹＥＳ）、ＰＯＳ端末２００は、クーポン１０の有無および現在の売上情報２１８に基づいて支払額を算出する（ステップＳ２１０）。そして、ＰＯＳ端末２００は、ステップＳ２１０において算出した支払額について決済処理を実行する（ステップＳ２１２）。
【０１７０】
続いて、ＰＯＳ端末２００は、クーポンＩＤ１６６が取得済であるか否かを判断する（ステップＳ２１４）。すなわち、ステップＳ２００において、クーポン１０が読み取られているか否かを判断する。
【０１７１】
クーポンＩＤ１６６が取得済であれば（ステップＳ２１４においてＹＥＳ）、ＰＯＳ端末２００は、クーポンＩＤ１６６に対応付けて売上情報２１８を保存する（ステップＳ２１６）。一方、クーポンＩＤ１６６が取得済でなければ（ステップＳ２１４においてＮＯ）、ステップＳ２１６の処理はスキップされる。以上により、一人の来店者に対する売上管理処理は完了する。
【０１７２】
（ｄ４：小括）
本実施の形態に従うＰＯＳ端末２００は、来店者が購入するアイテムの決済処理を実行するとともに、その際に提示されるクーポン１０に付与されているクーポンＩＤ１６６を読み取り、購入されたアイテムと対応付けて保存する。この保存された購入されたアイテムの情報（売上情報２１８）は、後述するような学習フェーズで使用される学習データセットの生成に利用される。
【０１７３】
＜Ｅ．学習フェーズの概要＞
次に、本実施の形態に従う服飾提案システム１における学習フェーズの概要について説明する。
【０１７４】
本実施の形態に従う服飾提案システム１は、同一の来店者についての、表示端末１００に保存される撮像画像１３６および収集音声１３８と、ＰＯＳ端末２００に保存される売上情報２１８とを対応付けることで、学習用データセット３２４を生成し、生成した学習用データセット３２４を用いて推定モデルを学習する。
【０１７５】
図２１は、本実施の形態に従う服飾提案システム１における学習フェーズの概要について説明するための図である。図２１を参照して、表示端末１００は、アイテム推定処理の実行の際に取得した、クーポンＩＤ１６６が対応付けられた撮像画像１３６および収集音声１３８を管理装置３００へ送信する（シーケンスＳＱ１）。同様に、ＰＯＳ端末２００は、売上管理処理の実行の際に取得した、クーポンＩＤ１６６が対応付けられた売上情報２１８を管理装置３００へ送信する（シーケンスＳＱ２）。
【０１７６】
管理装置３００は、表示端末１００から送信された撮像画像１３６および収集音声１３８と、ＰＯＳ端末２００から送信された売上情報２１８とを、クーポンＩＤ１６６をキーにして対応付けることで、学習用データセット３２４を生成する（シーケンスＳＱ３）。すなわち、シーケンスＳＱ３は、学習用データセット３２４を生成するための前処理に相当する。
【０１７７】
管理装置３００は、生成した学習用データセット３２４を用いて、推定モデルを学習または追加学習することで、学習済モデル３２６を生成する（シーケンスＳＱ４）。そして、管理装置３００は、生成した学習済モデル３２６を表示端末１００の各々に送信する（シーケンスＳＱ５）。表示端末１００は、管理装置３００から送信された学習済モデル３２６を学習済モデル１１６として保存する。すなわち、表示端末１００の学習済モデル１１６が設定あるいは更新される。
【０１７８】
図２１に示すように、本実施の形態に従う服飾提案システム１においては、クーポン１０に付与されたクーポンＩＤ１６６を用いて、表示端末１００およびＰＯＳ端末２００のそれぞれで取得される情報同士を結合できるので、来店者に負担を与えることなく、推定モデルの推定精度を高めるための学習用データセット３２４を容易に生成できる。
【０１７９】
＜Ｆ．管理装置３００の機能構成＞
次に、本実施の形態に従う服飾提案システム１を構成する管理装置３００の機能および処理について説明する。服飾提案システム１において、管理装置３００は、主として、学習済モデルを構築するための学習フェーズの一部を担当することになる。
【０１８０】
（ｆ１：管理装置３００の機能構成）
図２２は、本実施の形態に従う服飾提案システム１を構成する管理装置３００の機能構成の一例を示す模式図である。図２２に示す各機能は、典型的には、管理装置３００のプロセッサ３０４がＯＳ３１２、アプリケーションプログラム３１４、前処理プログラム３１６、および学習用プログラム３１８（いずれも図９参照）を実行することで実現されてもよい。
【０１８１】
図２２を参照して、管理装置３００は、機能構成として、撮像画像・収集音声・売上情報取得機能３４０と、学習用データセット生成機能３５０と、学習機能３６０とを有している。
【０１８２】
撮像画像・収集音声・売上情報取得機能３４０は、表示端末１００に保存されている、クーポンＩＤ１６６が対応付けられた撮像画像１３６および収集音声１３８、ならびに、ＰＯＳ端末２００に保存されている、クーポンＩＤ１６６が対応付けられた売上情報２１８を取得する。これらのデータは、学習用データセットとして用いられることになる。すなわち、管理装置３００の撮像画像・収集音声・売上情報取得機能３４０は、学習用データセットを取得するための構成に相当する。
【０１８３】
表示端末１００およびＰＯＳ端末２００からのデータ取得の方法としては、例えば、表示端末１００およびＰＯＳ端末２００に対して何らかの指令を与えて表示端末１００およびＰＯＳ端末２００がそれぞれデータを送信するようにしてもよいし、管理装置３００が表示端末１００およびＰＯＳ端末２００にアクセスしてそれぞれデータを取得するようにしてもよい。あるいは、表示端末１００およびＰＯＳ端末２００は、予め定められた周期毎にデータを管理装置３００へ送信するようにしてもよい。
【０１８４】
学習用データセット生成機能３５０は、表示端末１００から取得されたクーポンＩＤ１６６が対応付けられた撮像画像１３６および収集音声１３８と、ＰＯＳ端末２００から取得されたクーポンＩＤ１６６が対応付けられた売上情報２１８とから、学習用データセット３２４を生成する。
【０１８５】
学習機能３６０は、学習用データセット生成機能３５０により生成された学習用データセット３２４を用いて、推定モデルを学習することで学習済モデル３２６を生成する。生成された学習済モデル３２６は、表示端末１００へ送信される。
【０１８６】
（ｆ２：学習用データセット生成機能３５０）
次に、図２２に示す管理装置３００の学習用データセット生成機能３５０の詳細について説明する。
【０１８７】
図２３は、本実施の形態に従う服飾提案システム１を構成する管理装置３００の学習用データセット生成機能３５０における処理内容を説明するための図である。図２３を参照して、学習用データセット生成機能３５０に関して、管理装置３００は、表示端末１００から取得された、クーポンＩＤ１６６が対応付けられた撮像画像１３６および収集音声１３８と、ＰＯＳ端末２００から取得された、クーポンＩＤ１６６が対応付けられた売上情報２１８とを比較して、同一のクーポンＩＤ１６６を有するデータ間を対応付ける。
【０１８８】
図２３には、一例として、クーポンＩＤ１６６として「０１」，「０２」，「０３」がそれぞれ付与された撮像画像１３６と収集音声１３８とのデータの組、ならびに、クーポンＩＤ１６６として「０２」，「０３」，「０８」がそれぞれ付与された売上情報２１８が示されている。これらのうち、クーポンＩＤ１６６が「０２」および「０３」が付与されたデータについては、撮像画像１３６、収集音声１３８および売上情報２１８のすべてが揃うことになる。これらの３種類のデータを学習用データ（入力情報と推定結果の正解値との関係）として決定できる。複数のクーポンＩＤ１６６について学習用データをそれぞれ生成することで、学習用データセット３２４を生成できる。
【０１８９】
このとき、後述するような学習処理に適合させるために、売上情報２１８がラベル（タグ）として用いられる。すなわち、学習用データセット３２４は、任意の客を撮像して得られた撮像画像１３６（学習用画像）および当該任意の客が発話した収集音声１３８（学習用音声）に対して、当該任意の客が購入した服飾アイテム（売上情報２１８）がラベル付けされている。
【０１９０】
（ｆ３：学習機能３６０）
次に、図２２に示す管理装置３００の学習機能３６０の詳細について説明する。
【０１９１】
図２４は、本実施の形態に従う服飾提案システム１を構成する管理装置３００の学習機能３６０における処理内容を説明するための図である。図２４を参照して、管理装置３００は、学習機能３６０として、領域特定モジュール１４１と、サイズ調整モジュール１４２，１４３と、区間特定モジュール１４４と、リサンプリングモジュール１４５とを含む。これらのモジュールは、表示端末１００が、提案アイテム推定機能１４０として有しているモジュールと実質的に同一である。そのため、これらのモジュールについての詳細な説明は繰り返さない。
【０１９２】
さらに、管理装置３００は、学習機能３６０として、パラメータ最適化モジュール３６２を含む。パラメータ最適化モジュール３６２は、推定モデル１４００を規定するためのモデルパラメータ３６４を最適化することで、学習済モデル３２６を生成する。
【０１９３】
パラメータ最適化モジュール３６２は、学習用データセット３２４に含まれる撮像画像１３６、収集音声１３８および売上情報２１８の各組（学習用データ）を用いて、モデルパラメータ３６４を最適化する。
【０１９４】
より具体的には、パラメータ最適化モジュール３６２は、学習用データセット３２４に含まれる各組の撮像画像１３６および収集音声１３８から、顔領域特徴量１４１０、体領域特徴量１４２０および音声特徴量１４３０を生成して、推定モデル１４００に入力することで推定結果１４５０を算出する。そして、パラメータ最適化モジュール３６２は、推定モデル１４００から出力される推定結果１４５０と対応する売上情報２１８（正解ラベル）とを比較することで誤差を算出し、算出した誤差に応じてモデルパラメータ３６４の値を最適化（調整）する。
【０１９５】
すなわち、パラメータ最適化モジュール３６２は、学習部に相当し、学習用データ（撮像画像１３６および収集音声１３８に売上情報２１８がラベル付けされている）から抽出された、顔領域特徴量１４１０（第１特徴量）、体領域特徴量１４２０（第２特徴量）および音声特徴量１４３０（第３特徴量）を推定モデル１４００に入力して出力される推定結果１４５０が、当該学習用データにラベル付けされている服飾アイテムの購入実績（売上情報２１８）に近付くように、推定モデル１４００を最適化する。言い換えれば、パラメータ最適化モジュール３６２は、学習用データに含まれる撮像画像１３６および収集音声１３８から特徴量を抽出して推定モデル１４００に入力したときに算出される推定結果１４５０が対応する売上情報２１８と一致するようにモデルパラメータ３６４を調整する。
【０１９６】
同様の手順で、学習用データセット３２４に含まれる各学習用データ（撮像画像１３６、収集音声１３８および売上情報２１８）に基づいて、推定モデル１４００のモデルパラメータ３６４を繰り返し最適化することで、学習済モデル３２６が生成される。
【０１９７】
パラメータ最適化モジュール３６２がモデルパラメータ３６４の値を最適化するにあたっては、任意の最適化アルゴリズムを用いることができる。より具体的には、最適化アルゴリズムとしては、例えば、ＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）、Ｍｏｍｅｎｔｕｍ  ＳＧＤ（慣性項付加ＳＧＤ）、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍ（Adaptive moment estimation）などの勾配法を用いることができる。
【０１９８】
なお、推定モデル１４００から出力される推定結果１４５０の各要素を正規化された確率として出力する場合には、売上情報２１８に含まれるアイテム種別（アイテム１，アイテム２，・・・，アイテムＮ）毎の売上個数（図１９参照）についても正規化しておくことが好ましい。
【０１９９】
パラメータ最適化モジュール３６２によりモデルパラメータ３６４を最適化された推定モデル１４００は、学習済モデル３２６に相当し、表示端末１００へ送信される。
【０２００】
（ｆ４：処理手順）
次に、服飾提案システム１を構成する管理装置３００において実行される学習処理について説明する。
【０２０１】
図２５は、本実施の形態に従う服飾提案システム１を構成する管理装置３００における学習処理の処理手順を示すフローチャートである。図２５に示す各ステップは、典型的には、管理装置３００のプロセッサ３０４がＯＳ３１２、アプリケーションプログラム３１４、前処理プログラム３１６、および学習用プログラム３１８（いずれも図９参照）を実行することで実現されてもよい。
【０２０２】
図２５を参照して、管理装置３００は、表示端末１００からクーポンＩＤ１６６が付与された撮像画像１３６および収集音声１３８を取得する（ステップＳ３００）。併せて、管理装置３００は、ＰＯＳ端末２００からクーポンＩＤ１６６が付与された売上情報２１８を取得する（ステップＳ３０２）。すなわち、管理装置３００は、媒体であるクーポン１０に含まれるクーポンＩＤ１６６（識別情報）および客が購入した服飾アイテム（売上情報２１８）を取得する処理を実行する。
【０２０３】
そして、管理装置３００は、クーポンＩＤ１６６をキーにして、撮像画像１３６および収集音声１３８と、売上情報２１８とを対応付けることで、学習用データセット３２４を生成する（ステップＳ３０４）。すなわち、管理装置３００は、媒体であるクーポン１０から取得されたクーポンＩＤ１６６（識別情報）と客が購入した服飾アイテム（売上情報２１８）とを関連付ける処理を実行し、さらに、クーポンＩＤ１６６をキーとして撮像画像１３６および収集音声１３８と売上情報２１８とを関連付けて、推定モデル１４００の学習に用いられる学習用データとして保存する処理を実行する。
【０２０４】
管理装置３００は、生成した学習用データセット３２４のうち、１つのデータの組（学習用データ）を選択する（ステップＳ３０６）。
【０２０５】
管理装置３００は、選択したデータの撮像画像１３６から顔領域部分画像１４７および体領域部分画像１４８を抽出する（ステップＳ３０８）。そして、管理装置３００は、抽出した顔領域部分画像１４７および体領域部分画像１４８をサイズ調整して顔領域特徴量１４１０および体領域特徴量１４２０を抽出する（ステップＳ３１０）。
【０２０６】
このように、管理装置３００は、各学習用データの撮像画像１３６内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定する処理を実行する。そして、管理装置３００は、撮像画像１３６の顔領域から顔領域特徴量１４１０（第１特徴量）を抽出するとともに、撮像画像１３６の体領域から体領域特徴量１４２０（第２特徴量）を抽出する処理を実行する。
【０２０７】
併せて、管理装置３００は、選択したデータの収集音声１３８に含まれる発話区間を特定区間音声１４９として抽出する（ステップＳ３１２）。そして、管理装置３００は、抽出した特定区間音声１４９をリサンプリングして音声特徴量１４３０を抽出する（ステップＳ３１４）。このように、管理装置３００は、収集音声１３８のうち客の発話に対応する部分の音声から音声特徴量１４３０（第３特徴量）を抽出する処理を実行する。
【０２０８】
管理装置３００は、ステップＳ３１０において生成した顔領域特徴量１４１０および体領域特徴量１４２０、ならびに、ステップＳ３１４において生成した音声特徴量１４３０を推定モデル１４００に入力して推定結果１４５０を生成する（ステップＳ３１６）。
【０２０９】
管理装置３００は、選択したデータの売上情報２１８とステップＳ３１６において生成した推定結果１４５０との誤差に基づいて推定モデルのモデルパラメータ３６４を最適化する（ステップＳ３１８）。
【０２１０】
このように、管理装置３００は、顔領域特徴量１４１０（第１特徴量）、体領域特徴量１４２０（第２特徴量）および音声特徴量１４３０（第３特徴量）を推定モデル１４００に入力して出力される推定結果１４５０が、当該学習用データにラベル付けされている服飾アイテムの購入実績（売上情報２１８）に近付くように、推定モデル１４００を最適化する処理を実行する。
【０２１１】
そして、管理装置３００は、ステップＳ３０４において生成した学習用データセット３２４のすべてを処理したか否かを判断する（ステップＳ３２０）。学習用データセット３２４のすべてを処理していなければ（ステップＳ３２０においてＮＯ）、ステップＳ３０６以下の処理が繰り返される。
【０２１２】
学習用データセット３２４のすべてを処理していれば（ステップＳ３２０においてＹＥＳ）、管理装置３００は、現在のモデルパラメータ３６４により規定される学習済モデル３２６を各表示端末１００へ送信する（ステップＳ３２２）。以上により、学習処理は完了する。
【０２１３】
（ｆ５：小括）
本実施の形態に従う管理装置３００は、表示端末１００から取得される撮像画像１３６および収集音声１３８と、ＰＯＳ端末２００から取得される売上情報２１８とを、クーポンＩＤ１６６をキーにして対応付けることで、学習用データセット３２４を容易に生成できる。このような学習用データセット３２４を用いることで、推定モデルの構築あるいは学習済モデル３２６の追加学習が可能となる。これによって、服飾の提案精度を高めることができる。
【０２１４】
＜Ｇ．変形例＞
上述の実施の形態においては、典型例として、表示端末１００、ＰＯＳ端末２００および管理装置３００が単一の店舗３０に配置された服飾提案システム１を例示したが、これに限らず、各種の変形が可能である。以下、いくつかの変形例について説明する。
【０２１５】
（ｇ１：複数店舗連携：変形例１）
一変形例として、管理装置３００が複数の店舗間を管理するようにしてもよい。
【０２１６】
図２６は、本実施の形態の変形例１に従う服飾提案システム１Ａのシステム構成の一例を示す模式図である。図２６を参照して、店舗３０Ａおよび店舗３０Ｂの各々には、１または複数の表示端末１００および１または複数のＰＯＳ端末２００が配置されている。各店舗３０は、広域ネットワーク４を介して同一の管理装置３００と接続されている。
【０２１７】
管理装置３００は、店舗３０Ａの表示端末１００およびＰＯＳ端末２００から必要な情報（撮像画像１３６、収集音声１３８および売上情報２１８）を取得するとともに、店舗３０Ｂの表示端末１００およびＰＯＳ端末２００から必要な情報を取得する。そして、管理装置３００は、収集した情報に基づいて、両店舗に共通の学習済モデル、あるいは、店舗毎の学習済モデルを生成する。
【０２１８】
図２６に示すような構成を採用することで、管理装置３００の配置数を低減できるとともに、より多くの学習用データセットを取得できるので、学習済モデルの推定精度を高めることができる。
【０２１９】
（ｇ２：カテゴリ別のアイテム提案：変形例２）
上述の実施の形態に従う推定モデル１４００（図１１参照）には、カテゴリ選択受付画面５０に表示されるカテゴリのいずれかに対応する音声特徴量１４３０が入力されるので、基本的には、出力される推定結果１４５０において、発声されたカテゴリに属するアイテムは相対的に高いスコアを有することになる。なお、複数の服飾アイテムの各々は、予め定められた複数のカテゴリ（商品カテゴリ）のいずれかに属することになる。
【０２２０】
但し、選択されたカテゴリに属するアイテムと同時に購入された他のカテゴリに属するアイテムが多数存在する場合には、推定結果１４５０には、相対的に高いスコアを有する他のカテゴリに属するアイテムが混在し得る。このような場合には、アイテム提案画面５２には、選択されたカテゴリ以外のカテゴリに属するアイテムも提案されることになる。
【０２２１】
図２７は、本実施の形態の変形例２に従う服飾提案システム１の表示端末１００に表示されるアイテム提案画面を説明するための図である。図２７（ａ）に示すように、推定結果１４５０に他のカテゴリに属するアイテムが相対的に高いスコアを有する場合には、アイテム提案画面５２の一覧表示５４には、当該他のカテゴリに属するアイテム（符号５４Ｍ）が含まれることになる。
【０２２２】
このような他のカテゴリに属するアイテムを含み得るアイテム提案画面５２を表示するようにしてもよいが、図２７（ｂ）に示すように、選択されたカテゴリに属するアイテムと、それ以外のカテゴリに属するアイテムとを異なる表示態様で提案してもよい。
【０２２３】
すなわち、図２７（ｂ）に示すアイテム提案画面５２は、来店者４０が音声で選択したカテゴリに属するアイテムからなる一覧表示５４と、来店者４０が音声で選択したカテゴリ以外のカテゴリに属するアイテムからなる一覧表示５５とを含む。一覧表示５５には、選択されたカテゴリとは異なるカテゴリではあるものの、過去の販売実績に基づいて、提案にふさわしいアイテムであることを示す「こちらもどうですか」といったメッセージが併せて表示される。
【０２２４】
図２８は、本実施の形態の変形例２に従う服飾提案システム１を構成する表示端末１００の表示制御機能１５０Ａおよびクーポン発行制御機能１６０における処理内容を説明するための図である。図２８を参照して、表示端末１００は、表示制御機能１５０Ａとして、表示制御モジュール１５２Ａと、音声解析モジュール１５４と、カテゴリ・アイテム対応情報１５６とを有している。
【０２２５】
音声解析モジュール１５４は、来店者４０が発話した収集音声１３８を音声解析することで、来店者４０が音声で選択したカテゴリを特定する。すなわち、音声解析モジュール１５４は、客が発話した音声に基づいて、複数のカテゴリの中から、客によって選択されたカテゴリを特定する。なお、音声解析モジュール１５４による音声解析方法は、公知の任意のアルゴリズムを用いることができる。音声解析モジュール１５４により特定されたカテゴリは、表示制御モジュール１５２Ａへ与えられる。
【０２２６】
表示制御モジュール１５２Ａは、提案アイテム推定機能１４０により算出される推定結果１４５０を受け付けて、推定結果１４５０において上位のスコアを有するアイテムを特定する。表示制御モジュール１５２Ａは、カテゴリ・アイテム対応情報１５６を参照して、推定結果１４５０において上位のスコアを有するアイテムの各々が、音声解析モジュール１５４により特定されたカテゴリに属するか否かを判断する。そして、表示制御モジュール１５２Ａは、アイテム画像１１８を参照して、音声解析モジュール１５４により特定されたカテゴリに属するアイテムについては、その画像を一覧表示５４に追加し、音声解析モジュール１５４により特定されたカテゴリ以外のカテゴリに属するアイテムについては、その画像を一覧表示５５に追加することで、アイテム提案画面５２Ａを生成する。生成されたアイテム提案画面５２Ａは、ディスプレイ１０２に表示される。
【０２２７】
以上のような表示制御モジュール１５２Ａでの処理が実行されることで、図２７（ｂ）に示されるようなアイテム提案画面５２Ａが提供される。すなわち、ディスプレイ１０２は、推定結果１４５０に基づいて表示される服飾アイテムのうち、音声解析モジュール１５４により特定されたカテゴリに属する服飾アイテムと、当該特定されたカテゴリに属さない服飾アイテムとを異なる表示態様で表示する。このような表示態様を採用することで、来店者４０が選択したカテゴリ以外のアイテムについても購入を促すことができる。
【０２２８】
その他の処理および機能については、図１５を参照して説明した内容と実質的に同一であるので、詳細な説明は繰り返さない。
【０２２９】
（ｇ３：ネットワーク：変形例３）
上述の実施の形態においては、顔領域特徴量１４１０、体領域特徴量１４２０および音声特徴量１４３０が入力される推定モデル１４００を例示したが、さらに追加の情報を入力可能な推定モデルを採用してもよい。
【０２３０】
図２９は、本実施の形態の変形例３に従う服飾提案システム１を構成する表示端末１００の提案アイテム推定機能１４０における処理内容を説明するための図である。図２９には、天気や気温といった気象情報を入力特徴量１４４０として受け付ける推定モデル１４００Ａを示す。このように、入力情報を追加することで、推定精度を高めることができる。
【０２３１】
推定モデル１４００Ａに入力する特徴量を追加した場合には、推定モデル１４００Ａの学習に用いられる学習用データセットに含める情報についても、入力される特徴量に対応させて増加させることになる。
【０２３２】
なお、図２９には、典型例として、気象情報を示すが、追加的に入力する情報は、これに限らず、提案するアイテムの決定に何らかの関連性が推定される情報であれば、任意の情報を採用できる。例えば、風速や日照時間などの他の気象情報、日時や曜日といった時間情報、当該店舗の混雑具合などの情報を用いてもよい。
【０２３３】
（ｇ４：ネットワーク：変形例４）
上述の実施の形態においては、顔領域特徴量１４１０、体領域特徴量１４２０および音声特徴量１４３０が入力される推定モデル１４００を例示したが、一部の情報を代替するような推定モデルを採用してもよい。
【０２３４】
図３０は、本実施の形態の変形例４に従う服飾提案システム１を構成する表示端末１００の提案アイテム推定機能１４０における処理内容を説明するための図である。図３０には、音声特徴量１４３０に代えて、カテゴリを示す入力特徴量１４４２を入力する構成例を示す。入力特徴量１４４２については、来店者４０が発話した収集音声１３８を音声解析することで、来店者４０が音声で選択したカテゴリを特定することで生成してもよい。
【０２３５】
あるいは、来店者４０が、表示端末１００に表示されるカテゴリ選択受付画面５０において、カテゴリに対応する部分をタッチすることで選択した場合には、そのタッチ操作により選択されたカテゴリを入力特徴量１４４２として入力するようにしてもよい。
【０２３６】
なお、図３０には、カテゴリを示す入力特徴量１４４２を入力する例を示すが、上述の図２８に示すような構成を採用することで、入力特徴量１４４２の入力も削除するようにしてもよい。
【０２３７】
（ｇ５：携帯端末を用いたアイテム提案：変形例５）
一変形例として、実店舗に代えて、個人所有の携帯端末上で上述したようなアイテム提案を行うようにしてもよい。
【０２３８】
図３１は、本実施の形態の変形例５に従う服飾提案システム１Ｂの使用例を示す模式図である。図３１を参照して、携帯端末５００のアプリケーションをインストールすることで、表示端末１００と同様の機能を携帯端末５００上で実現できる。ネットユーザは、携帯端末５００でアプリケーションを実行するとともに、携帯端末５００に搭載されているカメラを用いて自身を撮像しつつ、希望するカテゴリを発声することで、上述したような服飾の提案を受けることができる。
【０２３９】
携帯端末５００で本実施の形態に従うアイテム推定処理を実現するための実装としては、任意の形態を採用できる。
【０２４０】
図３２は、本実施の形態の変形例５に従う服飾提案システムの実装例を示す模式図である。
【０２４１】
図３２（ａ）は、携帯端末５００単体でアイテム推定処理を実現する実装例を示す。図３２（ａ）に示すように、サーバ装置４００からアプリケーション５１０を携帯端末５００にインストールする。アプリケーション５１０は、提案アイテム推定機能５１２と、表示制御機能５１４と、クーポン発行制御機能５１６とを有している。提案アイテム推定機能５１２、表示制御機能５１４およびクーポン発行制御機能５１６は、表示端末１００の提案アイテム推定機能１４０、表示制御機能１５０およびクーポン発行制御機能１６０（いずれも図１０参照）と実質的に同一の処理を実行する。
【０２４２】
図３２（ａ）に示す実装例においては、学習済モデル５１８（表示端末１００に配置される学習済モデル１１６と実質的に同一）が携帯端末５００に配置されるので、サーバ装置４００との通信が行えない場合であっても、アイテム推定処理を実行できる。
【０２４３】
図３２（ｂ）は、サーバ装置４００と携帯端末５００とが連携してアイテム推定処理を実現する実装例を示す。図３２（ｂ）に示すように、サーバ装置４００からアプリケーション５２０を携帯端末５００にインストールする。アプリケーション５２０は、特徴量生成機能５２２および表示機能５２４を有している。特徴量生成機能５２２は、ネットユーザを撮像することで得られる撮像画像から顔領域特徴量１４１０および体領域特徴量１４２０を抽出するとともに、ネットユーザが発した収集音声１３８から音声特徴量１４３０を生成して、サーバ装置４００へ送信する。
【０２４４】
表示機能５２４は、サーバ装置４００からの表示内容を携帯端末５００のディスプレイに出力する。
【０２４５】
一方、サーバ装置４００は、提案アイテム推定機能４１２と、表示制御機能４１４と、クーポン発行制御機能４１６とを有している。提案アイテム推定機能４１２は、表示端末１００の提案アイテム推定機能１４０（図１１参照）において特徴量を抽出する機能を除いた部分に対応する。表示制御機能４１４およびクーポン発行制御機能４１６は、表示端末１００の表示制御機能１５０およびクーポン発行制御機能１６０（いずれも図１０参照）と実質的に同一の処理を実行する。
【０２４６】
図３２（ｂ）に示す実装例においては、学習済モデル５１８（表示端末１００に配置される学習済モデル１１６と実質的に同一）がサーバ装置４００に配置されるので、サーバ装置４００において学習済モデル５１８の適宜更新などが可能になる。また、携帯端末５００では、特徴量のみを抽出すればよいので、携帯端末５００側のリソースの消費を低減できる。
【０２４７】
図３２（ｃ）は、サーバ装置４００と携帯端末５００とが連携してアイテム推定処理を実現する実装例を示す。図３２（ｃ）に示すように、サーバ装置４００からアプリケーション５３０を携帯端末５００にインストールする。アプリケーション５３０は、画像音声送信機能５３２および表示機能５２４を有している。画像音声送信機能５３２は、ネットユーザを撮像することで得られる撮像画像およびネットユーザが発した収集音声１３８をサーバ装置４００へ送信する。
【０２４８】
表示機能５３４は、サーバ装置４００からの表示内容を携帯端末５００のディスプレイに出力する。
【０２４９】
一方、サーバ装置４００は、提案アイテム推定機能４１２と、表示制御機能４１４と、クーポン発行制御機能４１６とを有している。提案アイテム推定機能４１２、表示制御機能４１４およびクーポン発行制御機能４１６は、表示端末１００の表示制御機能１５０およびクーポン発行制御機能１６０（いずれも図１０参照）と実質的に同一の処理を実行する。
【０２５０】
図３２（ｃ）に示す実装例においては、学習済モデル５１８（表示端末１００に配置される学習済モデル１１６と実質的に同一）がサーバ装置４００に配置されるので、サーバ装置４００において学習済モデル５１８の適宜更新などが可能になる。また、携帯端末５００では、撮像画像１３６および収集音声１３８をそのままサーバ装置４００へ送信すればよいので、携帯端末５００側のリソースの消費を低減できる。
【０２５１】
（ｇ６：その他）
上述したような変形例に限らず、本発明の趣旨に沿った各種変形が可能であることは自明である。また、上述したそれぞれの変形例については、１または複数を任意に組み合わせることもできる。
【０２５２】
＜Ｈ．まとめ＞
本実施の形態に従う服飾提案システム１によれば、来店者の顔領域部分画像１４７から生成される顔領域特徴量１４１０と、来店者の体領域部分画像１４８から生成される体領域特徴量１４２０と、来店者の特定区間音声１４９から生成される音声特徴量１４３０とを入力情報として用いることで、来店者の嗜好に応じた服飾をより高い精度で提案できる。
【０２５３】
また、本実施の形態に従う服飾提案システム１によれば、来店者から取得された入力情報（撮像画像１３６および収集音声１３８）と、当該来店者が実際に購入したアイテムとを、クーポン１０に付与されたクーポンＩＤ１６６を用いて互いに対応付けることで学習用データセット３２４を生成できる。このような学習用データセット３２４を用いて、推定モデルを学習することで、推定精度を継続的に高めることができるとともに、新たなアイテムが追加された場合であっても、推定モデルを適合させることができる。
【０２５４】
さらに、本実施の形態に従う服飾提案システム１は、支払金額が割り引かれるクーポン１０を発行するので、来店者はクーポン１０を積極的に利用しようとするインセンティブが存在する。その結果、学習用データセット３２４を生成するための情報を収集する可能性を高めることができる。
【０２５５】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０２５６】
１，１Ａ，１Ｂ  服飾提案システム、２  ローカルネットワーク、４  広域ネットワーク、１０  クーポン、１２  割引額表示、１４，５４，５５  一覧表示、１６  地図、１８  識別画像、２０  アイテムタグ、３０，３０Ａ，３０Ｂ  店舗、４０  来店者、５０  カテゴリ選択受付画面、５２，５２Ａ  アイテム提案画面、５６  クーポン発行ボタン、１００  表示端末、１０２，２０２，３０２  ディスプレイ、１０４，２０４，３０４  プロセッサ、１０６，２０６，３０６  メモリ、１０８，２０８，３０８  ネットワークコントローラ、１１０，２１０，３１０  ストレージ、１１２，２１２，３１２  ＯＳ、１１４，２１４，３１４  アプリケーションプログラム、１１６，３２６，５１８  学習済モデル、１１８  アイテム画像、１２０，２２０  プリンタ、１２２，２２２  光学ドライブ、１２４，２２４  光学ディスク、１２６，２２６  タッチ検出部、１２８  人感センサ、１３０  カメラ、１３２  マイクロフォン、１３６  撮像画像、１３８  収集音声、１４０，４１２，５１２  提案アイテム推定機能、１４１  領域特定モジュール、１４２，１４３  サイズ調整モジュール、１４４  区間特定モジュール、１４５  リサンプリングモジュール、１４７  顔領域部分画像、１４８  体領域部分画像、１４９  特定区間音声、１５０，１５０Ａ，４１４，５１４  表示制御機能、１５２，１５２Ａ  表示制御モジュール、１５４  音声解析モジュール、１５６  カテゴリ・アイテム対応情報、１６０，４１６，５１６  クーポン発行制御機能、１６２  クーポン発行制御モジュール、１６４  クーポンＩＤ生成モジュール、１６６  クーポンＩＤ、１７０  画像音声保存機能、１７２，２５２  対応付けモジュール、１７４  画像音声格納部、２００  ＰＯＳ端末、２１６  アイテム情報、２１８，３２２  売上情報、２２８  光学読取機、２３０，３３０  入力部、２３２  決済処理部、２４０  会計機能、２５０  売上情報保存機能、２５４  売上情報格納部、３００  管理装置、３１６  前処理プログラム、３１８  学習用プログラム、３２０  音声情報、３２４  学習用データセット、３４０  売上情報取得機能、３５０  学習用データセット生成機能、３６０  学習機能、３６２  パラメータ最適化モジュール、３６４  モデルパラメータ、４００  サーバ装置、５００  携帯端末、５１０，５２０，５３０  アプリケーション、５２２  特徴量生成機能、５２４，５３４  表示機能、５３２  画像音声送信機能、１４００，１４００Ａ  推定モデル、１４１０  顔領域特徴量、１４２０  体領域特徴量、１４３０  音声特徴量、１４４０，１４４２  入力特徴量、１４５０  推定結果、１４６０，１４７０，１４８０  前処理ネットワーク、１４９０  中間層、１４９２  活性化関数、１４９４  Ｓｏｆｔｍａｘ関数。
【図１】
2020071811.tif 000003
【図２】
2020071811.tif 000004
【図３】
2020071811.tif 000005
【図４】
2020071811.tif 000006
【図５】
2020071811.tif 000007
【図６】
2020071811.tif 000008
【図７】
2020071811.tif 000009
【図８】
2020071811.tif 000010
【図９】
2020071811.tif 000011
【図１０】
2020071811.tif 000012
【図１１】
2020071811.tif 000013
【図１２】
2020071811.tif 000014
【図１３】
2020071811.tif 000015
【図１４】
2020071811.tif 000016
【図１５】
2020071811.tif 000017
【図１６】
2020071811.tif 000018
【図１７】
2020071811.tif 000019
【図１８】
2020071811.tif 000020
【図１９】
2020071811.tif 000021
【図２０】
2020071811.tif 000022
【図２１】
2020071811.tif 000023
【図２２】
2020071811.tif 000024
【図２３】
2020071811.tif 000025
【図２４】
2020071811.tif 000026
【図２５】
2020071811.tif 000027
【図２６】
2020071811.tif 000028
【図２７】
2020071811.tif 000029
【図２８】
2020071811.tif 000030
【図２９】
2020071811.tif 000031
【図３０】
2020071811.tif 000032
【図３１】
2020071811.tif 000033
【図３２】
2020071811.tif 000034
【手続補正書】
【提出日】平成30年12月14日(2018.12.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
客の特徴を表わす特徴量に基づいて複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置であって、
前記客を撮像するためのカメラと、
音声を収集するためのマイクロフォンと、
前記カメラで前記客を撮像して得られた画像内において、前記客の顔を表わす顔領域と、前記客の体を表わす体領域とを特定するための領域特定部と、
前記画像の前記顔領域から第１特徴量を抽出するとともに、前記画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記マイクロフォンで収集された音声のうち前記客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、
前記第１特徴量、前記第２特徴量および前記第３特徴量の入力を受けて、前記複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力する学習済の推定モデルと、
前記推定結果に基づいて、前記客に応じた服飾アイテムを表示するための表示部とを備え、
前記推定モデルは、学習用データセットを用いた学習処理により生成され、前記学習用データセットは、他の客を撮像して得られた画像および当該他の客が発話した音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む、情報処理装置。
【請求項２】
前記表示部は、前記マイクロフォンによる音声の収集前に、服飾アイテムの分類を示すカテゴリのリストを表示するとともに、当該リストに表示されているカテゴリのいずれかを音声で選択することを前記客に促すメッセージを表示する、請求項１に記載の情報処理装置。
【請求項３】
前記領域特定部は、前記客が身につけている服飾を表わす部分を前記体領域として特定する、請求項１または２に記載の情報処理装置。
【請求項４】
前記複数の服飾アイテムの各々は、予め定められた複数のカテゴリのいずれかに属しており、
前記情報処理装置は、前記客が発話した音声に基づいて、前記複数のカテゴリの中から、前記客によって選択されたカテゴリを特定するための音声解析部をさらに備え、
前記表示部は、前記推定結果に基づいて表示される服飾アイテムのうち、前記音声解析部により特定されたカテゴリに属する服飾アイテムと、当該特定されたカテゴリに属さない服飾アイテムとを異なる表示態様で表示する、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
情報処理システムであって、
客の特徴を表わす特徴量を学習済の推定モデルに入力して複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置と、
前記推定モデルを生成するための学習装置とを備え、
前記情報処理装置は、
前記客を撮像するためのカメラと、
音声を収集するためのマイクロフォンと、
前記カメラで前記客を撮像して得られた入力画像内において、前記客の顔を表わす顔領域と、前記客の体を表わす体領域とを特定するための領域特定部と、
前記入力画像の前記顔領域から第１特徴量を抽出するとともに、前記入力画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記マイクロフォンで収集された音声のうち前記客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部とを備え、
前記推定モデルは、前記第１特徴量、前記第２特徴量および前記第３特徴量の入力を受けて、前記複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力するように学習されており、
前記情報処理装置は、前記推定結果に基づいて、前記客に応じた服飾アイテムを表示するための表示部をさらに備え、
前記学習装置は、
学習用データセットを取得するための取得部を含み、前記学習用データセットは、他の客を撮像して得られた学習用画像および当該他の客が発話した学習用音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含み、さらに
前記学習用画像内において、前記他の客の顔を表わす顔領域と、前記他の客の体を表わす体領域とを特定するための領域特定部と、
前記学習用画像の前記顔領域から第１学習用特徴量を抽出するとともに、前記学習用画像の前記体領域から第２学習用特徴量を抽出するための画像特徴抽出部と、
前記学習用音声のうち前記他の客の発話に対応する部分の音声から第３学習用特徴量を抽出するための音声特徴抽出部と、
前記学習用データから抽出された、前記第１学習用特徴量、前記第２学習用特徴量および前記第３学習用特徴量を前記推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、前記推定モデルを最適化するための学習部とを含む、情報処理システム。
【請求項６】
客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルを生成するための学習装置であって、
学習用データセットを取得するための取得部を備え、前記学習用データセットは、客を撮像して得られた画像および当該客が発話した音声に対して、当該客が購入した服飾アイテムをラベル付けした学習用データを複数含み、さらに
前記画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、
前記画像の前記顔領域から第１特徴量を抽出するとともに、前記画像の前記体領域から第２特徴量を抽出するための画像特徴抽出部と、
前記音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部と、
前記学習用データから抽出された、前記第１特徴量、前記第２特徴量および前記第３特徴量を前記推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、前記推定モデルを最適化するための学習部とを備える、学習装置。
【請求項７】
客の特徴を表わす特徴量の入力を受けて複数の服飾アイテムの中から当該客に応じた服飾アイテムの提案に用いられる推定モデルの学習に用いられる学習用データの収集方法であって、
前記客を撮像して得られた画像および前記客の発話を含む音声を取得するステップと、
前記画像および前記音声から抽出される複数の特徴量を学習済の推定モデルに入力して当該客に応じた服飾アイテムの提案を生成するステップと、
識別情報を生成するステップと、
前記生成された服飾アイテムの提案および前記生成された識別情報を含む、服飾アイテムの購入を促す媒体を発行するステップと、
前記生成された識別情報と前記画像および前記音声とを関連付けるステップと、
前記媒体に含まれる前記識別情報および前記客が購入した服飾アイテムを取得するステップと、
前記媒体から取得された識別情報と前記客が購入した服飾アイテムとを関連付けるステップと、
前記識別情報をキーとして前記画像および前記音声と前記客が購入した服飾アイテムとを関連付けて、前記推定モデルの学習に用いられる学習用データとして保存するステップとを備える、学習用データの収集方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、複数の服飾アイテムの中から客に応じた服飾アイテムを提案する技術に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の別の局面に従う情報処理システムは、客の特徴を表わす特徴量を学習済の推定モデルに入力して複数の服飾アイテムの中から当該客に応じた服飾アイテムを提案する情報処理装置と、推定モデルを生成するための学習装置とを含む。情報処理装置は、客を撮像するためのカメラと、音声を収集するためのマイクロフォンと、カメラで客を撮像して得られた入力画像内において、客の顔を表わす顔領域と、客の体を表わす体領域とを特定するための領域特定部と、入力画像の顔領域から第１特徴量を抽出するとともに、入力画像の体領域から第２特徴量を抽出するための画像特徴抽出部と、マイクロフォンで収集された音声のうち客の発話に対応する部分の音声から第３特徴量を抽出するための音声特徴抽出部とを含む。推定モデルは、第１特徴量、第２特徴量および第３特徴量の入力を受けて、複数の服飾アイテムの各々が提案されるべき服飾アイテムであるそれぞれの可能性を、推定結果として出力するように学習されている。情報処理装置は、推定結果に基づいて、客に応じた服飾アイテムを表示するための表示部をさらに含む。学習装置は、学習用データセットを取得するための取得部を含む。学習用データセットは、他の客を撮像して得られた学習用画像および当該他の客が発話した学習用音声に対して、当該他の客が購入した服飾アイテムをラベル付けした学習用データを複数含む。学習装置は、さらに、学習用画像内において、他の客の顔を表わす顔領域と、他の客の体を表わす体領域とを特定するための領域特定部と、学習用画像の顔領域から第１学習用特徴量を抽出するとともに、学習用画像の体領域から第２学習用特徴量を抽出するための画像特徴抽出部と、学習用音声のうち他の客の発話に対応する部分の音声から第３学習用特徴量を抽出するための音声特徴抽出部と、学習用データから抽出された、第１学習用特徴量、第２学習用特徴量および第３学習用特徴量を推定モデルに入力して出力される推定結果が、当該学習用データにラベル付けされている服飾アイテムの購入実績に近付くように、推定モデルを最適化するための学習部とを含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１４３
【補正方法】変更
【補正の内容】
【０１４３】
続いて、表示端末１００は、表示端末１００に正対する来店者をカメラ１３０により撮像することで撮像画像１３６を取得する（ステップＳ１０４）。併せて、表示端末１００は、音声の収集を開始する（ステップＳ１０６）。そして、表示端末１００は、収集される音声に基づいて、来店者の発話を検知したか否かを判断する（ステップＳ１０８）。ステップＳ１０８においては、図１３に示すように、音声の時間的変化に対して有意な変化を示す区間（発話区間）が現れたか否かが判断される。来店者の発話が検知されなければ（ステップＳ１０８においてＮＯ）、ステップＳ１０６およびＳ１０８の処理が繰り返される。このように、表示端末１００は、客を撮像して得られた撮像画像１３６および客の発話を含む収集音声１３８を取得する処理を実行する。