(57)【要約】【課題】インターネントショッピングにおいて、ユーザが既に所有している物に合う商品を容易に探すことが可能な仕組みを提供すること。【解決手段】画像データと、ユーザが購入を希望する商品に係る情報を取得する。そして、画像データを解析し、画像データに映る物に係る情報を特定する。そして、ユーザが購入を希望する商品に係る情報と、画像データに映る物に係る情報とを用いて、ユーザに推奨する商品を決定する決定手し、決定した商品に係る情報を出力するように制御する。【選択図】図４
2020101887.tif 000002
【特許請求の範囲】
【請求項１】
画像データと、ユーザが購入を希望する商品に係る情報を取得する取得手段と、
前記画像データを解析し、前記画像データに映る物に係る情報を特定する特定手段と、
前記取得手段で取得した情報と、前記特定手段で特定した情報とを用いて、前記ユーザに推奨する商品を決定する決定手段と、
前記決定手段で決定した商品に係る情報を出力するように制御する出力制御手段と
を備えることを特徴とする情報処理システム。
【請求項２】
前記取得手段で取得する情報には、前記ユーザが購入を希望する商品のカテゴリを含むことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記特定手段で特定する情報には、前記画像データに映る物の色の情報を含むことを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記特定手段で特定する情報には、前記画像データに映る物のカテゴリの情報を含むことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記出力制御手段は、前記決定手段で決定した商品をユーザが識別可能な画面を表示するように制御することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項６】
前記出力制御手段は、前記決定手段で決定した商品をユーザが識別可能となるように音声を出力するように制御することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
画像データと、ユーザが購入を希望する商品に係る情報を取得する取得工程と、
前記画像データを解析し、前記画像データに映る物に係る情報を特定する特定工程と、
前記取得工程で取得した情報と、前記特定工程で特定した情報とを用いて、前記ユーザに推奨する商品を決定する決定工程と、
前記決定工程で決定した商品に係る情報を出力するように制御する出力制御工程と
を備えることを特徴とする情報処理システムの制御方法。
【請求項８】
コンピュータを請求項１乃至６のいずれか1項に記載の情報処理システムの各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理システムの制御方法、およびプログラムに関し、特に、インターネントショッピングにおいて、ユーザが既に所有している物に合う商品を容易に探すことが可能な仕組みに関する。
【背景技術】
【０００２】
従来、インターネットを通じてショッピングが可能なサービス（以下、そのようなサービスをネットショッピングと呼ぶ）がある。
【０００３】
ネットショッピングの中には、ユーザが過去にネットショッピングで購入した物の購入履歴や、商品の閲覧履歴に基づいておすすめの商品を紹介してくれるものもある。
【０００４】
特許文献１には、ユーザの商品検索履歴に基づいておすすめの商品を紹介する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２７２０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のネットショッピングでは、例えば、ユーザがネットショッピングを介することなく購入して、既に所有している物に似ている物や相性がよい（色のバランスが良い、サイズが合っている等）商品を紹介してくれるわけではない。
【０００７】
そのため、例えば、ユーザがネットショッピングを介することなく購入した物と相性がよい商品を購入したい場合、ユーザが既にある物を頭に浮かべながら（または既にある物の写真を撮って見比べながら）商品を探す手間がかかっていた。
【０００８】
本発明は、インターネントショッピングにおいて、ユーザが既に所有している物に合う商品を容易に探すことが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、画像データと、ユーザが購入を希望する商品に係る情報を取得する取得手段と、前記画像データを解析し、前記画像データに映る物に係る情報を特定する特定手段と、前記取得手段で取得した情報と、前記特定手段で特定した情報とを用いて、前記ユーザに推奨する商品を決定する決定手段と、前記決定手段で決定した商品に係る情報を出力するように制御する出力制御手段とを備えることを特徴とする。
【００１０】
また、本発明は、画像データと、ユーザが購入を希望する商品に係る情報を取得する取得工程と、前記画像データを解析し、前記画像データに映る物に係る情報を特定する特定工程と、前記取得工程で取得した情報と、前記特定工程で特定した情報とを用いて、前記ユーザに推奨する商品を決定する決定工程と、前記決定工程で決定した商品に係る情報を出力するように制御する出力制御工程とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によると、インターネントショッピングにおいて、ユーザが既に所有している物に合う商品を容易に探すことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の商品購入システムの構成の一例を示すシステム構成図。
【図２】サーバ１０２に適用可能な情報処理装置のハードウェア構成の一例を示す図。
【図３】クライアント端末１０１、スマートスピーカー１０３のハードウェア構成の一例を示す図。
【図４】オンラインショッピングのウェブページの一例を示す図。
【図５】オンラインショッピングのウェブページの一例を示す図。
【図６】本発明の第１の実施形態における商品購入処理の一例を示す図。
【図７】スマートスピーカー１０３の撮影部３０４で撮影した画像のイメージの一例を示す図。
【図８】本発明の第２の実施形態における商品購入処理の一例を示す図。
【図９】商品データベースの一例を示す図。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【００１４】
まず、図１について説明する。図１は、本発明の商品購入システムの構成の一例を示すシステム構成図である。本商品購入システムは、クライアント端末１０１、サーバ１０２、スマートスピーカー（ＡＩスピーカー）１０３が、ネットワーク１０４を介して、相互に通信可能に接続されている。
【００１５】
クライアント端末１０１は、ユーザが商品の購入を行う端末であり、ネットワークを介して、インターネットショッピングを提供するＷｅｂサイト（以下、オンラインショップと呼ぶ）にアクセスし、ユーザの指示に従って商品の購入を行う。
【００１６】
なお、本発明では、クライアント端末１０１として、タブレット端末やスマートフォン等のスマートデバイスを想定しているが、デスクトップ型のＰＣでもよい。
【００１７】
サーバ１０２は、オンラインショッピングに関する各種の処理をするためのものである。また、サーバ１０２は、ＣＧＩ（Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ）を有し、データベースに記憶されたデータにアクセスしてＨＴＭＬ形式の所定のページを作成し、クライアント端末１０１に出力（表示）する。
【００１８】
スマートスピーカー（ＡＩスピーカー）１０３は、音声操作に対応したバーチャルアシスタント（ＡＩアシスタントとも呼ぶ）機能を持つスピーカーであり、内蔵されているマイクで音声を認識することにより、ユーザからの商品の購入指示を受け付ける。ユーザから商品の購入指示を受け付けると、オンラインショップにアクセスし、商品の購入を行う。また、スマートスピーカー１０３は、カメラを内蔵しており、パン、チルト、ズームを行いながら撮影を行うことができる。
【００１９】
なお、後述する本発明の第１の実施形態においては、スマートスピーカー（ＡＩスピーカー）１０３は必須の構成ではなく、本発明の第２の実施形態においては、クライアント端末１０１は必須の構成ではない。以上で、図１の説明を終了する。
【００２０】
次に、図２を用いて、図１に示したサーバ１０２に適用可能な情報処理装置のハードウェア構成について説明する。
【００２１】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
【００２２】
２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
【００２３】
また、２０５は入力コントローラで、キーボード（ＫＢ）２０９等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１０（液晶、ブラウン管を問わない）等の表示器への表示を制御する。
【００２４】
２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２５】
２０８は通信Ｉ／Ｆコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２６】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２７】
本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上で、図２の説明を終了する。
【００２８】
次に、図３を参照して、図１のクライアント端末１０１、スマートスピーカー１０３のハードウェア構成の一例について説明する。
【００２９】
図３において、３０１はＣＰＵで、システムバス３１０に接続される後述する各種のデバイスを統括的に制御する。ＲＯＭ３０３や外部メモリ３０９には、ＣＰＵ３０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステム（ＯＳ）や、画像表示端末１０５が実行する機能を実現するために必要な各種プログラムやデータ等が記憶されている。
【００３０】
３０２はＲＡＭで、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＣＰＵ３０１は、後述する各種の処理の実行に際して必要なプログラム等をＲＯＭ３０３や外部メモリ３０９からＲＡＭ３０２にロードして、ロードしたプログラムを実行することで、各種の動作を実現する。
【００３１】
撮影部３０４は、撮影レンズ、撮像素子、撮像素子で得られた画像信号を所定の形式に変換する回路等からなる。通信部３０５は、通信ネットワーク（例えば、図１のネットワーク１０４）を介してサーバ１０２等の外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００３２】
表示部３０６は、液晶ディスプレイ等からなり、ＣＰＵ３０１が、例えばＲＡＭ３０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、表示部３０６への表示を可能としている。
【００３３】
操作部３０７はＣＰＵ３０１に対して各種の指示を入力するためのものであり、各種のボタンや表示部３０６に貼られているタッチパネルシートからなる。表示部３０６に表示されているシステムの操作画面に対する押下指示を受け付けると、押されるとその位置情報を操作部３０７はＣＰＵ３０１に伝える。
【００３４】
音声入力部３０８は、マイク等から構成され、入力された音声を音声信号に変換する。外部メモリ３０９は、クライアント端末１０１や、スマートスピーカー１０３が後述するフローチャート示す各ステップの処理を実行するためのプログラムやデータを記憶する記憶装置である。
【００３５】
本発明を実現するための各種プログラムは外部メモリ３０９に記録されており、必要に応じてＲＡＭ３０２にロードされることにより、ＣＰＵ３０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ３０９に格納されており、これらについての詳細な説明も後述する。
【００３６】
次に、図４〜図９を用いて、本発明の各種実施形態について説明する。図４〜図６は本発明の第１の実施形態を示し、図７、図８は第２の実施形態を示す。図９はいずれの実施形態にも共通する図である。
【００３７】
まず、図４について説明する。図４は、サーバ１０２で生成され、クライアント端末１０１の表示部３０６に表示されるオンラインショッピングのウェブページの一例を示す図である。
【００３８】
ユーザは、図４の画面を介して、検索する商品に関する条件として、予算や、当該検索する商品のカテゴリを入力する（図４の検索対象商品に関する入力項目４０７）。
【００３９】
従来も検索する商品に関する条件の入力を行うことはされていたが、本発明では更に、図４のウェブページ上で、ユーザがすでに所有している物（例えば、机、椅子、ベッド、テーブル等）の画像をアップロードすることにより、ユーザが購入しようとしている商品の中で、その画像に映る物と合う商品をサーバ１０２が検索する。
【００４０】
ファイル選択ボタン４０１は、ユーザがすでに所有している物の画像を選択してアップロードするためのボタンである。アップロードされた画像は領域４０２に表示される。
【００４１】
アップロード画像に関する入力項目４０３では、アップロードした画像に含まれる物に関する情報として４０４〜４０６までの項目の入力を受け付ける。なお、４０４〜４０６までの項目の入力は必須ではなく、これらの項目は、機械学習の技術を用いて、サーバ１０２がアップロードされた画像を解析し、画像に映る物、およびその色を特定し、自動で入力される。
【００４２】
そのため、ユーザが手動で入力したい場合や、画像を解析した結果が、正しくない場合等に、ユーザが４０４〜４０６までの項目の入力を行う。
【００４３】
項目４０４には、アップロードした画像に含まれる物のカテゴリ（例えば、机や椅子等）をユーザが入力する。
【００４４】
サイズ４０５には、アップロードした画像に含まれる物のサイズをユーザが入力する。
【００４５】
プルダウンリスト４０６は、「ベースカラーとして指定」、「メインカラーとして指定」、「アクセントカラーとして指定」の３つの中から１つを選択できるようになっており、ユーザはアップロードした画像に含まれる物の色を、３つのうちのいずれとするかを選択できる。
【００４６】
「ベースカラー」とは、インテリアのベースとなる色のことを示す。「メインカラー」とは、インテリアのメインとなる色のことを示す。「アクセントカラー」とは、インテリアのアクセントとなる色のことを示す。
【００４７】
サーバ１０２がアップロードされた画像を解析する場合、床や天井、壁の色をベースカラーとして特定し、カーテンやソファなどの大きな家具の色をメインカラーとして特定し、クッションや絵画など、小物の色をアクセントカラーとして特定する。
【００４８】
そして、検索開始ボタン４０８がユーザ操作に従って選択されると、アップロードした画像の情報と、アップロードした画像に関する入力項目４０３と、図４の検索対象商品に関する入力項目４０７に入力された情報が、クライアント端末１０１からサーバ１０２に送信される。
【００４９】
そして、サーバ１０２は、クライアント端末１０１から送信された情報を基に、お勧めの商品を検索し、検索結果をクライアント端末１０１に送信する。
【００５０】
サーバ１０２からクライアント端末１０１に送信される検索結果とは、例えば図５である。
【００５１】
図５は、サーバ１０２で作成され、クライアント端末１０１の表示部３０６に表示されるオンラインショッピングのウェブページの一例を示す図である。
【００５２】
解析結果５０１は、アップロードした画像を解析した結果が表示される。具体的には、アップロードした画像に含まれる物のカテゴリ、色等が表示され、更に「詳細」を選択することにより、サイズや、ベースカラー／メインカラー／アクセントカラーの特定結果を表示する。
【００５３】
修正ボタン５０２は、解析結果５０１の内容の修正や、アップロードする画像の変更をするためのボタンである。修正ボタン５０２がユーザ操作に従って選択されると、図４の画面が再度表示され、修正することができる。
【００５４】
検索結果表示領域５０４は、検索対象商品に関する入力項目４０７、解析結果５０１の情報と、入力がされていればアップロードした画像に関する入力項目４０３の情報を用いて特定したお勧め商品が表示される。また、各商品の名前の部分がリンクになっており、リンクがユーザ操作に従って選択されると、商品の購入ページが表示される。本発明における、お勧め商品（推奨商品）とは、ユーザが既に所有している物に合う（色のバランスが良い、サイズが合っている等）商品のことである。
【００５５】
表示ボタン５０５は、表示ボタン５０５がユーザにより選択されることで、お勧め商品の画像と、アップロードした画像とを合成したイメージを表示するためのボタンである。
【００５６】
合成したイメージを表示することにより、ユーザは、すでに所持している物と、お勧め商品とが合うかどうかを視覚的な情報から判断することが可能となる。以上で、図５の説明を終了する。
【００５７】
次に、図６を用いて、本発明の第１の実施形態における商品購入処理の一例について説明する。図６に示す処理は、クライアント端末１０１のＣＰＵ３０１、サーバ１０２のＣＰＵ２０１が実行する。
【００５８】
ステップＳ６０１において、クライアント端末１０１は、ユーザから入力を受け付けたユーザ情報（ユーザＩＤやパスワード等）を用いて、オンラインショップにログインする。
【００５９】
ステップＳ６０２において、クライアント端末１０１は、商品を購入するためのウェブページの取得要求をサーバ１０２に対して行う。
【００６０】
ステップＳ６０３において、サーバ１０２は、クライアント端末１０１からのウェブページの取得要求を受信すると、商品を購入するためのウェブページを生成し（ステップＳ６０４）、クライアント端末１０１に送信する（ステップＳ６０５）。
【００６１】
ステップＳ６０６において、クライアント端末１０１は、サーバ１０２から送信されたウェブページを受信し、クライアント端末１０１の表示部３０６に表示する（ステップＳ６０７）。ステップＳ６０７において、クライアント端末１０１の表示部３０６に表示される画面とは、例えば、図４の画面である。
【００６２】
ステップＳ６０８において、クライアント端末１０１は、図４のファイル選択ボタン４０１からアップロードする画像の選択を受け付ける。
【００６３】
ステップＳ６０９において、クライアント端末１０１は、アップロード画像に関する入力項目４０３、検索対象商品に関する入力項目４０７の入力をユーザから受け付ける。
【００６４】
ステップＳ６１０において、クライアント端末１０１は、ステップＳ６０８で選択されたアップロードする画像、ステップＳ６０９で入力を受け付けた、アップロードする画像に関する入力項目４０３、検索対象商品に関する入力項目４０７の情報をサーバ１０２に送信する。
【００６５】
ステップＳ６１１において、サーバ１０２は、ステップＳ６１０でクライアント端末１０１から送信された、アップロードされた画像、アップロードされた画像に関する入力項目４０３、検索対象商品に関する入力項目４０７の情報を受信する。ステップS６１１と、後述するステップS８０７は、本発明における、画像データと、ユーザが購入を希望する商品に係る情報を取得する取得手段の一例である。
【００６６】
ステップＳ６１２において、サーバ１０２は、画像に含まれ得る物（テーブル、椅子、ランプ等）について、既知の機械学習の技術を用いて、予め学習済みモデルを作成しておき、当該学習済みモデルを用いて、画像に映る物を特定し、さらに特定した物の色やサイズを特定する。ステップS６１２と、後述するステップS８０８は、本発明における、前記画像データを解析し、前記画像データに映る物に係る情報を特定する特定手段の一例である。
【００６７】
ステップＳ６１３において、サーバ１０２は、アップロードされた画像の解析結果と、（入力されている場合、）アップロードする画像に関する入力項目４０３、検索対象商品に関する入力項目４０７の情報とを用いて、ユーザに勧める商品を特定する。ステップS６１３と、後述するステップS８０９は、本発明における、前記取得手段で取得した情報と、前記特定手段で特定した情報とを用いて、前記ユーザに推奨する商品を決定する決定手段の一例である。
【００６８】
具体的には、まず、アップロードされた画像に映る床や天井、壁の色をベースカラーとして特定し、カーテンやソファなどの大きな家具の色をメインカラーとして特定し、クッションや絵画など、小物の色をアクセントカラーとして特定する。
【００６９】
そして、特定した色と、ベースカラー／メインカラー／アクセントカラーを考慮して、ユーザに勧める商品の色を決定する。例えば、メインカラーが赤で、購入しようとしている商品が同じくメインカラーとなるソファであれば、色の統一感を出すために、メインカラーの赤と類似色相であるオレンジをユーザに勧める商品の色として決定する。
【００７０】
また別の方法として、ベースカラー／メインカラー／アクセントカラーを考慮することなく、例えば、アップロードされた画像を解析した結果、全体的に黄色い物の割合が高いのであれば、個性的で落ち着いた雰囲気になるように、反対色相の赤紫をユーザに勧める商品の色として決定するといった方法でもよい。
【００７１】
色を決定後は、検索対象商品に関する入力項目４０７で指定されたカテゴリの商品の中で、アップロードされた画像に映る物のサイズに合う商品をさらに絞り込み、残った商品をお勧め商品としてユーザに提示する。
【００７２】
ステップS６１３の処理を実行することにより、ユーザが既にある物を頭に浮かべながら（または既にある物の写真を撮って見比べながら）、その物に合う商品を探す手間を削減することが可能となる。
【００７３】
なお、オンラインショップで取り扱っている商品については、サーバ１０２の外部メモリ２１１に記憶される商品データベース（図９）で管理されている。
【００７４】
図９は、本発明の各実施形態における商品データベースの一例を示す図である。
【００７５】
商品データベースは、各商品を一意に識別するための商品コード９０１、各商品の商品名９０２、商品のカラー９０３、商品の価格９０４、商品の画像９０５を少なくとも含むように構成される。
【００７６】
ステップＳ６１４において、サーバ１０２は、ステップＳ６１３で特定したお勧め商品に係る情報をクライアント端末１０１に送信する。ステップS６１４、後述するステップS６１６、ステップS８１０、ステップS８１２は、本発明における、前記決定手段で決定した商品に係る情報を出力するように制御する出力制御手段の一例である。
【００７７】
ステップＳ６１５において、クライアント端末１０１は、サーバ１０２から送信されたお勧め商品に係る情報を受信し、クライアント端末１０１の表示部３０６に表示する（ステップＳ６１６）。
【００７８】
ステップＳ６１５でクライアント端末１０１の表示部３０６に表示される画面とは、例えば、図５の画面である。
【００７９】
ステップＳ６１７において、クライアント端末１０１は、図５の画面を介して、ユーザから指示を受け付ける。
【００８０】
ステップＳ６１８において、クライアント端末１０１は、ステップＳ６１７でユーザから受け付けた指示が修正指示（修正ボタン５０２を押下する操作）であるかを判定する。クライアント端末１０１は、修正指示であれば、ステップＳ６０８に処理を移行し、そうでなければステップＳ６１９に処理を移行する。
【００８１】
ステップＳ６１９において、クライアント端末１０１は、ステップＳ６１７でユーザから受け付けた指示が、お勧め商品の購入指示であるかを判定する。
【００８２】
お勧め商品の購入指示は、検索結果表示領域５０４に表示された商品がユーザ操作に従って選択されることで表示される画面（不図示）から行われる。
【００８３】
クライアント端末１０１は、お勧め商品の購入指示であれば、ステップS６２０に処理を移行し、そうでなければ本処理を終了する。
【００８４】
ステップＳ６２０において、クライアント端末１０１は、お勧め商品の購入指示を含む、お勧め商品の購入に係る情報をサーバ１０２に送信し、本処理を終了する。
【００８５】
ステップＳ６２１において、サーバ１０２は、お勧め商品の購入に係る情報を受信し、サーバ１０２の外部メモリ２１１に記憶する（ステップＳ６２２）。以上で、図６の説明を終了する。
【００８６】
次に、図７、図８を用いて、本発明の第２の実施形態について説明する。
【００８７】
まず、図７について説明する。
【００８８】
画像７００は、スマートスピーカー１０３の撮影部３０４で撮影した画像のイメージの一例を示す図である。スマートスピーカー１０３は、ユーザからの音声入力により、ネットショッピングを行う指示（例えば、「ネットショッピングを起動して」という音声）を受け付け、その後、お勧め商品を検索する上で参考とする物の撮影指示（例えば、「あれを参考に商品を検索して」という音声）を受け付ける。
【００８９】
そうすると、スマートスピーカー１０３は、既知の画像解析技術を用いて、画像から人間の関節の座標を検出する。そして、検出した関節の座標のうち、肩の関節の座標と手の関節の座標を結んだ延長線上にある物を、お勧め商品を検索する上で参考にする物として特定し、特定された物は、後のお勧め商品を特定する際に用いる。以上で、図７の説明を終了する。
【００９０】
次に、図８を用いて、本発明の第２の実施形態における商品購入処理の一例について説明する。図８に示す処理は、スマートスピーカー１０３のＣＰＵ３０１、サーバ１０２のＣＰＵ２０１が実行する。
【００９１】
ステップＳ８０１において、スマートスピーカー１０３は、ユーザの音声を認識する。そして、音声を解析するサーバと通信することで、認識した音声が示すユーザからの指示を特定する（ステップＳ８０２）。
【００９２】
ステップＳ８０３において、スマートスピーカー１０３は、ステップS８０２で特定した指示が、お勧め商品を検索する上で参考とする物の撮影指示を含むネットショッピングを行う指示であるかを判定する。
【００９３】
スマートスピーカー１０３は、ネットショッピングを行う指示であれば、ステップS８０３に処理を移行し、そうでなければ、その他の処理を実行後、本処理を終了する。
【００９４】
ステップＳ８０４において、スマートスピーカー１０３は、スマートスピーカー１０３の撮影部３０４で撮影する。
【００９５】
ステップＳ８０５において、スマートスピーカー１０３は、スマートスピーカー１０３にあらかじめ登録されているユーザ情報（ユーザＩＤやパスワード等）を用いて、同じくあらかじめ登録されているオンラインショップにログインする。
【００９６】
ステップＳ８０６において、スマートスピーカー１０３は、ステップS８０４で撮影した画像と、その他入力内容、具体的には、ステップS８０１で認識した音声に含まれる購入したい商品の予算や製品カテゴリ等をサーバ１０２に送信する。
【００９７】
ステップＳ８０７において、サーバ１０２は、スマートスピーカー１０３から送信された画像と、その他入力内容を受信する。
【００９８】
ステップＳ８０８において、サーバ１０２は、画像に含まれ得る物（テーブル、椅子、ランプ等）について、既知の機械学習の技術を用いて、予め学習済みモデルを作成しておき、当該学習済みモデルを用いて、画像に映る、お勧め商品を検索する上で参考にする物が何であるかを特定し、さらに特定した物のその色やサイズを特定する。
【００９９】
ステップＳ８０９において、サーバ１０２は、画像の解析結果と、その他入力内容の情報とを用いて、ユーザに勧める商品を特定する。
【０１００】
具体的には、画像の解析の結果特定した物の色から、ユーザに勧める商品の色を決定する。例えば、画像の解析の結果特定した物が黄色のベッドで、購入しようとしている商品が枕であれば、個性的で落ち着いた雰囲気になるように、反対色相となるように紫のクッションをお勧め商品として決定する。
【０１０１】
なお、オンラインショップで取り扱っている商品については、サーバ１０２の外部メモリ２１１に記憶される商品データベース（図９）で管理されている。
【０１０２】
ステップＳ８１０において、サーバ１０２は、ステップＳ８１０で特定したお勧め商品に係る情報をスマートスピーカー１０３に送信する。
【０１０３】
ステップＳ８１１において、スマートスピーカー１０３は、サーバ１０２から送信されたお勧め商品に係る情報を受信し、通知する（ステップＳ８１２）。
【０１０４】
通知の方法としては、お勧め商品に係る情報（例えば、商品名、価格、色等）を音声で読み上げることにより通知しても良いし、スマートスピーカー１０３が表示部３０６を有しているのであれば、表示部３０６に表示しても良いし、スマートスピーカー１０３と接続する他の端末（タブレット端末等）に表示しても良い。
【０１０５】
ステップＳ８１３において、スマートスピーカー１０３は、音声による指示を受け付け、その内容を特定する。
【０１０６】
ステップＳ８１４において、スマートスピーカー１０３は、ステップS８１４で受け付けた指示が、修正指示であるかを判定する。スマートスピーカー１０３は、修正指示であれば、ステップＳ８０４に処理を移行し、そうでなければステップＳ８１５に処理を移行する。
【０１０７】
ステップＳ８１５において、スマートスピーカー１０３は、ステップＳ８１３でユーザから受け付けた指示が、お勧め商品の購入指示であるかを判定する。スマートスピーカー１０３は、お勧め商品の購入指示であれば、ステップS８１６に処理を移行し、そうでなければ本処理を終了する。
【０１０８】
ステップＳ８１６において、スマートスピーカー１０３は、お勧め商品の購入指示を含む、お勧め商品の購入に係る情報をサーバ１０２に送信し、本処理を終了する。
【０１０９】
ステップＳ８１７において、サーバ１０２は、お勧め商品の購入に係る情報を受信し、サーバ１０２の外部メモリ２１１に記憶する（ステップＳ８１８）。以上で、図８の説明を終了する。
【０１１０】
以上、本発明によると、インターネントショッピングにおいて、ユーザが既に所有している物に合う商品を容易に探すことができる。
【０１１１】
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【０１１２】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。
【０１１３】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１１４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【０１１５】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。
【０１１６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【０１１７】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１１８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１２０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１２１】
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１２２】
１０１  クライアント端末
１０２  サーバ
１０３  スマートスピーカー
【図１】
2020101887.tif 000003
【図２】
2020101887.tif 000004
【図３】
2020101887.tif 000005
【図４】
2020101887.tif 000006
【図５】
2020101887.tif 000007
【図６】
2020101887.tif 000008
【図７】
2020101887.tif 000009
【図８】
2020101887.tif 000010
【図９】
2020101887.tif 000011