(57)【要約】【課題】撮影された風景が表すイメージを推定する。【解決手段】情報処理装置１０は、物が含まれる風景を撮影した入力画像を受け付け、受け付けた入力画像をイメージ学習モデルに入力して、入力画像に写った風景が表すイメージを推定する。【選択図】図２
2020087224.tif 000002
【特許請求の範囲】
【請求項１】
物が含まれる風景を撮影した入力画像を受け付ける受付部と、
前記受付部で受け付けた前記入力画像を入力した学習モデルに基づいて、前記入力画像に写った風景が表すイメージを推定する推定部と、
を備えた情報処理装置。
【請求項２】
前記受付部は、建物の外観または建物の内部の風景を撮影した画像を前記入力画像として受け付ける
請求項１記載の情報処理装置。
【請求項３】
前記受付部は、建物の外観または建物の内部に、共通したイメージを有する複数の物が含まれる風景を撮影した画像を前記入力画像として受け付ける
請求項２記載の情報処理装置。
【請求項４】
前記推定部は、前記受付部で受け付けた前記入力画像を、前記学習モデルと異なる他の学習モデルに入力し、前記入力画像に写る風景の場所を更に推定する
請求項１〜請求項３の何れか１項に記載の情報処理装置。
【請求項５】
前記推定部は、前記入力画像に写った風景に対する差し色を更に推定する
請求項１〜請求項４の何れか１項に記載の情報処理装置。
【請求項６】
前記推定部は、予め定めた物体の色を用いて差し色の推定を行わないようにする
請求項５記載の情報処理装置。
【請求項７】
前記予め定めた物体が動植物に設定された
請求項６記載の情報処理装置。
【請求項８】
商品を撮影した予め用意された複数の商品画像を用いて、前記推定部で推定されたイメージに対する前記商品画像に含まれる商品の適合度合いを各々設定する設定部と、
前記設定部で設定された商品の前記適合度合いが高い順に、前記商品画像に含まれる商品を推薦商品として出力する出力部と、を備えた
請求項１〜請求項７の何れか１項に記載の情報処理装置。
【請求項９】
前記設定部は、前記推定部によって前記入力画像に写る風景が撮影された場所が推定されている場合、前記推定部で推定された場所での利用を想定して作られている商品ほど前記適合度合いが高くなるように前記適合度合いを設定する
請求項８記載の情報処理装置。
【請求項１０】
前記設定部は、前記推定部によって前記入力画像に写った風景に対する差し色が推定されている場合、前記推定部で推定された差し色に近い色を有する商品ほど前記適合度合いが高くなるように前記適合度合いを設定する
請求項８または請求項９に記載の情報処理装置。
【請求項１１】
前記設定部は、前記推定部で推定されたイメージを含む複数の項目を用いて設定される前記適合度合いについて、前記商品画像に含まれる商品の種類に応じて、前記複数の項目が前記適合度合いの設定に与える影響度合いを調整する
請求項９または請求項１０に記載の情報処理装置。
【請求項１２】
前記設定部は、前記商品画像に含まれる商品の種類が雑貨である場合、他の種類の商品よりも商品の色が前記適合度合いの設定に与える影響度合いが高くなるように設定する
請求項１０記載の情報処理装置。
【請求項１３】
コンピュータを、請求項１〜請求項１２の何れか１項に記載の情報処理装置の各部として機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、及び情報処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、１つ以上の商品を含む複数の商品画像が格納された画像ファイルと、１つ以上の商品を含む各商品画像から背景領域を削除して１つの商品の領域を抽出する商品領域抽出手段と、各商品画像から抽出された商品領域に対応する各商品の商品ＩＤおよび商品情報を当該商品画像と関連付けて格納する画像情報データベースと、抽出された商品領域の画像特徴量を算出して、当該商品領域に対応する商品の画像特徴量を取得する画像特徴量取得手段と、画像特徴量取得手段により取得された各商品の画像特徴量を各商品ＩＤに関連付けて格納する特徴量データベースと、特徴量データベースに格納されている各商品の画像特徴量を類似度算出用特徴量として用いて各商品間の類似度を算出する類似度算出手段と、類似度算出手段により算出された各商品間の類似度を各商品ＩＤに関連付けて格納する類似商品データベースと、ユーザ端末から類似画像検索要求を受信する手段と、当該類似画像検索要求の元である商品の商品ＩＤをキーとして、当該商品に対する類似度の高い１つ以上の商品を、前記類似商品データベースから抽出する類似画像検索手段と、類似画像検索手段で抽出された商品に対応する商品画像及び商品情報をユーザ端末から閲覧可能とする手段と、を備えた商品推薦システムが開示されている。
【０００３】
特許文献２には、複数種類のファッションアイテムのコーディネートのために、入力されたアイテムとの組み合わせに適した別の種類のアイテムを推薦するコーディネート推薦装置であって、模範となるコーディネートの画像集合として予め定められた参考用写真集合と、推薦されるアイテムの画像集合として予め定められた推薦用写真集合とを記憶する記憶部と、前記参考用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真を抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出し、前記アイテム毎に抽出した特徴量を参考用全身写真特徴集合として記憶部に記憶する参考用全身写真特徴抽出部と、前記推薦用写真集合の中から、複数種類のアイテムが組み合わされた画像を示す全身写真と、単独のアイテムのみからなる画像を示す単独アイテム写真とを抽出し、前記抽出された全身写真において各アイテムの領域を特定し、前記特定したアイテムの領域から画像の特徴量をそれぞれ抽出すると共に、前記単独アイテム写真から画像の特徴量を抽出し、前記全身写真及び単独アイテム写真についてアイテム毎に抽出した特徴量を推薦用写真特徴集合として記憶部に記憶する推薦用写真特徴抽出部と、前記参考用全身写真特徴集合と前記推薦用写真特徴集合とを用いて、各アイテムの領域間の関連性を学習し、前記領域間の関連性と、前記入力されたアイテムの画像の特徴量とに応じて、前記入力されたアイテムとの組み合わせに適した別の種類のアイテムを前記推薦用写真集合から検索し、推薦するアイテムとして提示する推薦部と、を備えることを特徴とするコーディネート推薦装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５１８５０号公報
【特許文献２】特開２０１２−１４５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザの中には、所望する商品の形状や色といった具体的なイメージは決まっていないが、この風景に溶け込む商品が欲しいといった漠然とした要望しか持っていないユーザが存在する。この場合、風景に溶け込む商品を検索するためには、風景がどのようなイメージを表しているのか推定する必要がある。
【０００６】
本発明は、撮影された風景が表すイメージを推定することができる情報処理装置、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１態様に係る情報処理装置は、物が含まれる風景を撮影した入力画像を受け付ける受付部と、前記受付部で受け付けた前記入力画像を入力した学習モデルに基づいて、前記入力画像に写った風景が表すイメージを推定する推定部と、を備える。
【０００８】
第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記受付部が、建物の外観または建物の内部の風景を撮影した画像を前記入力画像として受け付ける。
【０００９】
第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記受付部が、建物の外観または建物の内部に、共通したイメージを有する複数の物が含まれる風景を撮影した画像を前記入力画像として受け付ける。
【００１０】
第４態様に係る情報処理装置は、第１態様〜第３態様の何れかの態様に係る情報処理装置において、前記推定部が、前記受付部で受け付けた前記入力画像を、前記学習モデルと異なる他の学習モデルに入力し、前記入力画像に写る風景の場所を更に推定する。
【００１１】
第５態様に係る情報処理装置は、第１態様〜第４態様の何れかの態様に係る情報処理装置において、前記推定部が、前記入力画像に写った風景に対する差し色を更に推定する。
【００１２】
第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記推定部が、予め定めた物体の色を用いて差し色の推定を行わないようにする。
【００１３】
第７態様に係る情報処理装置は、第６態様に係る情報処理装置において、前記予め定めた物体が動植物に設定される。
【００１４】
第８態様に係る情報処理装置は、第１態様〜第７態様の何れかの態様に係る情報処理装置において、商品を撮影した予め用意された複数の商品画像を用いて、前記推定部で推定されたイメージに対する前記商品画像に含まれる商品の適合度合いを各々設定する設定部と、前記設定部で設定された商品の前記適合度合いが高い順に、前記商品画像に含まれる商品を推薦商品として出力する出力部と、を備える。
【００１５】
第９態様に係る情報処理装置は、第８態様に係る情報処理装置において、前記設定部が、前記推定部によって前記入力画像に写る風景が撮影された場所が推定されている場合、前記推定部で推定された場所での利用を想定して作られている商品ほど前記適合度合いが高くなるように前記適合度合いを設定する。
【００１６】
第１０態様に係る情報処理装置は、第８態様または第９態様に係る情報処理装置において、前記設定部が、前記推定部によって前記入力画像に写った風景に対する差し色が推定されている場合、前記推定部で推定された差し色に近い色を有する商品ほど前記適合度合いが高くなるように前記適合度合いを設定する。
【００１７】
第１１態様に係る情報処理装置は、第９態様または第１０態様に係る情報処理装置において、前記設定部が、前記推定部で推定されたイメージを含む複数の項目を用いて設定される前記適合度合いについて、前記商品画像に含まれる商品の種類に応じて、前記複数の項目が前記適合度合いの設定に与える影響度合いを調整する。
【００１８】
第１２態様に係る情報処理装置は、第１０態様に係る情報処理装置において、前記設定部が、前記商品画像に含まれる商品の種類が雑貨である場合、他の種類の商品よりも商品の色が前記適合度合いの設定に与える影響度合いが高くなるように設定する。
【００１９】
第１３態様に係る情報処理プログラムは、コンピュータを、第１態様〜第１２態様の何れかの態様に係る情報処理装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２０】
第１態様、及び第１３態様によれば、撮影された風景が表すイメージを推定することができる、という効果を有する。
【００２１】
第２態様によれば、建物のイメージを推定することができる、という効果を有する。
【００２２】
第３態様によれば、単一の物しか含まれない風景の画像から風景が表すイメージを推定する場合と比較して、撮影された風景が表すイメージを精度よく推定することができる、という効果を有する。
【００２３】
第４態様によれば、撮影された風景が表すイメージの他、更に撮影された風景の場所を推定することができる、という効果を有する。
【００２４】
第５態様によれば、撮影された風景が表すイメージの他、更に撮影された風景に対する差し色を推定することができる、という効果を有する。
【００２５】
第６態様によれば、撮影された風景に含まれる全ての物体の色を用いて差し色を推定する場合と比較して、撮影された風景に変化を与える、より効果的な差し色を推定することができる、という効果を有する。
【００２６】
第７態様によれば、撮影された風景に含まれる動植物の色を含めて差し色を推定する場合と比較して、撮影された風景に変化を与える、より効果的な差し色を推定することができる、という効果を有する。
【００２７】
第８態様によれば、入力画像から推定された風景が表すイメージに適合した商品を提示することができる、という効果を有する。
【００２８】
第９態様によれば、入力画像から推定された風景が表すイメージに基づいて提示された商品よりも、更に入力画像に写った風景に適合した商品を提示することができる、という効果を有する。
【００２９】
第１０態様によれば、入力画像から推定された風景が表すイメージに適合した商品で、かつ、人の注目を集めるような、推定された風景のアクセントとなる商品を提示することができる、という効果を有する。
【００３０】
第１１態様によれば、商品画像に含まれる商品の種類に関わらず、推定されたイメージを含む複数の項目が風景に対する商品の適合度合いの設定に与える影響度合いを固定した場合と比較して、入力画像に写った風景に、更に適合した商品を提示することができる、という効果を有する。
【００３１】
第１２態様によれば、商品画像に含まれる商品の種類に関わらず、商品の色が風景に対する商品の適合度合いの設定に与える影響度合いを固定した場合と比較して、入力画像に写った風景に、更に適合した商品を提示することができる、という効果を有する。
【図面の簡単な説明】
【００３２】
【図１】第１実施形態に係る情報処理システムの構成例を示す図である。
【図２】第１実施形態に係る情報処理装置の機能構成例を示す図である。
【図３】情報処理装置における電気系統の要部構成例を示す図である。
【図４】第１実施形態に係る推定処理の流れの一例を示すフローチャートである。
【図５】入力画像の一例を示す図である。
【図６】第２実施形態に係る情報処理システムの構成例を示す図である。
【図７】第２実施形態に係る情報処理装置の機能構成例を示す図である。
【図８】第２実施形態に係る推定処理の流れの一例を示すフローチャートである。
【図９】ユーザ端末に表示される画面の一例を示す図である。
【発明を実施するための形態】
【００３３】
以下、本実施の形態について図面を参照しながら説明する。なお、機能が同じ構成要素及び処理には全図面を通して同じ符合を付与し、重複する説明を省略する。
【００３４】
＜第１実施形態＞
図１は、本実施の形態に係る情報処理システム１００の構成例を示す図である。情報処理システム１００は、情報処理装置１０及びユーザ端末２０を含み、情報処理装置１０とユーザ端末２０は通信回線２で接続されている。
【００３５】
情報処理装置１０は、通信回線２を通じてユーザ端末２０から風景を撮影した画像を受け付け、画像に写った風景が表すイメージを推定し、通信回線２を通じて推定結果をユーザ端末２０に出力する。
【００３６】
ここで「イメージ」とは、ユーザが抱く心情のことである。例えば、風景が表すイメージとは、その風景を見たユーザが風景に対して抱く心情のことである。また、生活空間におけるインテリアに対してユーザが抱く心情は「インテリアイメージ」とも呼ばれる。
【００３７】
イメージの例としては、例えば木の素材感を活かした上で機能性を重視したシンプルで飽きのこないイメージである北欧モダン、天然木の風合いをそのまま用いたイメージである北欧ナチュラル、及び北欧調の特徴である木の素材感を活かしたシンプルなインテリアのうち、年代物のインテリアを配置したイメージである北欧ビンテージ等がある。また、他の例として、例えば曲線や花柄といった装飾を用いて女性的な雰囲気を表したイメージであるシャビーシック、優美さや上品さを表したイメージであるエレガント、及び家具等の生活用品の数を絞り込んだ上で、生活用品に用いられている色数や装飾も抑えたイメージであるシンプルベーシックといったイメージも存在する。
【００３８】
ユーザ端末２０は、情報処理装置１０に風景を撮影した画像を送信すると共に、情報処理装置１０から出力された風景が表すイメージの推定結果を表示する情報機器である。上述したように、風景が表すイメージは、生活空間におけるインテリアの雰囲気によって形成される。したがって、ユーザ端末２０から情報処理装置１０に送信する画像は、例えば建物の内部または建物の外観等、人の生活空間を撮影した画像であることが好ましい。更に言えば、例えば建物の内部の画像であっても、単一の物だけを撮影した画像からは生活空間全体のイメージが推定しにくいことから、ユーザ端末２０から情報処理装置１０に送信する画像には、生活空間のイメージを形成する複数の物、すなわち、共通したイメージを有する複数の物（種類が異なる物であれば尚よい）が含まれていることが好ましい。
【００３９】
ユーザ端末２０は、通信回線２を通じて情報処理装置１０との間で情報を送受信する通信機能と、文字、画像、音声、及び振動の少なくとも１つの通知形態を用いてユーザ端末２０の操作者（以降、「ユーザ」という）に情報を通知する通知機能を備えていれば、特定の種類の情報機器に限定されない。例えばデスクトップコンピュータ、携帯可能なタブレット型コンピュータやスマートフォン、及び腕や顔等といったユーザの身体に装着するウェアラブル装置の他、人工知能を用いてユーザと会話を行い、画像の送受信も行うスマートスピーカー(ＡＩスピーカー)等がユーザ端末２０として用いられる。
【００４０】
なお、図１の例では、情報処理システム１００にユーザ端末２０が１台しか示されていないが、ユーザ端末２０の台数に制限はなく、複数のユーザ端末２０が情報処理システム１００に含まれてもよい。
【００４１】
通信回線２は、無線回線であっても有線回線であってもよく、また、専用回線であっても、不特定多数の装置が接続される公衆回線であってもよい。当然のことながら、スマートフォンのようにユーザ端末２０がユーザと共に移動する情報機器の場合には、ユーザ端末２０が情報処理装置１０と無線回線で接続されることが好ましい。
【００４２】
図２は、情報処理装置１０における機能構成例を示す図である。情報処理装置１０は、受付部１２、推定部１４、及び出力部１８を含む。
【００４３】
受付部１２は、通信回線２を通じて、ユーザ端末２０から風景を撮影した画像を受け付ける。以降では、ユーザ端末２０から受け付けた画像を「入力画像」という場合がある。受付部１２は、受け付けた入力画像を推定部１４に通知する。
【００４４】
推定部１４は、イメージ推定部１４Ａ、場所推定部１４Ｂ、及びカラー推定部１４Ｃを含み、それぞれが入力画像の内容から予め定められた項目を推定する。
【００４５】
イメージ推定部１４Ａは入力画像を受け付けると、入力画像に写った風景が表すイメージを推定する。入力画像に写った風景が表すイメージの推定には、例えば機械学習手法が用いられる。機械学習手法とは、複数のデータを用いて、データとデータが表す意味を対応付けて反復的に学習することで、データとデータが表す意味との間に潜在的に存在する規則性を見つけ出し、当該規則性に基づいて未知のデータが表す意味を推定する推定手法である。
【００４６】
具体的には、入力画像と異なる風景を撮影した複数のサンプル画像を入力とし、サンプル画像の各々の風景に含まれる物が表すイメージを出力として与えることで、風景とイメージとの対応付けを予め学習させたイメージ学習モデルが得られる。したがって、イメージ推定部１４Ａは、学習済みのイメージ学習モデルに入力画像を入力することで、入力画像に写った風景が表すイメージを推定する。
【００４７】
イメージ学習モデルは、例えば非特許文献１〜非特許文献３に記載されているような機械学習手法の一例である公知の深層学習技術を用いて構築される。
【００４８】
［非特許文献１］：A.Krizhevsky, I.Sutskever, G.E.Hinton, "Imagenet classification with deep convolutional neural networks" In Proc. of NIPS, 2012.
【００４９】
［非特許文献２］：K.Simonyan and A.Zisserman, "Very deep convolutional networks for large-scale image recognition" In Proc. of ICLR, 2015.
【００５０】
［非特許文献３］：K.He, X.Zhang, S.Ren, and J.Sun, "Deep residual learning for image recognition" In Proc. of CVPR, 2016.
【００５１】
また、イメージ学習モデルにおいて、サンプル画像とサンプル画像が示すイメージとを対応付けるアルゴリズムには、例えば非特許文献４に記載されているようなバックプロパゲーション法が用いられる。
【００５２】
［非特許文献４］：D.E.Rumelhart, G.E.Hinton, R.J.Williams, "Learning representations by back-propagating errors" Nature 323 (6088)p533-p536, 1986.
【００５３】
すなわち、イメージ推定部１４Ａはイメージ学習モデルを用いることで、入力画像に含まれる物体の形状、物体の配置、物体の色、及び物体の大きさ等、入力画像に表されている風景の雰囲気を形成する物の特徴から、入力画像に写った風景が表すイメージを推定する。風景とイメージとの対応付けを予め学習したイメージ学習モデルは、学習モデルの一例である。
【００５４】
イメージ推定部１４Ａにおけるイメージの推定結果は、（１）式に示すように、Ｍ次元の実数ベクトルＳで表される。
【００５５】
【数１】
2020087224.tif 000003
【００５６】
ここで“Ｍ（Ｍは１以上の整数）”はイメージ推定部１４Ａで推定可能なイメージ数、すなわち、学習済みのイメージ数を表し、実数ｓm（ｍ＝１〜Ｍ）は、入力画像に写った風景がｍ番目のイメージを表している確率を示す。変数ｍには、イメージ推定部１４Ａで推定可能なそれぞれ異なるイメージが対応付けられており、ｓmの値が大きいほど、変数ｍで表されるイメージらしさが強調された風景であることを示している。そのため、例えばイメージ学習モデルの出力層はＭ個のユニットで形成され、各々のユニットの出力値がｓmと対応付けられた構成となっている。なお、“Ｔ”は転置行列を表す数学記号である。
【００５７】
場所推定部１４Ｂは入力画像を受け付けると、入力画像に写る風景の場所を推定する。ここで「場所」とは、用途によって分類された生活空間の名称のことであり、例えばリビング、ダイニング、寝室、ベランダ、及び玄関といった区分によって表される。
【００５８】
場所推定部１４Ｂではイメージ推定部１４Ａと同じく、入力画像に写った風景の場所の推定に、例えば機械学習手法を用いる。
【００５９】
具体的には、入力画像と異なる風景を撮影した複数のサンプル画像を入力とし、サンプル画像の各々の風景が表す場所を出力として与えることで、風景と場所との対応付けを予め学習させた場所学習モデルが得られる。したがって、場所推定部１４Ｂは、学習済みの場所学習モデルに入力画像を入力することで、入力画像に写る風景の場所を推定する。
【００６０】
場所学習モデルも、例えば上述した非特許文献１〜非特許文献３に記載されているような公知の深層学習技術を用いて構築され、イメージ学習モデルと同様に場所学習モデルにおいても、サンプル画像とサンプル画像が示す風景の場所とを対応付けるアルゴリズムに、例えば非特許文献４に記載されているようなバックプロパゲーション法が用いられる。このように風景と場所との対応付けを予め学習した場所学習モデルは、イメージ学習モデルと異なる他の学習モデルの一例である。
【００６１】
場所推定部１４Ｂにおける場所の推定結果は、（２）式に示すように、Ｋ次元の実数ベクトルＲで表される。
【００６２】
【数２】
2020087224.tif 000004
【００６３】
ここで“Ｋ（Ｋは１以上の整数）”は場所推定部１４Ｂで推定可能な場所数、すなわち、学習済みの場所数を表し、実数ｒk（ｋ＝１〜Ｋ）は、入力画像に写った風景がｋ番目の場所である確率を表している。変数ｋには、場所推定部１４Ｂで推定可能なそれぞれ異なる場所が対応付けられており、ｒkの値が大きいほど、変数ｋに対応付けられた場所らしさが強調された風景であることを示している。そのため、例えば場所学習モデルの出力層はＫ個のユニットで形成され、各々のユニットの出力値がｒkと対応付けられた構成となっている。
【００６４】
カラー推定部１４Ｃは入力画像を受け付けると、入力画像に写った風景に対する差し色を推定する。「差し色」とは、風景内に配色された場合に視線を集めるような色、すなわち、アクセントカラーのことをいう。差し色には風景に変化をつけたり、風景の色を引き立てたりする効果が存在する。例えば風景の色に対する補色は差し色の一例である。
【００６５】
カラー推定部１４Ｃは推定した差し色を数値で表す。差し色を数値として一意に表すことができればどのような表色系を用いてもよいが、一例としてカラー推定部１４Ｃは、色の表現にＬａｂ表色系を用いるものとする。なお、カラー推定部１４Ｃにおける具体的な差し色の推定手法については後ほど説明する。
【００６６】
推定部１４は、イメージ推定部１４Ａ、場所推定部１４Ｂ、及びカラー推定部１４Ｃでそれぞれ推定されたイメージ、場所、及び差し色についての各推定結果を出力部１８に通知する。
【００６７】
出力部１８は、推定部１４から推定結果を受け付けると、推定部１４で推定された各々の推定結果をユーザ端末２０に出力する。
【００６８】
図３は、情報処理装置１０における電気系統の要部構成例を示す図である。情報処理装置１０は、例えばコンピュータ４０を用いて構成される。
【００６９】
コンピュータ４０は、図２に示した本実施の形態に係る情報処理装置１０の各部を担うＣＰＵ(Central Processing Unit)４１、情報処理プログラムを記憶するＲＯＭ(Read Only Memory)４２、ＣＰＵ４１の一時的な作業領域として使用されるＲＡＭ(Random Access Memory)４３、不揮発性メモリ４４、及び入出力インターフェース(Ｉ／Ｏ)４５を備える。そして、ＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、不揮発性メモリ４４、及びＩ／Ｏ４５がバス４６を介して各々接続されている。
【００７０】
不揮発性メモリ４４は、不揮発性メモリ４４に供給される電力が遮断されても、記憶した情報が維持される記憶装置の一例であり、例えば半導体メモリが用いられるが、ハードディスクを用いてもよい。不揮発性メモリ４４は、必ずしもコンピュータ４０に内蔵されている必要はなく、メモリカードのようにコンピュータ４０に着脱可能な記憶装置を用いてもよい。
【００７１】
一方、Ｉ／Ｏ４５には、例えば通信ユニット４７、入力ユニット４８、及び表示ユニット４９が接続される。
【００７２】
通信ユニット４７は通信回線２と接続し、通信回線２に接続されるユーザ端末２０や図示しない外部装置とデータ通信を行う通信プロトコルを備える。
【００７３】
入力ユニット４８は、情報処理装置１０の操作者からの指示を受け付けてＣＰＵ４１に通知する入力装置であり、例えばボタン、キーボード、マウス、及びタッチパネル等が用いられる。
【００７４】
表示ユニット４９は、ＣＰＵ４１によって処理された情報を画像として表示する表示装置であり、例えば液晶ディスプレイ、または有機ＥＬ(Electro Luminescence)ディスプレイ等が用いられる。
【００７５】
なお、Ｉ／Ｏ４５に接続されるユニットは、図３に示したユニットに限定されない。例えば情報を音声で出力する音声出力ユニットや、情報を用紙等の記録媒体に印字する印字ユニットをＩ／Ｏ４５に接続してもよい。
【００７６】
次に、図４を参照して、情報処理装置１０の動作について説明する。
【００７７】
図４は情報処理装置１０が起動した場合に、ＣＰＵ４１によって実行される推定処理の流れの一例を示すフローチャートである。
【００７８】
推定処理を規定する情報処理プログラムは、例えば情報処理装置１０のＲＯＭ４２に予め記憶されている。情報処理装置１０のＣＰＵ４１は、ＲＯＭ４２に記憶される情報処理プログラムを読み込み、推定処理を実行する。なお、情報処理装置１０の不揮発性メモリ４４には、それぞれ学習済みのイメージ学習モデルと場所学習モデルが予め記憶されているものとする。
【００７９】
まず、ステップＳ１０において、ＣＰＵ４１は、ユーザ端末２０から入力画像を受け付けたか否かを判定する。入力画像を受け付けていない場合にはステップＳ１０の判定処理を繰り返し実行して、入力画像の受け付け状況を監視する。一方、入力画像を受け付けた場合には、受け付けた入力画像をＲＡＭ４３に記憶してステップＳ２０に移行する。
【００８０】
ステップＳ２０において、ＣＰＵ４１は、不揮発性メモリ４４に記憶されたイメージ学習モデルにステップＳ１０で受け付けた入力画像を入力した場合における、イメージ学習モデルの出力層を形成するＭ個のユニットの出力値を用いて、（１）式に示した実数ベクトルＳを生成する。実数ベクトルＳは、入力画像に写った風景が表すイメージ（「風景のイメージ」ともいう）の推定結果であり、ＣＰＵ４１は、イメージの推定結果をＲＡＭ４３に記憶する。
【００８１】
ステップＳ３０において、ＣＰＵ４１は、不揮発性メモリ４４に記憶された場所学習モデルにステップＳ１０で受け付けた入力画像を入力した場合における、場所学習モデルの出力層を形成するＫ個のユニットの出力値を用いて、（２）式に示した実数ベクトルＲを生成する。実数ベクトルＲは、入力画像に写る風景の場所（単に「風景の場所」ということがある）の推定結果であり、ＣＰＵ４１は、場所の推定結果をＲＡＭ４３に記憶する。
【００８２】
ステップＳ４０において、ＣＰＵ４１は、ステップＳ１０で受け付けた入力画像に写った風景に対する差し色を推定する。
【００８３】
通常、入力画像には複数の色が含まれるが、色数が多いほど差し色の推定に要する時間が長くなると共に、色の種類が分散し、差し色の推定精度が低下する傾向にある。したがって、ＣＰＵ４１は、色を表す数値が予め定めた範囲内に含まれるような近似した色を同じ色として扱うことで、入力画像に含まれる色数を予め定めた数（例えば２５６色）まで減少させる減色処理を行う。
【００８４】
ＣＰＵ４１は、減色処理を行った後の入力画像において最も多く用いられている色を入力画像のベースカラーとして特定する。入力画像における各色の使用頻度は、例えば色毎の表示面積の大小によって表され、色毎の面積は、各色に対応した画素値を有する画素の数を集計することで計測される。すなわち、入力画像のベースカラーとは、入力画像に最も多く含まれている色であり、入力画像を代表する色のことである。
【００８５】
なお、入力画像のベースカラーというためには、色の表示面積が、他の色に比べて多用されていることが視覚的に判別することができる程度の面積（「閾値面積」という）以上あることが好ましい。したがって、ＣＰＵ４１は、閾値面積以上の表示面積を有する色を入力画像のベースカラーとすることが好ましい。
【００８６】
逆に言えば、ＣＰＵ４１は、入力画像において最も多く用いられている色であっても、当該色の表示面積が閾値面積未満の場合には、入力画像のベースカラーとして特定しないことが好ましい。
【００８７】
なお、ＣＰＵ４１は、最終的な色の表示面積に、予め定めた物体（以降、「特定物体」という）における色の表示面積を算入しないようにしてもよい。ここで「特定物体」とは、生活空間において統一したイメージを形成するために配置しているのではなく、癒しの目的で配置している物体や、複数の生活空間を自律的に移動する物体のことであり、生活空間におけるイメージの形成に寄与していないものである。
【００８８】
したがって、例えば植物、人間、ペット、及び掃除ロボットは特定物体の一例であり、特定物体における色の表示面積は、入力画像のベースカラーの算出に用いないようにする。
【００８９】
入力画像に写る物体の検知は、例えば非特許文献５に記載されているような公知の深層学習技術を用いて機械学習された物体検知モデルを用いることで実現される。学習済みの物体検知モデルは、例えば不揮発性メモリ４４に記憶される。
【００９０】
［非特許文献５］：S.Ren, K.He, R.Girshick, J.Sun, "Faster R-CNN: towards real-time object detection with region proposal networks", In Proc. of NIPS, 2015.
【００９１】
入力画像のベースカラーが特定された場合、ＣＰＵ４１は、Ｌａｂ表色系においてベースカラーとの色差が最も大きい色を、入力画像に写った風景に対する差し色として推定する。差し色は必ずしも１色である必要はなく、ＣＰＵ４１は、例えばベースカラーとの色差が大きい順にＬ個（Ｌは２以上の整数）の色を差し色としてもよい。
【００９２】
ステップＳ５０において、ＣＰＵ４１は通信ユニット４７を制御して、風景のイメージ、風景の場所、及び風景に対する差し色の推定に用いた入力画像を送信してきたユーザ端末２０に、各項目の推定結果を出力する。これによりユーザは、入力画像に写った風景が表すイメージ、風景の場所、及び風景に対する差し色が得られることになる。差し色はＬａｂ表色系の数値で表されているため、ＣＰＵ４１はユーザ端末２０に差し色を出力する場合、Ｌａｂ表色系の数値を例えば「赤」、「青」というようにユーザに分かりやすい色名に変換して出力してもよい。
【００９３】
なお、推定結果の出力先は入力画像を送信してきたユーザ端末２０に限られない。例えば入力画像の送信元とは異なるユーザ端末２０や情報処理装置１０の表示ユニット４９に出力してもよく、また、ユーザ端末２０とは異なる、通信回線２に接続された他の外部装置に出力してもよい。
【００９４】
以上により、図４に示した推定処理を終了する。
【００９５】
図５は、情報処理装置１０がユーザ端末２０から受け付ける入力画像の一例を示す図である。情報処理装置１０は、図５に示すような入力画像（例えば天然木の色を基調とした部屋の画像）を受け付けた場合、推定結果として、例えば「イメージ＝北欧モダン」、「場所＝リビング」、「差し色＝青紫」といった情報をユーザ端末２０に出力する。
【００９６】
図４に示した推定処理では、風景のイメージ、風景の場所、及び差し色の各項目を推定したが、情報処理装置１０は全ての項目を推定する必要はなく、これらの項目のうち、少なくとも１つの項目を推定するようにしてもよい。
【００９７】
また、図４に示した推定処理では風景の場所を推定する場合、推定結果として生活空間の名称を出力したが、風景の場所が識別されるのであれば、他の区分を用いて風景の場所を表すようにしてもよい。
【００９８】
例えば情報処理装置１０は、入力画像に写った風景の住所を推定してもよい。住所を推定する場合、風景が表す場所の番地まで推定する必要はなく、例えば市町村単位のレベルで推定してもよい。この場合、情報処理装置１０は、入力画像と異なる風景を撮影した複数のサンプル画像を入力とし、サンプル画像の各々の風景が表す場所の住所を出力として与えることで、風景と住所との対応付けを予め学習させた場所学習モデルを用いて場所の推定を行えばよい。
【００９９】
他の例として情報処理装置１０は、入力画像として店内を写した画像を受け付けた場合、店名を推定してもよい。この場合、情報処理装置１０は、入力画像と異なる店内を撮影した複数のサンプル画像を入力とし、サンプル画像の各々が撮影された店名を出力として与えることで、風景と店名との対応付けを予め学習させた場所学習モデルを用いて場所の推定を行えばよい。
【０１００】
また、図４に示した推定処理では入力画像に写った風景に対する差し色を推定したが、情報処理装置１０が推定する色は入力画像と何らかの関係を有する色であればよく、差し色に限られない。
【０１０１】
例えば情報処理装置１０は、入力画像のベースカラーや、入力画像の風景に含まれる各物体の色を推定してもよい。また、情報処理装置１０は、推定した各物体の色を色の表示面積順に出力してもよい。
【０１０２】
このように本実施の形態に係る情報処理装置１０によれば、物が含まれる風景を撮影した入力画像から、風景のイメージ、風景の場所、及び風景に関する色の少なくとも１つを推定し、推定結果を出力する。
【０１０３】
＜第２実施形態＞
上述したように、第１実施形態では入力画像から風景のイメージ、風景の場所、及び風景に関する色の少なくとも１つを推定する情報処理装置１０について説明したが、推定結果から導き出される他の情報をユーザに提示してもよい。
【０１０４】
第２実施形態では、推定した風景のイメージ、風景の場所、及び風景に関する色の少なくとも１つの項目を用いて、風景に適合した商品をユーザに提示する情報処理装置１０Ａについて説明する。
【０１０５】
図６は、本実施の形態に係る情報処理システム１００Ａの構成例を示す図である。情報処理システム１００Ａが図１に示した情報処理システム１００と異なる点は、情報処理装置１０が情報処理装置１０Ａに置き換えられ、商品情報ＤＢ(Database:DB)３０が追加された点である。
【０１０６】
情報処理装置１０Ａは、通信回線２を通じてユーザ端末２０から入力画像を受け付け、入力画像に写った風景が表すイメージ、風景の場所、及び風景に関する色（例えば風景に対する差し色）の少なくとも１つの項目を推定し、通信回線２を通じて風景に適合した商品をユーザ端末２０に出力する。以降では特に断りがない場合、情報処理装置１０Ａは、風景のイメージ、風景の場所、及び風景に対する差し色の各項目を推定する例について説明する。
【０１０７】
商品情報ＤＢ３０は、情報処理装置１０Ａが入力画像で表される風景に適合した商品としてユーザに提示する商品の情報（以降、「商品情報」という）を記憶した記憶装置である。具体的には、商品の名称、商品の画像、及び商品の色が商品情報として商品毎に対応付けられ商品情報ＤＢ３０に記憶されるが、商品情報ＤＢ３０に記憶される商品情報はこれらの情報に限られず、商品の価格、商品の供給メーカー、商品の大きさ等、商品に関する情報であればどのような情報も商品と対応付けて商品情報ＤＢ３０に記憶してよい。商品の色は例えば測色計を用いて計測され、カラー推定部１４Ｃで用いられる表色系と同じ表色系の色値として設定されるが、色名で設定してもよい。
【０１０８】
また、商品情報ＤＢ３０に記憶される商品の種類には制約はなく、例えば家電、洋服、及び食器等、如何なる種類の商品情報が記憶されていてもよいが、ここでは一例として椅子、テーブル、ソファー、棚、タンス、雑貨、照明、カーテン、及びカーペット等、インテリアに関する商品情報が記憶されているとする。なお、以降では商品を撮影した画像を「商品画像」ということがある。商品画像には複数の商品が含まれていてもよいが、商品の色を対応付けて管理するため、商品画像に含まれる商品の色は共通であることが好ましい。また、商品の利用が想定されている場所で商品画像が撮影されているものとする。例えばダイニングテーブルであればダイニング空間を背景に撮影した画像が商品画像としてダイニングテーブルと対応付けられ、商品情報ＤＢ３０に記憶されている。
【０１０９】
商品情報ＤＢ３０は、情報処理装置１０Ａが選択した商品の商品情報を情報処理装置１０Ａに通知する。
【０１１０】
図７は、情報処理装置１０Ａにおける機能構成例を示す図である。情報処理装置１０Ａにおける機能構成が図２に示した情報処理装置１０の機能構成例と異なる点は、出力部１８が出力部１８Ａに置き換えられ、設定部１６が追加された点であり、その他の構成は図２と同じである。
【０１１１】
設定部１６は、商品情報ＤＢ３０に記憶される全ての商品画像をそれぞれ学習済みのイメージ学習モデル及び場所学習モデルに入力して、推定部１４に商品画像に含まれる商品が表すイメージ、及び想定される商品の利用場所を商品毎に推定させる。以降では商品が有するイメージを「商品のイメージ」、及び想定される商品の利用場所を「商品の場所」ということがある。
【０１１２】
商品のイメージの推定にイメージ学習モデルを用いた場合、商品情報ＤＢ３０に記憶されている商品の数をＩ個（Ｉは１以上の整数）とすれば、ｉ番目（ｉ＝１〜Ｉ）の商品（以降、「商品ｉ」という）のイメージは（３）式に示すように、Ｍ次元の実数ベクトルＳiで表される。
【０１１３】
【数３】
2020087224.tif 000005
【０１１４】
ここで実数ｓim（ｍ＝１〜Ｍ）は商品ｉがｍ番目のイメージを表している確率を示す。変数ｍには、イメージ推定部１４Ａで推定可能なそれぞれ異なるイメージが対応付けられているため、ｓimの値が大きいほど、変数ｍで表されるイメージらしさが強調された商品であることを示している。
【０１１５】
一方、商品の場所の推定に場所学習モデルを用いた場合、商品ｉの場所は（４）式に示すように、Ｋ次元の実数ベクトルＲiで表される。
【０１１６】
【数４】
2020087224.tif 000006
【０１１７】
ここで実数ｒik（ｋ＝１〜Ｋ）は、商品の場所がｋ番目の場所である確率を表しているため、ｒikの値が大きいほど、変数ｋに対応付けられた場所で利用されることが想定された商品であることを示している。
【０１１８】
そして、設定部１６は、入力画像から推定されたイメージを有する風景に商品画像で表される商品が配置された場合の当該商品が風景に適合する度合い、すなわち、入力画像で表される風景に対する商品の適合度合いを商品毎に設定する。
【０１１９】
設定部１６は、入力画像で表される風景に対する商品の適合度合いを「スコア」と呼ばれる数値によって表す。スコアが高いほど、入力画像で表される風景に対する商品の適合度合いが高いことを表す。
【０１２０】
スコアには、推定部１４で推定した項目毎のスコアが存在する。具体的には、入力画像で表される風景が表すイメージと商品のイメージとの類似度を示すイメージスコア、入力画像に写る風景の場所と商品の場所との類似度を示す場所スコア、及び入力画像に写った風景に対する差し色と商品の色との類似度を示すカラースコアが存在する。
【０１２１】
入力画像で表される風景が表すイメージと商品のイメージとの類似度が高くなるほど、風景が有する雰囲気と商品が有する雰囲気が近づくことから、当該風景に商品が配置された場合、違和感なく風景に溶け込む傾向がある。したがって、当該類似度が高くなるほど、イメージスコアが高くなるように設定することで、入力画像で表される風景に対する商品の適合度合いが示される。すなわち、イメージスコアには、入力画像で表される風景に対する商品の適合度合いが高くなるほど高い値を示すような尺度が用いられる。
【０１２２】
一例として、商品ｉのイメージスコアＵiSは、（５）式に示すようなコサイン類似度を用いて定義される。
【０１２３】
【数５】
2020087224.tif 000007
【０１２４】
ここで、実数ベクトルＳは、（１）式に示した風景が表すイメージの推定値であり、実数ベクトルＳiは、（３）式に示した商品ｉのイメージの推定値である。“・”はベクトルの内積、“｜｜”はベクトルの長さを表す。
【０１２５】
また、入力画像に写る風景の場所と商品の場所との類似度が高くなるほど、商品が配置される場所が予め想定された商品の利用場所に近づくことから、当該風景に商品が配置された場合、違和感なく風景に溶け込む傾向がある。したがって、当該類似度が高くなるほど、場所スコアが高くなるように設定することで、入力画像で表される風景に対する商品の適合度合いが示される。すなわち、場所スコアには、入力画像で表される風景に対する商品の適合度合いが高くなるほど高い値を示すような尺度が用いられる。
【０１２６】
したがって、商品ｉの場所スコアＵiRは、イメージスコアＵiSと同じく、（６）式に示すようなコサイン類似度を用いて定義される。
【０１２７】
【数６】
2020087224.tif 000008
【０１２８】
ここで、実数ベクトルＲは、（２）式に示した風景の場所の推定値であり、実数ベクトルＲiは、（４）式に示した商品ｉの場所の推定値である。
【０１２９】
また、入力画像に写った風景に対する差し色と商品の色との類似度が高くなるほど、当該風景に商品が配置された場合、風景におけるアクセントカラーとして機能することになるため、風景を引き立てる役割を果たす傾向がある。したがって、当該類似度が高くなるほど、カラースコアが高くなるように設定することで、入力画像で表される風景に対する商品の適合度合いが示される。すなわち、カラースコアには、入力画像で表される風景に対する商品の適合度合いが高くなるほど高い値を示すような尺度が用いられる。
【０１３０】
一例として商品ｉのカラースコアＵiCは、（７）式に示すような演算式を用いて定義される。
【０１３１】
【数７】
2020087224.tif 000009
【０１３２】
ここで、“ｃ”は入力画像に写った風景に対する差し色、“ｃi”は商品ｉの色である。
【０１３３】
設定部１６は、イメージスコアＵiS、場所スコアＵiR、及びカラースコアＵiCを含む（８）式に示すような演算式を用いて、商品ｉの最終的なスコアである商品スコアＵiを商品毎に設定する。
【０１３４】
【数８】
2020087224.tif 000010
【０１３５】
ここで、α、β、及びγは、それぞれイメージスコアＵiS、場所スコアＵiR、及びカラースコアＵiCの重みパラメータであり、商品スコアＵiに対するイメージスコアＵiS、場所スコアＵiR、及びカラースコアＵiCの影響度合いを調整している。
【０１３６】
商品スコアＵiの演算式は（８）式に限られず、推定部１４で推定した各項目のスコア（この場合、イメージスコアＵiS、場所スコアＵiR、及びカラースコアＵiC）の合計値が高くなるにつれて、商品スコアＵiも高くなるように定義された演算式であればよい。
【０１３７】
出力部１８Ａは、設定部１６から受け付けた各々の商品の商品スコアＵiを参照して、入力画像に写った風景に適合する商品を推薦商品として出力し、ユーザに提示する。
【０１３８】
なお、情報処理装置１０Ａにおける電気系統の要部構成は、図３に示した情報処理装置１０における電気系統の要部構成例と同じ構成を有する。
【０１３９】
次に、図８を参照して、情報処理装置１０Ａの動作について説明する。
【０１４０】
図８は情報処理装置１０Ａが起動した場合に、ＣＰＵ４１によって実行される推定処理の流れの一例を示すフローチャートである。
【０１４１】
図８に示す推定処理のフローチャートが、図４に示した第１実施形態に係る推定処理のフローチャートと異なる点は、ステップＳ５０が削除された代わりに、ステップＳ６０〜Ｓ９０が追加された点である。
【０１４２】
ステップＳ４０で入力画像に写った風景に対する差し色を推定した後、ステップＳ６０が実行される。
【０１４３】
ステップＳ６０において、ＣＰＵ４１は、商品情報ＤＢ３０に記憶されている商品の中から商品を１つ選択し、選択した商品の商品情報を取得する。説明の便宜上、選択した商品を商品ｉとする。
【０１４４】
ここでは商品情報が商品情報ＤＢ３０に記憶される例について説明するが、商品情報を情報処理装置１０Ａの不揮発性メモリ４４に記憶するようにしてもよい。この場合、情報処理システム１００Ａにおいて商品情報ＤＢ３０が不要となる。
【０１４５】
ステップＳ７０において、ＣＰＵ４１は、ステップＳ６０で取得した商品情報から商品画像及び商品の色を抽出し、ステップＳ２０〜Ｓ４０で推定した項目毎のスコアを算出する。
【０１４６】
具体的には、ＣＰＵ４１は、商品情報から抽出した商品ｉの商品画像を学習済みのイメージ学習モデルに入力することで、商品ｉのイメージを表す実数ベクトルＳiを取得する。そして、ＣＰＵ４１は、ステップＳ２０で推定した風景のイメージを表す実数ベクトルＳと、商品ｉのイメージを表す実数ベクトルＳiを用いて、選択した商品ｉのイメージスコアＵiSを（５）式に従って算出する。なお、商品ｉの実数ベクトルＳiはイメージ学習モデルを用いずに、人が商品ｉの外観から予め設定しておいてもよい。この場合、商品情報に予め設定した実数ベクトルＳiを含めておけばよい。
【０１４７】
また、ＣＰＵ４１は、商品情報から抽出した商品ｉの商品画像を学習済みの場所学習モデルに入力することで、商品ｉの場所を表す実数ベクトルＲiを取得する。そして、ＣＰＵ４１は、ステップＳ３０で推定した風景の場所を表す実数ベクトルＲと、商品ｉの場所を表す実数ベクトルＲiを用いて、選択した商品ｉの場所スコアＵiRを（６）式に従って算出する。なお、商品ｉの実数ベクトルＲiは場所学習モデルを用いずに、人が商品ｉの外観から予め設定しておいてもよい。この場合、商品情報に予め設定した実数ベクトルＲiを含めておけばよい。
【０１４８】
また、ＣＰＵ４１は、ステップＳ４０で推定した風景に対する差し色ｃと、商品情報から抽出した商品ｉの色を用いて、選択した商品ｉのカラースコアＵiCを（７）式に従って算出する。
【０１４９】
なお、推定処理のステップＳ４０で、風景に対する差し色ｃを複数推定した場合には、商品ｉの色が何れかの差し色ｃと同じである場合に、カラースコアＵiCを“１”に設定すればよい。また、推定処理のステップＳ４０で入力画像のベースカラーを推定した場合には、商品ｉの色がベースカラーと同じである場合に、カラースコアＵiCを“１”に設定すればよい。
【０１５０】
更に、ＣＰＵ４１は、算出したイメージスコアＵiS、場所スコアＵiR、及びカラースコアＵiCを用いて、選択した商品ｉの商品スコアＵiを（８）式に従って算出する。
【０１５１】
商品スコアＵiの算出に用いる重みパラメータα、β、及びγは、例えば不揮発性メモリ４４に予め記憶されている。重みパラメータα、β、及びγは、入力画像と異なる風景を撮影した複数のサンプル画像に対する各々の商品の商品スコアＵiが、人間の感覚から判断されるサンプル画像の風景と商品の適合度合いに近づくように予め調整されている。
【０１５２】
ステップＳ８０において、ＣＰＵ４１は、商品情報ＤＢ３０に記憶されている全ての商品の商品情報を取得したか否かを判定する。
【０１５３】
取得していない商品情報が存在する場合にはステップＳ６０に移行し、商品情報ＤＢ３０に記憶されている商品の中から、まだ商品情報を取得していない商品を１つ選択して、選択した商品の商品情報を取得する。すなわち、商品情報ＤＢ３０に記憶されている全ての商品が選択されるまでステップＳ６０〜Ｓ８０の処理を繰り返し実行することで、商品情報ＤＢ３０に記憶されている各商品ｉの商品スコアＵiが算出される。
【０１５４】
一方、商品情報ＤＢ３０に記憶されている全ての商品の商品情報を取得した場合には、ステップＳ９０に移行する。
【０１５５】
ステップＳ９０において、ＣＰＵ４１はステップＳ７０で算出した、商品情報ＤＢ３０に記憶されている各商品ｉの商品スコアＵiを参照し、商品スコアＵiが高い商品から順に入力画像の風景に適合する推薦商品を表示した画面を、入力画像の送信元であるユーザ端末２０に出力する。
【０１５６】
図９は、ユーザ端末２０に表示される画面の一例である。図９に示すように、ユーザ端末２０には、ユーザが情報処理装置１０Ａに送信した画像に写った風景に適合する推薦商品が表示される。
【０１５７】
推薦商品は入力画像に写った風景に適合する商品であることから、例えば椅子やテーブルといった様々な種類の商品が推薦商品としてユーザ端末２０に表示されることになる。したがって、ＣＰＵ４１は、推薦商品の種類を絞り込む絞り込み検索の機能を画面に埋め込むようにしてもよい。例えば絞り込み検索によって椅子が指定された場合、ＣＰＵ４１は、種類が椅子に分類される商品の商品スコアＵiを参照して、商品スコアＵiが高い順に椅子だけを表示した画面を、入力画像の送信元であるユーザ端末２０に出力することになる。
【０１５８】
なお、推薦商品の出力先は入力画像を送信してきたユーザ端末２０に限られない。例えば入力画像の送信元とは異なるユーザ端末２０や情報処理装置１０Ａの表示ユニット４９に出力してもよく、また、ユーザ端末２０とは異なる、通信回線２に接続された他の外部装置に出力してもよい。
【０１５９】
また、推薦商品の出力形態についても制約はなく、例えば商品名のように文字だけでユーザに出力しても、文字の他に商品画像のような画像を含めてユーザに出力してもよい。場合によっては、推薦商品を音声でユーザに出力してもよい。
【０１６０】
以上により、図８に示した推定処理を終了する。
【０１６１】
図８に示した推定処理では、風景のイメージ、風景の場所、及び風景に対する差し色の各項目を推定し、商品と推定項目毎の適合度合いを加味して推薦商品を出力したが、既に述べたように、商品との適合度合いを算出する場合に用いる推定項目は、風景のイメージ、風景の場所、及び風景に対する差し色に固定されず、推定項目の少なくとも１つを用いて入力画像に写った風景と商品との適合度合いを算出し、推薦商品を出力するようにしてもよい。
【０１６２】
例えば風景のイメージ、及び風景に対する差し色を用いた場合、商品ｉの商品スコアＵiは（９）式で表され、風景の場所、及び風景に対する差し色を用いた場合、商品ｉの商品スコアＵiは（１０）式で表される。
【０１６３】
【数９】
2020087224.tif 000011
【０１６４】
また、図８に示した推定処理では商品スコアＵiを算出する場合、全ての商品に対して同じ重みパラメータα、β、及びγを用いたが、商品の種類毎に値の異なる重みパラメータα、β、及びγの組み合わせを用意しておき、商品の種類に応じて、商品スコアＵiの算出に用いる重みパラメータα、β、及びγの値を変えるようにしてもよい。これにより、情報処理装置１０Ａにおける各推定項目と商品との適合度合いが商品スコアＵiの設定に与える影響度合いの調整が図られることになる。
【０１６５】
例えば雑貨は、風景にアクセントカラーを与える役割として用いられる傾向がある。したがって、商品の種類が雑貨である場合には、他の種類の商品よりも商品の色の適合度合いが商品スコアＵiの設定に影響を与えるように重みパラメータγを設定することで、入力画像に写った風景に更に適合した商品が推薦商品として出力される。
【０１６６】
以上、各実施の形態を用いて本発明について説明したが、本発明は各実施の形態に記載の範囲には限定されない。本発明の要旨を逸脱しない範囲で各実施の形態に多様な変更又は改良を加えることができ、当該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。例えば、本発明の要旨を逸脱しない範囲で処理の順序を変更してもよい。
【０１６７】
また、各実施の形態では、一例として推定処理をソフトウエアで実現する形態について説明したが、図４及び図８に示したフローチャートと同等の処理を、例えばＡＳＩＣ(Application Specific Integrated Circuit)に実装し、ハードウエアで処理させるようにしてもよい。この場合、推定処理をソフトウエアで実現した場合と比較して、処理の高速化が図られる。
【０１６８】
また、上述した各実施の形態では、情報処理プログラムがＲＯＭ４２にインストールされている形態を説明したが、これに限定されるものではない。本発明に係る情報処理プログラムは、コンピュータで読み取り可能な記憶媒体に記録された形態で提供することも可能である。例えば、本発明に係る情報処理プログラムを、ＣＤ(Compact Disc)−ＲＯＭ、またはＤＶＤ(Digital Versatile Disc)−ＲＯＭ等の光ディスクに記録した形態で提供してもよい。また、本発明に係る情報処理プログラムを、ＵＳＢ(Universal Serial Bus)メモリ及びフラッシュメモリ等の半導体メモリに記録した形態で提供してもよい。更に、通信回線２に接続される図示しない外部装置から、通信回線２を通じて本発明に係る情報処理プログラムを取得するようにしてもよい。
【符号の説明】
【０１６９】
２  通信回線
１０（１０Ａ）  情報処理装置
１２  受付部
１４  推定部
１４Ａ  イメージ推定部
１４Ｂ  場所推定部
１４Ｃ  カラー推定部
１６  設定部
１８（１８Ａ）  出力部
２０  ユーザ端末
３０  商品情報ＤＢ
４０  コンピュータ
４１  ＣＰＵ
４２  ＲＯＭ
４３  ＲＡＭ
４４  不揮発性メモリ
４７  通信ユニット
４８  入力ユニット
４９  表示ユニット
１００（１００Ａ）  情報処理システム
Ｕi  商品スコア
ＵiC  カラースコア
ＵiR  場所スコア
ＵiS  イメージスコア
【図１】
2020087224.tif 000012
【図２】
2020087224.tif 000013
【図３】
2020087224.tif 000014
【図４】
2020087224.tif 000015
【図５】
2020087224.tif 000016
【図６】
2020087224.tif 000017
【図７】
2020087224.tif 000018
【図８】
2020087224.tif 000019
【図９】
2020087224.tif 000020