(57)【要約】【課題】商品が表されたメディアデータより、複数のメディアデータへのアクセス情報を用いて総合的に判定して商品情報を生成できる商品情報生成システム等を提供できる。【解決手段】商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶する記憶部と、一の端末装置から送信された商品メディアデータを受信する通信部と、受信された商品メディアデータの特徴を抽出する特徴抽出部と、抽出された特徴に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部から取得する類似メディア取得部と、取得された類似商品メディアデータの複数のアクセス情報をマージして、受信された商品メディアデータの商品を示す商品情報を生成する情報生成部と、を備える商品情報生成システム。【選択図】図２
2019075019.tif 000002
【特許請求の範囲】
【請求項１】
商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、前記商品メディアデータと関連付けて記憶する記憶部と、
一の端末装置から送信された商品メディアデータを受信する通信部と、
前記受信された商品メディアデータの特徴を抽出する特徴抽出部と、
前記抽出された特徴に基づいて、前記受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、該類似商品メディアデータに関連付けられたアクセス情報を前記記憶部から取得する類似メディア取得部と、
前記取得された類似商品メディアデータの複数のアクセス情報をマージして、前記受信された商品メディアデータの商品を示す商品情報を生成する情報生成部と、を備える
商品情報生成システム。
【請求項２】
前記記憶部は、前記類似商品メディアデータの商品情報を記憶し、
前記情報生成部は、前記商品情報と前記取得された類似商品メディアデータの商品情報をマージして、前記商品情報を更新すること、
を特徴とする請求項１に記載の商品情報生成システム。
【請求項３】
前記アクセス情報は、前記商品メディアデータへのアクセスのための検索履歴を示す検索ログ情報をさらに含み
前記情報生成部は、前記検索ログ情報に示された検索キーワードをマージして、前記受信された商品メディアデータの商品情報を生成すること、
を特徴とする請求項１又は２に記載の商品情報生成システム。
【請求項４】
前記アクセス情報は、前記商品メディアデータに関する前記端末の操作によるページの遷移履歴を示すページ遷移ログ情報をさらに含み、
前記ページ遷移ログ情報に基づいて、前記アクセス情報に対して、前記受信された商品メディアデータの商品情報の生成の際の生成優先度を評価する情報評価部と、を備え、
前記情報生成部は、前記生成優先度の高い前記アクセス情報を優先させて、前記受信された商品メディアデータの商品情報を生成すること
を特徴とする請求項１乃至３のいずれか１項に記載の商品情報生成システム。
【請求項５】
前記記憶部は、前記商品メディアデータに表される商品の購買履歴を示す購買履歴情報及び該購買履歴情報による重み付けのための重み値を記憶し、
前記情報評価部は、前記購買履歴情報の重み値に基づいて、前記購買履歴情報との相関度が所定の相関度以上となる前記アクセス情報の商品の購買に対する寄与の度合いを示す購買寄与度を評価し、
前記情報生成部は、前記購買寄与度の高い前記類似商品メディアデータのアクセス情報を優先させて、前記受信された商品メディアデータの商品情報を生成すること、
を特徴とする請求項１乃至４のいずれか１項に記載の商品情報生成システム。
【請求項６】
前記記憶部は、所定の期間における前記商品メディアデータ又は前記アクセス情報の少なくともいずれか一つの特徴量を学習データとして入力することにより構築したパターン認識のための類似メディア判定モデルを記憶し、
前記類似メディア取得部は、前記類似メディア判定モデルを用いて、前記メディアデータの特徴量に基づき、前記商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータを判定して取得し、
前記商品メディアデータ及び前記商品メディアデータの商品情報を出力する出力部と、
前記出力されたメディアデータの商品情報に対して、ユーザが、設定元の類似商品メディアデータのアクセス情報を採用するか否かの指定入力を受け付ける入力部と、
前記特徴抽出部は、受け付けた採用するか否かの指定入力の情報を学習データとして入力することにより前記類似メディア判定モデルをさらに構築すること、
を特徴とする請求項１乃至５のいずれか１項に記載の商品情報生成システム。
【請求項７】
コンピュータに、
商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、前記商品メディアデータと関連付けて記憶する記憶機能と、
一の端末装置から送信された商品メディアデータを受信する通信機能と、
前記受信された商品メディアデータの特徴を抽出する特徴抽出機能と、
前記抽出された特徴に基づいて、前記受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、該類似商品メディアデータに関連付けられたアクセス情報を前記記憶部から取得する類似メディア取得機能と、
前記取得された類似商品メディアデータの複数のアクセス情報をマージして、前記受信された商品メディアデータの商品を示す商品情報を生成する情報生成機能と、を実現させる
商品情報生成プログラム。
【請求項８】
コンピュータが、
商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、前記商品メディアデータと関連付けて記憶するステップと、
一の端末装置から送信された商品メディアデータを受信するステップと、
前記受信された商品メディアデータの特徴を抽出するステップと、
前記抽出された特徴に基づいて、前記受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、該類似商品メディアデータに関連付けられたアクセス情報を前記記憶部から取得するステップと、
前記取得された類似商品メディアデータの複数のアクセス情報をマージして、前記受信された商品メディアデータの商品を示す商品情報を生成するステップと、を含む
商品情報生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアデータへのアクセス情報を用いて商品情報の生成を行う商品情報生成システム、商品情報生成プログラム及び商品情報生成方法に関する。
【背景技術】
【０００２】
近年、メディアデータ（例えば、画像データ、動画像データ、音声データ等）に表された内容を、画像認識技術や音声認識技術を用いて、当該メディアデータが表している物体や動作を識別して、説明文を自動生成する技術が多数存在する。
【０００３】
当該認識技術において、物体等を直接認識するのではなく、入力されるメディアデータに類似するメディアデータに付帯する情報をマージ（統合）して説明文を生成するような技術を用いて認識するものがある（例えば、非特許文献１乃至３）。
【０００４】
また、特許文献１には、動画像データを他の類似する動画像データの中で特徴付けるためのタグを自動的に付与し、検索エンジンにより当該動画像データ、あるいは当該動画像データを含むＷｅｂページを効果的に抽出可能とする方法を提供するタグ付与方法が開示されている。当該タグ付与方法は、具体的には、動画像データに含まれる音声をテキストデータに変換し、テキストデータからキーワードを抽出し、所定の検索システムにおけるキーワードの重要度を算出し、算出した重要度が所定の条件を満たす場合に、キーワードを、動画像データのタグとして付与する。当該タグ付与方法は、このことにより、ユーザにとって馴染みの深いキーワードがタグ付けされることとなるため、動画像データが効果的に検索される可能性があるとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２６８９５号公報
【非特許文献】
【０００６】
【非特許文献１】“Image Captioning with Semantic Attention” 、［ｏｎｌｉｎｅ］、２０１７年９月１９日、［２０１７年９月１９日検索］、インターネット、＜ＵＲＬ：https://arxiv.org/abs/1603.03925＞
【非特許文献２】“Technical Report: Image Captioning with Semantically Similar Images” 、［ｏｎｌｉｎｅ］、２０１７年９月１９日、［２０１７年９月１９日検索］、インターネット、＜ＵＲＬ：https://arxiv.org/abs/1506.03995＞
【非特許文献３】“Automatic Description Generation from Images: A Survey of Models, Datasets, and Evaluation Measures” 、［ｏｎｌｉｎｅ］、２０１７年９月１９日、［２０１７年９月１９日検索］、インターネット、＜ＵＲＬ：https://arxiv.org/abs/1601.03896＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、インターネットオークションサービス等において、商品を表すメディアデータ（例えば、商品を撮影した画像や音楽を録音した音声ファイル等）を当該サービスサイトにアップするだけで、メディアデータに表された商品情報を自動設定させることで、商品説明のための入力操作を簡略化させたいというニーズが存在する。
【０００８】
（１）特許文献１に開示される従来技術においては、音声認識技術を用いて、動画像データの音声からテキストデータに変換して商品情報を生成すること、また、（２）非特許文献１乃至３に開示される従来技術においては、画像認識技術を用いて、類似するメディアデータの商品情報を用いて商品情報を生成することができるとも考えられる。
【０００９】
しかしながら、上記（１）の従来技術においては、音声認識技術を用いて正確にテキスト変換するのは高度な音声解析技術が必要であり、また、動画像データの音声からしか取得できず、さらに、動画像データにそもそも商品情報が表されているか否かは不確かである。さらに、動画像データの中に含まれるキーワード（例えば「馬」「黒い」「温泉」「レストラン」）を抽出して、次に、それらキーワード内において検索回数でランキング付けしており、動画像データと検索キーワード及び検索回数との結びつきは薄い。
【００１０】
また、上記（２）の従来技術においては、メディアデータに付与されている情報の表現や表記が様々であると、新しいメディアデータに対しての商品情報の設定がうまくいかない場合がある。具体的には、当該従来技術の方法は、類似画像に付与されている情報の表現に一貫性がない場合、例えば、馬の画像に対して、「動物」、「哺乳類」、「馬」、「ウマ」、「サラブレッド」、「白馬」といったような様々な説明が付けられていると、たとえそれが正しいものであっても一貫性がなければ、マージ（統合）することが難しい。また、当該従来技術の方法は、バックグラウンドの異なる人が付けた情報は、正しい情報が付与されていない場合もあれば、正しくても一貫性を確保しにくいため、統合することが難しい。
【００１１】
よって、上記（１）及び（２）の従来技術においては、上記ニーズに対して十分ではなかった。
【００１２】
そこで、本発明は、上記のような課題に鑑み、商品を表す商品メディアデータの商品情報を、類似する商品メディアデータへの複数のアクセス情報をマージして生成することができる、商品情報生成システム、商品情報生成プログラム及び商品情報生成方法を提供することである。
【課題を解決するための手段】
【００１３】
本発明に係る商品情報生成システムは、商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶する記憶部と、一の端末装置から送信された商品メディアデータを受信する通信部と、受信された商品メディアデータの特徴を抽出する特徴抽出部と、抽出された特徴に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部から取得する類似メディア取得部と、取得された類似商品メディアデータの複数のアクセス情報をマージして、受信された商品メディアデータの商品を示す商品情報を生成する情報生成部と、を備える。
【００１４】
本発明に係る商品情報生成プログラムは、コンピュータに、商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶する記憶機能と、一の端末装置から送信された商品メディアデータを受信する通信機能と、受信された商品メディアデータの特徴を抽出する特徴抽出機能と、抽出された特徴に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、該類似商品メディアデータに関連付けられたアクセス情報を記憶部から取得する類似メディア取得機能と、取得された類似商品メディアデータの複数のアクセス情報をマージして、受信された商品メディアデータの商品を示す商品情報を生成する情報生成機能と、を実現させる。
【００１５】
本発明に係る商品情報生成方法は、コンピュータが、商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶するステップと、一の端末装置から送信された商品メディアデータを受信するステップと、受信された商品メディアデータの特徴を抽出するステップと、抽出された特徴に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、該類似商品メディアデータに関連付けられたアクセス情報を記憶部から取得するステップと、取得された類似商品メディアデータの複数のアクセス情報をマージして、受信された商品メディアデータの商品を示す商品情報を生成するステップと、を含む商品情報生成方法。
【発明の効果】
【００１６】
本発明によれば、ユーザが商品メディアデータを送信するだけで、当該商品メディアデータに表された商品の情報を、類似する商品メディアデータへの複数のアクセス情報をマージして自動生成することができる。そのため、ユーザのアクセス情報に基づいて総合的に判定された商品情報の生成が可能な商品情報生成システム、商品情報生成プログラム及び商品情報生成方法を提供できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態１に係る商品情報生成システムのシステム構成例を示す図である。
【図２】本発明の実施形態１に係る商品情報生成システムの機能構成例を示す図である。
【図３】本発明の実施形態１に係る端末装置の表示部に表示される画面例を示す図である。
【図４】本発明の実施形態１に係る商品情報生成システムの概要を示す図である。
【図５】本発明の実施形態１に係る商品情報生成システムのデータフローを示す図である。
【図６】本発明の実施形態１に係る商品情報生成システムの動作例を示す図である。
【図７】本発明の実施形態１に係る商品情報生成システムの動作例を示す図である。
【図８】本発明の実施形態２に係る商品情報生成システムの機能構成例を示す図である。
【図９】本発明の実施形態３に係る商品情報生成システムの機能構成例を示す図である。
【図１０】本発明の実施形態１に係る商品情報生成システムの動作例を示す図である。
【発明を実施するための形態】
【００１８】
＜実施形態１＞
以下、図面を参照して本発明の実施形態１について説明する。実施形態１は、端末装置３００で撮影された商品画像や録音された音声ファイル等の商品メディアデータが、端末装置３００から情報処理装置２００へ送信され、情報処理装置２００で特徴抽出処理から商品情報の生成までが行われる。情報処理装置２００で生成された商品情報は、端末装置３００へ送信されて、端末装置３００で表示される。実施形態１の構成においては、情報処理装置２００（サーバ）側で特徴抽出処理から情報の生成処理までが行われる構成のため、端末装置３００（クライアント）側で備える機能が少なくて済み（予め、端末装置３００にダウンロード等されて記録された商品メディアデータを用いるのであれば、最低限、通信機能及び表示機能があれば実現できる）、端末装置３００側での処理負荷が低減できる。実施形態１は、また、端末装置３００が標準的に備える機能のみで実現できるため、簡易的に、端末装置３００を商品情報生成システムに追加できる構成でもある。
【００１９】
（システム構成）
図１は、本発明の実施形態１における商品情報生成システムのシステム構成例を示すシステム図である。
【００２０】
図１に示すように、商品情報生成システム１００は、情報処理装置２００、端末装置３００、ネットワーク４００（ＩＰネットワーク等）を含む。
【００２１】
情報処理装置２００は、ネットワーク４００を介して、端末装置３００と接続される。なお、図１において、説明を簡単にするために、情報処理装置２００は３台、端末装置３００は２台ずつ示してあるが、これ以下でもこれ以上存在してもよいことは言うまでもない。
【００２２】
情報処理装置２００は、データの取得、生成、更新等の演算処理及び加工処理のための処理能力のあるコンピュータ機器であればどの様な電子機器でもよく、例えば、パーソナルコンピュータ、サーバ、メインフレーム、その他電子機器であってもよい。
【００２３】
情報処理装置２００は、具体的には、プロセッサによって装置全体が制御されている処理装置であってもよい。当該プロセッサには、バスを介して、ＲＡＭ、ＲＯＭ及びハードディスクドライブ等の記憶装置（記憶部２３０）、入出力インタフェース、通信インタフェース（ＮＩＣ）等が接続されて構成されている。当該記憶装置は、制御部２１０における各種処理に必要となる各種処理データやプログラムを記憶する機能を有している。当該入出力インタフェースには、ディスプレイ、キーボード、マウス、外付け記憶媒体等の入出力装置が接続されている。当該通信インタフェースには、ネットワーク４００が接続されている。
【００２４】
また、情報処理装置２００は、商品情報生成システム１００専用のソフトウェアやハードウェア、ＯＳ等（例えば、オンプレミス型のサーバ構成）を設けずに、クラウドサーバによるＳａａＳ（Software as a Service）、Ｐａａｓ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）を適宜用いてもよい。
【００２５】
端末装置３００ａ、３００ｂは、商品情報生成システムを利用するユーザが保有する携帯端末等の電子機器であればよく、例えば、携帯端末、タブレット端末、スマートフォン、ウェアラブル端末、パーソナルコンピュータ等、その他端末機器であってもよい。なお、以下においては、特に区別の必要がない場合に、端末装置３００ａ、３００ｂを総称して、端末装置３００と記載する。
【００２６】
ネットワーク４００は、例えば、ＩＰネットワークである。ネットワーク４００は、ＩＰネットワークであれば、無線であっても有線であっても無線と有線の組み合わせであってもよく、例えば、無線による通信であれば、端末装置３００は、無線ＬＡＮアクセスポイント（不図示）にアクセスし、ＬＡＮやＷＡＮを介して情報処理装置２００と通信してもよい。また、ネットワーク４００は、これらの例に限られず、例えば、公衆交換電話網やブルートゥース（登録商標）（Bluetooth（登録商標））、光回線、ＡＤＳＬ回線、衛星通信網などであってもよい。
【００２７】
ここで、図３を用いて、本発明の実施形態１に係る商品情報生成システム１００の概要について説明する。図３は、本発明の実施形態１に係る端末装置３００の表示部３４１に表示される画面例を示す図である。図３の例においては、インターネットオークションサービス等の商取引サービスに商品情報生成システム１００を用いた例とする。
【００２８】
図３（ａ）に示すように、商品の出品等を希望するユーザが、出品対象の商品を、スマートフォン等の当該ユーザが保有する端末装置３００の撮影部３６０等のカメラ機能により撮影し、撮影した商品（本例においては、ベビーシューズ）が表された商品メディアデータである商品画像データを、商品情報生成システム１００が用いられているインターネットオークションサービスサイトやアプリに送信する（アップロードする）。
【００２９】
ここで「商品メディアデータ」とは、商品を表すメディアデータである。商品メディアデータとは、具体的には、商品を表す画像データ、動画像データ、音声データ、テキストデータ等をいう。商品を表す画像データや動画像データの一例として、インターネットオークションサービスにおいては、オークションへの出品対象の商品を撮影した静止画像データや動画像データ、商品を表す音声データの例として、出品対象の音楽や人や動物が発生した音声を録音した音声ファイル等が考えられる。
【００３０】
商品情報生成システム１００は、端末装置３００から送信された商品画像データを受信すると、当該受信した商品画像データの特徴を抽出し、当該抽出された特徴に基づいて、当該商品画像データとの類似度が所定の類似度以上となる類似商品画像データ（類似商品メディアデータ）を検索して、１以上の類似商品画像データ及び当該類似商品画像データのアクセス情報を取得する。また、商品情報生成システム１００は、取得された類似商品画像データの複数のアクセス情報をマージして、当該受信した商品画像データの商品情報を生成する。当該マージ処理については、後述の情報生成部２１４の機能において説明する。ここで、「所定の類似度」は、比較する二つのメディアデータの集合要素（例えば、画像であれば画素等）をどれだけ似ているか数量化したものに対して類似とみなすか否かの閾値を設定したものである。当該閾値の具体的な値については、商品情報生成システム１００を用いたサービス内容等に応じて、８０、９０％等適宜設定すればよい。
【００３１】
ここで「商品情報」とは、販売や出品対象の商品を示す情報である。商品情報は、具体的には、商品名、商品の説明文、商品の種類（カテゴリ）、サイズ、ブランド名、色、価格、重量等を含んで構成される。また、商品情報は、例えば、商品の型番、販売元、製造元、付属品、販売対象エリア、販売対象人物等を含んで構成されてもよい。
【００３２】
図３（ｂ）に示すように、商品情報生成システム１００は、表示した商品情報入力画面において、各入力フォームの初期値として、生成した商品画像データの商品情報を表示する。また、商品情報生成システム１００は、図３（ｂ）の上部中央に示すように、「この商品の情報を使いました！」というテキストメッセージと併せて、商品情報の設定元の類似商品画像データを表示してもよい。なお、図３の例では、類似商品画像データが一つ用いられる例を示しているが、上記のとおり、所定の類似度以上と判定されれば複数の類似商品画像データが用いられてもよい。
【００３３】
商品情報生成システム１００は、このような構成とすることで、類似商品画像データの複数のアクセス情報を総合的に用いて商品画像データに表された商品情報を生成し、当該商品情報を一から手入力せずとも、全て自動入力で、もしくは、一部編集入力で、当該商品情報の設定をすることができ、使い勝手のよい商取引サービスを提供することができる。
【００３４】
また、図３（ｂ）及び（ｃ）に示すように、商品情報生成システム１００は、表示された商品画像データの商品情報に対して、ユーザが、設定元の類似商品メディアデータのアクセス情報を採用するか否かの指定入力を受け付けるために、「こちらの商品にする」というテキストメッセージと併せて、次の設定元の候補となる類似商品メディアデータを表示してもよい。商品情報生成システム１００は、ユーザが当該次の設定元の候補をタップ操作等で指定入力した場合、図３（ｃ）に示すように、当該次の設定元の候補となる類似商品メディアデータに関連付けられたアクセス情報に基づいて、商品情報を新たに生成して、表示した商品情報入力画面において、各入力フォームの初期値を新たに生成した商品情報に入れ替えてもよい。このような構成によれば、各ユーザに合わせた商品情報の生成及び設定をすることができる。
【００３５】
（機能構成）
図２は、本発明の実施形態１における商品情報生成システム１００の機能構成例を示す図である。図２に示すように、商品情報生成システム１００は、情報処理装置２００と、端末装置３００とを含む。商品情報生成システム１００は、具体的には、商品を表す商品メディアデータへの、複数の端末からのアクセスに用いられたアクセス情報を、当該商品メディアデータと関連付けて記憶する記憶部２３０と、一の端末から送信された商品メディアデータを受信する通信部２２０と、受信された商品メディアデータの特徴を抽出する特徴抽出部２１１と、当該抽出された特徴に基づいて、当該受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部２３０から取得する類似メディア取得部２１２と、当該取得された類似商品メディアデータの複数のアクセス情報をマージして、当該受信された商品メディアデータの商品を示す商品情報を生成する情報生成部２１４と、を備える。なお、「類似商品メディアデータの複数のアクセス情報」とは、１以上の類似商品メディアデータの複数のアクセス情報をいい、類似商品メディアデータは一つであっても複数であってもよく、それに紐づくアクセス情報が複数存在している状態を示す。
【００３６】
上記のような構成によれば、商品情報生成システム１００は、類似商品メディアデータに当該メディアのオーナーやユーザのそれぞれが任意で付与した情報を用いるのではなく、当該メディアにアクセスしたユーザの行動に基づく商品情報の生成を行うことができる。また、商品情報生成システム１００は、一つのメディアに対して複数のユーザがアクセスする場合、それらのユーザがどういった経路で当該メディアに到達したかを利用することができる。具体的には、あるメディアを参照したユーザの検索ワードの多くが、「ワンピース」「青」というものであれば、当該メディアは青のワンピース商品を表すものである可能性が高いと判定することができる。仮に、メディアデータに付帯する商品情報に誤った情報が入っていて、当該誤った商品情報と紐づくアクセス情報が関連付いていたとしても、一見して誤りだと判る場合、そういったメディアが検索されても、ユーザにより参照されることが少ないため、参照回数等でそのようなアクセス情報ははじくことが可能である。
【００３７】
また、上記のような構成によれば、商品情報生成システム１００は、複数のアクセス情報をマージして商品情報を生成し、それを商品メディアデータが表す商品の情報として用いることで、ユーザが商品情報を手入力する手間を省きつつ、複数のアクセス情報をマージすることで総合的に判定された商品に関する情報を採用でき、使い勝手のよい商取引サービスを提供することができる。
【００３８】
（情報処理装置２００）
情報処理装置２００は、図２に示すように、制御部２１０、通信部２２０、記憶部２３０を含んで構成される。情報処理装置２００は、情報処理装置２００と、端末装置３００とを含む。情報処理装置２００は、具体的には、商品を表す商品メディアデータへの、複数の端末からのアクセスに用いられたアクセス情報を、当該商品メディアデータと関連付けて記憶する記憶部２３０と、一の端末から送信された商品メディアデータを受信する通信部２２０と、受信された商品メディアデータの特徴を抽出する特徴抽出部２１１と、当該抽出された特徴に基づいて、当該受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部２３０から取得する類似メディア取得部２１２と、当該取得された類似商品メディアデータの複数のアクセス情報をマージして、当該受信された商品メディアデータの商品を示す商品情報を生成する情報生成部２１４と、を備える。
【００３９】
制御部２１０は、特徴抽出部２１１、類似メディア取得部２１２、情報評価部２１３、情報生成部２１４を備え、情報処理装置２００の各機能部を制御する機能を有するプロセッサである。
【００４０】
制御部２１０は、一例として、端末装置３００又は情報処理装置２００の各機能部からの処理要求に基づいて、記憶部２３０に記憶されているメディアデータ、商品情報等の各種情報を参照、更新又は削除処理をし、当該処理結果を端末装置３００の出力部３４０において出力するための出力情報を生成してもよい。この場合、生成した出力情報は、通信部２２０及びネットワーク４００を介して端末装置３００に送信される。
【００４１】
特徴抽出部２１１は、記憶部２３０に記憶された各種データ、各種情報の特徴を抽出する機能を有する。特徴抽出部２１１は、具体的には、端末装置３００から送信され、通信部２２０で受信された商品メディアデータの特徴を抽出する。
【００４２】
特徴抽出部２１１は、具体的には、商品メディアデータから特徴量を算出する。特徴抽出部２１１は、例えば、機械学習（深層学習（例えば、畳み込みニューラルネットワーク（以降、「ＣＮＮ」という）等））を用いて商品メディアデータの特徴量を算出して、特徴を抽出してもよい。
【００４３】
また、特徴抽出部２１１は、機械学習の一例として、より具体的には、所定の期間における商品メディアデータ、商品メディアデータに関連付けられたアクセス情報、当該アクセス情報が商品情報の生成に採用されたか否かのデータ等の少なくともいずれか一つの特徴量を学習データとして入力することによりパターン認識のための類似メディア判定モデル（学習器）を構築してもよい。特徴抽出部２１１は、構築した類似メディア判定モデルを記憶部２３０に記憶する。特徴抽出部２１１は、構築した（学習された）類似メディア判定モデルを用いて特徴量を抽出してもよい。ここで、「所定の期間」とは、学習データとしてフィードバック情報を記憶部２３０等のストレージに蓄積する期間の閾値を設定すればよい。当該閾値は、当該ストレージの容量や構成等に応じて適宜設定すればよい。
【００４４】
特徴抽出部２１１は、より具体的には、深層学習を用いる方法においては、多層のニューラルネットワーク（階層型ニューラルネットワーク）を構成し、誤差逆伝搬法を用いて、ユーザが撮影した画像情報を入力し、入力層、中間層（２層以上の中間層を備える）において重み付けを行い、出力層で出力させてもよい。また、教師データとなる蓄積された商品メディアデータ、商品メディアデータの商品情報、当該商品メディアデータに関連付けられたアクセス情報の特徴量等の教師信号と出力層で出力との誤差に基づいて各層の重み付けを更新し学習して、パターン認識モデルとして、類似メディア判定モデルを構築してもよい。
【００４５】
また、特徴抽出部２１１は、機械学習の一例として、入力部３５０が受け付けた類似メディア判定モデルによって判定した類似商品メディアデータのアクセス情報を採用するか否かの指定入力の入力情報を学習データとして入力することにより類似メディア判定モデルをさらに構築してもよい。このような構成によれば、ユーザからの評価をフィードバックさせて類似メディア判定モデルを学習させることができるため、効率よく学習を図り、類似メディア判定モデルによる判定処理をより確実にすることができる。
【００４６】
特徴抽出部２１１は、別の一例として、商品メディアデータが画像データや動画像データの場合、深層学習によって抽出される特徴量以外の、ＨＯＧ（Histograms of Oriented Gradients)）、ＳＨＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）といった画像特徴量等を利用してもよい。また、特徴抽出部２１１は、別の一例として、音声データにおいても周波数特性に基づく特徴量抽出を行ってもよい。
【００４７】
さらに、特徴抽出部２１１は、後続の類似メディア取得部２１２での計算コスト削減とストレージ容量の削減のために、得られたメディアデータの特徴量の次元を圧縮してもよい。特徴抽出部２１１は、具体的には、主成分分析などで数千次元から数十次元へと特徴量を圧縮してもよい。
【００４８】
類似メディア取得部２１２は、記憶部２３０等に記憶されたメディアデータから、対象の商品メディアデータに１以上の類似する商品メディアデータ（以降、「類似商品メディアデータ」という）を取得する機能を有する。類似メディア取得部２１２は、具体的には、特徴抽出部２１１に抽出された特徴に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部２３０から取得する。なお、類似メディア取得部２１２は取得した類似商品メディアデータ、当該類似商品メディアデータに関連付けられたアクセス情報について、情報生成部２１４における後続のマージ処理、商品情報生成処理のパラメータ(引数)としては当該アクセス情報のみ伝達すればよい。
【００４９】
なお、各機能部間の各種情報及び各種データの伝達については、情報やデータそのものを送受信してもよいし、記憶部２３０等に記憶された情報やデータの所在や識別子のみ送受信してもよい。
【００５０】
ここで「アクセス情報」とは、複数の端末からアクセスに用いられた情報をいう。アクセス情報は、具体的には、（１）インターネットやアプリケーション内における商品メディアデータへのアクセスのための検索履歴を示す検索ログ情報、（２）商品メディアデータに関する端末装置３００等の端末操作によるページの遷移履歴（画面単位の遷移履歴も含む）を示すページ遷移ログ情報、（３）商品メディアデータへのアクセスのための画面部品へのアクセス操作履歴を示すアクセス操作ログ情報等を含んで構成される。
【００５１】
また、類似メディア取得部２１２は、記憶部２３０等に記憶された類似メディア判定モデルを用いて、商品メディアデータの特徴量に基づき、商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータを判定して取得してもよい。
【００５２】
情報評価部２１３は、各種データ及び各種情報を評価する機能を有する。情報評価部２１３は、具体的には、ページ遷移ログ情報に基づいて、商品メディアデータに関連付けられたアクセス情報に対して、商品メディアデータの商品情報の生成の際の生成優先度を評価してもよい。
【００５３】
ここで「生成優先度」とは、商品メディアデータに関連付けられた複数のアクセス情報の中で、商品情報を生成する際の優先度をいう。生成優先度は、度合いが示されればどのような値を用いてもよく、段階別（例えば、５段階評価や〇△×評価）やパーセンテージ等を適宜用いればよい。
【００５４】
情報評価部２１３は、より具体的には、一例として、ページ遷移ログ情報に遷移前のページに戻った履歴が所定数より多く示されていた場合、ユーザが当該商品メディアデータは所望の商品ではなかったため、遷移前に戻った可能性が高いとして、商品メディアデータの商品情報の生成の際の生成優先度を標準値より低く評価してもよい。
【００５５】
情報評価部２１３は、より具体的には、別の一例として、ページ遷移ログ情報に対象商品を購入するための購入ページに遷移した履歴が所定数より多く示されていた場合、ユーザが当該商品メディアデータは所望の商品であったため、購入のページに進んだ可能性が高いとして、商品メディアデータの商品情報の生成の際の生成優先度を標準値より高く評価してもよい。
【００５６】
また、情報評価部２１３は、購買履歴情報の重み値に基づいて、購買履歴情報との相関度が所定の相関度以上となる商品メディアデータに関連付けられたアクセス情報の商品の購買に対する寄与の度合いを示す購買寄与度を評価してもよい。ここで、「所定の相関度」は、購買履歴情報と商品メディアデータの関連性が高い、低い等の判定をするための閾値を設定すればよい。
【００５７】
ここで、「購買履歴情報」とは、商品メディアデータに表される商品の購買履歴を示す情報である。購買履歴情報は、具体的には、購買した日時、購買した商品の商品情報（例えば、商品名、サイズ等）、購買したユーザ名（ユーザ識別子）等を含んで構成される。また、「購買履歴情報の重み値」とは、ユーザが商品メディアデータにアクセスした結果、商品を実際購入したか否か等によって重み付けをした値である。
【００５８】
ここで、「購買寄与度」とは、各アクセス情報の商品購買に対する寄与の度合いである。購買寄与度は、言い換えれば、各アクセス情報がどれだけ商品の購入に繋がるような商品情報の生成に貢献できるかの期待値をいう。購買寄与度は、具例えば、購買履歴情報と各アクセス情報の相関度であってもよい。購買寄与度は、別の一例として、各アクセス情報に含まれる項目（例えば、検索回数、タップ回数）を説明変数とし、各アクセス情報が商品情報の生成にあたって採用された回数、又は、当該採用された上で商品情報の生成、設定された商品が購入された回数を目的変数として、回帰分析等を用いて求めた決定係数であってもよい。
【００５９】
情報生成部２１４は、各種情報を生成する機能を有する。情報生成部２１４は、具体的には、取得された類似商品メディアデータの複数のアクセス情報をマージして、商品メディアデータの商品を示す商品情報を生成する。
【００６０】
ここで、情報生成部２１４のマージ処理について、図４を用いて説明する。図４は、本発明の実施形態１に係る商品情報生成システム１００の概要を示す図である。ここで「マージ処理」とは、複数のアクセス情報又は商品情報を、融合、併合、合併、混合、結合等の統合する処理を総じていう。マージ処理は、具体的には、複数のファイルやデータを所定の規則（例えば、単純／内部／外部結合等）、に従って、複数のアクセス情報又は商品情報を合わせて一つの商品情報を生成する処理をいう。当該商品情報のマージ処理においては、商品画像データ等の商品メディアデータ自体は利用しないで、商品メディアデータに付帯する情報が用いられるため、メディアデータの高度な解析技術を用いずに商品情報を生成できる。図４の例においては、図の略中央の二つの靴の商品画像データのうち左側が、ユーザが端末装置３００から送信した商品メディアデータとして、当該商品メディアデータの商品情報８００、当該ユーザの個人情報７０１が関連付けられている。一方、右側が、類似度８０％とした類似商品メディアデータとして、当該類似商品メディアデータの商品の購入ユーザの個人情報７０２、当該類似商品メディアデータのアクセス情報７０３、当該類似商品メディアデータの商品情報７０４が関連付けられている。
【００６１】
ここで「個人情報」とは、ユーザの個人に係る情報である。個人情報は、例えば、ユーザの氏名、ユーザのグレード、過去の出品回数、「いいね！」数等の高評価の回数、購入履歴、出品履歴、住所、電話番号等を含んで構成される。
【００６２】
情報生成部２１４は、図４に示すように、端末装置３００からのアクセスに用いられたアクセス情報７０３として、（１）検索ログ情報（例えば、検索キーワード、検索（参照）回数、検索日時等）、（２）アクセス操作ログ情報（例えば、画面部品（ボタン等）の指定回数（タップ回数）や遷移順等）、（３）ページ遷移ログ情報（例えば、対象商品表示画面の遷移前、遷移後の画面及びページの表示履歴情報等）を用いて、これらの各種情報を同一種類の情報（例えば、（１）と（１）の情報）をマージしてもよいし、異なる種類の情報（例えば、（１）と（３）の情報）をマージしてもよい。また、図４の例では、類似商品を一つ示しているが、情報生成部２１４は、所定の類似度以上の複数の類似商品メディアデータのアクセス情報７０３をマージしてもよい。
【００６３】
情報生成部２１４は、マージ処理の一例として、検索ログ情報に示された検索キーワードをマージして、商品メディアデータの商品情報を生成してもよい。情報生成部２１４は、例えば、商品メディアデータに関連付けられた検索ログ情報のうち、検索頻度（所定期間における検索回数）の高い順から上位の検索キーワードを抽出することで、統合してもよい。情報生成部２１４は、図４に示すように、（）内の数値を検索頻度とした場合、当該検索頻度の高い（（）内の数値の高い）順から上位の「ベビーシューズ」及び「新品」といった検索キーワードを抽出して、商品メディアデータの商品情報８００の「商品名」や「カテゴリ」に入力することで商品情報８００を生成してもよい。このような構成によれば、複数のユーザの商品検索に関する行動に基づいて、商品情報を生成できるため、総合的、かつ、定量的に判定して、より信頼できる商品情報を生成することができる。
【００６４】
情報生成部２１４は、マージ処理の別の一例として、指定頻度の高い順から上位のカテゴリ（例えば、ベビーシューズ＞ファーストシューズ＞スニーカー）を抽出することで統合してもよい。
【００６５】
また、情報生成部２１４は、マージ処理の別の一例として、生成優先度の高いアクセス情報を優先させて、商品メディアデータの商品情報を生成してもよい。情報生成部２１４は、例えば、図４に示すように、アクセス情報７０３のページ遷移ログ情報の「「購入手続き」ボタンのタップ回数：ｙ１回」に基づいて、検索ログ情報の「ベビーシューズ」及び「新品」といった検索キーワードに対して、商品メディアデータの商品情報の生成の際の生成優先度を評価して、ｙ１回が例えば所定の回数以上であれば、優先度を高く設定して、他のユーザのアクセス情報より優先させて、商品メディアデータの商品情報８００の「商品名」や「カテゴリ」に入力させてもよい。このような構成によれば、ユーザのページ遷移に関する行動に基づいて、検索ログ情報等のアクセス情報を定量的、また、画一的に評価して、商品情報をより信頼できるものにすることができる。ここで、所定の回数は、ｙ１回に対して購入手続きに進むためにタップされたか否かを判定するための閾値（例えば、「１」等）を設定すればよい。
【００６６】
情報生成部２１４は、マージ処理の一例として、生成した商品情報と類似メディア取得部２１２に取得された類似商品メディアデータの商品情報をマージして、商品情報を更新してもよい。情報生成部２１４は、例えば、図４に示すように、類似商品メディアデータの商品情報７０４に示された、商品名等の各項目と、類似商品メディアデータに関連付けられたアクセス情報から生成された商品情報を突合させて、一致した場合は、そのままとし、一致しなかった場合は、類似商品メディアデータの商品情報７０４の方で上書き更新してもよい。また、その逆でもよい。情報生成部２１４は、例えば、アクセス情報から生成されたカテゴリは「ベビーシューズ」で、一方、商品情報７０４のカテゴリは「スニーカー」であった場合は、商品メディアデータの商品情報８００のカテゴリは、「スニーカー」で上書き更新してもよい。このような構成によれば、類似商品メディアデータのアクセス情報だけでなく、類似商品メディアデータの商品情報も合わせて総合的に判定することができ、より信頼のできる商品情報を生成することができる。
【００６７】
また、情報生成部２１４は、マージ処理の別の一例として、購買寄与度の高い類似商品メディアデータのアクセス情報を優先させて、商品メディアデータの商品情報を生成してもよい。情報生成部２１４は、図４に示すように、例えば、ユーザの個人情報７０２のうち、ユーザの購入履歴として「ベビーシューズ  １３ｃｍ」と購入した実績があった場合、購買履歴情報の重み値を付けて、情報評価部２１３で購買寄与度を高く評価し、当該購買履歴情報と所定の相関度以上の相関性のある検索ログ情報の検索キーワードの「ベビーシューズ」を他の検索ログ情報より優先させて、商品情報８００に入力させてもよい。このような構成によれば、実際に商品の購買に貢献したアクセス情報を優先させて商品情報を生成することができるため、より効果的に商品情報を生成することができる。
【００６８】
また、情報生成部２１４は、マージ処理の別の一例として、アクセス操作ログ情報に基づいて、商品メディアデータの商品情報に、類似商品メディアデータのアクセス履歴に示されたアクセス操作されたカテゴリを設定してもよい。情報生成部２１４は、例えば、類似商品メディアデータの商品情報のうち、カテゴリにリンクを貼り、当該リンクをタップ操作すると、当該カテゴリに関する商品を検索できる実装をしていた場合、当該タップ操作したカテゴリを商品情報のカテゴリとして設定してもよい。このような構成によれば、ユーザが類似商品メディアデータの商品に対して、所望するカテゴリを選択した行動に基づいて商品情報を設定することができるため、より効果的に商品情報を設定することができる。
【００６９】
また、情報生成部２１４は、マージ処理の別の一例として、商品情報のうち、商品メディアデータ同士の類似度が高いものでも判別しづらい情報を、例えば、ユーザの個人情報７０１等の他の情報から入力してもよい。情報生成部２１４は、例えば、商品の画像データから判別しづらい商品のサイズについて、類似商品メディアデータに関連付けられたアクセス情報や商品情報からでなく、ユーザの個人情報７０１の出品履歴から入力して商品情報を生成してもよい。このような構成によれば、多面的に商品を捉えることができるため、より信頼できる商品情報を生成することができる。
【００７０】
情報生成部２１４は、マージ処理の別の一例として、複数の類似商品メディアデータの商品情報の価格を統合してもよい。当該統合にあたっては、例えば、複数の商品情報の価格の平均値を算出して採用することで統合してもよい。
【００７１】
通信部２２０は、制御部２１０の制御によって、ネットワーク４００を介して端末装置３００又は他の情報処理装置２００との通信を実行する機能を有する。当該通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。通信部２２０は、具体的には、端末装置３００へ類似商品メディアデータに関する情報や生成した商品情報を送信したり、端末装置３００から商品メディアデータを受信したりしてもよい。
【００７２】
記憶部２３０は、制御部２１０の制御によって、情報処理装置２００が演算及び加工処理する際に必要な各種プログラム、データ、パラメータ等を記憶する機能を有する。記憶部２３０は、具体的には、例えば、商品メディアデータ、商品メディアデータに関連付けられたアクセス情報、商品情報、購買履歴情報（購買履歴情報による重み値含む）、出力情報、入力情報、類似メディア判定モデル、個人情報等を記憶する。記憶部２３０は、具体的には、データベースシステムを用いてもファイルシステムを用いてもよい。また、記憶部２３０は、例えば、ＲＯＭ及びＲＡＭで構成される主記憶装置、不揮発性メモリ等で構成される補助記憶装置、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等各種の記録媒体によって構成される。
【００７３】
（端末装置３００）
端末装置３００は、図２に示すように、制御部３１０、通信部３２０、記憶部３３０、出力部３４０、入力部３５０、撮影部３６０を含んで構成される。
【００７４】
制御部３１０は、端末装置３００の各機能部を制御する機能を有するプロセッサである。
【００７５】
記憶部３３０は、制御部３１０の制御によって、端末装置３００が動作する際に必要な各種プログラム、データ、パラメータ等を記憶する機能を有する。記憶部３３０は、具体的には、例えば、商品メディアデータ、商品メディアデータに関連付けられたアクセス情報、商品情報、購買履歴情報（購買履歴情報による重み値含む）、出力情報（生成した商品情報等を含む）、入力情報（商品情報の採用不採用の指定入力を受け付けた情報等を含む）、類似メディア判定モデル等を記憶する。記憶部３３０は、具体的には、例えば、ＲＯＭ及びＲＡＭで構成される主記憶装置、不揮発性メモリ等で構成される補助記憶装置、ＨＤＤ、ＳＳＤ、フラッシュメモリ等各種の記録媒体によって構成される。
【００７６】
出力部３４０は、表示部３４１、音声出力部３４２を備え、制御部３１０の制御によって、端末装置３００に各種情報を出力する機能を有する。出力部３４０は、具体的には、商品メディアデータ及び商品メディアデータの商品情報を出力する。
【００７７】
表示部３４１は、撮影ガイド情報等の各種情報を出力する機能を有する。具体的には、例えば、ＬＣＤ（Liquid Crystal Display）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等を用いればよい。表示部３４１は、制御部３１０の制御によって、情報処理装置２００からネットワーク４００を介して送信された商品メディアデータの商品情報等を表示する機能を有する。表示部３４１の表示画面（撮影部３６０のカメラ等のファインダー画面に表示されるものも含む）は、例えば、ＨＴＭＬ（Hyper Text Markup Language）などのマークアップ言語や、ビットマップデータあるいは圧縮処理された画像データなど、端末装置３００で画面表示可能な一般的なデータ形式で生成されればよい。
【００７８】
音声出力部３４２は、制御部３１０の制御によって、音声出力する機能を有する。音声出力部３４２は、具体的には、例えば、内臓スピーカーによって実現し、直接音声を出力してもよいし、ヘッドフォン又はイヤフォンを接続して有線又は無線で音声信号を外部媒体に出力してもよい。
【００７９】
入力部３５０は、操作入力部３５１、音声入力部３５２を備え、制御部３１０の制御によって、端末装置３００に各種情報の入力を受け付ける機能を有する。入力部３５０は、制御部３１０の制御によって、受け付けた入力内容を示す入力情報を生成し、各機能部に伝達する。入力部３５０は、具体的には、出力されたメディアデータの商品情報に対して、ユーザが、設定元の類似商品メディアデータのアクセス情報を採用するか否かの指定入力を受け付けてもよい。
【００８０】
操作入力部３５１は、制御部３１０の制御によって、ユーザからの操作入力を受け付ける機能を有する。操作入力部３５１は、具体的には、タッチパネル等のソフトキーあるいはハードキーにより実現される。
【００８１】
操作入力部３５１は、具体的には、例えば、制御部３１０の制御によって、カテゴリ情報の選択入力を受け付けたり、撮影部３６０に対する撮影実行操作の入力を受け付けたりしてもよい。操作入力部３５１は、具体的には、表示部３４１で各種入力フォームの設定元の候補となる類似商品メディアデータの商品情報をドロップダウンリスト表示して、リスト選択等で入力を受け付けてもよいし、表示部３４１に表示される該当する商品メディアデータをタップ操作することで指定入力を受け付けてもよい。
【００８２】
音声入力部３５２は、制御部３１０の制御によって、ユーザからの音声を入力し受け付ける機能を有する。音声入力部３５２は、具体的には、端末装置３００に取り付けられたマイク等により実現される。音声入力部３５２は、具体的には、例えば、制御部３１０の制御によって、音声での商品のカテゴリの選択入力を受け付けたり、音声での撮影部３６０に対する撮影実行操作の入力を受け付けたりしてもよい。
【００８３】
撮影部３６０は、制御部３１０の制御によって、端末装置３００に備えつけられたレンズから出品対象の商品等を撮影する機能を有する。撮影部３６０は、例えば、携帯端末のカメラであってもよい。
【００８４】
（データフローの例）
図５は、本発明の実施形態１に係る商品情報生成システム１００のデータフローの例を示すデータフロー図である。
【００８５】
図５に示すように、特徴抽出部２１１は、メディアデータが記憶されている記憶部２３０としてデータベースシステム又はファイルシステム（以降、「ＤＢ／Ｆｉｌｅ」という）から、（１）既存のメディアデータを入力して、当該商品メディアデータの特徴を抽出する。特徴抽出部２１１は、（２）当該抽出した特徴量を出力して、メディアデータ特徴量ＤＢ／Ｆｉｌｅに記憶する。特徴抽出部２１１は、（３）通信部２２０が受信した新規メディアデータを入力して、当該メディアデータの特徴を抽出する。特徴抽出部２１１は、当該抽出した特徴量を出力する。類似メディア取得部２１２は、（４）新規メディアデータの特徴量、及び、（５）既存のメディアデータの特徴量を入力して、類似判定モデルを用いて類似メディアデータを判定し、当該類似メディアデータの識別子を取得する。類似メディア取得部２１２は、当該取得した類似メディアデータの識別子を情報生成部２１４に出力する。
【００８６】
図５に示すように、情報生成部２１４は、類似メディアデータの識別子を入力して、アクセス情報ＤＢ／Ｆｉｌｅから、（７）当該類似メディアデータに関連付けられたアクセス情報を当該識別子で検索して入力する。また、情報生成部２１４は、商品情報ＤＢ／Ｆｉｌｅから、（８）当該類似メディアデータに関連付けられた商品情報を当該識別子で検索して入力する。情報生成部２１４は、入力したアクセス情報、商品情報をマージして、商品情報を生成する。情報生成部２１４は、生成した商品情報を新規メディアデータの商品情報として出力する。
【００８７】
（動作例）
図６、図７及び図１０を用いて、本発明の実施形態１に係る商品情報生成システム１００の動作例を説明する。図６及び図７は、本発明の実施形態１に係る商品情報生成システム１００の動作例を示すフローチャートである。図１０は、本発明の実施形態１に係る商品情報生成システム１００の動作例を示すシーケンス図である。
【００８８】
図６は、商品情報生成システム１００の商品情報生成処理の前段階の処理（プリプロセッシング）の一例を示すフローチャートである。
【００８９】
図６（ａ）に示すように、特徴抽出部２１１は、記憶部２３０から商品メディアデータを取り出す（Ｓ１０）。特徴抽出部２１１は、取り出した商品メディアデータから特徴を抽出する（Ｓ１１）。特徴抽出部２１１は、抽出した特徴量を記憶部２３０に保存する（Ｓ１２）。
【００９０】
図６（ｂ）に示すように、情報生成部２１４は、記憶部２３０から商品メディアデータに関連付けられた複数のアクセス情報を取り出す（Ｓ１３）。情報生成部２１４は、取り出した複数のアクセス情報をマージする（Ｓ１４）。情報生成部２１４は、マージした情報（マージ情報）を記憶部２３０に保存する（Ｓ１５）。
【００９１】
図７は、商品情報生成システム１００の商品情報生成処理の一例を示すフローチャートである。
【００９２】
図７に示すように、通信部２２０は、一の端末装置３００から送信された商品メディアデータを受信する（Ｓ２０）。通信部２２０は、受信した商品メディアデータを特徴抽出部２１１に伝達する。
【００９３】
特徴抽出部２１１は、伝達された商品メディアデータの特徴を抽出する（Ｓ２１）。特徴抽出部２１１は、抽出した特徴量を類似メディア取得部２１２に伝達する。
【００９４】
類似メディア取得部２１２は、伝達された特徴量に基づいて、受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報のマージ情報を記憶部２３０から取得する（Ｓ２２）。類似メディア取得部２１２は、取得した類似商品メディアデータ及びマージ情報を情報生成部２１４に伝達する。なお、別の一例として、類似メディア取得部２１２は、当該類似商品メディアデータに関連付けられた複数のアクセス情報を記憶部２３０から取得してもよいが、本例では、図６（ｂ）に示したように、前段階処理で既にアクセス情報はマージされており、当該マージ情報を取得するものとする。
【００９５】
情報生成部２１４は、伝達されたマージ情報に基づいて、受信された商品メディアデータの商品情報を生成する（Ｓ２３）。情報生成部２１４は、さらに伝達された類似商品メディアデータの商品情報を利用する場合は（Ｓ２４のＹＥＳ）、生成された商品情報と類似商品メディアデータの商品情報をマージして、受信された商品メディアデータの商品情報を更新する（Ｓ２５）。
【００９６】
図１０は、商品情報生成システム１００の商品情報生成処理の一例を示すシーケンス図である。
【００９７】
図１０に示すように、端末装置３００は、ユーザからの商品メディアデータの指定入力を受け付ける（Ｓ３０）。端末装置３００は、具体的には、表示部３５１に表示されている商品販売ページ等に商品を表す画像データ等の商品メディアデータのアップロードを受け付けることで当該指定入力を受け付けてもよいし、「商品情報を入力する」といったようなテキスト表示がされたボタン押下を受け付けることで当該指定入力を受け付けてもよい。
【００９８】
端末装置３００は、当該指定された商品メディアデータを情報処理装置２００に送信する（Ｓ３１）。
【００９９】
情報処理装置２００は、端末装置３００から送信された商品メディアデータを受信する（Ｓ３２）。
【０１００】
情報処理装置２００は、当該受信した商品メディアデータの特徴を抽出する（Ｓ３３）。
【０１０１】
情報処理装置２００は、当該抽出された特徴に基づいて、当該受信された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部２３０から取得する（Ｓ３４）。
【０１０２】
情報処理装置２００は、当該取得された類似商品メディアデータの複数のアクセス情報をマージして、当該受信された商品メディアデータの商品を示す商品情報を生成する（Ｓ３５）。
【０１０３】
情報処理装置２００は、当該生成された商品情報を含む出力情報を端末装置３００に送信する（Ｓ３７）。なお、情報処理装置２００は、当該出力情報に類似商品メディアデータに関する情報も含めてもよい。
【０１０４】
端末装置３００は、情報処理装置２００から送信された出力情報を受信する（Ｓ３８）。
【０１０５】
端末装置３００は、当該受信した出力情報に含まれた商品情報を表示する（Ｓ３９）。端末装置３００は、具体的には、端末装置３００に表示された商品情報の入力画面において、各入力フォームに初期値として当該受信した商品情報を表示してもよい。
【０１０６】
端末装置３００は、ユーザからの当該表示された商品情報に対して採用するか否か等の指定入力を受け付ける（Ｓ４０）。端末装置３００は、例えば、（１）入力画面の各入力フォームに表示された初期値に対して編集されたか否かの指定、編集された場合の編集の程度（初期値との差分）、（２）図３（ｂ）、（ｃ）に示すように入力フォームに用いられた類似商品に対して採用するか否かの指定等を受け付けることで、当該商品情報に対して採用するか否かの指定入力を受け付けてもよい。
【０１０７】
端末装置３００は、当該受け付けた入力内容を示す入力情報を生成し、当該入力情報を情報処理装置２００に送信する（Ｓ４１）。
【０１０８】
情報処理装置２００は、当該送信された入力情報を受信する（Ｓ４２）。
【０１０９】
情報処理装置２００は、当該受信した入力情報をメディア判定モデルの学習データとしてフィードバックさせて、当該メディア判定モデルを再構築させる（機械学習させる）（Ｓ４３）。
【０１１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【０１１１】
＜実施形態２＞
以下、図面を参照して本発明の一実施形態である実施形態２について説明する。実施形態２は、端末装置３００で撮影された画像や録音された音声等の商品メディアデータに対して特徴抽出を行い、当該抽出した特徴量等を情報処理装置２００に送信し、情報処理装置２００側で受信し、記憶部２３０に記憶されている類似商品メディアデータを取得し、商品情報の生成まで行い、当該生成した商品情報を端末装置３００で表示させるために送信を行う形態である。実施形態２の構成においては、情報処理装置２００と端末装置３００間の通信において商品メディアデータそのものを送信する必要がなく、端末装置３００側で抽出した特徴量等を送信すればよいため、通信負荷を低減できる構成である。以下、実施形態１と異なる点のみ説明する。
【０１１２】
（機能構成）
図８は、本発明の実施形態２における商品情報生成システム１００の機能構成例を示す図である。図８に示すように、商品情報生成システム１００は、情報処理装置２００ユーザが保有する端末装置３００と、端末装置３００とネットワーク４００で接続された情報処理装置２００とを含む。
【０１１３】
図８に示すように、情報処理装置２００は、商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶する記憶部２３０と、一の端末装置から送信された商品メディアデータから抽出された特徴量データを受信する通信部２２０と、受信された特徴量に基づき、商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部から取得する類似メディア取得部２１２と、取得された類似商品メディアデータの複数のアクセス情報をマージして、受信された商品メディアデータの商品を示す商品情報を生成する情報生成部２１４と、を備える。
【０１１４】
また、図８に示すように、端末装置３００は、商品メディアデータの指定入力を受け付ける入力部３５０と、当該指定された商品メディアデータの特徴量を抽出する特徴抽出部３１１と、当該抽出された特徴量を情報処理装置に送信する通信部３２０と、を備える。
【０１１５】
端末装置３００は、図８に示すように、制御部３１０、通信部３２０、記憶部３３０、出力部３４０、入力部３５０、撮影部３６０を含んで構成される。制御部３１０を除き、各機能部の機能については、実施形態１と同じである。
【０１１６】
制御部３１０は、特徴抽出部３１１を備える。特徴抽出部３１１の機能は、実施形態１に係るサーバ装置２００の特徴抽出部２１１と同様である。
【０１１７】
その他、本発明の実施形態２に係るシステム構成、画面例、動作例は実施形態１と同様である。
【０１１８】
＜実施形態３＞
以下、図面を参照して本発明の一実施形態である実施形態３について説明する。実施形態３は、端末装置３００で撮影された画像や録音された音声等の商品メディアデータに対して特徴抽出から商品情報の生成まで行い、当該生成した商品情報の表示を行う形態である。実施形態３の構成においては、端末装置３００のみで実現できる構成である。以下、実施形態１と異なる点のみ説明する。
【０１１９】
（機能構成）
図９は、本発明の実施形態３における商品情報生成システム１００の機能構成例を示す図である。図９に示すように、商品情報生成システム１００は、情報処理装置２００ユーザに関連付けられた端末装置３００を含む。
【０１２０】
図９に示すように、端末装置３００は、商品を表す商品メディアデータへの、複数の端末装置からのアクセスに用いられたアクセス情報を、商品メディアデータと関連付けて記憶する記憶部３３０と、商品情報の生成を行う商品メディアデータの指定入力を受け付ける入力部３５０と、入力部３５０で指定された商品メディアデータの特徴を抽出する特徴抽出部３１１と、当該抽出された特徴に基づいて、記憶された商品メディアデータとの類似度が所定の類似度以上となる類似商品メディアデータ、及び、当該類似商品メディアデータに関連付けられたアクセス情報を記憶部２３０から取得する類似メディア取得部３１２と、当該取得された類似商品メディアデータの複数のアクセス情報をマージして、記憶された商品メディアデータの商品を示す商品情報を生成する情報生成部３１４と、を備える。
【０１２１】
端末装置３００は、図９に示すように、制御部３１０、通信部３２０、記憶部３３０、出力部３４０、入力部３５０、撮影部３６０を含んで構成される。制御部３１０及び入力部３５０を除き、各機能部の機能については、実施形態１と同じである。
【０１２２】
制御部３１０は、特徴抽出部３１１、類似メディア取得部３１２、情報評価部３１３、情報生成部３１４を備え、端末装置３００の各機能部を制御する機能を有するプロセッサである。各機能部の機能は、実施形態１に係るサーバ装置２００の各機能部と同様である。
【０１２３】
入力部３５０は、操作入力部３５１、音声入力部３５２を備え、制御部３１０の制御によって、端末装置３００に各種情報の入力を受け付ける機能を有する。入力部３５０は、具体的には、出力された商品メディアデータに対して、商品情報の生成（設定）を行うかの指定入力を受け付けてもよい。
【０１２４】
その他、本発明の実施形態３に係るシステム構成については、ネットワーク４００を介して複数の端末装置３００が接続される構成である。その他、画面例、動作例は実施形態１と同様である。
【０１２５】
情報処理装置２００及び端末装置３００の各機能部は、集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよいし、ＣＰＵ（Central Processing Unit）及びメモリを用いてソフトウェアによって実現してもよい。また、各機能部は、１又は複数の集積回路により実現されてよく、複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。なお、ここで「回路」は、コンピュータによるデジタル処理、すなわち、ソフトウェアによる機能的処理としての意味合いを含んでもよい。また、当該回路は、再構築可能な回路（例えば、ＦＰＧＡ：Field Programmable Gate Array）により実現されてもよい。
【０１２６】
情報処理装置２００及び端末装置３００の各機能部をソフトウェアにより実現する場合、情報処理装置２００及び端末装置３００は、各機能を実現するソフトウェアである商品情報生成プログラムの命令を実行するＣＰＵ、上記商品情報生成プログラム及び各種データがコンピュータ（又はＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）又は記憶装置（これらを「記録媒体」と称する）、上記商品情報生成プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（又はＣＰＵ）が上記商品情報生成プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記商品情報生成プログラムは、当該商品情報生成プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本発明は、上記商品情報生成プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１２７】
なお、上記商品情報生成プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。
【符号の説明】
【０１２８】
１００  商品情報生成システム
２００  情報処理装置
２１０  制御部
２１１  特徴抽出部
２１２  類似メディア取得部
２１３  情報評価部
２１４  情報生成部
２２０  通信部
２３０  記憶部
３００  端末装置
３１０  制御部
３１１  特徴抽出部
３１２  類似メディア取得部
３１３  情報評価部
３１４  情報生成部
３２０  通信部
３３０  記憶部
３４０  出力部
３４１  表示部
３４２  音声出力部
３５０  入力部
３５１  操作入力部
３５２  音声入力部
３６０  撮影部
４００  ネットワーク
【図１】
2019075019.tif 000003
【図２】
2019075019.tif 000004
【図３】
2019075019.tif 000005
【図４】
2019075019.tif 000006
【図５】
2019075019.tif 000007
【図６】
2019075019.tif 000008
【図７】
2019075019.tif 000009
【図８】
2019075019.tif 000010
【図９】
2019075019.tif 000011
【図１０】
2019075019.tif 000012
【手続補正書】
【提出日】平成30年8月1日(2018.8.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００８−２６８９８５号公報