(57)【要約】【課題】検索したいキーワードが分からない場合でも、所望の画像を検索可能にする。【解決手段】制御部は、第１画面に複数の画像を表示し、ユーザから画像の選択を受け付けた場合に、選択された画像と、当該画像と対応関係を有する各単語との関連度に基づいて、候補単語を提示し、提示した候補単語について、ユーザから選択を受け付けた場合に、選択された候補単語と、当該候補単語が対応関係を有する各画像との関連度に基づいて、候補画像を抽出し、前記第１画面から前記第２画面に切り替える。【選択図】図７
2018081625.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像と、当該複数の画像それぞれに関連する複数の単語との対応関係を記憶する記憶部と、
前記複数の単語を分類するカテゴリにおける前記複数の単語それぞれの発生確率、及び前記画像における前記カテゴリの発生確率に基づいて、前記複数の単語間の類似度、及び前記複数の画像それぞれについて当該画像と対応関係を有する複数の単語それぞれとの関連度を計算する計算部と、
ユーザが検索対象とする所定の画像を特定する単語の候補となる候補単語を提示する第１画面、及び前記ユーザが検索対象とする画像の候補となる候補画像を提示する第２画面を切り替えて表示させる制御部と、
を備え、
前記制御部は、
前記第１画面に複数の画像を表示し、前記ユーザから画像の選択を受け付けた場合に、前記選択された画像と、当該画像と対応関係を有する各単語との関連度に基づいて、前記候補単語を提示し、提示した前記候補単語について、ユーザから選択を受け付けた場合に、選択された候補単語と、当該候補単語が対応関係を有する各画像との関連度に基づいて、前記候補画像を抽出し、前記第１画面から前記第２画面に切り替える、
情報処理装置。
【請求項２】
前記制御部は、
前記候補単語の選択を受け付けた場合に、選択された前記候補単語との類似度に基づいて、前記記憶部に記憶された複数の単語それぞれについて、前記選択された候補単語との関連度を示す単語関連度を算出し、前記単語関連度に基づいて前記複数の単語から関連単語を抽出して、前記第２画面に表示させる、
請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、
前記関連単語との関連度に基づいて、前記関連単語に関連付けて表示させる関連画像を抽出し、当該関連画像を前記第２画面に表示させる、
請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、
前記第１画面に候補単語を表示させる際に、前記第１画面においてユーザが選択した画像のうち、候補単語と対応関係を有する画像の数と、前記第１画面においてユーザが選択した画像と候補単語との関連度に基づいて、候補単語の重みを計算し、前記候補単語の重みに基づいて、前記候補単語の表示順、又は表示サイズを調整する、
請求項１〜３のいずれかに記載の情報処理装置。
【請求項５】
前記制御部は、
前記第２画面に前記候補画像を表示させる際に、重心ボロノイ分割を用いて候補単語同士の重なりを調整する、
請求項１〜４のいずれかに記載の情報処理装置。
【請求項６】
コンピュータが、
複数の画像と、当該複数の画像それぞれに関連する複数の単語との対応関係を記憶するステップと、
前記複数の単語を分類するカテゴリにおける前記複数の単語それぞれの発生確率、及び前記画像における前記カテゴリの発生確率に基づいて、前記複数の単語間の類似度、及び前記複数の画像それぞれについて当該画像と対応関係を有する複数の単語それぞれとの関連度を計算するステップと、
ユーザが検索対象とする所定の画像を特定する単語の候補となる候補単語を提示する第１画面、及び前記ユーザが検索対象とする画像の候補となる候補画像を提示する第２画面を切り替えて表示させるステップと、
を実行し、
前記表示させるステップは、
前記第１画面に複数の画像を表示し、前記ユーザから画像の選択を受け付けた場合に、前記選択された画像と、当該画像と対応関係を有する各単語との関連度に基づいて、前記候補単語を提示し、提示した前記候補単語について、ユーザから選択を受け付けた場合に、選択された候補単語と、当該候補単語が対応関係を有する各画像との関連度に基づいて、前記候補画像を抽出し、前記第１画面から前記第２画面に切り替えるステップを含む、
情報処理方法。
【請求項７】
コンピュータを、
複数の画像と、当該複数の画像それぞれに関連する複数の単語との対応関係を記憶する手段、
前記複数の単語を分類するカテゴリにおける前記複数の単語それぞれの発生確率、及び前記画像における前記カテゴリの発生確率に基づいて、前記複数の単語間の類似度、及び前記複数の画像それぞれについて当該画像と対応関係を有する複数の単語それぞれとの関連度を計算する手段、及び
ユーザが検索対象とする所定の画像を特定する単語の候補となる候補単語を提示する第１画面、及び前記ユーザが検索対象とする画像の候補となる候補画像を提示する第２画面を切り替えて表示させる手段、
として機能させ、
前記表示させる手段は、
前記第１画面に複数の画像を表示し、前記ユーザから画像の選択を受け付けた場合に、前記選択された画像と、当該画像と対応関係を有する各単語との関連度に基づいて、前記候補単語を提示し、提示した前記候補単語について、ユーザから選択を受け付けた場合に、選択された候補単語と、当該候補単語が対応関係を有する各画像との関連度に基づいて、前記候補画像を抽出し、前記第１画面から前記第２画面に切り替える、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラム等に関する。
【背景技術】
【０００２】
探索したい画像と関連性のあるキーワードを用いて、画像検索を行う技術が例えばインターネットショッピング等に用いられている。
【０００３】
例えば、特許文献１には、キーワードを用いて購入したい商品を検索するシステムについて開示されている。特許文献１に記載のシステムでは、まず、ユーザが購入を希望する製品のキーワードをユーザ端末に入力し、そのキーワードをもとに製品選択用データベースが保存する製品選択用の画像を検索する。このときシステム側では、検索された製品選択用の画像をもとに製品販売センタサーバは製品選択用画面を作成し、ユーザ端末に表示する。ユーザは、表示された製品選択用の画面から購入を希望する製品に類似する画像を選択し、選択された画像をもとにさらに製品データベースが保存する製品画像を検索する。検索された製品画像をもとに製品販売センタサーバは製品選択用画面を作成し、ユーザ端末に表示する。表示された、いくつかの製品画像から購入を希望する製品を選択して、購入手続きをした上で処理は終了する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−００７８０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される従来のシステムは、検索したい画像に対応するキーワードをユーザが知らない場合には、適切な検索を行うことができない。さらに、例えば色違いの製品等、外観は異なるが、同一のカテゴリに属する画像については検索することが困難である。
【０００６】
そこで、本発明は、検索したいキーワードが分からない場合でも、所望の画像を検索可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る情報処理装置は、複数の画像と、当該複数の画像それぞれに関連する複数の単語との対応関係を記憶する記憶部と、複数の単語を分類するカテゴリにおける複数の単語それぞれの発生確率、及び画像におけるカテゴリの発生確率に基づいて、複数の単語間の類似度、及び複数の画像それぞれについて当該画像と対応関係を有する複数の単語それぞれとの関連度を計算する計算部と、ユーザが検索対象とする所定の画像を特定する単語の候補となる候補単語を提示する第１画面、及びユーザが検索対象とする画像の候補となる候補画像を提示する第２画面を切り替えて表示させる制御部と、を備え、制御部は、第１画面に複数の画像を表示し、ユーザから画像の選択を受け付けた場合に、選択された画像と、当該画像と対応関係を有する各単語との関連度に基づいて、候補単語を提示し、提示した候補単語について、ユーザから選択を受け付けた場合に、選択された候補単語と、当該候補単語が対応関係を有する各画像との関連度に基づいて、候補画像を抽出し、第１画面から第２画面に切り替える。
【０００８】
なお、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、２つ以上の構成の機能が１つの物理的構成により実現されてもよい。
【発明の効果】
【０００９】
本発明によれば、検索したいキーワードが分からない場合でも、所望の画像を検索可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態における情報処理装置の一例を示すブロック図である。
【図２】本発明の一実施形態における単語発生確率テーブルの一例を示す図である。
【図３】本発明の一実施形態における単語の分類方法の一例を示す図である。
【図４】本発明の一実施形態における画像発生確率テーブルの一例を示す図である。
【図５】本発明の一実施形態における情報処理装置が提供する画面の一例を示す図である。
【図６】本発明の一実施形態における候補単語抽出部の処理を説明するための図である。
【図７】本発明の一実施形態における情報処理装置が提供する画面の一例を示す図である。
【図８】本発明の一実施形態における候補画像抽出部の処理を説明するための図である。
【図９】本発明の一実施形態における情報処理装置の処理フローを示すフローチャートである。
【図１０】本発明の一実施形態における情報処理装置の処理フローを示すフローチャートである。
【図１１】本発明の一実施形態における検索端末、表示端末及び情報処理装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
［実施形態］
以下、本発明の実施の形態の１つについて詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。また、以下においては、理解を容易にするべく、情報処理装置を利用して本発明が実現される実施の形態を例にとって説明するが、上述の如く、本発明はそれに限定されない。
【００１２】
＜１．システムの概要＞
図１は、本実施形態に係る情報処理装置１０の構成の一例を示している。情報処理装置１０は、画像の検索を行う機能を有している。本実施形態では、一例として、情報処理装置１０が、インターネットショッピング等に用いられる場合について説明する。この場合、情報処理装置１０は提供する商品の検索を行う機能をユーザに提供することができる。情報処理装置１０を用いることで、ユーザは、検索したい商品の画像と、商品に関連する単語（キーワード）との双方を検索することができる。
【００１３】
図１は、情報処理装置１０の機能ブロック図の一例である。図１を参照して本実施形態に係る情報処理装置１０の構成の一例について説明する。図１に示すように、情報処理装置１０は、画像−単語ＤＢ１２０と、パラメータＤＢ１３０と、制御部１００とを有している。
【００１４】
画像−単語ＤＢ１２０には、情報処理装置１０が管理するすべての商品の画像と、商品に関連する単語とが対応付けられて保存されている。１つの画像には、複数の単語が対応付けられていることが好ましい。また、複数の画像に共通する単語が対応付けられていてもよい。
【００１５】
パラメータＤＢ１３０には、単語発生確率テーブル１３１と、画像発生確率テーブル１３２と、単語間類似度テーブル１３３と、単語画像間関連度テーブル１３４とが記憶されている。
【００１６】
図２は単語発生確率テーブル１３１の一例を示す図である。図２に示すように単語発生確率テーブル１３１には、カテゴリ毎に、当該カテゴリに分類された単語とその発生確率とが対応付けられて記憶されている。カテゴリは、画像−単語ＤＢ１０１に保存されている全ての単語を分類したまとまりをいう。単語は、既存のトピックモデリング技法を用いて算出した発生確率を用いてカテゴリに分類される。具体的には、まず、各単語についてトピックモデリングによってカテゴリ毎の発生確率を算出する。次に、各カテゴリについて、当該カテゴリでの発生確率が高い単語を、すべての単語が何れかのカテゴリに分類されるまで、順番に一つずつ抽出していくことで、単語をカテゴリに分類する。なお、ある単語は、複数のカテゴリに重複されて含まれてもよい。
【００１７】
図３を用いて、上述の単語をカテゴリに分類する手法について、より詳細に説明する。この例では説明を容易にするため、３つの単語Ａ〜Ｃを３つのカテゴリ１〜３に分類する場合の例について説明する。図３（Ａ）は、単語Ａ〜Ｃそれぞれの、カテゴリ１〜３における発生確率を示す表である。図３（Ｂ）は、この場合における各カテゴリが単語を抽出する順番を示している。この例では、カテゴリ１から順番に単語を選んでいくものとして説明する。
【００１８】
まず１巡目では、カテゴリ１は、単語Ａ〜Ｃのうち、カテゴリ１における発生確率が最も高い単語Ａを抽出する。同様に、カテゴリ２は、カテゴリ２における発生確率が最も高い単語Ｃを抽出し、カテゴリ３は、カテゴリ３における発生確率が最も高い単語Ｃを抽出する。次に、２巡目では、カテゴリ１は、カテゴリ１における発生確率が２番目に高い単語Ｃを抽出する。同様に、カテゴリ２は、カテゴリ２における発生確率が２番目に高い単語Ａを抽出し、カテゴリ３は、カテゴリ３における発生確率が２番目に高い単語Ａを抽出する。さらに、３巡目において、カテゴリ１がカテゴリ１おける発生確率が３番目に高い単語Ｂを抽出すると、すべての単語がいずれかのカテゴリに含まれるようになるため、抽出処理が終了する。この結果、カテゴリ１には単語Ａ、Ｂ、Ｃが分類され、カテゴリ２には単語Ａ、Ｃが分類され、カテゴリ３には単語Ａ、Ｃが分類されることになる。
【００１９】
図４は画像発生確率テーブル１３２の一例を示す図である。図４に示すように画像発生確率テーブル１３２には、画像毎に、トピックモデリングによって算出した各カテゴリにおける発生確率が記憶されている。
【００２０】
図１に戻って情報処理装置１０の構成の続きを説明する。
単語間類似度テーブル１３３には、単語間の類似度が記憶されている。単語間の類似度は、同じカテゴリに属する程、高くなり、また、同じカテゴリに属する場合、当該カテゴリにおける単語の発生確率（ＰC）が高い程、高くなるように設定される。具体的には、単語Ｔｉ−Ｔｊ間の類似度ＳT（Ｔｉ，Ｔｊ）には、以下の式によって算出された値が設定される。なお、以下の式において、カテゴリＣ内における単語Ｔの発生確率をＰC（Ｔ，Ｃ）で示し、画像Ｉに対するカテゴリＣの発生確率をＰI（Ｃ，Ｉ）で示している。また、Ｘk（Ｔｉ，Ｔｊ）は指示関数であり、カテゴリＣに単語Ｔｉ，Ｔｊの両方が含まれる場合に１となり、それ以外の場合に０となる。
【数１】
2018081625.tif 000003
【００２１】
単語画像間関連度テーブル１３４には、画像と単語との関連度が記憶されている。ある画像Ｉｉとある単語Ｔｊとの関連度Ｒ（Ｉｉ，Ｔｊ）は、単語Ｔｊが含まれるカテゴリＣｋにおいて、単語Ｔｊにおける発生確率（Ｐｃ）が高い程高く、又、画像ＩｉにおけるカテゴリＣｋの発生確率（ＰI）が高い程高くなるように算出される。具体的には、以下の式によって算出される。
【数２】
2018081625.tif 000004
【００２２】
図１に示すように、制御部１００は、機能部として、計算部１１０と、候補単語抽出部１１１と、候補画像抽出部１１２と、関連項目抽出部１１３と、表示制御部１１４とを有している。
【００２３】
計算部１１０は、上述の式（１）、（２）を用いて、あらかじめ画像−単語ＤＢ１２０に登録されているすべての画像と単語について、類似度と関連度とを算出する。本実施形態では、計算部１１０は、前処理として、あらかじめ類似度と関連度を算出しておき、パラメータＤＢ１３０に登録しておく。これにより処理速度を向上させることができる。なお、計算部１１０は、画像や単語の検索が行われる都度計算する構成でもよい。
【００２４】
図５を参照して候補単語抽出部１１１の機能について説明する。図５は、本実施形態に係る情報処理装置１０が出力する候補単語提示画面の一例である。候補単語提示画面は、画像表示領域Ａ１と、検索領域Ａ２と、候補単語表示領域Ａ３とから構成される。画像表示領域Ａ１には、商品の画像が表示される。検索領域Ａ２には、商品を絞り込むためのキーワードとなる単語が表示される。さらに、候補単語表示領域Ａ３には、ユーザが画像表示領域Ａ１において選択した画像に基づいて候補単語抽出部１１１によって抽出された候補単語が表示される。
【００２５】
候補単語抽出部１１１は、ユーザが選択した商品の画像に基づいて、当該ユーザが検索したい商品に関連する単語である可能性が高い候補単語を抽出する。具体的には、候補単語抽出部１１１は、ユーザが選択した商品の画像Ｉｉ´（複数選択可）に紐づけられた各単語Ｔｊについて、以下の式（３）を用いて単語の重みＷTを計算する。なお、以下の式においてＮI（Ｔｊ）はユーザが選択した画像のうち、単語Ｔｊが紐づけられた画像の数を表している。
【数３】
2018081625.tif 000005
【００２６】
本実施形態においては、候補単語の表示サイズの関係上、候補単語抽出部１１１は、Ｗ（Ｔｊ）＜１となる単語Ｔｊについては除外して、候補単語提示画面における候補単語表示領域Ａ３に表示させる候補単語を抽出する。
【００２７】
図６を用いて候補単語抽出部１１１の処理についてより詳細に説明する。図６（Ａ）は、ユーザが選択した画像と当該画像に紐づけられた単語と、その関連度の対応表を示している。図６（Ｂ）は、この場合に候補単語抽出部１１１が上記の式（３）を用いて、ユーザに選択された画像に紐づく各単語について、重みを計算した結果を示している。例えば、単語「スカート」はユーザが選択した２つの画像の両方に紐づけられている。この場合、「スカート」には、ユーザが選択した画像のうち「スカート」が紐づけられている画像数「２」に、ユーザが選択した各画像における「スカート」との関連度（０．８、０．８）を加算した値（３．６）が重みとして設定される。他方で、単語「レザー」はユーザが選択した画像のうち１つの画像にしか紐づけられていない。この場合、「レザー」には、ユーザが選択した画像のうち「レザー」が紐づけられている画像数「１」に、ユーザが選択した各画像における「レザー」との関連度（０，０．５）を加算した値（１．５）が重みとして設定される。候補単語抽出部１１１は、図６（Ｂ）に示した重みの値が大きい順に単語を並び替えて、候補単語を抽出することができる。
【００２８】
次に、図７を用いて候補画像抽出部１１２、及び関連項目抽出部１１３の機能について説明する。図７は、本実施形態に係る情報処理装置１０が出力する関連項目提示画面の一例である。関連項目提示画面は、上述の候補単語提示画面において、提示された候補単語のうちいずれかの単語をユーザが選択した場合に表示される。関連項目提示画面は、検索領域Ａ２と、候補単語表示領域Ａ３と、候補画像表示領域Ｂ１と、関連項目表示領域Ｂ２とから構成される。候補画像表示領域Ｂ１には、ユーザが選択した候補単語に基づいて候補画像抽出部１１２によって抽出された候補画像が表示される。また、関連項目表示領域Ｂ２には、ユーザが選択した候補単語に基づいて関連項目抽出部１１３によって抽出された関連単語と関連画像とが表示される。
【００２９】
候補画像抽出部１１２は、ユーザが選択した候補単語に基づいて、当該ユーザが検索したい商品である可能性が高い候補画像を提示する。具体的には、候補画像抽出部１１２は、ユーザが選択した候補単語Tj（複数選択可）に紐づけられた各画像について、以下の式を用いて、画像の重みＷIを計算する。
【数４】
2018081625.tif 000006
【００３０】
候補画像抽出部１１２は、算出した重みの値に基づいて、ユーザが選択した単語に紐づけられた画像から表示させる候補画像を抽出する。例えば候補画像抽出部１１２は、重みの値が高い順に所定数の候補画像を抽出することができる。
【００３１】
図８を用いて候補画像抽出部１１２の処理について、より詳細に説明する。この例では、ユーザは「フレア」と「膝丈」の２つの候補単語を選択したとする。図８は、「フレア」か「膝丈」の少なくともいずれかが紐づけられた画像の一覧表を示している。図８において、１行目に示した画像は、「フレア」と「膝丈」との両方が紐づけられている。この場合、１行目の画像には、ユーザが選択した候補単語のうち当該画像と紐づけられている単語数「２」に各単語と当該画像との関連度（０．６，０．２）を加算した値である「２．８」が重みとして設定される。他方で２行目に示した画像には「フレア」は紐づけられているが「膝丈」は紐づけられていない。この場合、２行目の画像には、ユーザが選択した候補単語のうち当該画像と紐づけられている単語数「１」に各単語と当該画像との関連度（０．２，０）を加算した値である「１．２」が重みとして設定される。候補画像抽出部１１２は、重みの値が上位の画像を候補画像として所定数抽出することができる。
【００３２】
関連項目抽出部１１３は、ユーザが選択した候補単語に基づいて、当該候補単語と関連性の高い単語（関連単語）や画像（関連画像）を提示する。具体的には、関連項目抽出部１１３は、ユーザが選択した候補単語を除く全単語について、以下の式を用いて、ユーザに選択された単語との単語関連度ＲT（Ｔ）を算出する。
【数５】
2018081625.tif 000007
【００３３】
関連項目抽出部１１３は、算出した単語関連度に基づいて、ユーザが選択した候補単語と関連性の高い単語を抽出する。例えば関連項目抽出部１１３は、単語関連度が高い順に所定数の単語を関連単語として抽出することができる。
【００３４】
さらに関連項目抽出部１１３は、関連単語が紐づけられた画像それぞれについて、上述の式（２）によって設定された、関連単語との関連度Ｒ（Ｉ，Ｔ）に基づいて順位づけを行い、関連度Ｒ（Ｉ，Ｔ）が上位の画像を関連画像として抽出する。
【００３５】
表示制御部１１４は、候補単語提示画面（図５）及び関連項目提示画面（図７）において、単語や画像の表示位置を制御する。まず、候補単語提示画面（図５）における表示制御部１１４の機能について説明する。表示制御部１１４は候補単語抽出部１１１が抽出した候補単語を、候補単語表示領域Ａ３に表示させる。このとき表示制御部１１４は、候補単語抽出部１１１が算出した重みの値に基づいて、表示させる候補単語のサイズや表示順を制御することが好ましい。
【００３６】
また、表示制御部１１４は、検索領域Ａ２においてユーザが選択した単語に基づいて画像表示領域Ａ１に画像を表示させる。例えば表示制御部１１４は、ユーザが選択した単語と紐づけられた画像を、画像同士の類似度に基づいて画像表示領域Ａ１に表示させることができる。
【００３７】
さらに表示制御部１１４は、ユーザの操作に応じて、候補単語表示領域Ａ３に表示された候補単語と関連する画像を、画像表示領域Ａ１において強調表示することができる。具体的には表示制御部１１４は画像に印をつけたり枠で囲ったり、画像のサイズを変更することで強調表示を行うことができる。
【００３８】
このように候補単語提示画面（図５）において、ユーザは検索したい商品を、画像に基づいて検索することができる。このときユーザに選択された画像に応じて、検索したい商品を特定する単語の候補が表示されることによって、ユーザは商品を特定する単語を知らない場合でも適切に検索を行うことができる。
【００３９】
次に関連項目提示画面（図７）における表示制御部１１４の機能について説明する。表示制御部１１４は、候補画像抽出部１１２が抽出した候補画像を候補画像表示領域Ｂ１に表示する。このとき表示制御部１１４は、候補画像同士が重ならないように表示を制御する。具体的には表示制御部１１４は、まず候補画像表示領域Ｂ１に、候補単語提示画面（図５）においてユーザが選択した単語を配置する。例えば、表示制御部１１４は、ユーザが選択した単語を、正多角形の頂点に位置するように配置する。次に配置した単語の周囲に、当該単語との関連度に基づいて候補画像抽出部１１２が抽出した画像を配置する。表示制御部１１４は、画像同士が重なり合った場合には、既存の重心ボロノイ分割の技術を用いて、重なりを緩和することが好ましい。
【００４０】
さらに表示制御部１１４は、関連項目抽出部１１３が抽出した関連単語を関連項目表示領域Ｂ２に表示させ、関連単語の周辺に関連画像を表示させる。
【００４１】
なお、関連項目提示画面（図７）において関連項目表示領域Ｂ２に表示されている関連単語をユーザが選択する（例えば領域Ｂ１にドラッグアンドドロップする等）と、ユーザによって選択された単語に基づいて、候補画像抽出部１１２が候補画像表示領域Ｂ１に表示させる画像をさらに抽出し、表示制御部１１４が当該画像を表示させる。
【００４２】
また、候補画像表示領域Ｂ１に表示された候補画像をユーザが選択した場合には、再度、候補単語提示画面（図５）が表示される。このとき表示制御部１１４は、ユーザに選択された候補画像に類似する画像を、画像表示領域Ａ１に表示するように制御を行うことができる。
【００４３】
＜２．処理フロー＞
図９〜図１１を用いて、本実施形態に係る情報処理装置１０の処理フローについて説明する。図９は、候補単語を選択する処理の流れを示すフローチャートである。候補単語提示画面において、ユーザが画像を選択する（Ｓ１０１：ＹＥＳ）と、候補単語抽出部１１１は、選択された画像に紐づく各単語について、上述した式（３）を用いて重みを計算する（Ｓ１０２）。候補単語抽出部１１１は、計算した重みの値に基づいて、候補単語を抽出する。次に、表示制御部１１４が、重みの値に基づいて候補単語の表示サイズや表示順を制御して、候補単語表示領域Ａ３に表示させる（Ｓ１０３）。
【００４４】
図１０は、候補単語提示画面から関連項目提示画面へと画面が遷移する場合の処理の流れを示すフローチャートである。候補単語提示画面において、ユーザが候補単語を選択する（Ｓ２０１：ＹＥＳ）と、候補画像抽出部１１２は、ユーザに選択された候補単語が紐づけられた各画像について、上述の式（４）を用いて重みを計算する（Ｓ２０２）。ある画像の重みの値が表示可能範囲内であった場合（Ｓ２０３：ＹＥＳ）には、当該画像を候補画像として抽出する。次に、表示制御部１１４は、候補単語と候補画像との関連度に基づいて、候補画像の候補単語に対する初期位置を決定する（Ｓ２０４）。さらに、表示制御部１１４は、候補画像同士が重ならないように制御する（Ｓ２０５）。
【００４５】
他方で、候補単語提示画面において、ユーザが候補単語を選択した場合（Ｓ２０１：ＹＥＳ）、候補単語抽出部１１１の処理と並行して関連項目抽出部１１３は、ユーザに選択された候補単語との単語関連度を、当該ユーザに選択された候補単語以外の全ての単語について計算する（Ｓ３０２）。ある単語の単語関連度の順位が表示可能範囲内である場合（Ｓ３０３：ＹＥＳ）には、関連項目抽出部１１３は、その単語を関連単語として抽出する（Ｓ３０４）。次に関連項目抽出部１１３は、関連単語が紐づけられた各画像について、関連単語との関連度を参照し、各画像を関連単語との関連度に基づいて順位づける（Ｓ３０５）。ある画像の関連度の順位が表示可能範囲内である場合に、当該画像を関連項目抽出部１１３は、関連画像として抽出する（Ｓ３０７）。表示制御部１１４は、関連画像を関連単語の周辺に配置して（Ｓ３０８）、関連項目提示画面に切り替える（Ｓ３０９）。
【００４６】
このように、本実施形態に係る情報処理装置１０では、商品の検索を、単語に基づく検索と画像に基づく検索とに切り替えて行うことができる。さらにこのとき、選択された候補単語に基づいて、表示させる候補画像に重みづけを行うことができる。これによって、ユーザが所望の商品について適切なキーワードを知らない場合であっても、商品の画像を検索することができる。
【００４７】
＜３．ハードウェア構成＞
以下、図１１を参照しながら、上述してきた情報処理装置１０をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
【００４８】
図６に示すように、コンピュータ８００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力Ｉ／Ｆ部８０７、データＩ／Ｆ部８０９、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。
【００４９】
プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、情報処理装置１０の制御部１００などは、メモリ８０３に一時記憶された上で、主にプロセッサ８０１上で動作するプログラムとして実現可能である。
【００５０】
メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
【００５１】
記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置８０５は、画像―単語ＤＢ１２０や、パラメータＤＢ１３０等を記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。
【００５２】
入力Ｉ／Ｆ部８０７は、利用者またはユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。
【００５３】
データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。
【００５４】
通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。
【００５５】
表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介してコンピュータ８００に接続される。
【００５６】
以上説明した各実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。また、各実施形態は例示であり、異なる実施形態で示した構成の部分的な置換または組み合わせが可能であることは言うまでもなく、これらも本発明の特徴を含む限り本発明の範囲に包含される。
【符号の説明】
【００５７】
１０  情報処理装置
１００  制御部
１１０  計算部
１１１  候補単語抽出部
１１２  候補画像抽出部
１１３  関連項目抽出部
１１４  表示制御部
１３１  単語発生確率テーブル
１３２  画像発生確率テーブル
１３３  単語間類似度テーブル
１３４  単語画像間関連度テーブル
【図１】
2018081625.tif 000008
【図２】
2018081625.tif 000009
【図３】
2018081625.tif 000010
【図４】
2018081625.tif 000011
【図５】
2018081625.tif 000012
【図６】
2018081625.tif 000013
【図７】
2018081625.tif 000014
【図８】
2018081625.tif 000015
【図９】
2018081625.tif 000016
【図１０】
2018081625.tif 000017
【図１１】
2018081625.tif 000018