(57)【要約】【課題】  イメージ検索装置及びその方法を提供する。【解決手段】  同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得する段階と、獲得した参照特徴ベクトルに基づいて訓練された生成モデルから同一属性に対応する代表特徴ベクトルを獲得する段階と、データベースに保存されたターゲットイメージの特徴ベクトルと、代表特徴ベクトルとを比較し、ターゲットイメージのうち少なくとも一部のターゲットイメージに同一属性に対応する属性タグを割り当てる段階と、を含むことを特徴とする一実施形態によるイメージ検索方法である。【選択図】      図２
2020119566.tif 000002
【特許請求の範囲】
【請求項１】
イメージ検索装置によるイメージ検索方法において、
同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得する段階と、
前記獲得した参照特徴ベクトルに基づいて訓練された生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得する段階と、
データベースに保存されたターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てる段階と、を含むことを特徴とするイメージ検索方法。
【請求項２】
前記イメージ検索方法は、
ユーザ端末から属性の選択を受ける段階と、
前記ターゲットイメージのうち、前記選択を受けた属性に対応する属性タグが割り当てられたターゲットイメージを決定する段階と、
前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
【請求項３】
前記イメージ検索方法は、
ユーザ端末から属性の選択を受ける段階と、
前記選択された属性に対応する代表特徴ベクトルと、前記データベースに保存されたターゲットイメージの特徴ベクトルと、を比較する段階と、
前記ターゲットイメージのうち、前記比較結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
【請求項４】
前記比較する段階は、
前記ユーザ端末が選択した属性に対応する代表特徴ベクトルが、従属モデルから出力される参照特徴ベクトルに基づいて訓練された前記生成モデルから出力されたものである場合、前記選択された属性に対応する代表特徴ベクトルと、前記従属モデルから出力された前記ターゲットイメージの特徴ベクトルと、を比較し、
前記ユーザ端末が選択した属性に対応する代表特徴ベクトルが、独立モデルから出力される参照特徴ベクトルに基づいて訓練された前記生成モデルから出力されたものである場合、前記選択された属性に対応する代表特徴ベクトルと、前記独立モデルから出力された前記ターゲットイメージの特徴ベクトルと、を比較する段階を含むことを特徴とする請求項３に記載のイメージ検索方法。
【請求項５】
前記イメージ検索方法は、
ユーザ端末から検索イメージを受信する段階と、
前記検索イメージの属性別特徴ベクトルを獲得する段階と、
前記属性別特徴ベクトルのうち、前記ユーザ端末が選択した属性の特徴ベクトルを、前記ユーザ端末が選択した属性に対応する代表特徴ベクトルに変更する段階と、
前記代表特徴ベクトルを含む属性別特徴ベクトルと、前記データベースに保存されたターゲットイメージの属性別特徴ベクトルと、を比較する段階と、
前記データベースに保存されたターゲットイメージのうち、前記比較結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含むことを特徴とする請求項１に記載のイメージ検索方法。
【請求項６】
前記比較する段階は、
前記代表特徴ベクトルを含む属性別特徴ベクトルと、前記ターゲットイメージの属性別特徴ベクトルと、を同一カテゴリーの属性同士比較し、属性別ディスタンスを獲得する段階と、
前記獲得した属性別ディスタンスの大きさを組み合わせた結果により、前記データベースに保存されたターゲットイメージのうち、前記ユーザ端末に伝送するターゲットイメージを選択する段階と、を含むことを特徴とする請求項５に記載のイメージ検索方法。
【請求項７】
前記イメージ検索方法は、
ユーザ端末から複数のオブジェクトを含む検索イメージを受信する段階と、
前記検索イメージに含まれた複数のオブジェクトそれぞれの属性別特徴ベクトルを含む特徴ベクトルシーケンスを獲得する段階と、
前記複数のオブジェクトのうち、前記ユーザ端末からオブジェクトの選択を受ける段階と、
前記選択されたオブジェクトの属性別特徴ベクトルのうち、前記ユーザ端末が選択した属性の特徴ベクトルを、前記ユーザ端末が選択した属性に対応する代表特徴ベクトルに変更する段階と、
前記代表特徴ベクトルを含む特徴ベクトルシーケンスと、前記データベースに保存されたターゲットイメージの特徴ベクトルシーケンスと、を比較する段階と、
前記データベースに保存されたターゲットイメージのうち、前記比較結果に基づいて選択されたターゲットイメージを、前記ユーザ端末に伝送する段階と、をさらに含むことを特徴とする請求項１に記載のイメージ検索方法。
【請求項８】
前記選択されたターゲットイメージを、前記ユーザ端末に伝送する段階は、
前記選択されたターゲットイメージそれぞれに含まれた複数のオブジェクトのうち、前記ユーザ端末が選択したオブジェクトに対応する部分イメージを、前記検索イメージに合成する段階と、
前記部分イメージが合成された検索イメージを、検索結果として、前記ユーザ端末に伝送する段階と、を含むことを特徴とする請求項７に記載のイメージ検索方法。
【請求項９】
イメージ検索装置によるイメージ検索方法において、
ユーザ端末から複数の検索イメージを受信する段階と、
前記複数の検索イメージに対応する特徴ベクトルを獲得する段階と、
前記獲得した特徴ベクトルでもって生成モデルを訓練させる段階と、
前記特徴ベクトルでもって訓練された前記生成モデルから出力される代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルと、を比較し、前記複数の検索イメージに対応するターゲットイメージを決定する段階と、
前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含むことを特徴とするイメージ検索方法。
【請求項１０】
前記生成モデルは、
複数のＦＣＬ（fully  connected  layer）を含むＧＡＮ（generative  adversarial  network）を含むことを特徴とする請求項１または９に記載のイメージ検索方法。
【請求項１１】
請求項１ないし１０のうちいずれか１項に記載のイメージ検索方法を装置のコンピュータに実行させるコンピュータプログラム。
【請求項１２】
プロセッサと、
少なくとも１つのプログラム、及び生成モデルを保存するメモリと、
ターゲットイメージを保存するデータベースと、を含むが、
前記プロセッサは、前記少なくとも１つのプログラムが実行されることにより、
同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得し、
前記獲得した参照特徴ベクトルに基づいて訓練された前記生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得し、
前記ターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てることを特徴とするイメージ検索装置。
【請求項１３】
ユーザ端末装置によるイメージ検索方法において、
イメージ検索装置に接続して属性を選択する段階と、
前記イメージ検索装置に保存されたターゲットイメージのうち、前記選択した属性に対応する属性タグが割り当てられたターゲットイメージを、前記イメージ検索装置から受信する段階と、を含むが、
前記イメージ検索装置に保存されたターゲットイメージは、
複数の属性それぞれに対応する代表特徴ベクトルと、前記ターゲットイメージの特徴ベクトルとの比較結果に基づいて、前記複数の属性に対応する複数の属性タグのうち少なくとも一部の属性タグが割り当てられたことを特徴とするイメージ検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検索の技術分野に関し、さらに具体的には、イメージに基づく検索装置及びその方法に関する。
【背景技術】
【０００２】
情報通信技術の発達と共に、スマートフォン、個人用コンピュータのような多様な端末を利用した情報検索が幅広く利用されている。従来は、ユーザが入力したテキストを基に文書などを検索して提供していたが、最近は、写真や絵のようなイメージを検索する場合が増加している。
【０００３】
衣類や風景のようなイメージをテキストだけで検索することは、容易ではない。例えば、ユーザが自分が所望するスタイルの衣類を検索する場合、テキスト検索では、適切なイメージを見い出し難い場合がある。
【０００４】
最近では、ユーザからテキストではない検索イメージが入力され、検索イメージと類似したイメージを検索するサービスも試みられているが、そのためには、データベースに保存された多くのイメージに対して、一つ一つ手動的にタグを割り当てなければならないという困難さが伴う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】韓国登録特許第１０−１７６８５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の一実施形態によるイメージ検索装置及びその方法は、データベースに保存されたイメージに対する属性タグの割り当てを簡便に行うことができるようにすることを技術的課題とする。
【０００７】
また、一実施形態によるイメージ検索装置及びその方法は、代表特徴ベクトルを利用し、ユーザが所望する種類のイメージを、さらに正確に検索することができるようにすることを技術的課題とする。
【課題を解決するための手段】
【０００８】
一実施形態によるイメージ検索方法は、同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得する段階と、前記獲得した参照特徴ベクトルに基づいて訓練された生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得する段階と、データベースに保存されたターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てる段階と、を含んでもよい。
【０００９】
一実施形態によるイメージ検索方法は、ユーザ端末から複数の検索イメージを受信する段階と、前記複数の検索イメージに対応する特徴ベクトルを獲得する段階と、前記獲得した特徴ベクトルでもって生成モデルを訓練させる段階と、前記特徴ベクトルでもって訓練された前記生成モデルから出力される代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルとを比較し、前記複数の検索イメージに対応するターゲットイメージを決める段階と、前記決定されたターゲットイメージを、前記ユーザ端末に伝送する段階と、を含んでもよい。
【００１０】
一実施形態によるイメージ検索装置は、プロセッサと、少なくとも１つのプログラム、及び生成モデルを保存するメモリと、ターゲットイメージを保存するデータベースと、を含むが、前記プロセッサは、前記少なくとも１つのプログラムが実行されることにより、同一属性を含む複数の参照イメージに対応する参照特徴ベクトルを獲得し、前記獲得した参照特徴ベクトルに基づいて訓練された前記生成モデルから、前記同一属性に対応する代表特徴ベクトルを獲得し、前記ターゲットイメージの特徴ベクトルと、前記代表特徴ベクトルとを比較し、前記ターゲットイメージのうち少なくとも一部のターゲットイメージに、前記同一属性に対応する属性タグを割り当てることができる。
【００１１】
他の実施形態によるイメージ検索方法は、イメージ検索装置に接続して属性を選択する段階と、前記イメージ検索装置に保存されたターゲットイメージのうち、前記選択した属性に対応する属性タグが割り当てられたターゲットイメージを、前記イメージ検索装置から受信する段階と、を含むが、前記イメージ検索装置に保存されたターゲットイメージは、複数の属性それぞれに対応する代表特徴ベクトルと、前記ターゲットイメージの特徴ベクトルとの比較結果に基づいて、前記複数の属性に対応する複数の属性タグのうち少なくとも一部の属性タグが割り当てられる。
【発明の効果】
【００１２】
本発明の一実施形態によるイメージ検索装置及びその方法は、データベースに保存されたイメージに対する属性タグの割り当てを簡便に行うことができる。
【００１３】
また、本発明の一実施形態によるイメージ検索装置及びその方法は、代表特徴ベクトルを利用し、ユーザが所望する種類のイメージをさらに正確に検索するようにできる。
【００１４】
ただし、本発明の一実施形態によるイメージ検索装置及びその方法が達成することができる効果は、前述のところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野で当業者に明確に理解されるであろう。
【図面の簡単な説明】
【００１５】
【図１】一実施形態によるイメージ検索装置及びユーザ端末を図示する図面である。
【図２】一実施形態による属性タグの割り当て方法について説明するためのフローチャートである。
【図３】生成モデルから代表特徴ベクトルを獲得する方法について説明するための図面である。
【図４】ターゲットイメージに対する属性タグの割り当て方法について説明するための例示的な図面である。
【図５】ユーザが属性を選択することができるようにするＵＩ（user  interface）画面を図示する図面である。
【図６】一実施形態によるイメージ検索方法について説明するためのフローチャートである。
【図７】他の実施形態によるイメージ検索方法について説明するためのフローチャートである。
【図８】検索イメージから抽出される属性別特徴ベクトルを示す図面である。
【図９】検索イメージの属性別特徴ベクトルのうち少なくとも一つを、代表特徴ベクトルに交換する方法について説明するための図面である。
【図１０】検索イメージの属性別特徴ベクトルと、ターゲットイメージの属性別特徴ベクトルと、を比較する方法について説明するための図面である。
【図１１】複数のオブジェクトを含む検索イメージを図示する例示的な図面である。
【図１２】図１１に図示された検索イメージの特徴ベクトルシーケンスのうち少なくとも一つを、代表特徴ベクトルに交換する方法について説明するための図面である。
【図１３】図１１に図示された検索イメージに対応する検索結果イメージを図示する例示的な図面である。
【図１４】一実施形態によるイメージ検索装置の構成を図示するブロック図である。
【発明を実施するための形態】
【００１６】
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それを詳細な説明を介して説明する。しかし、それは、本開示を特定の実施形態について限定するものではなく、本開示の思想及び技術範囲に含まれる全ての変更、均等物あるいは代替物を含むものであると理解されなければならない。
【００１７】
本実施形態についての説明において、関連公知技術についての具体的な説明が要旨を必要以上に不明確にすると判断される場合、その詳細な説明を省略する。また、本実施形態の説明過程において利用される数あるいは序数（例えば、第１、第２など）は、１つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
【００１８】
また、本明細書において、一構成要素が他の構成要素と「連結されている」としたり「接続されている」としたりして言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、あるいは直接接続されてもいるが、特に反対となる記載が存在しない以上、中間に他の構成要素を媒介させて連結されるか、あるいは接続されもすると理解されなければならないのである。
【００１９】
また、本明細書において、「〜部（ユニット）」、「モジュール」と表現される構成要素は、２個以上の構成要素が１つの構成要素に合わされるか、あるいは１つの構成要素がさらに細分化された機能別に２個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する株機能以外にも、他の構成要素が担当する機能のうち一部または全部をさらに遂行することもでき、構成要素それぞれが担当する主機能のうち一部機能が他の構成要素によって専担されても遂行されるということは言うまでもない。
【００２０】
以下、本開示の技術的思想による実施形態について順に詳細に説明する。
【００２１】
図１は、一実施形態によるイメージ検索装置１００及びユーザ端末１０を図示する図面である。
【００２２】
ユーザ端末１０は、イメージ検索装置１００に、検索条件（例えば、検索イメージ、属性など）を選択または入力して伝送し、イメージ検索装置１００は、検索条件に対応する検索結果イメージを、ユーザ端末１０に伝送する。一実施形態において、イメージ検索装置１００は、検索条件に対応する検索結果イメージを決定するためのターゲットイメージをデータベースに保存することができる。イメージ検索装置１００は、ターゲットイメージのうち検索条件に対応するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。
【００２３】
ユーザ端末１０は、ネットワークを介して、イメージ検索装置１００に接続することができるデスクトップＰＣ（personal  computer）、タブレット、スマートフォン、ノート型パソコンなどを含んでもよいが、それらに限定されるものではない。
【００２４】
一実施形態において、イメージ検索装置１００及びユーザ端末１０は、ネットワークを介して互いに連結され、互いにデータを送受信することができる。ここで、該ネットワークは、有線ネットワークと無線ネットワークとを含んでもよく、具体的には、近距離ネットワーク（ＬＡＮ：local  area  network）、都市圏ネットワーク（ＭＡＮ：metropolitan  area  network）、広域ネットワーク（ＷＡＮ：wide  area  network）のような多様なネットワークを含んでもよい。また、ネットワーク１０は、公知のワールドワイドウェブ（ＷＷＷ：worldwide  web）を含んでもよい。しかし、本発明によるネットワーク１０は、前記列挙されたネットワークに限られるものではなく、公知の無線データネットワークや公知の電話ネットワーク、公知の有無線テレビネットワークを少なくとも一部として含んでもよい。
【００２５】
一実施形態によるイメージ検索装置１００は、あらかじめ保存されたターゲットイメージに対して属性タグを割り当てることができる。本明細書において、「属性」とは、イメージに含まれたオブジェクトの特徴を意味する。前記属性は、カテゴリー別に区分される。例えば、ある衣類は、色相カテゴリーに属した赤色の属性、柄カテゴリーに属した縞模様属性、形状カテゴリーに属したワンピース属性を有することができる。また、本明細書において、「属性タグ」とは、イメージ内オブジェクトの特徴を示すためにイメージに割り当てられた情報を意味する。例えば、ある衣類の属性タグは、当該衣類の色相が赤色であり、柄は、縞模様で、形状は、ワンピースであるということ示すことができる。
【００２６】
イメージ検索装置１００が、ターゲットイメージに対して属性タグを割り当てる方法について、図２を参照して説明する。
【００２７】
図２は、一実施形態による属性タグの割り当て方法について説明するためのフローチャートである。
【００２８】
Ｓ２１０段階において、イメージ検索装置１００は、同一属性を有しているか、あるいは同一属性タグが割り当てられた複数の参照イメージに対応する参照特徴ベクトルを獲得する。一実施形態において、管理者は、複数の参照イメージに対して、同一属性タグを割り当てることができる。例えば、複数の参照イメージに対して、「赤色」、「串柄」または「女性に人気ある衣類」のような同一属性タグが割り当てられる。
【００２９】
複数の参照イメージに対応する参照特徴ベクトルは、マシンラーニングモデルによって出力されたものであってもよい。前記マシンラーニングモデルは、例えば、ＣＮＮ（convolutional  neural  network）を含んでもよい。また、該参照特徴ベクトルは、Ｎ（Ｎは、１以上の整数である）次元のデータであってもよい。一実施形態において、複数の参照イメージに対応する参照特徴ベクトルは、マシンラーニングモデルによって出力された後、後処理（post  processing）を介して生成されたものでもある。後処理は、例えば、マシンラーニングモデルから出力された特徴ベクトルに含まれた複数の元素をサイズ基準で整列した後、上位ｋ個の要素の特徴ベクトル内での位置を示すインデックスを獲得し、獲得したインデックスを要素として有するインデックス特徴ベクトルを、参照特徴ベクトルとして生成する処理を含んでもよい。
【００３０】
Ｓ２２０段階において、イメージ検索装置１００は、複数の参照イメージに対応する参照特徴ベクトルに基づいて訓練された生成モデルから、同一属性ないし同一属性タグに対応する代表特徴ベクトルを獲得する。該生成モデルは、複数の参照イメージの参照特徴ベクトルに基づいて訓練されることにより、参照特徴ベクトルと類似した代表特徴ベクトルを生成することができる。一実施形態において、生成モデルは、敵対的生成ネットワーク（ＧＡＮ：generative  adversarial  network）を含んでもよい。
【００３１】
図３を参照すれば、生成モデル３００は、参照イメージ３１０ａ，３１０ｂ，３１０ｃに対応する参照特徴ベクトル３２０ａ，３２０ｂ，３２０ｃによって訓練された後、例えば、ランダムノイズを入力データとして入力し、参照特徴ベクトル３２０ａ，３２０ｂ，３２０ｃと類似した代表特徴ベクトルを生成することができる。一実施形態において、生成モデル３００に該当するＧＡＮは，複数のＦＣＬ（fully  connected  layer）からなる。ＦＣＬとは、それぞれのレイヤが少なくとも１つのノードで構成されるが、あるレイヤの各ノードが、以前レイヤ及び次のレイヤに含まれた全てのノード全部と個別的に連結されたネットワーク構造である。該ＧＡＮは、イメージではない参照特徴ベクトルによって訓練されるので、ＣＮＮを含む必要がなく、ＦＣＬだけで、参照特徴ベクトルと類似した代表特徴ベクトルを生成することができる。すなわち、イメージ生成のためのＧＡＮの代わりに、代表特徴ベクトル生成のための複数のＦＣＬからなるＧＡＮが利用されることにより、訓練が迅速になされ、処理速度も、非常に速くなる。
【００３２】
一実施形態において、該生成モデルは、参照特徴ベクトル元素の平均値を獲得し、獲得した平均値を元素として有する代表特徴ベクトルを生成することもできる。
【００３３】
再び図２を参照すれば、Ｓ２３０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージの特徴ベクトルと、代表特徴ベクトルとを比較する。一例において、イメージ検索装置１００は、ターゲットイメージの特徴ベクトルそれぞれと、代表特徴ベクトルとのディスタンス（例えば、コサインディスタンス（cosine  distance））を算出することができる。特徴ベクトル間の類似性を判断するために算出されるディスタンスは、公知されたものであるので、本明細書において、詳細な説明は、省略する。
【００３４】
Ｓ２４０段階において、イメージ検索装置１００は、ターゲットイメージのうち少なくとも一部のターゲットイメージに、複数の参照イメージが有している同一属性に対応する属性タグを割り当てる。一実施形態において、イメージ検索装置１００は、代表特徴ベクトル対比で既設定の値以下のディスタンスを有する特徴ベクトルに対応するターゲットイメージに、同一属性に対応する属性タグを割り当てることができる。
【００３５】
図４は、ターゲットイメージに対する属性タグ割り当て方法について説明するための図面であり、図４を参照すれば、ターゲットイメージ４１０ａ，４２０ａ，４３０ａの特徴ベクトル４１０ｂ，４２０ｂ，４３０ｂそれぞれと、代表特徴ベクトルとの比較結果により、第１ターゲットイメージ４１０ａ及び第２ターゲットイメージ４２０ａに「ジグザグ柄」の属性タグ４１０ｃ，４２０ｃが割り当てられ、第３ターゲットイメージ４３０ａには、「パーガンディ色相」の属性タグ４３０ｃが割り当てられる。図４は、１つのターゲットイメージに１つの属性タグが割り当てられるように図示しているが、１つのターゲットイメージに複数の属性タグが割り当てられてもよい。
【００３６】
一実施形態によれば、相対的に少数の参照イメージに基づいて、多量のターゲットイメージに対して属性タグを割り当てることができるので、管理者が一つ一つデータベースに保存されたターゲットイメージに対して属性タグを割り当てる必要がなくなる。
【００３７】
また、一実施形態によれば、新たな属性の開発、流行などにより、ターゲットイメージに新たな属性タグを割り当てる必要が発生した場合にも、速かに新たな属性タグをターゲットイメージに割り当てることができる。例えば、管理者によって新たな属性を有する少数の参照イメージが選択されれば、イメージ検索装置１００は、選択された参照イメージの参照特徴ベクトルでもって生成モデルを訓練させ、生成モデルから出力される代表特徴ベクトルと、ターゲットイメージの特徴ベクトルの比較結果により、ターゲットイメージに対し、新たな属性に対応する属性タグを割り当てることができる。
【００３８】
図５は、ユーザが属性を選択することができるようにするユーザインターフェース（ＵＩ）画面５００を図示する図面である。
【００３９】
前述のように、データベースに保存されたターゲットイメージに対し、属性タグが割り当てられれば、ユーザは、ユーザ端末１０のディスプレイに表示されたＵＩ画面５００において、特定属性を選択され行えば、簡便にイメージ検索が可能である。
【００４０】
図５を参照すれば、ユーザ端末１０のディスプレイに検索画面５００が表示されれば、ユーザは、検索画面５００において、特定カテゴリー（例えば、パターン）５２０に属した多くの属性５３０のうち一部（例えば、チェック）を選択することにより、当該属性に対応する属性タグが割り当てられたターゲットイメージを、検索結果に受信することができる。
【００４１】
イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、ユーザ端末１０によって選択された属性に対応するタグが割り当てられたターゲットイメージを、検索結果イメージとして、ユーザ端末１０に伝送することができる。
【００４２】
具現例として、ユーザは、検索画面５００に、属性として検索語５１０を入力することもできる。イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、検索語５１０に対応する属性と係わる属性タグを有するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。
【００４３】
一実施形態において、イメージ検索装置１００は、ユーザ端末１０によって選択された属性に対応する代表特徴ベクトルと、データベースに保存されたターゲットイメージの特徴ベクトルとを比較し、代表特徴ベクトルと同一であるか、あるいは類似した特徴ベクトルに対応するターゲットイメージを、検索結果イメージとして、ユーザ端末１０に伝送することができる。イメージ検索装置１００は、代表特徴ベクトルとの間で既設定の値以下であるディスタンスを有する特徴ベクトルに対応するターゲットイメージを検索結果イメージとしてユーザ端末１０に伝送することができる。
【００４４】
代表特徴ベクトルとの比較対象になる特徴ベクトルは、代表特徴ベクトルを出力する生成モデルを訓練させるのに利用された参照特徴ベクトルを、いかなる種類のマシンラーニングモデルが出力したかということによって相違し得る。例えば、生成モデルを訓練させるのに利用した参照特徴ベクトルが、従属（dependant）モデルによって出力された場合、比較対象になるターゲットイメージの特徴ベクトルも、従属モデルによって出力されたものでもある。該従属モデルは、特定カテゴリーの属性に対応する特徴ベクトルを出力するように訓練されたマシンラーニングモデルを意味する。例えば、該従属モデルは、色相カテゴリー専用のモデル、柄カテゴリー専用のモデルなどを含んでもよい。管理者は、ターゲットイメージに対して、色相属性のタグを割り当てる場合、参照イメージを、色相カテゴリー専用モデルに入力させ、参照イメージに対応する参照特徴ベクトルを獲得し、獲得した参照特徴ベクトルでもって生成モデルを訓練させることができる。
【００４５】
また、生成モデルを訓練させるのに利用した特徴ベクトルが、独立（independent）モデルによって出力された場合、比較対象になるターゲットイメージの特徴ベクトルも、独立モデルによって出力されたものでもある。該独立モデルは、属性のカテゴリーと無関係な特徴ベクトルを出力するように訓練されたマシンラーニングモデルを意味する。
【００４６】
図６は、一実施形態によるイメージ検索方法について説明するためのフローチャートである。
【００４７】
Ｓ６１０段階において、イメージ検索装置１００は、ユーザ端末１０から複数の検索イメージを受信する。イメージ検索装置１００は、ユーザ端末１０から、ネットワークを介して、複数の検索イメージを直接受信することもでき、ユーザ端末１０から、複数の検索イメージを特定することができる情報（例えば、複数の検索イメージが保存されたＵＲＬ、複数の検索イメージの識別情報など）を受信し、受信された情報に基づいて、複数の検索イメージを獲得することもできる。
【００４８】
Ｓ６２０段階において、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルを獲得する。イメージ検索装置１００は、マシンラーニングモデルに複数の検索イメージを入力させ、マシンラーニングモデルから出力される特徴ベクトルを獲得することができる。前記マシンラーニングモデルは、従属モデルまたは独立モデルでもある。
【００４９】
Ｓ６３０段階において、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルでもって生成モデルを訓練させる。生成モデルがＧＡＮである場合、ＧＡＮは、生成器（generator）と区別器（discriminator）との相互作用を基に、訓練データと類似したデータを生成するように訓練される。
【００５０】
Ｓ６４０段階において、イメージ検索装置１００は、複数の検索イメージの特徴ベクトルでもって訓練された生成モデルから出力される代表特徴ベクトルと、ターゲットイメージの特徴ベクトルとを比較する。イメージ検索装置１００は、ターゲットイメージの特徴ベクトルそれぞれと、代表特徴ベクトルとのディスタンスを算出することができる。
【００５１】
前述のように、代表特徴ベクトルとの比較対象になる特徴ベクトルは、代表特徴ベクトルを出力する生成モデルを訓練させるのに利用された特徴ベクトルが、いかなる種類のマシンラーニングモデルによって出力されたかということによっても異なる。
【００５２】
Ｓ６５０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、複数の検索イメージに対応するターゲットイメージを検索結果イメージとしてユーザ端末１０に伝送する。
【００５３】
イメージ検索装置１００は、代表特徴ベクトルとの間で既設定の値以下のディスタンスを有する特徴ベクトルに対応するターゲットイメージを、検索結果イメージとしてユーザ端末１０に伝送することができる。
【００５４】
図６に図示された実施形態によれば、例えば、ユーザが、自分の趣向に符合する複数の検索イメージを選択すれば、イメージ検索装置１００は、ユーザの趣向に符合する検索イメージ以外の他のイメージを、検索結果として提供することができる。
【００５５】
図７は、他の実施形態によるイメージ検索方法について説明するためのフローチャートである。
【００５６】
Ｓ７１０段階において、イメージ検索装置１００は、ユーザ端末１０から検索イメージを受信する。イメージ検索装置１００は、ユーザ端末１０から、ネットワークを介して、検索イメージを直接受信することもでき、ユーザ端末１０から、検索イメージを特定することができる情報（例えば、検索イメージが保存されたＵＲＬ、検索イメージの識別情報など）を受信し、受信された情報に基づいて、検索イメージを獲得することもできる。
【００５７】
Ｓ７２０段階において、イメージ検索装置１００は、検索イメージの属性別特徴ベクトルを獲得する。イメージ検索装置１００は、複数の従属モデルそれぞれに検索イメージを入力させ、複数の従属モデルから出力される特徴ベクトルを獲得することができる。例えば、図８に図示されているように、検索イメージ８１０を、第１従属モデル８２１に入力させ、第１属性（例えば、色相属性）に対応する特徴ベクトル８３１を獲得し、検索イメージ８１０を、第２従属モデル８２３に入力させ、第２属性（例えば、柄属性）に対応する特徴ベクトル８３３を獲得し、検索イメージ８１０を、第３従属モデル８２５に入力させ、第３属性（例えば、形状属性）に対応する特徴ベクトル８３５を獲得することができる。
【００５８】
一実施形態において、ユーザ端末１０から受信された検索イメージが２個である場合、いずれか１つの検索イメージを第１従属モデル８２１に入力させ、第１属性に対応する特徴ベクトルを獲得し、他の１つの検索イメージを、第２従属モデル８２３及び第３従属モデル８２５に入力させ、第２属性に対応する特徴ベクトルと、第３属性に対応する特徴ベクトルとを獲得することもできる。
【００５９】
他の実施形態において、ユーザ端末１０から受信された検索イメージが３個である場合、いずれか１つの検索イメージを第１従属モデル８２１に入力させ、第１属性に対応する特徴ベクトルを獲得し、他の１つの検索イメージを第２従属モデル８２３に入力させ、第２属性に対応する特徴ベクトルを獲得し、さらに他の１つの検索イメージを第３従属モデル８２５に入力させ、第３属性に対応する特徴ベクトルを獲得することもできる。
【００６０】
すなわち、イメージ検索装置１００は、複数の検索イメージに対応する特徴ベクトルを組み合わせ、属性別特徴ベクトルを獲得することができる。
【００６１】
図８は、属性別特徴ベクトルを抽出するために、３個の従属モデル８２１，８２３，８２５が利用されるように図示されているが、それは、１つの例示であるにすぎず、検索イメージとして、多様な個数の属性の特徴ベクトルを抽出するための多様な個数の従属モデルが利用され得る。
【００６２】
再び図７を参照すれば、Ｓ７３０段階において、イメージ検索装置１００は、属性別特徴ベクトルのうち、ユーザ端末１０によって選択された属性の特徴ベクトルを、ユーザ端末１０によって選択された属性に対応する代表特徴ベクトルに変更する。ユーザは、代表特徴ベクトルに変更する属性を、ユーザ端末１０を介して選択することができる。ユーザ端末１０は、検索イメージに含まれたオブジェクトの属性のうち、変更する属性（例えば、色相属性）と、変更する属性の代わりとなる他の属性とを選択することができる。それに対応し、イメージ検索装置１００は、属性別特徴ベクトルのうちユーザ端末１０によって選択された属性の特徴ベクトルを、他の属性に対応する代表特徴ベクトルに変更することができる。
【００６３】
例えば、図９に図示されているように、第１属性の特徴ベクトル８３１、第２属性の特徴ベクトル８３３、及び第３属性の特徴ベクトル８３５において、ユーザ端末１０によって選択された第２属性の特徴ベクトル８３３を、代表特徴ベクトル９３３に交換することができる。ここで、代表特徴ベクトル９３３は、第２属性専用の従属モデル８２３から出力される参照特徴ベクトルでもって訓練された生成モデルから出力された特徴ベクトルでもある。
【００６４】
Ｓ７４０段階において、イメージ検索装置１００は、代表特徴ベクトルを含む属性別特徴ベクトルと、データベースに保存されたターゲットイメージの属性別特徴ベクトルとを比較する。ここで、データベースに保存されたターゲットイメージの属性別特徴ベクトルは、従属モデルから出力されたものでもある。
【００６５】
一実施形態において、イメージ検索装置１００は、図１０に図示されているように、代表特徴ベクトル９３３を含む属性別特徴ベクトル８３１，９３３，８３５と、データベースに保存されたターゲットイメージの属性別特徴ベクトル１０３１，１０３３，１０３５との比較にあたり、同一カテゴリーに属した属性の特徴ベクトル同士比較し、属性別ディスタンスを獲得することができる。イメージ検索装置１００は、ターゲットイメージの属性別特徴ベクトル１０３１，１０３３，１０３５それぞれに対し、第１属性に対応するディスタンス、第２属性に対応するディスタンス、及び第３属性に対応するディスタンスを算出することができる。
【００６６】
Ｓ７５０段階において、イメージ検索装置１００は、データベースに保存されたターゲットイメージのうち、ユーザ端末１０に伝送するターゲットイメージを、前記算出された属性別ディスタンスに基づいて決定することができる。
【００６７】
イメージ検索装置１００は、属性別ディスタンスを組み合わせた結果に基づいて、データベースに保存されたターゲットイメージのうち、代表特徴ベクトルを含む属性別特徴ベクトルと、同一であるか、あるいは類似したターゲットイメージを決定することができる。一例において、イメージ検索装置１００は、属性別ディスタンスを組み合わせた結果値が大きい順に、所定個数のターゲットイメージを選択することができ、または、属性別ディスタンスを組み合わせた結果値が既設定の値以上であるターゲットイメージを選択することもできる。
【００６８】
Ｓ７６０段階において、イメージ検索装置１００は、Ｓ７５０段階で選択されたターゲットイメージを、ユーザ端末１０に伝送する。
【００６９】
図７に図示された実施形態によれば、ユーザは、検索イメージをイメージ検索装置１００に伝送し、検索イメージに含まれたオブジェクトの特定属性を他の属性に変更することにより、変更された属性に対応する検索結果を受信することができる。例えば、ユーザは、赤色及び縞模様のワンピースを含む検索イメージを、イメージ検索装置１００に伝送し、赤色の代わりに青色を選択し、青色及び縞模様のワンピースを含むイメージを検索結果として受けることができるのである。
【００７０】
図１１は、複数のオブジェクト１１１０，１１３０，１１５０を含む検索イメージ１１００を図示する例示的な図面である。
【００７１】
一実施形態において、ユーザ端末１０からイメージ検索装置１００に送信される検索イメージ１１００は、図１１に図示されているように、複数のオブジェクト１１１０，１１３０，１１５０を含んでもよい。図１１において、複数のオブジェクト１１１０，１１３０，１１５０は、上着オブジェクト１１１０、下衣（bottoms）オブジェクト１１３０及びかばんオブジェクト１１５０を含む。この場合、イメージ検索装置１００は、複数のオブジェクト１１１０，１１３０，１１５０それぞれに対応する部分イメージをクロッピング（cropping）して従属モデルに入力させ、従属モデルから出力されるそれぞれのオブジェクトの属性別特徴ベクトルを獲得することができる。例えば、イメージ検索装置１００は、図１１に図示された検索イメージ１１００から、上着オブジェクト１１１０の属性別特徴ベクトル、下衣オブジェクト１１３０の属性別特徴ベクトル、及びかばんオブジェクト１１５０の属性別特徴ベクトルを獲得することができる。
【００７２】
イメージ検索装置１００は、検索イメージ１１００に含まれた複数のオブジェクト１１１０，１１３０，１１５０それぞれの属性別特徴ベクトルを含む特徴ベクトルシーケンスにおいて、ユーザ端末１０によって選択されたオブジェクトの特定属性の特徴ベクトルを、ユーザ端末１０が選択した属性に対応する代表特徴ベクトルに変更することができる。例えば、ユーザが、図１１に図示された検索イメージ１１００において、かばんオブジェクト１１５０を選択し、かばんの色相属性を他の色相に変更する場合、イメージ検索装置１００は、かばんオブジェクト１１５０の色相属性の特徴ベクトルの代わりに、ユーザが変更する色相に対応する代表特徴ベクトルを、特徴ベクトルシーケンスに含めることができるのである。
【００７３】
例えば、図１２に図示されているように、第１オブジェクトの属性別特徴ベクトル１２１０、第２オブジェクトの属性別特徴ベクトル１２２０及び第３オブジェクトの属性別特徴ベクトル１２３０のうち、第３オブジェクト１２３０の第１属性の特徴ベクトル１２３１を、代表特徴ベクトル１２４１に交換することができる。
【００７４】
イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、データベースに保存されたターゲットイメージの特徴ベクトルシーケンスとを比較し、検索イメージ１１００に対応するターゲットイメージを決定することができる。イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、ターゲットイメージの特徴ベクトルシーケンスとを比較するのにあたり、同一オブジェクトの同一カテゴリーの属性の特徴ベクトル同士比較し、各オブジェクトに係わる属性別ディスタンスを算出し、算出されたディスタンスを基に、検索結果に該当するターゲットイメージを決定することができる。一実施形態において、イメージ検索装置１００は、代表特徴ベクトル１２４１を含む特徴ベクトルシーケンス１２５０と、ターゲットイメージの特徴ベクトルシーケンスとを比較した結果として算出された各オブジェクトに係わる属性別ディスタンスを組み合わせ、組み合わせ結果値に基づいて、検索結果に該当するターゲットイメージを決定することができる。
【００７５】
一実施形態において、イメージ検索装置１００は、検索結果として選択されたターゲットイメージを、ユーザ端末１０に伝送することができる。
【００７６】
他の実施形態において、イメージ検索装置１００は、検索結果として選択されたターゲットイメージ内において、ユーザ端末１０が選択したオブジェクトに対応する部分イメージを抽出し、抽出された部分イメージを検索イメージに合成し、検索結果として、ユーザ端末１０に伝送することもできる。例えば、図１１及び図１３に図示されているように、イメージ検索装置１００は、検索イメージ１１００において、かばんオブジェクト１１５０を含む部分を、ターゲットイメージ内かばんオブジェクトを含む部分イメージ１３１１，１３２１，１３３１に交換した合成イメージ１３１０，１３２０，１３３０を、検索結果イメージとして、ユーザ端末１０に伝送することができる。
【００７７】
ユーザは複数のオブジェクトを含む検索イメージを、イメージ検索装置１００に伝送し、自らの趣向に符合するコーディネーションスタイルを検索結果を介して、容易に把握することができる。
【００７８】
図１４は、一実施形態によるイメージ検索装置１００の構成を図示するブロック図である。
【００７９】
図１４を参照すれば、一実施形態に他のイメージ検索装置１００は、メモリ１４１０、データベース１４３０、通信部１４５０及びプロセッサ１４７０を含んでもよい。
【００８０】
メモリ１４１０は、少なくとも１つのプログラムを保存する。メモリ１４１０、データベース１４３０、通信部１４５０及びプロセッサ１４７０は、少なくとも１つのプログラムによって動作することができる。また、メモリ１４１０は、代表特徴ベクトルを生成するための生成モデルをさらに保存することができる。また、メモリ１４１０は、特徴ベクトル抽出のためのマシンラーニングモデルをさらに保存することができる。
【００８１】
データベース１４３０は、ターゲットイメージ、及びターゲットイメージの特徴ベクトルを保存する。該ターゲットイメージの特徴ベクトルは、マシンラーニングモデルによって出力されたものでもある。例えば、該ターゲットイメージの特徴ベクトルは、従属モデルによって出力されたものを含んでもよく、独立モデルによって出力されたものを含んでもよい。また、複数のオブジェクトを含むターゲットイメージに対し、前記特徴ベクトルは、それぞれのオブジェクトの属性別特徴ベクトルを含む特徴ベクトルシーケンスを含んでもよい。一実施形態において、データベース１４３０は、ハードディスク（ＨＤＤ）、ＳＳＤなどの保存装置からもなる。
【００８２】
通信部１４５０は、ユーザ端末１０とデータ送受信をする。通信部１４５０は、ユーザ端末１０から検索条件を受信し、検索条件に対応する検索結果、例えば、検索結果イメージをユーザ端末１０に伝送する。
【００８３】
プロセッサ１４７０は、同一属性を有するか、あるいは同一属性タグが割り当てられた複数の参照イメージに対応する参照特徴ベクトルを獲得し、参照特徴ベクトルに基づいて訓練された生成モデルから、同一属性ないし同一属性タグに対応する代表特徴ベクトルを獲得し、ターゲットイメージの特徴ベクトルと代表特徴ベクトルとを比較し、ターゲットイメージのうち少なくとも一部のターゲットイメージに、同一属性に対応する属性タグを割り当てることができる。
【００８４】
また、プロセッサ１４７０は、ユーザ端末１０から受信された検索条件に対応するターゲットイメージを選択することができる。プロセッサ１４７０は、ユーザ端末１０が選択または入力した属性に対応する属性タグが割り当てられたターゲットイメージを選択するか、あるいはユーザ端末１０が選択または入力した属性の代表特徴ベクトルと同一／類似の特徴ベクトルを有したターゲットイメージを選択することができる。
【００８５】
また、プロセッサ１４７０は、ユーザ端末１０から受信された複数の検索イメージに対応するターゲットイメージを選択することができる。また、プロセッサ１４７０は、ユーザ端末１０から受信された検索イメージの属性別特徴ベクトルのうち一部を、他の属性の代表特徴ベクトルで置換し、置換された結果に基づいて、ターゲットイメージを選択することもできる。
【００８６】
一方、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
【００８７】
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一またはいくつかのハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するでもある。該媒体の例示としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体；ＣＤ−ＲＯＭ（compact  disc  read  only  memory）及びＤＶＤ（digital  versatile  disc）のような光記録媒体、フロプティカルディスク（floptical  disk）のような磁気・光媒体（magneto-optical  medium）；及びＲＯＭ（read-only  memory）、ＲＡＭ（random  access  memory）、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給したり流通したりするサイト、サーバなどで管理する記録媒体ないし記録媒体も挙げることができる。
【００８８】
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前記実施形態に限定されるものではなく、本開示の技術的思想の範囲内で、当分野で当業者によってさまざまな変形及び変更が可能である。
【符号の説明】
【００８９】
１０      ユーザ端末
１００    イメージ検索装置
３００    生成モデル
８１０，１１００  検索イメージ
１３１０，１３２０，１３３０  合成イメージ
１４１０  メモリ
１４３０  データベース
１４５０  通信部
１４７０  プロセッサ
【図１】
2020119566.tif 000003
【図２】
2020119566.tif 000004
【図３】
2020119566.tif 000005
【図４】
2020119566.tif 000006
【図５】
2020119566.tif 000007
【図６】
2020119566.tif 000008
【図７】
2020119566.tif 000009
【図８】
2020119566.tif 000010
【図９】
2020119566.tif 000011
【図１０】
2020119566.tif 000012
【図１１】
2020119566.tif 000013
【図１２】
2020119566.tif 000014
【図１３】
2020119566.tif 000015
【図１４】
2020119566.tif 000016