(57)【特許請求の範囲】
【請求項１】
人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する特徴情報生成部であって、前記ヘアカラーを表す第１特徴情報と、前記ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、少なくとも前記第１特徴情報と前記第２特徴情報とに基づく第３特徴情報を生成する特徴情報生成部と、
予め複数の人の前記画像に基づいて生成されている前記第３特徴情報のうち、比較対象者の前記画像について生成された前記第３特徴情報と類似する前記第３特徴情報を抽出し、抽出した前記第３特徴情報の元となった前記画像を抽出する抽出部と、
を備え、
前記特徴情報生成部は、前記画像が入力されると前記第２特徴情報を出力するように学習された第２学習済モデルに、前記画像を入力することで、前記第２特徴情報を生成する第２特徴情報生成部を備え、
前記第２学習済モデルは、複数の層を有するニューラルネットワークとして構成され、第１の画像と同じラベルが付与された第２の画像が入力されると前記第１の画像と同じラベルを出力するように学習された、複数の層を有するニューラルネットワークである学習済モデルのうち、少なくとも出力層を含む一部の層を削除したものである、
情報処理装置。
【請求項２】
スタイリストによって投稿され、人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する特徴情報生成部と、
予め複数の人の前記画像に基づいて生成されている前記特徴情報のうち、比較対象者の前記画像について生成された前記特徴情報と類似する前記特徴情報を抽出し、抽出した前記特徴情報の元となった前記画像を抽出する抽出部と、
前記抽出部により抽出された前記画像について、順位付けと絞込みとのうち一方または双方を含むランキング処理を行うランキング処理部と、
前記ランキング処理部による処理結果に応じた前記画像を再生するための情報を端末装置に送信するコンテンツ提供部と、
を備え、
前記ランキング処理部は、前記画像の投稿者である前記スタイリストの属するヘアサロンの場所と前記端末装置の利用者との地理的近さに基づいて、前記ランキング処理を行う、
情報処理装置。
【請求項３】
スタイリストによって投稿され、人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する特徴情報生成部と、
予め複数の人の前記画像に基づいて生成されている前記特徴情報のうち、比較対象者の前記画像について生成された前記特徴情報と類似する前記特徴情報を抽出し、抽出した前記特徴情報の元となった前記画像を抽出する抽出部と、
前記抽出部により抽出された前記画像について、順位付けと絞込みとのうち一方または双方を含むランキング処理を行うランキング処理部と、
前記ランキング処理部による処理結果に応じた前記画像を再生するための情報を端末装置に送信するコンテンツ提供部と、
を備え、
前記ランキング処理部は、同じスタイリストによって投稿された複数の画像が、前記端末装置に提供される画像に含まれないように前記ランキング処理を行う、
情報処理装置。
【請求項４】
前記特徴情報生成部は、前記ヘアカラーを表す第１特徴情報と、前記ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、少なくとも前記第１特徴情報と前記第２特徴情報とに基づく第３特徴情報を生成し、
前記抽出部は、予め複数の人の前記画像に基づいて生成されている前記第３特徴情報のうち、前記比較対象者の前記画像について生成された前記第３特徴情報と類似する前記第３特徴情報を抽出し、抽出した前記第３特徴情報の元となった前記画像を抽出する、
請求項２または３記載の情報処理装置。
【請求項５】
前記特徴情報生成部は、
前記画像における髪領域を特定する髪領域特定部と、
前記髪領域における色分布を表す情報を前記第１特徴情報として生成する色分布情報生成部と、を備える、
請求項１または４記載の情報処理装置。
【請求項６】
前記髪領域特定部は、前記画像が入力されると前記髪領域を特定する情報を出力するように学習された第１学習済モデルに、前記画像を入力することで、前記髪領域を特定する、
請求項５記載の情報処理装置。
【請求項７】
前記特徴情報生成部は、
前記第１特徴情報と前記第２特徴情報とのうち一方または双方に重み付けして結合することで前記第３特徴情報を生成する第３特徴情報生成部を備える、
請求項１、または請求項４から６のうちいずれか１項記載の情報処理装置。
【請求項８】
前記第３特徴情報生成部は、利用者から指定された前記第１特徴情報と前記第２特徴情報とのそれぞれを重視する度合いに基づいて、前記重み付けを行う、
請求項７記載の情報処理装置。
【請求項９】
前記ランキング処理部は、前記画像が前記端末装置の利用者によって選択された回数に基づいて、前記ランキング処理を行う、
請求項２または３記載の情報処理装置。
【請求項１０】
前記ランキング処理部は、予め取得されている前記端末装置の利用者の趣味・嗜好情報に基づいて、前記ランキング処理を行う、
請求項２、３、または９記載の情報処理装置。
【請求項１１】
情報処理装置が、
人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する処理であって、前記ヘアカラーを表す第１特徴情報と、前記ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、少なくとも前記第１特徴情報と前記第２特徴情報とに基づく第３特徴情報を生成する処理と、
予め複数の人の前記画像に基づいて生成されている前記第３特徴情報のうち、比較対象者の前記画像について生成された前記第３特徴情報と類似する前記第３特徴情報を抽出し、抽出した前記第３特徴情報の元となった前記画像を抽出する処理と、
を実行し、
前記第２特徴情報を生成する処理は、前記画像が入力されると前記第２特徴情報を出力するように学習された第２学習済モデルに、前記画像を入力することで、前記第２特徴情報を生成するものであり、
前記第２学習済モデルは、複数の層を有するニューラルネットワークとして構成され、第１の画像と同じラベルが付与された第２の画像が入力されると前記第１の画像と同じラベルを出力するように学習された、複数の層を有するニューラルネットワークである学習済モデルのうち、少なくとも出力層を含む一部の層を削除したものである、
情報処理方法。
【請求項１２】
コンピュータに、
人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する処理であって、前記ヘアカラーを表す第１特徴情報と、前記ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、少なくとも前記第１特徴情報と前記第２特徴情報とに基づく第３特徴情報を生成する処理と、
予め複数の人の前記画像に基づいて生成されている前記第３特徴情報のうち、比較対象者の前記画像について生成された前記第３特徴情報と類似する前記第３特徴情報を抽出し、抽出した前記第３特徴情報の元となった前記画像を抽出する処理と、
を実行させ、
前記第２特徴情報を生成する処理は、前記画像が入力されると前記第２特徴情報を出力するように学習された第２学習済モデルに、前記画像を入力することで、前記第２特徴情報を生成するものであり、
前記第２学習済モデルは、複数の層を有するニューラルネットワークとして構成され、第１の画像と同じラベルが付与された第２の画像が入力されると前記第１の画像と同じラベルを出力するように学習された、複数の層を有するニューラルネットワークである学習済モデルのうち、少なくとも出力層を含む一部の層を削除したものである、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、入力画像を入力する画像入力部と、予め記憶した、ニューラルネットワークを含んで構成される互いに異なる複数の分類器に対して、画像入力部によって入力された入力画像に基づく入力を行って、当該入力画像の特徴量ベクトルを算出する入力画像特徴量算出部と、検索対象画像の特徴量ベクトルを示す情報を取得する検索対象画像特徴量取得部と、入力画像特徴量算出部によって算出された特徴量ベクトル、及び検索対象画像特徴量取得部によって取得された情報によって示される特徴量ベクトルに基づいて、検索対象画像から入力画像に類似する画像を検索する検索部と、検索部による検索結果を示す情報を出力する出力部と、を備える類似画像検索装置の発明が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６７５１６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術を、髪型が類似する画像に適用した場合、意図したものと異なる画像が抽出される場合がある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、利用者の意図に沿って髪型の類似する画像を抽出することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の一態様は、人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する特徴情報生成部と、予め複数の人の前記画像に基づいて生成されている前記特徴情報のうち、比較対象者の前記画像について生成された前記特徴情報と類似する前記特徴情報を抽出し、抽出した前記特徴情報の元となった前記画像を抽出する抽出部と、備える情報処理装置である。
【発明の効果】
【０００７】
本発明の一態様によれば、利用者の意図に沿って髪型の類似する画像を抽出することができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置１００の構成および使用環境の一例を示す図である。
【図２】端末装置１０−Ｕにおいて表示されるコンテンツ画面ＩＭ１の一例を示す図である。
【図３】投稿画像情報１６２の内容の一例を示す図である。
【図４】スタイリスト情報１６４の内容の一例を示す図である。
【図５】ヘアサロン情報１６６の内容の一例を示す図である。
【図６】利用者情報１６８の内容の一例を示す図である。
【図７】特徴情報生成部１３０の各部の機能について説明するための図である。
【図８】色分布情報生成部１３４による処理の具体例を示す図である。
【図９】第２学習済モデル１７２の生成方法の一例について説明するための図である。
【図１０】情報処理装置１００において実行される処理の流れの一例を示すシーケンス図である。
【発明を実施するための形態】
【０００９】
［概要］
以下、図面を参照し、本発明の情報処理装置、情報処理方法、およびプログラムの実施形態について説明する。情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、比較対象者の少なくとも頭部を撮像した画像を取得すると、予め取得されている画像群から、比較対象者に髪型が類似する画像を抽出して出力する装置である。情報処理装置は、ヘアカラーを表す第１特徴情報と、ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、第１特徴情報と第２特徴情報とを統合して第３特徴情報を生成する。そして、予め複数の人の少なくとも頭部を撮像した画像（以下、既存画像）に基づいて生成されている第３特徴情報のうち、比較対象者について生成された第３特徴情報と類似する第３特徴情報を抽出し、抽出した第３特徴情報の元となった画像を、髪型（ヘアカラーを反映したもの）が比較対象者の画像と類似する画像として出力する。これによって、情報処理装置は、利用者の意図に沿って髪型の類似する画像を抽出することができる。
【００１０】
［環境］
図１は、情報処理装置１００の構成および使用環境の一例を示す図である。情報処理装置１００は、例えば、スタイリストやヘアサロンの情報を含むコンテンツを提供する装置（コンテンツ提供装置）の一部を構成する。コンテンツ提供装置は、端末装置１０において動作しているアプリケーションプログラムやブラウザなどのＵＡ（User Agent）１２からのリクエストに応じて、コンテンツを端末装置１０に提供する。これに限らず、情報処理装置１００は、コンテンツ提供装置とは別体の装置であってもよい。
【００１１】
情報処理装置１００は、一以上の端末装置１０や他サービス提供装置２００と、ネットワークＮＷを介して通信する。ネットワークＮＷは、インターネット、セルラー網、Ｗｉ-Ｆｉ網、公衆回線などを含む。他サービス提供装置２００は、情報提供装置１００が提供するコンテンツとは別のコンテンツ（サービス）を提供する装置である。端末装置１０のＵＡ１２からのリクエストに応じてコンテンツを提供する点については情報処理装置１００と同様である。
【００１２】
端末装置１０は、スマートフォンやタブレット端末、パーソナルコンピュータなどである。端末装置１０は、スタイリストＳと利用者Ｕのそれぞれによって使用される。図１の例では、スタイリストＳによって利用される端末装置１０−Ｓ、および利用者Ｕによって利用される端末装置１０−Ｕを示している。なお、以下の説明において利用者Ｕとは、コンテンツを閲覧する利用者を指すものとする。
【００１３】
［コンテンツ］
ここで、情報処理装置１００の各部の説明に先立って、情報処理装置１００が提供するコンテンツの概要について説明する。図２は、端末装置１０−Ｕにおいて表示されるコンテンツ画面ＩＭ１の一例を示す図である。コンテンツ画面ＩＭ１には、例えば、利用者Ｕにより選択された投稿画像ＰＩを表示する領域Ａ１や、投稿画像ＰＩに対して付与されているタグを表示する領域Ａ２、投稿画像ＰＩを投稿したスタイリストＳの情報を表示する領域Ａ３、そのスタイリストＳがサービスを提供可能なヘアサロンの情報を表示する領域Ａ４、投稿画像ＰＩに髪型が類似し、領域Ａ１に表示されたものとは異なる他の一以上の投稿画像ＰＩを表示する領域Ａ５などが含まれる。投稿画像ＰＩは、カラー画像である。
【００１４】
領域Ａ２に表示されるタグを利用者Ｕが選択すると、そのタグと同じタグが付与された一以上の投稿画像ＰＩを表示する画面に切り替わる。利用者Ｕが領域Ａ３のボタンＢ３−１を選択すると、スタイリストＳの詳細情報を表示する画面に切り替わる。利用者Ｕが領域Ａ３に表示される指名予約ボタンＢ３−２を選択すると、そのスタイリストＳの指名予約を受け付ける画面に切り替わる。利用者Ｕが領域Ａ４に表示されるボタンＢ４−１を選択すると、ヘアサロンの詳細情報を表示する画面に切り替わる。利用者Ｕが、領域Ａ４に表示されるボタンＢ４−２を選択すると、そのヘアサロンの予約を受け付ける画面に切り替わる。
【００１５】
［構成］
図１に戻り、情報処理装置１００の各部の機能について説明する。情報処理装置１００は、例えば、通信部１０２と、コンテンツ提供部１０４と、検索実行部１０６と、ランキング処理部１０８と、学習処理部１１０と、類似画像抽出部１２０と、記憶部１６０とを備える。類似画像抽出部１２０は、例えば、特徴情報生成部１３０と、抽出部１４０とを備える。特徴情報生成部１３０は、例えば、髪領域特定部１３２と、色分布情報生成部１３４と、第２特徴情報生成部１３６と、第３特徴情報生成部１３８とを備える。これらの構成要素のうち、通信部１０２および記憶部１６０以外のものは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
【００１６】
通信部１０２は、ネットワークＮＷを介して、端末装置１０や他サービス提供装置２００と通信する。通信部１０２は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースを含む。
【００１７】
記憶部１６０は、例えば、ＨＤＤやフラッシュメモリ、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１６０には、投稿画像情報１６２、スタイリスト情報１６４、ヘアサロン情報１６６、利用者情報１６８、第１学習済モデル１７０、第２学習済モデル１７２などの情報が格納される。
【００１８】
図３は、投稿画像情報１６２の内容の一例を示す図である。投稿画像情報１６２には、例えば、投稿画像ＰＩの識別情報である画像ＩＤ、投稿画像ＰＩ、投稿画像ＰＩに付与されたタグ、投稿画像ＰＩが過去に利用者Ｕによって選択された回数であるクリック数、被趣味・嗜好情報（どの趣味・嗜好を持つ利用者が何回ずつ選択（クリック）したか）、第３特徴情報Ｆ３（後述）などの情報が格納される。投稿画像ＰＩは、例えば、スタイリストＳが自分の端末装置１０−Ｓで撮影した画像を情報提供装置１００にアップロードすることで投稿画像情報１６２に登録される。タグは、スタイリストＳが投稿画像ＰＩを情報提供装置１００にアップロードする際に、スタイリストＳによって指定されることで投稿画像情報１６２に登録される。クリック数や被趣味・嗜好情報は、コンテンツ提供部１０４がコンテンツへのアクセスログを収集し、アクセスログを解析することで集計されたものである。
【００１９】
図４は、スタイリスト情報１６４の内容の一例を示す図である。スタイリスト情報１６４には、例えば、スタイリストＳを識別するためのスタイリストＩＤ、スタイリストＳの画像であるスタイリスト画像、スタイリストＳの氏名、スタイリストＳがサービスを提供するサロンを識別するためのサロンＩＤ、スタイリストＳが投稿した投稿画像ＰＩの画像ＩＤの他、スタイリストＳが利用者Ｕからの予約を受け付ける際の連絡先（例えば、電話番号、メールアドレス、ウェブサイト、ＳＮＳアカウント）などの情報が格納される。
【００２０】
図５は、ヘアサロン情報１６６の内容の一例を示す図である。ヘアサロン情報１６６には、例えば、ヘアサロンの識別情報であるヘアサロンＩＤ、ヘアサロンの名称や住所、当該ヘアサロンでサービスを提供するスタイリストＳのスタイリストＩＤなどが格納される。
【００２１】
図６は、利用者情報１６８の内容の一例を示す図である。利用者情報１６８には、例えば、ＤＢ４には、例えば、利用者Ｕを識別する利用者ＩＤや、利用者の年齢、性別、職業、居住地（都道府県情報）、行動圏などのデモグラフィック情報、行動情報（ＰＶ；page view）、趣味・嗜好情報等が含まれる。
【００２２】
デモグラフィック情報や趣味・嗜好情報は、例えば、他サービス提供装置２００によって収集、推定され、或いは情報処理装置１００のコンテンツにユーザ登録した際に利用者が入力した情報に基づいて特定されたものである。他サービス提供装置２００は、端末装置１０−Ｕが発信する位置情報（アクセスポイントの位置情報でもよい）を取得する機能を備えており、位置情報の推移に基づいて居住地や行動圏を推定する。他サービス提供装置２００は、例えば、ネットワーク検索機能、宿やレストラン、イベント等の予約機能、位置情報収集機能などを備えており、例えば「美術館」というクエリで複数回、ネットワーク検索を行った利用者であれば、「美術館」に興味があることが推定されるため、当該利用者の趣味・嗜好情報に「美術館」が格納される。このように、利用者のネットワーク上の行動履歴に基づいて、利用者Ｕのデモグラフィック情報や趣味・嗜好情報が生成される。
【００２３】
コンテンツ提供部１０４は、これらの記憶部１６０に格納された情報を参照しながら、図２で例示したコンテンツ画面を再生するための情報を端末装置１０−Ｕに送信し、利用者Ｕに提供する。コンテンツ提供部１０４は、いわゆるＷｅｂサーバの機能を有してもよい。
【００２４】
検索実行部１０６は、コンテンツ画面において指定された検索指示に応じて、記憶部１６０に格納された各種情報を検索する。例えば、タグ「ナチュラル」が利用者Ｕによって指定された場合、タグ「ナチュラル」が付与された投稿画像ＰＩを投稿画像情報１６２から抽出し、ランキング処理部１０８に渡す。
【００２５】
ランキング処理部１０８は、検索実行部１０６により抽出された各種情報のうち一部を、コンテンツ提供部１０４がコンテンツ画面に含める情報として順位付けし、上位のものを選択する。例えば、ランキング処理部１０８は、検索実行部１０６により１００枚の投稿画像ＰＩが抽出され、コンテンツ画面に含める画像が３０枚と決められている場合、クリック数などに基づいて投稿画像ＰＩをランキングし、上位の投稿画像ＰＩから順に選択して選択結果（例えば順に並べられた画像ＩＤ）をコンテンツ提供部１０４に渡す。また、ランキング処理部１０８は、後述する抽出部１４０によって抽出された投稿画像ＰＩについてランキング処理を行い、領域Ａ５に表示する投稿画像ＰＩを選択する処理を行ってもよい。
【００２６】
学習処理部１１０は、髪領域特定部１３２が処理に用いる第１学習済モデル１７０や第２特徴情報生成部１３６が処理に用いる第２学習済モデル１７２の学習処理を行う。学習処理の詳細については後述する。学習処理部１１０は、情報処理装置１００に含まれている必要はなく、他の装置の構成であってもよい。
【００２７】
［類似画像抽出］
類似画像抽出部１２０は、例えば、図２に例示したコンテンツ画面ＩＭ１の領域Ａ５に表示さる投稿画像ＰＩを抽出する。
【００２８】
特徴情報生成部１３０が、ヘアカラーを表す第１特徴情報と、ヘアスタイルを表す第２特徴情報とをそれぞれ生成し、第１特徴情報と第２特徴情報とを統合して第３特徴情報を生成する。第１特徴情報と第２特徴情報のそれぞれは、例えばベクトル形式の情報であり、これらを統合した第３特徴情報もベクトル形式の情報である。なお、画像は画素ごとの画素値を一列に並べるとベクトルの形になるので、ベクトル形式の一種であるものとする。第１特徴情報、第２特徴情報、および第３特徴情報のうち一部または全部は、ベクトル形式に限らず、類似度（より具体的には距離）が定義できるものであれば、如何なる形式の情報であってもよい。
【００２９】
図７は、特徴情報生成部１３０の各部の機能について説明するための図である。髪領域特定部１３２は、投稿画像ＰＩが入力されると、これを第１学習済モデル１７０に入力することで、髪領域情報ＨＡを取得する。髪領域情報ＨＡは、例えば、元画像の画素のうち髪を示す画素と、そうでない画素とをゼロまたは１で区別した二値画像である。第１学習済モデル１７０は、学習処理部１１０により、投稿画像ＰＩを学習データ、人または装置が指定した髪領域情報を教師データとして、教師あり学習処理によって学習されたモデルである。第１学習済モデル１７０は、例えばＤＮＮ（Deep Neural Network）である。髪領域情報ＨＡは、色分布情報生成部１３４だけでなく第２特徴情報生成部１３６にも入力されるようにしてもよい。
【００３０】
色分布情報生成部１３４は、髪領域情報ＨＡを参照して投稿画像ＰＩから髪を示す画素を切り出し、切り出した各画素の色分布を表す情報を、第１特徴情報として生成する。色分布情報生成部１３４は、例えば、色分布を表すヒストグラムを生成し、その度数をベクトルの要素値としたベクトル形式の情報を、第１特徴情報として生成する。
【００３１】
図８は、色分布情報生成部１３４による処理の具体例を示す図である。色分布情報生成部１３４は、例えば、着目する画素の画素値を、Ｌ（明るさを示す指標値）、ａ（赤に近いか緑に近いかを示す指標値）、ｂ（青に近いか黄色に近いかを示す指標値）の三つの指標値に変換する（もとからそのような形式になっているならば変換不要である）。
【００３２】
次に、色分布情報生成部１３４は、変換した指標値Ｌが、指標値Ｌの取り得る範囲をそれぞれｎ等分して求められる部分領域（ＢＩＮ）のいずれに該当するかを判定し、該当する部分領域に対応する要素値を１、それ以外の要素値をゼロとしたｎ次元のベクトル（ワンホットベクトル）ＶＬを生成する。係る処理を画素ごとに行い、画素ごとのワンホットベクトルを全て加算して指標値Ｌに関する部分ヒストグラムを生成する。
【００３３】
同様に、色分布情報生成部１３４は、変換した指標値ａが、指標値ａの取り得る範囲をそれぞれｎ等分して求められる部分領域（ＢＩＮ）のいずれに該当するかを判定し、該当する部分領域に対応する要素値を１、それ以外の要素値をゼロとしたｎ次元のベクトル（ワンホットベクトル）Ｖａを生成する。係る処理を画素ごとに行い、画素ごとのワンホットベクトルを全て加算して指標値ａに関する部分ヒストグラムを生成する。指標値ｂに関しても同様の処理を行い、ｎ次元のベクトル（ワンホットベクトル）Ｖｂを生成する。
【００３４】
そして、色分布情報生成部１３４は、指標値Ｌに関する部分ヒストグラムと、指標値ａに関する部分ヒストグラムと、指標値ｂに関する部分ヒストグラムとを結合（コンカチネット）して、次元数が３×ｎのヒストグラム（＝ベクトル形式である第１特徴情報Ｆ１）を生成し、第３特徴情報生成部１３８に出力する。色分布情報生成部１３４は、第１特徴情報Ｆ１の要素を全て加算すると１になるように、全体に１未満の係数を乗算して正規化処理を行ってもよい。なお、結合してからベクトルを画素ごとに加算しても結果は同じである。
【００３５】
図７に戻り、第２特徴情報生成部１３６は、投稿画像ＰＩが入力されると、これを第２学習済モデル１７２に入力することで、第２特徴情報Ｆ２を生成する。ここで、第２学習済モデル１７２の生成方法の一例について説明する。
【００３６】
図９は、第２学習済モデル１７２の生成方法の一例について説明するための図である。学習処理部１１０は、まず、投稿画像ＰＩを学習データ、投稿画像ＰＩに（スタイリストＳによって）付与されたタグを教師データとして、誤差逆伝播法などの手法で学習モデルのパラーメータを更新する。図中、タグ１、２、３、…、ｋと記載されているのは、個々のタグが付与されているか否か（Ｙｅｓ／Ｎｏ）を示す情報である。所定回数の学習（パラメータ更新）が完了した時点での学習モデルが、一次学習済モデルとなる。一次学習済モデルは、投稿画像ＰＩが入力されると、個々のタグが付与された画像であるか否かを出力するように学習されたＤＮＮとなる。次に、学習処理部１１０は、一次学習済モデルの出力層側からｍ個の層を削除し（ｍは一以上の自然数）、削除されずに残った中間層のうち、最も削除前の出力層に近かった層のノードを新たな出力層としたものを、第２学習済モデル１７２とする。第２学習済モデル１７２の新たな出力層は、第２特徴情報Ｆ２のベクトルの要素値を出力する。こうして生成される第２特徴情報Ｆ２は、タグを推定するように学習された一次学習済モデルの性質を引き継ぎつつ、最終出力でゼロまたは１の判断をすることなく連続値のまま出力されたものである。この結果、第２特徴情報Ｆ２を使用することで、無理にゼロまたは１の判断をすることで誤推論が生じる可能性を低減することができ、類似画像の抽出精度を向上させることができる。なお、第２学習済モデル１７２の内部には、性別を識別する部分、体の輪郭を抽出する部分などが形成されることが想定される。これらの部分による処理は、第２特徴情報生成部１３６の処理の前処理としてルールベールで行われてもよい。
【００３７】
図７に戻り、第３特徴情報生成部１３８は、例えば、第１特徴情報Ｆ１と、第２特徴情報Ｆ２とのうち一方または双方に重み付けして結合することで、第３特徴情報Ｆ３を生成する。重み付けして結合することは、第１特徴情報Ｆ１と、第２特徴情報Ｆ２とに基づいて第３特徴情報生成部１３８を生成することの一例である。第３特徴情報生成部１３８は、重み付けして結合することに代えて、第１特徴情報Ｆ１と、第２特徴情報Ｆ２との双方を何らかの規則で反映させて第３特徴情報Ｆ３を生成してもよい。重み付けとは、例えば、要素値の全部に同じ係数を乗算することである。第３特徴情報生成部１３８は、第１特徴情報Ｆ１と、第２特徴情報Ｆ２とのいずれを重視する（高い重みを付与する）かを、利用者Ｕから指定された内容によって決定してもよい。
【００３８】
抽出部１４０は、利用者Ｕによって選択された投稿画像ＰＩ（以下、選択投稿画像）について求められた第３特徴情報Ｆ３と、投稿画像情報１６２に格納された他の投稿画像ＰＩ（以下、候補画像）について求められた第３特徴情報Ｆ３とを比較し、第３特徴情報Ｆ３が選択投稿画像と類似する候補画像を、選択投稿画像に類似する画像として抽出する。「第３特徴情報Ｆ３が類似する」とは、例えば「ベクトル間距離（ユークリッド距離）が近い」あるいは「コサイン類似度が高い」ことを意味する。抽出部１４０は、例えば、選択投稿画像と類似する度合いが高い（ベクトル間距離が近い／コサイン類似度が高い）順にｑ枚の候補画像を抽出する。
【００３９】
ランキング処理部１０８は、抽出部１４０によって抽出されたｑ枚の候補画像についてランキング処理を行い、ｈ枚の投稿画像ＰＩに絞り込む処理を行う（ｑ＞ｈ）。このｈ枚の投稿画像ＰＩが、図２に示す領域Ａ５に表示される投稿画像ＰＩとなる。なお、ランキング処理部１０８が省略され、抽出部１４０により抽出された候補画像がそのまま、Ａ５に表示される投稿画像ＰＩとなってもよい。ランキング処理の詳細について後述する。
【００４０】
［運用例］
以下、情報処理装置１００の運用例について述べる。図１０は、情報処理装置１００において実行される処理の流れの一例を示すシーケンス図である。特徴情報生成部１３０は、予め全ての投稿画像ＰＩについて、バッチ処理（一日に一回といった頻度でオフラインで行われる処理）で第３特徴情報Ｆ３を求めておき、投稿画像情報１６２の各レコードに対応付けておく。すなわち、端末装置１０−Ｓにおいて投稿画像ＰＩのアップロード操作を受け付けると（Ｓ１）、端末装置１０−Ｓは投稿画像ＰＩを投稿するための情報を情報処理装置１００に送信する（Ｓ２）。情報処理装置１００は、任意のタイミングで、それまでに投稿された投稿画像ＰＩについてまとめて第３特徴情報Ｆ３を生成し、記憶部１６０に格納しておく（Ｓ３）。
【００４１】
別のタイミングで、端末装置１０−Ｕが利用者Ｕによる投稿画像ＰＩの選択操作を受け付けると（Ｓ４）、端末措置１０−Ｕは投稿画像ＰＩを中心としたコンテンツのリクエストを情報処理装置１００に送信する（Ｓ５）。情報処理装置１００は、領域Ａ１〜Ａ４の表示内容を決定し（Ｓ６）、Ｓ５で送信されたリクエストに係る投稿画像ＰＩ（選択投稿画像）の第３特徴情報Ｆ３を記憶部１６０から読み出し、選択投稿画像の第３特徴情報Ｆ３に第３特徴情報Ｆ３が類似する他の投稿画像を抽出し、ランキング処理を行う（Ｓ７）。これによって、情報処理装置１００は、領域Ａ５の表示内容を決定する（Ｓ８）。情報処理装置１００は、Ｓ６〜Ｓ８で決定した表示内容を含むコンテンツを端末装置１０−Ｕに送信する（Ｓ９）。端末装置１０−Ｕは、受信したコンテンツを表示（再生）する（Ｓ１０）。
【００４２】
このようにすることで、処理時間を要する特徴情報生成部１３０の処理をオンラインで（利用者Ｕが投稿画像ＰＩを選択する度に、という意味である）行う必要が無くなり、利用者Ｕから見たコンテンツの遅延が生じるのを防止することができる。なお、新たな投稿画像ＰＩが次々に投稿画像情報１６２に追加されるような状況であれば、特徴情報生成部１３０の処理をオンラインで行うようにしてリアルタイム性を確保してもよい。その場合であっても、生成済の第３特徴情報Ｆ３は順次、投稿画像情報１６２に追加されるようにすると好適である。
【００４３】
［ランキング処理］
以下、抽出部１４０により抽出された投稿画像ＰＩについてのランキング処理の具体例について説明する。ランキング処理とは、順位付けと絞込みとのうち一方または双方を含む処理である。なおランキング処理部１０８と抽出部１４０の機能が明確に分かれている必要は無く、これらは一体のソフトウェアとして構成されてもよい。
【００４４】
（１）：ランキング処理部１０８は、例えば、利用者Ｕによって選択された投稿画像ＰＩとタグの一致度合いが高い投稿画像ＰＩを高く順位付けし、ｈ枚の投稿画像ＰＩに絞り込む。
【００４５】
（２）：ランキング処理部１０８は、例えば、投稿画像情報１６２におけるクリック数が多い順に投稿画像ＰＩを順位付けしてもよい。
【００４６】
（３）：ランキング処理部１０８は、例えば、投稿者と閲覧者の地理的近さを反映して投稿画像ＰＩを順位付けしてもよい。「投稿者と閲覧者の地理的近さ」とは、投稿画像ＰＩの投稿者であるスタイリストＳの属するヘアサロンの場所と、閲覧者である利用者Ｕの居場所（端末装置１０−Ｕから送信される位置情報、あるいは、予め利用者情報１６８に格納されている利用者Ｕの居住地、行動圏を使用する）との距離の近さ、を意味する。距離は直線距離でもよいし、地図サービスを参照して得られる道なり距離でもよい。
【００４７】
（４）：ランキング処理部１０８は、利用者Ｕの趣味・嗜好情報に基づいて投稿画像ＰＩを順位付けし、ｈ枚の投稿画像ＰＩに絞り込んでもよい。ランキング処理部１０８は、利用者Ｕの趣味・嗜好情報と投稿画像ＰＩに付与されるタグとの関係が明確な場合（同一の文言または同一とみなされる別称を使用している）は、趣味・嗜好情報に対応するタグが付与された投稿画像ＰＩを上位に順位付けする。また、ランキング処理部１０８は、投稿画像情報１６２の被趣味・嗜好情報を参照し、利用者Ｕの趣味・嗜好情報と同じ趣味・嗜好情報を有する他の利用者により選択された回数が多い投稿画像ＰＩを上位に順位付けしてもよい。
【００４８】
（５）：ランキング処理部１０８は、同じスタイリストＳによって投稿された複数の投稿画像ＰＩが、ｈ枚の投稿画像ＰＩに含まれないように投稿画像ＰＩを順位付けしてもよい。この場合、ランキング処理部１０８は、例えば、同じスタイリストＳによって投稿された複数の投稿画像ＰＩが上位に残った場合、最も順位の高い投稿画像ＰＩを残して他の投稿画像ＰＩの順位を強制的に下げる。
【００４９】
［その他の実施形態］
上記説明において、第２学習済モデル１７２は、教師データを出力するように学習された一次学習済モデルの一部を削除したものであるとした。これに代えて、第２学習済モデル１７２は、同じ利用者によって選択された投稿画像ＰＩの類似度が高くなるように、或いは、連続して同じ利用者によって選択された投稿画像ＰＩの類似度が高くなるように、学習されたものであってもよい。同じ利用者によって選択された投稿画像ＰＩの情報や、連続して同じ利用者によって選択された投稿画像ＰＩの情報は、コンテンツのアクセスログを解析することで取得可能である。また、情報処理装置１００は、同じ利用者によって選択された投稿画像ＰＩの類似度が高くなるように、或いは、連続して同じ利用者によって選択された投稿画像ＰＩの類似度が高くなるように、バッチ処理などによって第３特徴情報Ｆ３を補正してもよい。
【００５０】
また、第３特徴情報Ｆ３は第１特徴情報Ｆ１および第２特徴情報Ｆ２を結合したものとしたが、第３特徴情報Ｆ３は第１特徴情報Ｆ１そのもの、或いは第１特徴情報Ｆ１に何らかの情報を付加したものであってもよく、第３特徴情報Ｆ３は第２特徴情報Ｆ２そのもの、或いは第２特徴情報Ｆ２に何らかの情報を付加したものであってもよい。また、第３特徴情報Ｆ３は第１特徴情報Ｆ１および第２特徴情報Ｆ２に基づく特徴情報に対して別の特徴情報を付加したものであってもよいし、第１特徴情報Ｆ１および第２特徴情報Ｆ２に基づく特徴情報に対して一部の削除、変更等を施したものであってもよい。
【００５１】
また、類似画像抽出部１２０またはランキング処理部１０８は、付与されたタグの一致度合いを反映させて投稿画像ＰＩを抽出または順位付けしてもよい。例えば、第３特徴情報生成部１３８が、第１特徴情報Ｆ１および第２特徴情報Ｆ２に対して、付与されたタグの一致度合いを示す特徴情報を更に結合して第３特徴情報Ｆ３を生成してもよい。
【００５２】
情報処理装置は、コンテンツ提供装置とは別体の装置であってもよい。また、情報処理装置は、一部がコンテンツ提供装置に包含され、他の一部がコンテンツ提供装置と別体の装置に包含されてもよい。例えば、特徴情報生成部１３０が別体の装置に包含され、抽出部１４０がコンテンツ提供装置に包含されてもよい。この場合の別体の装置は、コンテンツ提供装置から投稿画像ＰＩを取得すると、これについて第３特徴情報Ｆ３を生成し、コンテンツ提供装置に返す。コンテンツ提供装置の抽出部１４０は、上記説明した実施形態と同様に第３特徴情報Ｆ３が選択投稿画像に類似する投稿画像ＰＩを抽出する。
【００５３】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００５４】
１０  端末装置
１００  情報処理装置
１０４  コンテンツ提供部
１０８  ランキング処理部
１１０  学習処理部
１２０  類似画像抽出部
１３０  特徴情報生成部
１３２  髪領域特定部
１３４  色分布情報生成部
１３６  第２特徴情報生成部
１３８  第３特徴情報生成部
１４０  抽出部
１６０  記憶部
１７０  第１学習済モデル
１７２  第２学習済モデル
【要約】
【課題】利用者の意図に沿って髪型の類似する画像を抽出すること。
【解決手段】人の少なくとも頭部を撮像した画像に基づいて、ヘアカラーとヘアスタイルとのうち少なくとも一方を表す特徴情報を生成する特徴情報生成部と、予め複数の人の前記画像に基づいて生成されている前記特徴情報のうち、比較対象者の前記画像について生成された前記特徴情報と類似する前記特徴情報を抽出し、抽出した前記特徴情報の元となった前記画像を抽出する抽出部と、を備える情報処理装置。
【選択図】図１【図１】
0006982675.tif 000002
【図２】
0006982675.tif 000003
【図３】
0006982675.tif 000004
【図４】
0006982675.tif 000005
【図５】
0006982675.tif 000006
【図６】
0006982675.tif 000007
【図７】
0006982675.tif 000008
【図８】
0006982675.tif 000009
【図９】
0006982675.tif 000010
【図１０】
0006982675.tif 000011