(57)【特許請求の範囲】
【請求項１】
ａ）検索対象画像から画像特徴量を抽出し、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する工程と、
ｂ）ユーザから音象徴語を含む検索条件の入力を受け付け、前記音象徴語から形容詞対評価値を生成する工程と、
を順不同に含み、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する工程と、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する工程と
を備えたことを特徴とする画像検索方法。
【請求項２】
請求項１に記載の画像検索方法において、
前記検索対象画像から画像特徴量を抽出する処理は、全ての検索対象画像について画像特徴量を抽出する
ことを特徴とする画像検索方法。
【請求項３】
前記検索条件には、前記音象徴語以外のキーワードである一般用語が含まれ、
請求項１に記載の画像検索方法において、
前記検索対象画像から画像特徴量を抽出する処理は、前記検索条件が示す前記音象徴語及び前記一般用語を検索して特定される範囲内の検索対象画像について画像特徴量を抽出する
ことを特徴とする画像検索方法。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像検索方法において、
前記検索結果として提供された前記検索対象画像の中からユーザによる画像の選択を受け付ける工程と、
選択を受け付けた前記画像について検索条件との整合性に関するユーザによる評価を受け付ける工程と、
前記評価が所定以上である場合に、前記画像から画像特徴量を抽出する工程と、
前記形容詞対評価値および前記画像から抽出した画像特徴量に基づいて前記係数を更新する工程と
を備えたことを特徴とする画像検索方法。
【請求項５】
請求項４に記載の画像検索方法において、
前記係数を更新する工程は、ユーザ毎に前記係数を更新し、ユーザ毎に固有の前記係数を生成する
ことを特徴とする画像検索方法。
【請求項６】
ユーザから画像の入力を受け付ける工程と、
前記画像から画像特徴量を抽出する工程と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する工程と、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する工程と、
前記音象徴語を生成する工程は、
音象徴語表現データの項目値をランダムに発生させることで初期音象徴語群を生成する工程と、
生成された前記初期音象徴語群のそれぞれの音象徴語表現データに基づき、定量評価データベースを参照して形容詞対評価値を算出する工程と、
前記画像から抽出した画像特徴量から生成された形容詞対評価値と、前記音象徴語表現データから生成された形容詞対評価値に基づいて、これらの間の類似度を算出する工程と、
前記類似度に基づいて前記初期音象徴語群より所定の類似度以上の音象徴語を選択する工程とを有する音象徴語取得方法。
【請求項７】
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける工程と、
前記評価用画像から画像特徴量を抽出する工程と、
前記音象徴語から形容詞対評価値データを生成する工程と、
前記画像特徴量および前記形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する工程と
を備えたことを特徴とする係数生成方法。
【請求項８】
コンピュータを、
検索対象画像から画像特徴量を抽出する手段、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する手段、
ユーザから音象徴語を含む検索条件の入力を受け付ける手段、
前記音象徴語から形容詞対評価値を生成する手段、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する手段、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する手段
として機能させる画像検索プログラム。
【請求項９】
コンピュータを、
ユーザから画像の入力を受け付ける手段、
前記画像から画像特徴量を抽出する手段、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する手段、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する手段、
として機能させる音象徴語取得プログラムであって、
前記音象徴語を生成する手段は、
音象徴語表現データの項目値をランダムに発生させることで初期音象徴語群を生成し、
生成された前記初期音象徴語群のそれぞれの音象徴語表現データに基づき、定量評価データベースを参照して形容詞対評価値を算出し、
前記画像から抽出した画像特徴量から生成された形容詞対評価値と、前記音象徴語表現データから生成された形容詞対評価値に基づいて、これらの間の類似度を算出し、
前記類似度に基づいて前記初期音象徴語群より所定の類似度以上の音象徴語を選択するように
機能させる音象徴語取得プログラム。
【請求項１０】
コンピュータを、
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける手段、
前記評価用画像から画像特徴量を抽出する手段、
前記音象徴語から形容詞対評価値データを生成する手段、
前記画像特徴量および前記形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する手段
として機能させる係数生成プログラム。
【請求項１１】
検索対象画像から画像特徴量を抽出する手段と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する手段と、
ユーザから音象徴語を含む検索条件の入力を受け付ける手段と、
前記音象徴語から形容詞対評価値を生成する手段と、
前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する手段と、
前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する手段と
を備えたことを特徴とする画像検索装置。
【請求項１２】
ユーザから画像の入力を受け付ける手段と、
前記画像から画像特徴量を抽出する手段と、
任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記画像から抽出した画像特徴量から形容詞対評価値を生成する手段と、
前記画像から画像特徴量を経て抽出した形容詞対評価値から音象徴語を生成する手段とを備え、
前記音象徴語を生成する手段は、
音象徴語表現データの項目値をランダムに発生させることで初期音象徴語群を生成し、
生成された前記初期音象徴語群のそれぞれの音象徴語表現データに基づき、定量評価データベースを参照して形容詞対評価値を算出し、
前記画像から抽出した画像特徴量から生成された形容詞対評価値と、前記音象徴語表現データから生成された形容詞対評価値に基づいて、これらの間の類似度を算出し、
前記類似度に基づいて前記初期音象徴語群より所定の類似度以上の音象徴語を選択する音象徴語取得装置。
【請求項１３】
評価用画像に対してユーザが想起した音象徴語の入力を受け付ける手段と、
前記評価用画像から画像特徴量を抽出する手段と、
前記音象徴語から形容詞対評価値データを生成する手段と、
前記画像特徴量および前記形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数を生成する手段と
を備えたことを特徴とする係数生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索方法、音象徴語取得方法、係数生成方法、プログラムおよび装置に関する。
【背景技術】
【０００２】
近年、インターネット上で商品を検索し購入することのできるサービスを提供している企業が多いが、ユーザはインターネット上で商品に触れたり、味わったり、匂いをかぐことはできない。そのため、実際の商品の質感や五感に関わる多様な情報がわからないことにより、インターネット上での商品の購入を躊躇する消費者も少なからず存在する。
【０００３】
また、製品開発において、どのようなデザインを素材に施すか、製品の見た目の質感づくりが重要な産業分野（装飾、服飾分野のみならず、自動車の内装、家電等も含む）が多いが、見た目の質感等が消費者にどのように受け取られるかを事前に把握することは難しい。そのため、製品開発における指針を定めにくい。
【０００４】
一方、本願発明者は、音象徴語であるオノマトペの客観的なイメージの情報を提示するオノマトペのイメージ評価システム、イメージ評価装置、およびイメージ評価用プログラムを提案している（特許文献１等を参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５３５４４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、商品の検索の場面や製品開発の場面等において、商品・製品の見た目の質感等を容易にかつ客観的に知り得ないことに起因して種々の問題があった。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、音象徴語を介在させることで、商品・製品の画像から、見た目の質感等を容易にかつ客観的に取り扱えるようにすることにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、ａ）検索対象画像から画像特徴量を抽出し、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数及び前記画像特徴量と前記形容詞対評価値との関係に基づき、前記検索対象画像から抽出した画像特徴量から前記検索対象画像毎に形容詞対評価値を生成する工程と、ｂ）ユーザから音象徴語を含む検索条件の入力を受け付け、前記音象徴語から形容詞対評価値を生成する工程と、を順不同に含み、前記音象徴語について生成された形容詞対評価値と、前記検索対象画像毎に生成された形容詞対評価値との類似度を判定する工程と、前記類似度に基づいて対応する前記検索対象画像を検索結果として提供する工程とを備える。
【発明の効果】
【０００９】
本発明にあっては、音象徴語を介在させることで、商品・製品の画像から、見た目の質感等を容易にかつ客観的に取り扱うことができる。
【図面の簡単な説明】
【００１０】
【図１】係数生成システムの構成例を示す図である。
【図２】端末装置等のハードウェア構成例を示す図である。
【図３】係数生成の処理例を示すシーケンス図である。
【図４】画像特徴量抽出の処理例を示す図である。
【図５】ＧＬＣＭの２ピクセル間の関係および定義を示す図である。
【図６】ＧＬＣＭの画像特徴量の式を示す図である。
【図７】形容詞対評価の処理例を示すフローチャートである。
【図８】形態データベースの例を示す図である。
【図９】解析項目の例を示す図である。
【図１０】オノマトペ表現データのデータ構造例を示す図である。
【図１１】定量評価データベースの例を示す図である。
【図１２】形容詞対評価値の算出式の例を示す図である。
【図１３】形容詞対評価値の例を示す図である。
【図１４】関係分析の処理例を示す図である。
【図１５】係数データの例を示す図である。
【図１６】画像検索システムの構成例を示す図（その１）である。
【図１７】画像検索の処理例を示すシーケンス図（その１）である。
【図１８】形容詞対評価値推定の処理例を示す図である。
【図１９】類似度判定の処理例を示す図である。
【図２０】画像検索システムの構成例を示す図（その２）である。
【図２１】画像検索の処理例を示すシーケンス図（その２）である。
【図２２】画像検索システムの構成例を示す図（その３）である。
【図２３】画像検索の処理例を示すシーケンス図（その３）である。
【図２４】音特徴語取得システムの構成例を示す図である。
【図２５】音象徴語取得の処理例を示すシーケンス図である。
【図２６】音象徴語生成の処理例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態につき説明する。なお、音象徴語の例としてオノマトペを用いた場合について説明するが、オノマトペ以外の音象徴語についても適用できることはいうまでもない。ここで、音象徴語とは、言語音が五感（聴覚、視覚、触覚、嗅覚、味覚）印象と共感覚的に結びつく語をいう。そして、オノマトペは、音象徴語の一種であり、擬音語・擬態語の総称である。
【００１２】
＜係数生成＞
係数生成は、後述する画像検索システムおよび音象徴語取得システムにおいて、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを事前に生成する処理である。
【００１３】
図１は係数生成システムの構成例を示す図である。図１において、端末装置１と係数生成装置２はインターネットやＬＡＮ（Local Area Network）等のネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置１は入力を行うためのタブレットのようなもので、処理負担がかかる係数生成装置２はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置１を使用する者からもユーザを募って係数生成が行える利点がある。更に、本実施形態では、端末装置１と係数生成装置２がネットワークにより接続される例を示しているが、端末装置１の機能と係数生成装置２の機能を１台のコンピュータで構成することもできる。なお、係数生成は、係数生成装置２の運用者側が行うものであるため、端末装置１のユーザとしては、運用者側の者または運用者側に協力する者が中心となる。
【００１４】
端末装置１は、画像表示部１０１と着目箇所入力部１０２と画像表示部１０３と音象徴語入力部１０４とを備えている。係数生成装置２は、対象画像データ保持部２０１と画像提供部２０２と画像切出部２０３と評価用画像データ保持部２０４と画像提供部２０５と音象徴語登録部２０６と音象徴語入力データ保持部２０７と画像特徴量抽出部２０８と画像特徴量データ保持部２０９と形容詞対評価部２１０と形容詞対評価値データ保持部２１１と関係分析部２１２と係数データ保持部２１３とを備えている。
【００１５】
端末装置１の画像表示部１０１は、係数生成装置２側で用意された対象画像（質感等の評価に用いる評価用画像の他に背景等の他の画像が含まれている可能性のある画像）をユーザに対して表示する機能を有している。
【００１６】
着目箇所入力部１０２は、表示された対象画像のうち質感等の判断においてユーザが重要と考えた着目箇所の指定の入力を受け付け、着目箇所を示すデータを係数生成装置２に送信する機能を有している。なお、予め質感等の判断において重要と考えられる部分の画像を評価用画像として用意できる場合には、画像表示部１０１と着目箇所入力部１０２は不要となる。
【００１７】
画像表示部１０３は、評価用画像をユーザに対して表示する機能を有している。音象徴語入力部１０４は、表示された評価用画像に対してユーザが想起した音象徴語の入力を受け付け、音象徴語のデータを係数生成装置２に送信する機能を有している。
【００１８】
係数生成装置２の対象画像データ保持部２０１は、係数の生成のための被験者実験に用いる種々の対象画像データを保持するものである。対象画像データは、多様な質感等をカバーするものを用意する。なお、対象画像データは、質感等を評価する評価用画像以外の背景等の画像を含んでいてもよいものとする。
【００１９】
画像提供部２０２は、対象画像データ保持部２０１に保持されている対象画像データを端末装置１の画像表示部１０１に提供する機能を有している。
【００２０】
画像切出部２０３は、端末装置１の着目箇所入力部１０２から入力した着目箇所のデータに基づいて対象画像データから切り出し処理を行い、評価用画像データを画像ＩＤを付して評価用画像データ保持部２０４に登録する機能を有している。
【００２１】
なお、画像切出部２０３の機能を端末装置１側に設け、端末装置１側で着目箇所に基づいて対象画像データから切り出し処理を行うようにしてもよい。また、予め質感等の判断において重要と考えられる部分の画像を評価用画像として用意できる場合には、対象画像データ保持部２０１、画像提供部２０２および画像切出部２０３は不要となる。
【００２２】
画像提供部２０５は、評価用画像データ保持部２０４に保持されている評価用画像データを端末装置１の画像表示部１０３に提供する機能を有している。
【００２３】
音象徴語登録部２０６は、端末装置１の音象徴語入力部１０４から入力した音象徴語データを画像ＩＤと対応付けて音象徴語入力データ保持部２０７に登録する機能を有している。
【００２４】
画像特徴量抽出部２０８は、所定のタイミング（例えば、被験者実験が完了した時点等）において、評価用画像データ保持部２０４に登録されている評価用画像データのそれぞれについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部２０９に登録する機能を有している。
【００２５】
形容詞対評価部２１０は、所定のタイミングにおいて、音象徴語入力データ保持部２０７に登録されている音象徴語データのそれぞれについて形容詞対評価を行い、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部２１１に登録する機能を有している。
【００２６】
関係分析部２１２は、所定のタイミングにおいて、画像特徴量データ保持部２０９に登録されている複数の画像特徴量データと形容詞対評価値データ保持部２１１に登録されている複数の形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成し、係数データを係数データ保持部２１３に登録する機能を有している。
【００２７】
図２は端末装置１等（端末装置１、係数生成装置２）のハードウェア構成例を示す図であり、一般的なコンピュータの構成である。図２において、端末装置１等は、システムバス１００１に接続されたＣＰＵ（Central Processing Unit）１００２、ＲＯＭ（Read Only Memory）１００３、ＲＡＭ（Random Access Memory）１００４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）１００５を備えている。また、端末装置１等は、Ｉ／Ｆ（Interface）１００６と、Ｉ／Ｆ１００６に接続された、Ｉ／Ｏ（Input/Output Device）１００７、ＨＤＤ（Hard Disk Drive）／フラッシュメモリ１００８、ＮＩＣ（Network Interface Card）１００９と、Ｉ／Ｏ１００７に接続されたモニタ１０１０、キーボード１０１１、マウス１０１２等を備えている。端末装置１がスマートフォンである場合、モニタ１０１０、キーボード１０１１、マウス１０１２は、タッチパネルとなる。Ｉ／Ｏ１００７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。
【００２８】
図１に示した端末装置１の画像表示部１０１、着目箇所入力部１０２、画像表示部１０３および音象徴語入力部１０４は、図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。同様に、図１に示した係数生成装置２の画像提供部２０２、画像切出部２０３、画像提供部２０５、音象徴語登録部２０６、画像特徴量抽出部２０８、形容詞対評価部２１０および関係分析部２１２は、図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図１に示した係数生成装置２の対象画像データ保持部２０１、評価用画像データ保持部２０４、音象徴語入力データ保持部２０７、画像特徴量データ保持部２０９、形容詞対評価値データ保持部２１１および係数データ保持部２１３は、図２のＨＤＤ／フラッシュメモリ１００８等により実現される。
【００２９】
図３は係数生成の処理例を示すシーケンス図である。図３において、係数生成装置２の画像提供部２０２は、対象画像データ保持部２０１に保持されている対象画像データを端末装置１の画像表示部１０１に提供する（ステップＳ１０１）。端末装置１の画像表示部１０１は、係数生成装置２の画像提供部２０２から対象画像データを取得すると、ユーザに対して対象画像の表示を行う（ステップＳ１０２）。
【００３０】
端末装置１の着目箇所入力部１０２は、表示された対象画像のうち質感等の判断においてユーザが重要と考えた着目箇所の入力（ステップＳ１０３）を受け付け、受け付けた着目箇所の指定のデータを係数生成装置２に送信する（ステップＳ１０４）。係数生成装置２の画像切出部２０３は、端末装置１の着目箇所入力部１０２から着目部分の指定のデータを受信すると、対象画像データから切り出し処理を行い（ステップＳ１０５）、切り出された評価用画像データを画像ＩＤを付して評価用画像データ保持部２０４に登録する（ステップＳ１０６）。
【００３１】
なお、ここまでの処理は、予め質感等の判断において重要と考えられる部分の画像を評価用画像として評価用画像データ保持部２０４に用意できる場合には、不要となる。
【００３２】
次いで、係数生成装置２の画像提供部２０５は、評価用画像データ保持部２０４に保持されている評価用画像データを端末装置１の画像表示部１０３に提供する（ステップＳ１０７）。端末装置１の画像表示部１０３は、係数生成装置２の画像提供部２０５から評価用画像データを取得すると、ユーザに対して評価用画像の表示を行う（ステップＳ１０８）。
【００３３】
端末装置１の音象徴語入力部１０４は、表示された評価用画像に対してユーザが想起した音象徴語の入力（ステップＳ１０９）を受け付け、入力された音象徴語のデータを係数生成装置２に送信する（ステップＳ１１０）。係数生成装置２の音象徴語登録部２０６は、端末装置１の音象徴語入力部１０４から音象徴語のデータを受信すると、音象徴語データを画像ＩＤと対応付けて音象徴語入力データ保持部２０７に登録する（ステップＳ１１１）。
【００３４】
各ユーザに対し、過度な負担とならない範囲で、複数の画像に対して上記の処理を繰り返す。なお、対象画像を用いる場合に、着目箇所を入力させて評価用画像の切り出しを行い、続いて評価用画像について音象徴語の入力を行わせるものとして説明したが、着目箇所以外の画像がユーザの印象形成に与える影響をなくすため、着目箇所を入力させる処理と、切り出し処理の行われた評価用画像について音象徴語を入力させる処理とを分離し、異なるユーザまたは異なるタイミングで処理を行うようにしてもよい。
【００３５】
その後、所定のタイミング（例えば、被験者実験が完了した時点等）で、係数生成装置２の画像特徴量抽出部２０８は、評価用画像データ保持部２０４に登録されている評価用画像データのそれぞれについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部２０９に登録する（ステップＳ１１２）。処理の詳細については後述する。
【００３６】
次いで、形容詞対評価部２１０は、音象徴語入力データ保持部２０７に登録されている音象徴語データのそれぞれについて形容詞対評価を行い、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部２１１に登録する（ステップＳ１１３）。処理の詳細については後述する。
【００３７】
次いで、関係分析部２１２は、画像特徴量データ保持部２０９に登録されている画像特徴量データと形容詞対評価値データ保持部２１１に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成し、係数データを係数データ保持部２１３に登録する（ステップＳ１１４）。処理の詳細については後述する。
【００３８】
［画像特徴量抽出］
図４は係数生成装置２の画像特徴量抽出部２０８による画像特徴量抽出の処理例を示す図である。図４において、画像特徴量抽出部２０８は、画像ＩＤにより識別される評価用画像データのそれぞれに対し、一例として、ＧＬＣＭ（Gray-Level Co-occurrence Matrix：同時生起行列）による画像特徴量データを抽出する。ＧＬＣＭの画像特徴量データには、
・Angular Second Moment（均一性）
・Auto Correlation
・Cluster Prominence（明暗の変化の強さ，エッジの強さ）
・Cluster Shade（エッジの強さ）
・Contrast（コントラスト）
・Correlation（複雑さや周期性）
・Dissimilarity
・Entropy（乱雑さ）
・Homogeneity（不均一性，局所一様性）
・Inverse Difference Moment（局所一様性）
等が含まれており、多次元のベクトル量となる。なお、後の解析においては、質感等の判断に有効なものだけを用いることができ、用いないデータについては抽出しなくてもよい。
【００３９】
ＧＬＣＭは、図５（ａ）に示すように、画像の濃度ｉの点（ピクセル）から一定の変位δ＝（ｒ，θ）だけ離れた点（ピクセル）の濃度がｊである確率ｐ（ｉ，ｊ），（ｉ，ｊ＝０，１，２，・・，ｎ−１。ｎは１以上の自然数。）を要素とする同時生起行列を求め、その同時生起行列から特徴量を計算し、それらの値によってテクスチャを特徴付ける手法である。
【００４０】
角度θは一般的には４５°とし、距離ｒは適切な値を設定する。この場合、μｘ、μｙ、σｘ、σｙを図５（ｂ）のように定義することで、ＧＬＣＭの各特徴量は図６に示す式によって算出される。なお、Ｎｇは画素値である。
【００４１】
なお、ＧＬＣＭによる画像特徴量データの抽出について説明したが、画像から質感等に係る特徴量を抽出できる手法であれば利用することができる。例えば、ＳＩＦＴ（Scale Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）を用いることもできる。
【００４２】
［形容詞対評価］
図７は係数生成装置２の形容詞対評価部２１０による形容詞対評価の処理例を示すフローチャートである。なお、ここでは音象徴語をオノマトペとして説明する。
【００４３】
図７において、形容詞対評価部２１０は、音象徴語入力データ保持部２０７から取得したオノマトペのそれぞれに対し、形態データベースを参照して各オノマトペを形態解析し、オノマトペ表現データを生成する（ステップＳ１１）。
【００４４】
図８は形態データベースの例を示す図であり、「ひらがな・カタカナ」と「音素」と「形態」とが対応付けて保持されている。なお、母音、子音、小母音の音素の例を示しているが、その他に、拗音付き子音（/ky/等）、促音（/Q/）、撥音（/N/）、長音（/R/）、「り」（/ri/）等が存在する。
【００４５】
形容詞対評価部２１０は、各オノマトペの文字列を先頭から形態データベースの形態データと照合し、音素および形態を得る。
【００４６】
また、形容詞対評価部２１０は、図９に示すような解析項目に従い、オノマトペの１モーラ目と２モーラ目について「子音」「濁音」「拗音」「母音」「小母音」「特殊音（２モーラ目は「特殊語尾」）」について図示のカテゴリのいずれか（例えば、「濁音」については「なし」「濁音」「半濁音」のいずれか）および反復の有無を解析し、図１０に示すような形式のオノマトペ表現データを生成する。なお、「モーラ」とは、日本語リズムにおける拍数を指すものである。例えば、「ズキッ」というオノマトペの場合、「ズ」が第１モーラ、「キッ」が第２モーラに該当する。
【００４７】
次いで、図７に戻り、形容詞対評価部２１０は、生成された各オノマトペ表現データに基づき、定量評価データベースを参照して定量評価（複数の形容詞対評価尺度に対する形容詞対評価値の算出）を行う（ステップＳ１２）。
【００４８】
図１１は定量評価データベースの例を示す図であり、評価尺度となる形容詞対（「暖かい−冷たい」等）に対し、オノマトペ表現データの項目（アイテム）に対応した数値が設定されている。なお、図示のデータは一部を示したものであり、評価尺度や項目は図示のものに限られず、２モーラ目についての数値も存在する。定量評価データは、想定される音素をカバーする複数のオノマトペについて、人間による心理実験を行い、各評価尺度に対する感じ方の回答から数量化理論Ｉ類等の手法により各項目のカテゴリによる影響を数値化したものである。
【００４９】
そして、形容詞対評価部２１０は、図１２（ａ）に示すような、音韻の項目に対応した変数Ｘ１〜Ｘ１３の値を図１１に示した定量評価データから評価尺度毎に取得し、図１２（ｂ）に示すような数式により評価尺度毎の評価値Ｙを算出する。ｎはモーラ数であり、Constは定数項である。例えば、評価尺度「暖かい−冷たい」につき、１モーラ目の子音が「カ行」である場合、変数Ｘ１は「0.16」となる。なお、数式において、モーラ数ｎで割り、「×２」としているのは、２モーラ以上で構成されるオノマトペが入力された場合でも、２モーラと同等に正規化され、出力される評価値の範囲を補正するためである。
【００５０】
図１３は形容詞対評価値の例を示す図であり、４３個の形容詞対（評価尺度）について評価値が対応付けられたものとなっている。
【００５１】
［関係分析］
図１４は係数生成装置２の関係分析部２１２による関係分析の処理例を示す図である。図１４において、関係分析部２１２は、画像ＩＤにより対応付けられた画像毎の画像特徴量データと形容詞対評価値データの複数の組に基づき、一例として、重回帰分析により、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する。
【００５２】
ここでは、図４に示したＧＬＣＭによる画像特徴量のうち、
・Angular Second Moment（均一性）
・Contrast（コントラスト）
・Dissimilarity
・Entropy（乱雑さ）
・Homogeneity（不均一性，局所一様性）
・Inverse Difference Moment（局所一様性）
を用いる場合について示しており、それらに対応する係数ａ１〜ａ６と定数Constantが係数データとなる。
【００５３】
図１５は係数データの例を示す図であり、４３個の形容詞対について、係数ａ１〜ａ６と定数Const.が算出された状態を示している。
【００５４】
なお、重回帰分析を用いる場合について説明したが、多次元のベクトル量の間の関係を分析し、一方のベクトル量から他方のベクトル量に変換するための係数を得られる手法であれば利用することができる。
【００５５】
また、後段で形容詞対評価値同士による類似度判定を行うことに対応して、画像特徴量から形容詞対評価値を求める係数を算出しているが、後段の類似度判定を画像特徴量により行う場合には、求める係数は、形容詞対評価値から画像特徴量を求める係数となる。
【００５６】
＜音象徴語による画像検索（その１）＞
図１６は画像検索システムの構成例を示す図であり、上述した処理により生成された係数データを用い、オノマトペ等の音象徴語による画像検索を可能としたものである。
【００５７】
図１６において、端末装置１と画像検索装置３はネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置１は入力を行うためのタブレットのようなもので、処理負担がかかる画像検索装置３はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置１でも画像検索を行える利点がある。更に、本実施形態では、端末装置１と画像検索装置３がネットワークにより接続される例を示しているが、端末装置１の機能と画像検索装置３の機能を１台のコンピュータで構成することもできる。なお、音象徴語による画像検索は、一般ユーザに対して提供されるサービスであるため、端末装置１のユーザとしては、一般ユーザが中心となる。
【００５８】
端末装置１は、クエリ入力部１０５と結果表示部１０６とを備えている。画像検索装置３は、係数データ保持部３０１と検索対象画像データ保持部３０２と画像特徴量抽出部３０３と形容詞対評価値推定部３０４と検索対象形容詞対評価値データ保持部３０５と形容詞対評価部３０６と類似度判定部３０７と結果提供部３０８とを備えている。
【００５９】
端末装置１のクエリ入力部１０５は、ユーザから音象徴語を含むクエリ（検索条件）の入力を受け付け、クエリのデータを画像検索装置３に送信する機能を有している。結果表示部１０６は、画像検索装置３から応答される画像検索結果をユーザに対して表示する機能を有している。
【００６０】
画像検索装置３の係数データ保持部３０１は、図１における係数生成装置２の係数データ保持部２１３に対応しており、係数生成装置２と画像検索装置３を同一の情報処理装置で構成する場合には共用することができる。係数生成装置２と画像検索装置３を別の情報処理装置で構成する場合には、係数生成装置２の係数データ保持部２１３から複製された係数データが係数データ保持部３０１に保持される。
【００６１】
図１６において、検索対象画像データ保持部３０２は、検索対象画像データを保持するものである。検索対象画像データは、検索の対象となる画像のデータを予め収集したものである。
【００６２】
画像特徴量抽出部３０３は、所定のタイミング（例えば、所定の期間が経過した時点等）で、検索対象画像データ保持部３０２に登録されている検索対象画像データのそれぞれについて画像特徴量抽出を行う機能を有している。
【００６３】
形容詞対評価値推定部３０４は、画像特徴量抽出部３０３によって抽出された画像特徴量データに係数データ保持部３０１の係数データを適用して形容詞対評価値を推定（算出）し、画像ＩＤと対応付けて形容詞対評価値データを検索対象形容詞対評価値データ保持部３０５に登録する機能を有している。
【００６４】
形容詞対評価部３０６は、端末装置１のクエリ入力部１０５から受信したクエリに含まれる音象徴語について形容詞対評価を行い、形容詞対評価値データを類似度判定部３０７に引き渡す機能を有している。
【００６５】
類似度判定部３０７は、形容詞対評価部３０６により生成されたクエリの形容詞対評価データと、検索対象形容詞対評価値データ保持部３０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間で類似度を判定し、類似度が上位の所定数の検索対象画像に対応する画像ＩＤを結果提供部３０８に出力する機能を有している。
【００６６】
結果提供部３０８は、類似度判定部３０７により判定された上位の所定数の検索対象画像を含む画像検索結果を生成し、端末装置１の結果表示部１０６に提供する機能を有している。
【００６７】
端末装置１のハードウェア構成は図２に示した通りであり、クエリ入力部１０５および結果表示部１０６は図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。画像検索装置３のハードウェア構成も図２に示したものと同様である。図１６に示した画像検索装置３の画像特徴量抽出部３０３、形容詞対評価値推定部３０４、形容詞対評価部３０６、類似度判定部３０７および結果提供部３０８は、図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図１６に示した係数データ保持部３０１、検索対象画像データ保持部３０２および検索対象形容詞対評価値データ保持部３０５は、図２のＨＤＤ／フラッシュメモリ１００８等により実現される。
【００６８】
図１７は画像検索の処理例を示すシーケンス図である。図１７において、画像検索装置３の画像特徴量抽出部３０３は、所定のタイミング（例えば、所定の期間が経過した時点等）で、検索対象画像データ保持部３０２に登録されている検索対象画像データのそれぞれについて画像特徴量抽出を行い、画像特徴量データを形容詞対評価値推定部３０４に引き渡す（ステップＳ２０１）。画像特徴量抽出の詳細は、図４〜図６で説明したのと同様である。
【００６９】
図１７において、形容詞対評価値推定部３０４は、画像特徴量抽出部３０３によって抽出された画像特徴量データに係数データ保持部３０１の係数データを適用して形容詞対評価値を推定（算出）し、画像ＩＤと対応付けて形容詞対評価値データを検索対象形容詞対評価値データ保持部３０５に登録する（ステップＳ２０２）。
【００７０】
図１８は形容詞対評価値推定部３０４による形容詞対評価値推定の処理例を示す図である。形容詞対評価値推定部３０４は、一例として、図１４に示した重回帰分析による係数の生成の際の定義式に、検索対象画像データのそれぞれに対応する画像特徴量データと係数データ保持部３０１に登録されている係数データを代入することで、形容詞対評価値データを算出している。形容詞対評価値データは、図１３に示したのと同様に、複数の形容詞対に対応する評価値からなるものである。
【００７１】
図１７に戻り、その後、画像検索サービスの提供中において、端末装置１のクエリ入力部１０５は、ユーザによる音象徴語を含むクエリの入力（ステップＳ２０３）を受け付け、クエリのデータを画像検索装置３に送信する（ステップＳ２０４）。
【００７２】
画像検索装置３の形容詞対評価部３０６は、端末装置１のクエリ入力部１０５から受信したクエリのデータから、クエリに含まれる音象徴語について形容詞対評価を行い、生成した形容詞対評価値データを類似度判定部３０７に引き渡す（ステップＳ２０５）。形容詞対評価の詳細は、図７〜図１３で説明したのと同様である。
【００７３】
図１７において、類似度判定部３０７は、形容詞対評価部３０６により生成されたクエリの形容詞対評価データと、検索対象形容詞対評価値データ保持部３０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間で類似度を判定し、上位の所定数の検索対象画像に対応する画像ＩＤを結果提供部３０８に出力する（ステップＳ２０６）。
【００７４】
図１９は類似度判定部３０７による類似度判定の処理例を示す図であり、クエリに含まれる音象徴語から生成された形容詞対評価値データと、検索対象形容詞対評価値データ保持部３０５に登録されている複数（多数）の検索対象形容詞対評価値データとの間でコサイン類似度（ベクトルの内積）を算出することにより類似度データを取得している。
【００７５】
図１７に戻り、結果提供部３０８は、類似度判定部３０７により判定された類似度が上位の所定数の検索対象画像を含む画像検索結果を生成し（ステップＳ２０７）、端末装置１の結果表示部１０６に提供する（ステップＳ２０８）。これを受け、結果表示部１０６は、ユーザに対して画像検索結果を表示する（ステップＳ２０９）。
【００７６】
以上の処理により、端末装置１のユーザは、オノマトペ等の音象徴語をクエリとして、その音象徴語が表す質感等に合致した画像を検索することができる。
【００７７】
＜音象徴語による画像検索（その２）＞
図２０は画像検索システムの他の構成例を示す図であり、予め検索対象画像データの全てについて形容詞対評価値データを生成しておくのではなく、ユーザからのクエリに基づいて特定される範囲内の検索対象画像について形容詞対評価値データを生成するようにしたものである。これにより、予め想定される検索対象画像データを収集する必要がなくなるとともに、形容詞対評価値データの事前の生成も不要となる。
【００７８】
図２０の画像検索装置３の構成は、図１６の構成と比較して、検索対象画像データ保持部３０２、画像特徴量抽出部３０３、形容詞対評価値推定部３０４および検索対象形容詞対評価値データ保持部３０５が除去されている。また、新たに、検索インデックスデータ保持部３０９、検索部３１０、画像取得部３１１、画像特徴量抽出部３１２および形容詞対評価値推定部３１３が追加されている。その他の構成は図１６と同様である。検索部３１０、画像取得部３１１、画像特徴量抽出部３１２および形容詞対評価値推定部３１３は、図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。検索インデックスデータ保持部３０９は、図２のＨＤＤ／フラッシュメモリ１００８等により実現される。
【００７９】
図２０において、画像検索装置３の検索インデックスデータ保持部３０９は、ユーザが入力したクエリに含まれるキーワードと、当該キーワードを含んだ記事等が存在するアドレス情報（ＵＲＩ等）を対応付けて保持するものである。
【００８０】
検索部３１０は、ユーザが入力したクエリに含まれる、主に音象徴語以外の一般用語（例えば、クエリ「ふわふわした布団」について「布団」の部分等）に基づいて検索インデックスデータ保持部３０９から検索を行う機能を有している。
【００８１】
画像取得部３１１は、検索部３１０による検索で特定される範囲内から、ネットワークを介して画像データ（一般的には複数）を取得する機能を有している。
【００８２】
画像特徴量抽出部３１２は、画像取得部３１１により取得された画像データのそれぞれについて画像特徴量抽出を行う機能を有している。
【００８３】
形容詞対評価値推定部３１３は、画像特徴量抽出部３１２によって抽出されたそれぞれの画像特徴量データに係数データ保持部３０１の係数データを適用して形容詞対評価値を推定（算出）する機能を有している。
【００８４】
図２１は画像検索の処理例を示すシーケンス図である。図２１において、画像検索サービスの提供中において、端末装置１のクエリ入力部１０５は、ユーザによる音象徴語を含むクエリの入力（ステップＳ２１１）を受け付け、クエリのデータを画像検索装置３に送信する（ステップＳ２１２）。
【００８５】
画像検索装置３の形容詞対評価部３０６は、端末装置１のクエリ入力部１０５から受信したクエリのデータから、クエリに含まれる音象徴語について形容詞対評価を行い、生成した形容詞対評価値データを類似度判定部３０７に引き渡す（ステップＳ２１３）。形容詞対評価の詳細は、図７〜図１３で説明したのと同様である。
【００８６】
図２１において、検索部３１０は、ユーザが入力したクエリに含まれる、主に音象徴語以外の一般用語に基づいて検索インデックスデータ保持部３０９から検索を行い、検索確度の高い所定数の検索結果（アドレス情報）を画像取得部３１１に引き渡す（ステップＳ２１４）。
【００８７】
画像取得部３１１は、検索部３１０による検索で特定される範囲内から、ネットワークを介して画像データ（一般的には複数）を取得し、取得した画像データを画像特徴量抽出部３１２に引き渡す（ステップＳ２１５）。
【００８８】
画像特徴量抽出部３１２は、画像取得部３１１により取得された画像データのそれぞれについて画像特徴量抽出を行い、生成した画像特徴量データを形容詞対評価値推定部３１３に引き渡す（ステップＳ２１６）。画像特徴量抽出の詳細は、図４〜図６で説明したのと同様である。
【００８９】
図２１において、形容詞対評価値推定部３１３は、画像特徴量抽出部３１２によって抽出されたそれぞれの画像特徴量データに係数データ保持部３０１の係数データを適用して形容詞対評価値を推定（算出）し、類似度判定部３０７に引き渡す（ステップＳ２１７）。形容詞対評価値推定の詳細は、図１８で説明したのと同様である。なお、いったん生成した形容詞対評価値データは、再利用のために画像検索装置３内に保持しておき、既に形容詞対評価値データが生成されている画像については形容詞対評価値データの生成を省略することができる。
【００９０】
図２１において、類似度判定部３０７は、形容詞対評価部３０６により生成されたクエリの形容詞対評価データと、形容詞対評価値推定部３１３から取得した複数の形容詞対評価値データとの間で類似度を判定し、類似度が上位の所定数の検索対象画像を特定する情報を結果提供部３０８に出力する（ステップＳ２１８）。類似度判定の詳細は、図１９で説明したのと同様である。
【００９１】
図２１において、結果提供部３０８は、類似度判定部３０７により判定された上位の所定数の検索対象画像を含む画像検索結果を生成し（ステップＳ２１９）、端末装置１の結果表示部１０６に提供する（ステップＳ２２０）。これを受け、結果表示部１０６は、ユーザに対して画像検索結果を表示する（ステップＳ２２１）。
【００９２】
＜音象徴語による画像検索（その３）＞
図２２は画像検索システムの更に他の構成例を示す図であり、画像検索の延長として、ユーザに特徴範囲や評価の入力をしてもらい、それに基づいて係数データの更新を行うようにしたものである。これにより、ユーザの利用を通じて、係数データをより正確なものとし、画像検索の精度を高めることができる。
【００９３】
図２２の端末装置１は、図１６の構成と比較して、新たに、画像選択部１０７、特徴範囲選択部１０８および評価選択部１０９が追加されている。また、図２２の画像検索装置３は、図１６の構成と比較して、新たに、更新可否判定部３１４、選択画像取得部３１５、画像切出部３１６、画像特徴量抽出部３１７、画像特徴量データ保持部３１８、形容詞対評価値取得部３１９、形容詞対評価値データ保持部３２０、関係分析部３２１および係数更新部３２２が追加されている。
【００９４】
図２２において、端末装置１の画像選択部１０７は、検索結果として提供された検索対象画像の中からユーザによる画像の選択を受け付け、画像検索装置３の選択画像取得部３１５に送信する機能を有している。
【００９５】
特徴範囲選択部１０８は、ユーザが選択した画像について、クエリの音象徴語との関連が高い特徴的な部分がある場合に、ユーザから特徴範囲の選択を受け付け、画像検索装置３の画像切出部３１６に送信する機能を有している。
【００９６】
評価選択部１０９は、ユーザが選択した画像について、検索条件との整合性に関するユーザによる評価を受け付け、画像検索装置３の更新可否判定部３１４に送信する機能を有している。
【００９７】
画像検索装置３の更新可否判定部３１４は、端末装置１の評価選択部１０９から取得したユーザの評価が所定以上（例えば、５段階の場合は上位の２段階以上）の場合に、係数データの更新を行うと判定する機能を有している。
【００９８】
選択画像取得部３１５は、更新可否判定部３１４により係数データの更新を行うと判定された場合に、端末装置１の画像選択部１０７から取得した画像の選択に基づき、検索対象画像データ保持部３０２から該当する画像データを取得する機能を有している。
【００９９】
画像切出部３１６は、端末装置１の特徴範囲選択部１０８から取得した特徴範囲に基づき、選択画像取得部３１５により取得した画像データから切出処理を行う機能を有している。
【０１００】
画像特徴量抽出部３１７は、画像切出部３１６により切り出された画像データについて画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部３１８に登録する機能を有している。なお、画像特徴量データ保持部３１８は、図１の画像特徴量データ保持部２０９に対応するものであり、現在の係数データの算出の基礎になった画像特徴量データが蓄積されたものである。係数生成装置２と画像検索装置３を同一の情報処理装置で構成する場合には共用することができる。係数生成装置２と画像検索装置３を別の情報処理装置で構成する場合には、係数生成装置２の画像特徴量データ保持部２０９から複製された画像特徴量データが画像特徴量データ保持部３１８に保持される。
【０１０１】
形容詞対評価値取得部３１９は、選択された画像の検索において用いられたクエリに含まれる音象徴語についての形容詞対評価値データを形容詞対評価部３０６から取得し、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部３２０に登録する機能を有している。なお、形容詞対評価値データ保持部３２０は、図１の形容詞対評価値データ保持部２１１に対応するものであり、現在の係数データの算出の基礎になった形容詞対評価値データが蓄積されたものである。係数生成装置２と画像検索装置３を同一の情報処理装置で構成する場合には共用することができる。係数生成装置２と画像検索装置３を別の情報処理装置で構成する場合には、係数生成装置２の形容詞対評価値データ保持部２１１から複製された形容詞対評価値データが形容詞対評価値データ保持部３２０に保持される。
【０１０２】
関係分析部３２１は、画像特徴量データ保持部３１８に登録されている画像特徴量データと形容詞対評価値データ保持部３２０に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する機能を有している。
【０１０３】
係数更新部３２２は、関係分析部３２１により新たに生成された係数データに基づき、係数データ保持部３０１の係数データを更新する機能を有している。
【０１０４】
図２３は画像検索の処理例を示すシーケンス図である。図２３において、ステップＳ２３１〜Ｓ２３９の処理は、図１７のステップＳ２０１〜Ｓ２０９の処理と同様であるため、その説明は省略する。
【０１０５】
図２３において、端末装置１の画像選択部１０７、特徴範囲選択部１０８および評価選択部１０９は、検索結果として提供された検索対象画像の中からユーザによる画像の選択、ユーザから特徴範囲の選択（選択された場合に限る）、および検索条件との整合性に関するユーザによる評価を受け付け（ステップＳ２４０）、画像検索装置３の選択画像取得部３１５に該当するデータを送信する（ステップＳ２４１）。
【０１０６】
画像検索装置３の更新可否判定部３１４は、端末装置１の評価選択部１０９から取得したユーザの評価が所定以上（例えば、５段階の場合は上位の２段階以上）の場合に、係数データの更新を行うと判定する（ステップＳ２４２）。更新を行わないと判定した場合は、以下の処理は行わない。ここでは、更新を行うと判定したものとして、続く処理について説明する。
【０１０７】
選択画像取得部３１５は、端末装置１の画像選択部１０７から取得した画像の選択に基づき、検索対象画像データ保持部３０２から該当する画像データを取得する（ステップＳ２４３）。
【０１０８】
画像切出部３１６は、端末装置１の特徴範囲選択部１０８から取得した特徴範囲に基づき、選択画像取得部３１５により取得した画像データから切出処理を行う（ステップＳ２４４）。なお、特徴範囲が選択されていない場合、切出処理は行わない。
【０１０９】
画像特徴量抽出部３１７は、画像切出部３１６により切り出された画像データ（切出処理が行われない場合は元の画像データ）について画像特徴量抽出を行い、画像ＩＤと対応付けて画像特徴量データを画像特徴量データ保持部３１８に登録する（ステップＳ２４５）。画像特徴量抽出の詳細は、図４〜図６で説明したのと同様である。
【０１１０】
図２３において、形容詞対評価値取得部３１９は、選択された画像の検索において用いられたクエリに含まれる音象徴語についての形容詞対評価値データを形容詞対評価部３０６から取得し、画像ＩＤと対応付けて形容詞対評価値データを形容詞対評価値データ保持部３２０に登録する（ステップＳ２４６）。
【０１１１】
関係分析部３２１は、画像特徴量データ保持部３１８に登録されている画像特徴量データと形容詞対評価値データ保持部３２０に登録されている形容詞対評価値データから、任意の画像特徴量と任意の形容詞対評価値との間の数値関係を示す係数データを生成する（ステップＳ２４７）。係数データ生成の詳細は、図１４および図１５で説明したのと同様である。
【０１１２】
図２３において、係数更新部３２２は、関係分析部３２１により新たに生成された係数データに基づき、係数データ保持部３０１の係数データを更新する（ステップＳ２４８）。
【０１１３】
なお、図１６に示した画像検索装置３に適用した例について説明したが、同様の機能を図２０の画像検索装置３に適用してもよい。なお、ユーザには本実施形態の画像検索システムを利用する際にユーザ固有のログインＩＤが与えられる場合、そのログインＩＤに紐付けてユーザ毎に更新された係数データが作成されるようにすることで、利用すればするほど、そのユーザの印象に合った結果が検索されるようになる。
【０１１４】
＜画像からの音象徴語取得＞
図２４は音特徴語取得システムの構成例を示す図であり、端末装置１のユーザが、任意の画像に対し、その画像が表す質感等に合致したオノマトペ等の音象徴語を取得することができるようにしたものである。
【０１１５】
図２４において、端末装置１と音特徴語取得装置４はネットワークを介して相互に通信が行えるようになっている。本実施形態では、処理を高速に行うため、端末装置１は入力を行うためのタブレットのようなもので、処理負担がかかる音特徴語取得装置４はサーバのようなもので構成している。また、クライアントとサーバによるシステム構成をとることにより、効果として、携帯端末のような処理能力が小さい端末装置１でも音象徴語の取得を行える利点がある。更に、本実施形態では、端末装置１と音特徴語取得装置４がネットワークにより接続される例を示しているが、端末装置１の機能と音特徴語取得装置４の機能を１台のコンピュータで構成することもできる。なお、画像からの音象徴語取得は、製品開発を行う者に対して提供されるサービスが中心となるため、端末装置１のユーザとしては、製品開発を行う者が中心となる。ただし、一般ユーザに提供されるサービスとしてもよいことはいうまでもない。
【０１１６】
端末装置１は、画像入力部１１０と結果表示部１１１とを備えている。音特徴語取得装置４は、係数データ保持部４０１と画像特徴量抽出部４０２と形容詞対評価値推定部４０３と音象徴語生成部４０４と結果提供部４０５とを備えている。
【０１１７】
端末装置１の画像入力部１１０は、ユーザが質感等を表す音象徴語を取得したいと考える対象となる画像データの入力を受け付け、画像データを音特徴語取得装置４の画像特徴量抽出部４０２に送信する機能を有している。
【０１１８】
結果表示部１１１は、音特徴語取得装置４の結果提供部４０５からの、対応する音象徴語を含む取得結果を受信し、ユーザに対して表示する機能を有している。
【０１１９】
音特徴語取得装置４の係数データ保持部４０１は、図１における係数生成装置２の係数データ保持部２１３に対応しており、係数生成装置２と音特徴語取得装置４を同一の情報処理装置で構成する場合には共用することができる。係数生成装置２と音特徴語取得装置４を別の情報処理装置で構成する場合には、係数生成装置２の係数データ保持部２１３から複製された係数データが係数データ保持部４０１に保持される。
【０１２０】
画像特徴量抽出部４０２は、端末装置１の画像入力部１１０から取得した画像データについて画像特徴量抽出を行う機能を有している。
【０１２１】
形容詞対評価値推定部４０３は、画像特徴量抽出部４０２によって抽出された画像特徴量データに係数データ保持部４０１の係数データを適用して形容詞対評価値を推定（算出）する機能を有している。
【０１２２】
音象徴語生成部４０４は、形容詞対評価値推定部４０３によって推定された形容詞対評価値に基づいて音象徴語（一般的には複数）を生成する機能を有している。
【０１２３】
結果提供部４０５は、音象徴語生成部４０４によって生成された音象徴語から取得結果を生成し、端末装置１の結果表示部１１１に送信する機能を有している。
【０１２４】
端末装置１のハードウェア構成は図２に示した通りであり、画像入力部１１０および結果表示部１１１は図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。音特徴語取得装置４のハードウェア構成も図２に示したものと同様である。図２４に示した画像特徴量抽出部４０２、形容詞対評価値推定部４０３、音象徴語生成部４０４および結果提供部４０５は、図２のＣＰＵ１００２におけるコンピュータプログラムの実行により実現される。図２４に示した係数データ保持部４０１は、図２のＨＤＤ／フラッシュメモリ１００８等により実現される。
【０１２５】
図２５は音象徴語取得の処理例を示すシーケンス図である。図２５において、端末装置１の画像入力部１１０は、ユーザが質感等を表す音象徴語を取得したいと考える、対象となる画像データの入力（ステップＳ３０１）を受け付け、画像データを音特徴語取得装置４の画像特徴量抽出部４０２に送信する（ステップＳ３０２）。
【０１２６】
音特徴語取得装置４の画像特徴量抽出部４０２は、端末装置１の画像入力部１１０から取得した画像データについて画像特徴量抽出を行う（ステップＳ３０３）。画像特徴量抽出の詳細は、図４〜図６で説明したのと同様である。
【０１２７】
図２５において、形容詞対評価値推定部４０３は、画像特徴量抽出部４０２によって抽出された画像特徴量データに係数データ保持部４０１の係数データを適用して形容詞対評価値を推定（算出）する（ステップＳ３０４）。形容詞対評価の詳細は、図７〜図１３で説明したのと同様である。
【０１２８】
図２５において、音象徴語生成部４０４は、形容詞対評価値推定部４０３によって推定された形容詞対評価値に基づいて音象徴語（一般的には複数）を生成する（ステップＳ３０５）。音象徴語生成の詳細については後述する。
【０１２９】
結果提供部４０５は、音象徴語生成部４０４によって生成された音象徴語から取得結果を生成し（ステップＳ３０６）、端末装置１の結果表示部１１１に送信する（ステップＳ３０７）。端末装置１の結果表示部１１１は、音特徴語取得装置４の結果提供部４０５からの、対応する音象徴語を含む取得結果を受信し、ユーザに対して表示する（ステップＳ３０８）。
【０１３０】
［音象徴語生成］
図２６は音象徴語生成部４０４による音象徴語生成の処理例を示すフローチャートである。なお、ここでは音象徴語をオノマトペとして説明する。
【０１３１】
図２６において、音象徴語生成部４０４は、オノマトペ表現データ（図１０）の項目値をランダムに発生させることで初期オノマトペ群を生成する（ステップＳ３１）。オノマトペ表現データの所定の項目値については固定の値としてもよい。これにより、生成されるオノマトペの範囲に制約を設けることができる。
【０１３２】
次いで、音象徴語生成部４０４は、生成された初期オノマトペ群のそれぞれのオノマトペ表現データに基づき、定量評価データベース（図１１）を参照して形容詞対評価を行う（ステップＳ３２）。形容詞対評価の詳細は、図１１〜図１３で説明したのと同様である。
【０１３３】
図２６において、音象徴語生成部４０４は、予め形容詞対評価値推定部４０３から取得したユーザの入力した画像に対応する形容詞対評価値と、オノマトペ表現データから生成された形容詞対評価値に基づき、両者間で類似度を算出する（ステップＳ３３）。類似度算出の詳細は、図１９で説明したのと同様である。
【０１３４】
図２６において、音象徴語生成部４０４は、算出された類似度が所定値を超えるオノマトペが所定数以上あるか否か判断し、存在しない場合は最適化を行う（ステップＳ３４）。最適化は、例えば、交叉、突然変異、淘汰の過程を経る。交叉の一例としての一点交叉は、類似度の高いものほど選択される確率を高く設定した確率に基づいて、２つのオノマトペを選択し、無作為に選ばれた先頭からの位置を境に、それぞれのオノマトペの当該位置の前と後とを交換して合成して新たな２つのオノマトペを生成することで行う。突然変異は、所定の確率で発生させ（常に発生するわけではない）、オノマトペ表現データ上の無作為に決定される１もしくは複数の位置の値を無作為に変化させて新たなオノマトペを生成することで行う。淘汰は、類似度の低いオノマトペを削除することで行う。そして、再び形容詞対評価（ステップＳ３２）に戻る。
【０１３５】
また、音象徴語生成部４０４は、算出された類似度が所定値を超えるオノマトペが所定数以上ある場合は処理を終了し、類似度の高い上位所定数のオノマトペを出力する（ステップＳ３５）。
【０１３６】
＜総括＞
以上説明したように、本実施形態によれば、オノマトペ等の音象徴語を介在させることで、商品・製品の画像から、見た目の質感等を容易にかつ客観的に取り扱うことができる。
【０１３７】
より具体的には、「つるつる」「きらきら」「ふわふわ」「もちもち」「ぱふぱふ」といった多様なオノマトペで直感的に表現される見た目や手触りに関する所望の質感等をもつ商品の検索が可能になり、インターネット市場での購買行動の活性効果が期待される。また、見た目や手触りのみならず、「さくさくした食感」「ふわーっとした香」のように味や匂いもオノマトペで表されることが多いが、香りや味、食感が重要な商品の購買行為も促進することができる。
【０１３８】
ものづくりの現場において、試作した製品の画像に対応するオノマトペを知ることができるため、消費者が直感的にオノマトペで求める質感等の実現において貢献が期待できる。消費者が何を求めているかを把握する消費者とのコミュニケーションの円滑化や、製品開発者間でのコミュニケーションの円滑化も図ることができる。
【０１３９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【０１４０】
１          端末装置
１０１      画像表示部
１０２      着目箇所入力部
１０３      画像表示部
１０４      音象徴語入力部
１０５      クエリ入力部
１０６      結果表示部
１０７      画像選択部
１０８      特徴範囲選択部
１０９      評価選択部
１１０      画像入力部
１１１      結果表示部
２          係数生成装置
２０１      対象画像データ保持部
２０２      画像提供部
２０３      画像切出部
２０４      評価用画像データ保持部
２０５      画像提供部
２０６      音象徴語登録部
２０７      音象徴語入力データ保持部
２０８      画像特徴量抽出部
２０９      画像特徴量データ保持部
２１０      形容詞対評価部
２１１      形容詞対評価値データ保持部
２１２      関係分析部
２１３      係数データ保持部
３          画像検索装置
３０１      係数データ保持部
３０２      検索対象画像データ保持部
３０３      画像特徴量抽出部
３０４      形容詞対評価値推定部
３０５      検索対象形容詞対評価値データ保持部
３０６      形容詞対評価部
３０７      類似度判定部
３０８      結果提供部
３０９      検索インデックスデータ保持部
３１０      検索部
３１１      画像取得部
３１２      画像特徴量抽出部
３１３      形容詞対評価値推定部
３１４      更新可否判定部
３１５      選択画像取得部
３１６      画像切出部
３１７      画像特徴量抽出部
３１８      画像特徴量データ保持部
３１９      形容詞対評価値取得部
３２０      形容詞対評価値データ保持部
３２１      関係分析部
３２２      係数更新部
４          音特徴語取得装置
４０１      係数データ保持部
４０２      画像特徴量抽出部
４０３      形容詞対評価値推定部
４０４      音象徴語生成部
４０５      結果提供部
【図１】
0006607552.tif 000002
【図２】
0006607552.tif 000003
【図３】
0006607552.tif 000004
【図４】
0006607552.tif 000005
【図５】
0006607552.tif 000006
【図６】
0006607552.tif 000007
【図７】
0006607552.tif 000008
【図８】
0006607552.tif 000009
【図９】
0006607552.tif 000010
【図１０】
0006607552.tif 000011
【図１１】
0006607552.tif 000012
【図１２】
0006607552.tif 000013
【図１３】
0006607552.tif 000014
【図１４】
0006607552.tif 000015
【図１５】
0006607552.tif 000016
【図１６】
0006607552.tif 000017
【図１７】
0006607552.tif 000018
【図１８】
0006607552.tif 000019
【図１９】
0006607552.tif 000020
【図２０】
0006607552.tif 000021
【図２１】
0006607552.tif 000022
【図２２】
0006607552.tif 000023
【図２３】
0006607552.tif 000024
【図２４】
0006607552.tif 000025
【図２５】
0006607552.tif 000026
【図２６】
0006607552.tif 000027