(57)【要約】【課題】画像からユーザ所望の料理を精度良く検索する。【解決手段】算出部１２Ｂは、第１画像の第１特徴量を算出する。決定部１２Ｃは、第１情報を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する。第１表示制御部１２Ｄは、決定した複数の料理名および該料理名の各々に対応するカテゴリを表示部１４Ａに表示する。受付部１２Ｅは、表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。検索部１２Ｆは、第１情報に含まれる料理名の内、該料理名に対応するカテゴリと受け付けた料理名に対応する受け付けたカテゴリとの第２類似度が第２閾値以上の料理名を検索する。第２表示制御部１２Ｇは、検索した料理名を表示部１４Ａに表示する。【選択図】図１
2016177637.tif 000002
【特許請求の範囲】
【請求項１】
料理を含む第１画像を取得する取得部と、
前記第１画像の第１特徴量を算出する算出部と、
料理を含む第２画像と、前記第２画像の第２特徴量と、前記第２画像に含まれる料理の料理名と、料理を予め定めた分類規則で複数のカテゴリに分類した前記カテゴリと、を予め対応づけた第１情報を検索し、前記第１特徴量との第１類似度が第１閾値以上の複数の前記第２特徴量の各々に対応する前記料理名、および該料理名の各々に対応する前記カテゴリを決定する決定部と、
決定した複数の前記料理名および該料理名の各々に対応する前記カテゴリを表示部に表示する第１表示制御部と、
表示された複数の前記料理名および該料理名の各々に対応する前記カテゴリの内、少なくとも１つの前記料理名および該料理名に対応する少なくとも１つの前記カテゴリの選択を受け付ける受付部と、
前記第１情報に含まれる前記料理名の内、該料理名に対応する前記カテゴリと受け付けた前記料理名に対応する受け付けた前記カテゴリとの第２類似度が第２閾値以上の前記料理名を検索する検索部と、
検索した前記料理名を前記表示部に表示する第２表示制御部と、
を備える画像検索装置。
【請求項２】
前記受付部は、
表示された複数の前記料理名および該料理名の各々に対応する前記カテゴリの内、少なくとも１つの前記料理名および該料理名に対応する少なくとも１つの前記カテゴリの選択を受け付けると共に、選択を受け付けた前記カテゴリの第１重み付け値を更に受け付け、
前記検索部は、
前記第１情報に含まれる前記料理名の内、該料理名に対応する前記カテゴリと受け付けた前記料理名に対応する受け付けた前記カテゴリとの類似度に前記第１重み付け値を乗算した第１乗算値を前記第２類似度とし、該第２類似度が前記第２閾値以上の前記料理名を検索する、
請求項１に記載の画像検索装置。
【請求項３】
前記受付部は、
表示された複数の前記料理名の内、選択を受け付けた前記料理名の料理を含む前記第２画像の第２重み付け値を更に受け付け、
前記検索部は、
前記第１情報に含まれる前記料理名の内、該料理名に対応する前記第２画像と受け付けた前記料理名の料理を含む前記第２画像との類似度に前記第２重み付け値を乗算した第２乗算値と、前記第１乗算値と、を乗算した第３乗算値を前記第２類似度として、該第２類似度が前記第２閾値以上の前記料理名を検索する、
請求項２に記載の画像検索装置。
【請求項４】
前記分類規則は、料理に含まれる食材を含む、請求項１に記載の画像検索装置。
【請求項５】
前記分類規則は、料理に含まれる食材、料理の栄養成分、および対応する料理のレシピ、の少なくとも１つを含む、請求項１に記載の画像検索装置。
【請求項６】
前記第１表示制御部は、前記第１類似度に応じた配置で、決定した複数の前記料理名および該料理名の各々に対応する前記カテゴリを前記表示部に表示する、請求項１に記載の画像検索装置。
【請求項７】
前記第２表示制御部は、前記第２類似度に応じた配置で、検索した前記料理名を前記表示部に表示する、請求項１に記載の画像検索装置。
【請求項８】
料理を含む第１画像を取得するステップと、
前記第１画像の第１特徴量を算出するステップと、
料理を含む第２画像と、前記第２画像の第２特徴量と、前記第２画像に含まれる料理の料理名と、料理を予め定めた分類規則で複数のカテゴリに分類した前記カテゴリと、を予め対応づけた第１情報を検索し、前記第１特徴量との第１類似度が第１閾値以上の複数の前記第２特徴量の各々に対応する前記料理名、および該料理名の各々に対応する前記カテゴリを決定するステップと、
決定した複数の前記料理名および該料理名の各々に対応する前記カテゴリを表示部に表示するステップと、
表示された複数の前記料理名および該料理名の各々に対応する前記カテゴリの内、少なくとも１つの前記料理名および該料理名に対応する少なくとも１つの前記カテゴリの選択を受け付けるステップと、
前記第１情報に含まれる前記料理名の内、該料理名に対応する前記カテゴリと受け付けた前記料理名に対応する受け付けた前記カテゴリとの第２類似度が第２閾値以上の前記料理名を検索するステップと、
検索した前記料理名を前記表示部に表示するステップと、
を含む画像検索方法。
【請求項９】
料理を含む第１画像を取得するステップと、
前記第１画像の第１特徴量を算出するステップと、
料理を含む第２画像と、前記第２画像の第２特徴量と、前記第２画像に含まれる料理の料理名と、料理を予め定めた分類規則で複数のカテゴリに分類した前記カテゴリと、を予め対応づけた第１情報を検索し、前記第１特徴量との第１類似度が第１閾値以上の複数の前記第２特徴量の各々に対応する前記料理名、および該料理名の各々に対応する前記カテゴリを決定するステップと、
決定した複数の前記料理名および該料理名の各々に対応する前記カテゴリを表示部に表示するステップと、
表示された複数の前記料理名および該料理名の各々に対応する前記カテゴリの内、少なくとも１つの前記料理名および該料理名に対応する少なくとも１つの前記カテゴリの選択を受け付けるステップと、
前記第１情報に含まれる前記料理名の内、該料理名に対応する前記カテゴリと受け付けた前記料理名に対応する受け付けた前記カテゴリとの第２類似度が第２閾値以上の前記料理名を検索するステップと、
検索した前記料理名を前記表示部に表示するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、画像検索方法、およびプログラムに関する。
【背景技術】
【０００２】
撮影画像を分析することにより、撮影画像に含まれる料理の料理名を特定することが行われている。例えば、撮影画像から、撮影画像に含まれる料理の色や形を分析することで、料理名を特定することが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１８１７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、料理には、色や形の似ているものが多く、画像からユーザ所望の料理を精度良く検索することは困難であった。
【０００５】
本発明が解決しようとする課題は、画像からユーザ所望の料理を精度良く検索することができる、画像検索装置、画像検索方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施の形態の画像検索装置は、取得部と、算出部と、決定部と、第１表示制御部と、受付部と、検索部と、第２表示制御部と、を備える。取得部は、料理を含む第１画像を取得する。算出部は、前記第１画像の第１特徴量を算出する。決定部は、料理を含む第２画像と、前記第２画像の第２特徴量と、前記第２画像に含まれる料理の料理名と、料理を予め定めた分類規則で複数のカテゴリに分類した前記カテゴリと、を予め対応づけた第１情報を検索し、前記第１特徴量との第１類似度が第１閾値以上の複数の前記第２特徴量の各々に対応する前記料理名、および該料理名の各々に対応する前記カテゴリを決定する。第１表示制御部は、決定した複数の前記料理名および該料理名の各々に対応する前記カテゴリを表示部に表示する。受付部は、表示された複数の前記料理名および該料理名の各々に対応する前記カテゴリの内、少なくとも１つの前記料理名および該料理名に対応する少なくとも１つの前記カテゴリの選択を受け付ける。検索部は、前記第１情報に含まれる前記料理名の内、該料理名に対応する前記カテゴリと受け付けた前記料理名に対応する受け付けた前記カテゴリとの第２類似度が第２閾値以上の前記料理名を検索する。第２表示制御部は、検索した前記料理名を前記表示部に表示する。
【図面の簡単な説明】
【０００７】
【図１】画像検索装置の機能的構成を示すブロック図。
【図２】第１情報のデータ構造の一例を示す図。
【図３】第２情報のデータ構造の一例を示す図。
【図４】画面の推移の一例を示す模式図。
【図５】表示画面の一例を示す模式図。
【図６】画像検索処理の手順の一例を示すフローチャート。
【図７】料理の一例を示す図。
【図８】画面の推移の一例を示す模式図。
【図９】表示画面の一例を示す模式図。
【図１０】画面の推移の一例を示す模式図。
【図１１】検索システムを示す模式図。
【図１２】ハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、画像検索装置、画像検索方法、およびプログラムの一の実施形態を詳細に説明する。
【０００９】
＜第１の実施の形態＞
図１は、本実施の形態の画像検索装置１０の機能的構成を示すブロック図である。画像検索装置１０は、制御部１２と、撮影部１８と、ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部１４と、記憶部１６と、を備える。ＵＩ部１４、記憶部１６、および撮影部１８は、制御部１２に信号授受可能に接続されている。なお、画像検索装置１０は、撮影部１８を備えない構成であってもよい。
【００１０】
本実施の形態では、画像検索装置１０は、制御部１２と、ＵＩ部１４と、記憶部１６と、撮影部１８と、を一体的に備えた携帯型端末である場合を説明する。携帯型端末は、例えば、スマートフォンやタブレット型のＰＣ（パーソナルコンピュータ）等である。なお、画像検索装置１０は、携帯型端末に限られない。また、画像検索装置１０は、撮影部１８、ＵＩ部１４、および記憶部１６の少なくとも１つと、制御部１２と、を別体として構成してもよい。
【００１１】
以下、画像検索装置１０について詳細に説明する。
【００１２】
撮影部１８は、撮影によって、第１画像を得る。
【００１３】
第１画像は、料理を含む画像である。例えば、第１画像は、実際の料理の撮影画像や、料理を掲載した雑誌などの料理部分の撮影画像や、表示装置に表示された料理の撮影画像などである。なお、第１画像は、複数フレームからなる動画像における、１フレームであってもよい。
【００１４】
撮影部１８は、公知のデジタルカメラ、デジタルビデオカメラ等である。撮影部１８は、撮影によって得た第１画像を、制御部１２へ出力する。
【００１５】
記憶部１６は、ハードディスクドライブ装置（ＨＤＤ）や内部メモリ等の記憶媒体である。記憶部１６は、第１情報、第２情報、および各種データを記憶する。
【００１６】
図２は、第１情報のデータ構造の一例を示す図である。第１情報２０は、第２画像と、第２特徴量と、カテゴリと、を予め対応づけた情報である。第１情報２０は、データベースであってもよいが、その形態は限定されない。
【００１７】
第２画像は、料理を含む画像である。第２画像は、第１画像と同様である。但し、第２画像は、予め記憶部１６に記憶されている点が、第１画像と異なる点である。記憶部１６は、複数の第２画像を予め記憶している。
【００１８】
第２特徴量は、対応する第２画像の特徴量である。詳細には、第２特徴量は、対応する第２画像を画像解析することにより得られる数値である。更に詳細には、第２特徴量は、対応する第２画像に含まれる料理の特徴量を示す。すなわち、第２特徴量は、対応する第２画像における料理の領域（以下、料理領域と称する場合がある）を解析することにより得られる数値である。
【００１９】
制御部１２は、例えば、第２画像に含まれる料理領域の輪郭形状を数値化した値を、第２画像の第２特徴量として算出する。すなわち、制御部１２は、第２画像に含まれる料理領域のＨｏＧ特徴量や、第２画像に含まれる料理領域のＳＩＦＴ特徴量、またはこれらの組合せを、第２特徴量として算出する。
【００２０】
なお、制御部１２は、第２画像に含まれる料理領域の輪郭形状を数値化した値に、第２画像に含まれる料理領域の色の特徴を加えた数値を、第２特徴量としてもよい。また、制御部１２は、画像に含まれる料理領域の色の特徴のみを、第２特徴量として算出してもよい。
【００２１】
色の特徴は、料理領域のＲＧＢ色ヒストグラム、料理領域のＹＣｒＣｂカラーヒストグラム、料理領域のＲＧＢの画素値などであるが、これらに限定されない。
【００２２】
そして、制御部１２は、算出した第２特徴量を、算出元の対応する第２画像に対応づけて第１情報２０に登録すればよい。
【００２３】
料理名は、対応する第２画像に含まれる料理の名称を示す。料理名は、例えば、ハンバーグ、カレー、エビチリ、ミートボールなどであるが、これらに限定されない。制御部１２は、例えば、ユーザによるＵＩ部１４の操作指示などによって、第２画像に対応する料理名をＵＩ部１４から受け付け、第１情報２０に登録すればよい。
【００２４】
カテゴリは、料理を予め定めた分類規則で複数のカテゴリに分類したときの、各カテゴリを示す。分類規則は、１つであってもよいし、複数であってもよい。分類規則は、画像から直接的には解析困難な料理の内容で料理を分類するときの規則である。具体的には、分類規則は、例えば、料理に含まれる食材や、料理の栄養成分や、料理のレシピの少なくとも１つである。栄養成分は、例えば、塩分、糖分、脂質、タンパク質、カロリーなどを示す。なお、規則は、料理に含まれる食材や、料理に含まれるアレルギー物質や、宗教や信条等による食べてはいけない食材を更に含んでいてもよい。
【００２５】
すなわち、料理を分類規則「食材」で複数のカテゴリに分類したしたときの各カテゴリは、食材の内容に応じた群となる。また、料理を「カロリー」で複数のカテゴリに分類したときの各カテゴリは、カロリーの値に応じた群となる。同様に、料理を「レシピ」で複数のカテゴリに分類したときの各カテゴリは、料理の作り方に応じた群となる。また、料理を「アレルギー物質」で複数のカテゴリに分類したときの各カテゴリは、料理に含まれるアレルギー物質の種類に応じた群となる。また、料理を「塩分」や「糖分」で複数のカテゴリに分類したときの各カテゴリは、料理に含まれる「塩分」や「糖分」の量に応じた群となる。
【００２６】
本実施の形態では、複数種類の分類規則の各々を用いて、料理を各分類規則に対応する複数のカテゴリに分類する。
【００２７】
図２に示す例では、分類規則として、料理に含まれる食材、料理のカロリー、料理のレシピ、料理に含まれるアレルギー物質、塩分、糖分を用いた場合を示した。しかし、分類規則は、図２に示す形態に限定されない。
【００２８】
なお、分類規則は、料理に含まれる食材を少なくとも含むことが好ましい。また、分類規則は、対応する料理名の料理に含まれる食材、対応する料理名の料理の栄養成分、および対応する料理名の料理のレシピ、の少なくとも１つを含むことが更に好ましい。
【００２９】
図２に示す例では、料理名「ハンバーグ」の料理は、分類規則「食材」で料理を分類した場合には、「牛肉」「豚肉」「玉ねぎ」「卵」「パン粉」「牛乳」の各々のカテゴリに属する。また、料理名「ハンバーグ」の料理は、分類規則「カロリー」で料理を分類した場合には、「４００ｋｃａｌ」のカテゴリに属する。
【００３０】
次に、第２情報について説明する。図３は、第２情報２２のデータ構造の一例を示す図である。第２情報２２は、後述する制御部１２の処理によって、第１画像からユーザ所望の料理として検索された料理を、該ユーザの食べた料理の履歴として示した履歴情報である。
【００３１】
第２情報２２は、ユーザＩＤと、料理名と、料理画像と、時間と、カテゴリと、を対応づけた情報である。なお、第２情報は、データベースであってもよいが、その形態は限定されない。また、第２情報２２は、料理を食した履歴を示す情報であればよく、制御部１２で検索された料理名を少なくとも含む情報であればよい。
【００３２】
ユーザＩＤは、ユーザを識別する情報である。ユーザＩＤは、例えば、画像検索装置１０の所有者または操作者の識別情報である。第２情報２２に含まれる料理名は、後述する制御部１２の処理によって検索された料理名である。料理画像は、後述する制御部１２の処理によって検索された料理名に対応する第２画像または該検索に用いた第１画像である。第２情報２２における時間は、該検索に用いた第１画像の撮影時間である。なお、第２情報２２における時間は、日付と時刻を含んでもよいし、時刻のみであってもよい。また、第２情報２２における時間は、後述する制御部１２によって、対応する料理名の検索された時間であってもよい。第２情報２２におけるカテゴリは、第２情報２２における、後述する制御部１２によって検索された料理名に対応するカテゴリである。
【００３３】
図１に戻り、説明を続ける。ＵＩ部１４は、表示部１４Ａと、入力部１４Ｂと、を備える。表示部１４Ａは、各種画像を表示する。表示部１４Ａは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の公知の表示装置である。
【００３４】
入力部１４Ｂは、ユーザが各種の操作入力を行うための手段である。入力部１４Ｂは、例えば、マウス、ボタン、リモコン、キーボード、および、マイク等の音声認識装置等である。
【００３５】
なお、入力部１４Ｂ及び表示部１４Ａは、一体的に構成されていてもよい。具体的には、入力部１４Ｂ及び表示部１４Ａは、入力機能及び表示機能の双方を備えたＵＩ部１４として構成されてもよい。ＵＩ部１４には、タッチパネル付ＬＣＤ等がある。
【００３６】
制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。制御部１２は、画像検索装置１０の全体を制御する。なお、制御部１２は、ＣＰＵ以外の回路などであってもよい。
【００３７】
制御部１２は、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、第１表示制御部１２Ｄと、受付部１２Ｅと、検索部１２Ｆと、第２表示制御部１２Ｇと、更新部１２Ｈと、通信部１２Ｉと、を備える。取得部１２Ａ、算出部１２Ｂ、決定部１２Ｃ、第１表示制御部１２Ｄ、受付部１２Ｅ、検索部１２Ｆ、第２表示制御部１２Ｇ、更新部１２Ｈ、および通信部１２Ｉの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【００３８】
取得部１２Ａは、第１画像を取得する。本実施の形態では、取得部１２Ａは、撮影部１８から第１画像を取得する。なお、取得部１２Ａは、記憶部１６に予め記憶した第１画像を読取ることで、第１画像を取得してもよい。また、取得部１２Ａは、通信部１２Ｉを介して外部装置から第１画像を取得してもよい。外部装置としては、公知のＰＣや、ＷＥＢサーバ等が挙げられる。
【００３９】
また、取得部１２Ａは、以下の方法で第１画像を取得してもよい。詳細には、まず、取得部１２Ａを、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とする。
【００４０】
コンテンツデータは、番組、及び番組の内容を示すメタデータ等を含むデータである。番組の例としては、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）放送番組、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などの記録媒体やＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）サービスの形態等で配信、販売、配布されている映画・ビデオクリップ、ＷＥＢ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）上で配信されている動画像、カメラや携帯電話で撮影した動画像、ビデオレコーダ、ＨＤＤレコーダ、ＤＶＤレコーダ、録画機能付きＴＶやＰＣなどで録画された録画番組などが挙げられる。メタデータとは、番組の内容を示すデータである。
【００４１】
そして、制御部１２は、コンテンツデータに含まれる番組を表示部１４Ａに表示する。そして、ユーザによる指示によって入力部１４Ｂから画像の取り込みが指示される。すなわち、ユーザは、表示部１４Ａに表示された番組を確認しながら入力部１４Ｂを操作することにより、表示部１４Ａに表示された番組から画像の取り込み指示を入力することができる。
【００４２】
そして、取得部１２Ａでは、該画像の取り込み指示を入力部１４Ｂから受け付けたときに、該画像の取り込み指示の受け付け時に表示部１４Ａに表示されているコマ画像（フレームと称する場合もある）を、第１画像として取得してもよい。また、取得部１２Ａは、該画像の取り込み指示の受け付け時に表示部１４Ａに表示されているコマ画像より前（例えば、数秒前）のコマ画像を、第１画像として取り込んでもよい。
【００４３】
算出部１２Ｂは、取得部１２Ａが取得した第１画像の第１特徴量を算出する。
【００４４】
第１特徴量は、第１画像の特徴量である。詳細には、第１特徴量は、第１画像を画像解析することにより得られる数値である。更に詳細には、第１特徴量は、第１画像に含まれる料理の特徴量を示す。すなわち、第１特徴量は、第１画像における料理領域を画像解析することにより得られる数値である。
【００４５】
算出部１２Ｂは、例えば、第１画像に含まれる料理領域の輪郭形状を数値化した値を、第１画像の第１特徴量として算出する。すなわち、算出部１２Ｂは、第１画像に含まれる料理領域のＨｏＧ特徴量や、第１画像に含まれる料理領域のＳＩＦＴ特徴量、またはこれらの組合せを、第１特徴量として算出する。なお、算出部１２Ｂは、輪郭形状を数値化した値に、第１画像に含まれる料理領域の色の特徴を加えた数値を、第１特徴量としてもよい。
【００４６】
なお、算出部１２Ｂは、上述した第２特徴量と同じ算出方法を用いて第１特徴量を算出する。例えば、第２特徴量が、第２画像に含まれる料理領域の輪郭形状を、ＳＩＦＴ特徴量を用いて数値化した値であるとする。この場合、算出部１２Ｂは、第１画像に含まれる料理領域の輪郭形状を、ＳＩＦＴ特徴量を用いて数値化する。そして、算出部１２Ｂは、この数値化した値を第１特徴量として算出する。
【００４７】
決定部１２Ｃは、第１情報２０を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する。
【００４８】
詳細には、決定部１２Ｃは、まず、第１特徴量を算出部１２Ｂから受け付ける。この第１特徴量は、算出部１２Ｂが第１画像から算出したものである。そして、決定部１２Ｃは、第１情報２０に登録されている複数の第２特徴量の各々と、算出部１２Ｂで算出した第１特徴量と、の類似度である第１類似度を算出する。
【００４９】
例えば、第１特徴量と第２特徴量が一致する場合を類似度「１」とし、第１特徴量と第２特徴量とが予め定めた値以上異なる場合を類似度「０．１」とする。そして、決定部１２Ｃは、第１特徴量と第２特徴量との値が近いほど類似度「０．１」から類似度「１」に向かって値が大きく（高く）なるように、第１類似度を算出する。
【００５０】
具体的には、決定部１２Ｃは、第１特徴量と第２特徴量とのハミング距離、Ａｄａｂｏｏｓｔのような識別手法、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関などを用いて第１類似度を算出する。
【００５１】
そして、決定部１２Ｃは、第１情報２０に登録されている複数の第２特徴量の内、第１特徴量との類似度が第１閾値以上の複数の第２特徴量を検索する。そして、決定部１２Ｃは、検索した複数の第２特徴量の各々に対応する料理名と、この複数の料理名の各々に対応するカテゴリと、を第１情報２０から読取る。そして、決定部１２Ｃは、第１情報２０から読取った、複数の料理名と、この複数の料理名の各々に対応するカテゴリと、を決定する。
【００５２】
決定部１２Ｃは、第１閾値として、予め任意の値を設定すればよい。そして、決定部１２Ｃは、この第１閾値を予め記憶すればよい。なお、決定部１２Ｃは、１つのみの料理名を決定した場合には、第１閾値をすでに設定されている値より小さい値に変更し、複数の料理名を決定するまで、再度、料理名およびカテゴリの決定を行ってもよい。また、第１閾値は、ユーザによるＵＩ部１４の操作指示によって、適宜変更可能としてもよい。
【００５３】
第１表示制御部１２Ｄは、決定部１２Ｃで決定した複数の料理名、および該料理名の各々に対応するカテゴリを表示部１４Ａに表示する。なお、料理名に対応するカテゴリは、第１情報２０における料理名に対応するカテゴリであり、言い換えると、料理名の料理が属するカテゴリである。
【００５４】
第１表示制御部１２Ｄは、複数の料理名、および料理名の各々に対応するカテゴリ、の各々を選択可能に表示部１４Ａに表示する。なお、第１表示制御部１２Ｄは、複数の料理名、および料理名の各々に対応するカテゴリ、の各々を選択可能に表示部１４Ａに表示すればよく、その表示形式は限定されない。例えば、第１表示制御部１２Ｄは、複数の料理名をタイル状に配列させ、各料理名の近傍（例えば、下部、上部、左部、上部など)に、各料理の各々に対応するカテゴリを配置してもよい。また、第１表示制御部１２Ｄは、複数の料理名を表示部１４Ａの表示面の上部から下部に向かって並列に配置し、各料理名の近傍（例えば、下部）に、各料理の各々に対応するカテゴリを配置してもよい。
【００５５】
また、第１表示制御部１２Ｄは、複数の料理名およびカテゴリを、フリップ式切換え、カバー式切換え、リング式切換え、グループ化、などの公知の表示形態で表示してもよい。また、第１表示制御部１２Ｄは、表示部１４Ａに表示された複数の料理名の内の１つが、ユーザによる入力部１４Ｂの指示によって選択されると、選択された料理名、および該料理名に対応するカテゴリを拡大して表示するように制御してもよい。
【００５６】
また、第１表示制御部１２Ｄは、表示部１４Ａに表示された複数の料理名の内の１つが、ユーザによる入力部１４Ｂの指示によって選択されると、選択された料理名に関連する他の料理名の表示領域を強調表示（点滅や色を変えるなど）するように制御してもよい。関連する他の料理名とは、例えば、選択された料理名に対して、第２類似度の近い料理名である。
【００５７】
なお、第１表示制御部１２Ｄは、決定部１２Ｃの決定した複数の料理名およびカテゴリを、第１類似度に応じた配置で表示部１４Ａに表示することが好ましい。例えば、第１表示制御部１２Ｄは、第１類似度の高い順に降順で料理名を表示し、各料理名の近傍に各料理名に対応するカテゴリを表示することが好ましい。また、第１表示制御部１２Ｄは、ユーザのＵＩ部１４の予め定めた操作（例えば、ロングタップ、フリック、ダブルフリック、スワイプ、ダブルクリックなどの操作）により、表示順を切り替えてもよい。例えば、第１表示制御部１２Ｄは、ユーザのＵＩ部１４の予め定めた操作により、第１類似度の高い降順から昇順へ、昇順から降順へ、表示部１４Ａへの料理名およびカテゴリの表示順を切り替えてもよい。
【００５８】
図４は、ＵＩ部１４（表示部１４Ａ）に表示される画面の推移の一例を示す模式図である。
【００５９】
図４（Ａ）は、取得部１２Ａが取得した第１画像３０の一例（第１画像３０Ａ）を示す模式図である。例えば、取得部１２Ａが撮影部１８から第１画像３０Ａを取得する場合、ユーザは、撮影部１８のカメラ部分を目的とする料理の方向に向けて、撮影ボタン３２を操作する。すると、撮影部１８が第１画像３０Ａを撮影し、取得部１２Ａが第１画像３０Ａを取得する。
【００６０】
図４（Ｂ）は、第１表示制御部１２Ｄが表示する、複数の料理名および該料理名の各々に対応するカテゴリを含む表示画面３４の一例（表示画面３４Ａ）を示す模式図である。
【００６１】
例えば、表示画面３４Ａは、決定部１２Ｃが決定した複数の料理名の各々を示す料理名画像３６（３６Ａ〜３６Ｃ）と、各料理名画像３６の料理名の各々に対応するカテゴリを示すカテゴリ画像３８（３８Ａ（３８Ａ１〜３８Ａ３）、３８Ｂ（３８Ｂ１〜３８Ｂ３）、３８Ｃ（３８Ｃ１〜３８Ｃ３））と、検索ボタン４０と、決定ボタン４２と、を含む。
【００６２】
料理名画像３６（３６Ａ〜３６Ｃ）は、決定部１２Ｃで決定した複数の料理名の内の、少なくとも１つをユーザに選択させるための表示領域である。図４（Ｂ）に示す例では、一例として、表示画面３４は、料理名「ハンバーグ」を示す料理名画像３６Ａ、料理名「カレー」を示す料理名画像３６Ｂ、料理名「エビチリ」を示す料理名画像３６Ｃを含む。
【００６３】
ユーザは、表示部１４Ａに表示された料理名画像３６（３６Ａ〜３６Ｃ）の表示領域を操作指示することで、所望の料理名の料理名画像３６（３６Ａ〜３６Ｃ）を選択することができる。
【００６４】
カテゴリ画像３８（３８Ａ（３８Ａ１〜３８Ａ３）、３８Ｂ（３８Ｂ１〜３８Ｂ３）、３８Ｃ（３８Ｃ１〜３８Ｃ３））は、決定部１２Ｃで決定した複数の料理名の各々に対応する、１または複数のカテゴリの内、少なくとも１つをユーザに選択させるための表示領域である。
【００６５】
図４（Ｂ）に示す例では、一例として、表示画面３４Ａは、料理名「ハンバーグ」の料理名画像３６Ａ、料理名「カレー」の料理名画像３６Ｂ、および料理名「エビチリ」の料理名画像３６Ｃの各々の表示領域の下部に、分類規則「食材」のカテゴリ画像３８（３８Ａ１、３８Ｂ１、３８Ｃ１）、分類規則「カロリー」のカテゴリ画像３８（３８Ａ２、３８Ｂ２、３８Ｃ２）、分類規則「レシピ」のカテゴリ画像３８（３８Ａ３、３８Ｂ３、３８Ｃ３）を、カテゴリ画像３８（３８Ａ、３８Ｂ、３８Ｃ）として含む。
【００６６】
ユーザは、表示部１４Ａに表示された料理名画像３６の少なくとも１つを操作指示し、さらに、操作指示した料理名画像３６に対応する複数のカテゴリ画像３８の内の少なくとも１つの表示領域を操作指示することで、操作指示した料理名画像３６の料理名に対応する、所望のカテゴリ３８を選択することができる。
【００６７】
すなわち、ユーザがＵＩ部１４を介してカテゴリ画像３８を選択することで、選択したカテゴリ画像３８の分類規則で分類されたカテゴリが選択されることとなる。例えば、ユーザがＵＩ部１４を介して、料理名画像３６Ａ「ハンバーグ」を選択し、さらに、カテゴリ画像３８Ａ１「食材」を選択したとする。これによって、ユーザは、料理名「ハンバーグ」と、分類規則「食材」で分類された、「ハンバーグ」の属するカテゴリ（具体的には、ハンバーグに含まれる食材の内容である「牛肉」「豚肉」「玉ねぎ」「卵」「パン粉」「牛乳」）を選択したこととなる。
【００６８】
ＵＩ部１４は、ユーザによる選択を受け付けると、選択された料理名、および該料理名に対応する選択されたカテゴリを、制御部１２へ出力する。
【００６９】
検索ボタン４０は、検索部１２Ｆによる検索処理の実行をユーザに指示させるための表示領域である。ユーザは、検索部１２Ｆによる検索処理を実行したい場合、表示画面３４に表示された複数の料理名画像３６の内の少なくとも１つと、複数のカテゴリ画像３８の内の少なくとも１つと、を選択した後に、検索ボタン４０の表示領域を、ＵＩ部１４を介して指示する。これにより、ＵＩ部１４は、検索指示を受付ける。
【００７０】
決定ボタン４２は、第１画像３０に含まれる料理の料理名としてユーザが決定したい所望の料理名画像３６を選択した後に、選択した料理名画像３６の料理名を決定することを指示するときに操作される領域である。ユーザによって決定ボタン４２が操作されると、ＵＩ部１４は、決定指示を受付ける。
【００７１】
なお、第１表示制御部１２Ｄは、カテゴリ画像３８として、分類規則で分類されたカテゴリそのものを選択可能に表示してもよい。図５は、第１表示制御部１２Ｄが表示する、複数の料理名および該料理名の各々に対応するカテゴリを含む表示画面３４の一例（表示画面３４Ｉ）を示す模式図である。
【００７２】
図５に示す表示画面３４Ｉは、図４（Ｂ）に示すカテゴリ画像３８（３８Ａ（３８Ａ１〜３８Ａ３）、３８Ｂ（３８Ｂ１〜３８Ｂ３）、３８Ｃ（３８Ｃ１〜３８Ｃ３））に代えて、カテゴリ画像４８（４８Ａ（４８Ａ１〜４８Ａ６）、４８Ｂ（４８Ｂ１〜４８Ｂ５）、４８Ｃ（４８Ｃ１〜４８Ｃ４））を含む。これらのカテゴリ画像４８は、分類規則「食材」で分類されたカテゴリを示す画像の一例である。この場合、ユーザがＵＩ部１４を介してカテゴリ画像４８を選択することで、選択したカテゴリ画像４８のカテゴリが選択されたこととなる。例えば、ユーザがＵＩ部１４を介して、料理名画像３６Ａ「ハンバーグ」を選択し、さらに、カテゴリ画像４８Ａ１「牛肉」を選択したとする。これによって、ユーザは、料理名「ハンバーグ」と、カテゴリ「牛肉」とを選択したこととなる。ＵＩ部１４は、ユーザによる選択を受け付けると、選択された料理名、および該料理名に対応する選択されたカテゴリを、制御部１２へ出力する。
【００７３】
図１に戻り、説明を続ける。ここで、上述したように、決定部１２Ｃは、第１情報２０を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する。そして、第１特徴量および第２特徴量は、画像（第１画像、第２画像）を画像解析することによって得られる、輪郭形状や色などの特徴量である。このため、決定部１２Ｃは、第１画像に含まれる料理とは、含まれる食材や栄養成分などが異なるにも拘らず、色や輪郭形状の似ている料理の第２画像に対応する料理名を決定する場合がある。例えば、ミートボールとエビチリは、食材や栄養成分などのカテゴリが異なるが、ミートボールの形状および色と、エビチリの形状および色と、は画像解析結果による類似度が高い。このため、第１画像に含まれる料理がミートボールである場合に、決定部１２Ｃが料理名「エビチリ」を決定する場合がある。
【００７４】
そこで、本実施の形態では、決定部１２Ｃは、料理名に加えて、カテゴリを決定する。すなわち、決定部１２Ｃは、第１情報２０を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する。そして、第１表示制御部１２Ｄは、決定した料理名に加えて、料理名の各々に対応するカテゴリを、表示部１４Ａに表示する。
【００７５】
そして、更に、本実施の形態の画像検索装置１０の制御部１２は、受付部１２Ｅと、検索部１２Ｆと、第２表示制御部１２Ｇと、を備える。
【００７６】
受付部１２Ｅは、第１表示制御部１２ＤによってＵＩ部１４（表示部１４Ａ）に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。
【００７７】
すなわち、ユーザは、例えば、図４（Ｂ）に示す表示画面３４Ａを参照しながら、表示された複数の料理名画像３６の内の少なくとも１つを選択する。そして、更に、ユーザは、選択した料理名画像３６に対応するカテゴリ画像３８の少なくとも１つを選択する。
【００７８】
例えば、第１表示制御部１２Ｄによって表示部１４Ａに表示された複数の料理名画像３６によって示される複数の料理名に、ユーザの所望の料理の料理名が含まれていなかったとする。この場合、例えば、ユーザは、所望の料理に似ている料理の料理名画像３６を選択する。そして、さらにユーザは、選択した料理名画像３６について、対応するカテゴリ画像３８の内、所望の料理に似ているカテゴリのカテゴリ画像３８を少なくとも１つ選択する。
【００７９】
所望の料理に似ているカテゴリとは、ユーザ所望の料理の属するカテゴリと同じまたは類似する可能性の高いカテゴリである。
【００８０】
具体的には、ユーザ所望の料理、すなわち、第１画像３０Ａに含まれる料理が、料理名「ミートボール」の料理であったとする。この場合、ユーザは、ＵＩ部１４に表示されている複数の料理名の内、最も料理名「ミートボール」に近いと思われる料理の料理名として、例えば、料理名「ハンバーグ」の料理名画像３６ＡをＵＩ部１４の操作指示により選択する。そして、さらに、選択した料理名「ハンバーグ」に対応するカテゴリ画像３８（３８Ａ１〜３８Ａ３）の内の少なくとも１つを選択する。
【００８１】
すると、ＵＩ部１４は、選択された料理名画像３６に応じた料理名と、および該料理名に対応する選択されたカテゴリ画像３８を示す信号と、を一組として、検索部１２Ｆへ出力する。
【００８２】
なお、ユーザによるＵＩ部１４の操作指示によって、複数の料理名画像３６が選択された場合、ＵＩ部１４は、選択された料理名画像３６に応じた料理名と、該料理名に対応する選択されたカテゴリ画像３８を示す信号と、の複数の組合せを、検索部１２Ｆへ出力することとなる。
【００８３】
また、ユーザによるＵＩ部１４の操作指示によって、１つの料理名画像３６に対して、複数のカテゴリ画像３８が選択されたとする。この場合、ＵＩ部１４は、選択された料理名画像３６に応じた料理名と、該料理名に対応する選択された複数のカテゴリ画像３８の各々を示す信号と、の組合せを、検索部１２Ｆへ出力することとなる。
【００８４】
すると、受付部１２Ｅは、ＵＩ部１４（入力部１４Ｂ）から、ＵＩ部１４（表示部１４Ａ）に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。
【００８５】
詳細には、例えば、受付部１２Ｅは、ＵＩ部１４から、選択された料理名画像３６に応じた料理名と、該料理名に対応する選択されたカテゴリ画像３８を示す信号と、を受け付ける。受付部１２Ｅは、第１情報２０における、受付けた料理名と、受付けたカテゴリ画像３８を示す信号の表す分類規則と、に対応するカテゴリを読取る。これにより、受付部１２Ｅは、ＵＩ部１４（表示部１４Ａ）に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。
【００８６】
次に、検索部１２Ｆは、第１情報２０（図２参照）に含まれる料理名の内、該料理名に対応するカテゴリと、受付部１２Ｅが受け付けた料理名に対応する受け付けたカテゴリと、の第２類似度が第２閾値以上の料理名を検索する。
【００８７】
なお、検索部１２Ｆは、ユーザによるＵＩ部１４の操作指示によって、料理名画像３６と、料理名画像３６に対応するカテゴリ画像３８と、が選択され、更に、検索ボタン４０が操作指示されたときに、上記検索を行ってもよい。
【００８８】
まず、検索部１２Ｆは、受付部１２Ｅで受け付けた、料理名とカテゴリとの組合せを把握する。受付部１２Ｅが複数の料理名を受け付けた場合には、検索部１２Ｆは、受付部１２Ｅで受け付けた、料理名とカテゴリとの複数の組合せを把握する。
【００８９】
そして、検索部１２Ｆは、受付部１２Ｅで受け付けた料理名を第１情報２０から検索し、さらに、受付部１２Ｅで受け付けた該料理名に対応するカテゴリを第１情報２０から検索する。
【００９０】
例えば、受付部１２Ｅで受け付けた料理名とカテゴリとの組合せが、料理名「ハンバーグ」と分類規則「食材」で分類されたカテゴリであったとする。この場合、検索部１２Ｆは、第１情報２０における、料理名「ハンバーグ」に対応する分類規則「食材」で分類されたカテゴリを読取る。図２に示すデータ構成である場合、受付部１２Ｅは、カテゴリ「牛肉」「豚肉」「玉ねぎ」「卵」「パン粉」「牛乳」を読取る。
【００９１】
そして、検索部１２Ｆは、第１情報２０に含まれる、読取った、料理名「ハンバーグ」に対応するカテゴリ「牛肉」「豚肉」「玉ねぎ」「卵」「パン粉」「牛乳」と、第１情報２０に含まれる他の料理名の各々に対応する同じ分類規則「食材」によって分類されたカテゴリと、の類似度を、第２類似度として算出する。
【００９２】
詳細には、検索部１２Ｆは、これらのカテゴリが完全に一致する場合を類似度「１」とし、これらのカテゴリが予め定めた値以上異なる場合を類似度「０．１」とする。そして、決定部１２Ｃは、第１情報２０における、これらのカテゴリの値が近いほど、類似度「０．１」から類似度「１」に向かって値が大きく（高く）なるように、第２類似度を算出する。
【００９３】
具体的には、検索部１２Ｆは、ハミング距離、Ａｄａｂｏｏｓｔのような識別手法、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関などを用いて第２類似度を算出する。
【００９４】
このため、例えば、検索部１２Ｆは、料理名「ハンバーグ」に対する分類規則「食材」で分類されたカテゴリ「牛肉」「豚肉」「玉ねぎ」「卵」「パン粉」「牛乳」と同じカテゴリの組合せを含む料理名であるほど、高い値の第２類似度を算出する。また、検索部１２Ｆは、料理名「ハンバーグ」に対する分類規則「食材」で分類されたカテゴリの組合せとは異なる料理名であるほど、低い値の第２類似度を算出する。
【００９５】
なお、選択されたカテゴリが、分類規則「カロリー」で分類されたカテゴリであったとする。この場合、検索部１２Ｆは、料理名「ハンバーグ」に対するカロリー値であるカテゴリ「４００ｋｃａｌ」に近いカロリー値の料理名であるほど、高い第２類似度を算出する。
【００９６】
検索部１２Ｆは、他の分類規則（例えば、「カロリー」など）が選択された場合についても、同様にして、第２類似度を算出する。
【００９７】
なお、ユーザによるＵＩ部１４の操作指示によって、１つの料理名に対して複数のカテゴリが選択されたとする。この場合、受付部１２Ｅは、料理名に対して複数のカテゴリの選択を受け付ける。そして、検索部１２Ｆは、第１情報２０における選択された料理名に対応するカテゴリの内の選択された複数のカテゴリの各々と、第１情報２０における他の料理名に対応する同じ分類規則で分類されたカテゴリの各々と、の類似度の乗算値を、第２類似度として算出すればよい。
【００９８】
そして、検索部１２Ｆは、第１情報２０に含まれる料理名ごとに算出した第２類似度の内、第２閾値以上の料理名を検索する。
【００９９】
このため、検索部１２Ｆは、ユーザによって選択された「料理名」の選択された「カテゴリ」を検索キーとして、第１情報２０および第１画像から、ユーザ所望の料理の料理名を検索することとなる。
【０１００】
第２表示制御部１２Ｇは、検索部１２Ｆが検索した料理名を表示部１４Ａに表示する。なお、第１表示制御部１２Ｄと同様に、各料理名に対応するカテゴリを選択するためのカテゴリ画像３８やカテゴリ画像４８（図４および図５参照）を、対応する料理名の料理名画像３６の近傍に更に表示してもよい。
【０１０１】
第２表示制御部１２Ｇは、検索部１２Ｆが検索した料理名を選択可能に表示部１４Ａに表示する。
【０１０２】
第２表示制御部１２Ｇは、検索部１２Ｆが検索した料理名を選択可能に表示部１４Ａに表示すればよく、その表示形式は限定されない。例えば、第２表示制御部１２Ｇは、複数の料理名をタイル状に配列させ、各料理名の近傍（例えば、下部、上部、左部、上部など)に、各料理名の各々に対応するカテゴリ（カテゴリ画像３８やカテゴリ画像４８）を配置してもよい。また、第２表示制御部１２Ｇは、複数の料理名を表示部１４Ａの表示面の上部から下部に向かって並列に配置し、各料理名の近傍（例えば、下部）に、各料理名の各々に対応するカテゴリ（カテゴリ画像３８やカテゴリ画像４８）を配置してもよい。
【０１０３】
また、第２表示制御部１２Ｇは、複数の料理名およびカテゴリを、フリップ式切換え、カバー式切換え、リング式切換え、グループ化、などの公知の表示形態で表示してもよい。また、第２表示制御部１２Ｇは、表示部１４Ａに表示された料理名の内の１つが、ユーザによる入力部１４Ｂの指示によって選択されると、選択された料理名、および該料理名を拡大して表示するように制御してもよい。
【０１０４】
なお、第２表示制御部１２Ｇは、検索部１２Ｆの検索した料理名が複数である場合、複数の料理名を、第２類似度に応じた配置で表示部１４Ａに表示することが好ましい。例えば、第２表示制御部１２Ｇは、第２類似度の高い順に降順で料理名を表示することが好ましい。また、第２表示制御部１２Ｇは、ユーザのＵＩ部１４の予め定めた操作（例えば、ロングタップ、フリック、ダブルフリック、スワイプ、ダブルクリックなどの操作）により、表示順を切り替えてもよい。例えば、第２表示制御部１２Ｇは、ユーザのＵＩ部１４の予め定めた操作により、第２類似度の高い降順から昇順へ、逆に昇順から降順へ、表示部１４Ａへの料理名の表示順を切り替えてもよい。
【０１０５】
例えば、第１表示制御部１２Ｄによって、図４（Ｂ）に示す表示画面３４ＡがＵＩ部１４に表示されたとする。そして、受付部１２Ｅ、検索部１２Ｆ、および第２表示制御部１２Ｇによって、検索部１２Ｆで検索した料理名がＵＩ部１４（表示部１４Ａ）に表示されたとする。この場合、例えば、第２表示制御部１２Ｇは、図４（Ｃ）に示す表示画面３４ＢをＵＩ部１４に表示する。
【０１０６】
図４（Ｃ）は、第２表示制御部１２Ｇが表示する表示画面３４の一例（表示画面３４Ｂ）を示す模式図である。
【０１０７】
例えば、表示画面３４Ｂは、検索部１２Ｆが検索した料理名を示す料理名画像３６（３６Ｄ〜３６Ｆ）と、各料理名画像３６の料理名の各々に対応するカテゴリを示すカテゴリ画像３８（３８Ｄ（３８Ｄ１〜３８Ｄ３）、３８Ｅ（３８Ｅ１〜３８Ｅ３）、３８Ｆ（３８Ｆ１〜３８Ｆ３））と、検索ボタン４０と、決定ボタン４２と、を含む。なお、上述したように、表示画面３４Ｂは、カテゴリ画像３８を含まない形態であってもよい。
【０１０８】
料理名画像３６（３６Ｄ〜３６Ｆ）は、検索部１２Ｆで検索した料理名の内の、１つをユーザに選択させるための表示領域である。図４（Ｃ）に示す例では、一例として、表示画面３４Ｂは、料理名「ミートボール」を示す料理名画像３６Ｄ、料理名「ステーキ」を示す料理名画像３６Ｅ、料理名「ハヤシライス」を示す料理名画像３６Ｆを含む。
【０１０９】
上述したように、第１表示制御部１２ＤがＵＩ部１４（表示部１４Ａ）に表示する料理名は、決定部１２Ｃが第１特徴量および第２特徴量を用いて決定した料理名である。一方、第２表示制御部１２ＧがＵＩ部１４（表示部１４Ａ）に表示する料理名は、検索部１２Ｆが、選択を受け付けた料理名に対応する受け付けたカテゴリを検索キーとして用いることで検索した、料理名である。
【０１１０】
このため、第２表示制御部１２ＧがＵＩ部１４に表示する料理名（例えば、図４（Ｃ）参照）は、第１表示制御部１２ＤがＵＩ部１４に表示する料理名（例えば、図４（Ｂ）参照）に比べて、ユーザの所望の料理名を含む確率の高いものとなる。
【０１１１】
なお、カテゴリ画像３８（３８Ｄ（３８Ｄ１〜３８Ｄ３）、３８Ｅ（３８Ｅ１〜３８Ｅ３）、３８Ｆ（３８Ｆ１〜３８Ｆ３））は、対応する料理名画像３６が異なる以外は、上記カテゴリ画像３８（３８Ａ（３８Ａ１〜３８Ａ３）、３８Ｂ（３８Ｂ１〜３８Ｂ３）、３８Ｃ（３８Ｃ１〜３８Ｃ３））と同様の意味である。また、検索ボタン４０および決定ボタン４２は、上記と同様である。
【０１１２】
ユーザは、第２表示制御部１２Ｇによって表示部１４Ａに表示された料理名画像３６に、所望の料理名の料理名画像３６が含まれる場合、この所望の料理名の料理名画像３６を選択する。そして、選択した料理名画像３６をユーザの所望の料理名として決定する場合には、ユーザは、決定ボタン４２を操作指示する。
【０１１３】
ＵＩ部１４は、ユーザによって料理名画像３６および決定ボタン４２が操作指示されると、操作指示された料理名画像３６の料理名、および決定信号を更新部１２Ｈへ出力する。
【０１１４】
更新部１２Ｈは、第２表示制御部１２ＧによってＵＩ部１４に表示された表示画面３４Ｂを介したユーザによる操作により、ＵＩ部１４から料理名画像３６の料理名および決定信号を受け付けると、受付けた料理名画像３６の料理名を第２情報２２（図３参照）に登録する。なお、更新部１２Ｈは、ＵＩ部１４から料理名画像３６を受け付け、受付けた料理名画像３６によって示される料理名を解析することで、料理名を受付けてもよい。
【０１１５】
なお、更新部１２Ｈは、受付けた料理名画像３６の料理名を第２情報２２に登録してもよい。
【０１１６】
このとき、更新部１２Ｈは、該操作指示を行ったユーザのユーザＩＤと、受付けた料理名画像３６の料理名と、該料理名に対応する料理画像と、時間と、カテゴリと、を対応づけて第２情報２２に登録することで、第２情報２２を更新することが好ましい。
【０１１７】
更新部１２Ｈは、受付けた料理名に対応する第２画像を第１情報２０から料理画像として読み取り、第２情報２２に登録する。なお、更新部１２Ｈは、取得部１２Ａが取得した第１画像３０（すなわち、算出部１２Ｂによる算出元の第１画像３０）を料理画像として第２情報２２に登録してもよい。また、更新部１２Ｈは、該料理画像の撮影時間、または検索部１２Ｆが対応する料理名を検索した時刻（日時）、を、第２情報２２に登録する時間として用いてもよい。また、更新部１２Ｈは、登録した料理名に対応するカテゴリを第１情報２０から読取り、第２情報２２に登録すればよい。
【０１１８】
このため、更新部１２Ｈは、履歴情報として用いる第２情報２２を、更新することができる。
【０１１９】
また、更新部１２Ｈは、更新後の第２情報２２を、健康管理を行うサーバなどの外部装置へ送信してもよい。
【０１２０】
また、更新部１２Ｈは、第１情報２０（図２参照）を定期的または不定期に更新してもよい。例えば、料理名や第２画像やカテゴリを登録した外部サーバに定期的にアクセスし、第１情報２０を更新してもよい。また、更新部１２Ｈは、外部サーバが更新されたときに、更新された情報を、通信部１２Ｉを介して受け付け、第１情報２０に登録してもよい。また、第１情報２０は、ユーザによるＵＩ部１４の操作指示により、適宜変更可能としてもよい。なお、外部装置などから受け付けた情報に、第２特徴量が含まれていない場合や、第１情報２０における分類規則で分類されたカテゴリが含まれていない場合には、更新部１２Ｈで第２特徴量やカテゴリを生成し、第１情報２０に登録すればよい。第２特徴量の算出は、第１特徴量の算出と同様にして算出すればよい。また、ユーザによるＵＩ部１４の操作によって入力されたカテゴリを登録してもよい。
【０１２１】
次に、画像検索装置１０が実行する画像検索処理の手順を説明する。図６は、画像検索装置１０が実行する画像検索処理の手順の一例を示すフローチャートである。
【０１２２】
まず、取得部１２Ａが第１画像を取得する（ステップＳ１００）。次に、算出部１２Ｂが、ステップＳ１００で取得した第１画像の第１特徴量を算出する（ステップＳ１０２）。
【０１２３】
次に、決定部１２Ｃが、第１情報２０を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する（ステップＳ１０４）。
【０１２４】
次に、第１表示制御部１２Ｄが、ステップＳ１０４で決定した複数の料理名、および該料理名の各々に対応するカテゴリをＵＩ部１４（表示部１４Ａ）に表示する（ステップＳ１０６）。ユーザは、ＵＩ部１４（入力部１４Ｂ）を操作することで、ＵＩ部１４（表示部１４Ａ）に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つを選択する。
【０１２５】
次に、受付部１２Ｅが、ＵＩ部１４（表示部１４Ａ）に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けたか否かを判断する（ステップＳ１０８）。受付部１２Ｅは、ステップＳ１０８で肯定判断（選択を受け付けたと判断）するまで否定判断を繰り返し（ステップＳ１０８：Ｎｏ）、肯定判断すると（ステップＳ１０８：Ｙｅｓ）、ステップＳ１１０へ進む。
【０１２６】
次に、検索部１２Ｆが、第１情報２０（図２参照）に含まれる料理名の内、該料理名に対応するカテゴリと、ステップＳ１０８で受け付けた料理名に対応するステップＳ１０８で受け付けたカテゴリと、の第２類似度が第２閾値以上の料理名を検索する（ステップＳ１１０）。
【０１２７】
次に、第２表示制御部１２Ｇが、ステップＳ１１０で検索した料理名をＵＩ部１４（表示部１４Ａ）に表示する（ステップＳ１１２）。
【０１２８】
次に、更新部１２Ｈが、ユーザによって所望の料理が選択されたか否かを判断する（ステップＳ１１４）。ステップＳ１１４では、更新部１２Ｈは、第２表示制御部１２ＧによってＵＩ部１４に表示された表示画面３４を介したユーザによる操作により、ＵＩ部１４から料理名画像３６を受け付けたか否かを判断する。
【０１２９】
例えば、更新部１２Ｈは、料理名画像３６の料理名、および所望の料理名として決定することを示す決定信号をＵＩ部１４から受け付けたと判別した場合に、ステップＳ１１４で肯定判断する（ステップＳ１１４：Ｙｅｓ）。一方、更新部１２Ｈは、例えば、検索信号をＵＩ部１４から受け付けたと判別した場合、ステップＳ１１４で否定判断する（ステップＳ１１４：Ｎｏ）。
【０１３０】
決定信号は、ユーザによる操作指示によって決定ボタン４２が指示された場合に、ＵＩ部１４が更新部１２Ｈへ送信すればよい。また、検索信号は、ユーザによる操作指示によって検索ボタン４０が指示された場合に、ＵＩ部１４が更新部１２Ｈへ送信すればよい。
【０１３１】
更新部１２ＨがステップＳ１１４で否定判断すると（ステップＳ１１４：Ｎｏ）、上記ステップＳ１０８へ戻る。一方、更新部１２ＨがステップＳ１１４で肯定判断すると（ステップＳ１１４：Ｙｅｓ）、ステップＳ１１６へ進む。
【０１３２】
ステップＳ１１６では、更新部１２Ｈは、ステップＳ１１４で受付けた料理名画像３６の料理名を第２情報２２（図３参照）に登録する（ステップＳ１１６）。そして、本ルーチンを終了する。
【０１３３】
以上説明したように、本実施の形態の画像検索装置１０は、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、第１表示制御部１２Ｄと、受付部１２Ｅと、検索部１２Ｆと、第２表示制御部１２Ｇと、を備える。取得部１２Ａは、料理を含む第１画像を取得する。算出部１２Ｂは、第１画像の第１特徴量を算出する。決定部１２Ｃは、料理を含む第２画像と、第２画像の第２特徴量と、第２画像に含まれる料理の料理名と、料理を予め定めた分類規則で複数のカテゴリに分類したカテゴリと、を予め対応づけた第１情報２０を検索し、第１特徴量との第１類似度が第１閾値以上の複数の第２特徴量の各々に対応する料理名、および該料理名の各々に対応するカテゴリを決定する。第１表示制御部１２Ｄは、決定した複数の料理名および該料理名の各々に対応するカテゴリを表示部１４Ａに表示する。受付部１２Ｅは、表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。検索部１２Ｆは、第１情報２０に含まれる料理名の内、該料理名に対応するカテゴリと受け付けた料理名に対応する受け付けたカテゴリとの第２類似度が第２閾値以上の料理名を検索する。第２表示制御部１２Ｇは、検索した料理名を表示部１４Ａに表示する。
【０１３４】
ここで、第１表示制御部１２ＤがＵＩ部１４（表示部１４Ａ）に表示する料理名は、決定部１２Ｃが第１特徴量および第２特徴量を用いて決定した料理名である。第１特徴量および第２特徴量は、画像解析により得られる特徴量であり、例えば、色や輪郭形状から得られる数値である。
【０１３５】
一方、第２表示制御部１２ＧがＵＩ部１４（表示部１４Ａ）に表示する料理名は、検索部１２Ｆが、選択を受け付けた料理名に対応する受け付けたカテゴリを検索キーとして用いて検索した、料理名である。
【０１３６】
すなわち、第２表示制御部１２ＧがＵＩ部１４に表示する料理名（例えば、図４（Ｃ）参照）は、料理画像の見た目だけではなく、料理の内容についても加味した検索キーを用いて検索したものである。このため、第２表示制御部１２ＧがＵＩ部１４に表示する料理名（例えば、図４（Ｃ）参照）は、第１表示制御部１２ＤがＵＩ部１４に表示する料理名（例えば、図４（Ｂ）参照）に比べて、ユーザの所望の料理名を含む確率の高いものとなる。
【０１３７】
図７は、第１表示制御部１２Ｄと第２表示制御部１２Ｇの各々の表示する料理名の料理の一例を示す図である。図７（Ａ）に示すように、例えば、第１画像３０に含まれる料理が料理名「食パン」であったとする。ここで、第１表示制御部１２ＤがＵＩ部１４に表示する料理名は、決定部１２Ｃが決定した料理名である。このため、第１表示制御部１２Ｄは、料理名「食パン」の料理と輪郭形状や色の類似する料理名（例えば、料理名「カステラ」（矩形状のケーキ））をＵＩ部１４に表示する場合がある（図７（Ｂ）の第２画像５０参照）。
【０１３８】
一方、第２表示制御部１２ＧがＵＩ部１４に表示する料理名は、食材などのカテゴリを更に検索キーとして用いて検索された料理名である。このため、図７（Ａ）に示す第１画像３０Ｂに含まれる料理の料理名「食パン」が表示される確率が高い。
【０１３９】
従って、本実施の形態の画像検索装置１０は、画像（第１画像）からユーザ所望の料理を精度良く検索することができる。
【０１４０】
なお、制御部１２では、第２情報２２に含まれるカテゴリを解析することで、第２情報２２を、第２情報２２に含まれるユーザＩＤによって識別されるユーザの、健康維持や病気予防などのヘルスケアに利用することができる。また、上述したように、本実施の形態の画像検索装置１０では、ユーザ所望の料理を精度良く検索することができるので、検索結果を記憶した第２情報２２を解析することで、ユーザの健康や嗜好に関する情報を精度良く分析することができる。
【０１４１】
＜第２の実施の形態＞
本実施の形態では、検索部が、更に第１重み付け値を用いて、料理名を検索する場合を説明する。
【０１４２】
図１は、本実施の形態の画像検索装置１０Ａの機能的構成を示すブロック図である。画像検索装置１０Ａは、制御部１３Ａと、撮影部１８と、ＵＩ部１４と、記憶部１６と、を備える。ＵＩ部１４、記憶部１６、および撮影部１８は、制御部１３Ａに信号授受可能に接続されている。なお、画像検索装置１０Ａは、撮影部１８を備えない構成であってもよい。
【０１４３】
画像検索装置１０Ａは、制御部１２に代えて制御部１３Ａを備えた以外は、第１の実施の形態と同様の構成である。
【０１４４】
制御部１３Ａは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。制御部１３Ａは、画像検索装置１０Ａ全体を制御する。なお、制御部１３Ａは、ＣＰＵ以外の回路などであってもよい。
【０１４５】
制御部１３Ａは、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、第１表示制御部１２２Ｄと、受付部１２２Ｅと、検索部１２２Ｆと、第２表示制御部１２２Ｇと、更新部１２Ｈと、通信部１２Ｉと、を備える。取得部１２Ａ、算出部１２Ｂ、決定部１２Ｃ、第１表示制御部１２２Ｄ、受付部１２２Ｅ、検索部１２２Ｆ、第２表示制御部１２２Ｇ、更新部１２Ｈ、および通信部１２Ｉの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１４６】
なお、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、更新部１２Ｈと、通信部１２Ｉと、は第１の実施の形態と同様である。
【０１４７】
本実施の形態では、受付部１２２Ｅは、第１表示制御部１２２ＤによってＵＩ部１４に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。また、受付部１２２Ｅは、更に、選択を受け付けたカテゴリの第１重み付け値を受け付ける。
【０１４８】
このため、第１表示制御部１２２Ｄは、各カテゴリの第１重み付け値を入力するための画像を含む表示画面３４をＵＩ部１４に表示する。
【０１４９】
図８は、本実施の形態における、ＵＩ部１４（表示部１４Ａ）に表示される画面の推移の一例を示す模式図である。
【０１５０】
図８（Ａ）は、第１表示制御部１２２Ｄが表示する、複数の料理名および該料理名の各々に対応するカテゴリを含む表示画面３４の一例（表示画面３４Ｃ）を示す模式図である。
【０１５１】
例えば、表示画面３４Ｃは、決定部１２Ｃが決定した複数の料理名の各々を示す料理名画像３６（３６Ａ〜３６Ｃ）と、各料理名画像３６の料理名の各々に対応するカテゴリの第１重み付け値を入力するためのゲージ４４（４４Ａ〜４４Ｃ）と、検索ボタン４０と、決定ボタン４２と、を含む。
【０１５２】
ゲージ４４には、ボタンＰが表示されている。ボタンＰは、表示画面３４Ｃの所定方向（例えば、矢印Ｘ方向）に表示位置を移動可能となっている。ユーザはＵＩ部１４を操作してボタンＰの位置を矢印ＸＡ方向、または矢印ＸＢ方向に移動させることで、対応する料理名画像３６のカテゴリの第１重み付け値を入力可能となっている。例えば、ボタンＰの位置を矢印ＸＡ側へ移動させるほど大きい第１重み付け値を入力し、矢印ＸＢ側へ移動させるほど小さい第１重み付け値を入力可能な構成となっている。
【０１５３】
すなわち、ユーザは、表示部１４Ａに表示された料理名画像３６（３６Ａ〜３６Ｃ）の表示領域を操作指示することで、所望の料理名の料理名画像３６（３６Ａ〜３６Ｃ）を選択することができる。また、ユーザは、各料理名画像３６（３６Ａ〜３６Ｃ）の各々に対応するカテゴリのゲージ４４（４４Ａ〜４４Ｃ）に表示されているボタンＰの表示位置を操作することで、カテゴリの選択、およびカテゴリの第１重み付け値の入力が可能となっている。なお、図８に示す例では、ボタンＰの表示位置を操作されたカテゴリが、ユーザによって選択されたカテゴリであり、ボタンＰの変更後の表示位置が、該カテゴリの第１重み付け値となる。
【０１５４】
なお、図８には、ゲージ４４が、各料理名画像３６の料理名に対応するカテゴリの第１重み付け値を一括して設定可能となっている場合を示した。
【０１５５】
なお、第１重み付け値を設定するための画像は、図８に示すようなゲージ４４に限定されない。例えば、第１表示制御部１２２Ｄは、第１重み付け値の値を入力するための入力欄を表示してもよいし、第１重み付けを標準値より大きくすることを指示するための指示ボタンと、小さくすることを指示するための指示ボタンと、を表示してもよい。
【０１５６】
ユーザによるＵＩ部１４の操作指示によって、ユーザ所望の料理名画像３６、該料理名画像３６の料理に対応するカテゴリおよび第１重み付け値が入力される。すると、受付部１２２Ｅは、ＵＩ部１４に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けると共に、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。
【０１５７】
検索部１２２Ｆは、第１情報２０に含まれる料理名の内、該料理名に対応するカテゴリと、受け付けた料理名に対応する受け付けたカテゴリと、の類似度に、該カテゴリに対して設定された第１重み付け値を乗算した第１乗算値を第２類似度とする。そして、検索部１２２Ｆは、この第２類似度が第２閾値以上の料理名を検索する。
【０１５８】
なお、検索部１２２Ｆは、ユーザによるＵＩ部１４の操作指示によって、料理名画像３６と、料理名画像３６に対応するカテゴリおよび第１重み付け値が入力され、更に、検索ボタン４０が操作されたときに、第１情報２０から料理名を検索してもよい。
【０１５９】
まず、検索部１２２Ｆは、第１の実施の形態の検索部１２Ｆと同様にして、受付部１２２Ｅで受け付けた、料理名とカテゴリとの組合せを把握する。受付部１２２Ｅが複数の料理名を受け付けた場合には、検索部１２２Ｆは、受付部１２２Ｅで受け付けた、料理名とカテゴリとの複数の組合せを把握する。
【０１６０】
そして、検索部１２２Ｆは、受付部１２２Ｅで受け付けた料理名を第１情報２０から検索し、さらに、受付部１２２Ｅで受け付けた該料理名に対応するカテゴリを第１情報２０から検索する。
【０１６１】
そして、検索部１２２Ｆは、第１情報２０に含まれる、読取った、料理名（例えば、料理名「ハンバーグ」）に対応する受け付けたカテゴリ（例えば、分類規則「食材」のカテゴリ「牛肉」「豚肉」など）と、第１情報２０に含まれる他の料理名の各々に対応する同じ分類規則のカテゴリ（例えば、分類規則「食材」のカテゴリ）と、の類似度に、該カテゴリに対して受け付けた上記第１重み付け値を乗算した第１乗算値を、第２類似度として算出する。なお、第１情報２０に含まれる、選択を受け付けた料理名に対応する選択を受け付けたカテゴリと、第１情報２０に含まれる他の料理名の各々に対応する同じ分類規則のカテゴリと、の類似度の算出は、第１の実施の形態と同様にすればよい。
【０１６２】
すなわち、検索部１２２Ｆは、カテゴリに対してユーザが設定した第１重み付け値に応じた第２類似度を算出する。
【０１６３】
そして、検索部１２２Ｆは、第１情報２０に含まれる料理名ごとに算出した第２類似度の内、第２閾値以上の料理名を検索する。
【０１６４】
このため、検索部１２２Ｆは、ユーザによって選択された料理名のカテゴリを検索キーとして用い、さらに、選択されたカテゴリに設定された第１重み付け値を加味することで、第１情報２０および第１画像から、ユーザ所望の料理の料理名を検索することとなる。
【０１６５】
第２表示制御部１２２Ｇは、検索部１２２Ｆが検索した料理名を表示部１４Ａに表示する。なお、第１表示制御部１２２Ｄと同様に、各料理名に対応するカテゴリを、対応する料理名の近傍に更に表示してもよい。
【０１６６】
例えば、第２表示制御部１２２Ｇは、図８（Ｂ）に示す表示画面３４ＤをＵＩ部１４に表示する。
【０１６７】
図８（Ｃ）は、第２表示制御部１２２Ｇが表示する表示画面３４の一例（表示画面３４Ｄ）を示す模式図である。
【０１６８】
例えば、表示画面３４Ｄは、検索部１２２Ｆが検索した料理名を示す料理名画像３６（３６Ｄ〜３６Ｆ）と、各料理名画像３６の料理名の各々に対応するカテゴリの第１重み付け値を入力するためのゲージ４４（４４Ｄ〜４４Ｆ）と、検索ボタン４０と、決定ボタン４２と、を含む。
【０１６９】
図８（Ｃ）に示す例では、一例として、表示画面３４Ｄは、料理名「ミートボール」を示す料理名画像３６Ｄ、料理名「ステーキ」を示す料理名画像３６Ｅ、料理名「ハヤシライス」を示す料理名画像３６Ｆを含む。
【０１７０】
上述したように、第２表示制御部１２２ＧがＵＩ部１４に表示する料理名は、検索部１２２Ｆが、選択を受け付けた料理名に対応する受け付けたカテゴリを検索キーとして用いることで検索した、料理名である。
【０１７１】
このため、第２表示制御部１２２ＧがＵＩ部１４に表示する料理名（例えば、図８（Ｂ）参照）は、図８（Ａ）表示された料理名に比べて、ユーザの所望の料理名を含む確率の高いものとなる。
【０１７２】
なお、画像検索装置１０Ａが行う画像検索処理の流れは、図６におけるステップＳ１０６の処理を第１表示制御部１２２Ｄが行い、ステップＳ１０８の処理を受付部１２２Ｅが行い、ステップＳ１１０の処理を検索部１２２Ｆが行い、ステップＳ１１２の処理を第２表示制御部１２２Ｇが行う以外は、第１の実施の形態と同様である。
【０１７３】
以上説明したように、本実施の形態の画像検索装置１０Ａでは、受付部１２２Ｅが、表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けると共に、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。また、検索部１２２Ｆは、第１情報２０に含まれる料理名の内、該料理名に対応するカテゴリと受け付けた料理名に対応する受け付けたカテゴリとの類似度に、受付けた第１重み付け値を乗算した第１乗算値を第２類似度とし、該第２類似度が第２閾値以上の料理名を検索する。
【０１７４】
このため、本実施の形態の画像検索装置１０Ａは、第１の実施の形態に比べて、更に精度良く、画像（第１画像）からユーザ所望の料理を検索することができる。
【０１７５】
＜変形例＞
なお、図８に示す例では、ゲージ４４が、各料理名画像３６の料理名に対応するカテゴリの第１重み付け値を一括して設定可能となっている場合を示した。すなわち、図８に示す例では、受付部１２２Ｅが、料理名に対応するカテゴリ全体の第１重み付け値を受け付ける場合を説明した。
【０１７６】
しかし、受付部１２２Ｅは、料理名に対応する複数のカテゴリの各々について、第１重み付け値を個別に受け付けてもよい。
【０１７７】
図９は、本変形例における、第１表示制御部１２２Ｄが表示する、複数の料理名および該料理名の各々に対応する複数のカテゴリを含む表示画面３４の一例（表示画面３４Ｅ）を示す模式図である。
【０１７８】
例えば、表示画面３４Ｅは、決定部１２Ｃが決定した複数の料理名の各々を示す料理名画像３６（３６Ａ〜３６Ｃ）と、各料理名画像３６の料理名の各々に対応する複数のカテゴリの各々の第１重み付け値を入力するためのゲージ４４（４４Ａ（４４Ａ１、４４Ａ２、４４Ａ３）、４４Ｂ（４４Ｂ１、４４Ｂ２、４４Ｂ３）、４４Ｃ（４４Ｃ１、４４Ｃ２、４４Ｃ３））と、検索ボタン４０と、決定ボタン４２と、を含む。
【０１７９】
ゲージ４４には、ボタンＰが表示されている。ボタンＰは、上記と同様に、表示画面３４Ｅの所定方向（例えば、矢印Ｘ方向）に表示位置を移動可能となっている。ユーザはＵＩ部１４を操作してボタンＰの位置を矢印ＸＡ方向、または矢印ＸＢ方向に移動させることで、対応する料理名画像３６に対応する複数のカテゴリの内、所望のカテゴリの第１重み付け値を入力可能となっている。例えば、ボタンＰの位置を矢印ＸＡ側へ移動させるほど大きい第１重み付け値を入力し、矢印ＸＢ側へ移動させるほど小さい第１重み付け値を入力可能な構成となっている。
【０１８０】
すなわち、ユーザは、各料理名画像３６（３６Ａ〜３６Ｃ）の各々に対応するカテゴリのゲージ４４（４４Ａ（４４Ａ１、４４Ａ２、４４Ａ３）、４４Ｂ（４４Ｂ１、４４Ｂ２、４４Ｂ３）、４４Ｃ（４４Ｃ１、４４Ｃ２、４４Ｃ３））の各々に表示されているボタンＰの表示位置を操作することで、カテゴリの選択、およびカテゴリの第１重み付け値の入力が可能となっている。なお、図９に示す例では、ボタンＰの表示位置を操作されたカテゴリが、ユーザによって選択されたカテゴリであり、ボタンＰの変更後の表示位置が、該カテゴリの第１重み付け値となる。
【０１８１】
ユーザによるＵＩ部１４の操作指示によって、ユーザ所望の料理名画像３６、該料理名画像３６の料理名に対応するカテゴリ、およびカテゴリの第１重み付け値が入力される。すると、受付部１２２Ｅは、ＵＩ部１４に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けると共に、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。
【０１８２】
検索部１２２Ｆは、第１情報２０に含まれる料理名の内、該料理名に対応するカテゴリと、受け付けた料理名に対応する受け付けたカテゴリと、の類似度に第１重み付け値を乗算した第１乗算値を第２類似度とし、第２類似度が第２閾値以上の料理名を検索する。なお、各料理名に対して、複数のカテゴリが選択されている場合には、受付けた料理名に対応する受付けた複数のカテゴリの各々と、第１情報２０に含まれる他の料理名の同じ分類規則のカテゴリの各々と、の類似度に、各カテゴリに設定された第１重み付け値を乗算すればよい（仮に第１乗算値とする）。そして、各料理名に対応するカテゴリごとの第１乗算値を乗算した第２乗算値を、第２類似度とすればよい。
【０１８３】
まず、検索部１２２Ｆは、第２の実施の形態の検索部１２Ｆと同様にして、受付部１２２Ｅで受け付けた、料理名とカテゴリとの組合せを把握する。受付部１２２Ｅが複数の料理名を受け付けた場合には、検索部１２２Ｆは、受付部１２２Ｅで受け付けた、料理名とカテゴリとの複数の組合せを把握する。
【０１８４】
そして、検索部１２２Ｆは、受付部１２２Ｅで受け付けた料理名を第１情報２０から検索し、さらに、受付部１２２Ｅで受け付けた該料理名に対応する、受付けた１または複数のカテゴリを第１情報２０から検索する。
【０１８５】
そして、検索部１２２Ｆは、第１情報２０に含まれる、読取った、料理名（例えば、料理名「ハンバーグ」）に対応する受け付けたカテゴリ（例えば、分類規則「食材」のカテゴリ「牛肉」）と、第１情報２０に含まれる他の料理名の各々に対応する同じ分類規則のカテゴリ（例えば、分類規則「食材」のカテゴリ「牛肉」）と、の類似度に、該カテゴリ「牛肉」に対して受け付けた第１重み付け値を乗算した第１乗算値を、第２類似度として算出する。なお、第１情報２０に含まれる、選択を受け付けた料理名に対応するカテゴリと、第１情報２０に含まれる他の料理名の各々に対応する同じ分類規則のカテゴリと、の類似度の算出は、第１の実施の形態と同様にすればよい。
【０１８６】
すなわち、検索部１２２Ｆは、カテゴリごとにユーザが設定した第１重み付け値を用いて、第２類似度を算出する。
【０１８７】
このため、本変形例の画像検索装置１０Ａは、更に精度良く、画像（第１画像）からユーザ所望の料理を検索することができる。
【０１８８】
＜第３の実施の形態＞
本実施の形態では、検索部が、更に、第１重み付け値と第２重み付け値を用いて、料理名を検索する場合を説明する。
【０１８９】
図１は、本実施の形態の画像検索装置１０Ｂの機能的構成を示すブロック図である。画像検索装置１０Ｂは、制御部１３Ｂと、撮影部１８と、ＵＩ部１４と、記憶部１６と、を備える。ＵＩ部１４、記憶部１６、および撮影部１８は、制御部１３Ｂに信号授受可能に接続されている。なお、画像検索装置１０Ｂは、撮影部１８を備えない構成であってもよい。
【０１９０】
画像検索装置１０Ｂは、制御部１２に代えて制御部１３Ｂを備えた以外は、第１の実施の形態と同様の構成である。
【０１９１】
制御部１３Ｂは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。制御部１３Ｂは、画像検索装置１０Ｂ全体を制御する。なお、制御部１３Ｂは、ＣＰＵ以外の回路などであってもよい。
【０１９２】
制御部１３Ｂは、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、第１表示制御部１２３Ｄと、受付部１２３Ｅと、検索部１２３Ｆと、第２表示制御部１２３Ｇと、更新部１２Ｈと、通信部１２Ｉと、を備える。取得部１２Ａ、算出部１２Ｂ、決定部１２Ｃ、第１表示制御部１２３Ｄ、受付部１２３Ｅ、検索部１２３Ｆ、第２表示制御部１２３Ｇ、更新部１２Ｈ、および通信部１２Ｉの一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１９３】
なお、取得部１２Ａと、算出部１２Ｂと、決定部１２Ｃと、更新部１２Ｈと、通信部１２Ｉと、は第１の実施の形態と同様である。
【０１９４】
本実施の形態では、受付部１２３Ｅは、第２の実施の形態の受付部１２２Ｅと同様に、第１表示制御部１２３ＤによってＵＩ部１４に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付ける。また、受付部１２３Ｅは、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。また、本実施の形態では、受付部１２３Ｅは、第１表示制御部１２３ＤによってＵＩ部１４に表示された複数の料理名の内、選択を受け付けた料理名の料理を含む第２画像の第２重み付け値を更に受け付ける。
【０１９５】
このため、第１表示制御部１２３Ｄは、各カテゴリの第１重み付け値を入力するための画像と、各料理名の料理を含む第２画像の第２重み付け値を更に入力するための画像と、を含む表示画面３４をＵＩ部１４に表示する。
【０１９６】
図１０は、本実施の形態における、ＵＩ部１４（表示部１４Ａ）に表示される画面の推移の一例を示す模式図である。
【０１９７】
図１０は、第１表示制御部１２３Ｄが表示する、複数の料理名および該料理名の各々に対応するカテゴリを含む表示画面３４の一例（表示画面３４Ｇ）を示す模式図である。
【０１９８】
例えば、表示画面３４Ｇは、決定部１２Ｃが決定した複数の料理名の各々を示す料理名画像３６（３６Ａ〜３６Ｃ）と、ゲージ４４（４４Ａ〜４４Ｃ）と、ゲージ４６（４６Ａ〜４６Ｃ）と、検索ボタン４０と、決定ボタン４２と、を含む。ゲージ４４（４４Ａ〜４４Ｃ）は、各料理名画像３６の料理名の各々に対応するカテゴリの第１重み付け値を入力するためのものである。ゲージ４６（４６Ａ〜４６Ｃ）は、各料理名画像３６の料理名の料理の第２画像の第２重み付け値を入力するためのものである。
【０１９９】
ゲージ４４は、第２の実施の形態と同様である。ゲージ４６には、ボタンＰが表示されている。ボタンＰは、表示画面３４Ｇの所定方向（例えば、矢印Ｘ方向）に表示位置を移動可能となっている。ユーザはＵＩ部１４を操作してボタンＰの位置を矢印ＸＡ方向、または矢印ＸＢ方向に移動させることで、対応する料理名画像３６の料理の第２画像の第２重み付け値を入力可能となっている。例えば、ボタンＰの位置を矢印ＸＡ側へ移動させるほど大きい第２重み付け値を入力し、矢印ＸＢ側へ移動させるほど小さい第２重み付け値を入力可能な構成となっている。
【０２００】
すなわち、ユーザは、表示部１４Ａに表示された料理名画像３６（３６Ａ〜３６Ｃ）の表示領域を操作指示することで、所望の料理名の料理名画像３６（３６Ａ〜３６Ｃ）を選択することができる。また、ユーザは、各料理名画像３６（３６Ａ〜３６Ｃ）の各々に対応するカテゴリのゲージ４４（４４Ａ〜４４Ｃ）に表示されているボタンＰの表示位置を操作することで、カテゴリの選択、およびカテゴリの第１重み付け値の入力が可能となっている。なお、図１０に示す例では、ボタンＰの表示位置を操作されたカテゴリが、ユーザによって選択されたカテゴリであり、ボタンＰの変更後の表示位置が、該カテゴリの第１重み付け値となる。
【０２０１】
また、ユーザは、各料理名画像３６（３６Ａ〜３６Ｃ）の各々に対応する第２画像のゲージ４６（４６Ａ〜４６Ｃ）に表示されているボタンＰの表示位置を操作することで、第２画像の第２重み付け値の入力が可能となっている。なお、図１０に示す例では、ゲージ４６におけるボタンＰの変更後の表示位置が、該ゲージ４６に対応する第２画像の第２重み付け値となる。
【０２０２】
なお、第２重み付け値を設定するための画像は、図１０に示すゲージ４６に限定されない。
【０２０３】
ユーザによるＵＩ部１４の操作指示によって、ユーザ所望の料理名画像３６、該料理名画像３６の料理に対応するカテゴリおよび第１重み付け値、および該料理名画像３６の料理の第２画像の第２重み付け値が入力される。すると、受付部１２３Ｅは、ＵＩ部１４に表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けると共に、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。また、受付部１２３Ｅは、表示された複数の料理名の内、選択を受け付けた料理名の料理を含む第２画像の第２重み付け値を更に受け付ける。
【０２０４】
検索部１２３Ｆは、第１情報２０に含まれる料理名の内、受け付けた料理名に対応する受け付けたカテゴリとの類似度に第１重み付け値を乗算した第１乗算値を算出する。そして、検索部１２３Ｆは、第１情報２０に含まれる料理名の内、受付けた料理名の料理を含む第２画像との類似度に第２重み付け値を乗算した第２乗算値を算出する。さらに、検索部１２３Ｆは、第２乗算値と、第１乗算値と、を乗算した第３乗算値を第２類似度として、該第２類似度が第２閾値以上の料理名を検索する。
【０２０５】
具体的には、まず、検索部１２３Ｆは、第２の実施の形態の検索部１２２Ｆと同様にして、第１乗算値を算出する。
【０２０６】
また、検索部１２３Ｆは、第１情報２０に含まれる、受付けた料理名に対応する第２画像と、第１情報２０に含まれる他の料理名の各々に対応する第２画像と、の類似度に、該第２画像に対して受け付けた上記第２重み付け値を乗算した第２乗算値を算出する。
【０２０７】
そして、検索部１２３Ｆは、第１乗算値と第２乗算値とを乗算した第３乗算値を、第２類似度として算出する。
【０２０８】
すなわち、検索部１２３Ｆは、カテゴリに対してユーザが設定した第１重み付け値と、第２画像に対してユーザが設定した第２重み付け値と、の双方に応じた第２類似度を算出する。
【０２０９】
そして、検索部１２３Ｆは、第１情報２０に含まれる料理名ごとに算出した第２類似度の内、第２閾値以上の料理名を検索する。
【０２１０】
このため、検索部１２３Ｆは、ユーザによって選択された料理名のカテゴリを検索キーとして用い、さらに、選択されたカテゴリに設定された第１重み付け値と、選択された料理名の第２画像に設定された第２重み付け値と、を加味することで、第１情報２０および第１画像から、ユーザ所望の料理の料理名を検索することとなる。
【０２１１】
第２表示制御部１２３Ｇは、検索部１２３Ｆが検索した料理名を表示部１４Ａに表示する。なお、第１表示制御部１２３Ｄと同様に、各料理名に対応するカテゴリを、対応する料理名の近傍に更に表示してもよい。
【０２１２】
なお、画像検索装置１０Ｂが行う画像検索処理の流れは、図６におけるステップＳ１０６の処理を第１表示制御部１２３Ｄが行い、ステップＳ１０８の処理を受付部１２３Ｅが行い、ステップＳ１１０の処理を検索部１２３Ｆが行い、ステップＳ１１２の処理を第２表示制御部１２３Ｇが行う以外は、第１の実施の形態と同様である。
【０２１３】
以上説明したように、本実施の形態の画像検索装置１０Ｂでは、受付部１２３Ｅが、表示された複数の料理名および該料理名の各々に対応するカテゴリの内、少なくとも１つの料理名および該料理名に対応する少なくとも１つのカテゴリの選択を受け付けると共に、選択を受け付けたカテゴリの第１重み付け値を更に受け付ける。また、受付部１２３Ｅは、表示された複数の料理名の内、選択を受け付けた料理名の料理を含む第２画像の第２重み付け値を更に受け付ける。
【０２１４】
そして、検索部１２３Ｆは、第１情報２０に含まれる料理名の内、該料理名に対応する第２画像と、受付けた料理名の料理を含む第２画像と、の類似度に第２重み付け値を乗算した第２乗算値と、第１乗算値と、を乗算した第３乗算値を第２類似度とする。そして、検索部１２３Ｆは、該第２類似度が第２閾値以上の料理名を検索する。
【０２１５】
このため、第１の実施の形態に比べて、更に精度良く、画像（第１画像）からユーザ所望の料理を検索することができる。
【０２１６】
＜第４の実施の形態＞
なお、上記第１の実施の形態〜第３の実施の形態では、記憶部１６が、画像検索装置１０、１０Ａ、１０Ｂに設けられている場合を説明した。本実施の形態では、記憶部１６が、画像検索装置１０、１０Ａ、１０Ｂに通信回線を介して接続された記憶装置に設けられている場合を説明する。
【０２１７】
図１１は、検索システム４００を示す模式図である。検索システム４００は、画像検索装置４１０と、記憶装置４１２と、が通信回線４１４を介して接続されている。
【０２１８】
画像検索装置４１０は、制御部１２、１３Ａ、１３Ｂと、ＵＩ部１４と、撮影部１８と、を備える。制御部１２、１３Ａ、１３Ｂと、ＵＩ部１４と、撮影部１８と、は、上記第１の実施の形態〜第３の実施の形態の画像検索装置１０、１０Ａ、１０Ｂと同様である。すなわち、画像検索装置４１０は、記憶部１６を備えない以外は、第１の実施の形態〜第３の実施の形態の画像検索装置１０、１０Ａ、１０Ｂと同様の構成である。
【０２１９】
なお、第１の実施の形態〜第３の実施の形態と同じ機能部には同じ符号を付与して詳細な説明を省略する。
【０２２０】
通信回線４１４は、有線通信回線や、無線通信回線がある。記憶装置４１２は、記憶部１６を備えた装置であり、公知のＰＣや各種サーバ等が挙げられる。記憶部１６は、第１の実施の形態と同様である。
【０２２１】
図１１に示すように、記憶部１６を、画像検索装置４１０とは別体として構成し、通信回線４１４を介して接続された記憶装置４１２に設けた構成とする。これにより、複数の画像検索装置４１０から同じ記憶部１６にアクセスすることができ、記憶部１６に記憶されているデータの一元管理が可能となる。
【０２２２】
次に、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０のハードウェア構成について説明する。図１２は、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０、４１２のハードウェア構成例を示すブロック図である。
【０２２３】
第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０は、通信Ｉ／Ｆ部３０８、表示部３１０、入力部３１２、ＣＰＵ３００、ＲＯＭ３０２、ＲＡＭ３０４、及びＨＤＤ３０６等がバス３１４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【０２２４】
ＣＰＵ３００は、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０の全体の処理を制御する演算装置である。ＲＡＭ３０４は、ＣＰＵ３００による各種処理に必要なデータを記憶する。ＲＯＭ３０２は、ＣＰＵ３００による各種処理を実現するプログラム等を記憶する。ＨＤＤ３０６は、上述した記憶部１６に格納されるデータを記憶する。通信Ｉ／Ｆ部３０８は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインターフェースである。表示部３１０は、上述した表示部１４Ａに相当する。入力部３１２は、上述した入力部１４Ｂに相当する。
【０２２５】
第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０で実行される検索処理を実行するためのプログラムは、ＲＯＭ３０２等に予め組み込んで提供される。
【０２２６】
なお、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０で実行される検索処理を実行するためのプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
【０２２７】
また、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０で実行される検索処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に記憶し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０で実行される検索処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２２８】
第１の実施の形態〜第４の実施の形態の画像検索装置１０、１０Ａ、１０Ｂ、４１０で実行される検索処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ３００がＲＯＭ３０２等の記憶媒体から、上記検索処理を実行するためのプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【０２２９】
なお、上記には、本発明のいくつかの実施の形態および変形例を説明したが、これらの実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２３０】
１０、１０Ａ、１０Ｂ、４１０  画像検索装置
１２Ａ  取得部
１２Ｂ  算出部
１２Ｃ  決定部
１２Ｄ、１２２Ｄ、１２３Ｄ  第１表示制御部
１２Ｅ、１２２Ｅ、１２３Ｅ  受付部
１２Ｆ、１２２Ｆ、１２３Ｆ  検索部
１２Ｇ、１２２Ｇ、１２３Ｇ  第２表示制御部
【図１】
2016177637.tif 000003
【図２】
2016177637.tif 000004
【図３】
2016177637.tif 000005
【図４】
2016177637.tif 000006
【図５】
2016177637.tif 000007
【図６】
2016177637.tif 000008
【図７】
2016177637.tif 000009
【図８】
2016177637.tif 000010
【図９】
2016177637.tif 000011
【図１０】
2016177637.tif 000012
【図１１】
2016177637.tif 000013
【図１２】
2016177637.tif 000014