(57)【要約】【課題】  従来は、料理を食べる人の好みの食材や嫌いな食材或いはアレルギー食材などに考慮した料理を考えることは、料理を作る側にとって負担が大きいという問題があった。【解決手段】  被写体画像を撮影する撮像手段と、人物画像の外見的特徴を認識する人物認識手段と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、前記撮像手段で撮影した人物画像から前記人物認識手段が認識した外見的特徴に適したレシピを前記レシピデータベースの中から検索するレシピ検索手段と、前記レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段とを設けた。【選択図】    図１
2010061381.tif 000002
【特許請求の範囲】
【請求項１】
被写体画像を撮影する撮像手段と、
人物画像の外見的特徴を認識する人物認識手段と、
人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、
前記撮像手段で撮影した人物画像から前記人物認識手段が認識した外見的特徴に適したレシピを前記レシピデータベースの中から検索するレシピ検索手段と、
前記レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段と
を有することを特徴とする自動レシピ作成装置。
【請求項２】
請求項１に記載の自動レシピ作成装置において、
複数の食材画像と該食材名および食材情報とを関連付けて記憶する食材データベースと、
前記食材データベースに記憶された前記複数の食材画像と前記撮像手段で撮影した食材画像との類似度が高い食材画像を検索して、類似度が高い食材画像の食材名を表示する食材リスト検索表示手段と、
前記食材リスト検索表示手段で表示された食材名の一つを選択する食材選択手段と
を更に設け、
前記レシピ検索手段は、前記食材選択手段によって選択された食材名と、前記人物認識手段が認識した外見的特徴に適したレシピを前記レシピデータベースの中から検索する
ことを特徴とする自動レシピ作成装置。
【請求項３】
請求項１または２に記載の自動レシピ作成装置において、
前記人物認識手段は、人物画像の外見的特徴として、性別、年齢、表情、顔色および人数の少なくとも１つを認識することを特徴とする自動レシピ作成装置。
【請求項４】
請求項１または２に記載の自動レシピ作成装置において、
前記撮像手段は、焦点距離情報および被写体距離情報とを出力する撮影光学系を有し、
前記人物認識手段は、前記撮影光学系から得られる焦点距離情報および被写体距離情報とに基づいて、前記撮像手段で撮影される人物画像の体格を認識し、
前記レシピ検索手段は、前記人物認識手段が認識した体格に応じたレシピを優先して前記レシピデータベースの中から検索する
ことを特徴とする自動レシピ作成装置。
【請求項５】
請求項１または２に記載の自動レシピ作成装置において、
特定人物に関する好みの食材名を記憶する人物データベースを更に設け、
前記人物認識手段は、前記撮像手段が撮影した人物の顔の特徴から特定人物を判別し、
前記レシピ検索手段は、前記人物認識手段が判別した特定人物の好みの食材名を前記人物データベースから抽出し、該食材名に応じたレシピを優先して前記レシピデータベースの中から検索する
ことを特徴とする自動レシピ作成装置。
【請求項６】
請求項５に記載の自動レシピ作成装置において、
前記人物認識手段は、更に、判別した特定人物の顔の表情レベルを認識するようにし、
前記レシピ検索手段は、前記人物認識手段が認識した特定人物の顔の表情レベルが高い場合は、該特定人物の好みの食材を用いたレシピを優先して前記レシピデータベースの中から検索する
ことを特徴とする自動レシピ作成装置。
【請求項７】
複数のレシピを記憶するレシピデータベースと、
前記レシピデータベースの中からレシピを順次表示するレシピ表示手段と、
被写体画像を撮影する撮像手段と、
前記撮像手段で撮影した人物画像の顔の表情レベルを認識する人物認識手段と、
前記レシピ表示手段に表示されるレシピ毎に、前記人物認識手段が認識した人物画像の顔の表情レベルを比較して、顔の表情レベルが最も高いレシピを選択する推奨レシピ選択手段と
を有することを特徴とする自動レシピ作成装置。
【請求項８】
コンピュータを用いて処理されるプログラムであって、
人物画像を入力する画像入力手順と、
前記画像入力手順で入力した人物画像の外見的特徴を認識する人物認識手順と、
人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースの中から、前記画像入力手順で入力した人物画像に対して前記人物認識手段が認識した外見的特徴に適したレシピを検索するレシピ検索手順と、
前記レシピ検索手順により検索されたレシピ内容を表示するレシピ表示手順と
を有することを特徴とする自動レシピ作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像から自動的にレシピを作成する技術に関する。
【背景技術】
【０００２】
従来、スーパーマーケットの店頭に並んでいる食材や冷蔵庫に保存されている食材を見て、その食材を使用した料理を考えるのが面倒であったり、さらにその料理の調理方法が分からないなどの問題があった。そこで、手入力された食材情報に基づいてコンピュータが当該食材を使用したレシピ（料理名および調理方法）を表示するレシピ提供システムが考えられている（例えば、特許文献１参照）。
【０００３】
一方、デジタルカメラの画像処理技術の向上により、撮影画像の中から様々な画像認識を行えるようになってきており、顔認識や表情認識などが実用化されている。
【特許文献１】特開平１１−０６６１７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、従来は、レシピを表示するために、ユーザーが使用する食材名などを手入力しなければならず、食材の名前が分からない場合もあり、ユーザーにとって非常に使いにくいものであった。特に、料理を食べる人の好みの食材や嫌いな食材或いはアレルギー食材などに考慮した料理を考えることは、料理を作る側にとって負担が大きいという問題があった。
【０００５】
本発明の目的は、煩雑な操作を行うことなく、人物画像から自動的にその人物に適したレシピを作成することができる自動レシピ作成装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る自動レシピ作成装置は、被写体画像を撮影する撮像手段と、人物画像の外見的特徴を認識する人物認識手段と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースと、前記撮像手段で撮影した人物画像から前記人物認識手段が認識した外見的特徴に適したレシピを前記レシピデータベースの中から検索するレシピ検索手段と、前記レシピ検索手段により検索されたレシピ内容を表示するレシピ表示手段とを有することを特徴とする。
【０００７】
また、好ましくは、複数の食材画像と該食材名および食材情報とを関連付けて記憶する食材データベースと、前記食材データベースに記憶された前記複数の食材画像と前記撮像手段で撮影した食材画像との類似度が高い食材画像を検索して、類似度が高い食材画像の食材名を表示する食材リスト検索表示手段と、前記食材リスト検索表示手段で表示された食材名の一つを選択する食材選択手段とを更に設け、前記レシピ検索手段は、前記食材選択手段によって選択された食材名と、前記人物認識手段が認識した外見的特徴に適したレシピを前記レシピデータベースの中から検索することを特徴とする。
【０００８】
また、好ましくは、前記人物認識手段は、人物画像の外見的特徴として、性別、年齢、表情、顔色および人数の少なくとも１つを認識することを特徴とする。
【０００９】
また、好ましくは、前記撮像手段は、焦点距離情報および被写体距離情報とを出力する撮影光学系を有し、前記人物認識手段は、前記撮影光学系から得られる焦点距離情報および被写体距離情報とに基づいて、前記撮像手段で撮影される人物画像の体格を認識し、前記レシピ検索手段は、前記人物認識手段が認識した体格に応じたレシピを優先して前記レシピデータベースの中から検索することを特徴とする。
【００１０】
また、好ましくは、特定人物に関する好みの食材名を記憶する人物データベースを更に設け、前記人物認識手段は、前記撮像手段が撮影した人物の顔の特徴から特定人物を判別し、前記レシピ検索手段は、前記人物認識手段が判別した特定人物の好みの食材名を前記人物データベースから抽出し、該食材名に応じたレシピを優先して前記レシピデータベースの中から検索することを特徴とする。
【００１１】
また、好ましくは、前記人物認識手段は、更に、判別した特定人物の顔の表情レベルを認識するようにし、前記レシピ検索手段は、前記人物認識手段が認識した特定人物の顔の表情レベルが高い場合は、該特定人物の好みの食材を用いたレシピを優先して前記レシピデータベースの中から検索することを特徴とする。
【００１２】
本発明に係る自動レシピ作成装置は、複数のレシピを記憶するレシピデータベースと、前記レシピデータベースの中からレシピを順次表示するレシピ表示手段と、被写体画像を撮影する撮像手段と、前記撮像手段で撮影した人物画像の顔の表情レベルを認識する人物認識手段と、前記レシピ表示手段に表示されるレシピ毎に、前記人物認識手段が認識した人物画像の顔の表情レベルを比較して、顔の表情レベルが最も高いレシピを選択する推奨レシピ選択手段とを有することを特徴とする。
【００１３】
本発明に係る自動レシピ作成プログラムは、コンピュータを用いて処理されるプログラムであって、人物画像を入力する画像入力手順と、前記画像入力手順で入力した人物画像の外見的特徴を認識する人物認識手順と、人物の外見的特徴毎にそれぞれ適したレシピを記憶するレシピデータベースの中から、前記画像入力手順で入力した人物画像に対して前記人物認識手段が認識した外見的特徴に適したレシピを検索するレシピ検索手順と、前記レシピ検索手順により検索されたレシピ内容を表示するレシピ表示手順とを有することを特徴とする。
【発明の効果】
【００１４】
本発明に係る自動レシピ作成装置およびプログラムは、人物画像から自動的にその人物に適したレシピを作成することができるので、ユーザーは人物毎に食材名の入力など煩雑な操作を行う必要がなく、最適なレシピを作成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る自動レシピ作成装置およびプログラムに関する実施形態について説明する。
【００１６】
（第１の実施形態）
第１の実施形態は、デジタルカメラ１０１で自動レシピ作成装置を実現する場合の一例である。図１は、デジタルカメラ１０１の構成を示すブロック図である。デジタルカメラ１０１は、撮影光学系１０２と、撮像素子１０３と、ＡＦＥ（アナログフロントエンド）１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、制御部１０７と、表示部１０８と、メモリカードＩ／Ｆ１０９と、操作部１１０と、メモリ１１１と、デートモジュール１１２と、手振れセンサ１１４とで構成される。
【００１７】
図１において、撮影光学系１０２に入射された被写体光は、撮像素子１０３の受光面に入射される。ここで、撮影光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、制御部１０７からのズーム指令によってズームレンズを移動したり、フォーカス指令によってフォーカスレンズを移動する。尚、ズームレンズの位置やフォーカスレンズの位置は制御部１０７に出力される。
【００１８】
撮像素子１０３の受光面には二次元状に光電変換部が配置されており、各光電変換部に入射された光は制御部１０７から出力されるタイミング信号に応じて電気信号に変換され、変換された電気信号はＡＦＥ１０４に出力される。
【００１９】
ＡＦＥ１０４は、制御部１０７から出力されるタイミング信号に応じて、撮像素子１０３から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０５に出力する。
【００２０】
Ａ／Ｄ変換部１０５は、制御部１０７から出力されるタイミング信号に応じて、ＡＦＥ１０４から出力される電気信号をデジタル信号に変換する。そして、１画面分のデジタル信号が撮影画像の画像データとして画像バッファ１０６に一時的に記憶される。
【００２１】
制御部１０７は、内部に予め記憶されているプログラムに従って動作し、デジタルカメラ１０１の各部を制御する。例えば、画像バッファ１０６に一時的に記憶されている画像データに対して、色補間処理やホワイトバランス処理などを行い、表示部１０８に撮影画像として表示する。或いは、色補間処理やホワイトバランス処理後の画像データにＪＰＥＧ圧縮処理などの画像圧縮処理を行う。尚、画像圧縮されたＪＰＥＧ形式の画像データはメモリカードＩ／Ｆ１０９を介して接続されているメモリカード１０９ａに保存される。
【００２２】
表示部１０８は、制御部１０７の指令に応じて、撮影画像や文字および図形などで構成されるメニュー画面などを表示する。特に、本実施形態では、料理画像，調理器具画像およびレシピなどを表示する。
【００２３】
操作部１１０は、図２のデジタルカメラ１０１の外観図に示すように、電源ボタン２０１、レリーズボタン２０２、ズームボタン２０３、十字キー２０４（上キー２０４ａ，下キー２０４ｂ，左キー２０４ｃ，右キー２０４ｄ）、確定ボタン２０５などで構成される。ユーザーは、これらの操作ボタンを操作してデジタルカメラ１０１を操作する。これらの操作ボタンの操作情報は、制御部１０７に出力され、制御部１０７は、操作部１１０から入力する操作情報に応じて、デジタルカメラ１０１の全体の動作を制御する。また、操作部１１０は、図２の表示部１０８の画面に表示される項目Ａ，項目Ｂおよび項目Ｃなどを十字キー２０４で選択し、確定ボタン２０５を押下して選択を確定する。例えば、十字キー２０４の上キー２０４ａまたは下キー２０４ｂを押下する毎に、項目Ａ，項目Ｂ，項目Ｃの３つの選択対象が順に選択され、選択された項目は太枠で表示される。また、１画面に表示できない項目は別の画面で表示するようにし、次画面や前画面への操作は、例えば十字キー２０４の左キー２０４ｃで前画面へ、右キー２０４ｄで次画面へ、それぞれ移動することができる。
【００２４】
図２の場合は、項目Ｂが十字キー２０４で選択された場合を示し、項目Ｂは選択されていることを示す太枠で囲まれて表示されている。このように太枠で項目が囲まれた状態で、確定ボタン２０５を押下すると、太枠で囲まれていた項目の選択が確定する。
【００２５】
メモリ１１１は、フラッシュメモリなど不揮発性の記憶媒体で構成される。メモリ１１１には、デジタルカメラ１０１の撮影条件（撮影モード、撮影画像の解像度など）が保存されている。また、色補間処理やホワイトバランス処理後の画像データや、メモリカード１０９ａに読み書きされるＪＰＥＧ形式の画像データなども必要に応じてメモリ１１１に保持される。また、本実施形態では、レシピや食材や人物などに関する様々なデータベースもメモリ１１１に記憶される。尚、データベースの詳細な内容については、後で詳しく説明する。
【００２６】
デートモジュール１１２は、撮影年月日や時間を得るための時計カレンダ機能を有するＩＣチップで構成され、デジタルカメラ１０１で画像を撮影する毎に、撮影時の年月日や時間を制御部１０７に出力し、制御部１０７は撮影画像と共にメモリ１１１やメモリカード１０９ａに記録する。
【００２７】
手振れセンサ１１４は、三次元加速度センサなどで構成され、制御部１０７はデジタルカメラ１０１の三次元方向の動きを監視することができる。つまり、制御部１０７は、レリーズボタン２０２が押下される前のデジタルカメラ１０１の手振れを監視することで、三脚で撮影されたのか、手持ちで撮影されたのかを判断することができる。
［データベースの構成］
ここで、メモリ１１１に記憶されるデータベースの構成について詳しく説明する。メモリ１１１には情報の種類毎に記憶する領域が設けられ、食材データベース（食材ＤＢ）１１１ａと、調理器具データベース（調理器具ＤＢ）１１１ｂと、レシピデータベース（レシピＤＢ）１１１ｃと、人物データベース（人物ＤＢ）１１１ｄと、その他データベース（その他ＤＢ）１１１ｅとを有する。
（食材ＤＢ１１１ａ）
食材ＤＢ１１１ａは、食材画像や食材情報を記憶する。尚、メモリ１１１には、デジタルカメラ１０１の製品出荷時に予め食材画像とその食材画像に対応する食材情報（食材名や特徴など）が食材ＤＢ１１１ａとして記憶されていても良いし、デジタルカメラ１０１を購入後にユーザーが登録するようにしても構わない。本実施形態では、デジタルカメラ１０１の製品出荷時に予め主要な食材画像とその食材画像に対応する食材情報（食材名や特徴など）が食材ＤＢ１１１ａとして記憶されており、また食材ＤＢ１１１ａとして記憶されていない食材画像や食材情報は、後から追加登録できるようになっている。
（調理器具ＤＢ１１１ｂ）
調理器具ＤＢ１１１ｂは、調理器具画像や調理器具情報を記憶する。尚、調理器具ＤＢ１１１ｂについても、撮影された調理器具を判別するための主要な調理器具画像や調理器具情報は予め登録されているが、特に調理器具ＤＢ１１１ｂの場合は、ユーザーが持っている調理器具やサイズなどの情報を蓄積するため、デジタルカメラ１０１を購入後にユーザーが登録するようになっている。
（レシピＤＢ１１１ｃ）
レシピＤＢ１１１ｃは、料理画像や料理名および調理方法などのレシピ情報を記憶する。尚、メモリ１１１には、デジタルカメラ１０１の製品出荷時に予め主要な料理画像や料理名および調理方法などのレシピ情報がレシピＤＢ１１１ｃとして記憶されている。例えば、図３（ａ）は、レシピＤＢ１１１ｃに記憶されている「ハンバーグ」のレシピデータの一例を示している。図３（ａ）において、一人分に必要な材料として、合挽き肉：７０ｇ，玉ねぎ：１／８個などが記憶され、調理手順として、玉ねぎを炒める，肉をこねるなどの調理方法が順番に記憶されている。尚、必要な材料の量は一人分を基準として記憶されているので、実際にレシピ作成部１２３がレシピを作成する際には、人数に応じて必要な材料の量が計算され、例えば二人分の場合は２倍の量にする。同様に、図３（ｂ）は、レシピＤＢ１１１ｃに記憶されている「豆腐ハンバーグ」のレシピデータの一例を示している。図３（ｂ）において、一人分に必要な材料として、豚挽き肉：８０ｇ，豆腐：１／４丁などが記憶され、調理手順として、肉をこねる，豆腐を加えるなどの調理方法が順番に記憶されている。
【００２８】
さらに、レシピＤＢ１１１ｃには、図４に示すように、料理毎に栄養情報やアレルギー情報が記憶されている。図４（ａ）は「ハンバーグ」の属性情報例を示した図で、カロリー，脂肪分，タンパク質，糖分，ビタミン，ミネラル，食物繊維などの各栄養項目毎の含有量の目安が高・中・低の３段階で記憶されており、例えば「ハンバーグ」はカロリーや脂肪が高いことが分かる。また、「ハンバーグ」で使用されているアレルギー食材名は、卵，牛乳であることも分かる。同様に、図４（ｂ）は「豆腐ハンバーグ」の属性情報例を示した図で、図４（ａ）の「ハンバーグ」と同様に各栄養項目毎の含有量の目安が高・中・低の３段階で記憶されている。これにより、例えば「豆腐ハンバーグ」は、「ハンバーグ」に比べてカロリーや脂肪が低く、食物繊維が高いことが分かる。また、「豆腐ハンバーグ」で使用されているアレルギー食材名は、卵，牛乳，大豆であることも分かる。
【００２９】
尚、図３や図４の例に示した以外にも、必要な調理器具の情報や料理の手順、或いは料理の盛り付け画像などもレシピＤＢ１１１ｃに記憶されている。また、レシピＤＢ１１１ｃとして記憶されていない料理については、デジタルカメラ１０１に「レシピ登録モード」を設け、その料理の料理名や料理画像および調理方法などをレシピＤＢ１１１ｃに追加登録できるようになっている。
（人物ＤＢ１１１ｄ）
人物ＤＢ１１１ｄは、図５に示すように、特定人物の顔データ（顔の特徴量），基本情報（性別，生年月日，出身地など），好物の食材名や料理名，苦手な食材名や料理名，アレルギー情報（アレルギーがある食材名）などの人物情報を記憶する。例えば、図５（ａ）は、人物ＤＢ１１１ｄに記憶されている特定人物「Ａ郎」の人物情報の一例を示している。図５（ａ）において、基本情報の他に、「Ａ郎」にはアレルギー食材はなく、好物は牛肉，ジャガイモ，麺類などで、苦手な食材は、魚貝類，海草類，柑橘類などであることが分かる。尚、顔の特徴量は、例えば、顔の形状，目の大きさや間隔，目と鼻と口の配置などのデータで、一般に行われている顔認識技術で用いられるような人物を特定できるパラメータであれば何でも構わない。同様に、図５（ｂ）は、人物ＤＢ１１１ｄに記憶されている特定人物「Ｂ子」の人物情報の一例を示し、「Ｂ子」にはアレルギー食材としてサバ，海老，イカがあり、好物は豚肉，サラダ類，パン類などで、苦手な食材は、ニンジン，鶏肉，ニンニクなどであることが分かる。
【００３０】
尚、人物ＤＢ１１１ｄは、デジタルカメラ１０１を購入後にユーザーが登録する。登録の方法は、例えばデジタルカメラ１０１に「人物登録モード」を設けておく。そして、例えば、操作部１１０で「人物登録モード」を選択し、レリーズボタン２０２を押下すると、撮像素子１０３で撮影された人物画像は画像バッファ１０６に一時的に取り込まれ、表示部１０８に表示される。この時、制御部１０７は、画像バッファ１０６に一時的に取り込まれた人物画像の顔の特徴量を抽出する。尚、顔の特徴量については先に述べた通りである。そして、人物情報を入力する画面で、撮影された人物の基本情報，好物の食材や料理，苦手な食材や料理，アレルギーのある食材名などを表示部１０８に表示されるメニュー画像に従って入力した後、ユーザーが操作部１１０で登録操作を実行すると、制御部１０７は入力された情報や顔の特徴量が関連付けられた特定人物情報としてメモリ１１１の人物ＤＢ１１１ｄに記憶する。このようにして、複数の人物情報を人物ＤＢ１１１ｄに登録することができる。
（その他ＤＢ１１１ｅ）
その他ＤＢ１１１ｅは、人間に必要とされている栄養情報など性別や年齢などに応じた一般的な情報が記憶されている。例えばその他ＤＢ１１１ｅに記憶される情報例として、図６に示すような年齢別の栄養重視マップがある。図６（ａ）は「男性」の年齢別の栄養重視マップの一例を示し、カロリー，脂肪分，タンパク質，糖分，ビタミンＣ，ミネラル，食物繊維などの各栄養項目に対して、重視する度合いを年齢毎に示したものである。例えば、１０歳代から２０歳代半ばにかけては全ての栄養項目ついて多く摂取する必要があるので重視度合いが高いが、カロリーや脂肪分については加齢と共に摂取する量を少なくした方が良いので重視度合いが加齢と共に低くなっている。逆に、不足しがちなビタミンＣやミネラルは、加齢と共に重視度合いが高くなっている。同様に、図６（ｂ）は「女性」の年齢別の栄養重視マップの一例を示している。例えば、１０歳代から２０歳代半ばにかけては全ての栄養項目ついて多く摂取する必要があるので重視度合いが高いが、カロリーや脂肪分については加齢と共に摂取する量を少なくした方が良いので重視度合いが加齢と共に低くなっている。逆に、ビタミンＣやミネラルは、加齢と共に重視度合いが高くなっている。
【００３１】
尚、その他ＤＢ１１１ｅは、デジタルカメラ１０１の製品出荷時に予め上記のような栄養情報を記憶しておいても構わないが、デジタルカメラ１０１に「その他情報登録モード」を設け、人物ＤＢ１１１ｄなどと同様に、デジタルカメラ１０１を購入後にユーザーが登録できるようにしても構わない。また、各図に示した例は、分かり易いように説明したもので、必ずしも実際の値や事実を示すものではない。
［制御部１０７の構成］
次に、図１の制御部１０７の構成について詳しく説明する。制御部１０７は、レンズ制御部１２１と、食材認識部１２２と、レシピ作成部１２３と、文字・コード認識部１２４と、調理器具認識部１２５と、ＡＦ制御部１２６と、人物認識部１２７とで構成される。尚、本実施形態では説明が分かり易いように、レンズ制御部１２１，食材認識部１２２，レシピ作成部１２３，文字・コード認識部１２４，調理器具認識部１２５，ＡＦ制御部１２６，人物認識部１２７は、制御部１０７の処理に含めて描いてあるが、制御部１０７とは別の専用のＩＣチップなどで構成しても構わない。以下、各部の処理について詳しく説明する。
（レンズ制御部１２１およびＡＦ制御部１２６の処理）
レンズ制御部１２１は、操作部１１０のズームボタン２０３の操作に応じて、レンズ制御部１２１を介して撮影光学系１０２のズームレンズの位置を移動する。また、ＡＦ制御部１２６は、画像バッファ１０６に取り込まれた画像の所定位置（ＡＦ測定位置）において山登り方式などの焦点検出方式によってデフォーカス量を算出し、焦点位置を求める。制御部１０７は、ＡＦ制御部１２６が求めた焦点位置になるように、レンズ制御部１２１を介して撮影光学系１０２のフォーカスレンズの位置を調節する。
【００３２】
ここで、本実施形態では、制御部１０７は、レンズ制御部１２１を介して撮影光学系１０２のフォーカスレンズの位置を入力し、被写体までの距離を知ることができるようになっている。同様に、制御部１０７は、レンズ制御部１２１を介して撮影光学系１０２のズームレンズの位置を入力し、ズーム倍率（焦点距離）を知ることができるようになっている。そして、制御部１０７は、フォーカスレンズの位置から求めた被写体までの距離と、ズームレンズの位置から求めたズーム倍率とを合わせて、撮影された被写体の大きさ（食材や調理器具などの大きさ）を推定することができる。尚、被写体までの距離とズーム倍率に基づいて被写体の大きさを推定する技術は周知なので、ここでは詳しい説明を省略する。
（食材認識部１２２の処理）
次に、食材認識部１２２の処理について説明する。食材認識部１２２は、撮影された食材画像と、メモリ１１１の食材ＤＢ１１１ａに予め記憶された様々な食材画像とを比較する。そして、両画像の類似度を求める。尚、類似画像を検索する技術は、既に顔認識技術などで実用化されているように、画像の特徴量を利用して実現することができる。画像の特徴量とは色や形状などをパラメータで表され、類似するパラメータを持つ画像を探し出すことによって類似画像を検索する一般的な技術である。
【００３３】
例えば、トマトは色が赤で形状が丸いという特徴があるので、赤の色相範囲や丸い形状の直径などを特徴量として記憶しておき、これに合致する場合はトマトであると判別する。同様に、キュウリは色が濃い緑色で形状が長細いという特徴があるので、濃い緑色の色相範囲や長細い形状の長さと幅の比率などを特徴量として判別することができる。このように、色や形状の特徴量を用いることで認識精度を高くすることができる。また、食材認識部１２２は、先に述べたように、被写体距離と焦点距離とから食材の大きさも推定することができるので、食材の量も判別できる。
（レシピ作成部１２３の処理）
次に、レシピ作成部１２３の処理について説明する。レシピ作成部１２３は、撮影された人物画像や食材画像或いはユーザーが所有する調理器具などに応じて、レシピＤＢ１１１ｃに記憶されている様々な料理の中から適切なレシピを検索する。そして、検索した料理の中からユーザーが選択した料理の調理手順や必要な食材などの情報を表示部１０８に表示する。尚、レシピ作成処理については、後で詳しく説明する。
（調理器具認識部１２５の処理）
次に、調理器具認識部１２５の処理について説明する。調理器具認識部１２５は、先に説明した食材画像の判別処理と同様に、撮影された調理器具が何であるかを判別する処理を行う。さらに、判別された以外に、撮影された調理器具をユーザーが所有する調理器具であることを示す情報を付加して、メモリ１１１の調理器具ＤＢ１１１ｂに登録する処理を行う。これによって、レシピ作成部１２３は、ユーザーがどんな調理器具を所有しているか分かるので、ユーザーが所有する調理器具に応じた調理方法をユーザーに提供することができる。
（人物認識部１２７の処理）
次に、人物認識部１２７の処理について説明する。人物認識部１２７は、先に述べたような顔認識処理技術を用いて次の二つの種類の判別処理を行う。
（１）不特定人物の顔（身体を含む）の特徴を判別する処理。例えば、年齢、性別、表情、人数など。
（２）人物ＤＢ１１１ｄに登録されている特定人物の顔であるか否かを判別する処理。例えば、Ａ郎、Ｂ子など。
以下、上記の２つの判別処理毎に詳しく説明する。
（１）不特定人物の顔や身体の特徴の判別処理
＜人数の判別＞
先ず、不特定人物の顔や身体の特徴を判別する処理について説明する。この場合、人物認識部１２７は、撮影された被写体画像の中から顔が写っている部分を抽出する。尚、顔画像の抽出は既に実用化されているが、例えば図７（ａ）と図７（ｂ）に示すように、目と口と顔全体の輪郭によって判別できる。例えば、図７（ａ）や図７（ｂ）に示すように、顔の形状や目と口の配置は年齢によって異なるが、およその顔の輪郭は円形や楕円形で、その中に目と口で形成される逆三角形があることは同じなので、このような特徴が抽出される部分は人間の顔であると推定できる。このようにして、人物認識部１２７は、図７（ｃ）に示すように、複数の人間が撮影された画像から顔部分を検出することによって、画像に写っている人の数を知ることができる。例えば、図７（ｃ）の場合は、５人であることが分かる。
＜表情の判別＞
次に、顔の表情（顔色を含む）を判別する場合について説明する。この場合、人物認識部１２７は、撮影された顔画像の部分を抽出した後、その顔の表情を推定する。尚、顔の表情の抽出については、笑顔であるか否かの判別など、既に実用化されているが、例えば図８に示すように、口の端（以下、口端と称す）と目尻の形状を抽出することによって判別できる。図８において、図８（ａ）は笑顔ではない顔、図８（ｂ）小さな笑顔、図８（ｃ）は大きい笑顔の口と目の様子をそれぞれ示している。例えば、図８（ａ）の場合、口端は水平で、目尻も下がっていない（目頭と同じ高さにある）。これに対して、図８（ｂ）の場合、口端は少し上がり、目尻は少し下がっている。さらに、図８（ｃ）の場合、口端は高く上がり、目尻はかなり下がっている。また、図８には描いていないが、不快な場合や元気がない場合は、口端は笑顔とは逆に下がっていることが多い。このようにして、人物認識部１２７は、図８に示すような口端や目尻の形状を抽出することによって顔の表情を推定できる。或いは、顔の表情を検出する他の例として、顔色を判別するようにして、青白い顔であれば血色が悪く元気がない、逆に赤味がかっていれば血色が良く元気がよいなどと判別しても構わない。尚、顔色の判別方法として、例えば、顔画像のＲＧＢヒストグラムから判別する方法がある。
＜年齢（年代）の判別＞
次に、撮影された人物の顔の特徴から年齢を判別する場合について説明する。この場合，人物認識部１２７は、撮影された顔画像の部分を抽出した後、その顔の特徴量を抽出する。この時、年齢を推定する一つの方法として、図７に示したように、目の間隔や目と口の顔全体に対する配置によって判別する方法がある。ここで、図７（ａ）は大人の顔、図７（ｂ）は子供の顔の例を示している。図７（ａ）の大人の顔の特徴は、例えば、目の間隔が広く、目と口とで形成される三角形が顔の輪郭に対して大きいという特徴がある。一方、図７（ｂ）の子供の顔の特徴は、例えば、目の間隔が狭く、目と口とで形成される三角形が顔の輪郭に対して小さいという特徴がある。このように、目の間隔や目と口の顔全体に対する配置によって、撮影された人物のおよその年齢を推定することができる。
＜性別の判別＞
次に、男女の性別の判別は、例えば顔の特徴量と同様に体格や体型の特徴量を抽出することで実現できる。例えば、男性は身体全体に対して肩幅が広いが女性は狭いという特徴がある。或いは、胸部や臀部の特徴が男性と女性で異なるなどの特徴がある。一方で、フォーカスレンズの位置から得られる被写体距離とズームレンズの位置から得られるズーム倍率（焦点距離）とを用いて被写体のサイズを求めることができる。このようにして、顔認識と同様に、性別の判別も可能である。或いは、人物の身長や太り具合などの体格も判別することができる。
【００３４】
尚、上記に述べた判別方法は一例であり、上記以外にも様々な判別方法が考えられるが、本実施形態では、撮影された人物の年齢，性別，表情，人数などを推定できさえすれば、どの方法でも構わない。
（２）特定人物の顔であるか否かの判別処理
次に、人物ＤＢ１１１ｄに登録されている特定人物の顔であるか否かを判別する場合について説明する。この場合、人物認識部１２７は、撮影された被写体画像の顔の特徴量を抽出する。この場合は特定人物を検出するので、先に述べたような単純は顔検出や表情検出よりも細かい特徴を判別する必要がある。例えば、顔の形状は予め人物ＤＢ１１１ｄに登録されている特定人物の顔画像から抽出した輪郭画像と比較して類似度を求めたり、目の配置や間隔だけでなく目の大きさや形状についても人物ＤＢ１１１ｄに登録されている特定人物の顔画像から抽出した目の輪郭画像と比較して類似度を求めるなどの処理を行う。このようにして、人物認識部１２７は、撮影された被写体画像の顔から人物ＤＢ１１１ｄに登録されている人物の誰であるかを特定することができる。
【００３５】
さらに、特定人物の健康状態や表情も推定することができる。例えば、健康状態は、顔色を判別して血色の良し悪しを推定することができる。また、体格（体型）から太り具合も推定することができる。或いは、表情についても、口や目などの特徴によって、笑顔であるか、困惑しているか、不快であるかなどを推定することができる。尚、表情や体格を推定する方法については、例えば（１）で説明した方法を用いることができる。例えば、推定した健康状態や表情を数値化した例を図９に示す。図９（ａ）は「Ｄ男」の検出情報の例を示し、健康状態は、体格：１２０，血色：１１０である。ここで、標準の体格や血色を１００として数値化している。尚、体格は、例えば身長と腰の幅との比率で数値化することができるので、身長と腰の幅との所定比率を１００とすればよい。同様に、血色は、所定の色相を１００として、所定の色相から赤方向にずれた場合をプラス、所定の色相から青方向にずれた場合をマイナスとすればよい。また、「Ｄ男」の表情は、笑顔：３０％，困惑：５％，不快：５％である。尚、表情の度合いは、図８で説明したように、目尻や口端の角度によって数値化することができる。同様に、図９（ｂ）は、「Ｂ子」の検出情報の例を示し、健康状態は、体格：８０，血色：６５である。また、「Ｂ子」の表情は、笑顔：５０％，困惑：１０％，不快：５％である。このようにして、特定人物の健康状態や表情を推定して数値化することができる。
【００３６】
上記に説明したように、人物認識部１２７は、顔認識処理技術を用いて、不特定人物の顔（身体を含む）の特徴の判別や、人物ＤＢ１１１ｄに登録されている特定人物の顔であるか否かの判別を行うことができる。
［人物判別処理の流れ］
次に、本実施形態に係るデジタルカメラ１０１で実行される人物認識部１２７の一連の人物判別処理について、図１０のフローチャートを用いて説明する。尚、図１０のフローチャートは、制御部１０７に予め記憶されたプログラムに従って処理される。また、デジタルカメラ１０１の撮影モードは、ユーザーが操作部１１０を操作して［人物判別モード］に設定されている状態とする。この状態で、図１１（ａ）に示すように、表示部１０８には（人物判別モード）であることを示す表示と、「人物を撮影して下さい」というメッセージが表示される。
【００３７】
（ステップＳ１５１）ユーザーは、デジタルカメラ１０１のレリーズボタン２０２を押下して人物画像を撮影する。撮像素子１０３で撮影された人物画像は、画像バッファ１０６に一時的に記憶される。この状態で、図１１（ｂ）に示すように、表示部１０８には、撮影された人物画像が表示される。
【００３８】
（ステップＳ１５２）制御部１０７の人物認識部１２７は、画像バッファ１０６に一時的に記憶されている人物画像の特徴を抽出する。尚、人物画像の特徴は、先に説明した通り、人物画像の顔の特徴（顔の形状，目や口の形状および配置など）や身体的特徴（肩幅など）を抽出する。
【００３９】
（ステップＳ１５３）制御部１０７の人物認識部１２７は、ステップＳ１５２で抽出した顔画像の数によって、撮影された被写体に写っている人数を判別する。例えば、図１１（ｂ）の場合は顔部分は一つなので一人であると判別できる。
【００４０】
（ステップＳ１５４）制御部１０７の人物認識部１２７は、ステップＳ１５２で抽出した人物画像の顔の特徴から、撮影された人物の年齢（年代）を判別する。年齢の判別方法は、先に図７で説明した通りである。例えば、図１１（ｂ）の場合は２０歳代であると推定する。
【００４１】
（ステップＳ１５５）制御部１０７の人物認識部１２７は、ステップＳ１５２で抽出した人物画像の身体的特徴から、撮影された人物の性別を判別する。例えば、図１１（ｂ）の場合は肩幅などから男性であると推定する。
【００４２】
（ステップＳ１５６）制御部１０７の人物認識部１２７は、ステップＳ１５２で抽出した人物画像の顔の特徴から、撮影された人物の表情（顔色を含む）を判別する。例えば、図１１（ｂ）の場合は小さな笑顔であると推定する。
【００４３】
（ステップＳ１５７）制御部１０７の人物認識部１２７は、ステップＳ１５２で抽出した人物画像の顔の特徴をさらに細かく見て、人物ＤＢ１１１ｄに登録されている特定人物の顔の特徴に合致するか否かを判別する。そして、人物ＤＢ１１１ｄに登録されている特定人物の顔の特徴に合致する場合は、撮影された人物を特定することができる。人物ＤＢ１１１ｄに登録されている特定人物の顔の特徴に合致しない場合は、撮影された人物が特定人物ではないと判断する。
【００４４】
（ステップＳ１５８）制御部１０７の人物認識部１２７は、ステップＳ１５３からステップＳ１５７で行った判別結果を表示部１０８に表示する。例えば、図１１（ｃ）に示すように、性別は「男性」，年齢は「２０歳代」，表情は「笑顔（小）」，人数は「１人」のように判別結果が表示部１０８に表示される。尚、ステップＳ１５７で人物ＤＢ１１１ｄに登録されている特定人物に合致した場合は、図１１（ｃ’）に示すように、判別された特定人物の名前（例えば「Ａ郎」）が表示部１０８に表示される。尚、この時、「Ａ郎」の名前だけでなく人物ＤＢ１１１ｄに登録されている画像や人物情報を表示するようにしても構わない。また、図１１（ｃ）や図１１（ｃ’）に示した判別結果を確認するか修正するかを選択する項目が表示される。ユーザーは、表示部１０８に表示された判別結果を見て、制御部１０７の人物認識部１２７の判別に間違いがある場合は「修正」の項目を選択し、そのままで良ければ「確認」の項目を選択する。尚、項目の選択方法は、図２で説明した通りで、例えば十字キー２０４の上キー２０４ａまたは下キー２０４ｂを押下して、「修正」または「確認」の項目を選択して確定ボタン２０５を押下する。図１１（ｃ）の例では「修正」が太枠で囲まれているので、「修正」が選択された状態を示し、図１１（ｃ’）の例では「確認」が太枠で囲まれているので、「確認」が選択された状態を示している。ここで、確定ボタン２０５が押下されると次のステップに進む。
【００４５】
（ステップＳ１５９）制御部１０７は、ステップＳ１５８で「修正」が選択されたか否かを判別する。「修正」が選択された場合はステップＳ１６０に進み、「確認」が選択された場合は一連の人物判別処理を終了する。
【００４６】
（ステップＳ１６０）制御部１０７は、判別結果を修正する画面を表示部１０８に表示し、ユーザーが操作部１１０を操作して人物情報を入力できるようにする。例えば、図１１（ｄ）に示すように、判別結果の中から修正したい項目を十字キー２０４で選択し確定ボタン２０５を押下すると、図１１（ｄ’）に示すように修正候補が表示され、正しい修正候補を十字キー２０４で選択する。全ての修正が終了したら、「確認」項目を選択して確定ボタン２０５を押下すると、一連の人物判別処理を終了する。
【００４７】
［レシピ作成処理］
次に、図１０のフローチャートで説明した人物判別処理を用いて、撮影した人物に応じて最適なレシピを作成するレシピ作成部１２２のレシピ作成処理について、図１２のフローチャートを用いて詳しく説明する。尚、図１２のフローチャートは、制御部１０７に予め記憶されたプログラムに従って処理される。また、デジタルカメラ１０１の撮影モードは、ユーザーが操作部１１０を操作して［レシピ作成モード］に設定されている状態とする。
【００４８】
（ステップＳ３５１）制御部１０７の人物認識部１２７は、人物判別処理を行う。尚、本ステップは、先に図１０で説明した一連の人物判別処理と同じ処理を行うサブルーチンである。従って、本ステップは、図１０のフローチャートのステップＳ１５１からステップＳ１６０の処理に相当する。つまり、本ステップが終了すると、撮影された人物の年齢，性別，表情，人数などが分かっている。或いは、人物ＤＢ１１１ｄに予め登録されている特定人物の誰であるかが分かっている状態にある。
【００４９】
（ステップＳ３５２）制御部１０７のレシピ作成部１２３は、例えば、図１３（ａ）に示すように、「レシピ作成」または「食材撮影」を選択するメニュー画面を表示部１０８に表示する。そして、ユーザーは操作部１１０の十字キー２０４を用いて「レシピ作成」または「食材撮影」を選択し、確認ボタン２０５を押下する。図１３（ａ）の場合は太枠で囲まれた「レシピ作成」が選択されている。例えば「食材撮影」が選択された場合はステップＳ３５３に進み、「レシピ作成」が選択された場合はステップＳ３５４に進む。
【００５０】
（ステップＳ３５３）制御部１０７の食材認識部１２２は、食材判別処理を行う。本ステップは、食材画像を撮影して食材が何であるかを判別するサブルーチン処理である。つまり、本ステップが終了すると、撮影された食材が何であるかが分かっている状態にある。
【００５１】
（ステップＳ３５４）レシピ作成部１２３は、ステップＳ３５１で判別した人物情報に応じた料理名一覧を表示部１０８に表示する。例えば、人物情報が図１１（ｃ）の場合は、性別：男性，年齢：２０歳代であるという条件に適した料理をレシピＤＢ１１１ｃから検索する。この時、その他ＤＢ１１１ｅに記憶されている情報（図６（ａ）の「男性」の栄養重視マップなど）を参照して、カロリーや脂肪分が高い料理をレシピＤＢ１１１ｃから検索する。例えば、図１３（ｂ）では、２０歳代の男性に適した料理として「ハンバーグ」，「カレーライス」および「ピザ」などカロリーや脂肪分が高めの料理のリストが表示部１０８に表示される。
【００５２】
ここで、ステップＳ３５１で判別した人物情報に応じた料理の例をいくつか挙げて説明する。判別した人物情報が高齢者の場合は、図１３（ｃ）に示すような「サバのみそ煮」や「豆腐ハンバーグ」などカロリーが低く食物繊維の高い高齢者向けの料理一覧が表示部１０８に表示される。或いは、判別した人物情報が青白い顔（血色が悪い顔）の人の場合は、図１３（ｄ）に示すような「豚肉の生姜焼き」や「マーボー豆腐」など血行が良くなる料理一覧が表示部１０８に表示される。また、判別した人物情報が女性の場合は、図１３（ｅ）に示すような「ささみのサラダ」や「豆腐ハンバーグ」などカロリー控えめの料理一覧が表示部１０８に表示される。さらに、ステップＳ３５１で判別した人物が人物ＤＢ１１１ｄに登録されている特定人物であった場合は、その特定人物の人物情報に応じた料理一覧を表示部１０８に表示する。例えば、判別された特定人物が「Ａ郎」であった場合、人物ＤＢ１１１ｄに記憶されている情報（図５（ａ）の「Ａ郎」の人物情報など）を参照して、図１３（ｆ）に示すように、「Ａ郎」の好物である「ステーキ」，「肉じゃが」および「冷やし中華」などが料理一覧として表示部１０８に表示される。この時、「Ａ郎」の笑顔の度合いが高いほど、好物の優先順位が高いものを優先して表示するようにしても構わない。尚、「Ａ郎」の人物情報に登録されている苦手食材や料理或いはアレルギー情報なども考慮して、これらのものが含まれない料理を選択することは言うまでもない。さらに、「Ａ郎」の基本情報として登録されている生年月日と、デートモジュール１１２から入力する年月日とから「Ａ郎」の年齢を計算して、その他ＤＢ１１１ｅに記憶されている情報（図６（ａ）の「男性」の栄養重視マップなど）を参照するようにしても構わない。
【００５３】
（ステップＳ３５５）ユーザーは、表示部１０８に表示されている料理名一覧の中からレシピを作成したい料理名を選択する。例えば、操作部１１０の十字キー２０４を用いて料理名を選択し、確認ボタン２０５を押下する。
【００５４】
このようにして、レシピを作成したい料理名が決定される。そして、決定された料理名の応じた調理手順の表示処理に移行する。
【００５５】
続いて、図１２のフローチャートにおいて、レシピを作成したい料理名が決定された後の処理について説明する。尚、ここでは、図１４（ａ）に示すように、太枠で囲まれた「サバのみそ煮」が選択された場合を例に挙げて説明する。
【００５６】
（ステップＳ３５６）レシピ作成部１２３は、選択した料理を作るのに必要な食材を表示部１０８に表示する。ここでは、「サバのみそ煮」が選択されているので、図１４（ｂ）に示すように、「サバのみそ煮」を作るのに必要な食材や調味料として、「サバ：２５０ｇ（或いは、半身一枚）」、「しょうが：１０ｇ」、「みそ：大さじ１．５杯」、「酒：２００ｃｃ」などが表示部１０８に表示される。
【００５７】
ここで、例えば、先に説明した人物判別処理において、撮影された人物の顔色が青白いと判別していた場合、レシピ作成部１２３は、血行が良くなるように、「しょうが」の量を２０ｇに増やして表示する。
或いは、撮影された人物が特定人物の場合、レシピ作成部１２３は、人物ＤＢ１１１ｄに記憶されている特定人物の属性情報を参照する。そして、特定人物の属性情報の嫌いな食材に「しょうが」が登録されている場合は、しょうがの代わりに「梅干し」などを用いるようにレシピ内容を変更して表示する。また、レシピ作成部１２３は、撮影された人物が子供である場合は「しょうが」の量を５ｇなどに少なくしたり、高齢者である場合は「みそ」の量を大さじ１杯などに少なくして表示する。さらに、レシピ作成部１２３は、人物判別処理で判別された人数が複数である場合は各食材の量を人数に応じて変えて表示する。例えば、図１４（ｂ）が１人分の食材の量だとすると、人物判別処理で判別された人数が３人の場合は、図１４（ｂ‘）に示すように３人分の食材の量が表示される。
このようにして、レシピ作成部１２３は、人物判別処理で判別された人物に応じて、レシピ内容を変えて表示することができる。ユーザーは、表示内容を確認したら確認ボタン２０５を押下し、次のステップに進む。
【００５８】
（ステップＳ３５７）レシピ作成部１２３は、例えば、図１４（ｃ）に示すように、使用する調理器具を表示する。図１４（ｃ）の場合は、使用する調理器具として、「鍋（直径：２０ｃｍ，深さ：８ｃｍ）」と、「おたま」と、「さい箸」と、「包丁」と、「まな板」と、「コンロ」などが表示部１０８に表示されている。
【００５９】
ここで、調理器具ＤＢ１１１ｂには、ユーザーが所持している調理器具であるか否かを示す情報が付加されているので、レシピ作成部１２３は、使用する調理器具をユーザーが所持しているか否かを判別することができる。そこで、本実施形態では、もしユーザーが所持していない調理器具がある場合は、代用できる他の調理器具を表示する。例えば、ユーザーが「鍋（直径：２０ｃｍ，深さ：８ｃｍ）」は持っていないが、「フライパン（直径：３０ｃｍ）」を持っている場合は、図１４（ｃ‘）に示すように、「鍋（直径：２０ｃｍ，深さ：８ｃｍ）」の代わりに「フライパン（直径：３０ｃｍ）」が表示される。ユーザーは、表示内容を確認したら確認ボタン２０５を押下し、次のステップに進む。
【００６０】
（ステップＳ３５８）レシピ作成部１２３は、例えば、図１５から図１８に示すように、調理方法を順番に表示する。以下、調理方法を表示部１０８に表示する一例を説明する。
【００６１】
［手順１］として、図１５（ａ）に示すように、「鍋に酒を入れて強火で沸騰させる。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１５（ｂ）に示すような画面が表示される。図１５（ｂ）の例では、鍋に入れた酒が沸騰している画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６２】
［手順２］として、図１５（ｃ）に示すように、「一尾のサバを二枚に下ろして半身にし二等分する。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１５（ｄ）に示すような画面が表示される。図１５（ｄ）の例では、サバの切り身の画像が表示されている。尚、まな板で二枚に下ろす画像などを表示しても構わない。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６３】
［手順３］として、図１６（ａ）に示すように、「大さじ３杯のみそをおたまに取ってさい箸で溶かす。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１６（ｂ）に示すような画面が表示される。図１６（ｂ）の例では、鍋の中でおたまに取ったみそをさい箸で溶かしている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６４】
［手順４］として、図１６（ｃ）に示すように、「サバの切り身を鍋に入れる。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１６（ｄ）に示すような画面が表示される。図１６（ｄ）の例では、サバの切り身を鍋に入れた画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６５】
［手順５］として、図１７（ａ）に示すように、「鍋にふたをして５分ほど強火で煮込む。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１７（ｂ）に示すような画面が表示される。図１７（ｂ）の例では、鍋にふたをして煮込んでいる画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６６】
［手順６］として、図１７（ｃ）に示すように、「ふたを開けて弱火にし、おたまでみそをサバにかける。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１７（ｄ）に示すような画面が表示される。図１７（ｄ）の例では、おたまでみそをサバにかけている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６７】
［手順７］として、図１８（ａ）に示すように、「煮詰まってきたら火を止めてできあがり。」という説明が表示される。ユーザーは、表示内容を確認して確認ボタン２０５を押下すると、図１８（ｂ）に示すような画面が表示される。図１８（ｂ）の例では、サバが鍋の中で煮詰まっている画像が表示されている。ユーザーは、表示内容を確認して確認ボタン２０５を押下する。
【００６８】
最後に、図１８（ｃ）に示すように、サバのみそ煮をお皿に盛り付けた例が表示部１０８に表示される。尚，上記の説明では、調理している画像は静止画としたが、動画像であっても構わない。
【００６９】
このように、本実施形態に係るデジタルカメラ１０１を用いた自動レシピ作成装置は、顔認証技術を拡張した人物認証処理によって、撮影されている人の人数や性別，年代，表情などを推定し、その推定結果に応じてカスタマイズされたレシピを作成することができる。例えば、中学生や高校生の若者には栄養値の高い料理を、女性には低カロリー料理（ダイエット料理）を、高齢者にはビタミンやミネラルが多い料理や調理手順で煮込み時間を長くして食べやすいように柔らかめに調理するなどのカスタマイズが可能である。或いは、青白い顔の人には血色の良くなる料理を選択して、唐辛子を多めにするなどのレシピを作成することができる。
【００７０】
また、予め人物ＤＢ１１１ｄに登録されている特定人物の場合は、その人物の笑顔の度合いに応じて特定人物の好物のレシピを優先的に作成することができる。或いは、その人物に関するアレルギー情報や苦手食材や料理などを登録しておけば、これらを除いたレシピを作成することができる。
【００７１】
さらに、デジタルカメラ１０１がレンズ可動式のカメラの場合は、表示部１０８を見ている人の顔を撮影することができるので、おすすめの料理メニューを順次表示（あるいは一覧表示）して、料理メニューや料理画像を見たときの表情を判別することができる。そして、例えば表情が嬉しそう（笑顔）であるか否かの度合いに応じて、最も適切なレシピを作成する。この場合、食事をする全員の表情の嬉しさの度合いを数値化して、その平均値が最も高いメニューを推奨すれば、全員に平等なメニューを提供することができる。
【００７２】
また、撮影画像から人数を算出し、人数に見合った食材の量を表示することも可能である。尚、この場合、手振れセンサ１１４から入力する情報により、レリーズボタン２０２が押下される少し前のデジタルカメラ１０１の動きを監視しておき、レリーズボタン２０２が押下される少し前までデジタルカメラ１０１が動いている場合は、デジタルカメラ１０１を手持ちで撮影しているものと判断し、撮影画像から算出した人数に撮影者の１人を加算した人数を食事をする全員の人数であると判別しても構わない。逆に、手振れセンサ１１４から入力する情報によって、レリーズボタン２０２が押下される少し前までデジタルカメラ１０１が動いていない場合は、デジタルカメラ１０１は三脚などに置かれているものと判断し、撮影者の１人分を加算しないようにする。或いは、制御部１０７はデジタルカメラ１０１のセルフタイマーが起動されたか否かを把握できるので、セルフタイマーが起動されていた場合も撮影者の１人を加算しないようにする。このようにして、食事をする人の人数に応じた食材量でレシピを作成することができる。
【００７３】
また、デートモジュール１１２から得られるカレンダー情報とリンクして、たとえば運動会の前日であるならば、お弁当の準備を促すメッセージを表示したり、運動会後、あるいはサッカーなどの試合後には、疲労していると予測されることから、ボリューム感のあるレシピを作成するようにしてもよい。同様に、受験日の前日であれば、カツカレーを推奨するようにしても構わない。尚、このようなデートモジュール１１２から得られるカレンダー情報を用いる場合は、メモリ１１１に予定表を記憶するようにして、ユーザーがカレンダーに応じた予定を予め入力しておくことが前提である。
【００７４】
特に、食材認識部１２２は、食材画像を撮影して食材が何であるかを判別するので、手持ちの食材を利用したレシピを作成することができる。特に、第１の実施形態で説明したように、撮影された人物に応じたレシピを作成した場合でも、手持ちの食材がないために調理できないという問題が生じるが、食材認識部１２２の処理と併用することによって、撮影された人物に応じたレシピで、且つ手持ちの食材を利用したレシピを作成することができる。
【００７５】
また、調理器具認識部１２３は、ユーザーが手持ちの調理器具を調理器具ＤＢ１１１ｂに登録しておくので、手持ちの調理器具を用いたレシピを作成することができる。特に、第１の実施形態で説明したように、撮影された人物に応じたレシピを作成した場合でも、手持ちの調理器具がないために調理できないという問題が生じるが、レシピ作成部１２３はレシピを作成する際に調理器具ＤＢ１１１ｂを参照することによって、撮影された人物に応じたレシピで、且つ手持ちの調理器具を用いるレシピを作成することができる。
【００７６】
さらに、第１の実施形態で説明したように、撮影された人物に応じたレシピを作成する場合に、食材認識部１２２の処理の併用と、調理器具ＤＢ１１１ｂを参照することによって、撮影された人物に応じたレシピで、且つ手持ちの食材や調理器具を用いたレシピを作成することができる。
【００７７】
このように、本発明に係る自動レシピ作成装置およびプログラムは、人物画像から自動的にその人物に適したレシピを作成することができるので、ユーザーは人物毎に食材名の入力など煩雑な操作を行う必要がなく、最適なレシピを作成することができる。
【００７８】
尚、上記の実施形態では、自動レシピ作成装置の一例として、デジタルカメラ１０１を例に挙げたが、既に撮影された人物画像や食材画像をメモリカード１０９ａに保存しておき、パソコンにメモリカード１０９ａを装着して、人物画像や食材画像を読み出して、レシピを作成するようにしても構わない。この場合は、図１０のフローチャートで説明した人物判別処理や食材判別処理および調理器具判別処理を行うプログラムをパソコンで走らせるようにすればよい。ここで、デジタルカメラ１０１の場合と異なるのは、撮像素子１０３で人物画像や食材画像および調理器具画像を撮影する代わりに、メモリカード１０９ａから人物画像や食材画像および調理器具画像を読み出すようにし、メモリ１１１に記憶されている人物ＤＢ１１１ｄやその他ＤＢ１１１ｅ，食材ＤＢ１１１ａおよび調理器具ＤＢ１１１ｂなどをパソコンのハードディスクなどの記憶装置に記憶しておく必要がある。
【００７９】
また、図１２のフローチャートで説明したレシピ作成処理を行うプログラムをパソコンで走らせるようにすれば、メモリカード１０９ａに記憶されている人物画像や食材画像に応じたレシピを作成して表示することができる。尚、この場合は、メモリ１１１に記憶されているレシピＤＢ１１１ｃをパソコンのハードディスクなどの記憶装置に記憶しておく必要がある。
【００８０】
このように、本発明に係る自動レシピ作成装置をデジタルカメラ１０１やパソコンで実現することができ、人物画像や食材画像から自動的にレシピを作成することができるので、ユーザーは食材名の入力など煩雑な操作を行う必要がなく、撮影された人物に最適なレシピを作成することができる。
【図面の簡単な説明】
【００８１】
【図１】第１の実施形態に係るデジタルカメラ１０１のブロック図である。
【図２】デジタルカメラ１０１の外観図である。
【図３】レシピデータの例を示す説明図である。
【図４】料理の属性情報の例を示す説明図である。
【図５】特定人物の人物情報の一例を示す説明図である。
【図６】その他ＤＢ１１１ｅの一例を示す説明図である。
【図７】年齢および人数判別の方法例を示す説明図である。
【図８】顔の表情検出の方法を示す説明図である。
【図９】特定人物の検出情報の一例を示す説明図である。
【図１０】人物判別処理を示すフローチャートである。
【図１１】人物判別処理の一例を示す説明図である。
【図１２】レシピ作成処理を示すフローチャートである。
【図１３】料理一覧の表示例を示す説明図である。
【図１４】レシピ作成処理の一例を示す説明図である。
【図１５】レシピ作成処理の調理手順１と２を示す説明図である。
【図１６】レシピ作成処理の調理手順３と４を示す説明図である。
【図１７】レシピ作成処理の調理手順５と６を示す説明図である。
【図１８】レシピ作成処理の調理手順７を示す説明図である。
【符号の説明】
【００８２】
１０１・・・デジタルカメラ        １０２・・・撮影光学系
１０３・・・撮像素子              １０４・・・ＡＦＥ
１０５・・・Ａ／Ｄ変換部          １０６・・・画像バッファ
１０７・・・制御部                １０８・・・表示部
１０９・・・メモリカードＩ／Ｆ    １０９ａ・・・メモリカード
１１０・・・操作部                １１１・・・メモリ
１１２・・・デートモジュール      １２１・・・レンズ制御部
１２２・・・食材認識部            １２３・・・レシピ作成部
１２４・・・文字・コード認識部    １２５・・・調理器具認識部
１２６・・・ＡＦ制御部            ２０１・・・電源ボタン
２０２・・・レリーズボタン        ２０３・・・ズームボタン
２０４・・・十字キー              ２０４ａ・・・上キー
２０４ｂ・・・下キー              ２０４ｃ・・・左キー
２０４ｄ・・・右キー              ２０５・・・確定ボタン
【図１】
2010061381.tif 000003
【図２】
2010061381.tif 000004
【図３】
2010061381.tif 000005
【図４】
2010061381.tif 000006
【図５】
2010061381.tif 000007
【図６】
2010061381.tif 000008
【図７】
2010061381.tif 000009
【図８】
2010061381.tif 000010
【図９】
2010061381.tif 000011
【図１０】
2010061381.tif 000012
【図１１】
2010061381.tif 000013
【図１２】
2010061381.tif 000014
【図１３】
2010061381.tif 000015
【図１４】
2010061381.tif 000016
【図１５】
2010061381.tif 000017
【図１６】
2010061381.tif 000018
【図１７】
2010061381.tif 000019
【図１８】
2010061381.tif 000020