(57)【要約】【課題】調理行動を妨げずに調理の状況に応じた助言を提供する。【解決手段】記憶部は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶し、検出部はレシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出し、通知制御部は前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせ、通知部は前記通知を行う。【選択図】図１
2019082982.tif 000002
【特許請求の範囲】
【請求項１】
レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部と、
レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、
前記通知を行う通知部と、
を備える調理支援装置。
【請求項２】
前記通知制御部は、前記映像を示すストリームにおいて、所定の色を検出した場合、前記助言を表す通知を行わせる
請求項１に記載の調理支援装置。
【請求項３】
前記通知制御部は、前記音を示すストリームにおいて、所定の音色を検出した場合、前記通知を行わせる
請求項１又は請求項２に記載の調理支援装置。
【請求項４】
前記通知制御部は、前記ストリームにおいて、所定の特徴の変化を検出した場合、前記通知を行わせる
請求項１から請求項３のいずれか一項に記載の調理支援装置。
【請求項５】
前記記憶部は、前記レシピの調理工程毎に前記特徴を示す調理特徴情報を記憶し、
前記通知制御部は、前記ストリームにおいて前記調理工程毎に前記調理特徴情報と適合する特徴情報を検出し、当該特徴情報を検出した調理工程に係る前記通知を行わせる
請求項１から請求項４のいずれか一項に記載の調理支援装置。
【請求項６】
前記調理特徴情報は、所定の調理行動を行う時点で現われる前記特徴情報を含み、
前記通知制御部は、前記ストリームにおいて前記調理特徴情報に適合する特徴情報を検出する時点において、前記通知を行わせる
請求項１から請求項５のいずれか一項に記載の調理支援装置。
【請求項７】
レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、
前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、
を備える調理情報生成装置。
【請求項８】
調理情報生成装置と調理情報処理装置を備える調理支援システムであって、
前記調理情報生成装置は、
レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、
を備え、
前記調理情報処理装置は、
前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、
調理支援装置に、前記調理特徴情報を提供する情報提供部と、
を備える調理支援システム。
【請求項９】
調理支援装置の調理支援方法であって、
レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出過程と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御過程と、
前記通知を行う通知過程と、
を有する調理支援方法。
【請求項１０】
調理支援装置のコンピュータに、
レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出手順と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御手順と、
前記通知を行う通知手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から調理に関する情報をユーザの端末装置に対してインターネットを介して提供する機器やシステムが提案されている。例えば、特許文献１に記載の制御方法は、レシピサイトのレシピに含まれる調理手順を受信する。ディスプレイにおいて調理にかかるレシピサイトの表示が開始されたこと、かつディスプレイにおけるレシピサイトの表示が終了されたことを示す状態情報に基づいて、調理手順の中で現在行われている第１調理手順を特定する。また、特定された第１調理手順の次の手順である第２調理手順に関する情報をユーザへ通知する。
【０００３】
特許文献２に記載の調理支援システムは、表示手段に表示した調理手順の実施完了の旨を入力し、入力があると次の調理手順に進行し、表示手段に表示させたタイムテーブルにしたがって調理作業を進行させる場合に被調理物の調理状態を検知するセンサが調理機器の所定の加熱調理状態を検知して報知手段により報知動作を行う。
特許文献３に記載のポップコーン調理機は、原料粒の調理の進行に伴って発生する物理現象を検出するセンサと、検出結果に基づいて入力部に対する指示の入力時期をユーザに通知する通知部を備える。当該センサは、原料粒の破裂に伴うポップコーンの移動を所定の検出範囲内にて検出する光センサである。もしくは、当該センサは、原料粒の破裂に伴うポップコーンの音を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１４３４６号公報
【特許文献２】特開２００６−２５０５１０号公報
【特許文献３】特開２００４−６５１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、調理中では食材や器具の準備、操作など各種の作業が発生するため、調理行動を妨げずに調理支援に係る機器の操作が容易でないことがある。他方、所望の料理が得られるように調理の状況に応じた助言が望まれていた。
【０００６】
本発明の一態様は、上記の点に鑑みてなされたものであり、調理行動を妨げずに調理の状況に応じた助言を提供することができる調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムを提供することを目的の一つとする。
【０００７】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明の一態様は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部と、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、前記通知を行う通知部と、備える調理支援装置である。
【０００９】
また、本発明の一態様は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備える調理情報生成装置である。
【００１０】
また、本発明の一態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。
【発明の効果】
【００１１】
本発明の一態様によれば、調理行動を妨げずに調理の状況に応じた助言を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る調理支援装置の概要の説明図である。
【図２】第１の実施形態に係る調理支援装置のハードウェア構成の一例を示すブロック図である。
【図３】第１の実施形態に係る調理支援装置の機能構成の一例を示すブロック図である。
【図４】第１の実施形態に係るレシピ映像データの一例を示す図である。
【図５】第１の実施形態に係るレシピ属性データの一例を示す図である。
【図６】第１の実施形態に係る調理特徴情報と通知情報の一例を示す図である。
【図７】第１の実施形態に係るレシピ映像構成データの一例を示す図である。
【図８】第１の実施形態に係る調理特徴情報と通知情報の他の例を示す図である。
【図９】第１の実施形態に係る調理支援処理の一例を示すフローチャートである。
【図１０】第２の実施形態に係る調理情報生成装置のハードウェア構成の一例を示すブロック図である。
【図１１】第２の実施形態に係る調理情報生成装置のハードウェア構成の一例を示すブロック図である。
【図１２】第２の実施形態に係る調理情報処理装置のハードウェア構成の一例を示すブロック図である。
【図１３】第２の実施形態に係る調理情報処理装置の機能構成の一例を示すブロック図である。
【図１４】第２の実施形態に係る調理支援処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
〔調理支援装置の概要〕
本発明の第１の実施形態に係る調理支援装置の概要について説明する。
図１は、本実施形態に係る調理支援装置の概要の説明図である。
本実施形態に係る調理支援装置１０は、ユーザの操作に応じて選択されたレシピ情報に基づくユーザに提示する。ユーザは調理支援装置１０が提示したレシピを閲覧し、レシピに記述された手順に従って調理を行う。調理支援装置１０は、調理が行われているとき調理対象の映像を撮像し、撮像した映像を示すストリームを検出する（ステップＳ１０）。調理支援装置１０は、調理対象が発する音を収音し、収音した音を示すストリームを検出してもよい。調理対象とは、主に調理の対象となる食材や調理工程毎の中間生産物など、調理工程全体の生産物である料理の完成までに得られる物である。
【００１４】
調理支援装置１０は、検出したストリームから映像又は音の特徴情報Ｃｈ１を抽出する（ステップＳ２０）。映像の特徴情報は、色やその変化など映像から抽出された調理対象やその状態を特徴づける情報である。映像の特徴情報として、例えば、フライパンＰｎ上で焼かれる食材Ｏｂの色などが適用可能である。音の特徴情報は、調理に伴って発される音から抽出された調理対象やその状態を特徴づける情報である。音の特徴情報として、例えば、フライパンＰｎ上で焼かれる食材Ｏｂから発される音の音色などが適用可能である。
【００１５】
他方、調理支援装置１０は、レシピを示すレシピ情報毎に調理対象の映像の特徴情報又は音の特徴情報Ｃｈ２を対応付けてなる調理特徴情報を予め取得し、記憶しておく。特徴情報Ｃｈ２には、さらに通知情報Ａｄが対応付けられてもよい。通知情報Ａｄは、その特徴情報Ｃｈ２が対応付けられている時点において実行することが望ましい行動を調理行動の助言を表す情報が含まれる。例えば、助言には、焼かれている食材Ｏｂの色が所定の色になるとき、焼く工程を停止し、蒸らす工程の開始の案内が含まれてもよい。
調理支援装置１０は、抽出した特徴情報をその時点で提供されているレシピ情報に対応付けられた特徴情報と照合する（ステップＳ３０）。調理支援装置１０は、抽出した特徴情報がレシピ情報に対応付けられた特徴情報と適合するか否かを判定する。調理支援装置１０は、対応する特徴情報を検出するとき、検出した特徴情報に対応付けられた通知情報Ａｄを読み出す（ステップＳ４０）。調理支援装置１０は、読み出した通知情報Ａｄを提示することにより、ユーザに通知する（ステップＳ５０）。
【００１６】
なお、図１に示す例では、調理支援装置１０は、ユーザの頭部に装着可能とする眼鏡型筐体と一体となる端末装置である。調理支援装置１０は、外景と重ねて視認可能とする視覚情報を表示可能とする表示部（ディスプレイ）と、周囲の被写体の映像を撮像する撮像部（カメラ）と、周囲の音を収音する収音部（マイクロホン）とを備えるコンピュータである。その構成により、ユーザは、表示部に表示されたレシピを閲覧しながら調理を行うことができる。また、調理支援装置１０は、調理中において調理対象の映像を撮像し、調理対象が発する音を収音することができる。従って、調理支援装置１０は、調理中に得られた映像又は音の特徴情報に応じた通知情報をユーザに提供することができる。例えば、調理対象である食材Ｏｂとして餃子を焼く工程において、調理支援装置１０が食材Ｏｂの映像を撮像し、レシピ情報と対応付けられている特徴情報が所定の色である場合を仮定する。その工程において食材Ｏｂの色が所定の色になるとき、その所定の色と対応付けられた通知情報Ａｄとして、焼く工程を停止し、蒸らす工程の開始が助言としてユーザに通知される。従って、ユーザには通知された助言によって、とるべき調理行動が適時に案内されるので、調理の成功もしくは失敗の回避を支援することができる。
【００１７】
〔調理支援装置の構成〕
次に、本実施形態に係る調理支援装置１０の構成例について説明する。
図２は、本実施形態に係る調理支援装置１０のハードウェア構成の一例を示すブロック図である。
調理支援装置１０は、制御部１０１、表示部１０２、再生部１０３、撮像部１０４、収音部１０５、操作部１０６、電源１０７、電源制御部１０８、通信部１０９、ＲＯＭ（Read only Memory）１１１、ＲＡＭ（Random Access Memory）１１２、及びＳＳＤ（Solid State Drive）１１３を備え、それらの機能部が筐体に収納されている。
【００１８】
制御部１０１は、アプリケーションプログラム（以下、「アプリ」と呼ぶ）に記述された命令で指示される処理を実行する制御デバイスを含んで構成される。制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）などのいずれであってもよい。
表示部１０２は、制御部１０１から入力された映像データが示す映像を表示する透過型ディスプレイを含んで構成される。制御部１０１から入力される映像データが示す映像には、撮像部１０４が撮像した映像（以下、「カメラ画像」と呼ぶことがある）、制御部１０１が生成したユーザインタフェース（ＵＩ：User Interface）画像（以下、「ＵＩ画像」と呼ぶことがある）などが含まれうる。透過型ディスプレイは、調理支援装置１０の筐体に装着され、光を透過する。調理支援装置１０を装着したユーザは、透過した光により表される周囲の被写体（外景）を確認するとともに、カメラ画像やＵＩ画像を視認することができる。
【００１９】
再生部１０３は、制御部１０１から入力された音響データが示す音を再生する。再生部１０３は、例えば、マイクロホンである。制御部１０１から入力される音響データが示す音には、収音部１０５が収音した音（以下、「マイク音」と呼ぶことがある）、制御部１０１が生成した各種の案内音声などが含まれうる。再生部１０３は、調理支援装置１０の筐体に設置され、調理支援装置１０を装着した状態でユーザの耳の近傍に配置される。調理支援装置１０を装着したユーザは、マイク音声や案内音声受聴することができる。
撮像部１０４は、調理支援装置１０の筐体に設置され、表示部１０２を介してユーザが視認可能とする視野の一部もしくは全部の範囲内の被写体を表す映像を撮像する。撮像部１０４は、例えば、ＣＣＤ（Charge coupled Device）カメラである。撮像部１０４は、撮像した映像を示す映像データを生成し、生成した映像データを制御部１０１に出力する。
【００２０】
収音部１０５は、調理支援装置１０の筐体に設置され、その周囲から到来する音を収音する。収音部１０５は、例えば、マイクロホンである。収音部１０５は、収音した音を示す音響データを生成し、生成した音響データを制御部１０１に出力する。
操作部１０６は、ユーザの手、指の動きによる操作を検出し、検出した操作を示す操作信号を制御部１０１に出力する。操作部１０６は、例えば、タッチセンサ、赤外線深度センサなどである。
【００２１】
電源１０７は、調理支援装置１０の各部の動作に要する電力の供給元である。電源１０７は、例えば、バッテリである。
電源制御部１０８は、電源１０７から供給される電力を上記の各機能部に供給する。
通信部１０９は、他の機器と無線で接続し、各種のデータを送信及び受信可能とする。通信部１０９は、例えば、通信モジュールである。
ＲＯＭ１１１、ＲＡＭ１１２、ＳＳＤ１１３は、それぞれ各種のデータを記憶する記憶媒体である。
【００２２】
次に、調理支援装置１０の機能構成の一例について説明する。
図３は、本実施形態に係る調理支援装置１０の機能構成の一例を示すブロック図である。
調理支援装置１０は、提示制御部１２１、検出部１２２、通知制御部１２３、通知部１３１、及び記憶部１３２を、少なくとも備える。制御部１０１（図２）は、ＳＳＤ１１３などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、提示制御部１２１、検出部１２２、通知制御部１２３、通知部１３１、及び記憶部１３２の機能を実現してもよい。
【００２３】
提示制御部１２１は、レシピ情報の取得及び表示を制御する。調理情報処理装置３０と接続し、レシピ情報とそのレシピ情報に対応する調理特徴情報を取得し、取得した調理特徴情報とレシピ情報を対応付けて記憶部１３２に記憶する。調理特徴情報を取得する際、提示制御部１２１は、例えば、操作部１０６（図１）から入力される操作信号で指示されるレシピ検索条件とユーザＩＤならびに認証情報を調理情報処理装置３０（後述）に送信する。レシピ検索条件として、レシピ属性データ（後述）の要素情報であるレシピ名、レシピカテゴリ、調理時間、対象人数情報などを示す語句がキーワードとして利用可能である。
ユーザＩＤは、調理支援装置１０及び調理情報生成装置２０（後述）のユーザを一意に識別する情報である。認証情報は、個々のユーザの認証に用いられる情報、例えば、パスワードである。
提示制御部１２１は、レシピ検索条件に対する応答としてレシピ検索条件に対応した１個又は複数のレシピ情報と、個々のレシピ情報に対応付けられた調理特徴情報、通知情報及びレシピ属性データを受信する。提示制御部１２１は、受信したレシピ情報毎に、レシピ情報と、そのレシピ情報に対応する調理特徴情報、通知情報及びレシピ属性データを対応付けて記憶部１３２に記憶する。
【００２４】
提示制御部１２１は、受信したレシピ情報に係るレシピ属性データを用いて、個々のレシピ情報を示すレシピリストを生成する。提示制御部１２１は、生成したレシピリストを表示部１０２に出力する。これにより、提示制御部１２１は、表示部１０２にレシピリストを表示させることができる。
提示制御部１２１は、レシピリストに表示されたレシピ情報のうち、操作部１０６から入力される操作信号で指示されるレシピ情報を選択し、選択したレシピ情報を表示部１０２に出力する。表示部１０２は、提示制御部１２１から入力されたレシピ情報を表示する。レシピ情報は、調理の一部又は全部の工程を順次示すレシピ映像（動画）、一部の工程又は全部の工程を示すレシピ記事（静止画像、テキスト）などのいずれであってもよい。
【００２５】
検出部１２２は、撮像部１０４から入力される映像データが示す映像について公知の画像認識処理を行って調理対象の映像を示すストリーム（以下、「調理対象映像ストリーム」と呼ぶ）を検出する。検出部１２２は、例えば、映像を構成する各フレームの画像から被写体毎の特徴を示す画像特徴量を解析する。被写体の特徴を示す画像特徴量として、例えば、形状を示す輪郭情報、色を示す色信号値のいずれか、またはその組が利用可能である。検出部１２２は、解析した映像特徴量と予め記憶部１３２に記憶させておいた調理対象の候補（以下、「調理対象候補」と呼ぶ）毎の画像特徴量とを比較する。調理対象候補となる食材は、レシピ情報毎に予め定められ、その画像特徴量とレシピ情報が予め対応付けられてもよい。検出部１２２は、画像特徴量を比較する際、両者の類似度を示す指標値として、例えば、内積、差分二乗和、尤度などを算出する。内積、尤度は、それぞれの値が大きいほど類似度が高いことを示す指標値である。差分二乗和は、その値が小さいほど類似度が高いことを示す指標値である。検出部１２２は、調理対象候補のうち最も類似度が高く、かつ、その最も高い類似度が所定の第１の類似度の閾値よりも高い調理対象候補を調理対象として特定する。検出部１２２は、各フレームの画像から調理対象として特定した部分の画像特徴量を順次取得し、取得した画像特徴量からなる調理対象映像ストリームを通知制御部１２３に出力する。
【００２６】
通知制御部１２３は、検出部１２２から入力された調理対象映像ストリームが示すフレーム毎の画像特徴量と、提示制御部１２１が提示させているレシピ情報と対応付けて記憶部１３２に予め記憶された調理特徴情報の画像特徴量とを比較し、両者が適合（マッチ）するか否かを判定する。通知制御部１２３は、フレーム毎の画像特徴量と調理特徴情報の画像特徴量との類似度を示す指標値を算出し、算出した指標値が示す類似度が所定の第２の類似度の閾値よりも高いとき両者が適合すると判定し、算出した指標値が示す類似度が所定の第２の類似度の閾値以下であるとき両者が適合しないと判定する。第２の類似度の閾値は、第１の類似度の閾値よりも高い類似度を示す指標値であればよい。これにより、調理対象の検出漏れを防止するとともに、映像による調理対象の外観の状態が所定の状態になることを的確に判定できる。また、画像特徴量が適合するか否かの判定において、調理対象の特定に用いられ一部の画像特徴量、例えば、色信号値が用いられてもよいし、調理対象の特定に用いられた画像特徴量と異なる種別の画像特徴量が用いられてもよい。通知制御部１２３は、適合すると判定するとき、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。これにより、通知制御部１２３は、調理行動の助言を表す通知を通知部１３１に行わせることができる。
【００２７】
通知部１３１は、通知制御部１２３から通知情報が入力されるとき、入力された通知情報を表示部１０２に出力する。従って、通知部１３１は、表示部１０２を介して調理行動の助言を表す通知を行うことができる。調理行動の助言とは、画像特徴量によって表される調理対象の状態に応じて調理に役立つ行動を示す情報であればよく、その通知は、映像（動画）、静止画、テキストもしくはそれらの組み合わせのいずれでなされてもよい。また、通知情報の一部又は全部が音声データで表されている場合には、通知部１３１は、その音声データを再生部１０３に出力してもよい。
【００２８】
なお、検出部１２２は、収音部１０５（図２）から入力される音響データが示す音について公知の音声認識処理を行って調理対象の音を示すストリーム（以下、「調理対象音響ストリーム」と呼ぶ）を検出してもよい。検出部１２２は、例えば、所定期間毎の音響データから音響特徴量を算出する。音響特徴量として、例えば、その音色を示す音響特徴量としてスペクトル、ケプストラムのいずれか、またはその組が利用可能である。検出部１２２は、算出した音響特徴量と予め記憶部１３２に記憶させておいた調理対象候補毎の音響特徴量との類似度を示す指標値を算出する。調理対象候補となる食材は、レシピ情報毎に予め定められていてもよい。検出部１２２は、調理対象候補のうち最も類似度が高く、かつ、その最も高い類似度が所定の類似度の閾値よりも高い調理対象候補を調理対象として特定する。検出部１２２は、調理対象を特定した期間内に順次取得された音響特徴量からなる調理対象音響ストリームを形成し、形成した調理対象音響ストリームを通知制御部１２３に出力する。
【００２９】
通知制御部１２３は、検出部１２２から入力された調理対象音響ストリームが示す音響特徴量と、記憶部１３２にレシピ情報と対応付けて予め記憶された調理特徴情報の音響特徴量とを比較し、両者が適合するか否かを判定する。このレシピ情報は、提示制御部１２１が提示させているレシピ情報である。通知制御部１２３は、期間毎の音響特徴量と調理特徴情報の音響特徴量との類似度を示す指標値を算出し、算出した指標値が示す類似度が所定の第２の類似度の閾値よりも高いとき両者が適合すると判定し、算出した指標値が示す類似度が所定の第２の類似度の閾値以下であるとき両者が適合しないと判定する。この場合も、第２の類似度の閾値は、第１の類似度の閾値よりも高い類似度を示す指標値であればよい。これにより、調理対象の検出漏れを防止するとともに、音による調理対象の状態が所定の状態になることを的確に判定できる。通知制御部１２３は、適合すると判定するとき、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。
記憶部１３２は、各種の処理に用いるデータを記憶する。記憶部１３２は、上述したように、レシピ情報、調理特徴情報、レシピ属性データ及び通知情報を対応付けて記憶する。
【００３０】
図４は、本実施形態に係るレシピ映像データの一例を示す図である。レシピ映像データは、レシピ情報の一形態であるレシピ映像を示すデータである。レシピ映像は、調理における各調理工程を表す動画である。レシピ映像には、各工程の前後の食材の状態を表す画像や、調理により完成する料理の画像が含まれてもよい。
レシピ映像データは、レシピＩＤ（Identifier）と、映像ＩＤと、映像データと、を対応付けてなるデータである。
レシピＩＤは、レシピを一意に識別する情報である。映像ＩＤは、映像を一意に識別する情報である。映像データは、対応する映像ＩＤで示される映像、つまりそのレシピのレシピ映像を表すデータである。
【００３１】
図５は、本実施形態に係るレシピ属性データの一例を示す図である。レシピ属性データは、レシピ情報の属性を示すデータである。レシピ属性データは、レシピＩＤと、料理ＩＤと、レシピ名情報と、対象人数情報と、レシピ投稿者情報と、レシピ登録日時情報と、料理画像情報と、投稿者コメント情報と、調理時間情報と、レシピカテゴリ情報と、を対応付けてなるデータである。
【００３２】
料理ＩＤは、料理を一意に識別する情報である。
レシピ名情報は、レシピの名称を示す情報である。レシピの名称には、レシピに基づいて作成される料理の名称、調理に用いられる食材の名称の一方又は両方が含まれてもよい。
対象人数情報は、レシピが示す料理の分量を示す情報である。対象人数情報には、例えば、１人分、２−３人分、等の情報が記述される。
レシピ投稿者情報は、レシピの投稿者（作成者）を示す情報である。レシピ投稿者情報には、例えば、個々のユーザを識別するユーザＩＤが記述される。本明細書では、「投稿」とは、あるユーザが編集した情報を、他のユーザが参照可能にすること、即ち、その情報を公開することを意味する。「編集」とは、新規に情報を生成すること、既存の情報の一部もしくは全部を修正もしくは削除すること、又は追加することが含まれる。
【００３３】
レシピ登録日時情報は、投稿されたレシピが登録された日時を示す情報である。
料理画像情報は、レシピに従って調理された料理の画像を示す情報である。
投稿者コメント情報は、投稿者がそのレシピに対して付したコメント（例えば、概要、背景、等）を示す情報である。
調理時間情報は、調理に要するおおよその時間を示す情報である。調理時間情報は、各調理工程に要する時間の総和を示してもよいし、別途、料理の作成に関して設定される時間が含まれてもよい。調理時間情報には、例えば、下ごしらえ、盛り付け等に要する時間が含まれてもよい。
レシピカテゴリ情報は、レシピの種別（例えば、料理の種別、費用、カロリー、目的、用途、など）を示す情報である。
【００３４】
レシピ属性データを参照することにより、提示制御部１２１（図３）は、個々のレシピＩＤに対応付けられたレシピ情報の属性を示すレシピリストを生成することができる。また、提示制御部１２１は、レシピリストが示すレシピ情報のうち、操作信号で指示されるレシピＩＤに対応付けられた映像データを特定することができる。
【００３５】
図６は、本実施形態に係る調理特徴情報と通知情報の一例を示す図である。
図６に示す例では、あるレシピ映像に係る映像ＩＤに、調理特徴情報と通知情報が対応付けられている。
調理特徴情報は、調理対象の特徴を示す情報である。調理対象として、調理に用いられる食材、もとの食材から作成された中間物、食材や中間物から作成される料理などに適用できる。調理特徴情報には、上記の画像特徴量と音響特徴量のいずれか一方又は両方が含まれる。画像特徴量として、例えば、特定の調理行動をとるべき状態において調理対象の外観として表れる画像の特徴として、特定の色を示す色信号値が用いられる。つまり、その調理行動を行うべきタイミングに出現する画像の特徴を示す画像特徴量が調理特徴情報として含まれる。音響特徴量として、例えば、特定の調理行動をとるべき状態において発される音の特徴として、特定の音色を示すスペクトルもしくはケプストラムが用いられてもよい。つまり、その調理行動を行うべきタイミングに出現する音の特徴を示す音響特徴量が調理特徴情報として含まれる。
通知情報は、ある調理工程において、その調理特徴情報に適合する特徴情報が検出される時点において、とるべき調理行動に関する助言を表す情報である。
【００３６】
調理特徴情報を参照することにより、通知制御部１２３（図３）は、調理対象映像ストリーム又は調理対象音響ストリームが示す特徴情報と比較して、いずれかの調理特徴情報に適合する特徴情報を検出することができる。また、通知制御部１２３は、検出した特徴情報に適合する調理特徴情報に対応付けられた通知情報を通知部１３１（図３）に通知させることができる。
例えば、天ぷらの作成を示すレシピに係る調理特徴情報として、天ぷらを表す部分の色として茶褐色を示す色信号値と、天ぷらの鍋からの引き上げを助言として示す通知情報が記憶部１３２（図３）に対応付けて記憶されている場合を仮定する。通知制御部１２３が、天ぷらを揚げる工程を表す映像の映像データから得られた天ぷらを表す部分の色信号値で示される色が茶褐色となるとき、その調理特徴情報と適合すると判定し、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２（図２）を介して、天ぷらの鍋からの引き上げをユーザに通知することができる。
【００３７】
なお、図６に示す例では、調理特徴情報と通知情報が映像ＩＤに直接対応付けられ、レシピＩＤに間接的に対応付けられているが、レシピＩＤに直接対応付けられてもよい。
また、調理特徴情報には、１フレームの画像の画像特徴量に限られず、互いに異なる時点の複数のフレームの画像の画像特徴量が含まれてもよい。通知制御部１２３は、調理特徴情報に含まれる各時点の画像特徴量と、フレーム毎に入力される調理対象映像ストリームに含まれる画像特徴量とを比較し、適合するか否かを判定してもよい。そして、通知制御部１２３は、各フレームいずれも画像特徴量が適合すると判定するとき、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知情報には、複数のフレームのうち、最後の時点においてとるべき調理行動に関する助言を表す情報が含まれればよい。
これにより、通知制御部１２３は、調理対象映像ストリームから調理対象の特徴において特定の変化を検出するとき、通知部１３１にその変化に応じた通知を行わせることができる。
【００３８】
例えば、調理特徴情報に、例えば、天ぷらの作成を示すレシピに係る調理特徴情報に、揚げる工程の初期における天ぷらを表す部分の色として黄色を示す色信号値と、揚げる工程の終期における天ぷらを表す部分の色として茶褐色を示す色信号値とが含まれる場合を仮定する。通知制御部１２３が、天ぷらを揚げる工程の場面を撮像した映像の映像データから得られた天ぷらを表す部分の色信号値で示される色が黄色から茶褐色となるとき、その調理特徴情報と適合すると判定する。そして、通知制御部１２３は、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２を介して、天ぷらの鍋からの引き上げをユーザに通知することができる。
このようにして、調理工程における調理対象の特徴の変化が検出されるとき、調理対象の状態の変化に応じた調理行動の助言がユーザに通知される。
【００３９】
なお、調理特徴情報には、複数の互いに異なる期間の音響特徴量が含まれてもよい。通知制御部１２３は、調理特徴情報に含まれる各期間内の音響特徴量と、入力される調理対象映像ストリームに含まれる音響特徴量とを比較し、適合するか否かを判定してもよい。そして、通知制御部１２３は、音響特徴量が適合すると判定する期間について、その期間に調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知情報には、適合すると判定した複数の期間のうち、少なくとも最後の期間の終了時においてとるべき調理行動に関する助言を表す情報が含まれればよい。
【００４０】
例えば、焼き餃子の作成を示すレシピに係る調理特徴情報として、蒸し焼きの工程の初期において餃子から発される音の第１の音響特徴量と、その工程の終期において餃子から発される音の第２の音響特徴量を含む調理特徴情報が記憶部１３２に対応付けて記憶されている場合を仮定する。また、記憶部１３２には、鍋からの蓋の開放と蒸し焼きの工程の停止を助言として示す通知情報が調理特徴情報と対応付けて記憶されているものとする。第１の音響特徴量、第２の音響特徴量は、それぞれ「ジュウジュウ」という音色を示す第１のスペクトル、「パチパチ」という音色を示す第２のスペクトルである。通知制御部１２３が、餃子の蒸し焼きの工程において収録された音を表す音響データから得られたスペクトルが「ジュウジュウ」という音色を示すスペクトルから「パチパチ」という音色を示すスペクトルとなるとき、その調理特徴情報と適合すると判定する。その後、通知制御部１２３は、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２を介して、鍋を覆う蓋の開放と蒸し焼きの工程の停止を助言としてユーザに通知することができる。
【００４１】
なお、調理特徴情報と通知情報は、レシピ情報が示す調理工程毎に対応付けられてもよい。例えば、複数の調理工程を示すレシピ映像について、各調理工程の工程ＩＤと、調理特徴情報と通知情報とが対応付けられてもよい。
図７は、本実施形態に係るレシピ映像構成データの一例を示す図である。
レシピ映像構成データは、複数の調理工程を示すレシピ映像の構成を示すデータである。レシピ映像構成データは、複数の工程ＩＤと、工程ＩＤと同じ数の開始時刻情報とを含んで構成される。個々の工程ＩＤは、それぞれ開始時刻情報と対応付けられている。
工程ＩＤは、調理工程を一意に識別する情報である。
開始時刻情報は、調理工程を表す区間の開始時刻を示す情報である。開始時刻は、レシピ映像全体の冒頭から、その調理工程を表す区間の冒頭までの経過時間に相当する。
【００４２】
図８は、本実施形態に係る調理特徴情報と通知情報の他の例を示す図である。
図８に示す例では、１つの工程ＩＤに調理特徴情報と通知情報とが対応付けられている。記憶部１３２には、調理工程毎に、その調理工程の工程ＩＤに調理特徴情報と通知情報を対応付けて記憶される。
【００４３】
調理工程毎に記憶された調理特徴情報を参照することにより、通知制御部１２３（図３）は、調理対象映像ストリーム又は調理対象音響ストリームが示す特徴情報と比較して、調理工程毎の調理特徴情報に適合する特徴情報を検出したか否かを監視することができる。そして、通知制御部１２３は、検出した特徴情報に適合する調理特徴情報に対応付けられた通知情報を記憶部１３２（図３）から読み出し、読み出した通知情報を通知部１３１に出力する。言い換えれば、通知制御部１２３は、通知部１３１（図３）に所定の特徴情報を検出した調理工程に係る通知を行わせることができる。
例えば、通知制御部１２３が、調理対象映像ストリームが示す特徴情報として天ぷらを表す部分の色信号値が、天ぷらの作成に係る複数の調理工程のそれぞれに係る調理特徴情報と適合するか否かを判定する。そして、通知制御部１２３は、色信号値で示される色が茶褐色であるとき揚げる工程に係る調理特徴情報と適合すると判定し、適合すると判定した揚げる工程に係る調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。これにより、通知部１３１は、その調理工程に係る助言を表す通知として鍋からの天ぷらの引き上げを助言としてユーザに通知することができる。
【００４４】
なお、図６、図８は、レシピ映像もしくは調理工程毎に１つの調理特徴情報と通知情報が対応付けられている場合を例にしたが、これには限られない。レシピ映像もしくは調理工程毎に複数の調理特徴情報と通知情報の組が対応付けられてもよい。その場合には、通知制御部１２３は、複数の調理特徴情報と調理対象映像ストリームもしくは調理対象音響ストリームが示す特徴情報に適合するか否かを判定し、適合すると判定した特徴情報に対応する通知情報を通知部１３１に出力してもよい。
また、複数の調理特徴情報に対応付けられる通知情報の一部又は全部である複数の通知情報は互いに同一であってもよいし、異なっていてもよい。また、複数の調理工程のうち全部の調理工程について調理特徴情報と通知情報が対応付けられていなくてもよい。
また、調理特徴情報と通知情報は、レシピ映像もしくはレシピ映像の一部としての調理工程に限らず、他の形態のレシピ情報、例えば、静止画で表される１個又は複数のレシピ情報に対応付けられてもよい。
【００４５】
（調理支援処理）
次に、本実施形態に係る調理支援処理の一例について説明する。
図９は、本実施形態に係る調理支援処理の一例を示すフローチャートである。
（ステップＳ１０２）提示制御部１２１は、操作部１０６が受け付けた操作に応じて指示されるレシピ検索条件に適合したレシピ情報と、そのレシピ情報に対応する調理特徴情報、通知情報及びレシピ属性データを受信する。提示制御部１２１は、受信したレシピ情報、調理特徴情報、通知情報及びレシピ属性データを対応付けて記憶部１３２に記憶する。
提示制御部１２１は、操作部１０６が受け付けた操作に応じて選択したレシピ情報を表示部１０２に表示させる。その後、ステップＳ１０４の処理に進む。ユーザが表示されたレシピ情報を参照しながら調理を行うとき、撮像部１０４は調理対象を被写体とする映像を撮像する。
【００４６】
（ステップＳ１０４）検出部１２２は、撮像部１０４が撮像した映像について画像認識処理を行って調理対象映像ストリームを検出し、通知制御部１２３に出力する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）通知制御部１２３は、調理対象映像ストリームが示す特徴情報と、レシピ情報と対応付けられた調理特徴情報が示す特定の特徴情報とを比較し、両者が適合するか否か、即ち特定の特徴情報を検出したか否かを判定する。特定の特徴情報を検出したと判定するとき（ステップＳ１０６  ＹＥＳ）、ステップＳ１０８の処理に進む。特定の特徴情報を検出していないと判定するとき（ステップＳ１０６  ＮＯ）、ステップＳ１１０の処理に進む。
【００４７】
（ステップＳ１０８）通知制御部１２３は、適合すると判定した特徴情報に対応する通知情報を記憶部１３２から読み出し、読み出した通知情報を通知部１３１に出力する。通知部１３１は、通知制御部１２３から入力される通知情報に基づいて調理行動に係る助言をユーザに表示部１０２を介して通知する。その後、ステップＳ１１０の処理に進む。
（ステップＳ１１０）通知制御部１２３は、操作部１０６が受け付けた操作に応じて終了が指示されたか否かを判定する。終了が指示されたとき（ステップＳ１１０  ＹＥＳ）、図９に示す処理を終了する。終了が指示されていないとき（ステップＳ１１０  ＮＯ）、ステップＳ１０４に戻り、以降のステップの処理を繰り返す。
【００４８】
なお、ステップＳ１０４において、収音部１０５は、調理対象から発される音を収音してもよい。その場合、検出部１２２は、収音部１０５が収音した音について音声認識処理を行って調理対象音響ストリームを検出し、通知制御部１２３に出力する。ステップＳ１０６において特定の特徴情報を検出したか否かを判定する際、通知制御部１２３は、調理対象音響ストリームが示す特徴情報と、レシピ情報と対応付けられた調理特徴情報が示す特定の特徴情報とを比較して両者が適合するか否かを判定してもよい。
【００４９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る調理支援システム１（図１４）は、調理支援装置１０と、調理情報生成装置２０と、調理情報処理装置３０と、を含んで構成される。
【００５０】
〔調理情報生成装置〕
まず、本実施形態に係る調理情報生成装置２０について説明する。調理情報生成装置２０は、あるレシピに従って行われている調理において調理対象を被写体とする映像から調理対象映像ストリームを検出する。調理情報生成装置２０は、その調理対象から発される音を収音し、収音した音から調理対象音響ストリームを検出してもよい。ユーザは被写体の状況を観察しながら所定の調理行動を行うべきタイミングを判定し、調理情報生成装置２０に対してそのタイミングを指示するための操作を行う。調理情報生成装置２０は、検出した調理対象映像ストリーム又は調理対象音響ストリームから操作に応じて特定されたタイミングにおける特徴情報を抽出し、抽出した特徴情報を調理特徴情報として、そのレシピを示すレシピ情報と対応付けて記憶する。調理情報生成装置２０は、操作に応じて特定されたタイミングにおいてとるべき調理行動の助言を示す通知情報を編集し、編集により得られた通知情報を調理特徴情報と対応付けて記憶してもよい。調理情報生成装置２０は、そのレシピを示すレシピ情報と、抽出した調理特徴情報と、編集により得られた通知情報を対応付けて調理情報処理装置３０に送信（投稿）してもよい。
【００５１】
次に、本実施形態に係る調理情報生成装置２０の構成例について説明する。
図１０は、本実施形態に係る調理情報生成装置２０のハードウェア構成の一例を示すブロック図である。
調理情報生成装置２０は、制御部２０１、表示部２０２、再生部２０３、撮像部２０４、収音部２０５、操作部２０６、電源２０７、電源制御部２０８、通信部２０９、ＲＯＭ２１１、ＲＡＭ２１２、及びＳＳＤ２１３を備え、それらの機能部が筐体に収納されている。
制御部２０１、表示部２０２、再生部２０３、撮像部２０４、収音部２０５、操作部２０６、電源２０７、電源制御部２０８、通信部２０９、ＲＯＭ２１１、ＲＡＭ２１２、及びＳＳＤ２１３は、調理支援装置１０（図２）の制御部１０１、表示部１０２、再生部１０３、撮像部１０４、収音部１０５、操作部１０６、電源１０７、電源制御部１０８、通信部１０９、ＲＯＭ１１１、ＲＡＭ１１２、及びＳＳＤ１１３とそれぞれ同様であってもよい。調理情報生成装置２０の各機能部の説明について、調理支援装置１０の対応する機能部の説明を援用する。
【００５２】
次に、調理情報生成装置２０の機能構成の一例について説明する。
図１１は、本実施形態に係る調理情報生成装置２０の機能構成の一例を示すブロック図である。
調理情報生成装置２０は、提示制御部２２１、検出部２２２、抽出制御部２２４、通知情報編集部２２５、投稿制御部２２６、記憶部２３２を、少なくとも備える。制御部２０１（図１０）は、ＳＳＤ２１３（図１０）などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、提示制御部２２１、検出部２２２、抽出制御部２２４、通知情報編集部２２５、投稿制御部２２６、及び記憶部２３２の機能を実現してもよい。
【００５３】
提示制御部２２１は、提示制御部１２１（図３）と同様の手法でレシピ情報の取得及び表示を制御する。提示制御部２２１は、例えば、操作部２０６（図１０）から入力される操作信号で指示されるレシピ情報として選択したレシピ映像を表示部２０２（図１０）に出力する。選択したレシピ映像に音響データが付加されている場合には、提示制御部２２１は、その音響データを再生部２０３（図１０）に出力してもよい。但し、本実施形態では、提示制御部２２１がレシピ情報を取得した時点では、（その既存の）レシピ情報に対応する調理特徴情報と通知情報が存在していなくてもよい。また、本実施形態では、既存のレシピ映像に対応する調理特徴情報と通知情報を生成する際、提示制御部２２１は、表示部２０２にレシピ映像を出力するとき、そのレシピ映像を検出部２２２に並行して出力する。ユーザは、表示部２０２に表示されるレシピ映像を見ながら調理を行うことができる。
【００５４】
検出部２２２は、提示制御部２２１から既存のレシピ映像が入力されるとき、入力されるレシピ映像から調理対象映像ストリームを検出する。調理対象映像ストリームを検出する手法は、検出部１２２（図３）が撮像部１０４（図３）から入力される映像データから調理対象映像ストリームを検出する手法と同様であってよい。
検出部２２２は、検出部１２２（図３）と同様の手法を用いて撮像部２０４（図１０）から入力される映像データから調理対象映像ストリームを検出してもよいし、収音部２０５から入力される音響データから調理対象音響ストリームを検出してもよい。
検出部２２２は、検出した調理対象映像ストリームを抽出制御部２２４に出力する。また、検出部２２２は、検出した調理対象音響ストリームを抽出制御部２２４に出力する。
検出部２２２は、撮像部２０４から入力される映像データを新たに投稿しようとするレシピ映像として採用し、検出した調理対象ストリームを抽出制御部２２４に出力してもよい。その場合、記憶部２３２は、撮像部２０４から入力される映像データをレシピ映像として記憶する。
【００５５】
抽出制御部２２４は、検出部２２２が検出した調理対象映像ストリーム又は調理対象音響ストリームに係るレシピ情報について、操作部２０６から入力される操作信号に基づいて指示される時点における調理特徴情報を抽出する。
抽出制御部２２４は、例えば、調理対象映像ストリームが検出部２２２から入力され、かつ特徴情報の抽出を示す操作信号が操作部２０６から入力されるとき、その時点におけるフレームの画像特徴量を調理対象映像ストリームから抽出する。操作信号が時刻を示す信号である場合には、抽出制御部２２４は、操作信号が示す時刻を抽出時刻として特定し、抽出時刻におけるフレームの画像特徴量を調理対象映像ストリームから抽出してもよい。抽出制御部２２４は、抽出した画像特徴量を調理特徴情報としてレシピ映像と対応付けて記憶部２３２に記憶する。
抽出制御部２２４は、調理対象音響ストリームが検出部２２２から入力され、かつ特徴情報の抽出を示す操作信号が操作部２０６から入力されるとき、その時点を含む期間の音響特徴量を調理対象映像ストリームから抽出する。操作信号が抽出時刻を示す信号である場合には、抽出制御部２２４は、操作信号が示す抽出時刻を含む期間の音響特徴量を調理対象映像ストリームから抽出してもよい。抽出制御部２２４は、抽出した音響特徴量を調理特徴情報としてレシピ映像と対応付けて記憶部２３２に記憶する。
【００５６】
なお、抽出制御部２２４は、調理特徴情報を抽出した時刻を抽出時刻として特定し、特定した抽出時刻を示す抽出時刻情報、もしくは操作信号が示す抽出時刻を示す抽出時刻情報を調理特徴情報と対応付けて記憶部２３２に記憶してもよい。抽出時刻は、その時点における時刻に限られず、レシピ映像の冒頭からの経過時間で表された時刻であってもよい。
また、レシピ情報が複数の調理工程を示すレシピ映像であって、記憶部２３２にレシピ映像構成データが記憶されている場合には、抽出制御部２２４は、レシピ映像構成データを参照して、特定した抽出時刻が属する調理工程を特定し、特定した調理工程と対応付けて調理特徴情報を記憶部２３２に記憶してもよい。
調理特徴情報の抽出に係るレシピ情報は、提示制御部２２１が取得したレシピ情報（レシピ映像を含む）であってもよいし、撮像部２０４が撮像した映像、即ち、新たに投稿しようとするレシピ映像であってもよい。
【００５７】
通知情報編集部２２５は、操作部２０６（図１０）から入力される操作信号に基づいて特定されたタイミングにおいて行うべき調理行動の助言を示す通知情報を編集し、編集により得られた通知情報を調理特徴情報と対応付けて記憶部２３２に記憶する。
通知情報を編集する際、通知情報編集部２２５は、例えば、編集画面を示す編集画面データを生成し、生成した編集画面データを表示部２０２に出力してもよい。編集画面には、例えば、操作により入力されるテキストを表示する入力欄と、レシピ映像を表す表示欄が含まれる。通知情報編集部２２５は、調理特徴情報と対応付けて記憶された抽出時刻情報を参照し、抽出時刻を含む所定の長さ（例えば、５〜１０秒）の区間のレシピ映像の表示領域を表示欄に配置する。よって、ユーザは、抽出時刻又はその前後の区間内のレシピ映像を見ながら通知情報を編集することができる。
なお、調理工程と対応付けて調理特徴情報が記憶部２３２に記憶されている場合には、通知情報編集部２２５は、その調理特徴情報に対応する通知情報を編集し、編集により得られた通知情報を、その調理特徴情報に対応付けて記憶部２３２に記憶してもよい。
【００５８】
投稿制御部２２６は、レシピ情報に対応付けて記憶された調理特徴情報を投稿する。
調理特徴情報を投稿する際、投稿制御部２２６は、例えば、次に説明する処理を行う。操作部２０６から投稿要求を示す操作信号が入力されるとき、投稿制御部２２６は、投稿要求信号を調理情報処理装置３０（図１４）に送信する。投稿制御部２２６は、投稿要求信号に対する応答として投稿画面データを調理情報処理装置３０から受信する。投稿制御部２２６は、投稿画面データを表示部２０２に出力し投稿画面を表示する。投稿画面には、例えば、投稿を案内するためのメッセージ、投稿対象とする調理特徴情報に係る既存のレシピ情報を特定する情報を入力及び表示するための入力欄、投稿を指示するための投稿ボタンが含まれる。レシピ情報を特定する情報として、例えば、レシピＩＤ、レシピ名、そのレシピ映像の映像ＩＤのいずれも利用可能である。
【００５９】
投稿制御部２２６は、投稿ボタンの押下を検出するとき、入力欄に表示させている情報に係るレシピ情報と対応付けられた調理特徴情報及び通知情報を記憶部２３２から読み出す。ここで、「押下」とは、現実の押下に限られず、その表示領域内の座標を指示する操作信号が入力されるという意味を含む。投稿制御部２２６は、読み出した調理特徴情報と、通知情報と、そのレシピ情報に係るレシピＩＤもしくは映像ＩＤと、ユーザＩＤならびに認証情報と対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。
なお、既存のレシピ映像に係る調理工程毎に調理特徴情報と通知情報が対応付けられている場合には、投稿制御部２２６は、レシピＩＤもしくは映像ＩＤに、レシピ映像に係る調理工程の工程ＩＤを対応付けるとともに、さらに個々の調理工程の工程ＩＤに調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。
【００６０】
なお、新たなレシピ情報として撮像部２０４が生成した映像データを投稿する場合には、投稿制御部２２６は、操作部２０６から入力される操作信号に基づいてレシピ属性データを生成する。新たに生成されるレシピ属性データの要素として、レシピ名、対象人数情報、調理時間情報、投稿者コメント、調理時間情報及びレシピカテゴリのいずれか又はそれらの組が含まれる。この要素の入力を促すため、投稿画面データの入力欄には、要素毎の欄が設けられ、投稿制御部２２６は、入力された要素をその欄に表示させてもよい。投稿制御部２２６は、映像データから生成された料理を表す料理画像を抽出し、抽出した料理画像をレシピ属性データに含めてもよい。投稿制御部２２６は、撮像部２０４から入力されるレシピ映像、調理特徴情報、通知情報及びレシピ属性データを対応付けてなる投稿情報を調理情報処理装置３０に通信部２０９を介して送信する。
なお、新たなレシピ情報としての映像データが複数の調理工程を表すレシピ映像である場合には、投稿制御部２２６は、各調理工程の開始時刻情報を含むレシピ映像構成データをさらに生成する。そして、投稿制御部２２６は、レシピ映像、レシピ属性データ、レシピ映像構成データ、及び個々の調理工程に対応する調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。
【００６１】
〔調理情報処理装置〕
次に、本実施形態に係る調理情報処理装置３０について説明する。
調理情報処理装置３０は、調理情報生成装置２０（図１４）に対してレシピ情報に対応する調理特徴情報を投稿させ、調理支援装置１０（図１４）に調理特徴情報を提供する。調理情報処理装置３０は、調理支援装置１０からのレシピ検索条件の受信に応じてレシピ情報を提供する機能を備えたウェブサーバ装置として構成されてもよい。
【００６２】
〔調理情報処理装置の構成〕
次に、本実施形態に係る調理情報処理装置３０の構成例について説明する。
図１２は、本実施形態に係る調理情報処理装置３０のハードウェア構成の一例を示すブロック図である。
調理情報処理装置３０は、制御部３０１、通信部３０９、ＲＯＭ３１１、ＲＡＭ３１２、及びＳＳＤ３１３を備え、それらの機能部が筐体に収納されている。
制御部３０１は、アプリに記述された命令で指示される処理を実行する制御デバイスを含んで構成される。制御部３０１は、例えば、ＣＰＵである。
通信部３０９は、他の機器と有線又は無線で接続し、各種のデータを送信及び受信可能とする。通信部３０９は、例えば、通信モジュールである。
ＲＯＭ３１１、ＲＡＭ３１２、ＳＳＤ３１３は、それぞれ各種のデータを記憶する記憶媒体である。
【００６３】
次に、本実施形態に係る調理情報処理装置３０の機能構成の一例について説明する。
図１３は、本実施形態に係る調理情報処理装置３０の機能構成の一例を示すブロック図である。
調理情報処理装置３０は、投稿処理部３２１、情報提供部３２２、及び記憶部３３２を、少なくとも備える。制御部３０１（図１２）は、ＳＳＤ３１３などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、投稿処理部３２１、情報提供部３２２、及び記憶部３３２の機能を実現してもよい。
【００６４】
投稿処理部３２１は、調理情報処理装置３０にアクセスした調理情報生成装置２０（図１４）にレシピ情報に対応する調理特徴情報を通知情報と対応付けて投稿させる。投稿処理部３２１は、例えば、調理情報生成装置２０から投稿要求信号を受信するとき記憶部３３２に予め記憶させておいた投稿画面データを読み出し、読み出した投稿画面データを調理情報生成装置２０に送信する。
【００６５】
投稿処理部３２１は、調理情報生成装置２０から投稿情報を受信する。投稿処理部３２１は、投稿情報からユーザＩＤと認証情報を抽出する。投稿処理部３２１は、抽出したユーザＩＤと認証情報の組と同一のユーザＩＤと認証情報の組が予め記憶部３３２に記憶されたユーザデータに含まれるか否かにより、ユーザＩＤで示されるユーザが正当なユーザであるか否かを判定する（ユーザ認証）。記憶部３３２には、ユーザ毎のユーザＩＤと認証情報を示すユーザデータを予め記憶させておく。正当なユーザと判定するとき、投稿処理部３２１は以下に説明する処理を行い、正当なユーザと判定しないとき、投稿処理部３２１は以降の処理を行わない。
【００６６】
投稿処理部３２１は、投稿情報にレシピＩＤもしくは映像ＩＤが含まれているか否かにより、受信した既存のレシピ情報に係る投稿情報であるか、新たなレシピ情報を伴う投稿情報であるかを判定する。投稿情報が既存のレシピ情報に係る投稿情報である場合、投稿処理部３２１は、投稿情報からレシピＩＤもしくは映像ＩＤ、調理特徴情報及び通知情報を抽出する。投稿処理部３２１は、抽出した調理特徴情報及び通知情報を、抽出したレシピＩＤもしくは映像ＩＤと一致するレシピＩＤもしくは映像ＩＤと対応付けて記憶部３３２に記憶する。
【００６７】
投稿情報からレシピＩＤを抽出する場合には、投稿処理部３２１は、予め記憶部３３２にレシピ情報毎に記憶されたレシピ属性データのうち、そのレシピＩＤを含むレシピ属性データを特定してもよい。また、投稿情報から映像ＩＤを抽出する場合には、投稿処理部３２１は、予め記憶部３３２にレシピ情報毎に記憶されたレシピ映像データのうち、その映像ＩＤを含むレシピ映像データを参照して、その映像ＩＤに対応付けられたレシピＩＤを特定したうえで、特定したレシピＩＤを含むレシピ属性データを特定してもよい。そして、投稿処理部３２１は、特定したレシピ属性データに含まれるレシピ投稿者情報を、投稿情報から抽出したユーザＩＤに更新してもよい。投稿処理部３２１は、レシピ登録日時を調理特徴情報及び通知情報を記憶部３３２に記憶した日時に更新してもよい。
【００６８】
投稿情報が新たなレシピ情報としてレシピ映像データを伴う投稿情報である場合、投稿処理部３２１は、既存のレシピＩＤとは異なる新たなレシピＩＤと、既存の映像ＩＤとは異なる新たな映像ＩＤを生成する。投稿処理部３２１は、生成したレシピＩＤと映像ＩＤと投稿情報に含まれるレシピ映像データに付加して記憶部３３２に記憶する。投稿処理部３２１は、生成したレシピＩＤ又は映像ＩＤを投稿情報に含まれる調理特徴情報と対応付けて記憶部３３２に記憶する。また、投稿処理部３２１は、生成したレシピＩＤと、投稿情報に含まれるユーザＩＤと投稿情報を受信した日時を示すレシピ登録情報を受信したレシピ属性データに付加して記憶部３３２に記憶する。よって、レシピ情報、レシピ属性データ、調理特徴情報及び通知情報は、互いに対応付けられて記憶部３３２に記憶される。
【００６９】
なお、新たなレシピ情報としての映像データが複数の調理工程を表すレシピ映像である場合には、投稿処理部３２１は、レシピ映像、レシピ属性データ、各調理工程の開始時刻情報を含むレシピ映像構成データ、及び個々の調理工程に対応する調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報生成装置２０から受信する。投稿処理部３２１は、投稿情報に含まれるレシピ映像構成データが示す各調理工程について互いに異なる工程ＩＤを生成し、生成した個々の工程ＩＤとその工程の開始時刻情報の組を映像ＩＤと対応付けてレシピ映像構成データを生成して記憶部３３２に記憶する。そして、個々の工程ＩＤとその工程ＩＤの調理特徴情報と通知情報とを対応付けて記憶部３３２に記憶する。よって、記憶部３３２には、受信したレシピ映像データに、レシピ属性データ、レシピ映像構成データと、さらに個々の調理工程に対応する調理特徴情報と通知情報を対応付けて記憶される。
【００７０】
情報提供部３２２は、レシピ情報を要求する調理支援装置１０（図１４）に対してレシピ情報と対応付けて調理特徴情報と通知情報を提供する。
情報提供部３２２は、調理特徴情報と通知情報を提供する際、例えば、次の処理を行う。情報提供部３２２は、調理支援装置１０からレシピ検索条件を受信するとき、受信したレシピ検索情報からユーザＩＤと認証情報の組を抽出する。情報提供部３２２は、抽出したユーザＩＤと認証情報の組と同一のユーザＩＤと認証情報の組が予め記憶部３３２に記憶されたユーザデータに含まれるか否かにより、ユーザＩＤで示されるユーザが正当なユーザであるか否かを判定する（ユーザ認証）。正当なユーザと判定するとき、情報提供部３２２は、以下に説明する処理を行い、正当なユーザと判定しないとき、情報提供部３２２は、以降の処理を行わない。
【００７１】
情報提供部３２２は、記憶部３３２に予めレシピ情報毎に記憶されたレシピ属性データを参照し、受信したレシピ検索条件に適合したレシピ情報を特定する。情報提供部３２２は、例えば、レシピ検索条件として指定された語句を含む情報要素を有するレシピ属性データに対応付けられたレシピ情報を特定する。情報提供部３２２は、特定したレシピ情報と、そのレシピ情報の各々に対応付けられたレシピ属性データと、各々のレシピ情報のレシピＩＤ又は対応する映像ＩＤに対応付けられた調理特徴情報と通知情報を記憶部３３２から読み出す。情報提供部３２２は、読み出したレシピ情報、調理特徴情報、通知情報及びレシピ属性データを対応付けて調理支援装置１０に送信する。
【００７２】
なお、調理支援装置１０から受信するレシピ情報が複数の調理工程を表すレシピ映像である場合には、情報提供部３２２は、そのレシピ映像に、レシピ属性データ、各調理工程の開始時刻情報を含むレシピ映像構成データと、さらに個々の調理工程に対応する調理特徴情報と通知情報を対応付けて調理支援装置１０に送信する。
【００７３】
（調理支援処理）
次に、本実施形態に係る調理支援処理の一例について説明する。
図１４は、本実施形態に係る調理支援処理の一例を示すシーケンス図である。図１４に示す例では、調理情報生成装置２０が、撮像部２０４が新たに撮像した映像から調理対象の特徴を示す調理特徴情報を生成し、生成した調理特徴情報を撮像した映像を示す映像データをレシピ情報として対応付けて投稿する場合を例にする。
【００７４】
（ステップＳ２０２）調理情報生成装置２０の検出部２２２は、撮像部２０４から入力される調理中の映像を示す映像データについて画像認識処理を行って調理対象の画像特徴量を含む調理対象映像ストリームを検出する。その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）調理情報生成装置２０の抽出制御部２２４は、検出部２２２が検出した調理対象映像ストリームから、操作部２０６から入力される操作信号に基づいて指示される時点における画像特徴量を調理特徴情報として抽出する。その後、ステップＳ２０６の処理に進む。
（ステップＳ２０６）調理情報生成装置２０の抽出制御部２２４は、抽出した調理特徴情報をレシピ情報となる映像データと対応付けて記憶部２３２に記憶する。その後、ステップＳ２０８の処理に進む。
【００７５】
（ステップＳ２０８）調理情報生成装置２０の投稿制御部２２６は、操作部２０６から投稿要求を示す操作信号が入力されるとき、投稿要求信号を調理情報処理装置３０に送信する。その後、ステップＳ２１０の処理に進む。
（ステップＳ２１０）調理情報処理装置３０の投稿処理部３２１は、調理情報生成装置２０から投稿要求信号を受信する。その後、投稿処理部３２１は、記憶部３３２から投稿画面データを読み出し、読み出した投稿画面データを調理情報生成装置２０に送信する。その後、ステップＳ２１２の処理に進む。
（ステップＳ２１２）調理情報生成装置２０の投稿制御部２２６は、調理情報処理装置３０から受信した投稿画面データを表示部２０２に出力し、投稿画面を表示させる。その後、ステップＳ２１４の処理に進む。なお、この段階までに、通知情報編集部２２５は、その調理特徴情報に係る通知情報を編集し、編集により生成された通知情報をレシピ情報と対応付けて記憶部２３２に予め記憶しておく。また、投稿制御部２２６は、そのレシピ情報に係るレシピ属性データを生成し、生成したレシピ属性データをレシピ情報と対応付けて記憶部２３２に予め記憶しておく。
【００７６】
（ステップＳ２１４）調理情報生成装置２０の投稿制御部２２６は、操作部２０６から投稿要求を示す操作信号が入力されるとき、そのレシピ情報と、レシピ情報と対応付けて記憶されたレシピ属性データ、調理特徴情報及び通知情報を記憶部２３２から読み出す。投稿制御部２２６は、読み出したレシピ情報、レシピ属性データ、調理特徴情報及び通知情報を対応付けて調理情報処理装置３０に送信する。その後、ステップＳ２１６の処理に進む。
【００７７】
（ステップＳ２１６）調理情報処理装置３０の投稿処理部３２１は、調理情報生成装置２０からレシピ情報、レシピ属性データ、調理特徴情報及び通知情報を受信し、それらを対応付けて記憶部３３２に記憶する。その後、ステップＳ２２２の処理に進む。
（ステップＳ２２２）調理支援装置１０の提示制御部１２１は、操作部１０６から入力される操作信号で指示されるレシピ検索条件を調理情報処理装置３０に送信する。その後、ステップＳ２２４の処理に進む。
（ステップＳ２２４）調理情報処理装置３０の情報提供部３２２は、記憶部３３２に記憶されたレシピ属性データを参照し、調理支援装置１０から受信するレシピ検索条件に適合するレシピ情報を特定する。情報提供部３２２は、特定したレシピ情報と、そのレシピ情報に対応付けられたレシピ属性データ、調理特徴情報及び通知情報を記憶部３３２から読み出し、読み出したレシピ属性データ、調理特徴情報及び通知情報を調理支援装置１０に送信する。その後、図１４に示す処理を終了する。
【００７８】
よって、調理支援装置１０は、調理情報処理装置３０から受信したレシピ情報のいずれかを選択し、選択したレシピ情報に係る調理特徴情報と適合する映像又は音の特徴情報を検出するとき、その調理特徴情報に対応付けられた通知情報を提示することができる。
【００７９】
以上に説明したように、調理支援装置１０は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部１３２を備える。また、調理支援装置１０は、レシピに基づいて調理が行われるとき、調理対象の調理対象映像ストリーム又は音に係る調理対象音響ストリームを検出する検出部１２２を備える。また、調理支援装置１０は、調理対象映像ストリーム又は音に係る調理対象音響ストリームから検出される調理対象の映像の特徴又は調理対象の音の特徴を示す特徴情報が調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部１２３と、その通知を行う通知部１３１を備える。
この構成によれば、調理中に取得される映像又は音の特徴が、そのレシピ情報の調理特徴情報に適合するとき、調理特徴情報に応じた調理行動の助言が特段の操作を行わずに通知される。そのため、ユーザの調理行動を妨げずに調理対象の状況に応じた調理行動の助言が得られるので、調理の成功が促される。
【００８０】
また、通知制御部１２３は、調理対象映像ストリームにおいて、所定の色を検出した場合、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の色が所定の色になるとき、そのときにふさわしい助言がユーザに通知される。たとえ調理に不慣れなユーザであっても、調理対象の色が所定の色になるときに望まれる調理行動の助言が得られる。
【００８１】
また、通知制御部１２３は、調理対象音響ストリームにおいて、所定の音色を検出した場合、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の音色が所定の音色になるとき、そのときにふさわしい助言が通知される。たとえ調理に不慣れなユーザであっても、調理対象の音色が所定の音色になるときに望まれる調理行動の助言が得られる。
【００８２】
また、通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて、所定の特徴の変化を検出したとき、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の特徴の変化が所定の変化となるとき、そのときにふさわしい調理行動の助言が通知される。そのため、個々の時点において所定の特徴を検出するよりも、調理行動の助言を通知する契機を適切に判定することができる。
【００８３】
また、記憶部１３２は、レシピの調理工程毎に調理対象の特徴を示す調理特徴情報を記憶する。通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて、調理工程毎に調理特徴情報と適合する特徴情報を検出し、その特徴情報を検出した調理工程に係る調理行動の助言の通知を行わせる。
この構成によれば、取得された音の特徴又は映像の特徴が適合する調理特徴情報の調理工程が判定され、調理工程に応じた調理行動の助言が得られる。そのため、ユーザは調理工程を指示するための操作を行わなくても、判定された調理工程における調理対象の状況にふさわしい調理行動の助言が得られる。
【００８４】
また、調理特徴情報は、所定の調理行動を行う時点で現われる映像の特徴又は音の特徴を示す特徴情報を含む。また、通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて調理特徴情報に適合する特徴情報を検出する時点において、調理行動の助言の通知を行わせる。
この構成によれば、所定の調理行動を行うことで、調理対象を表す映像の特徴又は音の特徴が所定の特徴となる時点で、調理行動の助言が通知される。そのため、ユーザは自己の行動を意識しなくても、所定の調理行動を行って調理対象が所定の特徴を有する状況になる時点にふさわしい調理行動の助言が得られる。
【００８５】
また、調理情報生成装置２０は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部２２２を備える。また、調理情報生成装置２０は、操作に応じて特定される時点において、調理対象映像ストリーム又は調理対象音響ストリームから、調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部２２４を備える。また、調理情報生成装置２０は、そのレシピを示すレシピ情報と対応付けて調理特徴情報を記憶する記憶部２３２を備える。
また、調理情報処理装置３０は、調理情報生成装置２０から、レシピを示すレシピ情報に対応する調理特徴情報を投稿させる投稿処理部３２１と、調理支援装置１０に、そのレシピ情報に対応する調理特徴情報を提供する情報提供部３２２と、を備える。
この構成によれば、操作に応じて指示されたタイミングにおいて検出された調理対象の特徴を示す調理特徴情報が抽出され、そのレシピのレシピ情報と対応付けて記憶部２３２に記憶され、記憶されたレシピ情報が調理情報処理装置３０に投稿される。調理支援装置１０は、投稿されたレシピ情報と対応付けられた調理特徴情報に基づいて調理行動の助言を表す通知を行うことでユーザに対する調理の成功を促すことができる。そのため、レシピ情報の投稿と普及が促進される。
【００８６】
（変形例）
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。また、上述の実施形態において説明した各構成は、特定の機能を発揮するために不要である場合には、省略することができる。
【００８７】
より具体的には、調理支援装置１０は、さらに調理情報生成装置２０の抽出制御部２２４、通知情報編集部２２５及び投稿制御部２２６に相当する機能部を備え、調理情報生成装置２０としての機能を有してもよい。かかる調理支援装置１０は、別の見方では調理支援装置１０としての機能を有する調理情報生成装置２０とみることもできる。従って、調理支援システム１は、少なくとも調理情報生成装置２０として機能する１台の調理支援装置１０を有していれば、専用の調理情報生成装置２０を有していなくてもよい。また、調理情報生成装置２０としての機能を有する調理支援装置１０が調理情報処理装置３０に送信する投稿情報に付加されるユーザＩＤと、レシピ検索条件に付加されるユーザＩＤとが異なりうる。このことは、投稿に係るユーザとレシピ情報の検索、閲覧に係るユーザとが異なることを示す。
【００８８】
また、調理支援装置１０、調理情報生成装置２０は、眼鏡型の筐体を備える眼鏡型端末装置に限られず、人体に装着可能とする他の形態の端末装置であってもよいし、必ずしも装着可能としない端末装置であってもよい。
また、上記の編集画面、投稿画面は、それぞれ専用の画面でなくてもよく、他の情報の提示もしくは他の機能の提供を目的とする画面（例えば、調理情報提提供画面、ユーザ機能画面など）と一体に構成されていてもよい。
【００８９】
以上の記載から本発明の複数の態様は例えば以下のように把握される。なお、理解を容易にするために添付図面の参照符号を付記するが、それにより本発明の態様が図示の態様に限定されるものではない。
【００９０】
（付記１）
本発明の一態様は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部と、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、前記通知を行う通知部と、を備える調理支援装置である。
【００９１】
（付記２）本発明の他の態様は、付記１に記載の調理支援装置であって、前記通知制御部は、前記映像を示すストリームにおいて、所定の色を検出した場合、前記助言を表す通知を行わせる。
【００９２】
（付記３）本発明の他の態様は、付記１に記載の調理支援装置であって、前記通知制御部は、前記音を示すストリームにおいて、所定の音色を検出した場合、前記通知を行わせる。
【００９３】
（付記４）本発明の他の態様は、付記１から付記３のいずれかに記載の調理支援装置であって、前記通知制御部は、前記ストリームにおいて、所定の特徴の変化を検出した場合、前記通知を行わせる。
【００９４】
（付記５）本発明の他の態様は、付記１から付記４のいずれかに記載の調理支援装置であって、前記記憶部は、前記レシピの調理工程毎に前記特徴を示す調理特徴情報を記憶し、前記通知制御部は、前記ストリームにおいて前記調理工程毎に前記調理特徴情報と適合する特徴情報を検出し、当該特徴情報を検出した調理工程に係る前記通知を行わせる。
【００９５】
（付記６）本発明の他の態様は、付記１から付記５のいずれかに記載の調理支援装置であって、前記調理特徴情報は、所定の調理行動を行う時点で現われる前記特徴情報を含み、前記通知制御部は、前記ストリームにおいて前記調理特徴情報に適合する特徴情報を検出する時点において、前記通知を行わせる。
【００９６】
（付記７）本発明の他の態様は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備える調理情報生成装置である。
【００９７】
（付記８）本発明の他の態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。
【００９８】
（付記９）本発明の他の態様は、調理支援装置の調理支援方法であって、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出過程と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御過程と、前記通知を行う通知過程と、を有する調理支援方法である。
【００９９】
（付記１０）本発明の他の態様は、調理支援装置の調理支援方法であって、調理支援装置のコンピュータに、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出手順と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御手順と、前記通知を行う通知手順と、を実行させるためのプログラムである。
【符号の説明】
【０１００】
１０…調理支援装置、１２１…提示制御部、１２２…検出部、１２３…通知制御部、１３１…通知部、１３２…記憶部、２０…調理情報生成装置、２２１…提示制御部、２２２…検出部、２２４…抽出制御部、２２５…通知情報編集部、２２６…投稿制御部、２３２…記憶部、３０…調理情報処理装置、３２１…投稿処理部、３２２…情報提供部、３３２…記憶部
【図１】
2019082982.tif 000003
【図２】
2019082982.tif 000004
【図３】
2019082982.tif 000005
【図４】
2019082982.tif 000006
【図５】
2019082982.tif 000007
【図６】
2019082982.tif 000008
【図７】
2019082982.tif 000009
【図８】
2019082982.tif 000010
【図９】
2019082982.tif 000011
【図１０】
2019082982.tif 000012
【図１１】
2019082982.tif 000013
【図１２】
2019082982.tif 000014
【図１３】
2019082982.tif 000015
【図１４】
2019082982.tif 000016
【手続補正書】
【提出日】平成30年10月24日(2018.10.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
眼鏡型の筐体と、
外景と重ねて視覚情報を表示可能とする表示部と、
前記表示部の視野内の映像を撮像する撮像部と、
レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴を示す調理特徴情報を記憶する記憶部と、
前記レシピを前記表示部に表示させる提示制御部と、
前記レシピに基づいて調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、
前記ストリームから検出される前記調理対象の映像の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を前記表示部に表示させる通知制御部と、を備え、
前記表示部と前記撮像部は、前記筐体に設置される
調理支援装置。
【請求項２】
前記通知制御部は、前記映像を示すストリームにおいて、所定の色を検出した場合、前記助言を表す通知を行わせる
請求項１に記載の調理支援装置。
【請求項３】
音を収音する収音部が、前記筐体に設置され、
前記通知制御部は、前記収音部が収音した音を示すストリームにおいて、所定の音色を検出した場合、前記通知を行わせる
請求項１又は請求項２に記載の調理支援装置。
【請求項４】
前記通知制御部は、前記映像を示すストリームにおいて、所定の特徴の変化を検出した場合、前記通知を行わせる
請求項１から請求項３のいずれか一項に記載の調理支援装置。
【請求項５】
前記記憶部は、前記レシピの調理工程毎に前記特徴を示す調理特徴情報を記憶し、
前記通知制御部は、前記映像を示すストリームにおいて前記調理工程毎に前記調理特徴情報と適合する特徴情報を検出し、当該特徴情報を検出した調理工程に係る前記通知を行わせる
請求項１から請求項４のいずれか一項に記載の調理支援装置。
【請求項６】
前記調理特徴情報は、所定の調理行動を行う時点で現われる前記特徴情報を含み、
前記通知制御部は、前記映像を示すストリームにおいて前記調理特徴情報に適合する特徴情報を検出する時点において、前記通知を行わせる
請求項１から請求項５のいずれか一項に記載の調理支援装置。
【請求項７】
眼鏡型の筐体と、
外景と重ねて視覚情報を表示可能とする表示部と、
前記表示部の視野内の映像を撮像する撮像部と、
レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、
前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、
を備え、
前記表示部と前記撮像部は、前記筐体に設置される
調理情報生成装置。
【請求項８】
調理情報生成装置と調理情報処理装置を備える調理支援システムであって、
前記調理情報生成装置は、
眼鏡型の筐体と、
外景と重ねて視覚情報を表示可能とする表示部と、
前記表示部の視野内の映像を撮像する撮像部と、
レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、
を備え、
前記表示部と前記撮像部は、前記筐体に設置され、
前記調理情報処理装置は、
前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、
調理支援装置に、前記調理特徴情報を提供する情報提供部と、
を備える調理支援システム。
【請求項９】
眼鏡型の筐体と、
外景と重ねて視覚情報を表示可能とする表示部と、
前記表示部の視野内の映像を撮像する撮像部と、を備え、
前記表示部と前記撮像部が、前記筐体に設置される
調理支援装置の調理支援方法であって、
レシピを前記表示部に表示させる提示制御過程と、
前記レシピに基づいて調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出過程と、
前記ストリームから検出される前記調理対象の映像の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を前記表示部に表示させる通知制御過程と、
を有する調理支援方法。
【請求項１０】
眼鏡型の筐体と、
外景と重ねて視覚情報を表示可能とする表示部と、
前記表示部の視野内の映像を撮像する撮像部と、を備え、
前記表示部と前記撮像部が、前記筐体に設置される
調理支援装置のコンピュータに、
レシピを前記表示部に表示させる提示制御手順と、
前記レシピに基づいて調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出手順と、
前記ストリームから検出される前記調理対象の映像の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を前記表示部に表示させる通知制御手順と、
を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上述した課題を解決するために、本発明の一態様は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴を示す調理特徴情報を記憶する記憶部と、前記レシピを前記表示部に表示させる提示制御部と、前記レシピに基づいて調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を前記表示部に表示させる通知制御部と、を備え、前記表示部と前記撮像部は、前記筐体に設置される調理支援装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の一態様は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備え、前記表示部と前記撮像部は、前記筐体に設置される調理情報生成装置である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の一態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記表示部と前記撮像部は、前記筐体に設置され、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に、前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。