(57)【要約】【課題】料理の調理を支援する。【解決手段】調理支援装置１００は、料理の指定を受け付ける受付部１３１と、撮像部１１４により撮像された画像から料理に使用される物を判定する判定部１３２と、判定部１３２により判定された料理に使用される物に基づいて、受付部１３１により指定が受け付けられた料理である指定料理の調理に関する情報を通知する通知部１３３と、を備える。例えば、通知部１３３は、撮像部１１４により撮像中の動画像を表示する表示画面に、指定料理の調理に関する情報を重畳させて表示させる。【選択図】図１
2016139356.tif 000002
【特許請求の範囲】
【請求項１】
料理の指定を受け付ける受付部と、
撮像部により撮像された画像から料理に使用される物を判定する判定部と、
前記判定部により判定された料理に使用される物に基づいて、前記受付部により指定が受け付けられた料理である指定料理の調理に関する情報を通知する通知部と、
を備えることを特徴とする調理支援装置。
【請求項２】
前記通知部は、
前記撮像部により撮像中の動画像を表示する表示画面に、前記指定料理の調理に関する情報を重畳させて表示させる、
ことを特徴とする請求項１に記載の調理支援装置。
【請求項３】
前記判定部は、
前記画像から料理に使用される材料を判定し、
前記通知部は、
前記指定料理に要する材料のうち、前記判定部により判定された材料に含まれない材料に関する情報、または前記判定部により判定された材料のうち、前記指定料理に不要な材料に関する情報を通知する、
ことを特徴とする請求項１または請求項２に記載の調理支援装置。
【請求項４】
前記判定部は、
前記画像から前記指定料理に使用される材料を判定し、
前記通知部は、
前記指定料理に基づき、前記判定部により判定された材料に対する加工方法に関する情報を通知する、
ことを特徴とする請求項１〜３のいずれか１項に記載の調理支援装置。
【請求項５】
前記通知部は、
前記材料に対する加工方法として、前記指定料理に基づく前記材料の切り方に関する情報を通知する、
ことを特徴とする請求項４に記載の調理支援装置。
【請求項６】
前記判定部は、
前記画像から前記指定料理に使用される調理器具を判定し、
前記通知部は、
前記指定料理に基づき、前記判定部により判定された調理器具を使用して前記指定料理を作る手順に関する情報を通知する、
ことを特徴とする請求項１〜５のいずれか１項に記載の調理支援装置。
【請求項７】
調理支援装置で実行される調理支援方法であって、
料理の指定を受け付ける受付工程と、
撮像工程により撮像された画像から料理に使用される物を判定する判定工程と、
前記判定工程により判定された料理に使用される物に基づいて、前記受付工程により指定が受け付けられた料理である指定料理の調理に関する情報を通知する通知工程と、
を含んだことを特徴とする調理支援方法。
【請求項８】
コンピュータを、請求項１〜６のいずれか１項に記載の調理支援装置として機能させるための調理支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、調理支援装置、調理支援方法、及び調理支援プログラムに関する。
【背景技術】
【０００２】
従来、食品の画像を撮影し、食品の加工を補助する技術が提供されている。例えば、非特許文献１に示すように、ケーキなどを等分に切り分けるためのガイドライン（補助線）を表示するアプリケーションが提供されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ケーキカッター、Google  Play、[online]、[平成27年1月14日検索]、インターネット<URL：https://play.google.com/store/apps/details?id=net.newcakecutter&hl=ja>
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した方法では、例えばケーキなどの既製品の加工を補助することはできるが、料理の各種作業（以下、「調理」とする）を支援することは難しい。
【０００５】
そこで、本発明は、料理の調理を支援することができる調理支援装置、調理支援方法、及び調理支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、調理支援装置は、料理の指定を受け付ける受付部と、撮像部により撮像された画像から料理に使用される物を判定する判定部と、判定部により判定された料理に使用される物に基づいて、受付部により指定が受け付けられた料理である指定料理の調理に関する情報を通知する通知部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、料理の調理を支援することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態に係る調理支援装置の構成例を示す図である。
【図２】図２は、実施の形態に係る材料情報記憶部に記憶されるテーブルの一例を示す図である。
【図３】図３は、実施の形態に係る手順情報記憶部に記憶されるテーブルの一例を示す図である。
【図４】図４は、実施の形態に係る材料を準備する手順の概要を示す図である。
【図５】図５は、実施の形態に係る材料を加工する手順の概要を示す図である。
【図６】図６は、実施の形態に係る料理を作る手順の概要を示す図である。
【図７】図７は、実施の形態に係る材料を準備する処理手順を示すフローチャートである。
【図８】図８は、実施の形態に係る材料を加工する処理手順を示すフローチャートである。
【図９】図９は、実施の形態に係る料理を作る処理手順を示すフローチャートである。
【図１０】図１０は、調理支援プログラムを実行するコンピュータを示す図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る調理支援装置、調理支援方法、及び調理支援プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る調理支援装置、調理支援方法、及び調理支援プログラムが限定されるものではない。
【００１０】
［実施形態］
以下の実施形態では、実施形態に係る調理支援装置の構成及び処理の流れを順に説明し、その後、最後に実施形態による効果を説明する。
【００１１】
［調理支援装置の構成］
まず、図１を用いて、調理支援装置１００の構成を説明する。図１は、本実施形態に係る調理支援装置の概要を示す構成図である。以下に示す調理支援装置１００は、料理の調理を撮像中の動画像に基づいて、撮像中の動画像を表示する表示画面にガイドを表示したり、音声によりガイドを出力したりする。図１に示すように、この調理支援装置１００は、入力部１１１、出力部１１２、通信部１１３、撮像部１１４、記憶部１２０及び制御部１３０を有する。以下に、これらの各部の処理を説明する。
【００１２】
入力部１１１は、料理の指定などが入力される。例えば、入力部１１１は、タッチパネルの機能によりタブレット端末等の表示画面１１２ａを介してユーザから各種操作を受け付ける。また、入力部１１１は、音声認識の機能によりタブレット端末等のマイクを介してユーザから各種操作を受け付けてもよい。
【００１３】
出力部１１２は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面１１２ａを備え、各種情報を表示する。例えば、出力部１１２は、撮像部１１４により撮像中の動画像や、後述する通知部１３３により通知される料理の調理に関する情報等を出力する。具体的には、出力部１１２は、撮像部１１４により撮像中の動画像を表示する表示画面１１２ａに料理の調理に関する情報を重畳させて表示させる。また、出力部１１２は、スピーカ等を備え、通知部１３３により通知される調理支援に関する情報等を出力してもよい。また、出力部１１２は、ユーザによる料理の指定を支援するために、料理名のリストを表示してもよい。
【００１４】
通信部１１３は、例えば、通信回路等によって実現される。そして、通信部１１３は、料理のデータベース等の外部の情報処理装置との間で情報の送受信を行う。例えば、通信部１１３は、外部の情報処理装置から料理名のリストを受信したり、指定された料理のレシピ等の情報を受信したりしてもよい。
【００１５】
撮像部１１４は、例えば、ＣＣＤ（Charge  Coupled  Device）等の撮像素子により実現されるカメラ機能やビデオ機能を有し、静止画像や動画像を撮像する。例えば、撮像部１１４は、料理を作る際において、料理に使用する材料や調理器具（以下、単に「調理」とする場合がある）の動画像を撮像する。なお、撮像部１１４は、調理支援装置１００に内蔵されている場合に限定されるものではなく、撮像部１１４は、調理支援装置１００外に設けられ、調理支援装置１００は、撮像部１１４により撮像された動画像等を通信部１１３により受信してもよい。
【００１６】
記憶部１２０は、制御部１３０による各種処理に必要なデータおよびプログラムを格納するが、特に本発明に密接に関連するものとしては、材料情報記憶部１２１および手順情報記憶部１２２を有する。なお、記憶部１２０とは、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（flash  memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
【００１７】
材料情報記憶部１２１は、料理に使用される材料に関する情報を記憶する。具体的には、材料情報記憶部１２１は、料理、料理に使用される材料、及び材料の加工方法等に関する情報を記憶する。ここで言う材料には、野菜や肉類など料理に使用される種々の材料が含まれる。図２に示す例では、材料情報記憶部１２１は、料理Ａに材料Ａ及び材料Ｂが使用されることを記憶する。なお、材料情報記憶部１２１は、材料の項目には、料理Ａ等の材料名だけに限らず、材料の画像や分量等に関する情報も記憶する。
【００１８】
また、図２に示す例では、材料情報記憶部１２１は、料理Ａの場合、材料Ａは切り方Ａ１，Ａ２，Ａ３の３段階により料理Ａに使用される最終形状となり、材料Ｂは切り方Ｂ１，Ｂ２の２段階により料理Ａに使用される最終形状となることを記憶する。ここで、材料情報記憶部１２１は、加工方法の項目には、その切り方を行う段階の野菜の画像等の野菜の形状に関する情報や、その段階における切り方の補助線等を記憶する。例えば、加工方法の切り方Ａ１には、材料Ａの第１段階の形状を示す画像や、その切り方を示す補助線情報が記憶される。つまり、加工方法の切り方Ａ１には、材料Ａの第１段階の形状に対する最適な切り方Ａ１の補助線情報が記憶される。また、例えば、加工方法の切り方Ａ２には、材料Ａの第２段階の形状を示す画像や、その切り方を示す補助線情報が記憶される。つまり、加工方法の切り方Ａ２には、第１段階で切られ形状が変化した材料Ａの第２段階の形状に対する最適な切り方Ａ２の補助線情報が記憶される。
【００１９】
なお、図２では、加工方法として切り方を一例として示したが、加工方法には、ちぎる、すり潰す等の種々の加工方法が含まれてもよい。また、料理Ａ，Ｂ，Ｃ等の複数の料理に使用される材料に関する情報を記憶する例を示したが、指定された料理に関する情報のみを記憶してもよい。例えば、材料情報記憶部１２１は、料理Ａが指定された場合、外部の情報処理装置から受信した料理Ａに使用される材料に関する情報を記憶してもよい。
【００２０】
手順情報記憶部１２２は、料理を作る手順に関する情報を記憶する。具体的には、手順情報記憶部１２２は、料理、及び料理の手順等に関する情報を記憶する。図３に示す例では、手順情報記憶部１２２は、料理Ａを作る手順には、手順Ａ１、手順Ａ２、及び手順Ａ３が含まれることを記憶する。なお、手順情報記憶部１２２は、作業手順の項目には、手順で使用する器具や材料、手順の作業内容等を示すテキストや、補助画像に関する情報等も記憶する。補助画像には、例えば、手順で使用する材料のイメージ画像等が含まれてもよい。
【００２１】
制御部１３０は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行するが、特に本発明に密接に関連するものとしては、受付部１３１、判定部１３２、及び通知部１３３を有する。
【００２２】
受付部１３１は、料理の指定を受け付ける。例えば、受付部１３１は、入力部１１１を介して入力された料理を指定料理として受け付ける。
【００２３】
判定部１３２は、撮像部１１４により撮像された画像から料理に使用される物を判定する。具体的には、判定部１３２は、画像から料理に使用される材料を判定する。また、判定部１３２は、画像から指定料理に使用される材料を判定する。また、判定部１３２は、画像から指定料理に使用される調理器具を判定する。なお、判定部１３２は、撮像部１１４により撮像された画像から料理に使用される物を判定する技術として、パターン認識等の画像処理の種々の技術を適宜用いてもよい。例えば、判定部１３２は、材料情報記憶部１２１に記憶された材料の画像と撮像部１１４により撮像された画像とを用いてパターンマッチングを行うことにより、撮像部１１４により撮像された画像中に指定料理に使用される材料が含まれるか判定してもよい。
【００２４】
通知部１３３は、判定部１３２により判定された料理に使用される物に基づいて、受付部１３１により指定が受け付けられた料理である指定料理の調理に関する情報を通知する。具体的には、通知部１３３は、撮像部１１４により撮像中の動画像を表示する表示画面１１２ａに、指定料理の調理に関する情報を重畳させて表示させる。また、通知部１３３は、指定料理に要する材料のうち、判定部１３２により判定された材料に含まれない材料に関する情報、または判定部１３２により判定された材料のうち、指定料理に不要な材料に関する情報を通知する。
【００２５】
また、通知部１３３は、指定料理に基づき、判定部１３２により判定された材料に対する加工方法に関する情報を通知する。例えば、通知部１３３は、材料に対する加工方法として、指定料理に基づく材料の切り方に関する情報を通知する。また、通知部１３３は、指定料理に基づき、判定部１３２により判定された調理器具を使用して指定料理を作る手順に関する情報を通知する。例えば、通知部１３３は、出力部１１２を介して上述した通知を行う。具体的には、通知部１３３は、上述した通知を出力部１１２の表示画面１１２ａ等に表示したり、出力部１１２のスピーカ等により音声として出力したりする。
【００２６】
ここで、図４〜６の例を用いて、判定部１３２により判定された料理に使用される物に基づいて、指定料理の調理に関する情報を通知する例を説明する。具体的には、以下では、撮像部１１４により撮像中の動画像を表示する表示画面１１２ａに、指定料理の調理に関する情報を重畳させて表示させる例を示す。図４〜６に示すように、調理支援装置１００として、携帯端末全般を採用できる。例えば、調理支援装置１００には、調理支援を行う専用端末や、調理支援アプリがインストールされたスマートフォンやタブレット端末等を採用することもできる。例えば、調理支援装置１００が調理支援アプリがインストールされたスマートフォンである場合、制御部１３０や記憶部１２０については、調理支援装置１００にインストールされた調理支援アプリの機能であってもよい。また、図４〜６の例においては、ユーザは、調理支援装置１００をスタンド２００に設置し、撮像部１１４により撮像中の動画像に、指定料理の調理に関する情報を重畳させて表示する表示画面１１２ａを見ながら調理を行う（図４（１）、図５（１）及び図６（１）参照）。
【００２７】
図４は、実施の形態に係る材料を準備する手順の概要を示す図である。図４に示す例では、指定料理として卵、ズッキーニ、及びニンジンを使用する料理Ｄが指定された場合を示す。
【００２８】
まず、料理Ｄが指定された場合、表示画面１１２ａには、料理Ｄに使用する材料である卵、ズッキーニ、及びニンジンの文字が表示される（図４（２）参照）。その後、撮像部１１４により撮像が開始された場合、判定部１３２は、撮像部１１４により撮像された画像から料理Ｄに使用される材料を判定する。図４に示す例では、撮像部１１４により撮像中の動画像には、ズッキーニＦ１とニンジンＦ２が含まれる（図４（３）参照）。そのため、通知部１３３は、料理Ｄに要する材料のうち、判定部１３２により判定された材料に含まれない材料、つまり卵が不足することを通知する。例えば、通知部１３３は、「卵がありません」という内容のメッセージＭ１をスピーカに音声出力させる。また、通知部１３３は、撮像部１１４により撮像中の動画像を表示する表示画面１１２ａに、卵が不足することを通知する情報を重畳させて表示させる。例えば、表示画面１１２ａに撮像部１１４により撮像中の動画像に重畳させて表示された卵、ズッキーニ、及びニンジンの文字のうち、卵だけに下線を引いて示すことにより、卵が不足することを通知する。なお、上記の通知は、下線を引くことに限られず、色を変更したり、文字サイズを変更したりすることにより行ってもよい。
【００２９】
その後、ユーザが撮像部１１４により撮像される範囲に卵を追加した場合、撮像部１１４により撮像中の動画像には、ズッキーニＦ１、ニンジンＦ２、及び卵Ｆ３が含まれる（図４（４）参照）。これにより、料理Ｄに要する材料が全て揃ったため、通知部１３３は、例えば、「材料が揃いました」という内容のメッセージＭ２をスピーカに音声出力させる。また、表示画面１１２ａに撮像部１１４により撮像中の動画像に重畳させて表示された卵の文字に引かれた下線を削除することにより、卵が揃ったことを通知する。なお、上記例では、全ての材料が同じ画像中に揃った場合に、材料が揃ったと判定する例を示したが、各材料を順次撮像し、全ての材料が順次撮像された場合に、材料が揃ったと判定してもよい。また、通知部１３３は、料理Ｄに不要な材料、例えばピーマンが撮像部１１４により撮像中の動画像に含まれた場合、判定部１３２により判定された材料のうち料理Ｄに不要な材料、つまりピーマンが含まれることを通知する。例えば、通知部１３３は、「ピーマンは必要ありません」という内容のメッセージをスピーカに音声出力させる。
【００３０】
また、判定部１３２は、撮像部１１４により撮像中の動画像の材料と、材料情報記憶部１２１に記憶された材料に関する情報とを比較して、動画像の材料の分量を判定してもよい。なお、判定部１３２が撮像部１１４により撮像された画像から材料を特定することができなかった場合、通知部１３３は、表示画面１１２ａに複数の材料を選択肢として表示し、どの材料が含まれるかをユーザに選択させてもよい。また、判定部１３２が撮像部１１４により撮像された画像から材料を特定することができなかった場合、通知部１３３は、撮像部１１４により撮像する方向や大きさを変更することをユーザに通知してもよい。
【００３１】
図５は、実施の形態に係る材料を加工する手順の概要を示す図である。図５に示す例では、料理Ｄの材料であるズッキーニを加工する場合を示す。
【００３２】
図５に示す例では、撮像部１１４により撮像中の動画像には、ズッキーニＦ１が含まれる（図５（２）参照）。そこで、通知部１３３は、材料情報記憶部１２１に記憶された料理Ｄの材料ズッキーニの加工方法を参照し、ズッキーニＦ１に対する加工方法に関する情報を通知する。具体的には、通知部１３３は、撮像中の動画像に含まれるズッキーニＦ１を表示する表示画面１１２ａに、３本の補助線Ｌ１を重畳させて表示させる（図５（２）参照）。
【００３３】
なお、図５に示す例においては、表示画面１１２ａ中のズッキーニＦ１に３本の補助線Ｌ１が重畳させて表示される場合を示したが、ズッキーニなど材料の大きさに応じて補助線の数を変動させても良い。具体的には、判定部１３２は、撮像部１１４により撮像中の動画像に含まれる材料から大きさを推定し、推定される大きさに応じて、通知部１３３は、補助線の数を変動させてもよい。なお、判定部１３２は、撮像部１１４により撮像中の動画像に含まれる材料の大きさを推定する技術として、画像処理の種々の技術を適宜用いてもよい。
【００３４】
例えば、材料情報記憶部１２１に記憶された料理Ｄの材料ズッキーニの加工方法に「厚さ１ｃｍで輪切り」と記憶される場合、ズッキーニの長さが１０ｃｍであれば、９本の補助線を重畳表示させ、ズッキーニの長さが５ｃｍであれば、４本の補助線を重畳表示させてもよい。また、材料情報記憶部１２１に記憶された料理Ｄの材料ズッキーニの加工方法に「４等分に輪切り」と記憶される場合、ズッキーニの長さに応じて、等間隔の３本の補助線を重畳表示させてもよい。なお、通知部１３３は、撮像部１１４により撮像中の動画像中の材料の傾きなどを補正して、適切な補助線を作成し、表示する。
【００３５】
また、通知部１３３は、ズッキーニＦ１に対する加工方法に関する情報をスピーカに音声出力させてもよい。例えば、通知部１３３は、「ズッキーニを厚さ３ｃｍに輪切りしてください」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「ズッキーニを厚さ３ｃｍに輪切りしてください」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。これにより、ユーザは、重畳画像とともに音声情報や文字情報によって、調理の内容をより的確に把握することが可能となる。また、音声情報や文字情報によって、調理の内容を表示する場合、重畳表示させる補助線は、切り方の概略を示すものであってもよい。
【００３６】
次に、撮像部１１４により撮像中の動画像には、輪切りにされた加工後のズッキーニＦ１１が含まれる（図５（３）参照）。そこで、通知部１３３は、材料情報記憶部１２１に記憶された料理Ｄの材料ズッキーニの加工方法を参照し、輪切りにされた加工後のズッキーニＦ１１に対する加工方法に関する情報を通知する。具体的には、通知部１３３は、撮像中の動画像に含まれる加工後のズッキーニＦ１１を表示する表示画面１１２ａに、２本の補助線Ｌ２を重畳させて表示させる（図５（３）参照）。図５に示す例においては、輪切りにされた加工後のズッキーニＦ１１は、輪切りの断面における角度が各々９０°になるいちょう切りを行う２本の補助線Ｌ２により切り方を示される。
【００３７】
また、通知部１３３は、ズッキーニＦ１１に対する加工方法に関する情報をスピーカに音声出力させてもよい。例えば、通知部１３３は、「ズッキーニを４等分にいちょう切りしてください」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「ズッキーニを４等分にいちょう切りしてください」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。これにより、ユーザは、重畳画像とともに音声情報や文字情報によって、調理の内容をより的確に把握することが可能となる。
【００３８】
次に、撮像部１１４により撮像中の動画像には、いちょう切りされた加工後のズッキーニＦ１２が含まれる（図５（４）参照）。そこで、通知部１３３は、材料情報記憶部１２１に記憶された料理Ｄの材料ズッキーニの加工方法を参照し、いちょう切りされた加工後のズッキーニＦ１２に対する加工方法に関する情報がない場合、料理ＤにおいてズッキーニＦ１２が最終形状であることを通知してもよい。例えば、通知部１３３は、「ズッキーニの最終形状です」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「ズッキーニの最終形状です」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。なお、料理Ｄに使用する他の材料である卵やニンジンが撮像部１１４により撮像中の動画像に含まれた場合についても、材料情報記憶部１２１に記憶された料理Ｄの材料の加工方法を参照して処理を行う。
【００３９】
図６は、実施の形態に係る料理を作る手順の概要を示す図である。図６に示す例では、料理Ｄの調理に器具Ｃ１が使用される場合を示す。
【００４０】
図６に示す例では、撮像部１１４により撮像中の動画像には、料理Ｄの調理に使用される器具Ｃ１が含まれる（図６（２）〜（４）参照）。そこで、通知部１３３は、手順情報記憶部１２２に記憶された料理Ｄの作業手順を参照し、器具Ｃ１を使用して料理Ｄを作る手順を通知する。具体的には、通知部１３３は、いちょう切りされた加工後のズッキーニＦ１２を器具Ｃ１に投入する手順である手順その１を通知する。例えば、通知部１３３は、撮像中の動画像に含まれる器具Ｃ１を表示する表示画面１１２ａに、補助画像ＦＩ１２を重畳させて表示させる（図６（２）参照）。図６に示す例において、補助画像ＦＩ１２は、いちょう切りされたズッキーニのイメージである。これにより、通知部１３３は、ユーザに対して、器具Ｃ１にいちょう切りされた加工後のズッキーニＦ１２を投入することを視覚的に通知する。
【００４１】
また、通知部１３３は、器具Ｃ１を使用して料理Ｄを作る手順をスピーカに音声出力させてもよい。例えば、通知部１３３は、「いちょう切りされたズッキーニを器具Ｃ１に投入してください」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「いちょう切りされたズッキーニを器具Ｃ１に投入してください」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。これにより、ユーザは、重畳画像とともに音声情報や文字情報によって、調理の内容をより的確に把握することが可能となる。
【００４２】
ここで、撮像部１１４により撮像中の動画像には、手順その１が含まれる（図６（２）参照）。そこで、判定部１３２は、料理Ｄの手順その１が行われたと判定する。その後、撮像部１１４により撮像中の動画像には、いちょう切りされた加工後のズッキーニＦ１２が投入された器具Ｃ１が含まれる（図６（３）参照）。そこで、通知部１３３は、手順情報記憶部１２２に記憶された料理Ｄの作業手順を参照し、手順その１の次の作業手順である手順その２を通知する。例えば、通知部１３３は、手順その２が「２５分間火にかける」等の時間指定のある作業手順である場合、撮像中の動画像に含まれる器具Ｃ１を表示する表示画面１１２ａに、補助画像Ｔ１を重畳させて表示させる（図６（３）参照）。図６に示す例において、補助画像Ｔ１は、時間指定の残り時間を示す。これにより、通知部１３３は、ユーザに対して、時間指定のある作業手順の残り時間を視覚的に通知する。また、通知部１３３は、手順その２の残り時間をスピーカに音声出力させてもよい。これにより、ユーザは、重畳画像とともに音声情報や文字情報によって、時間指定のある作業手順の残り時間をより的確に把握することが可能となる。
【００４３】
そして、時間指定された時間が経過した場合、撮像部１１４により撮像中の動画像には、手順その２完了後の器具Ｃ１が含まれる（図６（４）参照）。そこで、通知部１３３は、手順情報記憶部１２２に記憶された料理Ｄの作業手順を参照し、手順その２の次の作業手順である手順その３を通知する。具体的には、通知部１３３は、ニンジンＦ２を器具Ｃ１に投入する手順である手順その３を通知する。例えば、通知部１３３は、撮像中の動画像に含まれる器具Ｃ１を表示する表示画面１１２ａに、補助画像ＦＩ２を重畳させて表示させる（図６（４）参照）。図６に示す例において、補助画像ＦＩ２は、ニンジンのイメージである。これにより、通知部１３３は、ユーザに対して、器具Ｃ１にニンジンＦ２を投入することを視覚的に通知する。
【００４４】
また、通知部１３３は、手順その３をスピーカに音声出力させてもよい。例えば、通知部１３３は、「ニンジンを器具Ｃ１に投入してください」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「ニンジンを器具Ｃ１に投入してください」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。これにより、ユーザは、重畳画像とともに音声情報や文字情報によって、調理の内容をより的確に把握することが可能となる。
【００４５】
その後、通知部１３３は、手順情報記憶部１２２に記憶された料理Ｄの作業手順を参照し、手順その３の次の作業手順がない場合、料理Ｄの調理が完了したことを通知する。例えば、通知部１３３は、「料理Ｄの調理が完了しました」という内容のメッセージをスピーカに音声出力させてもよい。また、通知部１３３は、「料理Ｄの調理が完了しました」という内容のメッセージを表示画面１１２ａ中に表示させてもよい。これにより、ユーザは、料理の調理が完了したことを把握することが可能となる。
【００４６】
［調理支援装置による処理］
次に、図７〜９を用いて、実施の形態に係る調理支援装置１００による処理を説明する。図７〜９は、実施の形態に係る調理支援装置の処理手順を説明するためのフローチャートである。具体的には、図７は、実施の形態に係る材料を準備する処理手順を示すフローチャートである。また、図８は、実施の形態に係る材料を加工する処理手順を示すフローチャートである。また、図９は、実施の形態に係る料理を作る処理手順を示すフローチャートである。
【００４７】
まず、図７を参照して、指定料理の材料を準備する処理について主に説明する。なお、図７では、調理支援装置１００が、調理支援アプリがインストールされたスマートフォンやタブレット端末等である場合、調理支援アプリが起動されており、専用端末である場合、電源が入った状態であるものとし、外部の情報処理装置から料理に関する各種情報を取得する場合、情報処理装置との接続が確認されているものとして処理を説明する。
【００４８】
図７に示すように、調理支援装置１００の受付部１３１は、料理が指定された場合（ステップＳ１０１肯定）、指定された料理である指定料理のレシピを取得する（ステップＳ１０２）。例えば、受付部１３１は、表示画面１１２ａに料理名のリストを表示し、表示された料理名の中から、ユーザに料理を指定させてもよい。また、例えば、受付部１３１は、外部の情報処理装置から指定料理のレシピを取得する。ここでいう指定料理のレシピには、例えば、材料情報記憶部１２１に記憶される料理に使用される材料に関する情報や手順情報記憶部１２２に記憶される料理を作る手順に関する情報等が含まれる。
【００４９】
次に、出力部１１２は、指定料理に使用する材料を表示する（ステップＳ１０３）。例えば、図４に示す例においては、指定料理である料理Ｄに使用する材料である卵、ズッキーニ、及びニンジンの文字が表示画面１１２ａに表示される。
【００５０】
判定部１３２は、撮像部１１４により動画像の撮像が開始されていない場合（ステップＳ１０４否定）、撮像部１１４により動画像の撮像が開始されたかどうかの判定を繰り返す（ステップＳ１０４）。また、判定部１３２は、撮像部１１４により動画像の撮像が開始された場合（ステップＳ１０４肯定）、撮像中の動画像（以下、「撮像画像」と称する）中に不要な材料が有るかどうかを判定する（ステップＳ１０５）。判定部１３２により撮像画像中に不要な材料が有ると判定された場合（ステップＳ１０５肯定）、通知部１３３は、出力部１１２により不要な材料を通知し（ステップＳ１０６）、ステップＳ１０５に戻る。また、判定部１３２により撮像画像中に不要な材料が無いと判定された場合（ステップＳ１０５否定）、判定部１３２は、撮像画像中に不足する材料が有るかどうかを判定する（ステップＳ１０７）。判定部１３２により撮像画像中に不足する材料が有ると判定された場合（ステップＳ１０７肯定）、通知部１３３は、出力部１１２により不足する材料を通知し（ステップＳ１０８）、ステップＳ１０５に戻る。
【００５１】
判定部１３２により撮像画像中に不足する材料が無いと判定された場合（ステップＳ１０７否定）、指定料理の材料を準備する処理が完了したとして、図８に示すステップＳ２０１以降の処理へ移る。なお、調理支援装置１００は、ステップＳ１０２で指定料理のレシピを取得した後、ユーザの指定に応じて図８に示す処理へ移ってもよい。
【００５２】
次に、図８を参照して、上記した図７の指定料理の材料を準備する処理を行った後において、指定料理の材料を加工する処理について主に説明する。まず、判定部１３２は、撮像画像中に材料が有るかどうかを判定する（ステップＳ２０１）。判定部１３２は、撮像画像中に材料が無いと判定された場合（ステップＳ２０１否定）、撮像画像中に材料が有るかどうかの判定を繰り返す（ステップＳ２０１）。
【００５３】
判定部１３２は、撮像画像中に材料が有ると判定した場合（ステップＳ２０１肯定）、撮像画像中の材料が切り方の最終形状であるかどうかを判定する（ステップＳ２０２）。判定部１３２により、撮像画像中の材料が切り方の最終形状でないと判定された場合（ステップＳ２０２否定）、通知部１３３は、出力部１１２により切り方の補助線を表示する（ステップＳ２０３）。
【００５４】
判定部１３２は、撮像画像中の材料が切り方の最終形状であると判定した場合（ステップＳ２０２肯定）、判定部１３２は、全ての食材（材料）の加工が完了したかどうかを判定する（ステップＳ２０４）。例えば、判定部１３２は、新たな材料が撮像画像中に含まれずに所定の時間経過した場合、全ての材料の加工が完了したと判定してもよい。また、受付部１３１は、全ての材料の加工が完了したことを示す入力をユーザから受け付けてもよい。
【００５５】
判定部１３２は、全ての材料の加工が完了していないと判定した場合（ステップＳ２０４否定）、ステップＳ２０１の判定に戻る。また、判定部１３２は、全ての材料の加工が完了したと判定した場合（ステップＳ２０４肯定）、指定料理の材料を加工する処理が完了したとして、図９に示すステップＳ３０１以降の処理へ移る。
【００５６】
次に、図９を参照して、上記した図８の指定料理の材料を加工する処理を行った後において、指定料理を作る処理について主に説明する。
【００５７】
判定部１３２は、変数ｉを０に設定した後（ステップＳ３０１）、撮像画像中に器具が有るかどうかを判定する（ステップＳ３０２）。判定部１３２は、撮像画像中に器具が無いと判定された場合（ステップＳ３０２否定）、撮像画像中に器具が有るかどうかの判定を繰り返す（ステップＳ３０２）。
【００５８】
判定部１３２により撮像画像中に器具が有ると判定された場合（ステップＳ３０２肯定）、通知部１３３は、指定料理の手順ｉ番目の作業内容を通知する（ステップＳ３０３）。そして、判定部１３２により指定料理の手順ｉ番目の作業内容が時間指定有りと判定された場合（ステップＳ３０４肯定）、通知部１３３は、出力部１１２により指定時間に基づいて残り時間を表示する（ステップＳ３０５）。その後、判定部１３２は、指定された時間を経過したかどうかを判定する（ステップＳ３０６）。
【００５９】
判定部１３２により指定された時間を経過していないと判定された場合（ステップＳ３０６否定）、通知部１３３は、出力部１１２により指定時間に基づいて表示する残り時間を更新する（ステップＳ３０５）。
【００６０】
一方、判定部１３２は、指定された時間を経過したと判定した場合（ステップＳ３０６肯定）、手順の全てを終了したかどうかを判定する（ステップＳ３０７）。判定部１３２は、手順の全てを終了していないと判定した場合（ステップＳ３０７否定）、変数ｉに１を加算した後（ステップＳ３０８）、ステップＳ３０２に戻り処理を行う。また、判定部１３２により手順の全てを終了したと判定された場合（ステップＳ３０７肯定）、指定料理の調理の完了を通知した後（ステップＳ３０９）、処理を終了する。
【００６１】
また、判定部１３２は、指定料理の手順ｉ番目の作業内容が時間指定無しと判定した場合（ステップＳ３０４否定）、手順ｉ番目の作業が実行されたかどうかを判定する（ステップＳ３１０）。判定部１３２は、手順ｉ番目の作業が未だ実行されていないと判定した場合（ステップＳ３１０否定）、手順ｉ番目の作業が実行されたかどうかの判定を繰り返す（ステップＳ３１０）。なお、受付部１３１は、手順ｉ番目の作業が実行されたことを示す入力をユーザから受け付けてもよい。
【００６２】
判定部１３２は、手順ｉ番目の作業が実行されたと判定した場合（ステップＳ３１０肯定）、手順の全てを終了したかどうかを判定する（ステップＳ３０７）。判定部１３２は、手順の全てを終了していないと判定した場合（ステップＳ３０７否定）、変数ｉに１を加算した後（ステップＳ３０８）、ステップＳ３０２に戻り処理を行う。また、判定部１３２により手順の全てを終了したと判定された場合（ステップＳ３０７肯定）、指定料理の調理の完了を通知した後（ステップＳ３０９）、処理を終了する。なお、調理支援装置１００は、料理の手順の全てに時間指定し、全ての手順を指定された時間に基づいて通知してもよい。
【００６３】
［効果］
上述してきたように、実施形態に係る調理支援装置１００は、料理の指定を受け付ける受付部１３１と、撮像部１１４により撮像された画像から料理に使用される物を判定する判定部１３２と、判定部１３２により判定された料理に使用される物に基づいて、受付部１３１により指定が受け付けられた料理である指定料理の調理に関する情報を通知する通知部１３３と、を備える。
【００６４】
これにより、実施形態に係る調理支援装置１００は、料理の調理を支援することができる。具体的には、調理支援装置１００は、調理の各段階において、撮影画像と料理データベース（例えば、記憶部）上の参照画像を比較しながら、正しい手順を示すガイドを表示したり、音声で指示したりする。これにより、ユーザは、調理の各段階における作業が手に取るように理解でき、イメージに沿って適切に作業を実施することができる。
【００６５】
また、実施形態に係る調理支援装置１００において、通知部１３３は、撮像部１１４により撮像中の動画像を表示する表示画面に、指定料理の調理に関する情報を重畳させて表示させる。
【００６６】
これにより、調理支援装置１００は、料理の調理に関する情報を視覚的に通知することができる。したがって、調理支援装置１００は、ユーザに対してより把握しやすい態様で料理の調理に関する情報を通知することができるため、料理の調理を支援することができる。つまり、調理支援装置１００は、調理の一連の作業を撮影画像上でユーザをサポートし、ユーザが間違いなく料理を完成することを支援できる。
【００６７】
また、実施形態に係る調理支援装置１００において、判定部１３２は、画像から料理に使用される材料を判定し、通知部１３３は、指定料理に要する材料のうち、判定部１３２により判定された材料に含まれない材料に関する情報、または判定部１３２により判定された材料のうち、指定料理に不要な材料に関する情報を通知する。
【００６８】
これにより、調理支援装置１００は、料理の調理に関する情報として料理に使用する材料の過不足を通知することができるため、料理の調理を支援することができる。
【００６９】
また、実施形態に係る調理支援装置１００において、判定部１３２は、画像から指定料理に使用される材料を判定し、通知部１３３は、指定料理に基づき、判定部１３２により判定された材料に対する加工方法に関する情報を通知する。
【００７０】
これにより、調理支援装置１００は、料理の調理に関する情報として料理に使用する材料の加工方法を通知することができるため、料理の調理を支援することができる。
【００７１】
また、実施形態に係る調理支援装置１００において、通知部１３３は、材料に対する加工方法として、指定料理に基づく材料の切り方に関する情報を通知する。
【００７２】
これにより、調理支援装置１００は、料理に使用する材料の加工方法として材料の切り方を通知することができるため、料理の調理を支援することができる。
【００７３】
また、実施形態に係る調理支援装置１００において、判定部１３２は、画像から指定料理に使用される調理器具を判定し、通知部１３３は、指定料理に基づき、判定部１３２により判定された調理器具を使用して指定料理を作る手順に関する情報を通知する。
【００７４】
これにより、調理支援装置１００は、料理の調理に関する情報として器具を使用した料理を作る手順を通知することができるため、料理の調理を支援することができる。
【００７５】
（構成等）
なお、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００７６】
また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００７７】
（プログラム）
また、上記実施形態に係る調理支援装置１００が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータに読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、調理支援プログラムを実行するコンピュータの一例を説明する。
【００７８】
図１０は、調理支援プログラムを実行するコンピュータを示す図である。図１０に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central  Processing  Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
【００７９】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１およびＲＡＭ（Random  Access  Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。
【００８０】
ここで、図１０に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。
【００８１】
また、調理支援プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、ハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明した調理支援装置１００が実行する各処理が記述された記述されたプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。
【００８２】
また、調理支援プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。なお、コンピュータ１０００は、例えばネットワークインタフェース１０７０を介して無線接続された撮像装置（図示省略）により撮像される画像を取得してもよい。また、コンピュータ１０００は、例えばネットワークインタフェース１０７０を介して無線接続された表示端末（図示省略）に、図示しない表示端末に撮像装置により撮像される画像や調理を支援する情報を表示してもよい。また、上述した撮像装置と表示端末とは一体であってもよい。
【００８３】
なお、調理支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、調理支援プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【符号の説明】
【００８４】
１００  調理支援装置
１１１  入力部
１１２  出力部
１１３  通信部
１１４  撮像部
１２０  記憶部
１２１  材料情報記憶部
１２２  手順情報記憶部
１３０  制御部
１３１  受付部
１３２  判定部
１３３  通知部
【図１】
2016139356.tif 000003
【図２】
2016139356.tif 000004
【図３】
2016139356.tif 000005
【図４】
2016139356.tif 000006
【図５】
2016139356.tif 000007
【図６】
2016139356.tif 000008
【図７】
2016139356.tif 000009
【図８】
2016139356.tif 000010
【図９】
2016139356.tif 000011
【図１０】
2016139356.tif 000012