(57)【要約】調理者が調理している食材及びその食材に対する調理操作を精度良く特定し、調理者が調理している料理の調理レシピを精度良く推定する。  調理者の調理状況を撮影する光学カメラ１０、及びサーマルカメラ２０、並びに環境音を取得するマイク３０を備えるセンシング部２００と、食材データベース１０３、調理物データベース１０４及び調理操作データベース１０５から特徴量テンプレートを作成する特徴量テンプレート作成部１０６と、センシング部２００により取得された観測データを基に、調理者が調理している食材及び調理操作の観測確信度を算出し、この観測確信度を基に調理フローを作成し、特徴量テンプレートに書き込まれたテンプレート確信度に基づいて、作成した調理フローの適合度を算出し、食材、調理操作、及び調理レシピを認識する認識処理部１１０とを備える。【特許請求の範囲】
【請求項１】
調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、
種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する特徴量テンプレートと、
前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、
前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、
前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする調理操作認識システム。
【請求項２】
種々の料理に対して予め作成された調理フローを記憶する調理フローデータベースと、
フローマッチングを用いて、前記調理フロー作成手段により作成された調理フローが、前記レシピフローデータベースに記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する適合度算出手段とを更に備え、
前記調理操作認識手段は、前記適合度算出手段により算出された適合度と、前記一次確信度とを基に、食材及び調理操作を認識することを特徴とする請求項１記載の調理操作認識システム。
【請求項３】
食材を示すデータを記憶するフィールドと、その食材に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える食材レコードから構成される食材テーブルと、
調理操作を示すデータを記憶するフィールドと、その調理操作による食材の変化に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理物レコードから構成される調理物テーブルと、
調理操作を示すデータを記憶するフィールドと、その調理操作により生じる環境音に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理操作レコードから構成される調理操作テーブルと、
種々の調理レシピに使用される食材を示すデータと、その食材に対してなされる調理操作を示すデータとを記憶する調理レシピデータベースと、
前記調理レシピデータベースに記憶された全種類の食材と全種類の調理操作とを抽出する抽出手段とのうち、少なくともいずれか１つのテーブルを記憶するテーブル記憶手段と、
前記抽出手段により抽出された各食材と、前記抽出手段により抽出された各調理操作とを項目として備えるテーブルを特徴量テンプレートとして作成する特徴量テンプレート作成手段とを更に備え、
前記特徴量テンプレート作成手段は、前記特徴量テンプレートを構成するフィールドのうち任意のフィールドに、その任意のフィールドに対応する食材を示すデータが記憶された前記食材テーブルの食材レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理物テーブルの調理物レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理操作テーブルの調理操作レコードとのうち、少なくともいずれか１つのレコードの各フィールドに記憶されたテンプレート確信度のうち、最大の確信度をテンプレート確信度として書き込むことを特徴とする請求項１記載の食材調理操作認識システム。
【請求項４】
前記センシング手段は、サーマルカメラ及び光学カメラを備え、
前記センシング手段により取得された画像はサーマルカメラにより撮影された温度画像と光学カメラにより撮影された光学画像とを含むことを特徴とする請求項１〜３のいずれかに記載の食材調理操作認識システム。
【請求項５】
前記調理フロー作成手段は、前記光学画像に対して背景差分処理を行い、当該光学画像から背景領域を除去すると共に、前記温度画像に対して、温度が規定値以上である領域を背景領域として除去し、背景領域が除去された温度画像と、背景領域が除去された光学画像とを乗じて、食材を示す食材領域を求め、求めた食材領域を基に観測確信度を算出することを特徴とする請求項４記載の食材調理操作認識システム。
【請求項６】
前記調理フロー作成手段は、前記センシング手段により取得された画像から色相のヒストグラム及び彩度のヒストグラムを求め、求めたヒストグラムと予め食材毎に定められた色特徴テンプレートとの相関を求めることにより、食材を推定することを特徴とする請求項１〜５のいずれかに記載の食材調理操作認識システム。
【請求項７】
前記適合度算出手段は、適合度を基に、調理レシピを推定し、
前記適合度算出手段により推定された調理レシピに関するガイダンスを調理者に対して行うガイダンス手段を更に備えることを特徴とする請求項１〜６のいずれかに記載の食材調理操作認識システム。
【請求項８】
調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、
種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、
前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、
前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、
前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段としてコンピュータを機能させることを特徴とする食材調理操作認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、観測データから食材及びその食材に対する調理操作を認識する技術に関するものである。
【背景技術】
【０００２】  非特許文献１には、光学カメラから得られる画像から食材の特徴量を知識テンプレートとして記憶しておき、この知識テンプレートを用いて、画像中における食材の確からしさを示す確信度を算出し、画像中に含まれる食材及び調理操作を認識する技術が開示されている。
【非特許文献１】第１７回人工知能学会全国大会論文集、テキスト情報からの制約に基づく料理画像中の物体検出（ｎｏ．２Ｃ１−０２、Ｊｕｎｅ、２００３）
【発明の開示】
【０００３】  しかしながら、非特許文献１記載の技術では、高い確信度を得ることができず、食材及び調理操作を精度良く認識することができないという問題がある。
【０００４】  本発明の目的は、調理者が調理している食材及びその食材に対する調理操作を精度良く認識することができる食材調理操作認識システム及び食材調理操作認識プログラムを提供することである。
【０００５】  本発明による食材調理操作認識システムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする。
【０００６】  この構成によれば、センシング手段により取得された調理操作を行なっている調理者の手元の画像とその調理操作によって生じる環境音とを基に、調理者が調理をしている食材及びその食材に対する調理操作の観測確信度が算出され、この観測確信度を基に、調理フローが作成される。そして、テンプレート確信度と観測確信度とを基に、調理フローを構成する各オブジェクトに対する一次確信度が算出される。そして、この適合度と一次確信度とを基に、最終確信度が算出され、センシング手段により取得された画像の食材及びその食材に対する調理操作が認識される。
【０００７】  すなわち、テンプレート確信度が記憶された特徴量テンプレートを基に、調理操作及び食材を認識しているため、食材及び調理操作を精度良く推定することができる。
【図面の簡単な説明】
【０００８】［図１］本発明の実施の形態による食材調理操作認識システムの全体構成図を示し、（ａ）は側面視における全体構成図を示し、（ｂ）は正面視における全体構成図を示している。
［図２］本食材調理操作認識システムの機能ブロック図を示している。
［図３］食材テーブルのデータ構造を示す図面である。
［図４］特徴量テンプレートのデータ構造を示す図面である。
［図５］焼きリンゴとトマトの調理レシピに対するレシピ別特徴量テンプレート、及びサラダと大根煮物との調理レシピに対するレシピ別特徴量テンプレートのデータ構造を示す図面である。
［図６］特徴量テンプレートの作成処理を示すフローチャートである。
［図７］特徴量テンプレートの作成処理を説明するテーブル遷移図である。
［図８］食材調理操作認識システムの動作を示すフローチャートである。
［図９］調理フローデータベースが記憶する調理フローを示した図面であり、（ａ）は肉じゃがに対する調理フローを示し、（ｂ）はハンバーグに対する調理フローを示している。
［図１０］調理フローデータベースが記憶する調理フローを示した図面であり、（ａ）はビーフカレーに対する調理フローを示し、（ｂ）は野菜炒めに対する調理フローを示している。
［図１１］フローマッチングを説明する図面であり、（ａ）は作成される調理フローを示し、（ｂ）は調理フローデータベースに予め記憶された調理フローを示している。
［図１２］観測フローのノード数とエディットディスタンスとの関係を示したグラフである。
［図１３］食材・調理操作決定処理を示すフローチャートである。
［図１４］背景領域が除去される様子を説明する図面である。
［図１５］時間の経過によるピーマンの色相、彩度、及び領域サイズの変化を示したグラフである。
［図１６］時間の経過によるカボチャの色相、彩度、及び領域サイズの変化を示したグラフである。
［図１７］調理操作前後におけるリンゴとトマトとの色相及び彩度のヒストグラムを示したグラフであり、（ａ）は調理操作前の色相のヒストグラムを示し、（ｂ）は調理操作前の彩度のヒストグラムを示し、（ｃ）は調理操作後の色相のヒストグラムを示し、（ｄ）は調理操作後の彩度のヒストグラムを示している。
【発明を実施するための最良の形態】
【０００９】  図１は本発明の実施の形態による食材調理操作認識システムの全体構成図を示し、（ａ）は側面視における全体構成図を示し、（ｂ）は正面視における全体構成図を示している。図１に示す食材調理操作認識システムは、光学カメラ１０、サーマルカメラ２０、マイク３０、表示装置４０、スピーカ５０、ＲＦＩＤタグリーダ６０及び図略のデータ処理装置を備えている。光学カメラ１０は、公知の動画カメラから構成され、調理台の上方に取り付けられ、調理台において調理操作を行っている調理者の手元を撮影し、動画像である光学画像を取得する。【００１０】  サーマルカメラ２０は、調理台の上方に取り付けられ、調理操作を行っている調理者の手元を撮影し、動画像である温度画像を取得する。【００１１】  マイク３０は、調理台の上面の近傍に取り付けられ、調理に起因して生じる環境音を取得する。表示装置４０は、液晶パネル、プラズマパネル、ＣＲＴ等から構成され、調理レシピを調理者に案内するための種々の画像を表示する。スピーカ５０は、調理レシピを調理者に案内するための種々の音声を出力する。ＲＦＩＤタグリーダ６０は、各食材に取り付けられたＲＦＩＤタグから、そのＲＦＩＤタグに記憶された食材データを読み出す。食材データとしては、ＲＦＩＤタグが取り付けられた食材の名称を示すデータが含まれる。【００１２】  図２は、本食材調理操作認識システムの機能ブロック図を示している。本食材調理操作認識システムは、データ処理部１００及びセンシング部２００を備えている。データ処理部１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びハードディスク等から構成され、レシピデータベース１０１、抽出部１０２、食材データベース１０３、調理物データベース１０４、調理操作データベース１０５、特徴量テンプレート作成部１０６、特徴量テンプレート記憶部１０７、調理フローデータベース１０８、レシピ別特徴量テンプレート記憶部１０９、認識処理部１１０、及びガイダンス部１１１の機能を備えている。【００１３】  これらの機能は、ＣＰＵがＲＯＭに記憶された食材調理操作認識プログラムを実行することで実現される。【００１４】  レシピデータベース１０１は、種々の料理に対する調理レシピを示す調理レシピデータを記憶している。この調理レシピデータは、テキストデータであり、各料理に用いられる食材の名称を示す食材データ、及び切る、煮る、焼く等の各食材に対して行われる調理操作データが含まれる。【００１５】  抽出部１０２は、レシピデータベース１０１に記憶されている全調理レシピデータに使用される食材及びその食材に対する調理操作を抽出する。【００１６】  食材データベース１０３は図３（ａ）に示す食材テーブルＴ１を記憶し、調理物データベース１０４は図３（ｂ）に示す調理物テーブルＴ２を記憶し、調理操作データベース１０５は図３（ｃ）に示す調理操作テーブルＴ３を記憶している。【００１７】  図３（ａ）に示す食材テーブルＴ１は、食材名、色、形、及びサイズ等のフィールドを備える食材レコードから構成され、各食材に対する色、形、サイズ等を記憶する。食材名のフィールドには、食材の名称を示すデータが記憶されている。色のフィールドには食材の色に関するデータが記憶されている。ここでは、食材の外の色に関するデータのみならず内部の色に関するデータも記憶されている。例えば、リンゴは表皮が赤色であり、中身が白色であるため、色のフィールドには、「外；赤（△）、［内；白］」のデータが記憶されている。ここで、「△」の記号は予め定められた確信度であるテンプレート確信度を示している。また、トマトは表皮が赤で中身も赤であるため、色のフィールドには、「外；赤（×）、［内；赤］」のデータが記憶されている。【００１８】  形のフィールドには、食材の外観形状を示すデータが格納されている。リンゴ及びトマトは円形であり、大根は長円形であるため、各々の形のフィールドには、「丸」、「丸」、「長円形」のデータが記憶されている。【００１９】  図３（ｂ）に示す調理物テーブルＴ２は、調理操作、形状の変化及び色等のフィールドを備える調理物レコードから構成され、各調理操作による食材の形状の変化及び色の変化を記憶する。調理操作のフィールドには、調理操作の名称を示すデータが記憶されている。調理操作としては、微塵切り、輪切り、４切り、千切り、剥く、焼く、煮るが存在する。なお、ここで、列挙した調理操作は一例であり、他の調理操作を含ませても良いし、一部の調理操作を省いても良い。【００２０】  形状の変化のフィールドには、対応する調理操作により変化する食材の形状を示すデータが記憶されている。例えば、微塵切りの場合、食材は大きい状態から小さい状態へ変化し、１個の状態から多数の破片の状態へと変化するため、微塵切りに対する形状の変化のフィールドには「大→小、少→多い」が記憶されている。色のフィールドには、対応する調理操作により変化する食材の色を示すデータが記憶されている。例えば、微塵切りされた食材は中身の色が主に現れることになるため、微塵切りに対する色のフィールドには「外→内」が記憶されている。また、輪切りにされた食材は外観の色と中身の色との両方が主に現れるため、輪切りに対する色のフィールドには、「外→外＋内」が記憶されている。【００２１】  図３（ｃ）に示す調理操作テーブルＴ３は、調理操作、音、及び手の動き等のフィールドを備える調理操作レコードから構成され、各調理操作により生じる環境音、及び手の動き等を記憶している。調理操作のフィールドには、調理物テーブルＴ２と同様に調理操作の名称を示すデータが記憶されている。音のフィールドには、各調理操作により生じる環境音のデータが記憶されている。【００２２】  食材テーブルＴ１〜調理操作テーブルＴ３は予め作成されたものであり、各フィールドが記憶するテンプレート確信度も予め定められたものである。なお、確信度は推定される食材及び調理操作の推定の確からしさを示す数値であり、確信度が高いほど、推定した食材及び調理操作が、調理者が実際に調理している食材及び調理操作に近くなる。【００２３】  図３（ａ）〜（ｃ）に示す各テーブルには、テンプレート確信度が◎、○、△、×の記号で表されている。図３（ｄ）に示すように◎はテンプレート確信度が０．８〜１．０の値域に属していることを示し、○はテンプレート確信度が０．５〜０．８の値域に属していることを示し、△はテンプレート確信度が０．２〜０．５の値域に属しているこ��を示し、×は確信度が０．０〜０．２の値域に属していることを示している。【００２４】  図２に示す特徴量テンプレート作成部１０６は、抽出部１０２により抽出された食材を各列の項目とし、調理操作を各行の項目とするテーブルである特徴量テンプレートのフレームを作成する。また、特徴量テンプレート作成部１０６は、抽出部１０２により調理レシピ毎に抽出された食材を各列の項目とし、調理操作を各行の項目とするテーブルであるレシピ別特徴量テンプレートのフレームを作成する。【００２５】  更に、特徴量テンプレート作成部１０６は、食材テーブルＴ１、調理物テーブルＴ２、及び調理操作テーブルＴ３の各フィールドに記憶されたテンプレート確信度を基に、特徴量テンプレート及びレシピ別特徴量テンプレートの各フィールドにテンプレート確信度を書き込み、特徴量テンプレート記憶部１０７及びレシピ別特徴量テンプレート記憶部１０９に記憶させる。【００２６】  特徴量テンプレート記憶部１０７は、特徴量テンプレート作成部１０６により作成された特徴量テンプレートを記憶する。調理フローデータベース１０８は、種々の料理に対する調理レシピの調理工程を順序立てて示す調理フローを記憶している。図９及び図１０は、調理フローデータベース１０８が記憶する調理フローを示した図面であり、図９（ａ）は肉じゃがに対する調理フローを示し、図９（ｂ）はハンバーグに対する調理フローを示し、図１０（ａ）はビーフカレーに対する調理フローを示し、図１０（ｂ）は野菜炒めに対する調理フローを示している。図９及び図１０において、長円で示すオブジェクトは食材を示し、四角で示すオブジェクトは調理操作を示し、上方の階層に表されたオブジェクトほど、調理工程が最終工程に近いオブジェクトを示している。また、長円の中に文字が記載されていないオブジェクトは、その一つ下の階層のオブジェクトが示す調理操作が施された食材を示している。【００２７】  図９（ａ）に示す肉じゃがの場合では、牛肉は「切る・剥く」という調理操作がなされた後、「炒める・焼く」という調理操作がなされる。そして、「切る・剥く」の調理操作がなされたタマネギと一緒に「炒める・焼く」という調理操作がなされる。その後、「炒める・焼く」という調理操作がなされたタマネギ及び牛肉は、「切る・剥く」という調理操作がなされたジャガイモと「炒める・焼く」という調理操作がなされた後、「煮る・茹でる」という調理操作がなされる。これにより、目的物である肉じゃがが完成される。【００２８】  認識処理部１１０は、センシング部２００から出力された観測データを基に、フローマッチング等の処理を行い現在調理者が調理している料理の調理レシピを推定すると共に、現在調理者が調理している食材及び調理操作を認識する。なお、フローマッチングは公知であり、その詳細は公知文献１「Ｔｈｅ  Ｔｒｅｅ−ｔｏ−Ｔｒｅｅ  Ｃｏｒｒｅｃｔｉｏｎ  Ｐｒｏｂｌｅｍ（ＫＵＯ−ＣＨＵＮＧ  ＴＡＩ）：Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  Ｃｏｍｐｕｔｏｎｇ  Ｍａｃｈｉｎｅｒｙ，Ｖｏｌ  ２６．Ｎｏ  ３，Ｊｕｌｙ  １９７９．ｐｐ  ４２２−４３３」に開示されている。【００２９】  なお、認識処理部１１０は、調理フロ��作成手段、一次確信度算出手段、適合度算出手段、及び調理操作認識手段に相当する。【００３０】  ガイダンス部１１１は、認識処理部１１０により推定された調理レシピに対して予め記憶された音声データ及び画像データをスピーカ５０及び表示装置４０から出力し、調理者に対して調理レシピを案内する。ここで、ガイダンス部１１１は、現在ユーザが調理している調理工程に対するガイダンスを行う。【００３１】  センシング部２００は、図１に示すサーマルカメラ２０、光学カメラ１０、マイク３０、ＲＦＩＤリーダ６０から構成され、サーマルカメラ２０により撮影された温度画像、光学カメラ１０により撮影された光学画像、マイク３０により取得された環境音、及びＲＦＩＤタグリーダ６０により読み出された食材データを観測データとして、認識処理部１１０に出力する。【００３２】  図４は特徴量テンプレートＴ４のデータ構造を示す図面である。特徴量テンプレートＴ４は、食材名、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るのフィールドを備える特徴量レコードから構成されている。図４の例では、抽出部１０２により抽出された調理操作が、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るであるため、特徴量テンプレートＴ４にはこれらのフィールドが作成されている。従って、抽出部１０２によりこれら以外の調理操作が抽出された場合は、その調理操作のフィールドが特徴量テンプレートＴ４に含まれることとなる。なお、特徴量テンプレートＴ４の各フィールドに記載した語句はテンプレート確信度が、どのデータに由来して決定されたかを示すために便宜上記されたものであり、実際にはテンプレート確信度のみが記憶され、図示する語句に関するデータは記憶されない。【００３３】  食材名のフィールドには、抽出部１０２により抽出された食材の名称が記憶されている。なお、特徴量テンプレートＴ４の作成処理については後述する。【００３４】  図５は、焼きリンゴとトマトの調理レシピに対するレシピ別特徴量テンプレートＴ５と、サラダと大根煮物との調理レシピに対するレシピ別特徴量テンプレートＴ６のデータ構造を示している。レシピ別特徴量テンプレートＴ５は食材名、切る、剥く、焼く、及び煮るのフィールドを備える。切る、剥く、焼く、及び煮るは、特徴量テンプレートＴ４に含まれる調理操作であって、焼きリンゴとトマトの調理レシピに含まれる調理操作である。【００３５】  レシピ別特徴量テンプレートＴ６は、食材名、切る、剥く、焼く、及び煮るのフィールドを備えている。切る、剥く、焼く、及び煮るは、特徴量テンプレートＴ４に含まれる調理操作であって、サラダと大根煮物の調理操作である。【００３６】  次に、図６に示すフローチャート及び図７に示すテーブルの遷移図を用いて、特徴量テンプレートの作成処理について説明する。まず、ステップＳ１において、抽出部１０２は、レシピデータベース１０１に記憶されている全調理レシピに含まれる全調理操作及び全食材を抽出する。【００３７】  ステップＳ２において、特徴量テンプレート作成部１０６は、ステップＳ１により抽出された食材と調理操作とを項目として備えるテーブルである特徴量テンプレートのフレームを作成する。図７の特徴量テ���プレートＴ４の場合、レシピデータベース１０１には、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るが調理操作データとして含まれていたため、これらの調理操作が各列の項目とされ、リンゴ、トマト、大根等が食材として含まれているため、これらの食材名が各行の項目とされている。【００３８】  ステップＳ３において、特徴量テンプレート作成部１０６は、食材テーブルＴ１、調理物テーブルＴ２、及び調理操作テーブルＴ３の各フィールドに記憶されたテンプレート確信度に従って、特徴量テンプレートＴ４の各フィールドにテンプレート確信度を書き込んでいく。【００３９】  具体的には以下のようにしてテンプレート確信度を書き込んでいく。図７に示す特徴量テンプレートＴ４のリンゴに対する輪切りのフィールドＦＩ１を例に挙げて説明する。フィールドＦＩ１に対応する食材名はリンゴであるため、食材テーブルＴ１からリンゴが記憶された食材レコードＲ１を抽出する。また、フィールドＦＩ１に対応する調理操作は輪切りであるため、調理物テーブルＴ２及び調理操作テーブルＴ３から輪切りが記憶された調理物レコードＲ２及び調理操作レコードＲ３を抽出する。【００４０】  食材レコードＲ１を構成する各フィールドに格納されたテンプレート確信度のうち最大のテンプレート確信度は「△」である。また、調理物レコードＲ２を構成する各フィールドに格納されたテンプレート確信度のうち、最大のテンプレート確信度は「○」である。更に、調理操作レコードＲ３を構成する各フィールドに格納されたテンプレート確信度のうち、最大のテンプレート確信度は「△」である。従って、食材レコードＲ１、調理物レコードＲ２、及び調理操作レコードＲ３の各フィールドに格納されたテンプレート確信度のうち最大のテンプレート確信度は「○」となる。そのため、特徴量テンプレートＴ４のフィールドＦＩ１には「○」のテンプレート確信度が書き込まれる。【００４１】  このようにして特徴量テンプレートＴ４の各フィールドにテンプレート確信度が書き込まれ、特徴量テンプレートＴ４が作成される。作成された特徴量テンプレートＴ４は特徴量テンプレート記憶部１０７に記憶される。なお、レシピ別特徴量テンプレートも同様に作成される。【００４２】  次に、図８に示すフローチャートに従って、本食材調理操作認識システムの動作について説明する。まず、ステップＳ１１において、センシング部２００は、観測データを取得し、データ処理部１００に送信する。ステップＳ１２において、認識処理部１１０は、サーマルカメラ２０により撮影された温度画像、光学カメラ１０により撮影された光学画像、及びマイク３０により取得された環境音に対して、食材・調理操作決定処理を実行し、現在調理者が調理している食材及びその食材に対する調理操作を決定すると共に、決定した食材に対する確信度及び決定した調理操作に対する確信度である観測確信度を算出する。なお、食材・調理操作決定処理の詳細については、図１２に示すフローチャートを用いて後述する。【００４３】  ステップＳ１３において、認識処理部１１０は、ステップＳ１２により決定された食材及び調理操作を用いて、調理が開始されてから現在に至るまで調理者が行った調理手順を���す調理フローを作成する。【００４４】  この場合、図１１（ａ）に示すような調理フローが作成される。この調理フローでは、食材として、ジャガイモ、タマネギ、及び牛肉が使用され、これらの食材に対して「切る」、「炒める」、「煮る」等の調理操作がなされた調理フローが作成されていることが分かる。【００４５】  図８に示すステップＳ１４において、認識処理部１１０は、ステップＳ１２により得られた調理操作及び食材の観測確信度と、特徴量テンプレートＴ４に記憶された対応するフィールドに格納されたテンプレート確信度とを乗じ、調理フローを構成する各オブジェクトに対する確信度である一次確信度（＝テンプレート確信度×観測確信度）を算出する。【００４６】  具体例として、図１１（ａ）に示す調理フローにおいて、オブジェクトＯ１に対する一次確信度Ｃ１、オブジェクトＯ２に対する一次確信度Ｃ２を算出する場合を示す。【００４７】  ここで、説明の便宜上、図１１（ａ）に示す調理フローにおいて、オブジェクトＯ１をじゃがいもに代えてリンゴとし、オブジェクトＯ２を切るに代えて輪切りとする。また、図４に示す特徴量テンプレートＴ４のリンゴに対する輪切りのテンプレート確信度をＡ１とする。【００４８】  そして、ステップＳ１２によりリンゴに対する観測確信度がＢ１、輪切りに対する観測確信度がＢ２と算出されたとする。そうすると、オブジェクトＯ１に対する一次確信度Ｃ１は、Ｃ１＝Ｂ１×Ａ１により算出され、オブジェクトＯ２に対する一次確信度Ｃ２は、Ｃ２＝Ｂ２×Ａ１により算出される。【００４９】  ステップＳ１５において、認識処理部１１０は、ステップＳ１３により作成された調理フローと調理フローデータベース１０８に記憶された各調理フローとに対してフローマッチングを行い、調理者が現在調理している料理が調理フローデータベース１０８に記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する。なお、フローマッチングによる適合度の算出については、上記公知文献１に開示されている。【００５０】  図１１は、フローマッチングを説明する図面であり、（ａ）は作成される調理フローを示し、（ｂ）は調理フローデータベース１０８に予め記憶された調理フローを示している。図１１（ｂ）の例では、調理フローデータベース１０８には、肉じゃがの調理フローＦ１、カレーの調理フローＦ２、野菜炒めの調理フローＦ３、及びオムレツの調理フローＦ４が予め記憶されているものとする。【００５１】  図１１（ａ）に示す調理フローは、図８に示すフローチャートが繰り返し実行されるにつれて、下方から上方に向けてオブジェクトが完成されていく。なお、最下層の調理操作であるじゃがいも、タマネギ、及び牛肉に対する「切る」という調理操作は、同時に行われるものではないが、各食材に対して最初に行われる調理操作であるため、この「切る」を示すオブジェクトは同じ階層で表されている。【００５２】  そして、認識処理部１１０は、図１１（ｂ）に示す肉じゃが〜オムレツの調理フローＦ１〜Ｆ４の各々に対する（ａ）に示す調理フローの適合度を算出する。図１１（ｂ）の例では、肉じゃが、カレー、野菜炒め、オムレツの調理フローＦ１〜Ｆ４に対する適合度は０．８、０���７、０．４、０．２とそれぞれ算出されている。そして、認識処理部１１０は、適合度が規定値（例えば０．５）未満の野菜炒め及びオムレツの調理フローＦ３及びＦ４を次回のフローマッチングにおけるマッチング対象から削除する。すなわち、次回のフローマッチングにおいて、野菜炒め及びオムレツの調理フローＦ３及びＦ４に対する適合度は算出されない。これにより、フローマッチングの処理の高速化が図られている。【００５３】  ステップＳ１６において、特徴量テンプレート作成部１０６は、ステップＳ１４により算出された各一次確信度に対して、ステップＳ１５により算出された各調理フローに対する適合度から適合度の代表値（例えば平均値）を求め、代表値を各一次確信度に乗じ、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、特徴量テンプレートＴ４の対応するフィールドに書き込み、特徴量テンプレートＴ４を更新する。【００５４】  ステップＳ１６の処理をステップＳ１４で示した具体例を用いて説明すると、一次確信度Ｃ１及びＣ２に対し、図１１（ｂ）に示す肉じゃがの代表値を乗じ、最終確信度Ｄ１及びＤ２を求める。そして、求めた最終確信度Ｄ１及びＤ２を特徴量テンプレートＴ４のじゃがいもに対する輪切りのフィールドに書き込み、特徴量テンプレートＴ４を更新する。【００５５】  ステップＳ１７において、特徴量テンプレート作成部１０６は、ステップＳ１４により算出された各一次確信度に対して、ステップＳ１５により算出された各調理フローに対する適合度の各々を乗じ、調理レシピ別の最終確信度を算出し、算出した調理レシピ別の最終確信度を対応する調理レシピ別テンプレートの対応するフィールドにテンプレート確信度として書き込み、調理レシピ別テンプレートを更新する。【００５６】  具体例として図１１を用いて肉じゃがを例に挙げて説明すると、肉じゃがの適合度は０．８と算出されている。そして、この０．８を図１１（ａ）に示す調理フローの各オブジェクトが有する一次確信度に乗じ、最終確信度を算出する。そして、算出した最終確信度を肉じゃがのレシピ別特徴量テンプレートのじゃがいもに対する輪切りのフィールドに書き込み、肉じゃがのレシピ別特徴量テンプレートを更新する。【００５７】  図８に示すステップＳ１８において、認識処理部１１０は、更新した特徴量テンプレートＴ４及びレシピ別テンプレートを参照し、調理レシピを推定することができると共に、センシング部２０で取得された観測データに対する食材及び調理操作を認識することができた場合（Ｓ１８でＹＥＳ）、処理を終了する。【００５８】  一方、ステップＳ１８において、調理レシピを推定することができないと共に、食材及び調理操作を認識することができなかった場合（Ｓ１８でＮＯ）、処理がステップＳ１１に戻され、引き続き、ステップＳ１２以降の処理が行なわれる。【００５９】  ここで、認識処理部１１０は、レシピ別特徴量テンプレート或いは特徴量テンプレートのあるフィールドが記憶するテンプレート確信度が他のフィールドが記憶するテンプレート確信度に比べて一定の値以上大きくなったとき、当該フィールドに対応する食材及び調理操作を、センシング部２０により取得された観測データ��対する食材及び調理操作として認識する。また、ステップＳ１５により算出された適合度が一定の値以上の調理フローに対する調理レシピを現在調理者が調理している料理の調理レシピとして認識する。【００６０】  上述したように図１１（ａ）に示す調理フローは、図８に示すフローチャートが繰り返し実行されるにつれて、完成されていくものである。そのため、調理者が調理フローデータベース１０８に記憶された調理レシピのうちいずれかの調理レシピに対する料理を調理している場合、図１１（ａ）に示す調理フローは、調理フローデータベース１０８に記憶された調理フローのうち、いずれか１の調理フローに近づいていく。すなわち、調理フローデータベース１０８に記憶された特定の調理フローの適合度が他の調理フローの適合度に対して増大していく。また、それに伴って、適合度が増大した調理フローに対するレシピ別特徴量テンプレートの特定のフィールドにおけるテンプレート確信度が増大していく。これにより、食材及び調理操作を認識することが可能となる。【００６１】  図１２は、観測フローのノード数とエディットディスタンスとの関係を示したグラフであり、縦軸はエディットディスタンスを示し横軸は観測フローのノード数を示している。ここで、観測フローとは、センシング部２００により取得された観測データに従って作成された調理フローを示し、観測フローのノード数とは、図１１（ａ）に示すオブジェクトの数を示し、エディットディスタンスとは、観測フローと調理フローとの近似の程度を示す数値である。例えば、現在調理者により肉じゃがが調理されている場合、センシング部２００により取得された観測データから作成された調理フローと、調理フローデータベース１０８に記憶された肉じゃがの調理フローとの適合度が高いほどエディットディスタンスの値は小さくなる。【００６２】  図１２では、肉じゃが、ビーフカレー、ビーフカレー２、野菜炒め、及びハンバーグのグラフが示されている。ハンバーグを除くいずれのグラフにおいても、ノード数が増大するにつれて、エディットディスタンスが減少していることが分かる。従って、図８に示すフローチャートを繰り返し実行するにつれて、調理フローデータベースに記憶された調理フローのうち、特定の調理フローに対する適応度が増大する結果、調理者が現在調理している料理に対する調理レシピを特定することができる。【００６３】  次に、図８のステップＳ１２に示す食材・調理操作決定処理の詳細について図１３に示すフローチャートに従って説明する。以下の処理は認識処理部１１０により行われる。まず、ステップＳ２１において、光学カメラ１０により撮影された光学画像と、サーマルカメラ２０により撮影された温度画像との両画像から背景領域を除去する。【００６４】  ここで、光学画像に対しては、公知の背景差分処理により背景領域を除去する。また、温度画像に対しては、ｉフレーム目の温度画像に対し、メディアンフィルタを適用して、ある温度が規定値より低い画素が一定の大きさ以上連続して存在する領域ＲＥＧＩＯＮｉを抽出し、この領域を食材領域とする。そして、ｉ＋１フレーム目の温度画像に対しても同様にして領域ＲＥＧＩＯＮｉ＋１を抽出し、抽出した領域を���跡することで食材領域を抽出し、食材領域以外の領域を背景領域として除去する。なお、ＲＥＧＩＯＮｉに対するＲＥＧＩＯＮｉ＋１の移動距離が規定値以上の場合は、移動距離が大き過ぎるため、食材領域を追跡するのは不適切であると判断し、食材領域を抽出しない。【００６５】  ここで、背景領域は、温度画像及び光学画像において、抽出された背景領域の各画素の値が所定の低階調の値（例えば０）とされることで除去される。また、食材領域に対しては構成する画素の値に所定のオフセット値が加算される。【００６６】  この場合、図１４（ａ）に示す光学画像に含まれる手及びタマネギ以外の領域が、図１４（ｂ）に示すように黒で表示され、光学画像から背景領域が除去されていることが分かる。また、図１４（ｃ）に示す温度画像に含まれるタマネギ以外の領域が、図１４（ｄ）に示すように背景領域として黒で表示され、温度画像から背景領域が除去されていることが分かる。【００６７】  ステップＳ２２において、ステップＳ２１により抽出された両背景画像に対し、膨張処理が施された後、圧縮処理が施され、背景画像に含まれる小さな穴や島等のノイズが除去される。【００６８】  ステップＳ２３において、温度画像と光学画像との座標系を合わせるための座標変換が実行され、ステップＳ２４において、背景領域が除去された温度画像と光学画像とが乗算され、規定値よりも大きな画素データが一定の個数（面積）以上連続して存在している領域が食材領域として抽出される。【００６９】  この場合、図１４（ｅ）に示すような食材領域が抽出される。なお、図１４（ｄ）に示す背景領域には、図１４（ｂ）に示す背景領域よりも、多くのノイズが含まれていることが分かる。一方、図１４（ｄ）ではタマネギのみが抽出されているが、図１４（ｂ）ではタマネギに加えて手が抽出されていることが分かる。【００７０】  従って、両画像を乗算することにより、温度画像及び光学画像のうち、いずれか一方の画像にのみ現れたノイズを示す画素の値は小さくなり、除去される結果、食材領域をより正確に抽出することができる。【００７１】  ステップＳ２５において、ステップＳ２４により乗算された画像が食材領域毎に分割される。ここで、ステップＳ２４により抽出された食材領域が複数存在する場合は、各食材領域の面積よりも多少大きな面積を有する矩形上のフレームが各食材領域に当てはめられ、上記乗算された画像が食材画像に分割される。【００７２】  ステップＳ２６において、各食材画像と後述する色特徴テンプレートとのテンプレートマッチングが実行され、各食材画像が示す食材を特定する。この色特徴テンプレートは食材毎に存在し、図略のメモリに予め記憶されている。【００７３】  具体的には、食材が初めて光学カメラ１０及びサーマルカメラ２０に現れたフレームから、所定フレーム数（ＦＲＡＭＥｓｔａｒｔａｆｔｅｒＣｏｏｋ）分のフレームのうち、手の領域が食材領域に接した状態から離れた状態になるまでの各フレームに対する食材領域の色相のヒストグラムの平均値をＨｂｅｆｏｒｅＣｏｏｋ、彩度のヒストグラムの平均値をＳｂｅｆｏｒｅＣｏｏｋとして求める。【００７４】  また、手の領域が食材領域と接しない状態が所定フレーム数（ＦＲ��ＭＥｅｎｄａｆｔｅｒＣｏｏｋ）以上あった場合、調理操作が終了したと判定する。このようにして調理操作の終了が判定されているため、調理操作の一時的な操作ブランクを調理操作の終了として判定することを防止することができる。【００７５】  そして、調理操作が終了してから、ＦＲＡＭＥｓｔａｒｔＡｆｔｅｒＣｏｏｋ分のフレームのうち残りの各フレームの色相のヒストグラムの平均値をＨａｆｔｅｒＣｏｏｋ、彩度のヒストグラムの平均値をＳａｆｔｅｒＣｏｏｋとして求める。【００７６】  ここで、ＨｂｅｆｏｒｅＣｏｏｋを調理操作前の色相の色特徴と呼び、ＳｂｅｆｏｒｅＣｏｏｋを調理操作前の彩度の色特徴と呼び、ＨａｆｔｅｒＣｏｏｋを調理操作後の色相の色特徴と呼び、ＳａｆｔｅｒＣｏｏｋを調理操作後の色相の色特徴と呼ぶことにする。また、ＨｂｅｆｏｒｅＣｏｏｋ、ＳｂｅｆｏｒｅＣｏｏｋ、ＨａｆｔｅｒＣｏｏｋ、ＳａｆｔｅｒＣｏｏｋを纏めて色特徴と呼ぶことにする。【００７７】  次に、各食材に対して予め定められた調理操作前の色相の色特徴テンプレートをＨｂｅｆｏｒｅ（ｆｏｏｄ）、調理操作後の色相の色特徴テンプレートをＨａｆｔｅｒ（ｆｏｏｄ）、調理操作前の彩度の色特徴テンプレートをＳｂｅｆｏｒｅ（ｆｏｏｄ）、調理操作後の彩度の色特徴テンプレートをＳａｆｔｅｒ（ｆｏｏｄ）とし、調理操作前の色相の色特徴テンプレートと、調理操作前の色相の色特徴との距離ＤｂｅｆｏｒｅＨｕｅ（ｆｏｏｄ）を式（１）を用いて求める。なお、括弧内に示すｆｏｏｄは食材を示す引数である。なお、Ｈｂｅｆｏｒｅ（ｆｏｏｄ）、Ｈａｆｔｅｒ（ｆｏｏｄ）、Ｓｂｅｆｏｒｅ（ｆｏｏｄ）、Ｓａｆｔｅｒ（ｆｏｏｄ）を纏めて色特徴テンプレートと呼ぶことにする。
2005088542.tif 000002
【００７８】  また、調理操作前の彩度の色特徴テンプレートと、調理操作前の彩度の色特徴との距離Ｄｂｅｆｏｒｅ（ｆｏｏｄ）を式（２）を用いて求める。ここで、ｒｏｏｔ（（Ａ−Ｂ）ｔ（Ａ−Ｂ））は、ベクトルＡとベクトルＢとのユークリッド距離を示す。
2005088542.tif 000003
【００７９】  そして、調理操作前の色相の距離と調理操作前の彩度の距離とを重み付けして加算し、調理操作前の各食材に対する色特徴と色特徴テンプレートとの距離Ｄｂｅｆｏｒｅ（ｆｏｏｄ）を求める。この算出式は式（３）により表される。
2005088542.tif 000004
【００８０】  同様に調理操作後の色特徴と色特徴テンプレートとの距離について、Ｄａｆｔｅｒ（ｆｏｏｄ）を算出し、Ｄｂｅｆｏｒｅ（ｆｏｏｄ）とＤａｆｔｅｒ（ｆｏｏｄ）とを加算して色特徴変化距離ＭｃｏｌｏｒＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）を求める。Ｗは重み係数である。
2005088542.tif 000005
【００８１】  そして、色特徴変化距離が最小の食材を食材画像が示す食材として決定する。【００８２】  ステップＳ２６の処理を要約すると、例えばセンシング部２００によりタマネギ、じゃがいも、にんじんの食材データが取得されたとする。そして、ある食材画像において、タマネギの色特徴テンプレート、じゃがいもの色特徴テンプレート、及びにんじんの色特徴テンプレートに対する色特徴変化距離がこの順序で高い場合、この食材画像に含まれる食材領域は、にんじんを表していると判定される。【００８３】  図１５及び図１６は、時間の経過によるピーマン及びカボチャの色相、彩度、及び領域サイズの変化を示したグラフである。図１５及び図１６において（ａ）は色相を示し、（ｂ）は彩度を示し、（ｃ）は領域サイズを示している。Ｓｅｃｏｎｄは食材が観測領域に現れてからの経過時間（秒）を示している。色相・彩度はそれぞれ１２段階のヒストグラムを算出し、それをプロットしたときの等高線を、値が顕著に現れた部分（色相は０〜５、彩度は０〜１０）のみ切り出して掲載している。【００８４】  まず、色相・彩度に注目すると、始めはピーマンとカボチャとは似たヒストグラムを示しているが、切ることにより食材の内部の色が現れはじめると、特にカボチャの色が大きく変化し、両者の間に明らかな差が生じることが分かる。また、ピーマンは細かく切られるため画面に写される面が増え、サイズが大きく増加するが、カボチャは粗く切るため面がそれほど増えず、サイズが変わらないことが分かる。【００８５】  図１７は、調理操作前後におけるリンゴとトマトとの色相及び彩度のヒストグラムを示したグラフであり、（ａ）は調理操作前の色相のヒストグラムを示し、（ｂ）は調理操作前の彩度のヒストグラムを示し、（ｃ）は調理操作後の色相のヒストグラムを示し、（ｄ）は調理操作後の彩度のヒストグラムを示している。図１７において、実線はリンゴを示し、点線はトマトを示している。【００８６】  リンゴ及びトマトは共に表面が赤色であるため、（ａ）及び（ｂ）に示すように調理操作前において、リンゴとトマトとのグラフは近似していることが分かる。一方、リンゴは皮が剥かれると白色となり、トマトは切られても赤色のままであるため、（ｃ）及び（ｄ）に示すように、リンゴとトマトとのグラフは大きく相違していることが分かる。つまり、調理操作後に赤い物体が白色に変化した場合、この赤い物体はトマトよりもリンゴに近いと言える。【００８７】  また、調理操作前のトマト及び赤ピーマンは共に赤色であり特徴は似ているが、トマトは輪切りにされることがあっても微塵切りにされることがないという情報を調理レシピから得ることができれば、赤い物体が微塵切りにされたという結果が得られた場合、その食材は赤ピーマンである可能性が高いと推定することができる。【００８８】  次に、上記色特徴としてＲＧＢ表色系ではなくＨＳＶ表色系を用いた理由を説明する。ＲＧＢ表色系は光の三原色を用いて種々の色を再現する方式である。一方、ＨＳＶ表色系は、光の物理量との関係づけは困難であるが、人間の感覚が再現された表色系と言われている。そのため、画像認識では、ＨＳＶ表色系がしばしば採用されている。また、上記色特徴とし��色相及び彩度を用い、明度は用いられていない。これは、主に物体の影を表現する明度を用いなくとも、色相及び彩度から物体そのものの色（すなわち、拡散反射光による色）を取り出すことが可能であるからである。【００８９】  次に、形状特徴によるテンプレートマッチングではなく、色特徴によるテンプレートマッチングを採用したことによる利点を説明する。一般的に、テンプレートマッチングでは、円形度等の形状特徴やテクスチャ特徴が用いられるケースが多い。しかしながら、食材は調理される際、手で触られるケースが多いため、形状特徴特徴によるテンプレートマッチングを使用することはできない。【００９０】  また、テクスチャ特徴は、物体表面のざらつき、柄等をエッジ、周波数等で評価するものである。そのため、（１）テクスチャ特徴を得るためにはある程度高い解像度と観測範囲が必要となるが、これらを確保することは容易ではない。（２）また、ざらつきは画像において影として現れるため光の当て方に依存するが、実環境下では常に均質の照明環境を保つことが困難である。（３）更に、同一名称の食材だからといって、必ずしも同一の表面特性を持っているとは限らず、食材個別間で柄や質感が異なるため、特徴量の再現性に乏しい。これらの理由により形状特徴やテクスチャ特徴を用いるよりも色特徴によるテンプレートマッチングを用いることが好ましい。【００９１】  図１３に示すステップＳ２７において、センシング部２００により取得された環境音から、調理操作を推定する。具体的には、環境音から食材がまな板の上で切られる際に生じる衝突音の発生回数をカウントし、式（５）〜（７）を用い、衝突回数ｃｕｔが剥くに対してどれほど近いかを示す距離Ｄｃｏｏｋ（ｐｅｅｌ，ｃｕｔ）、衝突回数ｃｕｔが微塵切りに対してどれほど近いかを示す距離Ｄｃｏｏｋ（ｒｅｃｔ，ｃｕｔ）、及び衝突回数ｃｕｔが４切り、輪切り千切りを含むぶつ切りに対してどれほど近いかを示す距離Ｄｃｏｏｋ（ｃｈｏｐ，ｃｕｔ）を求め、距離が最小となる調理操作を現在調理者が行っている調理操作として決定する。
2005088542.tif 000006
2005088542.tif 000007
但し、ＡＶＥＲＡＧＥｐｅｅｌ、ＡＶＥＲＡＧＥｃｈｏｐ、ＡＶＥＲＡＧＥｒｅｃｔは予め行われた実験により得られた実験データの平均値であり、σｐｅｅｌ、σｃｈｏｐ、σｒｅｃｔは予め行われた実験による実験データの標準偏差である。【００９２】  ステップＳ２８において、レシピデータベース１０１に記憶された調理レシピに存在する食材と調理操作との組み合わせを抽出し、式（８）を用いて各ｆｏｏｄと画像中の食材との調理操作距離ＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）を求める。
2005088542.tif 000008
【００９３】  ここで、ＣＯＯＫ（ａｃｔ，ｆｏｏｄ）は、レシピデータベース１０１に記憶された調理レシピにおいて、食材と調理操作との組み合わせが存在する場合は１とされ、食材と調理レシピとの組み合わせが存在しない場合は０とされる。ＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）は、式（８）にｍｉｎ｛Ａ｝はＡの最小値を示す。したがって、Ｄｃｏｏｋ（ａｃｔ，ｆｏｏｄ）の最小値がＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）となる。そして、このＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）に示すｆｏｏｄが調理者が調理をしている食材として決定される。【００９４】  なお、ＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）はその値が小さいほど、実際の食材ｆｏｏｄに可能な調理操作が加えられており、食材を正確に認識できた可能性が高い。【００９５】  ステップＳ２９において、ＭｃｏｏｋＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）と、式（４）で求めたＭｃｏｌｏｒＣｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）とを加算し（式（９））、Ｍｃｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）を算出し、１−Ｍｃｏｎｓｔｒａｉｎｔ（ｆｏｏｄ）をステップＳ２８により決定された食材の確信度として算出する。
2005088542.tif 000009
【００９６】  ステップＳ３０において、式（１０）〜式（１２）の演算を実行し、これらの式のうち算出された演算結果が最小である式が示す調理操作を調理者が行っている調理操作として決定する。
2005088542.tif 000010
但し、
2005088542.tif 000011
【００９７】  ステップＳ３１において、式（１０）〜式（１２）のうち演算結果が最小の式の演算値を１からを差し引き、ステップＳ３０により算出された調理操作に対する確信度を算出する。【００９８】  以上説明したように、本食材調理操作認識システムによれば、特徴量テンプレートＴ４自身がテンプレート確信度を記憶しており、カメラが各瞬間で確認している食材や調理結果が、どの程度信頼できる認識結果であるかが定義できている。一次確信度は、さらにフローマッチングのステップを経て除々に確実なものとして最終確信度になっていき、より高い認識結果が獲得できるようになる。【００９９】  また、本食材調理操作認識システムでは、調理レシピを特定することも二次的な効果として得られるが、本食材調理操作認識システムの最大の効果は各瞬間のカメラやマイク等が対象としている食材や調理操作がどの程度確かなものであるかを判別できることである。【０１００】  その結果、従来不十分であった高度なインタラクションをしかもリアルタイムで行なうことができるのである。つまり、従来から存在する各種センサを用いて人物の操作を認識することを目的とするシステムでは、各種センサによる認識には自ずと限界があり、また、コストとの関係で使用可能なセンサは有限であり、その能力も限度があることが課題となっている。【０１０１】  このような制約の下において、認識しようとしている対象の確信度が低い場合には、音声を中心に画像等も利用したユーザとのインタラクションによる支援が重要となる。ユーザにメニュー、調理レシピ、食材、及び調理操作の確認を促すことは、前述のセンサ性能をカバーする上で、また、本システムのユーザとの信頼関係を強化／構築する上で大切である。【０１０２】  具体的には、図１１（ｂ）において、適合度が異なる「肉じゃが」と「カレー」のレシピであっても、図１１（ａ）のオブジェクトＯ１が適合度の最も高い「肉じゃが」に対するものであるかは不明瞭であるが、一次確信度に適合度を乗じたものを確信度として求めることにより、どちらか一方、或いは両方の可能性が高いか否かを判別することができる。【０１０３】  その判別結果に基づくインタラクションにより、例えば「今調理しているいもの種類は？」、或いは「今作っているレシピは、（カレーではなく）肉じゃがですよね」とかの口調を変えることが可能となる。もちろん、最終確信度が非常に高い値の食材や調理操作がある場合には、逆にユーザへのインタラクションとして積極的に「肉じゃがはカレーと違って、じっくりと煮込みすぎない方が美味しく調理できますよ」といったようなアドバイスが可能となる。また、両者の最終確信度が低い場合には、どちらとも確定できないために、インタラクションは控えるとか、或いはずばりレシピをユーザに尋ねるようなインタラクションとなる。以上の結果、従来と比して、全般的な状況に応じた確信度に基づく食材と調理操作の認識が各瞬間で高精度に行なうことが可能となるのである。【０１０４】  本発明は以下の態様を採用することができる。【０１０５】  （１）図１に示す表示装置４０は、プロジェクタ、ＩＨ調理器や調理台に組み込まれた表示装置であってもよい。【０１０６】  （２）上記実施の���態ではサーマルカメラ２０を用いたが、これに代えて単眼の赤外線センサを用いても良い。この場合、光学カメラ１０との連携で温度範囲を推定して面積比で高温領域と低温領域との差を認識すればよい。但し、その場合には、人間の手を区別することは困難となるが、人間の手がカメラ画像内にあるか否かに関しては充分に認識することが可能であり、人間の手がカメラ像内にある画像フレームは無視するようにしてもよい。【０１０７】  （３）図７に示す食材テーブル、調理物テーブル、及び調理操作テーブルが記憶するテンプレート確信度の値は、本システムの製造元等により予め算出された画像処理確信度を採用してもよい。また、特徴量テンプレートは、本システムが使用されるうちに獲得されたものを継続的に使用してもよい。これにより、ユーザ固有の信頼性の高いシステムを提供することも考えられる。【０１０８】  （４）図１１（ｂ）に示す適合度が低い（例えば０．５以下）や不明の場合には、最終確信度は一次確信度と等しいと仮定してもよい。【０１０９】  （本発明の纏め）
（１）本発明による食材調理操作認識システムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする。【０１１０】  この構成によれば、センシング手段により取得された調理操作を行なっている調理者の手元の画像とその調理操作によって生じる環境音とを基に、調理者が調理をしている食材及びその食材に対する調理操作の観測確信度が算出され、この観測確信度を基に、調理フローが作成される。そして、テンプレート確信度と観測確信度とを基に、調理フローを構成する各オブジェクトに対する一次確信度が算出され、この適合度と一次確信度とを基に、最終確信度が算出され、センシング手段により取得された画像の食材及びその食材に対する調理操作が認識される。すなわち、テンプレート確信度が記憶された特徴量テンプレートを基に、調理操作及び食材を認識しているため、食材及び調理操作を精度良く推定することができる。【０１１１】  （２）また、上記構成において、種々の料理に対して予め作成された調理フローを記憶する調理フローデータベースと、フローマッチングを用いて、前記調理フロー作成手段により作成された調理フローが、前記レシピフローデータベースに記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する適合度算出手段とを更に備え、前記調理操作認識手段は、前記適合度算出手段により算出された適合度と、前記一次確信度とを基に、食材及び調理操作を認識することが好ましい。【０１１２】  この構成によれば、予め料理毎に作成された調理フローと観測データを基に作成された調理フローとの適合度が算出され、この適合度と一次確信度とを基に、食材及び調理操作が認識されているため、認識精度をより高めることができる。【０１１３】  （３）また、上記構成において、食材を示すデータを記憶するフィールドと、その食材に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える食材レコードから構成される食材テーブルと、調理操作を示���データを記憶するフィールドと、その調理操作による食材の変化に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理物レコードから構成される調理物テーブルと、調理操作を示すデータを記憶するフィールドと、その調理操作により生じる環境音に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理操作レコードから構成される調理操作テーブルと、種々の調理レシピに使用される食材を示すデータと、その食材に対してなされる調理操作を示すデータとを記憶する調理レシピデータベースと、前記調理レシピデータベースに記憶された全種類の食材と全種類の調理操作とを抽出する抽出手段とのうち、少なくともいずれか１つのテーブルを記憶するテーブル記憶手段と、前記抽出手段により抽出された各食材と、前記抽出手段により抽出された各調理操作とを項目として備えるテーブルを特徴量テンプレートとして作成する特徴量テンプレート作成手段とを更に備え、前記特徴量テンプレート作成手段は、前記特徴量テンプレートを構成するフィールドのうち任意のフィールドに、その任意のフィールドに対応する食材を示すデータが記憶された前記食材テーブルの食材レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理物テーブルの調理物レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理操作テーブルの調理操作レコードとのうち、少なくともいずれか１つのレコードの各フィールドに記憶されたテンプレート確信度のうち、最大の確信度をテンプレート確信度として書き込むことが好ましい。【０１１４】  この構成によれば、テンプレート確信度付きの特徴量テンプレートを得ることができる。【０１１５】  （４）また、上記構成において、前記センシング手段は、サーマルカメラ及び光学カメラを備え、前記センシング手段により取得された画像はサーマルカメラにより撮影された温度画像と光学カメラにより撮影された光学画像とを含むことが好ましい。【０１１６】  この構成によれば、光学画像と温度画像とを用いて食材及び調理操作が認識されるため、食材及び調理操作の認識精度を高めることができる。【０１１７】  （５）また、上記構成において、前記調理フロー作成手段は、前記光学画像に対して背景差分処理を行い、当該光学画像から背景領域を除去すると共に、前記温度画像に対して、温度が規定値以上である領域を背景領域として除去し、背景領域が除去された温度画像と、背景領域が除去された光学画像とを乗じて、食材を示す食材領域を求め、求めた食材領域を基に観測確信度を算出することが好ましい。【０１１８】  この構成によれば、光学画像は背景差分処理により背景領域が除去されているため、光学画像から背景領域が精度良く除去されている。また、温度画像は、温度が規定値以上である領域が背景領域として除去されるため、食材の温度は周囲の温度よりも低いことを考慮して背景領域が除去されることとなる。そして、背景領域が除去された光学画像及び温度画像が乗じられ、得られた画像を基に、食材領域が抽出されている。そのため、光学画像と温度画像とが共に食材領域として抽出した領域が食材領域として抽出される結果、食材領域を精度良く抽出することができる。【０１１９】  （６）また、上記構成において、前記調理フロー作成手段は、前記センシング手段により取得された画像から色相のヒストグラム及び彩度のヒストグラムを求め、求めたヒストグラムと予め食材毎に定められた色特徴テンプレートとの相関を求めることにより、食材を推定することが好ましい。【０１２０】  この構成によれば、色相のヒストグラムを基に、食材が推定されるため、精度良く食材を抽出することができる。すなわち、食材は調理者の手により把持されているケースが多く、この手の影響により、食材領域に対して形状特徴によるテンプレートマッチングを用いると、食材を推定することは困難となるが、本発明のように色相のヒストグラムを用いれば精度良く食材を推定することが可能となる。【０１２１】  （７）また、上記構成において、前記適合度算出手段は、適合度を基に、調理レシピを推定し、前記適合度算出手段により推定された調理レシピに関するガイダンスを調理者に対して行うガイダンス手段を更に備えることが好ましい。【０１２２】  この構成によれば、調理者が現在調理している料理に対する調理レシピによるガイダンスがなされるため、調理者は調理レシピに従った適切な調理工程により料理を作ることができる。【０１２３】  （８）本発明による食材調理操作認識プログラムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段としてコンピュータを機能させることを特徴とする。
【産業上の利用可能性】
【０１２４】  本発明による食材調理操作認識システムによれば、調理者が現在調理している調理レシピが推定され、調理者に対して適切な調理レシピを案内することができるため、家庭用の調理機器として有用である。
【図１】
2005088542.tif 000012
【図２】
2005088542.tif 000013
【図３】
2005088542.tif 000014
【図４】
2005088542.tif 000015
【図５】
2005088542.tif 000016
【図６】
2005088542.tif 000017
【図７】
2005088542.tif 000018
【図８】
2005088542.tif 000019
【図９】
2005088542.tif 000020
【図１０】
2005088542.tif 000021
【図１１】
2005088542.tif 000022
【図１２】
2005088542.tif 000023
【図１３】
2005088542.tif 000024
【図１４】
2005088542.tif 000025
【図１５】
2005088542.tif 000026
【図１６】
2005088542.tif 000027
【図１７】
2005088542.tif 000028
【手続補正書】
【提出日】平成17年9月7日(2005.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、
種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、
前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、
前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、
前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする調理操作認識システム。
【請求項２】
種々の料理に対して予め作成された調理フローを記憶する調理フローデータベースと、
フローマッチングを用いて、前記調理フロー作成手段により作成された調理フローが、前記レシピフローデータベースに記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する適合度算出手段とを更に備え、
前記調理操作認識手段は、前記適合度算出手段により算出された適合度と、前記一次確信度とを基に、食材及び調理操作を認識することを特徴とする請求項１記載の調理操作認識システム。
【請求項３】
食材を示すデータを記憶するフィールドと、その食材に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える食材レコードから構成される食材テーブルと、
調理操作を示すデータを記憶するフィールドと、その調理操作による食材の変化に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理物レコードから構成される調理物テーブルと、
調理操作を示すデータを記憶するフィールドと、その調理操作により生じる環境音に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理操作レコードから構成される調理操作テーブルと、
種々の調理レシピに使用される食材を示すデータと、その食材に対してなされる調理操作を示すデータとを記憶する調理レシピデータベースと、
前記調理レシピデータベースに記憶された全種類の食材と全種類の調理操作とを抽出する抽出手段とのうち、少なくともいずれか１つのテーブルを記憶するテーブル記憶手段と、
前記抽出手段により抽出された各食材と、前記抽出手段により抽出された各調理操作とを項目として備えるテーブルを特徴量テンプレートとして作成する特徴量テンプレート作成手段とを更に備え、
前記特徴量テンプレート作成手段は、前記特徴量テンプレートを構成するフィールドのうち任意のフィールドに、その任意のフィールドに対応する食材を示すデータが記憶された前記食材テーブルの食材レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理物テーブルの調理物レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理操作テーブルの調理操作レコードとのうち、少なくともいずれか１つのレコードの各フィールドに記憶されたテンプレート確信度のうち、最大の確信度をテンプレート確信度として書き込むことを特徴とする請求項１記載の食材調理操作認識システム。
【請求項４】
前記センシング手段は、サーマルカメラ及び光学カメラを備え、
前記センシング手段により取得された画像はサーマルカメラにより撮影された温度画像と光学カメラにより撮影された光学画像とを含むことを特徴とする請求項１〜３のいずれかに記載の食材調理操作認識システム。
【請求項５】
前記調理フロー作成手段は、前記光学画像に対して背景差分処理を行い、当該光学画像から背景領域を除去すると共に、前記温度画像に対して、温度が規定値以上である領域を背景領域として除去し、背景領域が除去された温度画像と、背景領域が除去された光学画像とを乗じて、食材を示す食材領域を求め、求めた食材領域を基に観測確信度を算出することを特徴とする請求項４記載の食材調理操作認識システム。
【請求項６】
前記調理フロー作成手段は、前記センシング手段により取得された画像から色相のヒストグラム及び彩度のヒストグラムを求め、求めたヒストグラムと予め食材毎に定められた色特徴テンプレートとの相関を求めることにより、食材を推定することを特徴とする請求項１〜５のいずれかに記載の食材調理操作認識システム。
【請求項７】
前記適合度算出手段は、適合度を基に、調理レシピを推定し、
前記適合度算出手段により推定された調理レシピに関するガイダンスを調理者に対して行うガイダンス手段を更に備えることを特徴とする請求項１〜６のいずれかに記載の食材調理操作認識システム。
【請求項８】
調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、
種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、
前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、
前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、
前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段としてコンピュータを機能させることを特徴とする食材調理操作認識プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】食材調理操作認識システム及び食材調理操作認識プログラム
【技術分野】
【０００１】
本発明は、観測データから食材及びその食材に対する調理操作を認識する技術に関するものである。
【背景技術】
【０００２】
非特許文献１には、光学カメラから得られる画像から食材の特徴量を知識テンプレートとして記憶しておき、この知識テンプレートを用いて、画像中における食材の確からしさを示す確信度を算出し、画像中に含まれる食材及び調理操作を認識する技術が開示されている。
【非特許文献１】  第１７回人工知能学会全国大会論文集、テキスト情報からの制約に基づく料理画像中の物体検出（no.2C1-02、June、2003）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、非特許文献１記載の技術では、高い確信度を得ることができず、食材及び調理操作を精度良く認識することができないという問題がある。
【０００４】
本発明の目的は、調理者が調理している食材及びその食材に対する調理操作を精度良く認識することができる食材調理操作認識システム及び食材調理操作認識プログラムを提供することである。
【発明を解決するための手段】
【０００５】
本発明による食材調理操作認識システムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする。
【発明の効果】
【０００６】
この構成によれば、センシング手段により取得された調理操作を行なっている調理者の手元の画像とその調理操作によって生じる環境音とを基に、調理者が調理をしている食材及びその食材に対する調理操作の観測確信度が算出され、この観測確信度を基に、調理フローが作成される。そして、テンプレート確信度と観測確信度とを基に、調理フローを構成する各オブジェクトに対する一次確信度が算出される。そして、この適合度と一次確信度とを基に、最終確信度が算出され、センシング手段により取得された画像の食材及びその食材に対する調理操作が認識される。
【０００７】
すなわち、テンプレート確信度が記憶された特徴量テンプレートを基に、調理操作及び食材を認識しているため、食材及び調理操作を精度良く推定することができる。
【発明を実施するための最良の形態】
【０００８】
図１は本発明の実施の形態による食材調理操作認識システムの全体構成図を示し、（ａ）は側面視における全体構成図を示し、（ｂ）は正面視における全体構成図を示している。図１に示す食材調理操作認識システムは、光学カメラ１０、サーマルカメラ２０、マイク３０、表示装置４０、スピーカ５０、ＲＦＩＤタグリーダ６０及び図略のデータ処理装置を備えている。光学カメラ１０は、公知の動画カメラから構成され、調理台の上方に取り付けられ、調理台において調理操作を行っている調理者の手元を撮影し、動画像である光学画像を取得する。
【０００９】
サーマルカメラ２０は、調理台の上方に取り付けられ、調理操作を行っている調理者の手元を撮影し、動画像である温度画像を取得する。
【００１０】
マイク３０は、調理台の上面の近傍に取り付けられ、調理に起因して生じる環境音を取得する。表示装置４０は、液晶パネル、プラズマパネル、ＣＲＴ等から構成され、調理レシピを調理者に案内するための種々の画像を表示する。スピーカ５０は、調理レシピを調理者に案内するための種々の音声を出力する。ＲＦＩＤタグリーダ６０は、各食材に取り付けられたＲＦＩＤタグから、そのＲＦＩＤタグに記憶された食材データを読み出す。食材データとしては、ＲＦＩＤタグが取り付けられた食材の名称を示すデータが含まれる。
【００１１】
図２は、本食材調理操作認識システムの機能ブロック図を示している。本食材調理操作認識システムは、データ処理部１００及びセンシング部２００を備えている。データ処理部１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びハードディスク等から構成され、レシピデータベース１０１、抽出部１０２、食材データベース１０３、調理物データベース１０４、調理操作データベース１０５、特徴量テンプレート作成部１０６、特徴量テンプレート記憶部１０７、調理フローデータベース１０８、レシピ別特徴量テンプレート記憶部１０９、認識処理部１１０、及びガイダンス部１１１の機能を備えている。
【００１２】
これらの機能は、ＣＰＵがＲＯＭに記憶された食材調理操作認識プログラムを実行することで実現される。
【００１３】
レシピデータベース１０１は、種々の料理に対する調理レシピを示す調理レシピデータを記憶している。この調理レシピデータは、テキストデータであり、各料理に用いられる食材の名称を示す食材データ、及び切る、煮る、焼く等の各食材に対して行われる調理操作データが含まれる。
【００１４】
抽出部１０２は、レシピデータベース１０１に記憶されている全調理レシピデータに使用される食材及びその食材に対する調理操作を抽出する。
【００１５】
食材データベース１０３は図３（ａ）に示す食材テーブルＴ１を記憶し、調理物データベース１０４は図３（ｂ）に示す調理物テーブルＴ２を記憶し、調理操作データベース１０５は図３（ｃ）に示す調理操作テーブルＴ３を記憶している。
【００１６】
図３（ａ）に示す食材テーブルＴ１は、食材名、色、形、及びサイズ等のフィールドを備える食材レコードから構成され、各食材に対する色、形、サイズ等を記憶する。食材名のフィールドには、食材の名称を示すデータが記憶されている。色のフィールドには食材の色に関するデータが記憶されている。ここでは、食材の外の色に関するデータのみならず内部の色に関するデータも記憶されている。例えば、リンゴは表皮が赤色であり、中身が白色であるため、色のフィールドには、「外（△）；赤、［内；白］」のデータが記憶されている。ここで、「△」の記号は予め定められた確信度であるテンプレート確信度を示している。また、トマトは表皮が赤で中身も赤であるため、色のフィールドには、「外；赤（×）、［内；赤］」のデータが記憶されている。
【００１７】
形のフィールドには、食材の外観形状を示すデータが格納されている。リンゴ及びトマトは円形であり、大根は長円形であるため、各々の形のフィールドには、「丸」、「丸」、「長円形」のデータが記憶されている。
【００１８】
図３（ｂ）に示す調理物テーブルＴ２は、調理操作、形状の変化及び色等のフィールドを備える調理物レコードから構成され、各調理操作による食材の形状の変化及び色の変化を記憶する。調理操作のフィールドには、調理操作の名称を示すデータが記憶されている。調理操作としては、微塵切り、輪切り、４切り、千切り、剥く、焼く、煮るが存在する。なお、ここで、列挙した調理操作は一例であり、他の調理操作を含ませても良いし、一部の調理操作を省いても良い。
【００１９】
形状の変化のフィールドには、対応する調理操作により変化する食材の形状を示すデータが記憶されている。例えば、微塵切りの場合、食材は大きい状態から小さい状態へ変化し、１個の状態から多数の破片の状態へと変化するため、微塵切りに対する形状の変化のフィールドには「大→小、少→多い」が記憶されている。色のフィールドには、対応する調理操作により変化する食材の色を示すデータが記憶されている。例えば、微塵切りされた食材は中身の色が主に現れることになるため、微塵切りに対する色のフィールドには「外→内」が記憶されている。また、輪切りにされた食材は外観の色と中身の色との両方が主に現れるため、輪切りに対する色のフィールドには、「外→外＋内」が記憶されている。
【００２０】
図３（ｃ）に示す調理操作テーブルＴ３は、調理操作、音、及び手の動き等のフィールドを備える調理操作レコードから構成され、各調理操作により生じる環境音、及び手の動き等を記憶している。調理操作のフィールドには、調理物テーブルＴ２と同様に調理操作の名称を示すデータが記憶されている。音のフィールドには、各調理操作により生じる環境音のデータが記憶されている。
【００２１】
食材テーブルＴ１〜調理操作テーブルＴ３は予め作成されたものであり、各フィールドが記憶するテンプレート確信度も予め定められたものである。なお、確信度は推定される食材及び調理操作の推定の確からしさを示す数値であり、確信度が高いほど、推定した食材及び調理操作が、調理者が実際に調理している食材及び調理操作に近くなる。
【００２２】
図３（ａ）〜（ｃ）に示す各テーブルには、テンプレート確信度が◎、○、△、×の記号で表されている。図３（ｄ）に示すように◎はテンプレート確信度が０．８〜１．０の値域に属していることを示し、○はテンプレート確信度が０．５〜０．８の値域に属していることを示し、△はテンプレート確信度が０．２〜０．５の値域に属していることを示し、×は確信度が０．０〜０．２の値域に属していることを示している。
【００２３】
図２に示す特徴量テンプレート作成部１０６は、抽出部１０２により抽出された食材を各列の項目とし、調理操作を各行の項目とするテーブルである特徴量テンプレートのフレームを作成する。また、特徴量テンプレート作成部１０６は、抽出部１０２により調理レシピ毎に抽出された食材を各列の項目とし、調理操作を各行の項目とするテーブルであるレシピ別特徴量テンプレートのフレームを作成する。
【００２４】
更に、特徴量テンプレート作成部１０６は、食材テーブルＴ１、調理物テーブルＴ２、及び調理操作テーブルＴ３の各フィールドに記憶されたテンプレート確信度を基に、特徴量テンプレート及びレシピ別特徴量テンプレートの各フィールドにテンプレート確信度を書き込み、特徴量テンプレート記憶部１０７及びレシピ別特徴量テンプレート記憶部１０９に記憶させる。
【００２５】
特徴量テンプレート記憶部１０７は、特徴量テンプレート作成部１０６により作成された特徴量テンプレートを記憶する。調理フローデータベース１０８は、種々の料理に対する調理レシピの調理工程を順序立てて示す調理フローを記憶している。図９及び図１０は、調理フローデータベース１０８が記憶する調理フローを示した図面であり、図９（ａ）は肉じゃがに対する調理フローを示し、図９（ｂ）はハンバーグに対する調理フローを示し、図１０（ａ）はビーフカレーに対する調理フローを示し、図１０（ｂ）は野菜炒めに対する調理フローを示している。図９及び図１０において、長円で示すオブジェクトは食材を示し、四角で示すオブジェクトは調理操作を示し、上方の階層に表されたオブジェクトほど、調理工程が最終工程に近いオブジェクトを示している。また、長円の中に文字が記載されていないオブジェクトは、その一つ下の階層のオブジェクトが示す調理操作が施された食材を示している。
【００２６】
図９（ａ）に示す肉じゃがの場合では、牛肉は「切る・剥く」という調理操作がなされた後、「炒める・焼く」という調理操作がなされる。そして、「切る・剥く」の調理操作がなされたタマネギと一緒に「炒める・焼く」という調理操作がなされる。その後、「炒める・焼く」という調理操作がなされたタマネギ及び牛肉は、「切る・剥く」という調理操作がなされたジャガイモと「炒める・焼く」という調理操作がなされた後、「煮る・茹でる」という調理操作がなされる。これにより、目的物である肉じゃがが完成される。
【００２７】
認識処理部１１０は、センシング部２００から出力された観測データを基に、フローマッチング等の処理を行い現在調理者が調理している料理の調理レシピを推定すると共に、現在調理者が調理している食材及び調理操作を認識する。なお、フローマッチングは公知であり、その詳細は公知文献１「The Tree-to-Tree Correction Problem (KUO-CHUNG TAI):Journal of the Association for Computong Machinery, Vol 26.No 3,July 1979.pp 422-433」に開示されている。
【００２８】
なお、認識処理部１１０は、調理フロー作成手段、一次確信度算出手段、適合度算出手段、及び調理操作認識手段に相当する。
【００２９】
ガイダンス部１１１は、認識処理部１１０により推定された調理レシピに対して予め記憶された音声データ及び画像データをスピーカ５０及び表示装置４０から出力し、調理者に対して調理レシピを案内する。ここで、ガイダンス部１１１は、現在ユーザが調理している調理工程に対するガイダンスを行う。
【００３０】
センシング部２００は、図１に示すサーマルカメラ２０、光学カメラ１０、マイク３０、ＲＦＩＤリーダ６０から構成され、サーマルカメラ２０により撮影された温度画像、光学カメラ１０により撮影された光学画像、マイク３０により取得された環境音、及びＲＦＩＤタグリーダ６０により読み出された食材データを観測データとして、認識処理部１１０に出力する。
【００３１】
図４は特徴量テンプレートＴ４のデータ構造を示す図面である。特徴量テンプレートＴ４は、食材名、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るのフィールドを備える特徴量レコードから構成されている。図４の例では、抽出部１０２により抽出された調理操作が、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るであるため、特徴量テンプレートＴ４にはこれらのフィールドが作成されている。従って、抽出部１０２によりこれら以外の調理操作が抽出された場合は、その調理操作のフィールドが特徴量テンプレートＴ４に含まれることとなる。なお、特徴量テンプレートＴ４の各フィールドに記載した語句はテンプレート確信度が、どのデータに由来して決定されたかを示すために便宜上記されたものであり、実際にはテンプレート確信度のみが記憶され、図示する語句に関するデータは記憶されない。
【００３２】
食材名のフィールドには、抽出部１０２により抽出された食材の名称が記憶されている。なお、特徴量テンプレートＴ４の作成処理については後述する。
【００３３】
図５は、焼きリンゴとトマトの調理レシピに対するレシピ別特徴量テンプレートＴ５と、サラダと大根煮物との調理レシピに対するレシピ別特徴量テンプレートＴ６のデータ構造を示している。レシピ別特徴量テンプレートＴ５は食材名、切る、剥く、焼く、及び煮るのフィールドを備える。切る、剥く、焼く、及び煮るは、特徴量テンプレートＴ４に含まれる調理操作であって、焼きリンゴとトマトの調理レシピに含まれる調理操作である。
【００３４】
レシピ別特徴量テンプレートＴ６は、食材名、切る、剥く、焼く、及び煮るのフィールドを備えている。切る、剥く、焼く、及び煮るは、特徴量テンプレートＴ４に含まれる調理操作であって、サラダと大根煮物の調理操作である。
【００３５】
次に、図６に示すフローチャート及び図７に示すテーブルの遷移図を用いて、特徴量テンプレートの作成処理について説明する。まず、ステップＳ１において、抽出部１０２は、レシピデータベース１０１に記憶されている全調理レシピに含まれる全調理操作及び全食材を抽出する。
【００３６】
ステップＳ２において、特徴量テンプレート作成部１０６は、ステップＳ１により抽出された食材と調理操作とを項目として備えるテーブルである特徴量テンプレートのフレームを作成する。図７の特徴量テンプレートＴ４の場合、レシピデータベース１０１には、微塵切り、輪切り、４切り、千切り、剥く、焼く、及び煮るが調理操作データとして含まれていたため、これらの調理操作が各列の項目とされ、リンゴ、トマト、大根等が食材として含まれているため、これらの食材名が各行の項目とされている。
【００３７】
ステップＳ３において、特徴量テンプレート作成部１０６は、食材テーブルＴ１、調理物テーブルＴ２、及び調理操作テーブルＴ３の各フィールドに記憶されたテンプレート確信度に従って、特徴量テンプレートＴ４の各フィールドにテンプレート確信度を書き込んでいく。
【００３８】
具体的には以下のようにしてテンプレート確信度を書き込んでいく。図７に示す特徴量テンプレートＴ４のリンゴに対する輪切りのフィールドＦＩ１を例に挙げて説明する。フィールドＦＩ１に対応する食材名はリンゴであるため、食材テーブルＴ１からリンゴが記憶された食材レコードＲ１を抽出する。また、フィールドＦＩ１に対応する調理操作は輪切りであるため、調理物テーブルＴ２及び調理操作テーブルＴ３から輪切りが記憶された調理物レコードＲ２及び調理操作レコードＲ３を抽出する。
【００３９】
食材レコードＲ１を構成する各フィールドに格納されたテンプレート確信度のうち最大のテンプレート確信度は「△」である。また、調理物レコードＲ２を構成する各フィールドに格納されたテンプレート確信度のうち、最大のテンプレート確信度は「○」である。更に、調理操作レコードＲ３を構成する各フィールドに格納されたテンプレート確信度のうち、最大のテンプレート確信度は「△」である。従って、食材レコードＲ１、調理物レコードＲ２、及び調理操作レコードＲ３の各フィールドに格納されたテンプレート確信度のうち最大のテンプレート確信度は「○」となる。そのため、特徴量テンプレートＴ４のフィールドＦＩ１には「○」のテンプレート確信度が書き込まれる。
【００４０】
このようにして特徴量テンプレートＴ４の各フィールドにテンプレート確信度が書き込まれ、特徴量テンプレートＴ４が作成される。作成された特徴量テンプレートＴ４は特徴量テンプレート記憶部１０７に記憶される。なお、レシピ別特徴量テンプレートも同様に作成される。
【００４１】
次に、図８に示すフローチャートに従って、本食材調理操作認識システムの動作について説明する。まず、ステップＳ１１において、センシング部２００は、観測データを取得し、データ処理部１００に送信する。ステップＳ１２において、認識処理部１１０は、サーマルカメラ２０により撮影された温度画像、光学カメラ１０により撮影された光学画像、及びマイク３０により取得された環境音に対して、食材・調理操作決定処理を実行し、現在調理者が調理している食材及びその食材に対する調理操作を決定すると共に、決定した食材に対する確信度及び決定した調理操作に対する確信度である観測確信度を算出する。なお、食材・調理操作決定処理の詳細については、図１２に示すフローチャートを用いて後述する。
【００４２】
ステップＳ１３において、認識処理部１１０は、ステップＳ１２により決定された食材及び調理操作を用いて、調理が開始されてから現在に至るまで調理者が行った調理手順を示す調理フローを作成する。
【００４３】
この場合、図１１（ａ）に示すような調理フローが作成される。この調理フローでは、食材として、ジャガイモ、タマネギ、及び牛肉が使用され、これらの食材に対して「切る」、「炒める」、「煮る」等の調理操作がなされた調理フローが作成されていることが分かる。
【００４４】
図８に示すステップＳ１４において、認識処理部１１０は、ステップＳ１２により得られた調理操作及び食材の観測確信度と、特徴量テンプレートＴ４に記憶された対応するフィールドに格納されたテンプレート確信度とを乗じ、調理フローを構成する各オブジェクトに対する確信度である一次確信度（＝テンプレート確信度×観測確信度）を算出する。
【００４５】
具体例として、図１１（ａ）に示す調理フローにおいて、オブジェクトＯ１に対する一次確信度Ｃ１、オブジェクトＯ２に対する一次確信度Ｃ２を算出する場合を示す。
【００４６】
ここで、説明の便宜上、図１１（ａ）に示す調理フローにおいて、オブジェクトＯ１をじゃがいもに代えてリンゴとし、オブジェクトＯ２を切るに代えて輪切りとする。また、図４に示す特徴量テンプレートＴ４のリンゴに対する輪切りのテンプレート確信度をＡ１とする。
【００４７】
そして、ステップＳ１２によりリンゴに対する観測確信度がＢ１、輪切りに対する観測確信度がＢ２と算出されたとする。そうすると、オブジェクトＯ１に対する一次確信度Ｃ１は、Ｃ１＝Ｂ１×Ａ１により算出され、オブジェクトＯ２に対する一次確信度Ｃ２は、Ｃ２＝Ｂ２×Ａ１により算出される。
【００４８】
ステップＳ１５において、認識処理部１１０は、ステップＳ１３により作成された調理フローと調理フローデータベース１０８に記憶された各調理フローとに対してフローマッチングを行い、調理者が現在調理している料理が調理フローデータベース１０８に記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する。なお、フローマッチングによる適合度の算出については、上記公知文献１に開示されている。
【００４９】
図１１は、フローマッチングを説明する図面であり、（ａ）は作成される調理フローを示し、（ｂ）は調理フローデータベース１０８に予め記憶された調理フローを示している。図１１（ｂ）の例では、調理フローデータベース１０８には、肉じゃがの調理フローＦ１、カレーの調理フローＦ２、野菜炒めの調理フローＦ３、及びオムレツの調理フローＦ４が予め記憶されているものとする。
【００５０】
図１１（ａ）に示す調理フローは、図８に示すフローチャートが繰り返し実行されるにつれて、下方から上方に向けてオブジェクトが完成されていく。なお、最下層の調理操作であるじゃがいも、タマネギ、及び牛肉に対する「切る」という調理操作は、同時に行われるものではないが、各食材に対して最初に行われる調理操作であるため、この「切る」を示すオブジェクトは同じ階層で表されている。
【００５１】
そして、認識処理部１１０は、図１１（ｂ）に示す肉じゃが〜オムレツの調理フローＦ１〜Ｆ４の各々に対する（ａ）に示す調理フローの適合度を算出する。図１１（ｂ）の例では、肉じゃが、カレー、野菜炒め、オムレツの調理フローＦ１〜Ｆ４に対する適合度は０．８、０．７、０．４、０．２とそれぞれ算出されている。そして、認識処理部１１０は、適合度が規定値（例えば０．５）未満の野菜炒め及びオムレツの調理フローＦ３及びＦ４を次回のフローマッチングにおけるマッチング対象から削除する。すなわち、次回のフローマッチングにおいて、野菜炒め及びオムレツの調理フローＦ３及びＦ４に対する適合度は算出されない。これにより、フローマッチングの処理の高速化が図られている。
【００５２】
ステップＳ１６において、特徴量テンプレート作成部１０６は、ステップＳ１４により算出された各一次確信度に対して、ステップＳ１５により算出された各調理フローに対する適合度から適合度の代表値（例えば平均値）を求め、代表値を各一次確信度に乗じ、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、特徴量テンプレートＴ４の対応するフィールドに書き込み、特徴量テンプレートＴ４を更新する。
【００５３】
ステップＳ１６の処理をステップＳ１４で示した具体例を用いて説明すると、一次確信度Ｃ１及びＣ２に対し、図１１（ｂ）に示す肉じゃがの代表値を乗じ、最終確信度Ｄ１及びＤ２を求める。そして、求めた最終確信度Ｄ１及びＤ２を特徴量テンプレートＴ４のじゃがいもに対する輪切りのフィールドに書き込み、特徴量テンプレートＴ４を更新する。
【００５４】
ステップＳ１７において、特徴量テンプレート作成部１０６は、ステップＳ１４により算出された各一次確信度に対して、ステップＳ１５により算出された各調理フローに対する適合度の各々を乗じ、調理レシピ別の最終確信度を算出し、算出した調理レシピ別の最終確信度を対応する調理レシピ別テンプレートの対応するフィールドにテンプレート確信度として書き込み、調理レシピ別テンプレートを更新する。
【００５５】
具体例として図１１を用いて肉じゃがを例に挙げて説明すると、肉じゃがの適合度は０．８と算出されている。そして、この０．８を図１１（ａ）に示す調理フローの各オブジェクトが有する一次確信度に乗じ、最終確信度を算出する。そして、算出した最終確信度を肉じゃがのレシピ別特徴量テンプレートのじゃがいもに対する輪切りのフィールドに書き込み、肉じゃがのレシピ別特徴量テンプレートを更新する。
【００５６】
図８に示すステップＳ１８において、認識処理部１１０は、更新した特徴量テンプレートＴ４及びレシピ別テンプレートを参照し、調理レシピを推定することができると共に、センシング部２０で取得された観測データに対する食材及び調理操作を認識することができた場合（Ｓ１８でＹＥＳ）、処理を終了する。
【００５７】
一方、ステップＳ１８において、調理レシピを推定することができないと共に、食材及び調理操作を認識することができなかった場合（Ｓ１８でＮＯ）、処理がステップＳ１１に戻され、引き続き、ステップＳ１２以降の処理が行なわれる。
【００５８】
ここで、認識処理部１１０は、レシピ別特徴量テンプレート或いは特徴量テンプレートのあるフィールドが記憶するテンプレート確信度が他のフィールドが記憶するテンプレート確信度に比べて一定の値以上大きくなったとき、当該フィールドに対応する食材及び調理操作を、センシング部２０により取得された観測データに対する食材及び調理操作として認識する。また、ステップＳ１５により算出された適合度が一定の値以上の調理フローに対する調理レシピを現在調理者が調理している料理の調理レシピとして認識する。
【００５９】
上述したように図１１（ａ）に示す調理フローは、図８に示すフローチャートが繰り返し実行されるにつれて、完成されていくものである。そのため、調理者が調理フローデータベース１０８に記憶された調理レシピのうちいずれかの調理レシピに対する料理を調理している場合、図１１（ａ）に示す調理フローは、調理フローデータベース１０８に記憶された調理フローのうち、いずれか１の調理フローに近づいていく。すなわち、調理フローデータベース１０８に記憶された特定の調理フローの適合度が他の調理フローの適合度に対して増大していく。また、それに伴って、適合度が増大した調理フローに対するレシピ別特徴量テンプレートの特定のフィールドにおけるテンプレート確信度が増大していく。これにより、食材及び調理操作を認識することが可能となる。
【００６０】
図１２は、観測フローのノード数とエディットディスタンスとの関係を示したグラフであり、縦軸はエディットディスタンスを示し横軸は観測フローのノード数を示している。ここで、観測フローとは、センシング部２００により取得された観測データに従って作成された調理フローを示し、観測フローのノード数とは、図１１（ａ）に示すオブジェクトの数を示し、エディットディスタンスとは、観測フローと調理フローとの近似の程度を示す数値である。例えば、現在調理者により肉じゃがが調理されている場合、センシング部２００により取得された観測データから作成された調理フローと、調理フローデータベース１０８に記憶された肉じゃがの調理フローとの適合度が高いほどエディットディスタンスの値は小さくなる。
【００６１】
図１２では、肉じゃが、ビーフカレー、ビーフカレー２、野菜炒め、及びハンバーグのグラフが示されている。ハンバーグを除くいずれのグラフにおいても、ノード数が増大するにつれて、エディットディスタンスが減少していることが分かる。従って、図８に示すフローチャートを繰り返し実行するにつれて、調理フローデータベースに記憶された調理フローのうち、特定の調理フローに対する適応度が増大する結果、調理者が現在調理している料理に対する調理レシピを特定することができる。
【００６２】
次に、図８のステップＳ１２に示す食材・調理操作決定処理の詳細について図１３に示すフローチャートに従って説明する。以下の処理は認識処理部１１０により行われる。まず、ステップＳ２１において、光学カメラ１０により撮影された光学画像と、サーマルカメラ２０により撮影された温度画像との両画像から背景領域を除去する。
【００６３】
ここで、光学画像に対しては、公知の背景差分処理により背景領域を除去する。また、温度画像に対しては、ｉフレーム目の温度画像に対し、メディアンフィルタを適用して、ある温度が規定値より低い画素が一定の大きさ以上連続して存在する領域REGIONｉを抽出し、この領域を食材領域とする。そして、ｉ＋１フレーム目の温度画像に対しても同様にして領域REGIONｉ＋１を抽出し、抽出した領域を追跡することで食材領域を抽出し、食材領域以外の領域を背景領域として除去する。なお、REGIONｉに対するREGIONｉ＋１の移動距離が規定値以上の場合は、移動距離が大き過ぎるため、食材領域を追跡するのは不適切であると判断し、食材領域を抽出しない。
【００６４】
ここで、背景領域は、温度画像及び光学画像において、抽出された背景領域の各画素の値が所定の低階調の値（例えば０）とされることで除去される。また、食材領域に対しては構成する画素の値に所定のオフセット値が加算される。
【００６５】
この場合、図１４（ａ）に示す光学画像に含まれる手及びタマネギ以外の領域が、図１４（ｂ）に示すように黒で表示され、光学画像から背景領域が除去されていることが分かる。また、図１４（ｃ）に示す温度画像に含まれるタマネギ以外の領域が、図１４（ｄ）に示すように背景領域として黒で表示され、温度画像から背景領域が除去されていることが分かる。
【００６６】
ステップＳ２２において、ステップＳ２１により抽出された両背景画像に対し、膨張処理が施された後、圧縮処理が施され、背景画像に含まれる小さな穴や島等のノイズが除去される。
【００６７】
ステップＳ２３において、温度画像と光学画像との座標系を合わせるための座標変換が実行され、ステップＳ２４において、背景領域が除去された温度画像と光学画像とが乗算され、規定値よりも大きな画素データが一定の個数（面積）以上連続して存在している領域が食材領域として抽出される。
【００６８】
この場合、図１４（ｅ）に示すような食材領域が抽出される。なお、図１４（ｄ）に示す背景領域には、図１４（ｂ）に示す背景領域よりも、多くのノイズが含まれていることが分かる。一方、図１４（ｄ）ではタマネギのみが抽出されているが、図１４（ｂ）ではタマネギに加えて手が抽出されていることが分かる。
【００６９】
従って、両画像を乗算することにより、温度画像及び光学画像のうち、いずれか一方の画像にのみ現れたノイズを示す画素の値は小さくなり、除去される結果、食材領域をより正確に抽出することができる。
【００７０】
ステップＳ２５において、ステップＳ２４により乗算された画像が食材領域毎に分割される。ここで、ステップＳ２４により抽出された食材領域が複数存在する場合は、各食材領域の面積よりも多少大きな面積を有する矩形上のフレームが各食材領域に当てはめられ、上記乗算された画像が食材画像に分割される。
【００７１】
ステップＳ２６において、各食材画像と後述する色特徴テンプレートとのテンプレートマッチングが実行され、各食材画像が示す食材を特定する。この色特徴テンプレートは食材毎に存在し、図略のメモリに予め記憶されている。
【００７２】
具体的には、食材が初めて光学カメラ１０及びサーマルカメラ２０に現れたフレームから、所定フレーム数（FRAMEstartafterCook）分のフレームのうち、手の領域が食材領域に接した状態から離れた状態になるまでの各フレームに対する食材領域の色相のヒストグラムの平均値をHbeforeCook、彩度のヒストグラムの平均値をSbeforeCookとして求める。
【００７３】
また、手の領域が食材領域と接しない状態が所定フレーム数（FRAMEendafterCook）以上あった場合、調理操作が終了したと判定する。このようにして調理操作の終了が判定されているため、調理操作の一時的な操作ブランクを調理操作の終了として判定することを防止することができる。
【００７４】
そして、調理操作が終了してから、FRAMEstartAfterCook分のフレームのうち残りの各フレームの色相のヒストグラムの平均値をHafterCook、彩度のヒストグラムの平均値をSafterCookとして求める。
【００７５】
ここで、HbeforeCookを調理操作前の色相の色特徴と呼び、SbeforeCookを調理操作前の彩度の色特徴と呼び、HafterCookを調理操作後の色相の色特徴と呼び、SafterCookを調理操作後の色相の色特徴と呼ぶことにする。また、HbeforeCook、SbeforeCook、HafterCook、SafterCookを纏めて色特徴と呼ぶことにする。
【００７６】
次に、各食材に対して予め定められた調理操作前の色相の色特徴テンプレートをHbefore(food)、調理操作後の色相の色特徴テンプレートをHafter(food)、調理操作前の彩度の色特徴テンプレートをSbefore(food)、調理操作後の彩度の色特徴テンプレートをSafter(food)とし、調理操作前の色相の色特徴テンプレートと、調理操作前の色相の色特徴との距離DbeforeHue(food)を式（１）を用いて求める。なお、括弧内に示すfoodは食材を示す引数である。なお、Hbefore(food)、Hafter(food)、Sbefore(food)、Safter(food)を纏めて色特徴テンプレートと呼ぶことにする。
DbeforeHue(food)=root((HbeforeCook-Hbefore(food)t(HbeforeCook-Hbefore(food))  （１）
【００７７】
また、調理操作前の彩度の色特徴テンプレートと、調理操作前の彩度の色特徴との距離Dbefore(food)を式（２）を用いて求める。ここで、root((A-B)t(A-B))は、ベクトルＡとベクトルＢとのユークリッド距離を示す。
DbeforeSat(food)=root((SbeforeCook-Sbefore(food)t(SbeforeCook-Sbefore(food))  （２）
【００７８】
そして、調理操作前の色相の距離と調理操作前の彩度の距離とを重み付けして加算し、調理操作前の各食材に対する色特徴と色特徴テンプレートとの距離Dbefore(food)を求める。この算出式は式（３）により表される。
Dbefore(food)=wDbeforeHue(food)+(1-w)DbeforeSat(food)      （３）
【００７９】
同様に調理操作後の色特徴と色特徴テンプレートとの距離について、Dafter(food)を算出し、Dbefore(food)とDafter(food)とを加算して色特徴変化距離McolorConstraint(food)を求める。ｗは重み係数である。
McolorConstraint(food)=Dbefore(food)+Dafter(food)      （４）
そして、色特徴変化距離が最小の食材を食材画像が示す食材として決定する。
【００８０】
ステップＳ２６の処理を要約すると、例えばセンシング部２００によりタマネギ、じゃがいも、にんじんの食材データが取得されたとする。そして、ある食材画像において、タマネギの色特徴テンプレート、じゃがいもの色特徴テンプレート、及びにんじんの色特徴テンプレートに対する色特徴変化距離がこの順序で高い場合、この食材画像に含まれる食材領域は、にんじんを表していると判定される。
【００８１】
図１５及び図１６は、時間の経過によるピーマン及びカボチャの色相、彩度、及び領域サイズの変化を示したグラフである。図１５及び図１６において（ａ）は色相を示し、（ｂ）は彩度を示し、（ｃ）は領域サイズを示している。Secondは食材が観測領域に現れてからの経過時間（秒）を示している。色相・彩度はそれぞれ１２段階のヒストグラムを算出し、それをプロットしたときの等高線を、値が顕著に現れた部分（色相は０〜５、彩度は０〜１０）のみ切り出して掲載している。
【００８２】
まず、色相・彩度に注目すると、始めはピーマンとカボチャとは似たヒストグラムを示しているが、切ることにより食材の内部の色が現れはじめると、特にカボチャの色が大きく変化し、両者の間に明らかな差が生じることが分かる。また、ピーマンは細かく切られるため画面に写される面が増え、サイズが大きく増加するが、カボチャは粗く切るため面がそれほど増えず、サイズが変わらないことが分かる。
【００８３】
図１７は、調理操作前後におけるリンゴとトマトとの色相及び彩度のヒストグラムを示したグラフであり、（ａ）は調理操作前の色相のヒストグラムを示し、（ｂ）は調理操作前の彩度のヒストグラムを示し、（ｃ）は調理操作後の色相のヒストグラムを示し、（ｄ）は調理操作後の彩度のヒストグラムを示している。図１７において、実線はリンゴを示し、点線はトマトを示している。
【００８４】
リンゴ及びトマトは共に表面が赤色であるため、（ａ）及び（ｂ）に示すように調理操作前において、リンゴとトマトとのグラフは近似していることが分かる。一方、リンゴは皮が剥かれると白色となり、トマトは切られても赤色のままであるため、（ｃ）及び（ｄ）に示すように、リンゴとトマトとのグラフは大きく相違していることが分かる。つまり、調理操作後に赤い物体が白色に変化した場合、この赤い物体はトマトよりもリンゴに近いと言える。
【００８５】
また、調理操作前のトマト及び赤ピーマンは共に赤色であり特徴は似ているが、トマトは輪切りにされることがあっても微塵切りにされることがないという情報を調理レシピから得ることができれば、赤い物体が微塵切りにされたという結果が得られた場合、その食材は赤ピーマンである可能性が高いと推定することができる。
【００８６】
次に、上記色特徴としてＲＧＢ表色系ではなくＨＳＶ表色系を用いた理由を説明する。ＲＧＢ表色系は光の三原色を用いて種々の色を再現する方式である。一方、ＨＳＶ表色系は、光の物理量との関係づけは困難であるが、人間の感覚が再現された表色系と言われている。そのため、画像認識では、ＨＳＶ表色系がしばしば採用されている。また、上記色特徴として色相及び彩度を用い、明度は用いられていない。これは、主に物体の影を表現する明度を用いなくとも、色相及び彩度から物体そのものの色（すなわち、拡散反射光による色）を取り出すことが可能であるからである。
【００８７】
次に、形状特徴によるテンプレートマッチングではなく、色特徴によるテンプレートマッチングを採用したことによる利点を説明する。一般的に、テンプレートマッチングでは、円形度等の形状特徴やテクスチャ特徴が用いられるケースが多い。しかしながら、食材は調理される際、手で触られるケースが多いため、形状特徴特徴によるテンプレートマッチングを使用することはできない。
【００８８】
また、テクスチャ特徴は、物体表面のざらつき、柄等をエッジ、周波数等で評価するものである。そのため、（１）テクスチャ特徴を得るためにはある程度高い解像度と観測範囲が必要となるが、これらを確保することは容易ではない。（２）また、ざらつきは画像において影として現れるため光の当て方に依存するが、実環境下では常に均質の照明環境を保つことが困難である。（３）更に、同一名称の食材だからといって、必ずしも同一の表面特性を持っているとは限らず、食材個別間で柄や質感が異なるため、特徴量の再現性に乏しい。これらの理由により形状特徴やテクスチャ特徴を用いるよりも色特徴によるテンプレートマッチングを用いることが好ましい。
【００８９】
図１３に示すステップＳ２７において、センシング部２００により取得された環境音から、調理操作を推定する。具体的には、環境音から食材がまな板の上で切られる際に生じる衝突音の発生回数をカウントし、式（５）〜（７）を用い、衝突回数cutが剥くに対してどれほど近いかを示す距離Dcook（peel,cut）、衝突回数cutが微塵切りに対してどれほど近いかを示す距離Dcook(rect,cut)、及び衝突回数cutが４切り、輪切り千切りを含むぶつ切りに対してどれほど近いかを示す距離Dcook(chop,cut)を求め、距離が最小となる調理操作を現在調理者が行っている調理操作として決定する。
Dcook(peel,cut)=|cut-AVERAGEpeel|/σpeel      （５）
Dcook(chop,cut)=|cut-AVERAGEchop|/σchop      （６）
Dcook(rect,cut)=|cut-AVERAGErect|/σrect      （７）
但し、AVERAGEpeel、AVERAGEchop、AVERAGErectは予め行われた実験により得られた実験データの平均値であり、σpeel、σchop、σrectは予め行われた実験による実験データの標準偏差である。
【００９０】
ステップＳ２８において、レシピデータベース１０１に記憶された調理レシピに存在する食材と調理操作との組み合わせを抽出し、式（８）を用いて各foodと画像中の食材との調理操作距離McookConstraint(food)を求める。
McookConstraint(food)=min{Dcook(act,cut)|COOK(act,food)=1}      （８）
【００９１】
ここで、COOK(act,food)は、レシピデータベース１０１に記憶された調理レシピにおいて、食材と調理操作との組み合わせが存在する場合は１とされ、食材と調理レシピとの組み合わせが存在しない場合は０とされる。McookConstraint(food)は、式（８）にmin{A}はＡの最小値を示す。したがって、Dcook(act,food)の最小値がMcookConstraint(food)となる。そして、このMcookConstraint(food)に示すfoodが調理者が調理をしている食材として決定される。
【００９２】
なお、McookConstraint(food)はその値が小さいほど、実際の食材foodに可能な調理操作が加えられており、食材を正確に認識できた可能性が高い。
【００９３】
ステップＳ２９において、McookConstraint(food)と、式（４）で求めたMcolorConstraint(food)とを加算し（式（９））、Mconstraint(food)を算出し、１- Mconstraint(food)をステップＳ２８により決定された食材の確信度として算出する。
Mconstraint(food)=McolorConstraint(food)+McookConstraint(food)  （９）
【００９４】
ステップＳ３０において、式（１０）〜式（１２）の演算を実行し、これらの式のうち算出された演算結果が最小である式が示す調理操作を調理者が行っている調理操作として決定する。
Mcook(peel,cut)=Dcook(peel,cut)×MINpeel      （１０）
Mcook(chop,cut)=Dcook(peel,cut)×MINchop      （１１）
Mcook(peel,rect)=Dcook(peel,cut)×MINrect      （１２）
但し、
MINpeel=min{Mconstraint(food)|COOK(peel,food)=1}
MINchop=min{Mconstraint(food)|COOK(chop,food)=1}
MINrect=min{Mconstraint(food)|COOK(rect,food)=1}
【００９５】
ステップＳ３１において、式（１０）〜式（１２）のうち演算結果が最小の式の演算値を１からを差し引き、ステップＳ３０により算出された調理操作に対する確信度を算出する。
【００９６】
以上説明したように、本食材調理操作認識システムによれば、特徴量テンプレートＴ４自身がテンプレート確信度を記憶しており、カメラが各瞬間で確認している食材や調理結果が、どの程度信頼できる認識結果であるかが定義できている。一次確信度は、さらにフローマッチングのステップを経て除々に確実なものとして最終確信度になっていき、より高い認識結果が獲得できるようになる。
【００９７】
また、本食材調理操作認識システムでは、調理レシピを特定することも二次的な効果として得られるが、本食材調理操作認識システムの最大の効果は各瞬間のカメラやマイク等が対象としている食材や調理操作がどの程度確かなものであるかを判別できることである。
【００９８】
その結果、従来不十分であった高度なインタラクションをしかもリアルタイムで行なうことができるのである。つまり、従来から存在する各種センサを用いて人物の操作を認識することを目的とするシステムでは、各種センサによる認識には自ずと限界があり、また、コストとの関係で使用可能なセンサは有限であり、その能力も限度があることが課題となっている。
【００９９】
このような制約の下において、認識しようとしている対象の確信度が低い場合には、音声を中心に画像等も利用したユーザとのインタラクションによる支援が重要となる。ユーザにメニュー、調理レシピ、食材、及び調理操作の確認を促すことは、前述のセンサ性能をカバーする上で、また、本システムのユーザとの信頼関係を強化／構築する上で大切である。
【０１００】
具体的には、図１１（ｂ）において、適合度が異なる「肉じゃが」と「カレー」のレシピであっても、図１１（ａ）のオブジェクトＯ１が適合度の最も高い「肉じゃが」に対するものであるかは不明瞭であるが、一次確信度に適合度を乗じたものを確信度として求めることにより、どちらか一方、或いは両方の可能性が高いか否かを判別することができる。
【０１０１】
その判別結果に基づくインタラクションにより、例えば「今調理しているいもの種類は？」、或いは「今作っているレシピは、（カレーではなく）肉じゃがですよね」とかの口調を変えることが可能となる。もちろん、最終確信度が非常に高い値の食材や調理操作がある場合には、逆にユーザへのインタラクションとして積極的に「肉じゃがはカレーと違って、じっくりと煮込みすぎない方が美味しく調理できますよ」といったようなアドバイスが可能となる。また、両者の最終確信度が低い場合には、どちらとも確定できないために、インタラクションは控えるとか、或いはずばりレシピをユーザに尋ねるようなインタラクションとなる。以上の結果、従来と比して、全般的な状況に応じた確信度に基づく食材と調理操作の認識が各瞬間で高精度に行なうことが可能となるのである。
【０１０２】
本発明は以下の態様を採用することができる。
【０１０３】
（１）図１に示す表示装置４０は、プロジェクタ、ＩＨ調理器や調理台に込み込まれた表示装置であってもよい。
【０１０４】
（２）上記実施の形態ではサーマルカメラ２０を用いたが、これに代えて単眼の赤外線センサを用いても良い。この場合、光学カメラ１０との連携で温度範囲を推定して面積比で高温領域と低温領域との差を認識すればよい。但し、その場合には、人間の手を区別することは困難となるが、人間の手がカメラ画像内にあるか否かに関しては充分に認識することが可能であり、人間の手がカメラ像内にある画像フレームは無視するようにしてもよい。
【０１０５】
（３）図７に示す食材テーブル、調理物テーブル、及び調理操作テーブルが記憶するテンプレート確信度の値は、本システムの製造元等により予め算出された画像処理確信度を採用してもよい。また、特徴量テンプレートは、本システムが使用されるうちに獲得されたものを継続的に使用してもよい。これにより、ユーザ固有の信頼性の高いシステムを提供することも考えられる。
【０１０６】
（４）図１１（ｂ）に示す適合度が低い（例えば０．５以下）や不明の場合には、最終確信度は一次確信度と等しいと仮定してもよい。
【０１０７】
（本発明の纏め）
（１）本発明による食材調理操作認識システムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度を併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段とを備えることを特徴とする。
【０１０８】
この構成によれば、センシング手段により取得された調理操作を行なっている調理者の手元の画像とその調理操作によって生じる環境音とを基に、調理者が調理をしている食材及びその食材に対する調理操作の観測確信度が算出され、この観測確信度を基に、調理フローが作成される。そして、テンプレート確信度と観測確信度とを基に、調理フローを構成する各オブジェクトに対する一次確信度が算出され、この適合度と一次確信度とを基に、最終確信度が算出され、センシング手段により取得された画像の食材及びその食材に対する調理操作が認識される。すなわち、テンプレート確信度が記憶された特徴量テンプレートを基に、調理操作及び食材を認識しているため、食材及び調理操作を精度良く推定することができる。
【０１０９】
（２）また、上記構成において、種々の料理に対して予め作成された調理フローを記憶する調理フローデータベースと、フローマッチングを用いて、前記調理フロー作成手段により作成された調理フローが、前記レシピフローデータベースに記憶された各調理フローのうち、どの調理フローに近いかを示す適合度を算出する適合度算出手段とを更に備え、前記調理操作認識手段は、前記適合度算出手段により算出された適合度と、前記一次確信度とを基に、食材及び調理操作を認識することが好ましい。
【０１１０】
この構成によれば、予め料理毎に作成された調理フローと観測データを基に作成された調理フローとの適合度が算出され、この適合度と一次確信度とを基に、食材及び調理操作が認識されているため、認識精度をより高めることができる。
【０１１１】
（３）また、上記構成において、食材を示すデータを記憶するフィールドと、その食材に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える食材レコードから構成される食材テーブルと、調理操作を示すデータを記憶するフィールドと、その調理操作による食材の変化に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理物レコードから構成される調理物テーブルと、調理操作を示すデータを記憶するフィールドと、その調理操作により生じる環境音に関する種々のデータをそのデータに対して予め定められたテンプレート確信度と併せて記憶するフィールドとを備える調理操作レコードから構成される調理操作テーブルと、種々の調理レシピに使用される食材を示すデータと、その食材に対してなされる調理操作を示すデータとを記憶する調理レシピデータベースと、前記調理レシピデータベースに記憶された全種類の食材と全種類の調理操作とを抽出する抽出手段とのうち、少なくともいずれか１つのテーブルを記憶するテーブル記憶手段と、前記抽出手段により抽出された各食材と、前記抽出手段により抽出された各調理操作とを項目として備えるテーブルを特徴量テンプレートとして作成する特徴量テンプレート作成手段とを更に備え、前記特徴量テンプレート作成手段は、前記特徴量テンプレートを構成するフィールドのうち任意のフィールドに、その任意のフィールドに対応する食材を示すデータが記憶された前記食材テーブルの食材レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理物テーブルの調理物レコードと、その任意のフィールドに対応する調理操作を示すデータが記憶された前記調理操作テーブルの調理操作レコードとのうち、少なくともいずれか１つのレコードの各フィールドに記憶されたテンプレート確信度のうち、最大の確信度をテンプレート確信度として書き込むことが好ましい。
【０１１２】
この構成によれば、テンプレート確信度付きの特徴量テンプレートを得ることができる。
【０１１３】
（４）また、上記構成において、前記センシング手段は、サーマルカメラ及び光学カメラを備え、前記センシング手段により取得された画像はサーマルカメラにより撮影された温度画像と光学カメラにより撮影された光学画像とを含むことが好ましい。
【０１１４】
この構成によれば、光学画像と温度画像とを用いて食材及び調理操作が認識されるため、食材及び調理操作の認識精度を高めることができる。
【０１１５】
（５）また、上記構成において、前記調理フロー作成手段は、前記光学画像に対して背景差分処理を行い、当該光学画像から背景領域を除去すると共に、前記温度画像に対して、温度が規定値以上である領域を背景領域として除去し、背景領域が除去された温度画像と、背景領域が除去された光学画像とを乗じて、食材を示す食材領域を求め、求めた食材領域を基に観測確信度を算出することが好ましい。
【０１１６】
この構成によれば、光学画像は背景差分処理により背景領域が除去されているため、光学画像から背景領域が精度良く除去されている。また、温度画像は、温度が規定値以上である領域が背景領域として除去されるため、食材の温度は周囲の温度よりも低いことを考慮して背景領域が除去されることとなる。そして、背景領域が除去された光学画像及び温度画像が乗じられ、得られた画像を基に、食材領域が抽出されている。そのため、光学画像と温度画像とが共に食材領域として抽出した領域が食材領域として抽出される結果、食材領域を精度良く抽出することができる。
【０１１７】
（６）また、上記構成において、前記調理フロー作成手段は、前記センシング手段により取得された画像から色相のヒストグラム及び彩度のヒストグラムを求め、求めたヒストグラムと予め食材毎に定められた色特徴テンプレートとの相関を求めることにより、食材を推定することが好ましい。
【０１１８】
この構成によれば、色相のヒストグラムを基に、食材が推定されるため、精度良く食材を抽出することができる。すなわち、食材は調理者の手により把持されているケースが多く、この手の影響により、食材領域に対して形状特徴によるテンプレートマッチングを用いると、食材を推定することは困難となるが、本発明のように色相のヒストグラムを用いれば精度良く食材を推定することが可能となる。
【０１１９】
（７）また、上記構成において、前記適合度算出手段は、適合度を基に、調理レシピを推定し、前記適合度算出手段により推定された調理レシピに関するガイダンスを調理者に対して行うガイダンス手段を更に備えることが好ましい。
【０１２０】
この構成によれば、調理者が現在調理している料理に対する調理レシピによるガイダンスがなされるため、調理者は調理レシピに従った適切な調理工程により料理を作ることができる。
【０１２１】
（８）本発明による食材調理操作認識プログラムは、調理操作を行っている調理者の手元の画像と、その調理操作によって生じる環境音との少なくともいずれか一方を含む観測データを取得するセンシング手段と、種々の食材に対して予め想定された種々の調理操作を、各食材に対する調理操作毎に予め定められた確信度であるテンプレート確信度と併せてテーブル形式で記憶する特徴量テンプレートと、前記センシング手段により取得された観測データを基に、調理者が調理している食材及びその食材に対する調理操作の少なくともいずれか一方の確信度を示す観測確信度を算出し、算出した観測確信度を基に、調理者が調理している料理の調理フローを作成する調理フロー作成手段と、前記テンプレート確信度と前記観測確信度とを基に、前記調理フロー作成手段により作成された調理フローを構成する各オブジェクトに対する確信度である一次確信度を算出する一次確信度算出手段と、前記一次確信度算出手段により算出された一次確信度を基に、最終確信度を算出し、算出した最終確信度を新たなテンプレート確信度として、前記特徴量テンプレートを更新し、更新した特徴量テンプレートを基に、前記センシング手段により取得された観測データに対する食材及び調理操作を認識する調理操作認識手段としてコンピュータを機能させることを特徴とする。
【産業上の利用可能性】
【０１２２】
本発明による食材調理操作認識システムによれば、調理者が現在調理している調理レシピが推定され、調理者に対して適切な調理レシピを案内することができるため、家庭用の調理機器として有用である。
【図面の簡単な説明】
【０１２３】
【図１】  本発明の実施の形態による食材調理操作認識システムの全体構成図を示し、（ａ）は側面視における全体構成図を示し、（ｂ）は正面視における全体構成図を示している。
【図２】  本食材調理操作認識システムの機能ブロック図を示している。
【図３】  食材テーブルのデータ構造を示す図面である。
【図４】  特徴量テンプレートのデータ構造を示す図面である。
【図５】  レシピ別特徴量テンプレートのデータ構造を示す図面であり、（ａ）は焼きリンゴとトマトの調理レシピに対するレシピ別特徴量テンプレートを示し、（ｂ）はサラダと大根煮物との調理レシピに対するレシピ別特徴量テンプレートのデータ構造を示している。
【図６】  特徴量テンプレートの作成処理を示すフローチャートである。
【図７】  特徴量テンプレートの作成処理を説明するテーブル遷移図である。
【図８】  食材調理操作認識システムの動作を示すフローチャートである。
【図９】  調理フローデータベースが記憶する調理フローを示した図面であり、（ａ）は肉じゃがに対する調理フローを示し、（ｂ）はハンバーグに対する調理フローを示し、（ｃ）はビーフカレーに対する調理フローを示し、（ｄ）は野菜炒めに対する調理フローを示している。
【図１０】  調理フローデータベースが記憶する調理フローを示した図面であり、（ａ）はビーフカレーに対する調理フローを示し、（ｂ）は野菜炒めに対する調理フローを示している。
【図１１】  フローマッチングを説明する図面であり、（ａ）は作成される調理フローを示し、（ｂ）は調理フローデータベースに予め記憶された調理フローを示している。
【図１２】  観測フローのノード数とエディットディスタンスとの関係を示したグラフである。
【図１３】  食材・調理操作決定処理を示すフローチャートである。
【図１４】  背景領域が除去される様子を説明する図面である。
【図１５】  時間の経過によるピーマンの色相、彩度、及び領域サイズの変化を示したグラフである。
【図１６】  時間の経過によるカボチャの色相、彩度、及び領域サイズの変化を示したグラフである。
【図１７】  調理操作前後におけるリンゴとトマトとの色相及び彩度のヒストグラムを示したグラフであり、（ａ）は調理操作前の色相のヒストグラムを示し、（ｂ）は調理操作前の彩度のヒストグラムを示し、（ｃ）は調理操作後の色相のヒストグラムを示し、（ｄ）は調理操作後の彩度のヒストグラムを示している。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005088542.tif 000029
【図２】
2005088542.tif 000030
【図３】
2005088542.tif 000031
【図４】
2005088542.tif 000032
【図５】
2005088542.tif 000033
【図６】
2005088542.tif 000034
【図７】
2005088542.tif 000035
【図８】
2005088542.tif 000036
【図９】
2005088542.tif 000037
【図１０】
2005088542.tif 000038
【図１１】
2005088542.tif 000039
【図１２】
2005088542.tif 000040
【図１３】
2005088542.tif 000041
【図１５】
2005088542.tif 000042
【図１６】
2005088542.tif 000043
【図１７】
2005088542.tif 000044
【図１４】
2005088542.tif 000045
【国際調査報告】
2005088542.tif 000046
2005088542.tif 000047
2005088542.tif 000048
2005088542.tif 000049