(57)【要約】  インターネットを介してコンテンツを取得し、該コンテンツ内のテキスト（例えば、クローズドキャプション或いはレシピテキスト）を認識、或いは音声認識などの技術を使用して該コンテンツからテキストを作成し、実行指示を得るために該テキストを分析し、そしてそれらの実行指示をネットワークに接続された調理器具に適した命令に変換するためのシステムと手段。特定の実施形態は調理過程でのミスを避けるか是正し、更にレシピのカスタマイズ、例えば食事制限、料理の好み、外国語への翻訳などの提供を可能にするための追加的なガイダンスを提供する。【特許請求の範囲】
【請求項１】
レシピ管理のための装置であって、
食品または飲料の調理に関する自然言語を含む少なくとも一つの通信を受信するように構成されたネットワークインターフェースと、
前記の食品または飲料の調理に関する自然言語を含む、前記の少なくとも一つの通信を該ネットワークインターフェースから受信し、
前記の少なくとも一つの受信した通信から、少なくとも一つの調理指示を抽出し、さらに
前記の少なくとも一つの抽出された調理指示を、少なくとも一つの機械実行可能な命令に変換する様に構成された少なくとも一つのプロセッサと、
保存のための持続性メモリとを備える、
装置。
【請求項２】
前記の少なくとも一つのプロセッサはさらに、該ネットワークインターフェースに前記の少なくとも一つの機械実行可能な命令を含む、少なくとも一つの通信を送信するように構成されており、該ネットワークインターフェースはさらに、前記の少なくとも一つの機械実行可能な命令を含む、前記の少なくとも一つの通信を送信するように構成された、請求項１に記載の装置。
【請求項３】
前記の少なくとも一つのプロセッサはさらに、少なくとも一つのカスタマイズ命令を受信し、前記の少なくとも一つのカスタマイズ命令を該持続性メモリに格納するように構成された、請求項１に記載の装置。
【請求項４】
前記の少なくとも一つのカスタマイズ命令は、一つ以上の食事要件と代替材料である、請求項３に記載の装置。
【請求項５】
前記の自然言語を含む少なくとも一つの通信は音声言語を含み、前記の少なくとも一つのプロセッサはさらに、該音声言語をテキストに変換するように構成された、請求項１に記載の装置。
【請求項６】
前記の少なくとも一つのプロセッサは、自然言語処理を使用して、音声言語を含む前記の少なくとも一つの受信された通信から、少なくとも一つの調理指示を抽出するように構成された、請求項５に記載の装置。
【請求項７】
前記の持続性メモリは、少なくとも一つの機器の機能を記述する情報を含み、前記の少なくとも一つのプロセッサはさらに、前記の少なくとも一つの抽出された調理指示に従って食品又は飲料を調理するための少なくとも一つの機器を識別するために、前記の少なくとも一つの抽出された調理指示を、少なくとも一つの機器の該機能が記述された該情報に対して比較するように構成された、請求項１に記載の装置。
【請求項８】
前記の少なくとも一つの抽出された調理指示に応じて、食品又は飲料の調理に関する少なくとも一つの指示を提供するためのユーザインターフェースをさらに備える、請求項１に記載の装置。
【請求項９】
食品または飲料の調理に関する該ユーザからのフィードバックを受信するためのユーザインターフェースをさらに備える、請求項１に記載の装置。
【請求項１０】
前記の持続性メモリは食品又は飲料の調理を記述した調理情報を含み、前記プロセッサはさらに、前記の少なくとも一つの抽出された調理指示の修正或いは適合を行うために該調理情報を使用するように構成された、請求項１に記載の装置。
【請求項１１】
レシピ管理のための方法であって、
ネットワークインターフェースを介して、前記の食品又は飲料の調理に関する自然言語を含む少なくとも一つの電子通信を受信し、
少なくとも一つの構成されたプロセッサを利用し、前記の少なくとも一つの受信された自然言語コミュニケーションから、少なくとも一つの調理指示を自動的に抽出し、そして
前記の少なくとも一つの構成されたプロセッサを利用し、前記の少なくとも一つの抽出された調理指示を少なくとも一つの機械実行可能な命令へ変換する事を含む、
方法。
【請求項１２】
さらに前記ネットワークインターフェースを使用し、前記の少なくとも一つの機械実行可能な命令を送信する事を含む、請求項１１に記載の方法。
【請求項１３】
さらに少なくとも一つのカスタマイズ命令を受信し、前記の少なくとも一つのカスタマイズ命令を持続性メモリに格納する事を含む、請求項１１に記載の方法。
【請求項１４】
前記の少なくとも一つのカスタマイズ命令は、一つ以上の食事要件と代替材料である、請求項１３に記載の方法。
【請求項１５】
自然言語を含む前記の少なくとも一つの電子通信が音声言語を含み、さらに前記の少なくとも一つの構成されたプロセッサを利用して該音声言語をテキストに変換する事を含む、請求項１１に記載の方法。
【請求項１６】
前記の少なくとも一つの調理指示が、前記の少なくとも一つの構成されたプロセッサを利用し、自然言語処理を使用して前記の音声言語を含む少なくとも一つの受信された通信から抽出される、請求項１５に記載の方法。
【請求項１７】
さらに前記の少なくとも一つの抽出された調理指示に従って、食品又は飲料を調理するための少なくとも一つの機器を識別するために、前記の少なくとも一つの抽出された調理指示を、持続性メモリに格納された少なくとも一つの機器の該機能を記述した情報に対して比較する事を含む、請求項１１に記載の方法。
【請求項１８】
さらにユーザインターフェースを利用して、前記の少なくとも一つの抽出された調理指示に応じて、前記の食品又は飲料の調理に関する少なくとも一つの指示を提供する事を含む、請求項１１に記載の方法。
【請求項１９】
さらにユーザインターフェースを利用して、前記の食品または飲料の調理に関する該ユーザからのフィードバックを受信する事を含む、請求項１１に記載の方法。
【請求項２０】
さらに前記の少なくとも一つの抽出された調理指示の修正或いは適合を行うために、持続性メモリに格納された食品又は飲料の調理を記述した調理情報を利用する事を含む、請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはレシピ管理のための方法およびシステムに関し、より具体的にはマルチメディアコンテンツを取り込み、それを機械実行可能な命令に変換し、そして必要に応じてそれらの命令および他の指示を食品の調理を行わせるために機器および他のエージェントに送るプラットフォームに関する。
【背景技術】
【０００２】
食事の調理は伝統的にかなりの肉体労働を必要とする。典型的な食事の調理は、まず書棚から料理本を選択し、選択された料理本で関心のあるレシピを割り出し、持っている食材の在庫と比較する事によりレシピのための買い物リストを作成し、その買い物リスト上の品目を購入し、その購入した品目をレシピが実行できるように準備し、そして様々な調理機器（例えば、フードプロセッサ、電子レンジ、対流式オーブン、スロークッカーなど）を利用し、指定された量の食材を異なる持続時間で一種類以上の温度の元で指定された順序でまとめ上げる事によりレシピを実行する事を要求するだろう。
【０００３】
調理の仕事の様々な部分が既に自動化され、或いは現在それらを自動化するための取り組みが行われている。例えば、カリフォルニア州マウンテンビューのグーグル社により提供されているグーグルレシピビューでは、ユーザが特定の食材を利用したレシピコンテンツをワールド・ワイド・ウェブで検索することを許可する。インターネット経由でリモート操作するための家庭用電化製品へのコンピュータプロセッサおよびネットワークインターフェースの埋め込みは、これらデバイスの自動操作の可能性を提供している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そのような自動化への一つの障害は食事の調理人と電化製品のプログラマに期待されるスキルの差である。調理人は伝統的に指示に従い、場合によっては調理においてさまざまなレベルのスキルを有する他の人々とそれらの指示を共有することに熟練している。プログラマは伝統的にソフトウェア開発、パケットベースのネットワーク通信などに長けている。プログラマは各種機器の自動化された操作を可能にするかもしれないが、調理人に容易にその機能を利用させるユーザーフレンドリーな方法ではない場合がある。
【０００５】
従って、このギャップを埋め、それによってレシピ管理を提供することができる方法及びシステムに対する必要性が存在する。
【課題を解決するための手段】
【０００６】
この概要は、「発明を実施するための形態」で更に説明される概念の抜粋を簡略化した形態で紹介するために提供される。この概要は特許請求された主題の主要な特徴または本質的な特徴を特定することは意図せず、更に特許請求された主題の範囲を決定する際の助けとして使用されることを意図しない。
【０００７】
本発明の様々な実施形態は、デジタル形式でオンライン入手可能な人間の聴衆を意図したレシピや食品調理法の膨大なライブラリがあることの観測に由来する。本発明の実施形態は、このコンテンツを人に優しいフォーマットから自動処理に適した指示に変換する。翻訳された後、これらの指示は人間のオペレータに供給されても良いし、一つ以上の機器に機械実行可能な命令として発行されても良く、或いはレシピに記載された食品の調理を実行させるために、これら二つの組合せにすることもできる。本発明の実施形態はまた、ユーザに、コスト、利便性、食事の好みなどの理由で材料を代替することで、個人的或いは包括的に調理をカスタマイズさせることができる。
【０００８】
一つの態様では、本発明はレシピ管理のための装置に関する。前記装置は、記憶のための持続性メモリと、前記の食品又は飲料の調理に関する自然言語を含む少なくとも一つの通信を受信するように構成されたネットワークインターフェースと、さらに前記の食品又は飲料の調理に関する自然言語を含む少なくとも一つの通信を該ネットワークインターフェースから受信し、前記の少なくとも一つの受信された通信から少なくとも一つの調理指示を抽出し、そして前記の少なくとも一つの抽出された調理指示を少なくとも一つの機械実行可能な命令に変換する様に構成された、少なくとも一つのプロセッサとを含む。
【０００９】
一つの実施形態では、前記の少なくとも一つのプロセッサはさらに、該ネットワークインターフェースに前記の少なくとも一つの機械実行可能な命令を含む、少なくとも一つの通信を送信するように構成されており、該ネットワークインターフェースはさらに、前記の少なくとも一つの機械実行可能な命令を含む、前記の少なくとも一つの通信を送信するように構成される。別の実施形態では、前記の少なくとも一つのプロセッサはさらに、少なくとも一つのカスタマイズ命令を受信し、前記の少なくとも一つのカスタマイズ命令を該持続性メモリに格納するように構成される。これらの実施形態のいくつかにおいて、前記の少なくとも一つのカスタマイズ命令は一つ以上の食事要件と代替材料である。
【００１０】
一つの実施形態では、前記の自然言語を含む少なくとも一つの通信は音声言語を含み、前記の少なくとも一つのプロセッサはさらに、該音声言語をテキストに変換するように構成される。これらの実施形態のいくつかでは、前記の少なくとも一つのプロセッサは自然言語処理を使用して、音声言語を含む前記の少なくとも一つの受信された通信から、少なくとも一つの調理指示を抽出するように構成される。
【００１１】
一つの実施形態では、前記の持続性メモリは少なくとも一つの機器の該機能を記述する情報を含み、前記の少なくとも一つのプロセッサはさらに、前記の少なくとも一つの抽出された調理指示に従って食品又は飲料を調理するための少なくとも一つの機器を識別するために、前記の少なくとも一つの抽出された調理指示を、少なくとも一つの機器の該機能が記述された該情報に対して比較するように構成される。別の実施形態では、該装置はさらに前記の少なくとも一つの抽出された調理指示に応じて、食品又は飲料の調理に関する少なくとも一つの指示を提供するためのユーザインターフェースを備える。さらに別の実施形態では、該装置はさらに食品又は飲料の調理に関するユーザからのフィードバックを受信するためのユーザインターフェースを含む。さらに別の実施形態では、前記の持続性メモリは食品又は飲料の調理を記述した調理情報を含み、前記プロセッサはさらに、前記の少なくとも一つの抽出された調理指示の修正或いは適合を行うために該調理情報を使用するように構成される。
【００１２】
別の態様では、本発明はレシピ管理のための方法に関する。当該方法は、前記の食品又は飲料の調理に関する自然言語を含む少なくとも一つの電気通信をネットワークインターフェースを介して受信することと、少なくとも一つの構成されたプロセッサを利用して、少なくとも一つの受信された通信から少なくとも一つの調理指示を自動的に抽出することと、前記の少なくとも一つの構成されたプロセッサを利用して、少なくとも一つの抽出された調理指示を少なくとも一つの機械実行可能な命令に変換することを含む。
【００１３】
一つの実施形態では、少なくとも一つのプロセッサはさらに、ネットワークインターフェース使用し、少なくとも一つの機械実行可能な命令を送信するように構成される。別の実施形態では、前記方法はさらに少なくとも一つのカスタマイズ命令を受信し、前記の少なくとも一つのカスタマイズ命令を持続性メモリに格納する。これらの実施形態のいくつかにおいて、少なくとも一つのカスタマイズ命令は一つ以上の食事要件と代替材料である。
【００１４】
一つの実施形態では、自然言語を含む前記の少なくとも一つの電子通信が音声言語を含み、さらに前記の少なくとも一つの構成されたプロセッサを利用して該音声言語をテキストに変換する。これらの実施形態のいくつかでは、前記の少なくとも一つの調理指示が、前記の少なくとも一つの構成されたプロセッサを利用し、自然言語処理を使用して前記の音声言語を含む少なくとも一つの受信された通信から抽出される。
【００１５】
一つの実施形態では、該方法はさらに前記の少なくとも一つの抽出された調理指示に従って、食品又は飲料を調理するための少なくとも一つの機器を識別するために、前記の少なくとも一つの抽出された調理指示を、持続性メモリに格納された少なくとも一つの機器の該機能が記述された情報に対して比較する。別の実施形態において、該方法はさらに、ユーザインターフェースを利用して、前記の少なくとも一つの抽出された調理指示に応じて、前記の食品又は飲料の調理に関する少なくとも一つの指示を提供する。さらに別の実施形態において、該方法はさらに、ユーザインターフェースを利用して、前記の食品または飲料の調理に関する該ユーザからのフィードバックを受信する。さらに別の実施形態では、該方法はさらに持続性メモリに格納された食品又は飲料の調理を記述した調理情報を利用し、前記プロセッサはさらに、前記の少なくとも一つの抽出された調理指示の修正或いは適合を行うために該調理情報を使用するように構成される。
【００１６】
本発明の非限定的な実施形態を特徴付けるこれらおよび他の特徴および利点は、以下の詳細な説明を読み、関連する図面を検討することで明らかになるであろう。上述の概要および以下の詳細な説明はいずれも解説のみであり、請求項に係る非限定的実施形態を制限するものではないことを理解すべきである。
【００１７】
非限定的かつ非網羅的な実施形態は以下の図面を参照して説明される。
【図面の簡単な説明】
【００１８】
【図１】本発明によるレシピ管理のための装置のブロック図を示す。
【図２】より詳細に図１のレシピプロセッサを示す。
【図３】本発明によるレシピ管理の方法のフローチャートを示す。
【図４】本発明によるレシピコンテンツの処理により得られる例示的なレシピのグラフを示す。  図面において、参照文字のようなものは一般に異なる図を通して対応する部分を指す。図面は必ずしも原寸に比例しておらず、むしろ操作の原理および概念に重きが置かれている。
【発明を実施するための形態】
【００１９】
様々な実施形態は本明細書の一部を形成し、特定の例示的な実施形態を示した添付図面を参照してより完全に説明される。しかしながら、実施形態は多くの異なる形態で実施されてもよく、かつ本明細書に記載された実施形態に限定されると解釈されるべきではなく、むしろ、この開示が徹底的かつ完全となり、当業者に十分に実施形態の範囲を伝えるように、これらの実施形態が提供される。実施形態は、方法、システムまたは装置として実施され得る。したがって、実施形態はハードウェア実装、完全なソフトウェア実装、またはソフトウェアとハ??ードウェアの態様を組み合わせた実装の形態を取ることができる。従って、以下の詳細な説明は限定的な意味で解釈されるべきでない。
【００２０】
明細書における「一つの実施形態」または「実施形態」の言及は、実施形態に関連して記載される特定の特徴、構造、または特性が本発明の少なくとも一つの実施形態に含まれることを意味する。明細書の様々な場所での「一つの実施形態では」という語句の出現は、必ずしも全て同じ実施形態を指すものではない。
【００２１】
以下の本明細書の一部はコンピュータメモリ内に格納された非過渡信号に対するオペレーションの記号的表象に関して提示される。これらの説明および表現は、最も効果的に他の当業者に彼らの仕事の内容を伝えるために、データ処理技術の当業者によって用いられる手段である。そのような操作は、典型的には、物理量の物理的操作を必要とする。必須ではないが、通常、これらの量は記憶、転送、結合、比較及びその他の操作をされることが可能な、電気的、磁気的又は光学的信号の形を取る。これらの信号を、主に共通使用のために、ビット、値、要素、記号、文字、用語、数字などとして参照する場合に便利である。更に、一般性を損なわず、モジュール又はコードデバイスとして物理量の物理的操作を要求するステップの特定の構成を参照する場合にも便利である。
【００２２】
しかし、これらおよび類似の用語の全ては適切な物理量に関連付けられ、これらの量に適用される便利なラベルに過ぎない。特に明記しない限り以下の説明から明らかなように、本明細書を通して、「処理」または「コンピューティング」または「計算」または「決定」または「表示」などの用語を利用する議論は、当然のことながら、コンピュータシステムメモリまたはレジスタまたは他のそのような情報記憶、伝送または表示装置内の物理（電子）量として表されるデータを操作および変換するコンピュータシステム、又は同様の電子計算装置のアクションおよびプロセスを指す。
【００２３】
本発明の特定の態様はソフトウェア、ファームウェア、またはハードウェアで実施することができる処理ステップおよび命令を含み、ソフトウェアで具現化するときは、常駐して様々なオペレーティングシステムで使用される異なるプラットフォームから操作されるためにダウンロードされる事がある。
【００２４】
本発明はまた、本明細書の動作を実行するための装置に関する。この装置は必要な目的のために特別に構築されることができ、またはそれは選択的にコンピュータに格納されたコンピュータプログラムによって活性化または再構成される汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に格納されてもよく、例として、以下に限定はされないが、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、などを含む任意のタイプのディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、特定用途向け集積回路（ＡＳＩＣ）、または電子命令を格納するのに適した任意の種類のメディアで、それぞれがコンピュータシステムバスに結合される。さらに、明細書で参照されるコンピュータは単一のプロセッサを含んでもよく、または計算能力向上のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【００２５】
本明細書に提示されるプロセス及びディスプレイは本質的に、いかなる特定のコンピュータまたは他の装置に関連するものではない。様々な汎用システムはまた、本明細書の教示に従ってプログラムと共に使用することができ、或いは必要な方法ステップを実行するために、より特化した装置を構築するのが好都合かもしれない。これらの様々なシステムに必要な仕組みは、以下の説明から明らかになる。また、本発明はいかなる特定のプログラミング言語を参照して説明されていない。本明細書に記載のように本発明の教示を実装するために様々なプログラミング言語が使用されてもよいことが理解されるだろうし、特定の言語への以下の言及は有効化の開示および本発明の最良の態様のために提供される。
【００２６】
また、明細書中で使用される言語は主として読みやすさ及び説明を目的として選択されており、本発明の主旨を描写或いは限局するために選択されていないかもしれない。従って、本発明の開示は例示することを意図しているが、特許請求の範囲に記載される本発明の範囲を限定するものではない。
【００２７】
概要では、本発明の様々な実施形態は次世代レシピ管理システムを提供する。本発明の実施形態は、インターネットを介してコンテンツを取得し、該コンテンツ内のテキスト（例えば、クローズドキャプションまたはレシピテキスト）を認識、或いは音声認識などの技術を使用して該コンテンツからテキストを作成し、実行指示を得るために該テキストを分析し、それらの実行指示をネットワーク接続された調理器具や人間のオペレータに適した命令に変換するためのシステムと手段を提供する。特定の実施形態は調理過程でのミスを避けるか是正し、更にレシピのカスタマイズ、例えば食事制限、料理の好み、外国語への翻訳などの提供を可能にするための追加的なガイダンスを提供する。
【００２８】
現在のアプローチはユーザがレシピを準備するために手動でオンラインメディアコンテンツからテキストを転写し、その転写テキストを解釈することが必要である。例えば、ユーザはビデオブログを見て、ノートを取り、そしてレシピを準備するための正しい手順を決定するために調理機器のマニュアルを読むかもしれない。これらの現在のアプローチは時間がかかり、ユーザがレシピを準備しようとする間に時々、元のコンテンツを数回確認する必要があり得る。ある程度は、これらのアプローチは料理、特定の調理機器、および類似レシピの準備に関するユーザ個々の専門知識にも依存する。
【００２９】
図１を参照すると、本発明の実施形態は一つ以上のコンテンツの形態または要素から調理指示を抽出するように適合されたレシピプロセッサ１００を含んでもよい。プロセッサ１００はパーソナルコンピュータや携帯電話などの様な単一のコンピューティングデバイス上で実行されるプログラム、固定メモリ上にプロセッサ１００を有する専用のコンピューティングアプライアンス、複数のコンピューティングデバイス間で実行されるプログラムなどとして実現することができる。
【００３０】
プロセッサ１００は、予め定義されたテキストパターン１０４のライブラリにアクセスし、テキスト形式の調理コンテンツの解析結果を提供するためにそれらの記憶されたパターンを使用することで動作する。調理コンテンツは一般的に人間向けの自然言語である。このような自然言語コンテンツの一例は、「極めて弱火の冷たい鍋に卵を割ってバターを加え、卵が固まり始めるまでたびたび攪拌し、たっぷり６〜７分かけます。バターをもう一塊加え、攪拌を継続し、その後、完全に固まる前に、鍋を火から外し、ティースプーン一杯の生クリームを入れてよくかき混ぜ、そして好みの味付けをします。」
【００３１】
このような自然言語のコンテンツは人間の読み手によって解析されることを意図しており、自動化された（別名「インテリジェントな」）調理機器による自動処理のためには、そのオリジナル形式では一般的に不向きである。レシピプロセッサ１００は前記の自然言語コンテンツを取り込み、動詞フレーズ抽出やインテリジェントテキストパーサなどの自然言語処理（ＮＬＰ）の技術を用いて、事前に定義されたテキストパターン１０４のライブラリから自然言語コンテンツのテキストパターンを検索する。テキスト内の指示の発生の順序は、典型的には調理指示の発生順序を示す。 食材の温度や量などの様な特定のパターンは、キュレートされデータストアに格納された特定の正規表現を使用して抽出される。
【００３２】
夫々の事前定義されたパターンは、翻訳プロセスで使用される人間が理解できる調理指示と機械実行可能な命令とに関連付けられてもよい。例えば、一つのパターンとして「低熱上で調理」は、人間が理解可能な調理指示、「鍋の下のバーナーを"ロー"にする」と、機械実行可能な命令、「バーナー設定＜１＞から＜２＞」に関連付けられる。
【００３３】
このようなパターン１１２が識別された場合、関連する調理指示及び機械実行可能な命令１１６は、ユーザまたはインテリジェント調理機器に後で配信するために格納されたメモリに追加される。以下に説明するように、他のデータ構造が調理指示及び機械実行可能な命令を記憶するために使用され得るが、一つの実施形態ではこれらの項目はレシピグラフに追加される。
【００３４】
上述したように、調理コンテンツの多くの項目は様々な形態でインターネット上で利用可能である。上述のようにテキスト形式のウェブページやブログエントリ１０８が処理されてもよい。本発明の実施形態はまた、構造化ソース１０８'によって示されたＡＰＩ（アプリケーションプログラミングインターフェース）を使用してレシピコンテンツの構造化ソース１０８'と対話することができ、特定の構造化ソース１０８'が調理指示及び／又は機械実行可能な命令の形で調理コンテンツを提供することができ、それによって調理コンテンツから調理指示を抽出及び／又はインテリジェント調理機器のための機械実行可能な命令を作成する必要がなくなる。
【００３５】
発話形式で利用可能な調理コンテンツのアイテムは、ニューラルネットワーク、隠れマルコフモデル、およびダイナミックタイムワーピングといった公知の音声認識技術を用いて前処理することができ、上述したようにレシピプロセッサ１００によって処理されることができる転写テキスト１２０の本文として得られる。ビデオコンテンツのアイテムはまた、音声認識技術を用いて前処理してもよいし、それらがクローズドキャプションを含んでいる場合には、上述したようにそのクローズドキャプションテキストはレシピプロセッサ１００によって直接処理されてもよく、或いは音声認識処理を支援するために使用することができるように、転写テキスト１２０として得られる。
【００３６】
レシピプロセッサ１００は、抽出された調理指示に関連して様々なインテリジェント調理機器の機能に関する情報の電子データベース１２４を調べることができる。データベース１２４は、レシピの準備における使用に適したインテリジェントまたは人間操作の調理機器を識別するために使用されてもよい。例えば、レシピプロセッサ１００は人間オペレータに調理指示を提供する前に、器具（例えば、トースターオーブン、電子レンジなど）を指定するために調理指示を変更することができる。レシピプロセッサ１００はまた、少なくとも抽出された調理指示の一部をそれら識別されたインテリジェント機器による実行のためにフォーマットされた機械実行可能な命令に変換する前に、独立してレシピのステップを実行できる１台以上のインテリジェント機器を識別することができる。
【００３７】
識別された命令ベースのテキストパターンのタイプに基づいて、レシピの準備のための装置を識別し推奨するために、前記パターンはインテリジェント調理機器を記述したエントリと相関させることができる。例えば、「水を沸騰」の指示は特定の時間で水を沸騰させる命令と共に電気温水器を必要とするだろう。
【００３８】
レシピプロセッサ１００はまた、個人的な食事の好み、ユーザの理解言語、手持ち食材の在庫、などの項目を含むことができるカスタマイズ情報１２８の保存を求めることができる。レシピプロセッサ１００はユーザに提供する以前の調理指示、或いは実行のためインテリジェント機器に提供する以前の機械実行可能な命令をカスタマイズするためにその情報１３２を使用することができる。例えば、プロセッサ１００は乳糖不耐症であることを示すカスタマイズ情報１２８を持つユーザのため、レシピが求めるクリームの代わりにココナッツミルクを使うことができる。他の言語へレシピコンテンツを翻訳する場合には、キーワードの追跡と優先順位はレシピ内の文脈とアクションアイテムの順序を維持するために利用される。
【００３９】
レシピテキストから人に優しい調理指示を抽出した後、レシピプロセッサ１００はユーザに調理指示を提供するため、タブレット或いはテキスト・ツー・スピーチジェネレータなどの様なユーザインターフェースを使用してもよい。提供される調理指示は、レシピコンテンツならびに、予定通りに調理プロセスが進行していることをユーザが確認できるための、温度、料理の色、臭い等の様々な調理プロセスの中間段階における情報を含むことができる。
【００４０】
レシピプロセッサ１００は、ユーザがレシピの様々な段階を成功或いは失敗して終えたかどうかを判断するための、色、香り、時間等のユーザからのリアルタイムフィードバックを受信し、それに応じてレシピを調理する過程で犯したミスや誤解を修正するためのレシピを準備するべく代替指示を提供するためのユーザインターフェースを更に使用することができる。
【００４１】
図２はさらに詳細にレシピプロセッサ１００を示す。上述したように、レシピプロセッサ１００は物理的および仮想的な様々な形態をとることができるが、ほとんどの実装はある共通の機能を共有する。ネットワークインターフェース２００は、レシピプロセッサ１００が他の装置からの通信を受信することを可能にし、一つの実施形態では、インターネットとの双方向インターフェースを提供する。適切なネットワークインターフェース２００は、レシピプロセッサ１００と他の装置との間のデータ伝送を可能にする、ギガビットイーサネット、無線ＬＡＮ（８０２.１１a ／ b ／ g ／ n）、およびＧＳＭ ／ＷＣＤＭＡ／ＬＴＥなどの様な３Ｇ／４Ｇ無線インターフェースを含む。プロセッサ２０４はインターフェース２００を介して送信するための通信を生成し、レシピプロセッサ１００の外部で生じるインターフェース２００を介して受信された通信を処理する。典型的なプロセッサ２０４は、ｘ８６、ｘ８６−６４、またはＡＲＭｖ７プロセッサ、等である。ユーザインターフェース２０８は、レシピプロセッサ１００がオペレータからのコマンドを受信してフィードバックを提供することを可能にする。例示的なユーザインターフェースは、グラフィカルディスプレイ、物理キーボード、仮想キーボード、等を含む。データストア２１２は、インターフェース２００を介して受信したデータ、プロセッサ２０４によって処理されたデータ、およびユーザインターフェース２０８を介して受信または送信されたデータのための一過性および永続的な記憶の両方を提供する。
【００４２】
レシピプロセッサ１００のインターフェース２００は、様々なデータソースおよび機器との通信を処理するように構成されている。レシピプロセッサ１００は、レシピコンテンツ１０８の構造化ソース、転写されたテキスト１２０のソース、機器情報１２４のデータベース、カスタマイズ情報の保存データ１２８等のソースからデータを取り込む。レシピプロセッサ１００のいくつかの実施形態では、これらのソースとの双方向通信も確保する。レシピプロセッサ１００は更に、以下に説明するように、機械実行可能な命令を受信するためのインターフェースを備えた機器と通信するためにインターフェース２００も使用する。
【００４３】
レシピプロセッサ１００は、予め定義されたテキストパターン１０４、命令に関連する識別されたテキストパターン１１２、機械実行可能な命令１１６、カスタマイズ情報１２８、およびカスタマイズされた調理指示１３２のライブラリを保持するための記憶装置２１２も利用する。
【００４４】
図３を参照すると、本発明の実施形態はまたレシピ管理のための方法の形態をとることができる。その方法は、パーソナルコンピュータや携帯電話などの様な単一のコンピューティングデバイス上で実行されるプログラム、固定メモリ上に前記方法を保存した専用のコンピューティングアプライアンス、複数のコンピューティングデバイス間で実行されるプログラムなどとして実現することができる。
プロセスはコンテンツにアクセスすること（ステップ３００）によって開始する。調理コンテンツは、ウィンチェスターディスクドライブのようなローカルメモリに格納されるか、インターネット接続のような、何らかの形態のネットワークインターフェースを経由して入手されてもよい。調理コンテンツの適切な形態は、ウェブページ、テキスト形式のブログエントリ、動画ブログエントリ、マルチメディアファイル、マルチメディアストリーミングなどを含む。調理コンテンツは、ＡＰＩ（アプリケーションプログラミングインターフェース）を使用して構成およびアクセス可能、或いは人間による利用が意図された形態で提示されてもよい。レシピコンテンツが構成される場合、調理指示及び／又は機械実行可能な命令の形で提供されることができ、それにより、このプロセスの更なるステップで説明される様に、調理コンテンツから調理指示を抽出及び／又はインテリジェント調理機器のための機械実行可能な命令を作成する必要がなくなる。
【００４５】
前記コンテンツがテキストを含まない場合、テキストは受信された調理コンテンツから抽出される（ステップ３０４）。発話形式で利用可能な調理コンテンツのアイテムは、ニューラルネットワーク、隠れマルコフモデル、およびダイナミックタイムワーピングといった公知の音声認識技術を用いて前処理することができ、以下に説明するように処理することが可能な転写テキストとして得られる。ビデオコンテンツのアイテムもまた音声認識技術を用いて前処理されてもよいし、或いは該アイテムがクローズドキャプションを含んでいる場合には、後述するようにクローズドキャプションテキストは処理され、或いは音声認識処理に通知するために使用することができ、さらなる処理のための転写テキストとして得られる。
【００４６】
テキスト形式の調理コンテンツを考えると、人間のオペレータに適した調理指示はコンテンツから抽出されてもよい（ステップ３０８）。一つの実施形態では、抽出プロセスは事前に定義されたテキストパターンのライブラリにアクセスし、テキスト形式の調理コンテンツを分析するためにそれらの記憶されたパターンを使用してもよい。例えば、自然言語のコンテンツは動詞フレーズ抽出及びインテリジェントテキストパーサなどの自然言語処理（ＮＬＰ）技術を用いて、事前に定義されたテキストパターンのライブラリからテキストパターンを検索することができる。テキスト内の指示の発生の順序は、典型的には調理指示の発生順序を示す。食材の温度や量などの様な特定のパターンは、キュレートされデータストアに格納された特定の正規表現を使用して抽出される。
【００４７】
夫々の事前定義されたパターンは、人間が理解できる調理指示と機械実行可能な命令とに関連付けられてもよい。例えば、一つのパターンとして「低熱上で調理」は、人間が理解可能な調理指示、「鍋の下のバーナーを"ロー"にする」と、機械実行可能な命令、「バーナーを＜１＞から＜２＞に設定」に関連付けられる。このようなパターンが識別された場合、関連する調理指示及び機械実行可能な命令は、ユーザまたはインテリジェント調理機器に後で配信するために格納されたメモリに追加される。以下に説明するように、他のデータ構造が調理指示及び機械実行可能な命令を記憶するために使用され得るが、一つの実施形態ではこれらの項目はレシピグラフに追加される。
【００４８】
前記のテキスト形式のレシピコンテンツを処理した後、抽出された調理指示に関連して様々なインテリジェント調理機器の機能に関する情報の電子データベースを参照することができる（ステップ３１２）。前記データベースは、レシピの準備における使用に適したインテリジェントまたは人間操作の調理機器を識別するために使用されてもよい。例えば、前記調理指示は人間オペレータに調理指示を提供する前に、器具（例えば、トースターオーブン、電子レンジなど）を指定するために変更されてもよい。独立してレシピのステップを実行できる１台以上のインテリジェント機器は、少なくとも抽出された調理指示の一部をそれら識別されたインテリジェント機器による実行のためにフォーマットされた機械実行可能な命令に変換する前に識別されることができる。
【００４９】
識別された命令ベースのテキストパターンのタイプに基づいて、レシピの準備のための装置を識別し推奨するために、前記パターンはインテリジェント調理機器を記述したエントリと相関させることができる。例えば 、「水を沸騰」の指示は特定の時間で水を沸騰させる命令と共に電気温水器を必要とするであろう。
【００５０】
調理指示を準備する過程において、個人的な食事の好み、ユーザの理解言語、手持ち食材の在庫、などの項目を含むことができるカスタマイズ情報の保存を求めることができる（ステップ３１６）。この情報は、ユーザに提供する以前の調理指示、或いは実行のためインテリジェント機器に提供する以前の機械実行可能な命令をカスタマイズするために使用されることができる。例えば、乳糖不耐症であることを示すカスタマイズ情報を持つユーザのため、ココナッツミルクがレシピが求めるクリームの代わりに使われることができる。他の言語へレシピコンテンツを翻訳する場合には、キーワードの追跡と優先順位はレシピ内の文脈とアクションアイテムの順序を維持するために利用される。
【００５１】
レシピテキストから人に優しい調理指示を抽出した後、タブレット或いはテキスト・ツー・スピーチジェネレータといったユーザインターフェースがユーザに調理指示を提供するために使用されてもよい。提供される調理指示は、レシピコンテンツならびに、予定通りに調理プロセスが進行していることをユーザが確認できるための、温度、料理の色、臭い等の様々な調理プロセスの中間段階における情報を含むことができる。ユーザインターフェースは、ユーザがレシピの様々な段階を成功或いは失敗して終えたかどうかを判断するための、色、香り、時間等のユーザからのリアルタイムフィードバックを受信し、それに応じてレシピを調理する過程で犯したミスや誤解を修正するためのレシピを準備するべく代替指示を提供するため、更に使用され得る。
【００５２】
一台以上のインテリジェント機器がレシピ調理を支援するために同定されている場合、実行のため機械実行可能な命令がこれらの機器に発行されることができる（ステップ３２０）。これらの命令は、機器情報のデータベースに指定された機器固有の形式で発行されることができる。
【００５３】
例えば、前記機械実行可能な命令はバイナリ、ＪＳＯＮ、ＸＭＬ或いは他の任意の業界仕様または独自の形式とすることができる。該機械実行可能な命令は、Ｗｉ−Ｆｉ、イーサネット、ブルートゥース、ＢＴ−ＬＥ、ＮＦＣなどの様々な通信チャネルを介してデバイスに送信することができる。前記の命令は、該機器と該送信デバイスが同じノードにある場合は局所的に伝達することができ、命令を受ける機器と送信デバイスが異なるノードにある場合は間接的に伝達する。
【００５４】
図４は、レシピコンテンツの処理から生じるレシピグラフのデータ構造の一例を示す。この例では、上述したようにポテトの調理に関するレシピコンテンツが検索されている。レシピコンテンツが個々の文に分解され、それら各々がパーサ出力の最上位エントリとなる。それぞれの文は、同様に、当業者に知られている解析方法を使用して、動詞フレーズ、形容詞フレーズ、名詞フレーズなどの集合に分解される。これらのフレーズはツリー状の構造に格納されるが、通常は動詞フレーズが構造の根を形成し、文章内の他のフレーズが構造の葉を形成する。
【００５５】
そしてパーサ出力は本発明によるレシピグラフに変換される。各文は該グラフ内のノードに割り当てられ、グラフ内のノードの順序が概ね分類されたレシピコンテンツにおける文の順序に対応するようにノード間にリンクが設定される。文の個々の動詞フレーズ等が、次のノードに移行する前にノードに関連付けられた満足されるべき条件として設定される。
【００５６】
いくつかの実施形態では、前記レシピグラフの構造はレシピコンテンツに応じて食材を調理するために本発明の実施形態によって使用されることができる。前記グラフ構造は、構造内の開始ノードを起点とするシステムを伴った状態マシンとして扱うことができる。前記システムは、開始ノードに関連付けられた条件および命令を確認し、それら条件および命令を反映した適切な機械実行可能な命令と人間が理解可能な指示を与える。該システムは、機械実行可能な命令が実行されたことを示す自動フィードバック、および人間が理解可能な指示が行われたことを示す人間オペレータからの手動フィードバックを待つ。
【００５７】
前記フィードバックが条件と命令が満たされていることを示す場合、食材が調理されたと想定されるグラフ中の終了状態に至るまで、該システムはグラフの次の状態へのリンクに進んで以下の処理を繰り返す、すなわち命令及び指示を発行し、次のノードに進む前に前記命令および指示が実行されていることを示すフィードバックを待つ。
【００５８】
本発明の実施形態は、必要に応じてまたは指示通りにリアルタイムで自然言語コミュニケーションを含むコンテンツを取得することができ、或いは該コンテンツはユーザによる指示または後の使用の準備として、その使用に先立って取得され保存されることができる。例えば、本発明の実施形態は、一つ以上のインテリジェントな機器によって少なくとも部分的に実行され、専用の機器として、或いはそうでなければ後の使用のために格納された形態で送達され得るレシピのライブラリを準備するために用いることができる。
【００５９】
以上の説明から明らかなように、本発明は従来技術より進歩しているいくつかの態様を提示する。一つの態様では、提案されるシステムおよび方法は、一つ以上の自動またはそれ以外の調理機器のために解釈され命令に変換されるオンラインリソースからのビデオのクローズドキャプションテキストの例えばテキストパターンを使用して調理指示を識別する。別の態様では、提案されたシステム及び方法は、調理指示と機器命令を識別する前にオーディオコンテンツからテキストを抽出するために、自然言語処理や他の類似技術を使用する。さらに別の態様では、提案されたシステム及び方法は、調理指示を抽出し、目的のレシピを調理するためのインテリジェントかそれ以外の調理機器のリストを推薦し、レシピを調理する際の間違いを回避するか修正するための手順の提案を提供し、例えば文化的な好み、食事要件、使用言語の違いなどを考慮してレシピの内容をパーソナライズするための代替案を提供し、レシピの調理を実行するための様々な自動調理機器の操作を整理しながら、ユーザインターフェース（例えばタブレットデバイスなど）にユーザ指示を表示することによるコンテンツの可視化でユーザを支援する。
【００６０】
本発明の実施形態はいくつかの望ましい用途に適合する。
【００６１】
例えば、本発明の実施形態は、放送調理コンテンツの処理を変換するために使用することができる。レシピビデオや料理番組を撮影する放送事業者やインターネットコンテンツプロバイダは、映像コンテンツに含まれる発話音声を自動的に転写するために本発明の実施形態を利用することができる。発話内容が転写されると、実施形態は、例えば予め構築されたオントロジーに基づく転写からレシピコンテンツを自動的に抽出し始める。抽出されたレシピコンテンツは次に、動詞、命令、時間、温度、前提条件、事後条件などを抽出し、その情報から実行可能なレシピのグラフを自動的に生成するために分析されることができる。前記グラフ内の適切なノードは、一つ以上の遠隔操作可能な機器のための機械実行可能な命令に変換される。前記レシピグラフは異なる言語に変換、或いは多言語辞書や代替材料の辞書を利用し、異なる材料を使用するように変換することができる。
【００６２】
別の有用なアプリケーションは食事の配慮のためのレシピの自動適応である。例えば、本発明の実施形態を利用する高血圧を有する個人は、カラーコーディングで強調表示された材料リスト内の塩を認識でき、或いは自動的にレシピ内の塩の適切な代替えができる。同様に、本発明の実施形態を利用する糖尿病患者は、代替材料の辞書或いは代替オントロジーを利用した代替レシピにおける特定の材料を有することができる。
【００６３】
別の有用なアプリケーションは、レシピの材料或いはステップを見逃したり無視されたときに、レシピの「回復」または「修復」を伴う。このユースケースでは、実行可能なレシピグラフはガイダンスおよび代替案をユーザに提供することでレシピを保存するために使用できる。例えば、あまりにも多くの塩が添加された場合は塩吸収材料が提案され、他の材料の代替案は代替材料の辞書又は代替オントロジーを使用して推奨されることができる。
【００６４】
本開示の実施形態は、例えば、本開示の実施形態によるブロックダイアグラム及び／又は、方法、システム、およびコンピュータプログラム製品の動作説明図を参照して上で説明されている。全てのフローチャートに示されているように、ブロックで言及された機能／動作は順序を外れて発生し得る。例えば、連続して図示されている二つのブロックは、実際には、実質的に同時実行することができ、或いはそのブロックが時折該当する機能／動作に応じて、逆の順序で実行されてもよい。さらに、全てのフローチャートに示されるブロックは、全てが遂行及び／又は実行される必要はない。例えば、所与のフローチャートが機能／動作を含む５つのブロックを有する場合、５つのブロックのうち３つだけが遂行及び／又は実行される場合であってもよい。この例では、５つのブロックのうち任意の３つが遂行及び／又は実行されてもよい。
【００６５】
本出願において提供される一つまたはそれ以上の実施形態の説明および例示は、いかなる方法に記載のように、本開示の範囲を限定または制限するものではない。本出願において提供される実施形態、実施例及び詳細は、他者をして請求された実施形態の最善の方法を活用および使用することを可能にするための所持を伝えるのに十分であると考えられる。記載の実施形態は、本出願において提供される任意の実施形態、実施例、または詳細に限定されると解釈されるべきではない。組み合わせ或いは別個に示され記載されるか否かにかかわらず、様々な機能（構造的および方法論の両方）が特徴の特定の組を有する実施形態を作り出すために選択的に含めるかまたは省略されることが意図される。本出願の説明および例示が提供され、当業者は請求項に係る実施形態のより広い範囲から逸脱しない、本出願で具現化された一般的発明概念のより広い態様の趣旨の範囲内に含まれる変形、修正、および代替実施形態を想定することができるだろう。  
【００６６】
【図１】
2018506758.tif 000002
【図２】
2018506758.tif 000003
【図３】
2018506758.tif 000004
【図４】
2018506758.tif 000005
【国際調査報告】
2018506758.tif 000006
2018506758.tif 000007
2018506758.tif 000008