(57)【要約】【課題】作業を行うユーザに対する適切なアシストを可能にする。【解決手段】本願に係る判定システムは、取得部と、判定部とを有する。取得部は、作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する。判定部は、取得部により取得された画像情報と前記複数のフェーズに関する情報とに基づいて、ユーザの作業におけるフェーズである作業中フェーズを判定する。【選択図】図１
2018101353.tif 000002
【特許請求の範囲】
【請求項１】
作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する取得部と、
前記取得部により取得された画像情報と前記複数のフェーズに関する情報とに基づいて、前記ユーザの作業におけるフェーズである作業中フェーズを判定する判定部と、
を備えることを特徴とする判定システム。
【請求項２】
前記取得部は、
前記ユーザの視線方向に関する前記画像情報を取得する
ことを特徴とする請求項１に記載の判定システム。
【請求項３】
前記取得部は、
前記ユーザの手元に関する前記画像情報を取得する
ことを特徴とする請求項１または請求項２に記載の判定システム。
【請求項４】
前記取得部は、
前記ユーザが装着したウェアラブル端末により前記画像情報を取得する
ことを特徴とする請求項１〜３のいずれか１項に記載の判定システム。
【請求項５】
前記判定部により判定された前記作業中フェーズに関する情報を出力する出力部
をさらに備えたことを特徴とする請求項１〜４のいずれか１項に記載の判定システム。
【請求項６】
前記出力部は、
前記作業中フェーズに関する情報を音声情報として出力する
ことを特徴とする請求項５に記載の判定システム。
【請求項７】
前記出力部は、
前記作業中フェーズにおける作業内容に関する情報を出力する
ことを特徴とする請求項５または請求項６に記載の判定システム。
【請求項８】
前記出力部は、
前記ユーザが前記作業中フェーズにおける作業内容と異なる作業を行った場合に、警告情報を出力する
ことを特徴とする請求項５〜７のいずれか１項に記載の判定システム。
【請求項９】
前記出力部は、
前記判定部による前記作業中フェーズの判定後、次のフェーズへの移行または作業の完了がなく所定の期間が経過した場合、警告情報を出力する
ことを特徴とする請求項５〜８のいずれか１項に記載の判定システム。
【請求項１０】
前記出力部は、
前記ユーザに作業の進行を促す情報を出力する
ことを特徴とする請求項５〜９のいずれか１項に記載の判定システム。
【請求項１１】
前記取得部は、
前記複数のフェーズを含む料理を行うユーザに関する前記画像情報を取得し、
前記判定部は、
前記画像情報と前記複数のフェーズに関する情報とに基づいて、前記ユーザの料理における前記作業中フェーズを判定する
ことを特徴とする請求項１〜１０のいずれか１項に記載の判定システム。
【請求項１２】
コンピュータが実行する判定方法であって、
作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する取得工程と、
前記取得工程により取得された画像情報と前記複数のフェーズに関する情報とに基づいて、前記ユーザの作業におけるフェーズである作業中フェーズを判定する判定工程と、
を含むことを特徴とする判定方法。
【請求項１３】
作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する取得手順と、
前記取得手順により取得された画像情報と前記複数のフェーズに関する情報とに基づいて、前記ユーザの作業におけるフェーズである作業中フェーズを判定する判定手順と、
をコンピュータに実行させることを特徴とする判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定システム、判定方法、及び判定プログラムに関する。
【背景技術】
【０００２】
従来、ユーザが行っている作業や状況に応じてユーザに情報を提供する技術が提供されている。例えば、ユーザに拡張現実感のある案内を行う案内情報を提供するシステムが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０１４６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の従来技術では、作業を行うユーザに対する適切なアシストを可能にすることが難しい場合がある。例えば、ユーザが所持する紙媒体を利用して情報を提供する場合、例えば紙媒体を手に持った状態で行うことが難しい作業等を行っているユーザに情報提供等のアシストを適切に行うことが難しい場合がある。
【０００５】
本願は、上記に鑑みてなされたものであって、作業を行うユーザに対する適切なアシストを可能にする判定システム、判定方法、及び判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に係る判定システムは、作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する取得部と、前記取得部により取得された画像情報と前記複数のフェーズに関する情報とに基づいて、前記ユーザの作業におけるフェーズである作業中フェーズを判定する判定部と、を備えたことを特徴とする。
【発明の効果】
【０００７】
実施形態の一態様によれば、作業を行うユーザに対する適切なアシストを可能にすることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る判定処理の一例を示す図である。
【図２】図２は、実施形態に係る判定システムの構成例を示す図である。
【図３】図３は、実施形態に係る判定装置の構成例を示す図である。
【図４】図４は、実施形態に係る作業情報記憶部の一例を示す図である。
【図５】図５は、実施形態に係る出力情報記憶部の一例を示す図である。
【図６】図６は、実施形態に係る端末装置の構成例を示す図である。
【図７】図７は、実施形態に係る判定処理の一例を示すフローチャートである。
【図８】図８は、実施形態に係る判定処理の一例を示すシーケンス図である。
【図９】図９は、実施形態に係る判定システムにおける作業誤りの通知の一例を示す図である。
【図１０】図１０は、判定装置及び端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下に、本願に係る判定システム、判定方法、及び判定プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る判定システム、判定方法、及び判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【００１０】
（実施形態）
〔１−１．判定処理〕
図１を用いて、実施形態に係る判定処理の一例について説明する。図１は、実施形態に係る判定処理の一例を示す図である。図１では、ユーザが行う作業が料理であり、判定システム１がユーザによる料理の作業をアシストする情報を出力する場合を示す。例えば、図１の例では、判定システム１が料理支援サービスを提供する場合を示す。具体的には、図１の例では、判定システム１がユーザから指定された料理に関する料理支援サービスを提供する場合を示す。なお、判定システム１が対象とする作業は料理に限らず、ユーザが行う作業であればどのような作業であってもよい。
【００１１】
〔１−２．判定システムの構成〕
まず、図１及び図２に示す判定システム１について説明する。図２に示すように、判定システム１は、端末装置１０と、センサ装置２０と、判定装置１００とが含まれる。端末装置１０と、センサ装置２０と、判定装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続される。図２は、実施形態に係る判定システムの構成例を示す図である。なお、図２に示した判定システム１には、複数台の端末装置１０や、複数台のセンサ装置２０や複数台の判定装置１００が含まれてもよい。
【００１２】
端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、ユーザによる種々の操作を受け付ける。なお、以下では、端末装置１０をユーザと表記する場合がある。すなわち、以下では、ユーザを端末装置１０と読み替えることもできる。なお、上述した端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal  Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal  Digital  Assistant）等により実現される。
【００１３】
図１に示す例において、端末装置１０は、音声応答システム（音声認識）の機能を有し、ユーザが発する音声情報（以下、「発話」ともいう）を検知し、検知した発話を入力情報として受け付ける。例えば、端末装置１０は、ユーザの発話に対して、処理を行う端末装置である。図１の例では、端末装置１０は、ユーザによる発話を検知した場合、ユーザの発話に基づく入力情報を配信装置１００へ送信したり、ユーザの発話に対応するコンテンツを表示したりする。
【００１４】
センサ装置２０は、所定の情報を検知する情報処理装置である。センサ装置２０は、メガネ型端末や腕時計型端末等のウェアラブル端末であってもよい。図１の例では、センサ装置２０は、ユーザＵ１が身に着けているメガネ型端末である場合を示す。図１の例では、センサ装置２０は、撮像機能や通信機能を有する。例えば、センサ装置２０は、ＣＣＤ（Charge  Coupled  Device）等の撮像素子により実現されるカメラ機能やビデオ機能を有し、静止画像や動画像を撮像する。また、センサ装置２０は、画像情報を端末装置１０に送信する。なお、センサ装置２０及び端末装置１０間の通信は、例えばＷｉＦｉ（登録商標）（Wireless  Fidelity）やブルートゥース（登録商標）の機能により行われてもよいし、他の通信（近距離無線通信等）の機能により行われてもよい。
【００１５】
判定装置１００は、ユーザの行動情報に基づいて、画像情報と複数のフェーズに関する情報とに基づいて、ユーザの作業におけるフェーズである作業中フェーズを判定する情報処理装置である。例えば、判定装置１００は、料理支援サービスを提供する情報処理装置であってもよい。
【００１６】
また、判定装置１００は、音声認識の機能を有してもよい。また、判定装置１００は、音声認識サービスを提供する音声認識サーバから情報を取得可能であってもよい。この場合、判定システム１は、音声認識サーバが含まれてもよい。なお、図１の例では、判定装置１００や音声認識サーバが、種々の従来技術を適宜用いてユーザの発話を認識したり、発話したユーザを特定したりするものとして、音声認識の機能に関する説明を省略する。
【００１７】
ここから、図１に戻って、判定システム１による判定処理について説明する。図１の例では、ユーザＩＤ「Ｕ１」により識別されるユーザ（以下、「ユーザＵ１」とする場合がある）が料理「肉じゃが」を作る作業を支援（アシスト）する場合を示す。図１では、ユーザＵ１が自宅等で判定システム１による料理支援サービスを利用する場合を示す。なお、以下では、判定システム１によりユーザが作業中であるフェーズと判定されたフェーズを「作業中フェーズ」と記載する場合がある。
【００１８】
また、図１では、判定が行われるタイミングや出力が行われるタイミング等に応じて、判定装置１００を判定装置１００−１〜１００−３として説明する。すなわち、図１では、判定装置１００−１、１００−２、１００−３の順で時間が経過していることを示す。なお、判定装置１００−１〜１００−３は同一の判定装置１００である。また、以下では、判定装置１００−１〜１００−３について、特に区別することなく説明する場合には、判定装置１００と記載する。
【００１９】
また、以下では、作業中フェーズに応じて、作業情報記憶部１２１を作業情報記憶部１２１−１〜１２１−３として説明する。すなわち、図１では、作業情報記憶部１２１−１、１２１−２、１２１−３の順で時間が経過していることを示す。また、作業情報記憶部１２１−１〜１２１−３は同一の作業情報記憶部１２１である。また、以下では、作業情報記憶部１２１−１〜１２１−３について、特に区別することなく説明する場合には、作業情報記憶部１２１と記載する。
【００２０】
また、図１では、端末装置１０を端末装置１０−１〜１０−３として説明する。すなわち、図１では、端末装置１０−１、１０−２、１０−３の順で時間が経過していることを示す。なお、端末装置１０−１〜１０−３は同一の端末装置１０である。また、以下では、端末装置１０−１〜１０−３について、特に区別することなく説明する場合には、端末装置１０と記載する。
【００２１】
例えば、図１の例では、作業情報記憶部１２１中のハッチングが付されたフェーズが作業中フェーズと判定されたフェーズであることを示す。例えば、作業情報記憶部１２１−２においては、第２フェーズにハッチングが付されているため、ユーザＵ１の肉じゃがを作る作業における作業中フェーズが第２フェーズであることを示す。なお、図１では、説明のために、作業中フェーズをハッチングにより図示するが、作業情報記憶部１２１には、作業中フェーズを識別するフラグ等の情報が記憶されてもよい。
【００２２】
また、図１中の作業情報記憶部１２１は、料理ＩＤ「ＣＫ１」により識別される料理は、料理名「肉じゃが」であることを示す。また、図１中の作業情報記憶部１２１は、料理ＩＤ「ＣＫ１」により識別される料理は、第１フェーズ〜第３フェーズを含む複数のフェーズを含むことを示す。また、図１中の作業情報記憶部１２１は、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズは、内容が「材料を揃える」ことであることを示す。また、図１中の作業情報記憶部１２１は、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズは、対象が「肉、じゃがいも・・・」であることを示す。このように、作業情報記憶部１２１には、作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズに関する情報等、ユーザの料理を支援するための各種情報が記憶される。例えば、図１中の作業情報記憶部１２１に示すように、各フェーズには、そのフェーズにおいて行われるべき作業内容が関連（タグ）付けされる。また、例えば、各フェーズは、第１フェーズ〜第２０フェーズ等のように、各フェーズ間の順序が予め決められている。この場合、ユーザが、第１フェーズ、第２フェーズ、第３フェーズ、第４フェーズ・・・第２０フェーズと、フェーズを示す数を昇順に作業を行うことにより、所望の料理が完成するように作業情報は構成される。これにより、ユーザは、第１フェーズを行った後に第２フェーズを行い、第２フェーズを行った後に第３フェーズを行い、第１９フェーズを行った後に第２０フェーズを行いといったように、各フェーズを順序通り作業を行うことにより、料理を作ることができる。以下、判定システム１がユーザによる料理の作業をアシストする情報を作業情報記憶部１２１に基づいて出力する処理について説明する。
【００２３】
まず、図１の例では、ユーザＵ１がキッチンＫＣにおいて料理を行う際に、端末装置１０の周囲において、「肉じゃがを作ります」という発話ＰＡ１１を行う。これにより、端末装置１０−１は、「肉じゃがを作ります」という発話ＰＡ１１を入力として取得する（ステップＳ１１）。例えば、図１の例では、端末装置１０−１は、ユーザＵ１の発話を検知可能なキッチンＫＣの周囲に配置され、判定システム１による料理支援サービスに関するアプリケーション（以下、「料理支援アプリ」ともいう）が起動されているものとする。
【００２４】
なお、ユーザＵ１は、端末装置１０に表示された料理支援アプリのアイコンを押下したり、所定の発話を行ったりすることにより、料理支援アプリを起動してもよい。例えば、ユーザＵ１は、「料理支援アプリＸＸを起動」や「はい、ＸＸ」や「オーケー、ＸＸ」等のアプリを起動させる所定の発話を行うことにより、アプリを起動させてもよい。そして、端末装置１０−１は、取得した発話ＰＡ１１の音声情報を入力情報として判定装置１００に送信する（ステップＳ１２）。
【００２５】
なお、端末装置１０は、発話ＰＡ１１の音声情報を音声認識サーバへ送信し、音声認識サーバから発話ＰＡ１１の文字情報を取得し、取得した文字情報を判定装置１００へ送信してもよい。この場合、端末装置１０は、取得した発話ＰＡ１１を行ったユーザがユーザＵ１であることを示す情報を判定装置１００に送信してもよい。また、端末装置１０が音声認識機能を有する場合、端末装置１０は、判定装置１００に送信することを要する入力情報のみを判定装置１００に送信してもよい。
【００２６】
端末装置１０から発話ＰＡ１１の音声情報を取得した判定装置１００は、発話ＰＡ１１に料理の指定に関する情報（以下、「料理指定情報」ともいう）が含まれているかどうかを判定する（ステップＳ１３）。例えば、判定装置１００は、受け付けた発話ＰＡ１１の音声情報を解析することにより、発話ＰＡ１１に料理指定情報が含まれているかどうかを判定する。例えば、判定装置１００は、料理支援サービスにおいて対象とする料理名のリストと発話ＰＡ１１に含まれる文字列とを比較することにより、発話ＰＡ１１に料理指定情報が含まれるかどうかを判定する。なお、ユーザの発話に料理指定情報が含まれるかどうかの判定は、判定装置１００が行ってもよいし、他の装置が行ってもよい。ユーザの発話に料理指定情報が含まれるかどうかの判定を他の装置が行う場合、判定装置１００は発話ＰＡ１１に料理指定情報が含まれるかどうかの判定結果や指定された料理名に関する情報を他の装置から取得するものとする。
【００２７】
図１の例では、判定装置１００は、受け付けた発話ＰＡ１１の音声情報を文字情報に変換し、変換後の文字情報に基づいて、発話ＰＡ１１にユーザＵ１が肉じゃがを作ろうとしていることを示す内容が含まれると判定する。例えば、判定装置１００は、発話ＰＡ１１の文字情報を構文解析等の種々の従来技術を適宜用いて解析することにより、ユーザＵ１が肉じゃがを作ろうとしていることを特定する。すなわち、判定装置１００は、発話ＰＡ１１を行ったユーザＵ１から料理名「肉じゃが」に関する料理指定情報を受け付ける。
【００２８】
例えば、図１中の作業情報記憶部１２１−１に示すように、ユーザＵ１の発話ＰＡ１１により、判定装置１００は、料理ＩＤ「ＣＫ１」により識別される料理名「肉じゃが」を対象に料理支援サービスに関する情報等を提供する。例えば、判定装置１００は、出力情報記憶部１２２に記憶された出力情報を端末装置１０に提供する。
【００２９】
図１中の出力情報記憶部１２２は、ユーザＵ１が肉じゃがを作る場合、第１フェーズでは、出力ＩＤ「ＯＰ１」により識別される「肉、じゃがいも…を用意してください」といった内容の出力情報（以下、「第１フェーズ情報ＯＰ１」ともいう）を提供することを示す。また、図１中の出力情報記憶部１２２は、ユーザＵ１が肉じゃがを作る場合、第２フェーズでは、出力ＩＤ「ＯＰ２」により識別される「肉を一口大に切ってください」といった内容の出力情報（以下、「第２フェーズ情報ＯＰ２」ともいう）を提供することを示す。
【００３０】
また、以下では、提供する出力情報に応じて、出力情報記憶部１２２を出力情報記憶部１２２−１〜１２２−３として説明する。なお、出力情報記憶部１２２−１〜１２２−３は同一の出力情報記憶部１２２である。また、以下では、出力情報記憶部１２２−１〜１２２−３について、特に区別することなく説明する場合には、出力情報記憶部１２２と記載する。
【００３１】
図１の例では、判定装置１００は、作業情報記憶部１２１−１に示すように、ユーザＵ１が作る料理が肉じゃがであると判定したため、肉じゃがの第１フェーズを作業中フェーズに設定する。そして、判定装置１００は、作業中フェーズに対応する出力情報を端末装置１０−１に提供する（ステップＳ１４）。図１の例では、判定装置１００は、出力情報記憶部１２２−１に示すように、作業中フェーズである第１フェーズに対応する「肉、じゃがいも…を用意してください」という内容の第１フェーズ情報ＯＰ１を端末装置１０に提供する。
【００３２】
そして、第１フェーズ情報ＯＰ１を受信した端末装置１０は、第１フェーズ情報ＯＰ１を音声として出力する（ステップＳ１５）。なお、端末装置１０は、スピーカにより音声を出力してもよいし、ユーザＵ１がイヤフォンを耳に着けている場合、そのイヤフォンに第１フェーズ情報ＯＰ１を送信することにより、イヤフォンが第１フェーズ情報ＯＰ１を音声として出力してもよい。すなわち、第１フェーズ情報ＯＰ１は、ユーザＵ１に音声として伝達可能であれば、どのような形態により音声として出力されてもよい。また、端末装置１０は、第１フェーズ情報ＯＰ１を文字情報として画面に表示してもよい。
【００３３】
そして、第１フェーズ情報ＯＰ１に含まれる「肉、じゃがいも…を用意してください」という音声により第１フェーズの作業内容を認識したユーザＵ１は、その音声の内容に従って、肉やじゃがいもを準備することとなる。また、図１の例では、ユーザＵ１は、メガネ型端末であるセンサ装置２０を身に着けており、センサ装置２０は、撮像機能により画像を撮像する。すなわち、センサ装置２０は、ユーザの視線方向を撮像する。また、センサ装置２０は、メガネ型端末であるため、ユーザが手を使った作業を行う場合、ユーザが注視するユーザの手元を撮像することとなる。
【００３４】
なお、センサ装置２０は、動画像を撮像してもよいし、所定の間隔で画像を撮像してもよい。また、センサ装置２０は、撮像した画像情報を端末装置１０に送信する。なお、センサ装置２０は、撮像した全情報を端末装置１０に送信してもよいし、動画像を撮像する場合、所定のフレームレートで抽出した画像情報を端末装置１０に送信してもよい。
【００３５】
図１中のステップＳ１５後のユーザＵ１（図１中央のユーザＵ１）が、肉ＭＴ１、じゃがいもＰＴ１、及び玉ねぎＯＮ１を準備した状態を示し、センサ装置２０は、その状況を撮像した画像情報ＩＭ１１を端末装置１０−２に送信する。そして、端末装置１０−２は、画像情報ＩＭ１１を受信する（ステップＳ１６）。例えば、端末装置１０は、センサ装置２０に画像情報を送信するように指示することにより、センサ装置２０から送信される画像情報ＩＭ１１を受信してもよい。このように、センサ装置２０は、端末装置１０からの指示に応じて、端末装置１０に画像情報ＩＭ１１を送信してもよい。その後、端末装置１０−２は、画像情報ＩＭ１１を判定装置１００に送信する（ステップＳ１７）。なお、端末装置１０は、センサ装置２０が撮像した全情報をセンサ装置２０から受信する場合、所定の間隔（フレームレート等）で抽出した画像情報を判定装置１００に送信してもよい。
【００３６】
端末装置１０−２から画像情報ＩＭ１１を取得した判定装置１００は、ユーザＵ１の作業中フェーズを判定する（ステップＳ１８）。例えば、判定装置１００は、その時点における作業中フェーズである肉じゃがの第１フェーズに関する判定情報「ＤＣＫ１−１」（図４参照）に基づいて、ユーザＵ１の作業中フェーズを判定する。
【００３７】
例えば、判定情報「ＤＣＫ１−１」には、肉ＭＴ１の画像情報や、じゃがいもＰＴ１の画像情報や、玉ねぎＯＮ１の画像情報が含まれており、判定装置１００は、端末装置１０から取得した画像情報ＩＭ１１と、判定情報「ＤＣＫ１−１」に含まれる画像情報等を比較することにより、材料が揃っているかを判定するものとする。図１の例では、画像情報ＩＭ１１には、肉ＭＴ１、じゃがいもＰＴ１、及び玉ねぎＯＮ１が含まれているため、判定装置１００は、ユーザＵ１が第１フェーズを完了したと判定する。すなわち、判定装置１００は、第１フェーズの次のフェーズである第２フェーズを作業中フェーズであると判定する。なお、判定装置１００は、画像情報から料理に使用される物を判定する技術として、パターン認識等の画像処理の種々の技術を適宜用いてもよい。
【００３８】
図１の例では、判定装置１００は、作業情報記憶部１２１−２に示すように、ユーザＵ１の作業中フェーズが第２フェーズであると判定したため、肉じゃがの第２フェーズを作業中フェーズに設定する。そして、判定装置１００は、作業中フェーズに対応する出力情報を端末装置１０−２に提供する（ステップＳ１９）。図１の例では、判定装置１００は、出力情報記憶部１２２−２に示すように、作業中フェーズである第２フェーズに対応する「肉を一口大に切ってください」という内容の第２フェーズ情報ＯＰ２を端末装置１０に提供する。
【００３９】
そして、第２フェーズ情報ＯＰ２を受信した端末装置１０は、第２フェーズ情報ＯＰ２を音声として出力する（ステップＳ２０）。例えば、端末装置１０は、スピーカやユーザＵ１が耳に着けているイヤフォンにより第２フェーズ情報ＯＰ２を音声として出力する。
【００４０】
そして、第２フェーズ情報ＯＰ２に含まれる「肉を一口大に切ってください」という音声により第２フェーズの作業内容を認識したユーザＵ１は、その音声の内容に従って、肉を一口大に切ることとなる。
【００４１】
図１中のステップＳ２０後のユーザＵ１（図１右側のユーザＵ１）が、まな板ＣＢ上で肉ＭＴ１を肉ＭＴ１−１、ＭＴ１−２、ＭＴ１−３に切った状態を示し、センサ装置２０は、その状況を撮像した画像情報ＩＭ２１を端末装置１０に送信する。上述したように、センサ装置２０は、メガネ型端末であるため、ユーザＵ１が包丁で肉ＭＴ１を切っている際は、ユーザＵ１が注視するユーザの手元を撮像することとなる。そのため、判定システム１は、ユーザＵ１に特に意識させたり、余計な手間をかけさせたりすることなく、作業中フェーズの判定に用いる画像情報を収集することができる。
【００４２】
そして、端末装置１０−３は、画像情報ＩＭ２１を受信する（ステップＳ２１）。その後、端末装置１０−３は、画像情報ＩＭ２１を判定装置１００に送信する（ステップＳ２２）。
【００４３】
端末装置１０−３から画像情報ＩＭ２１を取得した判定装置１００は、ユーザＵ１の作業中フェーズを判定する（ステップＳ２３）。例えば、判定装置１００は、その時点における作業中フェーズである肉じゃがの第２フェーズに関する判定情報「ＤＣＫ１−２」（図４参照）に基づいて、ユーザＵ１の作業中フェーズを判定する。
【００４４】
例えば、判定情報「ＤＣＫ１−２」には、肉ＭＴ１が一口大に成形された状態の画像情報が含まれており、判定装置１００は、端末装置１０−３から取得した画像情報ＩＭ２１と、判定情報「ＤＣＫ１−２」に含まれる画像情報等を比較することにより、肉ＭＴ１が一口大に切られているかを判定するものとする。図１の例では、画像情報ＩＭ２１には、肉ＭＴ１が一口大に切られた肉ＭＴ１−１、ＭＴ１−２、ＭＴ１−３が含まれているため、判定装置１００は、ユーザＵ１が第２フェーズを完了したと判定する。すなわち、判定装置１００は、第２フェーズの次のフェーズである第３フェーズを作業中フェーズであると判定する。
【００４５】
図１の例では、判定装置１００は、作業情報記憶部１２１−３に示すように、ユーザＵ１の作業中フェーズが第３フェーズであると判定したため、肉じゃがの第３フェーズを作業中フェーズに設定する。そして、判定装置１００は、作業中フェーズに対応する出力情報を端末装置１０−３に提供する（ステップＳ２４）。図１の例では、判定装置１００は、出力情報記憶部１２２−３に示すように、作業中フェーズである第３フェーズに対応する出力情報である出力ＩＤ「ＯＰ３」により識別される「じゃがいもを一口大に切ってください」という内容の出力情報（第３フェーズ情報ＯＰ３）を端末装置１０−３に提供する。そして、第３フェーズ情報ＯＰ３を受信した端末装置１０は、第３フェーズ情報ＯＰ３を音声として出力する。その後、判定システム１は、第３フェーズ、第４フェーズ等の肉じゃがの全フェーズを完了する、すなわちユーザＵ１が肉じゃがを作り終わるまで処理を繰り返す。
【００４６】
上述したように、判定システム１は、ユーザＵ１が身に付けたセンサ装置２０により情報を収集することにより、ユーザＵ１に特に意識させたり、余計な手間をかけさせたりすることなく、作業中フェーズの判定に用いる画像情報を収集することができる。このように、判定システム１は、ユーザＵ１が身に付けたセンサ装置２０から画像情報を収集することにより、ユーザＵ１が行っている作業のうち、どのフェーズにあるのかを適切に把握することができる。また、判定システム１は、各フェーズに対応する作業内容に関する情報を順序通り出力することにより、ユーザには、各フェーズを順序通り作業を行うことができるため、ユーザが初めて作る料理や作り方を全く知らない料理等であっても、ユーザが料理することを可能にすることができる。言い換えると、判定システム１は、ユーザがフェーズを完了する毎に、次のフェーズへと順次フェーズを進行させて、そのフェーズに対応する作業内容に関する情報を提供することにより、普段料理をしないユーザ等であっても、料理を適切に完成されることを可能にすることができる。また、判定システム１は、ユーザＵ１が行っている作業に対応する出力情報を音声として出力することにより、ユーザＵ１は視線を作業から離したりすることなく、ユーザＵ１は自身の作業を行いながら、情報を認識することができる。したがって、判定システム１は、ユーザＵ１の作業中フェーズに応じた出力情報をユーザＵ１に提供することにより、作業を行うユーザに対する適切なアシストを可能にすることができる。
【００４７】
〔１−３．作業について〕  
上述した例では、作業の一例として料理を示したが、判定システム１が対象とする作業は料理に限らず、ユーザが行う作業であればどのような作業であってもよい。例えば、判定システム１は、ユーザが身体的動作を行う種々の作業を対象としてもよい。例えば、判定システム１は、習字や編み物等のユーザが手を用いて行う作業を対象としてもよい。また、判定システム１は、所定の工場等に導入されて、工場でのプロセス管理等に適用されてもよい。
【００４８】
〔１−４．システム構成〕  
また、上述した例では、端末装置１０から判定装置１００に情報を送信し、判定装置１００において作業中フェーズが判定される判定システム１を一例として説明したが、判定システムの構成は上記に限らない。例えば、端末装置１０が作業中フェーズを判定する判定システムの構成であってもよい。すなわち、この場合、端末装置１０は判定装置１００と一体であってもよい。また、端末装置１０は、センサ装置２０と一体であってもよい。例えば、端末装置１０は、判定装置１００及びセンサ装置２０と一体であってもよい。例えば、ユーザは、身に着けたメガネ型の端末装置１０により、判定システムによる料理支援サービスの提供を受けてもよい。この場合、ユーザは、スタンドアロン型の端末装置１０により、判定システムによる料理支援サービスの提供を受けてもよい。また、例えば、端末装置１０は、判定装置１００等の外部装置に料理の指定を送信し、指定した料理に関する作業情報や出力情報を判定装置１００等の外部装置から受信し、受信した作業情報や出力情報に基づいて、判定システムによる料理支援サービスの提供を行ってもよい。なお、上記は一例であり、上述したサービスをユーザに提供可能であれば、判定システムはどのように構成されてもよい。
【００４９】
〔１−５．フェーズについて〕  
また、上記の例では、ユーＵ１が第１フェーズ〜第３フェーズと順番に行っていく場合を示したが、ユーザＵ１は順不同であってもよいフェーズの順番は適宜変更して作業を行ってもよい。例えば、図１の例において、肉を切る第２フェーズとじゃがいもを切る第３フェーズとはいずれを先に行ってもよい。そのため、判定システム１は、切る作業全体を１つのフェーズとしたり、切る作業に関する各フェーズを順不同のフェーズとして識別したりしてもよい。各フェーズの処理が順不同である場合、判定装置１００は、順不同である各フェーズの処理が全て完了した後、次のフェーズを作業中フェーズとして、次の作業に進むようにしてもよい。例えば、判定装置１００は、第２フェーズや第３フェーズの切る作業が全て完了した場合に、例えば鍋で炒める等の次のフェーズを作業中フェーズであると判定してもよい。
【００５０】
〔１−６．出力情報について〕  
また、上記の例では、ユーＵ１が第１フェーズ〜第３フェーズにおいて１つの出力情報を出力する場合を示したが、判定システム１は、各フェーズにおいて複数の出力情報を出力してもよい。例えば、判定システム１は、各フェーズで複数の出力情報が出力される場合、各フェーズに対応付けて複数の出力情報を記憶したり、各フェーズに対応付けられた複数の出力情報の出力順を記憶したりすることにより、各フェーズにおいて複数の出力情報を出力してもよい。
【００５１】
〔１−６−１．警告や作業催促〕  
また、判定システム１は、ユーザの作業内容に応じて、各種情報を出力してもよい。例えば、判定システム１は、作業中フェーズの判定後、次のフェーズへの移行または作業の完了がなく所定の期間が経過した場合、警告情報を出力してもよい。また、例えば、判定システム１は、ユーザに作業の進行を促す情報を出力してもよい。例えば、判定システム１は、作業中フェーズの変更後、５分以上ユーザが作業を行わなかった場合、「作業を進めてください」等のユーザに作業の進行を促す情報を出力してもよい。また、判定システム１は、ユーザが作業中フェーズにおける作業内容と異なる作業を行った場合に、警告情報を出力してもよい。なお、この点についての詳細は後述する。
【００５２】
〔２．判定装置の構成〕
次に、図３を用いて、実施形態に係る判定装置１００の構成について説明する。図３は、実施形態に係る判定装置の構成例を示す図である。図３に示すように、判定装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、判定装置１００は、判定装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【００５３】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network  Interface  Card）等によって実現される。そして、通信部１１０は、ネットワーク（例えば図２中のネットワークＮ）と有線または無線で接続され、端末装置１０との間で情報の送受信を行う。
【００５４】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図３に示すように、作業情報記憶部１２１と、出力情報記憶部１２２とを有する。
【００５５】
（作業情報記憶部１２１）
実施形態に係る作業情報記憶部１２１は、作業に関する情報を記憶する。例えば、作業情報記憶部１２１には、作業に含まれる各フェーズの情報等の各種情報が記憶される。図４は、実施形態に係る作業情報記憶部の一例を示す図である。図４には、作業情報記憶部１２１に記憶される作業に関する情報の一例を示す。図４に示すように、作業情報記憶部１２１は、作業に関する情報として、「料理ＩＤ」、「料理名」、「フェーズ」、「内容」、「対象」、「判定情報」といった項目が含まれる。
【００５６】
「料理ＩＤ」は、作業である料理を識別するための識別情報を示す。「料理名」は、対応する作業の料理名を示す。「フェーズ」は、料理に含まれるフェーズを示す。また、「内容」は、対応するフェーズの作業内容を示す。また、「対象」は、対応するフェーズの作業の対象を示す。また、「判定情報」は、対応するフェーズの作業が完了したかを判定するために用いる情報を示す。
【００５７】
例えば、図４に示す例において、料理ＩＤ「ＣＫ１」により識別される料理は、料理名「肉じゃが」であることを示す。また、例えば、図４に示す例において、料理ＩＤ「ＣＫ１」により識別される料理は、第１フェーズ〜第３フェーズを含む複数のフェーズを含むことを示す。また、例えば、図４に示す例において、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズは、内容が「材料を揃える」ことであることを示す。また、例えば、図４に示す例において、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズは、対象が「肉、じゃがいも・・・」であることを示す。また、例えば、図４に示す例において、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズの判定情報は、判定情報「ＤＣＫ１−１」であることを示す。
【００５８】
なお、図４の例では、判定情報を「ＤＣＫ１−１」等と抽象的に図示するが、判定情報には、対応するフェーズが完了したかの判定に用いる種々の情報が含まれてもよい。例えば、フェーズの判定に画像を用いる場合、判定情報として静止画像や動画像やテキストデータやＵＲＬ（Uniform  Resource  Locator）、または、これらの格納場所を示すファイルパス名などが格納されてもよい。例えば、料理ＩＤ「ＣＫ１」により識別される料理の第１フェーズにおいての判定に画像を用いる場合、判定情報「ＤＣＫ１−１」には、肉ＭＴ１の画像情報や、じゃがいもＰＴ１の画像情報や、玉ねぎＯＮ１の画像情報が含まれてもよい。この場合、例えば、判定装置１００は、端末装置１０から取得した画像情報と、判定情報「ＤＣＫ１−１」に含まれる画像情報等を比較することにより、材料が揃っているかを判定してもよい。また、例えば、フェーズが「５分煮る」等の時間に関する指定があるフェーズである場合、判定情報には、待ち時間「５分」等の時間に関する情報が含まれてもよい。
【００５９】
なお、作業情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、作業情報記憶部１２１は、各フェーズの処理が順不同である場合、その情報を記憶してもよい。また、例えば、作業情報記憶部１２１は、順不同である各フェーズの処理が全て完了した場合に、次のフェーズに進む場合、その情報を記憶してもよい。例えば、作業情報記憶部１２１は、料理ＩＤ「ＣＫ１」により識別される料理である肉じゃがにおいて、肉を切る第２フェーズやじゃがいもを切る第３フェーズ等の切る作業が順不同である場合、その情報を記憶してもよい。また、この場合、作業情報記憶部１２１は、第２フェーズや第３フェーズの切る作業が全て完了した場合に、例えば鍋で炒める等の次のフェーズに進む場合、その情報を記憶してもよい。
【００６０】
（出力情報記憶部１２２）
実施形態に係る出力情報記憶部１２２は、出力に関する各種情報を記憶する。図５は、実施形態に係る出力情報記憶部の一例を示す図である。例えば、出力情報記憶部１２２は、ユーザの作業をアシストするために出力する情報を記憶する。図５の例では、出力情報記憶部１２２には、「料理ＩＤ」、「フェーズ」、「出力ＩＤ」、「内容」といった項目が含まれる。
【００６１】
「料理ＩＤ」は、作業である料理を識別するための識別情報を示す。「フェーズ」は、料理に含まれるフェーズを示す。「出力ＩＤ」は、出力する情報を識別するための識別情報を示す。また、「内容」は、対応する出力の内容を示す。
【００６２】
例えば、図５に示す例において、料理ＩＤ「ＣＫ１」により識別される料理において、第１フェーズでは、出力ＩＤ「ＯＰ１」により識別される「肉、じゃがいも…を用意してください」といった内容の出力情報が出力されることを示す。
【００６３】
なお、出力情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、出力情報記憶部１２２は、各フェーズで複数の出力情報が出力される場合、各フェーズに対応付けて複数の出力情報を記憶してもよい。また、例えば、出力情報記憶部１２２は、各フェーズに対応付けられた複数の出力情報に出力順がある場合、出力順を記憶してもよい。
【００６４】
（制御部１３０）
図３の説明に戻って、制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、判定装置１００内部の記憶装置に記憶されている各種プログラム（判定プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現される。
【００６５】
図３に示すように、制御部１３０は、取得部１３１と、判定部１３２と、提供部１３３とを有し、以下に説明する判定処理等の情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
【００６６】
（取得部１３１）
取得部１３１は、各種情報を取得する。例えば、取得部１３１は、作業情報記憶部１２１や出力情報記憶部１２２等から各種情報を取得する。また、取得部１３１は、各種情報を外部の情報処理装置から取得してもよい。また、取得部１３１は、端末装置１０やセンサ装置２０から各種情報を取得する。
【００６７】
例えば、取得部１３１は、作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する。例えば、取得部１３１は、ユーザの視線方向に関する画像情報を取得する。例えば、取得部１３１は、ユーザの手元に関する画像情報を取得する。例えば、取得部１３１は、ユーザが装着した端末装置により画像情報を取得する。例えば、取得部１３１は、複数のフェーズを含む料理を行うユーザに関する画像情報を取得する。
【００６８】
図１の例では、取得部１３１は、端末装置１０から発話ＰＡ１１の音声情報を取得する。図１の例では、取得部１３１は、端末装置１０から画像情報ＩＭ１１を取得する。図１の例では、取得部１３１は、端末装置１０から画像情報ＩＭ２１を取得する。
【００６９】
（判定部１３２）
判定部１３２は、各種情報を判定する。例えば、判定部１３２は、取得部１３１により取得された画像情報と複数のフェーズに関する情報とに基づいて、ユーザの作業におけるフェーズである作業中フェーズを判定する。例えば、判定部１３２は、画像情報と複数のフェーズに関する情報とに基づいて、ユーザの料理における作業中フェーズを判定する。
【００７０】
図１の例では、判定部１３２は、発話ＰＡ１１に料理指定情報が含まれているかどうかを判定する。例えば、判定部１３２は、受け付けた発話ＰＡ１１の音声情報を解析することにより、発話ＰＡ１１に料理指定情報が含まれているかどうかを判定する。例えば、判定部１３２は、料理支援サービスにおいて対象とする料理名のリストと発話ＰＡ１１に含まれる文字列とを比較することにより、発話ＰＡ１１に料理指定情報が含まれるかどうかを判定する。図１の例では、判定部１３２は、受け付けた発話ＰＡ１１の音声情報を文字情報に変換し、変換後の文字情報に基づいて、発話ＰＡ１１にユーザＵ１が肉じゃがを作ろうとしていることを示す内容が含まれると判定する。
【００７１】
図１の例では、判定部１３２は、ユーザＵ１の作業中フェーズを判定する。例えば、判定部１３２は、その時点における作業中フェーズである肉じゃがの第１フェーズに関する判定情報「ＤＣＫ１−１」（図４参照）に基づいて、ユーザＵ１の作業中フェーズを判定する。図１の例では、判定部１３２は、端末装置１０から取得した画像情報ＩＭ１１と、判定情報「ＤＣＫ１−１」に含まれる画像情報等を比較することにより、材料が揃っているかを判定するものとする。図１の例では、画像情報ＩＭ１１には、肉ＭＴ１、じゃがいもＰＴ１、及び玉ねぎＯＮ１が含まれているため、判定部１３２は、ユーザＵ１が第１フェーズを完了したと判定する。例えば、判定部１３２は、第１フェーズの次のフェーズである第２フェーズを作業中フェーズであると判定する。
【００７２】
図１の例では、判定部１３２は、ユーザＵ１の作業中フェーズを判定する。例えば、判定部１３２は、その時点における作業中フェーズである肉じゃがの第２フェーズに関する判定情報「ＤＣＫ１−２」（図４参照）に基づいて、ユーザＵ１の作業中フェーズを判定する。
【００７３】
図１の例では、判定部１３２は、端末装置１０から取得した画像情報ＩＭ２１と、判定情報「ＤＣＫ１−２」に含まれる画像情報等を比較することにより、肉ＭＴ１が一口大に切られているかを判定するものとする。図１の例では、画像情報ＩＭ２１には、肉ＭＴ１が一口大に切られた肉ＭＴ１−１、ＭＴ１−２、ＭＴ１−３が含まれているため、判定部１３２は、ユーザＵ１が第２フェーズを完了したと判定する。例えば、判定部１３２は、第２フェーズの次のフェーズである第３フェーズを作業中フェーズであると判定する。
【００７４】
（提供部１３３）
提供部１３３は、各種情報を提供する。例えば、提供部１３３は、端末装置１０に各種情報を提供する。例えば、提供部１３３は、出力情報記憶部１２２に記憶された出力情報を端末装置１０に提供する。図１の例では、提供部１３３は、端末装置１０に第１フェーズ情報ＯＰ１を提供する。図１の例では、提供部１３３は、端末装置１０に第２フェーズ情報ＯＰ２を提供する。
【００７５】
図１の例では、提供部１３３は、作業情報記憶部１２１−１に示すように、ユーザＵ１が作る料理が肉じゃがであると判定したため、肉じゃがの第１フェーズを作業中フェーズに設定する。例えば、提供部１３３は、作業中フェーズに対応する出力情報を端末装置１０に提供する。図１の例では、提供部１３３は、出力情報記憶部１２２−１に示すように、作業中フェーズである第１フェーズに対応する「肉、じゃがいも…を用意してください」という内容の第１フェーズ情報ＯＰ１を端末装置１０に提供する。
【００７６】
図１の例では、提供部１３３は、作業情報記憶部１２１−２に示すように、ユーザＵ１の作業中フェーズが第２フェーズであると判定したため、肉じゃがの第２フェーズを作業中フェーズに設定する。例えば、提供部１３３は、作業中フェーズに対応する出力情報を端末装置１０に提供する。図１の例では、提供部１３３は、出力情報記憶部１２２−２に示すように、作業中フェーズである第２フェーズに対応する「肉を一口大に切ってください」という内容の第２フェーズ情報ＯＰ２を端末装置１０に提供する。
【００７７】
図１の例では、提供部１３３は、作業情報記憶部１２１−３に示すように、ユーザＵ１の作業中フェーズが第３フェーズであると判定したため、肉じゃがの第３フェーズを作業中フェーズに設定する。例えば、提供部１３３は、作業中フェーズに対応する出力情報を端末装置１０に提供する。図１の例では、提供部１３３は、出力情報記憶部１２２−３に示すように、作業中フェーズである第３フェーズに対応する出力情報である出力ＩＤ「ＯＰ３」により識別される「じゃがいもを一口大に切ってください」という内容の出力情報（第３フェーズ情報ＯＰ３）を端末装置１０に提供する。
【００７８】
〔３．端末装置の構成〕
次に、図６を用いて、実施形態に係る端末装置１０の構成について説明する。図６は、実施形態に係る端末装置の構成例を示す図である。図６に示すように、端末装置１０は、通信部１１と、記憶部１２と、入力部１３と、表示部１４と、制御部１５とを有する。また、端末装置１０は、音声として出力するスピーカやイヤフォン等の外部デバイスの端子の差し込み口（イヤフォンジャック等）を有してもよい。
【００７９】
（通信部１１）
通信部１１は、例えば、通信回路等によって実現される。そして、通信部１１は、図示しない所定の通信網と有線または無線で接続され、判定装置１００との間で情報の送受信を行う。
【００８０】
（記憶部１２）
記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、例えば、端末装置１０にインストールされているアプリケーション（例えば料理支援アプリ等）に関する情報、例えばプログラム等を記憶する。
【００８１】
（入力部１３）
入力部１３は、ユーザからの各種操作を受け付ける。例えば、入力部１３は、タッチパネル機能により表示面（例えば出力部１５３）を介してユーザからの各種操作を受け付けてもよい。また、入力部１３は、端末装置１０に設けられたボタンや、端末装置１０に接続されたキーボードやマウスからの各種操作を受け付けてもよい。
【００８２】
（表示部１４）
表示部１４は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるタブレット端末等の表示画面であり、各種情報を表示するための表示装置である。
【００８３】
（制御部１５）
制御部１５は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、端末装置１０内部の記憶部１２などの記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。例えば、この各種プログラムは、インストールされているアプリケーション（例えば料理支援アプリ等）のプログラムが含まれる。また、制御部１５は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
【００８４】
図６に示すように、制御部１５は、送信部１５１と、受信部１５２と、出力部１５３とを有し、以下に説明する出力処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図６に示した構成に限られず、後述する出力処理を行う構成であれば他の構成であってもよい。
【００８５】
送信部１５１は、種々の情報を送信する。例えば、送信部１５１は、入力部１３により受け付けたユーザからの入力に従って、所定の情報を外部装置へ送信する。例えば、送信部１５１は、所定のマイクロフォン等により検知したユーザの発話に応じて、所定の情報を外部装置へ送信する。例えば、送信部１５１は、起動したアプリにより各種情報を判定装置１００へ送信する。図１の例では、送信部１５１は、ユーザＵ１の発話ＰＡ１１に関する情報を判定装置１００へ送信する。図１の例では、送信部１５１は、取得した発話ＰＡ１１の音声情報を入力情報として判定装置１００に送信する。また、図１の例では、送信部１５１は、センサ装置２０から受信した画像情報ＩＭ１１を判定装置１００へ送信する。また、図１の例では、送信部１５１は、センサ装置２０から受信した画像情報ＩＭ２１を判定装置１００へ送信する。
【００８６】
受信部１５２は、種々の情報を受信する。受信部１５２は、判定装置１００やセンサ装置２０等から種々の情報を受信する。図１の例では、受信部１５２は、センサ装置２０から画像情報ＩＭ１１を受信する。また、図１の例では、受信部１５２は、センサ装置２０から画像情報ＩＭ２１を受信する。また、図１の例では、受信部１５２は、判定装置１００から第１フェーズ情報ＯＰ１を受信する。また、図１の例では、受信部１５２は、判定装置１００から第２フェーズ情報ＯＰ２を受信する。また、図１の例では、受信部１５２は、「肉じゃがを作ります」という発話ＰＡ１１を入力として受信（取得）する。
【００８７】
出力部１５３は、種々の情報を出力する。出力部１５３は、スピーカ等により音声として出力する。また、例えば、出力部１５３は、表示部１４により文字情報や画像情報として表示してもよい。
【００８８】
例えば、出力部１５３は、判定装置１００により判定された作業中フェーズに関する情報を出力する。例えば、出力部１５３は、作業中フェーズに関する情報を音声情報として出力する。例えば、出力部１５３は、作業中フェーズにおける作業内容に関する情報を出力する。図１の例では、出力部１５３は、第１フェーズ情報ＯＰ１である「肉、じゃがいも…を用意してください」を音声として出力する。また、図１の例では、出力部１５３は、第２フェーズ情報ＯＰ２である「肉を一口大に切ってください」を音声として出力する。
【００８９】
例えば、出力部１５３は、ユーザが作業中フェーズにおける作業内容と異なる作業を行った場合に、警告情報を出力する。例えば、出力部１５３は、判定装置１００による作業中フェーズの判定後、次のフェーズへの移行または作業の完了がなく所定の期間が経過した場合、警告情報を出力する。例えば、出力部１５３は、ユーザに作業の進行を促す情報を出力する。なお、これらの点についての詳細は後述する。
【００９０】
なお、上述した制御部１５による出力処理等の処理は、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）などの所定の制御情報により実現されてもよい。また、上述した出力処理が所定のアプリケーション（例えば料理支援アプリ等）により行われる場合や出力処理が専用アプリにより行われる場合、制御部１５は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。
【００９１】
〔４．判定処理のフロー〕
次に、図７を用いて、実施形態に係る判定システム１による判定処理の手順について説明する。図７は、実施形態に係る判定処理の一例を示すフローチャートである。
【００９２】
図７に示すように、判定システム１は、料理が指定されたかどうかを判定する（ステップＳ１０１）。例えば、判定システム１は、ユーザの発話を検知した端末装置１０から取得したユーザの発話に関する情報に基づいて、ユーザにより料理が指定されたかどうかを判定する。料理が指定されていないと判定した場合（ステップＳ１０１：Ｎｏ）、判定システム１は、ステップＳ１０１の処理を繰り返す。
【００９３】
一方、料理が指定されたと判定した場合（ステップＳ１０１：Ｙｅｓ）、判定システム１は、作業情報を取得する。例えば、判定システム１は、作業情報記憶部１２１（図４参照）に記憶された作業情報のうち、料理指定情報に対応する作業情報を取得する（ステップＳ１０２）。
【００９４】
そして、判定システム１は、第１フェーズを作業中フェーズに設定する（ステップＳ１０３）。そして、判定システム１は、作業中フェーズの情報を出力する（ステップＳ１０４）。図１の例では、判定システム１の端末装置１０は、第１フェーズ情報ＯＰ１である「肉、じゃがいも…を用意してください」を音声として出力する。
【００９５】
そして、判定システム１は、画像情報を取得する（ステップＳ１０５）。そして、判定システム１は、取得した画像情報に基づいて、作業中フェーズの作業が完了したかどうかを判定する（ステップＳ１０６）。作業中フェーズの作業が完了していないと判定した場合（ステップＳ１０６：Ｎｏ）、判定システム１は、ステップＳ１０５の処理を繰り返す。
【００９６】
一方、作業中フェーズの作業が完了したと判定した場合（ステップＳ１０６：Ｙｅｓ）、判定システム１は、全フェーズが完了したかどうかを判定する（ステップＳ１０７）。全フェーズが完了していないと判定した場合（ステップＳ１０７：Ｎｏ）、判定システム１は、作業中フェーズを次のフェーズに遷移する（ステップＳ１０８）。その後、判定システム１は、ステップＳ１０４に戻って処理を繰り返す。
【００９７】
一方、全フェーズが完了したと判定した場合（ステップＳ１０７：Ｙｅｓ）、判定システム１は、処理を終了する。
【００９８】
〔５．判定処理のフロー〕
次に、図８を用いて、実施形態に係る判定システム１による判定処理の手順について説明する。図８は、実施形態に係る判定処理の一例を示すシーケンス図である。
【００９９】
図８に示すように、判定装置１００は、端末装置１０から料理指定情報を取得する（ステップＳ２０１）。例えば、判定装置１００は、ユーザの発話を検知した端末装置１０から、ユーザの発話の内容に応じた料理指定情報を取得する。
【０１００】
そして、判定装置１００は、料理指定情報に基づいて作業情報を取得する（ステップＳ２０２）。例えば、判定装置１００は、作業情報記憶部１２１（図４参照）に記憶された作業情報のうち、料理指定情報に対応する作業情報を取得する。
【０１０１】
また、判定装置１００は、作業情報のうち、第１フェーズ情報を端末装置１０へ提供する（ステップＳ２０３）。図１の例では、判定装置１００は、出力情報記憶部１２２（図５参照）に記憶された出力情報のうち、第１フェーズ情報ＯＰ１を端末装置１０へ提供する。
【０１０２】
判定装置１００から第１フェーズ情報を受信した端末装置１０は、第１フェーズ情報を出力する（ステップＳ２０４）。図１の例では、端末装置１０は、第１フェーズ情報ＯＰ１である「肉、じゃがいも…を用意してください」を音声として出力する。
【０１０３】
そして、端末装置１０は、画像情報をセンサ装置２０から受信する（ステップＳ２０５）。図１の例では、端末装置１０は、ユーザが装着したメガネ型の撮像装置であるセンサ装置２０から送信される画像情報を受信する。例えば、端末装置１０は、センサ装置２０に画像情報を送信するように指示することにより、センサ装置２０から送信される画像情報を受信してもよい。
【０１０４】
そして、センサ装置２０から画像情報を受信した端末装置１０は、画像情報を判定装置１００へ送信する（ステップＳ２０６）。図１の例では、端末装置１０は、肉ＭＴ１やじゃがいもＰＴ１や玉ねぎＯＮ１等を含む画像情報ＩＭ１１を判定装置１００へ送信する。
【０１０５】
端末装置１０から画像情報を取得した判定装置１００は、画像情報に基づいて判定処理を行う（ステップＳ２０７）。図１の例では、判定装置１００は、肉ＭＴ１やじゃがいもＰＴ１や玉ねぎＯＮ１等を含む画像情報ＩＭ１１に基づいて、ユーザＵ１が第１フェーズを完了したかどうかを判定する。そして、判定装置１００は、ユーザＵ１が第１フェーズを完了したと判定した場合、第１フェーズの次の第２フェーズへ遷移し、端末装置１０に第２フェーズ情報ＯＰ２を提供する。また、判定装置１００は、ユーザＵ１が第１フェーズを完了していないと判定した場合、所定の情報を提供したり、次の画像情報を取得するまで待機したりする。なお、判定装置１００は、第２フェーズ以降も同様の判定処理を行うため、説明を省略する。
【０１０６】
〔６．作業の誤り出力〕
なお、判定システム１は、ユーザの作業内容に応じて、各種情報を出力してもよい。例えば、判定装置１００は、ユーザの作業内容が作業中フェーズの内容と異なる場合、所定の警告を出力してもよい。この点について、図９を基に説明する。図９は、実施形態に係る判定システムにおける作業誤りの通知の一例を示す図である。なお、図９において、図１と同様の点については、適宜説明を省略する。
【０１０７】
端末装置１０−３は、図１中の端末装置１０−３に対応する。また、出力記憶部１２１−２は、図１中の出力記憶部１２１−２に対応する。また、図９の例では、所定の警告情報を出力情報として含む出力情報記憶部１２２Ａを示す。なお、上記の点以外は、出力情報記憶部１２２Ａは出力情報記憶部１２２と同様である。図９の例では、ユーザの作業中フェーズが肉じゃがの第２フェーズである場合を示す。
【０１０８】
まず、図９の例では、まな板ＣＢ上で玉ねぎＯＮ１を玉ねぎＯＮ１−１、ＯＮ１−２に切った状態を示し、センサ装置２０は、その状況を撮像した画像情報ＩＭ３１を端末装置１０に送信する。そして、端末装置１０−３は、画像情報ＩＭ３１を受信する（ステップＳ３１）。その後、端末装置１０−３は、画像情報ＩＭ３１を判定装置１００に送信する（ステップＳ３２）。
【０１０９】
端末装置１０−３から画像情報ＩＭ３１を取得した判定装置１００は、ユーザＵ１の作業中フェーズを判定する（ステップＳ３３）。例えば、判定装置１００は、その時点における作業中フェーズである肉じゃがの第２フェーズに関する判定情報「ＤＣＫ１−２」（図４参照）に基づいて、ユーザＵ１の作業中フェーズを判定する。
【０１１０】
例えば、判定情報「ＤＣＫ１−２」には、肉ＭＴ１が一口大に成形された状態の画像情報が含まれており、判定装置１００は、端末装置１０−３から取得した画像情報ＩＭ３１と、判定情報「ＤＣＫ１−２」に含まれる画像情報等を比較することにより、肉ＭＴ１が一口大に切られているかを判定するものとする。図９の例では、画像情報ＩＭ３１には、肉ＭＴ１ではない玉ねぎＯＮ１が２つに切られた玉ねぎＯＮ１−１、ＯＮ１−２が含まれているため、判定装置１００は、ユーザＵ１が第２フェーズとは異なる作業を行っていると判定する。すなわち、判定装置１００は、作業中フェーズが第２フェーズのままであり、第２フェーズが完了していないと判定する。
【０１１１】
そのため、図９の例では、判定装置１００は、作業情報記憶部１２１−２に示すように、ユーザＵ１の作業中フェーズが第２フェーズのままであると判定したため、作業中フェーズを第２フェーズのままにする。また、判定装置１００は、上記の判定に基づいて、ユーザＵ１の作業内容が誤りであると判定する。
【０１１２】
そして、判定装置１００は、全フェーズに対応する出力情報を端末装置１０−３に提供する（ステップＳ３４）。図９の例では、判定装置１００は、出力情報記憶部１２２Ａに示すように、全フェーズに対応する出力情報である出力ＩＤ「ＥＲ１」により識別される「作業内容が違うようです」という内容の出力情報（警告情報ＥＲ１）を端末装置１０−３に提供する。そして、警告情報ＥＲ１を受信した端末装置１０は、警告情報ＥＲ１を音声として出力する（ステップＳ３５）。図９の例では、端末装置１０−４は、スピーカやユーザＵ１が耳に着けているイヤフォンにより警告情報ＥＲ１を音声として出力する。警告情報ＥＲ１に含まれる「作業内容が違うようです」という音声により、ユーザＵ１は、自身の作業が誤っていることを認識することができ、作業を適切に変更することができる。
【０１１３】
〔７．効果〕
上述してきたように、実施形態に係る判定システム１は、取得部１３１と、判定部１３２とを有する。取得部１３１は、作業内容が各々に関連付けられた複数のフェーズであって、各フェーズ間の順序が予め決められた複数のフェーズを含む作業を行うユーザに関する画像情報を取得する。判定部１３２は、取得部１３１により取得された画像情報と複数のフェーズに関する情報とに基づいて、ユーザの作業におけるフェーズである作業中フェーズを判定する。
【０１１４】
これにより、実施形態に係る判定システム１は、画像情報と複数のフェーズに関する情報とに基づいて、ユーザの作業におけるフェーズである作業中フェーズを判定することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１１５】
また、実施形態に係る判定システム１において、取得部１３１は、ユーザの視線方向に関する画像情報を取得する。
【０１１６】
これにより、実施形態に係る判定システム１は、ユーザの視線方向に関する画像情報を取得することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１１７】
また、実施形態に係る判定システム１において、取得部１３１は、ユーザの手元に関する画像情報を取得する。
【０１１８】
これにより、実施形態に係る判定システム１は、ユーザの手元に関する画像情報を取得することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１１９】
また、実施形態に係る判定システム１において、取得部１３１は、ユーザが装着したウェアラブル端末（実施形態においては「センサ装置２０」。以下同じ）により画像情報を取得する。
【０１２０】
これにより、実施形態に係る判定システム１は、ユーザのウェアラブル端末から画像情報を取得することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１２１】
また、実施形態に係る判定システム１は、出力部１５３を有する。出力部１５３は、判定部１３２により判定された作業中フェーズに関する情報を出力する。
【０１２２】
これにより、実施形態に係る判定システム１は、作業中フェーズに関する情報を出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１２３】
また、実施形態に係る判定システム１において、出力部１５３は、作業中フェーズに関する情報を音声情報として出力する。
【０１２４】
これにより、実施形態に係る判定システム１は、作業中フェーズに関する情報を音声情報として出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１２５】
また、実施形態に係る判定システム１において、出力部１５３は、作業中フェーズにおける作業内容に関する情報を出力する。
【０１２６】
これにより、実施形態に係る判定システム１は、作業中フェーズにおける作業内容に関する情報を出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１２７】
また、実施形態に係る判定システム１において、出力部１５３は、ユーザが作業中フェーズにおける作業内容と異なる作業を行った場合に、警告情報を出力する。
【０１２８】
これにより、実施形態に係る判定システム１は、ユーザが作業中フェーズにおける作業内容と異なる作業を行った場合に、警告情報を出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１２９】
また、実施形態に係る判定システム１において、出力部１５３は、判定部１３２による作業中フェーズの判定後、次のフェーズへの移行または作業の完了がなく所定の期間が経過した場合、警告情報を出力する。
【０１３０】
これにより、実施形態に係る判定システム１は、作業中フェーズの判定後、次のフェーズへの移行または作業の完了がなく所定の期間が経過した場合、警告情報を出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１３１】
また、実施形態に係る判定システム１において、出力部１５３は、ユーザに作業の進行を促す情報を出力する。
【０１３２】
これにより、実施形態に係る判定システム１は、ユーザに作業の進行を促す情報を出力することで、作業を行うユーザに対する適切なアシストを可能にすることができる。
【０１３３】
また、実施形態に係る判定システム１において、取得部１３１は、複数のフェーズを含む料理を行うユーザに関する画像情報を取得する。判定部１３２は、画像情報と複数のフェーズに関する情報とに基づいて、ユーザの料理における作業中フェーズを判定する。
【０１３４】
これにより、実施形態に係る判定システム１は、料理を行うユーザに対する適切なアシストを可能にすることができる。
【０１３５】
〔８．ハードウェア構成〕
上述してきた実施形態に係る判定装置１００や端末装置１０は、例えば図１０に示すような構成のコンピュータ１０００によって実現される。図１０は、判定装置及び端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read  Only  Memory）１３００、ＨＤＤ（Hard  Disk  Drive）１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
【０１３６】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【０１３７】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。
【０１３８】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【０１３９】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital  Versatile  Disc）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１４０】
例えば、コンピュータ１０００が実施形態に係る判定装置１００や端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０や制御部１５の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。
【０１４１】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の行に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【０１４２】
〔９．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【０１４３】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【０１４４】
また、上述してきた各実施形態に記載された各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【０１４５】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
【符号の説明】
【０１４６】
１  判定システム
１００  判定装置
１２１  作業情報記憶部
１２２  出力情報記憶部
１３０  制御部
１３１  取得部
１３２  判定部
１３３  提供部
１０  端末装置
１５  制御部
１５１  送信部
１５２  受信部
１５３  出力部
２０  センサ装置
Ｎ  ネットワーク
【図１】
2018101353.tif 000003
【図２】
2018101353.tif 000004
【図３】
2018101353.tif 000005
【図４】
2018101353.tif 000006
【図５】
2018101353.tif 000007
【図６】
2018101353.tif 000008
【図７】
2018101353.tif 000009
【図８】
2018101353.tif 000010
【図９】
2018101353.tif 000011
【図１０】
2018101353.tif 000012