(57)【要約】【課題】作業ミスの低減を図ることが可能な作業支援システム、厨房支援システム、作業支援方法、及びプログラムを提供する。【解決手段】作業支援システム１は、複数の工程を含む作業を支援するシステムであり、判定部３４と、報知制御部３５と、を備える。判定部３４は、作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。報知制御部３５は、判定部３４で判定対象の工程の作業内容が不良と判定された場合に報知部（投影装置２、スピーカ７）に報知動作を行わせる。【選択図】図１
2019075009.tif 000002
【特許請求の範囲】
【請求項１】
複数の工程を含む作業を支援する作業支援システムであって、
作業領域の画像に基づいて、前記複数の工程のうち判定対象の工程での作業内容の良否を判定する判定部と、
前記判定部で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる報知制御部と、を備える
作業支援システム。
【請求項２】
前記報知制御部は、前記判定部で前記判定対象の工程の作業内容が不良と判定された場合に、前記判定対象の工程の次工程の作業が行われる前に前記報知部に報知動作を行わせる
請求項１に記載の作業支援システム。
【請求項３】
前記複数の工程のうち次工程の作業指示を指示部に行わせる指示制御部を更に備える
請求項１又は２に記載の作業支援システム。
【請求項４】
前記判定部で前記判定対象の工程の作業内容が不良であると判定された場合、前記指示制御部が、前記指示部に前記次工程の作業指示を行わせない
請求項３に記載の作業支援システム。
【請求項５】
前記判定部は、前記判定対象の工程を、前記画像に基づいて決定する
請求項１〜４のいずれか１項に記載の作業支援システム。
【請求項６】
前記判定部は、前記判定対象の工程を、作業者からの入力を受け付けることで決定する
請求項１〜５のいずれか１項に記載の作業支援システム。
【請求項７】
前記判定部が前記判定対象の工程の作業内容が不良であると判定した場合に、前記報知制御部が、不良と判定された作業内容を修正する修正内容を前記報知部に報知させる
請求項１〜６のいずれか１項に記載の作業支援システム。
【請求項８】
前記判定部は、作業対象の複数の物品が組み合わさった画像に基づいて、前記判定対象の工程での作業内容の良否を判定する
請求項１〜７のいずれか１項に記載の作業支援システム。
【請求項９】
前記判定部は、前記複数の工程のうち、作業内容が不良であると判定した工程での前記作業領域の前記画像を記憶部に記録する
請求項１〜８のいずれか１項に記載の作業支援システム。
【請求項１０】
前記作業領域を撮影する撮像装置を更に備え、
前記作業領域の前記画像は前記撮像装置で撮影される
請求項１〜９のいずれか１項に記載の作業支援システム。
【請求項１１】
請求項１〜１０のいずれか１項に記載の作業支援システムを備え、
前記複数の工程を含む作業が、厨房における調理作業である
厨房支援システム。
【請求項１２】
作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する判定処理と、
前記判定処理で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる報知制御処理と、を含む
作業支援方法。
【請求項１３】
コンピュータシステムに、
作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する判定処理と、
前記判定処理で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる報知制御処理と、を実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業支援システム、厨房支援システム、作業支援方法、及びプログラムに関し、特に、複数の工程を含む作業を支援する作業支援システム、厨房支援システム、作業支援方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、レストラン等で利用されるキッチンビデオシステムが開示されている。特許文献１のキッチンビデオシステムは、電子式キャッシュレジスタと、表示コントローラとを備える。電子式キャッシュレジスタは、客の注文内容を表示コントローラに送信する機能を備える。表示コントローラは、電子式キャッシュレジスタから送信された注文内容を複数のモニタに表示する機能を有する。複数のモニタは、料理の調理を行う調理場所、調理済みの料理等の取りそろえを行う取りそろえ場所等に設置される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３４２４４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のキッチンビデオシステムでは、調理担当者（作業者）は、調理場所に設置されたモニタに表示される注文内容を確認して、調理を行うのであるが、調理内容（作業内容）を間違える可能性があった。
【０００５】
本開示の目的は、作業ミスの低減を図ることが可能な作業支援システム、厨房支援システム、作業支援方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一態様の作業支援システムは、複数の工程を含む作業を支援する。一態様の作業支援システムは、判定部と、報知制御部と、を備える。前記判定部は、作業領域の画像に基づいて、前記複数の工程のうち判定対象の工程での作業内容の良否を判定する。前記報知制御部は、前記判定部で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる。
【０００７】
本開示の一態様の厨房支援システムは、前記作業支援システムを備え、前記複数の工程を含む作業が、厨房における調理作業である。
【０００８】
本開示の一態様の作業支援方法は、判定処理と、報知制御処理と、を含む。前記判定処理では、作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。前記報知制御処理では、前記判定処理で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる。
【０００９】
本開示の一態様のプログラムは、コンピュータシステムに、判定処理と、報知制御処理と、を実行させるためのプログラムである。前記判定処理では、作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。前記報知制御処理では、前記判定処理で前記判定対象の工程の作業内容が不良と判定された場合に報知部に報知動作を行わせる。
【発明の効果】
【００１０】
本開示によれば、作業ミスの低減を図ることが可能な作業支援システム、厨房支援システム、作業支援方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の一実施形態に係る作業支援システムのブロック図である。
【図２】図２は、同上の作業支援システムが適用された調理台の斜視図である。
【図３】図３は、同上の作業支援システムが適用された調理台の側面図である。
【図４】図４Ａ〜図４Ｄは、同上の作業支援システムの記憶装置に記憶される料理の画像の説明図である。
【図５】図５Ａ〜図５Ｅは、同上の作業支援システムの記憶装置に記憶される食材の画像の説明図である。
【図６】図６は、同上の作業支援システムの動作を説明するフローチャートである。
【図７】図７は、同上の作業支援システムにより投影される作業指示画面の説明図である。
【図８】図８は、同上の作業支援システムにより投影される作業指示画面の説明図である。
【図９】図９は、同上の作業支援システムにより投影される報知画面の説明図である。
【図１０】図１０は、同上の作業支援システムにより投影される作業記録画面の説明図である。
【発明を実施するための形態】
【００１２】
（実施形態）
（１）概要
本実施形態の作業支援システムは、複数の工程を含む作業を支援するシステムである。
【００１３】
作業支援システム１は、図１に示すように、判定部３４と、報知制御部３５と、を備える。
【００１４】
判定部３４は、作業領域の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。本実施形態では、作業領域の「画像」は静止画像であるが、動画像でもよい。
【００１５】
報知制御部３５は、判定部３４で判定対象の工程の作業内容が不良と判定された場合に報知部（例えば投影装置２、スピーカ７等）に報知動作を行わせる。
【００１６】
このように、判定部３４が判定対象の工程の作業内容を不良と判定した場合、報知制御部３５が報知部（投影装置２、スピーカ７）に報知動作を行わせるので、作業者が作業内容の不良に気付きやすくなり、作業ミスの低減を図ることができる。
【００１７】
（２）詳細
以下、本実施形態の作業支援システム１について図面を参照して説明する。以下に説明する作業支援システム１は、例えば、ファストフード店の調理場等の厨房において、作業者（調理人）が行う調理作業を支援するために用いられる。つまり、本実施形態の作業支援システム１は厨房支援システムとして用いられる。
【００１８】
（２．１）構成
本実施形態の作業支援システム１は、図１に示すように、投影装置２と、制御装置３と、第１撮像装置４と、第２撮像装置５と、マイク６と、スピーカ７と、記憶装置８とを備える。なお、本実施形態の作業支援システム１は、マイク６及びスピーカ７と音声対話部３１とで構成される音声対話機能を備えるが、音声対話機能は必須ではなく、音声対話部３１及びマイク６は適宜省略が可能である。
【００１９】
作業支援システム１は、図２及び図３に示すように、客から注文された料理の調理を作業者Ｈ１が行う調理台１００に設けられる。以下では、図２等において「上」、「下」、「左」、「右」、「前」、「後」の矢印で示す通りに各方向を規定する。つまり、調理を行う作業者Ｈ１が作業領域１１０（調理台１００の上面である作業面１０１及びその上方の空間）を見たときの方向に基づいて、上下、左右、前後の各方向を定義するが、これらの方向は作業支援システム１の使用時の方向を規定する趣旨ではない。
【００２０】
投影装置２は、例えば調理台１００の前側に配置される支柱１０に支持されており、調理台１００の上方に配置される。本実施形態の投影装置２は、例えば、プロジェクター等のディスプレイ装置と、ディスプレイ装置から出力された映像を反射して投影するミラー２１とを備える。投影装置２は、作業領域１１０に向かって、つまり調理台１００の作業面１０１に向かって映像を投影する。なお、投影装置２は、投影した映像をミラー２１で反射させることで、調理台１００の上面（作業面１０１）に映像を投影しているが、調理台１００の作業面１０１に映像を直接投影してもよい。また、投影装置２は、調理台１００と一体に設けられてもよい。
【００２１】
第１撮像装置４は、調理台１００の作業面１０１（作業領域１１０）を上方から撮影可能なように、支柱１０の上側に取り付けられる。第１撮像装置４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等のイメージセンサを備える。第１撮像装置４は、調理台１００の作業面１０１と、その上側の空間とを含む作業領域１１０を、作業面１０１とほぼ垂直な方向から撮影する。なお、第１撮像装置４はカラー画像を撮影するが、モノクロ画像を撮影するものでもよい。
【００２２】
第２撮像装置５は、調理台１００の作業面１０１の前端付近に、調理台１００の作業面１０１を撮影可能なように、配置される。第２撮像装置５は、調理台１００の作業面１０１と、その上側の空間とを含む作業領域１１０を、上下方向と交差する方向（本実施形態では上下方向と垂直な前後方向）から撮影する。第２撮像装置５は、赤外線照射部５１と、赤外線カメラ５２と、ＲＧＢカメラ５３と、ケース５０とを備える。赤外線照射部５１と、赤外線カメラ５２と、ＲＧＢカメラ５３とは、ケース５０の前面（作業領域１１０側の面）に配置されている（図２参照）。
【００２３】
ＲＧＢカメラ５３は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の撮像素子を有しており、所定のフレームレート（例えば１秒間に１０〜８０フレーム）で、作業領域１１０の二次元のカラー画像を撮影する。
【００２４】
赤外線照射部５１及び赤外線カメラ５２は、例えばＴＯＦ（Time of Flight）方式により距離計測を行う距離画像センサを構成する。赤外線照射部５１は作業領域１１０側に赤外線を照射する。赤外線カメラ５２は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等の赤外線に感度を有する受光素子を有しており、赤外光を受光する。赤外線カメラ５２は、ＲＧＢカメラ５３と同じ方向を向くようにケース５０に配置される。赤外線カメラ５２は、赤外線照射部５１からの照射光を作業領域１１０にある物体（食材、調理器具、作業者Ｈ１の手等）が反射した反射光を受光する。赤外線照射部５１から照射された赤外光が赤外線カメラ５２で受光されるまでの時間をもとに物体までの距離を計測できる。
【００２５】
したがって、第２撮像装置５は、ＲＧＢカメラ５３で撮影された二次元のカラー画像と、赤外線カメラ５２で撮影された距離画像とを制御装置３に出力する。ここにおいて、距離画像とは、物体までの距離を濃淡で表した濃淡画像である。なお、第２撮像装置５は、モノクロ画像と距離画像とを出力するものでもよい。また、第２撮像装置５の赤外線照射部５１と赤外線カメラ５２とＲＧＢカメラ５３とは１つのケース５０に収納されているが、赤外線照射部５１と赤外線カメラ５２とＲＧＢカメラ５３とは２つ以上の筐体に分散して配置されていてもよい。
【００２６】
マイク６は、作業者Ｈ１が発する音声等の音を電気信号に変換して制御装置３に出力する。
【００２７】
スピーカ７は、制御装置３から入力される電気信号を音に変換して出力する。
【００２８】
マイク６及びスピーカ７は、投影装置２の本体、支柱１０、第２撮像装置５のケース５０、又は調理台１００等に取り付けられていればよい。また、マイク６及びスピーカ７の少なくとも一方が設けられたヘッドセットを作業者Ｈ１が装着してもよく、この場合はマイク６及びスピーカ７の少なくとも一方と制御装置３とがBluetooth（登録商標）等の無線方式で無線通信を行えばよい。
【００２９】
記憶装置８は、ハードディスク、メモリカード等の記憶装置を含む。記憶装置８は、複数の料理の各々で使用する材料（食材、調味料等）、調理手順の情報、投影装置２に投影させる調理手順を指示するための調理指示画面の画像データ等を記憶する。また、記憶装置８は、後述する制御装置３のコンピュータシステムが実行するプログラム等を記憶する。料理の調理内容が変更されたり、新たな料理が追加されたりした場合には、記憶装置８に記憶された料理の情報、制御装置３のコンピュータシステムが実行するプログラム等を更新すればよく、料理内容の変更や料理の追加に容易に対応できる。
【００３０】
また、記憶装置８には、複数の料理の各々について、第１撮像装置４及び第２撮像装置５等で、調理作業が良好と判定される良品を映した画像や、調理作業が不良と判定される不良品を映した画像等の画像データが記憶されている。ここにおいて、良品を映した画像及び不良品を映した画像には、それぞれ、各工程での画像があり、作業中や作業終了時の画像がある。記憶装置８には、不良品を映した画像の画像データに関連付けて、調理作業の不良内容を示す不具合情報と、不良を修正するための修正内容を示す修正情報との少なくとも一方が記憶されている。図４Ａ〜図４Ｄはそれぞれハンバーガー６１〜６４の完成状態を横方向から映した画像Ｇ１〜Ｇ４であり、画像Ｇ１〜Ｇ４の画像データが記憶装置８に記憶されている。画像Ｇ１は良品と判断されるハンバーガー６１の画像である。例えば、画像Ｇ１のハンバーガー６１は、下から順番に、バンズ７１、レタス７２、ビーフパテ７３、チーズ７４、アボカド７５、バンズ７６を重ねて作られる。一方、画像Ｇ２，Ｇ３，Ｇ４は不良品と判断されるハンバーガー６２，６３，６４の画像である。画像Ｇ２のハンバーガー６２では、ハンバーガー６１に比べて、チーズ７４とアボカド７５との間にカツレツ７８とトマト７７とが追加されており、食材の重ね方が悪いために、斜めに傾いている。画像Ｇ３，Ｇ４のハンバーガー６３，６４では、トマト７７が外側にはみ出すように置かれているため、見た目が悪く、食べる際に味の偏りが出てしまう。記憶装置８には、画像Ｇ１〜Ｇ４以外にも良品、不良品の画像の画像データが記憶されており、不良品の画像については様々な原因で不良品と判断される画像が記憶されている。
【００３１】
また、記憶装置８には、食材を映した複数の画像の画像データが記憶されている。図５Ａ〜図５Ｅは記憶装置８に記憶される食材の画像の一部を示し、図５Ａ〜図５Ｅの画像Ｇ１１〜Ｇ１５は食材の１つであるアボカド７５を映した画像である。図５Ａの画像Ｇ１１にはアボカド７５のみが映っており、スライスされた複数枚（例えば４枚）のアボカド７５が調理台１００の上に重ねて置かれた画像である。図５Ｂの画像Ｇ１２は、スライスされたアボカド７５が金属製の調理皿２００に載せられた状態の画像である。図５Ｃの画像Ｇ１３は、決められた通りの調理手順でアボカド７５が置かれた状態の画像であり、チーズ７４の上にアボカド７５が載せられている。図５Ｄ〜図５Ｅの画像Ｇ１４〜Ｇ１５は、調理手順を間違えたときの画像であり、図５Ｄの画像Ｇ１４ではレタス７２の上にアボカド７５が載せられ、図５Ｅの画像Ｇ１５ではビーフパテ７３の上にアボカド７５が載せられている。このように、記憶装置８には、食材の画像データとして、撮影方向、照明環境、複数の食材の組み合わせ等の条件のうち少なくとも１つの条件が変更された画像の画像データが記録されている。
【００３２】
また、記憶装置８には、複数の料理の各々について、各工程での作業領域を映した画像の画像データが記憶されている。ここで、記憶装置８には、各工程での作業領域を映した画像として、撮影方向、照明環境等の条件のうち少なくとも１つの条件が変更された画像が記録されている。また、記憶装置８には、各工程で作業領域を映した画像として、作業内容が良好である場合の画像と、作業内容が不良である場合の画像とが記録されている。ここで、記憶装置８には、作業内容が不良である場合の画像に対して、調理作業の不良内容を示す不具合情報と、不良を修正するための修正内容を示す修正情報との少なくとも一方が関連付けて記憶されている。
【００３３】
また、記憶装置８には、作業者Ｈ１が調理作業を行った際に各工程で作業領域を撮影した画像（記録画像）の画像データが記憶されている。本実施形態では、作業内容が不良と判定された工程での画像だけでなく、全ての工程での画像が記憶装置８に記憶されている。
【００３４】
制御装置３は、音声対話部３１、映像制御部３２、物体識別部３３、判定部３４、報知制御部３５、指示制御部３６、動作検出部３７、及び通信部３８を備える。
【００３５】
制御装置３は、プロセッサ及びメモリを有するコンピュータシステムを備える。コンピュータシステムのメモリ又は記憶装置８に記録されたプログラムを、コンピュータシステムのプロセッサが実行することによって、制御装置３の機能が実現される。コンピュータシステムのプロセッサが実行するプログラムは、メモリ又は記憶装置８に予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【００３６】
音声対話部３１は、音声合成モジュール３１１と音声認識モジュール３１２とを有する。音声合成モジュール３１１は、波形接続型音声合成、フォルマント合成等の合成方法を用いて音声を合成し、スピーカ７から出力する。音声認識モジュール３１２は、例えば隠れマルコフモデルを利用して、マイク６に入力された音声の内容を認識する。音声対話部３１は、音声合成モジュール３１１及び音声認識モジュール３１２と、マイク６と、スピーカ７とを用いて音声対話を行う。
【００３７】
映像制御部３２は、投影装置２が作業領域１１０に向かって映像を投影する動作を制御する。映像制御部３２は、調理手順を指示する調理指示画面、作業不良を報知するための映像、記録映像等の映像を投影装置２に投影させる。料理関連映像は、複数の工程を含む調理作業において工程ごとに作業内容を指示する調理指示画面を含む。映像制御部３２は、投影装置２を制御して、作業領域１１０に向かって調理指示画面等の映像を投影する。
【００３８】
物体識別部３３は、記憶装置８に記憶された食材の画像を用いて機械学習又は深層学習を行うことによって、作業領域１１０の画像から食材を判別する学習済みモデルを予め作成する。そして、物体識別部３３は、ＲＧＢカメラ５３で撮影された映像、及び、第１撮像装置４で撮影された映像のいずれかをもとに、学習済みモデルを用いて、作業領域１１０にある物品（食材、調理器具、作業者Ｈ１の手等）を識別する。ここで、記憶装置８には複数の物品が組み合わさった画像が記憶されており、これらの画像を用いて機械学習又は深層学習を行った学習済みモデルを用いて物体識別部３３が物品の判別を行っている。したがって、物体識別部３３は、複数の物品が組み合わさっている状態でも物品をより正確に識別することができる。
【００３９】
なお、本実施形態の物体識別部３３では、ＲＧＢカメラ５３で撮影された映像と、第１撮像装置４で撮影された映像とをもとに、作業領域１１０にある物体（食材、調理器具、作業者Ｈ１の手等）を検出する。物体識別部３３は、例えば、ＲＧＢカメラ５３及び第１撮像画像４でそれぞれ撮影された映像と背景画像との背景差分を行うことによって、背景画像には映っていない物体を検出する。そして、物体識別部３３は、ＲＧＢカメラ５３及び第１撮像装置４でそれぞれ撮影された映像から検出した物体を学習済みモデルに入力することで、作業領域１１０にある物体を識別する。なお、物体識別部３３は、作業中に作業領域を撮像した画像を用いて、学習済みモデルを再学習してもよく、判定精度を向上できる。
【００４０】
判定部３４は、記憶装置８に記憶された各工程の作業領域の画像（作業内容が良好な場合の画像、作業内容が不良の場合の画像を含む）等を用いて機械学習又は深層学習を行うことによって、作業内容の良否を判定する学習済みモデルを予め作成する。また、判定部３４は、記憶装置８に記憶された不良品の画像を用いて機械学習又は深層学習を行うことによって、不良と判定した作業内容を修正するための作業内容を決定する学習済みモデルを予め作成する。なお、判定部３４は、作業中に作業領域を撮像した画像を用いて、学習済みモデルを再学習してもよく、判定精度を向上できる。
【００４１】
判定部３４は、第１撮像装置４及び第２撮像装置５でそれぞれ撮影された作業領域１１０の画像を学習済みモデルに入力し、作業領域１１０にある物体がどの食材であるかを判定する。また、判定部３４は、第１撮像装置４及び第２撮像装置５でそれぞれ撮影された作業領域１１０の画像を学習済みモデルに入力し、現在の工程がどの工程に該当するのかを判定し、さらに現在の工程の作業内容の良否を判定する。また、判定部３４は、判定対象の工程の作業内容が不良であると判定した場合、不良と判定した作業内容を学習済みモデルに入力し、不良と判断した作業内容を修正するための作業内容を決定する。
【００４２】
報知制御部３５は、判定部３４が判定対象の工程の作業内容が不良であると判定した場合、報知部（例えば投影装置２、スピーカ７等）に所定の報知動作を行わせる。ここで、所定の報知動作とは、判定対象の作業内容が不良であることを報知する動作を含む。報知制御部３５は、例えば、判定対象の作業内容が不良であることを報知する内容を含めた画像を作成し、作成した画像を投影装置２により調理台１００の作業面１０１に投影させる。また、報知制御部３５は、例えば、判定対象の作業内容が不良であることを報知する内容を含めた音声メッセージ又は報知音を作成し、作成した音声メッセージ又は報知音をスピーカ７から出力させる。これにより、調理台１００で調理作業を行う作業者Ｈ１は、投影装置２によって投影された映像、又はスピーカ７から出力された音声メッセージ又は報知音に基づいて、作業内容が不良であることを把握できる。
【００４３】
指示制御部３６は、調理中の料理の調理作業に含まれる複数の工程のうち次工程の作業指示を指示部（例えば投影装置２、スピーカ７等）に行わせる。指示制御部３６は、例えば、次工程での作業を説明する作業内容を含めた画像を作成し、作成した画像を投影装置２により調理台１００の作業面１０１に投影させる。また、指示制御部３６は、例えば、次工程での作業を説明する音声メッセージ又は報知音を作成し、作成した音声メッセージ又は報知音をスピーカ７から出力させる。これにより、調理台１００で調理作業を行う作業者Ｈ１は、投影装置２によって投影された映像、又はスピーカ７から出力された音声メッセージ又は報知音に基づいて、次工程での作業内容を把握できる。
【００４４】
動作検出部３７は、作業者Ｈ１の動作、例えば作業者Ｈ１が手を使って行う動作を検出する。動作検出部３７は、物体識別部３３が作業者Ｈ１の手を検出した場合に、作業者Ｈ１の手の動きをトレースすることで、作業者Ｈ１が行った動作（ジェスチャー）を検出する。なお、動作検出部３７は作業支援システム１に必須の構成ではなく、適宜省略が可能である。
【００４５】
通信部３８は、例えばファストフード店のカウンタ等に設置されているキャッシュレジスタ９０との間で通信を行う。通信部３８は、例えばイーサネット（登録商標）の通信規格に準拠した通信モジュールを備える。キャッシュレジスタ９０を操作する担当者が、客から料理の注文を受けて、キャッシュレジスタ９０に料理の注文を入力すると、キャッシュレジスタ９０は入力された料理の精算処理を行う。また、キャッシュレジスタ９０は、店員が入力した、料理の注文内容を示す注文情報を作業支援システム１に送信しており、この注文情報は通信部３８によって受信される。なお、通信部３８は作業支援システム１に必須の構成ではなく、適宜省略が可能である。
【００４６】
（２．２）動作
本実施形態の作業支援システム１が、作業者Ｈ１による調理作業を支援する動作について、図６のフローチャート等を参照して説明する。
【００４７】
制御装置３の映像制御部３２は、調理作業を支援する動作を行っていない状態では、作業開始の入力を受け付ける受付画面を投影装置２から調理台１００の作業面１０１に投影させ（Ｓ１）、入力待ちを行う（Ｓ２）。
【００４８】
作業面１０１に受付画面が投影されている状態で、作業者Ｈ１が所定の動作を行うと（Ｓ２：Ｙｅｓ）、動作検出部３７が作業者Ｈ１の動作を検出する。所定の動作は、例えば、作業者Ｈ１が自身の識別情報（例えばＩＤ（identity）番号等）と作業開始の指示を入力するための動作である。動作検出部３７が所定の動作を検出すると、制御装置３は調理作業の支援動作を開始する。なお、制御装置３は、作業面１０１に受付画面が投影されている状態で、作業者Ｈ１が発した作業開始の音声を受け付けると、調理作業の支援動作を開始してもよい。
【００４９】
制御装置３は、調理作業の支援動作を開始すると、複数の料理から所望の料理を選択する操作を受け付けるための調理選択画面を投影装置２から調理台１００の作業面１０１に投影させる（Ｓ３）。
【００５０】
調理選択画面には複数の料理に対応した複数の選択肢が表示されている。作業者Ｈ１が所望の料理に対応する選択肢を選択する動作を行うと、動作検出部３７が作業者Ｈ１の動作を検出し、制御装置３は、これから調理する料理を決定する（Ｓ４：Ｙｅｓ）。
【００５１】
制御装置３は、ステップＳ４で決定された料理の調理手順と調理指示画面とを記憶装置８から読み出す。指示制御部３６は、最初の工程に対応する調理指示画面Ｇ２１（図７参照）を作成し、投影装置２から調理台１００の作業面１０１に投影させる（Ｓ５）。図７の例では、調理指示画面Ｇ２１に、作業内容を示す文章等を表示する表示領域Ａ１１と、調理に使用する食材を写真等で表示する表示領域Ａ２１と、作業内容を絵などで表示する表示領域Ａ３１とが設けられている。表示領域Ａ１１には、作業内容を示す文章として例えば「バンズ（下）を置く」などの文章が表示されている。また、表示領域Ａ３１には、下側のバンズを表す絵記号Ｂ１が表示されている。なお、表示領域Ａ３１の表示は絵記号に限定されず、食材を映した写真等の画像でもよい。
【００５２】
作業者Ｈ１が、作業指示画面Ｇ２１の表示領域Ａ３１に表示された絵記号Ｂ１の上に、下側のバンズ７１を置くと（図８参照）、物体識別部３３が作業面１０１に置かれた物体（この工程ではバンズ７１）とその位置を識別する（Ｓ６）。物体識別部３３が作業面１０１に置かれた物体を識別すると、判定部３４は、第１撮像装置４及び第２撮像装置５で撮影された画像に基づいて、作業内容の良否を判定する（Ｓ７）。
【００５３】
判定部３４は、ステップＳ７において作業内容を良好と判定すると、現在の工程の作業が完了したと判断する（Ｓ８）。つまり、判定部３４は、第１撮像装置４及び第２撮像装置５のいずれかで撮影された画像に基づいて、判定対象の工程が完了したと判断し、次の工程（次の判定対象の工程）を決定する。そして、制御装置３は、第１撮像装置４が作業領域を撮影した画像（記録画像）の画像データと、作業開始からの経過時間を示す時間情報とを対応付けて記憶装置８に記憶させた後、ステップＳ９の処理に移行する。
【００５４】
一方、ステップＳ７において判定部３４が作業内容を不良と判定すると、報知制御部３５は、作業の不良内容に対応した修正情報を記憶装置８から読み込み、修正情報を含む映像を作成して、投影装置２から調理台１００の作業面１０１に投影させる（Ｓ１１）。図９は修正情報を含む報知画面Ｇ２２の一例である。図９の例では、レタス７２の上にビーフパテを載せる工程で間違えてトマト７７を載せている。画像Ｇ２２には、作業内容を示す文章等を表示する表示領域Ａ１１と、調理に使用する食材を写真等で表示する表示領域Ａ２１と、修正情報を表示する表示領域Ａ３４とが設けられている。表示領域Ａ３４には、修正情報として、例えば「載せた具材はトマトかもしれません」のような文字メッセージが表示される。このように、報知制御部３５は、作業内容が不良であることを報知しているので、作業者Ｈ１が作業内容の不良に気付きやすくなり、作業者Ｈ１は不良と判断された作業をやり直す動機付けを得ることができる。
【００５５】
作業者Ｈ１が、作業面１０１に投影された修正指示を確認し、修正指示にしたがって作業内容を修正すると、物体識別部３３が修正後の物体とその位置を検出する処理を行う。そして、判定部３４が、修正後に第１撮像装置４及び第２撮像装置５で撮影された画像に基づいて、作業内容の良否を再び判定する（Ｓ７）。
【００５６】
ステップＳ７で判定部３４が作業内容を良好と判定すると、制御装置３は、現在の工程の作業が完了したと判断する（Ｓ８）。制御装置３は、第１撮像装置４が作業領域を撮影した画像（記録画像）の画像データと、作業開始からの経過時間を示す時間情報とを対応付けて記憶装置８に記憶させた後、ステップＳ９の処理に移行する。
【００５７】
ステップＳ９では、制御装置３は、次の工程が有るか否かを判断する。
【００５８】
ステップＳ９において次の工程がある場合、指示制御部３６は、次の工程に対応する調理指示画面を作成し、投影装置２から調理台１００の作業面１０１に投影させ（Ｓ５）、制御装置３はステップＳ６以降の処理を繰り返す。
【００５９】
ステップＳ９において次の工程がない場合、制御装置３は、調理が完了したと判断し（Ｓ１０）、次の料理が開始されるまで処理を終了する。
【００６０】
このように、本実施形態の作業支援システム１では、判定部３４によって作業内容が不良と判定されると、報知制御部３５は、次工程の作業が行われる前に報知部である投影装置２に修正内容の報知動作を行わせている。したがって、作業者Ｈ１は、作業内容の不良に気付きやすくなり、作業内容の修正を比較的容易に行うことができる。なお、本実施形態では、報知制御部３５が、不良と判定された作業内容を修正する修正内容を報知部である投影装置２に報知させているが、作業内容が不良と判定されたことを投影装置２に報知させてもよい。これにより、作業者Ｈ１が作業内容の不良に気付きやすくなるという利点がある。
【００６１】
なお、本実施形態の作業支援システム１では、判定部３４によって作業内容が良好と判定されるまで、指示制御部３６が次の工程の指示を出さないようにしており、いずれかの工程の作業内容が不良である料理ができあがることがない。よって、本実施形態の作業支援システム１では作業ミスを低減することができる。
【００６２】
また、本実施形態の判定部３４は、図６のステップＳ６において、第１撮像装置４及び第２撮像装置５のいずれかで撮影された画像に基づいて、判定対象の工程を決定しているが、作業者Ｈ１からの入力を受け付けることで判定対象の工程を決定してもよい。
【００６３】
例えば、作業者Ｈ１は、各工程で作業を行うと、判定開始を指示する所定の言葉（例えば、「次」等）を発する。作業支援システム１では、音声認識モジュール３１２がマイク６から入力された音声の音声認識を行う。そして、判定部３４が、判定開始を指示する所定の言葉が入力されたと判断すると、作業者Ｈ１からの入力に基づいて現在の工程（現在の判定対象の工程）を決定する。
【００６４】
また、本実施形態の作業支援システム１では、作業者Ｈ１が行った作業内容を撮像した記録画像を後から確認できる。作業者Ｈ１又は作業者Ｈ１の作業を管理する管理者は、作業を行った作業者や日時等を指定して、記録画像の表示の指示をジェスチャ、音声等で作業支援システム１に入力する。制御装置３が記録画像の表示の指示を受け付けると、映像制御部３２は、記憶装置８に記録された記録画像に基づいて、指定された記録画像を表示する作業記録画面Ｇ３０（図１０参照）を作成する。映像制御部３２は、作成した作業記録画面Ｇ３０を投影装置２により調理台１００の作業面１０１に投影させる。作業記録画面Ｇ３０には、複数の工程でそれぞれ作業領域１１０を撮影した複数の画像Ｇ３１〜Ｇ３６が時系列順に並べられている。複数の画像Ｇ３１〜Ｇ３６の左上には、作業開始時から各工程の終了時までの経過時間を表示する表示領域Ａ５１〜Ａ５６がそれぞれ設けられている。また、映像制御部３２は、作業内容が不良と判定された工程がある場合、作業内容が不良と判定された工程の画像の周囲に、不良と判定された回数を表示してもよい。図１０の例では、画像Ｇ３３の右上の表示領域Ａ６１に作業内容が不良と判定された回数が例えば文字等で表示されている。図１０では、表示領域Ａ６１に「修正回数  １回」と表示されている。作業者Ｈ１又は作業者Ｈ１の作業を管理する管理者は、作業記録画面Ｇ３０に表示された各工程の画像Ｇ３１〜Ｇ３６に基づいて、作業内容が不良と判断された工程での作業内容を確認できる。なお、本実施形態では、作業記録画面Ｇ３０に、複数の工程の各々で作業領域を撮影した画像が含まれているので、作業内容が良好と判断された工程での作業内容も確認できる。
【００６５】
なお、作業支援システム１は作業記録画面Ｇ３０を調理台１００の作業面１０１に投影するものに限定されず、制御装置３と直接又はネットワークを経由して通信可能な端末装置のモニタに作業記録画面Ｇ３０が表示されてもよい。また、作業記録画面Ｇ３０において、複数の工程での画像Ｇ３１〜Ｇ３６の周りに、各工程で作業不良が発生した回数、作業不良の内容等を表示してもよい。これにより、作業者Ｈ１又は作業者Ｈ１の作業を管理する管理者は、作業記録画面Ｇ３０に表示された各工程の画像Ｇ３１〜Ｇ３６に基づいて、作業内容を確認できる。なお、作業支援システム１は、記憶装置８に各工程の動画像を記憶してもよく、作業記録画面Ｇ３０において、各工程の動画像を表示させてもよい。また、作業支援システム１は、作業記録画面Ｇ３０において、各工程の画像を表示しなくてもよく、各工程の経過時間、修正回数、作業日時等のテキストだけのデータを表示してもよい。
【００６６】
（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、作業支援システム１又は厨房支援システムと同様の機能は、作業支援方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る作業支援方法は、判定処理と、報知制御処理と、を含む。判定処理では、作業領域（調理台１００の作業面１０１）の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。報知制御処理では、判定処理で判定対象の工程の作業内容が不良と判定された場合に報知部（投影装置２、スピーカ７）に報知動作を行わせる。一態様に係る（コンピュータ）プログラムは、コンピュータシステムに、判定処理と、報知制御処理と、を実行させるためのプログラムである。
【００６７】
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【００６８】
本開示における作業支援システム１、厨房支援システム又は作業支援方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における作業支援システム１、厨房支援システム又は作業支援方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能な非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムで読み取り可能な非一時的な記録媒体は、メモリカード、光学ディスク、ハードディスクドライブ等である。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
【００６９】
作業支援システム１は、制御装置３と、第１撮像装置４と、第２撮像装置５と、投影装置２とで構成されているが、作業支援システム１は１つの筐体に収まる１つの装置にて実現されてもよい。
【００７０】
なお、上記の実施形態では、作業支援システム１は、作業領域１１０を撮像するカメラとして第１撮像装置４と第２撮像装置５とを備えているが、第１撮像装置４と第２撮像装置５との少なくとも一方のみを備えていればよい。また、作業支援システム１は投影装置２を備えているが、投影装置２は作業支援システム１に必須の構成ではなく、投影装置２は適宜省略が可能である。
【００７１】
また、上記の実施形態において、作業支援システム１が備える判定部３４、報知制御部３５及び指示制御部３６のうち少なくとも１つの機能が２つ以上のシステムに分散して設けられてもよい。また、判定部３４、報知制御部３５及び指示制御部３６の各々の機能が、複数の装置に分散して設けられていてもよい。また、作業支援システム１の少なくとも一部の機能は、例えば、クラウド（クラウドコンピューティング）によって実現されてもよい。
【００７２】
上記実施形態の作業支援システム１では、作業者Ｈ１が、作業領域１１０において、１つの料理を調理しているが、複数の料理（同一種類の複数の料理、又は複数種類の複数の料理）の調理を並行して行ってもよい。この場合、映像制御部３２は、投影装置２を制御して、複数の料理に対応する複数の調理指示画面を作業領域１１０側に投影すればよい。
【００７３】
映像制御部３２は、投影装置２を制御して、調理台１００の作業面１０１に、タイマー表示のための映像を投影してもよい。例えば、映像制御部３２は、揚げ物、煮物等の時間をカウントダウンする映像を投影装置２から調理台１００の作業面１０１に投影させてもよく、作業面１０１に表示されたカウントダウンの映像を見て、揚げ物、煮物等の調理を行うことができる。
【００７４】
指示制御部３６は、投影装置２に投影させる調理指示画面を作業者Ｈ１ごとに変化させてもよい。例えば、指示制御部３６は、作業者Ｈ１の熟練度に応じて調理指示画面を変化させてもよく、作業者Ｈ１の熟練度が低いほど詳細な内容の調理指示画面を投影すればよい。また、指示制御部３６は、例えば作業者Ｈ１がジェスチャ又は音声で入力した停止指示に基づいて、調理指示画面の表示を停止してもよい。例えば、作業者Ｈ１が作業に習熟して作業指示が不要になった場合、作業者Ｈ１が指示制御部３６による調理指示画面の表示を停止させることで、不必要な調理指示画面の表示を停止できる。
【００７５】
本実施形態の第２撮像装置５の赤外線照射部５１は測距領域の全体に赤外光を照射させ、赤外線カメラ５２は物体による反射光を面で受光するが、赤外線照射部５１が赤外光を照射する方向を測距領域内でスイープさせてもよい。この場合、赤外線カメラ５２は物体による反射光を１点で受光する。また、赤外線照射部５１は作業支援システム１に必須の構成ではなく、赤外線カメラ５２が自然光や照明光を利用して撮影可能であれば、赤外線照射部５１は適宜省略が可能である。 
【００７６】
第２撮像装置５の赤外線照射部５１と赤外線カメラ５２とはＴＯＦ方式で物体までの距離を計測しているが、パターン照射方式（Light Coding方式）で距離を計測してもよいし、ステレオカメラで距離を計測してもよい。また、赤外線カメラ５２は、ＣＯＭＳイメージセンサ又はＣＣＤイメージセンサと、赤外線透過フィルターとを組み合わせて使用することで、適宜省略が可能である。
【００７７】
第２撮像装置５は、赤外線照射部５１と赤外線カメラ５２とで赤外光を用いて物体までの距離を測定しているが、超音波や電波などで物体までの距離を測定してもよい。
【００７８】
物体識別部３３は、ＲＧＢカメラ５３で撮影された映像と、赤外線カメラ５２で撮影された映像とを用いて、作業領域１１０にある物体を検出しているが、第１撮像装置４で撮影された映像をもとに、作業領域１１０にある物体を検出してもよい。物体識別部３３は、例えば、第１撮像装置４で撮影された映像と背景画像との背景差分を行うことで、作業領域１１０にある物体を検出することができる。また、物体識別部３３は、第１撮像装置４で撮影された映像とＲＧＢカメラ５３で撮影された映像との両方に基づいて、作業領域１１０にある物体を検出してもよい。さらに、物体識別部３３は、ＲＧＢカメラ５３で撮影された映像と、赤外線カメラ５２で撮影された映像と、第１撮像装置４で撮影された映像との少なくとも１つを用いて、作業領域１１０にある物体を検出してもよい。
【００７９】
上記実施形態の作業支援システム１では、投影装置２が調理指示画面等の映像を作業面１０１に投影しているが、調理指示画面等の一部の映像を別の表示装置に表示させてもよい。例えば、作業支援システム１は、調理手順を指示する調理指示画面、作業不良を報知するための映像、記録映像等を作業面１０１に投影せず、別の表示装置に表示させても良い。別の表示装置は、作業領域１１０の周囲に設置された液晶ディスプレイ装置、タブレット端末等である。映像制御部３２が、調理指示画面等を別の表示装置に表示させれば、食材、食材をのせる皿、食材を入れる容器等の上に投影する映像以外で、調理台１００の作業面１０１に投影される映像を少なくでき、調理台１００の作業面１０１を有効に利用できる。
【００８０】
上記の実施形態では、上側から作業領域１１０を撮影する第１撮像装置４と、前方から作業領域１１０を撮影する第２撮像装置５とを備えているが、撮像装置の台数及び撮影方向は適宜変更が可能である。
【００８１】
上記実施形態の作業支援システム１及び厨房支援システムは、ハンバーガーの調理を例に説明しているが、対象の料理はハンバーガーに限定されず、フルーツパフェ等のパフェでもよい。判定部３４は、パフェを作る各工程で作業領域を撮影した画像に基づいて作業内容の良否を判定する。報知制御部３５は、判定部３４が作業内容を不良と判定した場合に、報知部である投影装置２に報知動作を行わせる。これにより、パフェを作る工程において作業内容に不良で発生した場合には、その工程において作業内容が不良であることを報知することができる。
【００８２】
上記実施形態の作業支援システム１は、ファストフード店の調理場で用いられているが、レストラン、ホテル等の調理場で用いられてもよい。また、実施形態の作業支援システム１は、スーパーマーケットのバックヤードに設けられた総菜の調理場、食品加工工場等で用いられてもよい。
【００８３】
また、上記実施形態の作業支援システム１は、客等から料理の注文、発注を受けて調理を行う店等で利用されるものに限定されず、一般家庭において利用されてもよい。この場合、作業支援システム１の利用者が、調理する料理の料理内容を決めて、制御装置３に入力すると、制御装置３が入力された料理内容にしたがって、調理支援を行うための映像を調理スペースに投影する。
【００８４】
上記の実施形態の作業支援システム１は、厨房での調理作業を支援する厨房支援システムであったが、作業支援システム１は、複数の工程を含む作業であれば、調理作業以外の作業を支援するものでもよい。例えば、作業支援システム１は、工場等において複数の工程で対象物を組み立てる組立作業、対象物を分解する分解作業、対象物を清掃する清掃作業、対象物をメンテナンスするメンテナンス作業等の作業を支援するものでもよい。
【００８５】
（まとめ）
以上説明したように、第１の態様の作業支援システム（１）は、複数の工程を含む作業を支援するシステムであり、判定部（３４）と、報知制御部（３５）と、を備える。判定部（３４）は、作業領域（１１０）の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。報知制御部（３５）は、判定部（３４）で判定対象の工程の作業内容が不良と判定された場合に報知部（２，７）に報知動作を行わせる。
【００８６】
この態様によれば、判定部（３４）が判定対象の工程の作業内容を不良と判定した場合、報知制御部（３５）が報知部（２，７）に報知動作を行わせるので、作業者が作業内容の不良に気付きやすくなり、作業ミスの低減を図ることができる。
【００８７】
第２の態様の作業支援システム（１）では、第１の態様において、報知制御部（３５）は、判定部（３４）で判定対象の工程の作業内容が不良と判定された場合に、判定対象の工程の次工程の作業が行われる前に報知部（２，７）に報知動作を行わせる。
【００８８】
この態様によれば、次工程の作業が行われる前に、不良な作業内容の作業が行われたことを作業者に気付かせることができる。
【００８９】
第３の態様の作業支援システム（１）では、第１又は第２の態様において、複数の工程のうち次工程の作業指示を指示部（２，７）に行わせる指示制御部（３６）を更に備える。
【００９０】
この態様によれば、指示制御部（３６）が指示部（２，７）に次工程の作業指示を行わせているので、作業に不慣れな作業者でも作業を行うことができる。
【００９１】
第４の態様の作業支援システム（１）では、第３の態様において、判定部（３４）で判定対象の工程の作業内容が不良であると判定された場合、指示制御部（３６）が、指示部（２，７）に次工程の作業指示を行わせない。
【００９２】
この態様によれば、作業内容が不良であった場合に、作業者が次の工程の作業を行う可能性を低減できる。
【００９３】
第５の態様の作業支援システム（１）では、第１〜第４のいずれか１つの態様において、判定部（３４）は、判定対象の工程を、画像に基づいて決定する。
【００９４】
この態様によれば、作業領域の画像をもとに判定対象の工程を決定しているので、作業者が判定対象の工程を入力する必要がない。
【００９５】
第６の態様の作業支援システム（１）では、第１〜第５のいずれか１つの態様において、判定部（３４）は、判定対象の工程を、作業者からの入力を受け付けることで決定する。
【００９６】
この態様によれば、作業者が入力することによって判定対象の工程を決定することができる。
【００９７】
第７の態様の作業支援システム（１）では、第１〜第６のいずれか１つの態様において、判定部（３４）が判定対象の工程の作業内容が不良であると判定した場合に、報知制御部（３５）が、所定の内容を報知部（２，７）に報知させる。所定の内容とは、不良と判定された工程の作業を修正する修正内容である。
【００９８】
この態様によれば、作業者は、報知部（２，７）によって報知された修正内容にしたがって、不良と判定された作業内容を修正することができる。
【００９９】
第８の態様の作業支援システム（１）では、第１〜第７のいずれか１つの態様において、判定部（３４）は、作業対象の複数の物品（７１〜７７）が組み合わさった画像に基づいて、判定対象の工程での作業内容の良否を判定する。
【０１００】
この態様によれば、判定部（３４）は、複数の物品（７１〜７７）が組み合わさった状態でも、作業内容の良否を判定できる。
【０１０１】
第９の態様の作業支援システム（１）では、第１〜第８のいずれか１つの態様において、判定部（３４）は、複数の工程のうち、作業内容が不良であると判定した工程での作業領域の画像を記憶部（８）に記録する。
【０１０２】
この態様によれば、記憶部（８）に記憶された画像に基づいて作業内容の不良を確認できる。
【０１０３】
第１０の態様の作業支援システム（１）では、第１〜第９のいずれか１つの態様において、作業領域（１１０）を撮影する撮像装置（４，５）を更に備え、作業領域（１１０）の画像は撮像装置（４，５）で撮影される。
【０１０４】
この態様によれば、作業ミスの低減を図ることができる。
【０１０５】
なお、第２〜第１０の態様に係る構成については、作業支援システム（１）に必須の構成ではなく、適宜省略可能である。
【０１０６】
第１１の態様の厨房支援システムは、第１〜第１０のいずれか１つの態様の作業支援システム（１）を備え、複数の工程を含む作業が、厨房における調理作業である。
【０１０７】
この態様によれば、作業ミスの低減を図ることができる。
【０１０８】
第１２の態様の作業支援方法は、判定処理（図６のステップＳ７，Ｓ１２）と、報知制御処理（図６のステップＳ１１）と、を含む。判定処理では、作業領域（１１０）の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。報知制御処理では、判定処理で判定対象の工程の作業内容が不良と判定された場合に報知部（２，７）に報知動作を行わせる。
【０１０９】
この態様によれば、判定処理で判定対象の工程の作業内容が不良と判定された場合、報知制御処理で報知部（２，７）に報知動作を行わせるので、作業者が作業内容の不良に気付きやすくなり、作業ミスの低減を図ることができる。
【０１１０】
第１３の態様のプログラムは、コンピュータシステムに、判定処理（図６のステップＳ７，Ｓ１２）と、報知制御処理（図６のステップＳ１１）と、を実行させるためのプログラムである。判定処理では、作業領域（１１０）の画像に基づいて、複数の工程のうち判定対象の工程での作業内容の良否を判定する。報知制御処理では、判定処理で判定対象の工程の作業内容が不良と判定された場合に報知部（２，７）に報知動作を行わせる。
【０１１１】
この態様によれば、判定処理で判定対象の工程の作業内容が不良と判定された場合、報知制御処理で報知部（２，７）に報知動作を行わせるので、作業者が作業内容の不良に気付きやすくなり、作業ミスの低減を図ることができる。
【符号の説明】
【０１１２】
１  作業支援システム（厨房支援システム）
２  投影装置（報知部、指示部）
３  制御装置
４  第１撮像装置（撮像装置）
５  第２撮像装置（撮像装置）
８  記憶装置（記憶部）
３４  判定部
３５  報知制御部
３６  指示制御部
１１０  作業領域
【図１】
2019075009.tif 000003
【図２】
2019075009.tif 000004
【図３】
2019075009.tif 000005
【図４】
2019075009.tif 000006
【図５】
2019075009.tif 000007
【図６】
2019075009.tif 000008
【図７】
2019075009.tif 000009
【図８】
2019075009.tif 000010
【図９】
2019075009.tif 000011
【図１０】
2019075009.tif 000012