(57)【要約】【課題】長時間撮影された映像の中から、監督業務などに必要な作業シーンを提供する。【解決手段】作業記録解析閲覧システム１０は  センサ部１０２、特徴抽出部１１４、作業内容判別部１１５、映像撮影装置１０１、および表示生成部を有する。センサ部１０２は、作業データを検出する。特徴抽出部１１４は、センサ部１０２が測定した作業データから特徴量を抽出する。作業内容判別部１１５は、特徴抽出部１１４が抽出した特徴量に基づいて、作業中であるか否かを判別する。映像撮影装置１０１は、作業記録を撮影する。表示生成部は、表示装置１０３と表示内容生成部１１７とからなり、作業内容判別部１１５が判別した判別結果に基づいて、作業期間を示すタイムランを生成して表示する。表示生成部は、作業期間を示すタイムランが選択された際に、作業期間に対応する映像を作業記録の映像から取得して表示する。【選択図】図１
2018005316.tif 000002
【特許請求の範囲】
【請求項１】
作業記録の映像を解析して抽出対象となる映像を提供する作業記録解析閲覧システムであって、
作業データを検出する検出部と、
前記検出部が検出した作業データから特徴量を抽出する特徴抽出部と、
前記特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する作業判別部と、
前記作業記録を撮影する映像撮影部と、
前記作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する表示生成部と、
を有し、
前記表示生成部は、前記作業期間を示す前記タイムランが選択された際に、前記作業期間に対応する映像を前記映像撮影部が撮影した作業記録の映像から取得して表示する、作業記録解析閲覧システム。
【請求項２】
請求項１記載の作業記録解析閲覧システムにおいて、
前記作業判別部は、前記特徴抽出部が抽出した特徴量と予め取得した標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量である、作業記録解析閲覧システム。
【請求項３】
請求項１または２記載の作業記録解析閲覧システムにおいて、
前記特徴抽出部は、前記検出部が検出した作業データを周波数解析して前記特徴量を抽出する、作業記録解析閲覧システム。
【請求項４】
請求項１〜３のいずれか１項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記検出部が検出した作業データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。
【請求項５】
請求項１〜４のいずれか１項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した作業データが予め設定された標準作業データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。
【請求項６】
請求項１記載の作業記録解析閲覧システムにおいて、
前記検出部が検出する作業データは、少なくとも温度データである、作業記録解析閲覧システム。
【請求項７】
請求項６記載の作業記録解析閲覧システムにおいて、
前記特徴抽出部は、前記検出部が検出した温度データを周波数解析して前記特徴量を抽出し、
前記作業判別部は、前記特徴抽出部が抽出した前記特徴量と標準特徴量との類似度に基づいて、前記作業中であるか否かを判別し、
前記標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、前記標準作業において前記検出部が検出した温度データを周波数解析して抽出したものである、作業記録解析閲覧システム。
【請求項８】
請求項６または７記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記検出部が検出した温度データを前記タイムランに対応させて表示する、作業記録解析閲覧システム。
【請求項９】
請求項６〜８のいずれか１項に記載の作業記録解析閲覧システムにおいて、
前記表示生成部は、前記作業判別部が作業期間中であると判別した期間に、前記検出部が検出した温度データが予め設定された温度条件データの範囲外となった場合にアラートを出力する、作業記録解析閲覧システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業記録解析閲覧システムに関し、特に、監視カメラなどによって撮影された映像における作業シーンの監視および検索に有効な技術に関する。
【背景技術】
【０００２】
作業者が行う作業がマニュアル通りに行われているかなどを確認する技術として、例えば監視カメラなどを用いて確認するものが知られている。この場合、監視カメラによって作業者の作業を撮影し、撮影した映像を解析することによって、例えば作業者の行動を検出して特定する。
【０００３】
この種の映像解析技術としては、例えば特許文献１および非特許文献１などが知られている。特許文献１には、ユーザに保持される可搬型装置に記録されたユーザ識別子をカメラで撮影されるユーザに対応付け、カメラで撮影されるユーザの行動を装置識別子またはユーザ識別子に対応付けすることによって店舗内でのユーザの行動をユーザを特定する情報と対応付けて追跡する旨が記載されている。
【０００４】
また、非特許文献１には、カメラが撮影した映像から人物を検出して、検出した人物を追跡して行動を認識する旨が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−０４１１９４号公報
【非特許文献】
【０００６】
【非特許文献１】ＯＫＩテクニカルビュー  ２０１４年  １０月／第２２４号  Vol.81 No.2 P42-P45
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１に記載の技術は、特定したユーザの行動を追跡するのみであり、詳細な行動を認識することができないという問題がある。
【０００８】
また、非特許文献１などによる映像の解析は、主に人物の歩行経路の追跡、異常行動の認識、人数カウントなどの大きい動きのみである。よって、人物の動作や追跡などの大きな動き以外の条件については、検出することが困難である。そのため、作業形態によっては、上述した大きな動き以外の作業条件などがマニュアル通りの作業であるか否かの確認ができない恐れが生じてしまうという問題がある。
【０００９】
本発明の目的は、長時間撮影された映像の中から、監督業務などに必要な作業シーンを提供することのできる技術を提供することにある。
【００１０】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１２】
すなわち、代表的な作業記録解析閲覧システムは、作業記録の映像を解析して抽出対象となる映像を提供する。この作業記録解析閲覧システムは、検出部、特徴抽出部、作業判別部、映像撮影部、および表示生成部を有する。
【００１３】
検出部は、作業データを検出する。特徴抽出部は、検出部が検出した作業データから特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量に基づいて、作業中であるか否かを判別する。映像撮影部は、作業記録を撮影する。表示生成部は、作業判別部が判別した判別結果に基づいて、作業期間および作業をしていない期間を時系列に示すタイムランを生成して表示する。
【００１４】
また、表示生成部は、前記作業期間を示す前記タイムランが選択された際に、作業期間に対応する映像を映像撮影部が撮影した作業記録の映像から取得して表示する。
【００１５】
特に作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業（標準行程）から抽出した特徴量である。
【００１６】
また、検出部が検出する作業データは、少なくとも温度データである。特徴抽出部は、検出部が検出した温度データを周波数解析して特徴量を抽出する。作業判別部は、特徴抽出部が抽出した特徴量と標準特徴量との類似度に基づいて、作業中であるか否かを判別する。標準特徴量は、作業が標準化された標準作業から抽出した特徴量であり、標準作業において検出部が検出した温度データを周波数解析して抽出したものである。
【発明の効果】
【００１７】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１８】
（１）容易に作業確認に必要な映像シーンを閲覧することができる。
【００１９】
（２）上記（１）により、監督業務の効率を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】一実施の形態による作業記録解析閲覧システムにおける構成の一例を示す説明図である。
【図２】図１の作業記録解析閲覧システムにおける他の構成例を示す説明図である。
【図３】図２の記憶装置に格納される検出情報の一例を示した説明図である。
【図４】図２の作業情報蓄積部に蓄積される作業情報の一例を示す説明図である。
【図５】図２の作業記録解析閲覧システムによる動作の一例を示すフローチャートである。
【図６】図２の表示内容生成部が生成したビューワー画面の一例を示す説明図である。
【図７】図６のビューワー画面における他の例を示す説明図である。
【図８】図７のビューワー画面における他の例を示す説明図である。
【発明を実施するための形態】
【００２１】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００２２】
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００２３】
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【００２４】
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００２５】
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２６】
以下、実施の形態を詳細に説明する。
【００２７】
〈作業記録解析閲覧システムの構成例〉
図１は、一実施の形態による作業記録解析閲覧システム１０における構成の一例を示す説明図である。
【００２８】
作業記録解析閲覧システム１０は、作業者が作業を行っている作業内容を特定して、監督者などが作業中の映像を効率よく閲覧できるように提示するシステムである。この作業記録解析閲覧システム１０は、様々な作業形態に適用することができるが、ここでは、一例として、飲食店などの調理場の作業に適用するものとする。この場合、作業記録解析閲覧システム１０は、調理者の調理動作を記録解析して調理中の映像を提示する。
【００２９】
作業記録解析閲覧システム１０は、図１に示すように、映像撮影装置１０１、センサ部１０２、表示装置１０３、および映像情報解析装置１０４を有する構成からなる。映像撮影部である映像撮影装置１０１は、例えばネットワークカメラやデジタルカメラなどである。映像撮影装置１０１は、調理場内の様々な場所に設けられており、該調理場内における映像を撮影する。
【００３０】
検出部であるセンサ部１０２は、例えば温度センサである。温度センサは、鍋や揚げ物などを調理する調理器具であるフライヤなどに取りけられ、鍋の温度やフライヤの油の温度などを検出する。
【００３１】
その他に、センサ部１０２を構成するセンサとしては、例えば、振動センサ、湿度センサ、あるいは集音マイクなどを有してもよい。振動センサは、振動を検出するセンサであり、例えば鍋などのあおりを検出する。
【００３２】
湿度センサは、湿度を検出するセンサであり、例えば蒸し器内の湿度や調理場の湿度などを検出する。集音マイクは、調理場の音を取得する。表示装置１０３は、例えば液晶ディスプレイなどからなり  後述する表示内容生成部１１７が生成した映像データを表示する。また、表示装置１０３および表示内容生成部１１７によって表示生成部が構成される。
【００３３】
映像情報解析装置１０４は、映像撮影装置１０１が取得した映像を解析して作業内容を判別すると共に、調理中の映像などを再生する。
【００３４】
この映像情報解析装置１０４は、映像入力部１１１、映像蓄積部１１２、センサデータ入力部１１３、特徴抽出部１１４、作業内容判別部１１５、作業情報蓄積部１１６、表示内容生成部１１７、および学習済みデータ蓄積部１１８を有する。
【００３５】
映像入力部１１１は、映像撮影装置１０１が撮影した画像データが入力される。映像撮影装置１０１が撮影した映像データには、該映像データを構成する各々のフレームに対して撮影日時がそれぞれ付与されている。映像蓄積部１１２は、映像入力部１１１から取り込んだ映像撮影装置１０１の画像データを蓄積する。センサデータ入力部１１３は、センサ部１０２が検出する検出データが入力される。
【００３６】
特徴抽出部１１４は、センサデータ入力部１１３から取り込んだ検出データを解析して特徴量を抽出する。この検出データは、作業データとなる。センサ部１０２が温度センサの場合、特徴抽出部１１４は、温度センサが検出した温度データから特徴量を抽出する。
【００３７】
特徴量としては、例えば油の単位時間当たりの最小温度や平均温度値などを用いることができる。その他に、フーリエ変換あるいはウェーブレット変換などの周波数解析を用いることによって調理中の時間帯の検出を容易にすることができる。
【００３８】
例えば揚げ物調理の際にフライヤに食材が投入されると、油の温度は大幅に低下した後、再び上昇して揚げ物に適した温度近傍を保つことになる。このような温度変化を周波数解析すると高周波成分が得られることになり、この高周波成分を特徴量として抽出する。なお、上記した特徴量の抽出は、一例を示したものであり、これに限定されるものではない。
【００３９】
作業内容判別部１１５は、特徴抽出部１１４が抽出した特徴量と学習済みデータ蓄積部１１８に蓄積されている学習済み特徴量とを比較して作業内容を判定する。具体的には、前述した周波数解析によって抽出された高周波成分と学習済み特徴量との類似度に基づいて、調理中であるかなどの作業内容を判定する。この学習済み特徴量は、標準特徴量となる。
【００４０】
学習済みデータ蓄積部１１８は、学習済み特徴量データを蓄積する。学習済み特徴量データは、学習済み特徴量および該学習済み特徴量に対応する作業内容からなる。学習済み特徴量は、模範的な調理、言い換えればマニュアル通りの調理によって得られた温度データから特徴量を抽出したものである。また、作業内容は、この特徴量に対応する作業内容を表したものである。
【００４１】
作業情報蓄積部１１６は、作業内容判別部１１５が判別した作業内容を作業情報として蓄積する。表示内容生成部１１７は、映像蓄積部１１２に蓄積されている映像データおよび該映像データに対応付けされた作業内容を例えばビューワー形式に生成して表示装置１０３に出力する。
【００４２】
〈映像検索システムの適用例〉
続いて、図１の作業記録解析閲覧システム１０の適用例について説明する。
【００４３】
図２は、図１の作業記録解析閲覧システム１０における他の構成例を示す説明図である。
【００４４】
この図２では、図１の作業記録解析閲覧システム１０が有する映像情報解析装置１０４を計算機であるパーソナルコンピュータを適用して構成した際の例を示したものである。
【００４５】
図２における映像撮影装置１０１、センサ部１０２、および表示装置１０３は、図１と同様であるので、説明は省略する。
【００４６】
図２において、映像情報解析装置１０４は、上述したように一般的なパーソナルコンピュータなどの計算機であり、プロセッサ１５０、メインメモリ１５１、映像入力インタフェース１５２、センサ情報入力インタフェース１５３、出力インタフェース１５４、および記憶装置１５５を有する。これらは、バスＢなどによって相互に接続された構成からなる。
【００４７】
プロセッサ１５０は、メインメモリ１５１に格納されたプログラムを実行する。メインメモリ１５１は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、プロセッサ１５０によって実行されるプログラムおよび該プロセッサ１５０によって参照されるデータを格納する。
【００４８】
具体的には、記憶装置１５５に格納されたプログラムおよびデータの少なくとも一部が、必要に応じてメインメモリ１５１にコピーされる。映像入力インタフェース１５２は、映像データを取得するためのインタフェースであり、映像撮影装置１０１が接続されている。
【００４９】
センサ情報入力インタフェース１５３は、センサ部１０２が検出したセンサ情報を取得するインタフェースであり、センサ部１０２が接続されている。出力インタフェース１５４は、表示装置１０３にて表示する画面を出力するインタフェースである。
【００５０】
記憶装置１５５は、例えばハードディスク装置（ＨＤＤ）あるいはフラッシュメモリのような不揮発性の記憶装置である。図２における記憶装置１５５には、少なくとも図１の特徴抽出部１１４、作業内容判別部１１５、および表示内容生成部１１７による機能を実行するプログラム形式のソフトウェアが格納されている。
【００５１】
また、記憶装置１５５は、データ格納領域を有している。このデータ格納領域には、図１の映像蓄積部１１２に蓄積される映像データ、図１の作業情報蓄積部１１６に蓄積されるデータ、図１の学習済みデータ蓄積部１１８に蓄積されるデータ、および後述する検出情報がそれぞれ格納される。
【００５２】
上述した特徴抽出部１１４、作業内容判別部１１５、および表示内容生成部１１７の各機能を実行するプログラムは、プロセッサ１５０によって実行されるプログラムである。
【００５３】
以下の説明において、これらの各機能が実行する処理は、プロセッサ１５０によって実行される。
【００５４】
〈データ例〉
図３は、図２の記憶装置１５５に格納される検出情報の一例を示した説明図である。
【００５５】
この図３は、センサ部１０２が検出する検出データを記憶装置１５５に格納する際のデータ形式を示している。
【００５６】
センサ部１０２は、前述したように例えば調理器具であるフライヤに設けられた温度センサからなり、フライヤの油の温度を検出データとして検出する。センサ部１０２が検出する油の温度は、プロセッサ１５０によってある間隔毎に定期的に取得される。
【００５７】
ここでは、プロセッサ１５０が１秒毎に油の温度を検出する例を示している。なお、温度の検出間隔については、特に限定されるものでなく、例えば５秒毎などの異なる間隔であってもよい。
【００５８】
プロセッサ１５０は、取得した油の温度に温度検出した際の検出時間を付加した検出情報を図３に示すデータ形式にて記憶装置１５５に格納する。
【００５９】
図４は、図２の作業情報蓄積部１１６に蓄積される作業情報の一例を示す説明図である。
【００６０】
作業情報蓄積部１１６に蓄積される作業情報は、図４に示すように、日時と作業内容とからなる。作業内容は、図２の作業内容判別部１１５が判別した作業内容であり、例えば「０」、「１」、「２」などの数字によって格納される。
【００６１】
図４の場合、作業内容「０」は、「作業なし」を示しており、これはフライヤがオフされており、油の温度が上がっていない状態を示している。作業内容「１」は、「調理」であることを示している。すなわちフライヤを用いて揚げ物を上げている調理中であることを示している。作業内容「２」は、「保温」であることを示している。これは揚げ物の調理がされずにフライヤの油が保温されている状態を示している。
【００６２】
〈映像検索システムの動作例〉
続いて、図２の作業記録解析閲覧システム１０による動作について説明する。
【００６３】
図５は、図２の作業記録解析閲覧システム１０による動作の一例を示すフローチャートである。
【００６４】
まず、センサ部１０２が取得した温度データをセンサ情報入力インタフェース１５３を通じて取得する（ステップＳ１０１）。取得した温度データは、上述した図３に示す形式によって記憶装置１５５に格納される。また、映像撮影装置１０１によって撮影された撮影データは、映像蓄積部１１２に格納される。ここで、格納する温度データおよび撮影データは、例えば飲食店の開店から閉店までとする。
【００６５】
続いて、特徴抽出部１１４による特徴量の抽出処理が実行される（ステップＳ１０２）。この特徴量の抽出処理は、上述したように映像蓄積部１１２に格納されている温度データから特徴量を抽出する。
【００６６】
そして、作業内容判別部１１５による作業内容判別処理が実行される（ステップＳ１０３）。この作業内容判別処理は、特徴抽出部１１４が抽出した特徴量と学習済みデータ蓄積部１１８に蓄積された学習済み特徴量データとを比較して、その類似度に基づいて作業内容を判別する。例えば抽出した特徴量が作業内容「１」の学習済みデータ蓄積部１１８と類似している際には、調理中であると判別する。
【００６７】
作業内容判別部１１５は、判別した作業内容および日時を作業情報蓄積部１１６に作業情報として蓄積する。作業情報における日時は、特徴量の変化の始まりから次の特徴量の始まり直前までとする。これにより、作業情報蓄積部１１６には、図４に示す作業情報が蓄積される。
【００６８】
続いて、表示内容生成部１１７による表示内容の生成が行われる（ステップＳ１０４）。表示内容生成部１１７は、作業情報蓄積部１１６に蓄積される作業情報を取り込み、該作業情報に基づいて図６のビューワー画面２００を生成して図２の表示装置１０３に出力する。これにより、表示内容生成部１１７が生成したビューワー画面２００が表示装置１０３に表示される。
【００６９】
〈ビューワー画面の表示例〉
図６は、図２の表示内容生成部１１７が生成したビューワー画面２００の一例を示す説明図である。図６は、表示内容生成部１１７が生成したビューワー画面２００を図２の表示装置１０３が表示した際の例を示している。
【００７０】
ビューワー画面２００は、図６に示すように、左上部に映像撮影装置１０１によって撮影された映像を表示する映像表示部２０１が設けられ、ビューワー画面２００の下部には、タイムライン２０２が表示されている。
【００７１】
このタイムライン２０２は、作業内容が時系列に示されたものであり、作業情報蓄積部１１６に蓄積される作業情報の作業内容と日時に基づいて生成する。これにより、作業内容が変化したことおよび変化した時間を視覚的に確認できるように表示されている。
【００７２】
図６のタイムライン２０２において、白抜きの部分は、作業内容「０」、すなわち作業していない状態を示しており、ドットにて示す部分は、作業内容「２」、すなわち油が保温中であることを示している。また、黒塗りの部分は、作業内容「１」、すなわち調理中であることを示している。
【００７３】
タイムライン２０２における作業内容の表示は、これに限定されるものではなく、作業内容が変化したことを確認することができればよい。例えば作業内容毎に表示色を変えるようにしたり、作業内容毎にコントラストを付けて表示するようにしてもよい。
【００７４】
監督者などが調理中の映像を確認したい場合には、作業内容が調理であることを示すタイムライン２０２の黒塗りの先頭部分をマウスなどによってクリックして選択する。タイムライン２０２がマウスなどによってクリックされると、表示内容生成部１１７は、クリックして選択された作業内容の日時に合致する日時が付与されたフレームを映像蓄積部１１２から検索し、検索されたフレームから映像の再生を開始する。
【００７５】
これによって、調理が開始された時点からの映像が映像表示部２０１に表示される。ここで、タイムライン２０２におけるクリック位置は任意であるので、表示内容生成部１１７は、選択されたタイムライン２０２の日時に合致するフレームを映像蓄積部１１２から検索し映像の再生を開始する。
【００７６】
飲食店の開店から閉店までの映像を全て確認することは時間的に困難であり、また、その映像から調理中の映像のみを探し出す作業だけでも多大な労力が必要である。
【００７７】
しかしながら、作業記録解析閲覧システム１０では、上述したように、表示装置１０３に表示されたタイムライン２０２を視覚的に確認するだけで調理中の映像であるか否かを容易に確認することができる。
【００７８】
これにより、効率よく短時間で調理を行っている映像を再生することができる。よって、監督者などがマニュアルに定められた標準作業である標準行程に沿った調理を調理者が行っているかの確認を効率よく行うことができる。
【００７９】
また、タイムライン２０２を指定することにより、任意の映像を容易に閲覧することができるので、調理中あるいは調理中以外の映像に関係なく、簡単に再生閲覧することができる。
【００８０】
〈ビューワー画面の他の表示例〉
図７は、図６のビューワー画面２００における他の例を示す説明図である。
【００８１】
この図７のビューワー画面２００では、図６のビューワー画面２００に温度表示部２０３が新たに設けられた構成となっている。温度表示部２０３は、タイムライン２０２に対応して時系列に油の温度が線グラフとなって表示される画面である。この線グラフは、図２の記憶装置１５５に格納される検出情報に基づいて、表示内容生成部１１７が生成する。
【００８２】
また、温度表示部２０３に表示された線グラフは、映像表示部２０１に表示される映像とリンクするように示される。表示内容生成部１１７は、監督者などがマウスなどによって任意の線グラフの位置を指定すると、該指定位置の日時に合致する日時が付与されたフレームを映像蓄積部１１２から検索し、検索されたフレームから映像の再生を開始する。
【００８３】
例えば、調理中の油の温度がマニュアルなどの標準行程に決められている温度（以下、下限温度という）を下回った際の調理の映像を確認したい場合には、マウスなどによって該当する線グラフの位置を選択する。これにより、映像表示部２０１には、油の温度が下限温度を下回った場面からの映像が再生される。これによって、調理時間および調理中の油の温度などを容易に確認することができる。
【００８４】
フライヤによる調理の際には、食材の加熱時間が味などを左右することがある。例えば食材を投入した際に、油の温度が上述した下限温度よりも下がってしまったり、あるいは食材の揚げ時間が標準行程通りでないなどである。
【００８５】
作業記録解析閲覧システム１０は、上記したように、調理工程の映像を監督者などに短時間で容易に提供することができる。よって、監督者は、調理中の映像を効率よく閲覧することが可能となる、これらによって、調理担当者の技術をより向上させることができる。
【００８６】
図８は、図７のビューワー画面２００における他の例を示す説明図である。
【００８７】
図８に示すビューワー画面２００では、図７のビューワー画面２００にアラート表示部２０４が新たに設けられた構成からなる。図８では、アラート表示部２０４が映像表示部２０１の右側に設けられた例を示している。
【００８８】
このアラート表示部２０４は、マニュアルなどにて規定された標準行程の調理条件に反した場合などに表示される。調理条件は、例えば学習済みデータ蓄積部１１８などに予め格納する。
【００８９】
そして、作業内容判別部１１５は、作業内容が調理中であると判別した際に、学習済みデータ蓄積部１１８に格納されている調理条件に基づいて、該調理条件に反する調理処理が行われているか否かを判定する。
【００９０】
調理条件は、例えば油の下限温度や食材の揚げ時間などである。作業内容判別部１１５は、例えば調理中の油の温度が調理条件に設定される下限温度よりも下がってしまったり、揚げ時間が調理条件よりも短い、あるいは揚げ時間が調理条件よりも長いなどを判定する。
【００９１】
そして、作業内容判別部１１５は、調理条件に反する調理処理が行われていると判定した際に、その判定結果およびアラートの内容を作業情報蓄積部１１６に出力する。表示内容生成部１１７は、作業情報蓄積部１１６に蓄積されているアラート内容に基づいてアラート表示部２０４にアラート内容が表示されるようにビューワー画面２００を生成する。
【００９２】
これにより、より容易にマニュアルに反する調理処理などを確認することができ、調理者によるばらつきを低減して味の均一化などを実現することができる。
【００９３】
以上により、容易に調理中の映像を確認することができる。これにより、調理者の調理を確認する監督者などの利便性を向上することができる。監督者の監視業務の効率を一層向上させることができる。
【００９４】
図８においては、油の温度をセンサ部１０２によって検出した例を示したが、該センサ部１０２の取り付けは、例えばフライパンなどの他の調理器具に取り付けるようにしてもよい。
【００９５】
例えば炒め物を調理するフライパンにセンサ部１０２として温度センサを取り付けた場合には、調理中のフライパンの温度の下がり具合などから食材をフライパンに投入した時間を判別することができる。
【００９６】
また、フライパンに温度センサの他にセンサ部１０２として振動センサを取り付けた場合には、炒め物調理中におけるフライパンのあおり回数や期間などを判定することができる。上記した温度センサが検出する温度と振動センサが検出するあおり回数などから、炒め物の調理を判別することができる。
【００９７】
また、調理中において、フライパンに食材を投入してから食材の炒めが終了するまでの時間なども取得することができる。調理条件に炒め物調理時のフライパンのあおり回数あるいは炒め時間などを設定することにより、反作業内容判別部１１５は、炒め物が調理条件に沿って調理されているか否かを判定することができる。
【００９８】
また、フライパンのあおり回数が調理条件よりも少ない場合、あるいは炒め時間が調理条件よりも長かったり、短かったりした場合などにアラート表示部２０４がアラートを表示することともできる。
【００９９】
これによっても、監督者に対してマニュアル通りに調理されていない恐れのある調理映像などを容易に閲覧することのできる作業記録解析閲覧システム１０を提供することができる。
【０１００】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０１０１】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【０１０２】
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
【符号の説明】
【０１０３】
１０  作業記録解析閲覧システム
１０１  映像撮影装置
１０２  センサ部
１０３  表示装置
１０４  映像情報解析装置
１１１  映像入力部
１１２  映像蓄積部
１１３  センサデータ入力部
１１４  特徴抽出部
１１５  作業内容判別部
１１６  作業情報蓄積部
１１７  表示内容生成部
１１８  学習済みデータ蓄積部
１５０  プロセッサ
１５１  メインメモリ
１５２  映像入力インタフェース
１５３  センサ情報入力インタフェース
１５４  出力インタフェース
１５５  記憶装置
２００  ビューワー画面
２０１  映像表示部
２０２  タイムライン
２０３  温度表示部
２０４  アラート表示部
Ｂ  バス
【図１】
2018005316.tif 000003
【図２】
2018005316.tif 000004
【図３】
2018005316.tif 000005
【図４】
2018005316.tif 000006
【図５】
2018005316.tif 000007
【図６】
2018005316.tif 000008
【図７】
2018005316.tif 000009
【図８】
2018005316.tif 000010