(57)【要約】【課題】自動機を備えた生産ラインなどの監視を受ける側のシステムを改変することなく、記録された動画を確認する作業を簡易化する。【解決手段】監視される系、監視を受ける側のシステムを変更することなく、カメラ２１で撮影した動画Ｍをレコーダ２２により記録する。例えばレコーダ２２に配置した動画処理部は、記録された原動画（Ｍ）の繰り返し部分を検出し、検出した繰り返し部分を単位として原動画（Ｍ）を部分動画に分割する。繰り返し部分の検出は、例えば原動画から切り出した複数の静止画からそれぞれ代表値の経時的な変化に対してフロイドの循環検出法を適用することにより行う。部分動画は、複数の部分動画ファイルとして生成するか、繰り返し部分を単位としてチャプタデータを付与することにより生成する。ユーザの操作で指定された特定の部分動画は動画再生装置により再生させる。【選択図】図２
2020022101.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、
前記カメラで撮影した動画を記録する記録装置と、
前記カメラが撮影した原動画から繰り返し部分を検出し、検出した繰り返し部分を単位として前記原動画を部分動画に分割する動画処理部と、を備えた監視装置。
【請求項２】
請求項１に記載の監視装置において、前記原動画の前記繰り返し部分は、特定の動作を繰り返す被写体が撮影されている前記原動画の部分である監視装置。
【請求項３】
請求項１または２に記載の監視装置において、前記部分動画が前記繰り返し部分をそれぞれ記録した複数の部分動画ファイルとして生成される監視装置。
【請求項４】
請求項１または２に記載の監視装置において、前記部分動画が、前記原動画の前記繰り返し部分に対応するチャプタデータを生成することにより生成される監視装置。
【請求項５】
請求項１から４のいずれか１項に記載の監視装置において、特定の前記部分動画をユーザが指定するための操作手段と、動画再生装置と、を備え、前記操作手段により指定された特定の前記部分動画を前記動画再生装置により再生させる監視装置。
【請求項６】
請求項１から５のいずれか１項に記載の監視装置において、前記動画処理部は、前記原動画から切り出した複数の静止画からそれぞれ代表値を算出し、前記代表値の経時的な変化に対してフロイドの循環検出法を適用することにより、原動画の繰り返し部分を検出する監視装置。
【請求項７】
請求項６に記載の監視装置において、前記代表値が、前記静止画の全画素の平均輝度である監視装置。
【請求項８】
請求項１から５のいずれか１項に記載の監視装置において、前記動画処理部は、前記原動画に撮影されている被写体の特定の状態を撮影した静止画群を用いた学習制御を介して、前記原動画から切り出した静止画から前記特定の状態に対応する特定の静止画を識別し、識別した特定の静止画の前記原動画における位置に基づき、原動画の繰り返し部分を検出し、検出した繰り返し部分を単位として前記原動画を前記部分動画に分割する監視装置。
【請求項９】
請求項８に記載の監視装置において、前記学習制御が人工ニューラルネットワーク手段により実行される監視装置。
【請求項１０】
請求項８に記載の自動機の監視装置において、前記学習制御が強化学習制御により実行される監視装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の監視装置を備え、前記カメラが生産機器を撮影するよう配置された生産ラインであって、前記動画処理部によって前記生産機器が繰り返し実行する生産動作が記録された前記部分動画が原動画から生成される生産ライン。
【請求項１２】
請求項１１に記載の生産ラインに配置された前記生産機器によって物品を製造する物品の製造方法。
【請求項１３】
カメラと、前記カメラで撮影した動画を記録する記録装置と、を備えた監視装置の制御方法において、
制御装置が、前記カメラが撮影した原動画の繰り返し部分を検出する検出工程と、
前記制御装置が、前記検出工程で検出された繰り返し部分を単位として前記原動画を部分動画に分割する動画処理工程と、を含む監視装置の制御方法。
【請求項１４】
請求項１３に記載の監視装置の制御方法の各工程を前記制御装置に実行させるための制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを格納したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラと、カメラで撮影した動画を記録する記録装置とを用いる監視装置、生産ライン、および監視装置の制御方法に関する。
【背景技術】
【０００２】
従来より、カメラと、カメラで撮影した動画を記録する記録装置とを用いた監視装置が知られている。この種の監視装置は、店舗や住居用途の建物、道路、交差点、踏切などで用いられる他、生産ラインに配置された生産装置としての自動機の監視など、種々の用途に用いられている。
【０００３】
特に、生産ラインにおいては、生産装置としての自動機、例えばロボットアームや、供給／排出ストッカや各種の搬送装置の監視に、動画撮影／記録を行う監視装置が用いられる。例えばロボットアームや、供給／排出ストッカや各種の搬送装置のような自動機は、人手を介さずに、材料を加工する工程や、各種の物品やその部品を組み立てる工程を実施する。自動機の監視装置は、他の用途で用いられる監視装置と同様にこれらの自動機の稼働する様子を撮影し続ける。自動機の監視装置は、特に自動機の正常な稼働を視認する用途、あるいは自動機に異常が発生した際に異常の原因を分析する用途などに利用される。
【０００４】
用途によっては、監視装置のカメラと記録装置は、長期間に渡って稼働させ続け、長時間の動画を記録し続ける。その動画の長さは、数日、場合によっては月、年の単位に及ぶ場合もある。撮影した動画を解析する場合、このような長時間の動画は、画像処理を用いた自動的な解析手続が適用できる場合もあるが、多くの場合、ユーザが動画を再生させて、撮影されている被写体の状態を確認（視聴）することによって行うことも多い。その場合、記録した動画が膨大であるほど、ユーザが確認したい動画を見つけにくい、という問題があった。
【０００５】
特に自動機の監視においては、上記の問題に鑑み、監視装置を生産ラインの異常状態を検出する検出装置と接続し、異常状態が検出された場合、対応する動画を上書き不可にする制御を行う構成が提案されている（例えば下記の特許文献１）。また、本明細書でいう自動機に類する設備装置の発生する信号に応じて撮影する撮影装置を有する構成も知られている（例えば下記の特許文献２）。この構成では、設備装置が必要と判定した場合に、動画撮影が行なわれる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−１２２３１９号公報
【特許文献２】特開平６−８６２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の監視装置では、自動機に異常状態を検出する検出装置を接続する必要がある。この場合、自動機は、検出装置を設置できるよう構成されている必要がある。あるいは、既に稼働している自動機に検出装置を設置するのであれば、場合によっては機械的、あるいは電気的な改造が必要になる場合がある。このような変更は、自動機の仕様や稼働状態により、許容されない場合が考えられる。また、特許文献２の監視装置では、自動機と自動機の監視装置を、制御信号を授受できるよう電気的に接続しなければならない。また、自動機に監視装置の制御ソフトウェアを搭載する必要がある。このような変更は、上記同様、自動機の仕様や稼働状態により、許容されない場合が考えられる。
【０００８】
本発明の課題は、監視される系、例えば自動機の配置された生産ラインなど、監視を受ける側のシステムを改変する必要なく、記録された動画を確認する作業を容易に行えるようにすることにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明においては、カメラと、前記カメラで撮影した動画を記録する記録装置と、前記カメラが撮影した原動画から繰り返し部分を検出し、検出した繰り返し部分を単位として前記原動画を部分動画に分割する動画処理部と、を備えた構成を採用した。
【発明の効果】
【００１０】
上記構成によれば、長時間、記録された動画を容易に部分動画に分割することができ、監視される系、例えば自動機の配置された生産ラインなど、監視を受ける側のシステムを改変する必要なく、記録された動画を確認する作業を容易に行えるようになる。
【図面の簡単な説明】
【００１１】
【図１】自動機および自動機の監視装置を示した説明図である。
【図２】自動機および自動機の監視装置の制御系を示した説明図である。
【図３】自動機が稼働する様子を示した説明図である。
【図４】自動機が稼働する様子を示した説明図である。
【図５】自動機が稼働する様子を示した説明図である。
【図６】自動機が稼働する様子を示した説明図である。
【図７】自動機が稼働する様子を示した説明図である。
【図８】カメラで図３の状態を撮影したフレームを示した説明図である。
【図９】カメラで図４の状態を撮影したフレームを示した説明図である。
【図１０】カメラで図５の状態を撮影したフレームを示した説明図である。
【図１１】カメラで図６の状態を撮影したフレームを示した説明図である。
【図１２】カメラで図７の状態を撮影したフレームを示した説明図である。
【図１３】演繹的アルゴリズムを用いて動画を分割する手法を示した説明図である。
【図１４】分割された部分動画群と、その再生の様子を示した説明図である。
【図１５】（ａ）〜（ｃ）は学習系および判別器を用いて動画を分割する手法を示した説明図である。
【図１６】動画分割に用いることができる制御装置の具体的な構成の一例を示したブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
【００１３】
本実施形態の自動機の監視装置は、生産ラインに生産機器として配置された自動機によって行われる生産動作の様子を撮影、記録する。記録した動画は、自動機の正常な稼働を視認する用途、自動機に異常が発生した際に異常の原因を分析する用途に、好適に用いることができる。ただし、本発明の技術は、必ずしも自動機を監視対象とする監視装置においてのみ限定的に適用されるものではなく、他の監視対象が自動機や生産ライン以外であっても実施することができるものである。
【００１４】
図１は、物品の生産ラインにおいて、監視装置２とともに配置された自動機１を示している。監視装置２は、カメラ２１と、カメラ２１で撮影した動画の記録装置としてのレコーダ２２とを備え、カメラ２１で自動機１周辺を動画撮影することにより監視する。カメラ２１が撮影する動画の撮影フレームレートは任意であり、場合によっては静止画の間歇撮影と呼ぶにふさわしいフレームレートの場合でも、本実施形態の技術は実施することができる。
【００１５】
図１において、自動機１は、定盤１６に配置されたＰＬＣ（プログラマブル・ロジック・コントローラ）１１、ロボット１２、供給ストッカ１３、排出ストッカ１４、作業台１５、を備えている。供給ストッカ１３には、物品を製造するための部品Ａ、部品Ｂが載置されている。ＰＬＣ１１は、ロボット１２、供給ストッカ１３、排出ストッカ１４の動作を制御し、部品Ａおよび部品Ｂから物品を製造する動作を行わせる。
【００１６】
ロボット１２は、複数の可動部および駆動系を有する構成であり、例えば図示のような垂直多関節型のロボットアームおよびその先端に装着されたエンドエフェクタとしてのハンド１２１から成る。ロボット１２は、ＰＬＣ１１の指令を受けて、各駆動系により各可動部を動作させ、目的に応じた位置、姿勢を取ることができる。
【００１７】
ロボット１２の先端に装着されたハンド１２１は、フィンガ方式、エアー吸引方式などによって、部品Ａ、Ｂを把持可能な把持手段を構成する。
【００１８】
供給ストッカ１３および排出ストッカ１４も、自動機１の一部であり、複数の可動部および駆動系を有する。供給ストッカ１３は、ＰＬＣ１１の指令に基づき、載置された部品群をロボット１２が取りやすいよう、あるいは自動機の外部から部品群の供給を受けるための位置姿勢に駆動される。排出ストッカ１４は、ＰＬＣ１１の指令に基づき、ロボット１２がなんらか操作した部品群を置きやすいよう、あるいは自動機の外部へ部品群を排出するための位置姿勢に駆動される。
【００１９】
作業台１５は、ロボット１２が、取得した部品群を一時的に載置し、加工や組み立てなどの操作を行う際に、使用される。ロボット１２、供給ストッカ１３、排出ストッカ１４、作業台１５は、定盤１６上の所定位置に固定され、互いに望ましい位置関係が保持されている。定盤１６の剛性や水平度などの仕様は、自動機１に要求される性能や仕様に応じて適宜定められる。
【００２０】
図１の監視装置２は、カメラ２１およびレコーダ２２によって構成されている。カメラ２１は、制御信号などによって、レコーダ２２と電気的に接続されている。レコーダ２２からカメラ２１へは、撮影を指令する信号などが送信される。カメラ２１からレコーダ２２へは、撮影した動画Ｍ（図２）が送信される。
【００２１】
ユーザは、カメラ２１を、ロボット１２、供給ストッカ１３、排出ストッカ１４、作業台１５を視野に含むよう、配置する。カメラ２１の配置は、図示した位置より、もっと遠方でも良いし、カメラ２１は、定盤１６やロボット１２に固定されていてもよい。また、図１では三脚のようなカメラマウントを用いて配置されているが、カメラ２１が天井付け、のような方法で配置され、上方から自動機１を監視する構成であってもよい。
【００２２】
カメラ２１は、ロボット１２、供給ストッカ１３、排出ストッカ１４、作業台１５、部品Ａ、部品Ｂが動作する様子を撮影し、撮影した動画Ｍ（図２）は、レコーダ２２に記録される。
【００２３】
図２は、自動機と、自動機の監視装置の接続関係を示している。特筆すべきは、本実施形態においては、例えばＰＬＣ１１とレコーダ２２が非接続であって、監視装置２と、監視される系である自動機１が接続されていない点である。
【００２４】
自動機１における、ＰＬＣ１１とロボット１２とは、ロボットドライバ１２２を介して接続されている。同様に、ＰＬＣ１１と接続するために、供給ストッカ１３には供給ストッカドライバ１３１が、排出ストッカ１４には排出ストッカドライバ１４１が配置されている。一般に、ＰＬＣ１１の出力信号は、ロボットやストッカを直接駆動できるほど高電圧・大電流ではなく、これら各ドライバが駆動信号のタイミングおよび電力の増幅の機能を担う。なお、これら各ドライバは、単にブロックの図示によって示されているが、ＰＬＣ１１と、各被駆動部の間に配置された制御装置の構成であってよい。例えば、ロボット１２の場合には、ＰＬＣ１１とロボット１２の間にロボット制御装置が配置されることがあるが、本実施形態のロボットドライバ１２２の機能は、このロボット制御装置によって実現できる。この点は、供給／排出ストッカのドライバについても同様である。
【００２５】
前述の通り、監視装置２のカメラ２１とレコーダ２２は、相互に接続されているが、本実施形態では監視される自動機１の系とは接続不要であり、監視装置２と自動機１は、異常検出信号や、同期信号の類を相互に送受信する必要はない。
【００２６】
図３〜図７は、自動機１が稼働する様子を、また、図８〜図１２は、図３〜図７の状態においてそれぞれカメラ２１が撮影した動画フレームを示している。以下では、まず、図３〜図７を参照して自動機１が実施する製造工程の一例を説明する。ここで例示する自動機１の動作は作業台１５上で部品ＡとＢを組み立て、排出ストッカ１４に排出するものである。
【００２７】
図３は、自動機１が実施する第１の工程を示している。この第１の工程では、供給ストッカ１３上の部品Ａの１つを把持する動作である。ここでは、ＰＬＣ１１の指令により、ロボット１２と供給ストッカ１３が協調的に駆動されハンド１２１によって供給ストッカ１３上の部品Ａが把持される。
【００２８】
図４は、自動機１が実施する第２の工程を示している。この第２の工程では、部品Ａを作業台１５へ移送、載置する。ＰＬＣ１１の指令により、ロボット１２は、ハンド１２１およびハンド１２１が把持した部品Ａを、作業台１５上に移送する。ハンド１２１が部品Ａの把持を解除すると、部品Ａは、作業台１５上に載置される。
【００２９】
図５は、自動機１が実施する第３の工程を示している。この第３の工程では、供給ストッカ１３上の部品Ｂの１つを把持する動作を行う。ここでは、ＰＬＣ１１の指令により、ロボット１２と供給ストッカ１３が協調的に駆動され、ハンド１２１が部品Ｂを把持する。
【００３０】
図６は、自動機１が実施する第４の工程を示している。この第４の工程は、部品Ａへの部品Ｂの組み付けに相当する。ここでは、ＰＬＣ１１の指令により、ロボット１２は、ハンド１２１およびハンド１２１が把持した部品Ｂを、作業台１５上の部品Ａ上に載置し、組み付ける。部品ＡとＢの相互の位置決めは、例えばこれらの部品に設けられた、爪などの嵌合部（詳細不図示）を介して行われる。部品ＡとＢの位置決めが終ると、ハンド１２１は部品Ｂの把持を解除する。
【００３１】
その後、ロボット１２は、例えばビス締結、接着などの機械的接合手段により部品Ｂを部品Ａに固着し、組み付ける。この時、必要に応じて、ロボット１２は、ハンド１２１を、ビスの吸着や締結機能を有する別のハンドなどに、自動的に交換する動作を行ってもよい。部品Ｂを部品Ａに組み付けることにより製造された物品（部品Ａ＋Ｂ）は、ハンド１２１によって把持される。
【００３２】
図７は、自動機１が実施する第５の工程を示している。この第５の工程では、製造された物品、即ち部品Ａ＋Ｂを排出ストッカ１４へ載置する動作を行う。ここでは、ＰＬＣ１１の指令により、ロボット１２は、ハンド１２１およびハンド１２１が把持した部品Ａ＋Ｂを、排出ストッカ１４上に載置する動作を行う。ハンド１２１は、排出ストッカ１４上で部品Ａ＋Ｂの把持を解除し、これにより、製造された物品（部品Ａ＋Ｂ）が排出ストッカ１４に移送される。
【００３３】
自動機１は、図４〜図７に示した第１〜５の工程の動作を繰り返して、物品（部品Ａ＋Ｂ）を次々に製造する。その場合、自動機１は、継続的に供給ストッカ１３に対して外部から部品Ａおよび部品Ｂの供給を受け、排出ストッカ１４を介して外部に部品Ａ＋Ｂを排出する。
【００３４】
次に、図８〜図１２を参照して図３〜図７の状態においてそれぞれカメラ２１が撮影した動画フレームにつき説明する。自動機１が図３〜図７のように第１〜５の工程を実行する様子を、カメラ２１から撮影すると、図８〜図１２のようなフレームを含む動画Ｍ（図２）がレコーダ２２に記録される。
【００３５】
なお、図８〜図１２では、図示の都合上、それぞれ１フレームの画像しか示していない。しかしながら、実際の動画Ｍには、図８〜図９、図９〜図１０、図１０〜図１１、図１１〜図１２の間の動作も多数の動画フレームとして記録されているのはもちろんである。また、当然ながら、自動機１が第１〜５の工程（図３〜図７）の１セットを繰り返し実行すると、これを連続的に記録した動画Ｍには、図１２の状態から図８の状態に移行する間の画像も含まれる。
【００３６】
また、自動機の監視装置２の、撮影のタイミングによって、動画Ｍには、自動機１が稼働していない様子も含まれる。あるいは、自動機１に異常が生じた場合、動画Ｍには、上記のいずれとも異なる自動機１の様子を撮影した画像が含まれる場合がある。
【００３７】
しかし、本実施形態の監視装置２は、多数回繰り返される第１〜５の工程（図３〜図７）よりも十分、長い時間の動画記録を行うものとする。その場合には、動画Ｍは、被写体の自動機１が図８〜図９〜図１０〜図１１〜図１２の動作を繰り返す様子がそれぞれ撮影された繰り返し部分を含むことになる。
【００３８】
本実施形態では、このように長時間、切れ目なく記録装置としてのレコーダ２２に記録された記録された原動画（Ｍ）から繰り返し部分を検出し、検出した繰り返し部分を単位として原動画（Ｍ）を部分動画に分割する。この原動画（Ｍ）の繰り返し部分は、特定の動作を繰り返す被写体が撮影されている原動画（Ｍ）の部分である。
【００３９】
このような原動画（Ｍ）の繰り返し部分の検出と、部分動画への分割処理は、動画処理部によって行う。この動画処理部は、独立したスタンドアローンな画像処理装置を設けてレコーダ２２に記録されている動画Ｍを処理するものであってもよいが、例えば、レコーダ２２自体がそのような動画処理部の機能を有する構成であってもよい。
【００４０】
この動画処理部を実現するレコーダ２２とは別の画像処理装置、あるいは動画処理部の機能を有するレコーダ２２は、例えば図１６のように構成することができる。以下では、図１６の制御系はレコーダ２２として構成される場合を例に説明する。
【００４１】
図１６は、原動画（Ｍ）の繰り返し部分の検出と、部分動画への分割処理を行う動画処理部としての画像処理装置の構成の一例を示している。図１６の制御系は、主制御手段としてのＣＰＵ６０１、記憶装置としてのＲＯＭ６０２、およびＲＡＭ６０３を備えたＰＣハードウェアなどによって構成することができる。ＲＯＭ６０２には、後述する製造手順を実現するためのＣＰＵ６０１の制御プログラムや定数情報などを格納しておくことができる。また、ＲＡＭ６０３は、その制御手順を実行する時にＣＰＵ６０１のワークエリアなどとして使用される。
【００４２】
また、図１６の制御系には、外部記憶装置６０６が接続されている。外部記憶装置６０６は、ＨＤＤやＳＳＤ、ネットワークマウントされた他のシステムの外部記憶装置などから構成される。例えば、動画Ｍ（図２）は、この外部記憶装置６０６に記録（録画）することができる。
【００４３】
本実施形態の制御手順（例えば図８）を実現するためのＣＰＵ６０１の制御プログラムは、上記の外部記憶装置６０６や、ＲＯＭ６０２の（例えばＥＥＰＲＯＭ領域）のような記憶部に格納しておくことができる。その場合、後述の制御手順を実現するためのＣＰＵ６０１の制御プログラムは、ネットワークインターフェース６０７を介して、上記の各記憶部に供給し、また新しい（別の）プログラムに更新することができる。あるいは、後述の制御手順を実現するためのＣＰＵ６０１の制御プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのＣＰＵ６０１の制御プログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
【００４４】
図１６の制御系がレコーダ２２として構成されている場合、ＣＰＵ６０１には、カメラ２１は、例えばネットワークインターフェース６０７、ネットワーク６０８を介して接続される。ネットワークインターフェース６０７は、例えばＩＥＥＥ  ８０２．３のような有線通信、ＩＥＥＥ  ８０２．１１、８０２．１５のような無線通信による通信規格を用いて構成することができる。ネットワークインターフェース６０７は、例えば生産ラインに生産制御、管理のために配置されたＰＬＣ１１のような統轄制御装置や、管理サーバなどとの間の通信にも用いることができる。
【００４５】
図１６の監視装置では、ＵＩ装置（ユーザーインターフェース装置）として、操作部６０４、および表示装置６０５が接続されている。操作部６０４は、ハンディターミナルのような端末、あるいはキーボード、ジョグダイアル、ポインティングデバイスなどのデバイス（あるいはそれらを備えたから成る制御端末）などによって構成することができる。表示装置６０５には、例えば液晶方式の他、後述するデータ表示、あるいはそれに類似の表示画面を表示出力できるものであれば任意の方式のディスプレイ装置を用いることができる。
【００４６】
上記のように構成された動画処理部において行う原動画（Ｍ）の繰り返し部分の検出と、部分動画への分割処理は、いくつかの手法が考えられる。
【００４７】
図１３は、演繹的アルゴリズムを用いて動画を分割する手法を示している。図１３の左側は処理手順の流れを示したフローチャート、右側は取り扱われているデータを示している。本実施形態では、図１３のような演繹的アルゴリズムを用いて動画を分割する手法を演繹手法と呼ぶ。図示の制御手順は、例えば上記のＲＯＭ６０２や外部記憶装置６０６などにＣＰＵ６０１の制御プログラムとして格納しておくことができる。
【００４８】
図１３の演繹手法において、ステップＳ５１は、カメラ２１およびレコーダ２２が動画Ｍを記録する処理を示している。動画Ｍには、自動機１が工程繰り返し実行する様子が、少なくとも２回以上の複数回、含まれるものとする。
【００４９】
次に、ステップＳ５２において、ステップＳ５１で取得した動画Ｍから、代表値として輝度変化５２１を算出する。このステップＳ５２では、例えば動画Ｍを静止画群として扱う。動画Ｍが持つ全静止画に対し、各静止画が持つ全画素の輝度値の平均値、すなわち平均輝度を算出する。この代表値としての平均輝度を時間方向に羅列すると、各静止画の代表値（平均輝度）の経時的な輝度変化５２１が得られる。
【００５０】
次に、ステップＳ５３において、ステップＳ５２で取得した輝度変化５２１に、ノイズフィルタを適用し、フィルタ後の輝度変化５３１を取得する。このステップＳ５３のノイズフィルタ処理では、輝度変化５２１から、急峻過ぎる変化や、緩慢過ぎる変化を取り除く。急峻過ぎる変化を引き起こす要因として、カメラ２１に混入するノイズ、カメラ２１の撮影範囲にユーザが映り込んだ場合などが想定される。また、緩慢過ぎる変化を引き起こす要因として、自動機１が屋外の環境光に晒されている場合などが想定される。ステップＳ５３のノイズフィルタ処理で適用するフィルタの種類や次数は、フィルタ後の輝度変化５３１に顕著な繰り返しが検出できるよう、例えば予め実験などを行って試行錯誤的に決定しておけばよい。
【００５１】
ステップＳ５４では、フィルタ後の輝度変化５３１の、輝度および時間の分解能を低減し、分解能低減後の輝度変化５４１を取得する。このように分解能を低減することにより、本実施例で循環検出（下記のステップＳ５５）に用いるフロイドの循環検出法の確度が向上する。
【００５２】
次に、ステップＳ５５において、ステップＳ５４で取得した分解能低減後の輝度変化５４１にフロイドの循環検出法を適用する。フロイドの循環検出法は、周知のように任意の数列から繰り返しの数列を検出するアルゴリズムである。このフロイドの循環検出法によれば、分解能低減後の輝度変化５４１から、繰り返し部分Ｒを検出することができる。この繰り返し部分Ｒは、先の動画フレームにおいては、図８〜図９〜図１０〜図１１〜図１２（〜図８）の部分に相当する。
【００５３】
ただし、フロイドの循環検出法は、無作為に適用すると、循環の初期値が一意に定まらない場合がある。例えば、繰り返し部分Ｒとして、図９〜図１０〜図１１〜図１２〜図８（〜図９）の部分を検出する可能性がある。この対策として、自動機１の稼働開始と監視装置２の監視開始をタイミング調整することが考えられる。このタイミング調整には必ずしも同期信号を用いる必要はなく、例えば自動機１の稼働開始と監視装置２の監視開始を同一時刻に取る、といった手段によって可能である。ただし、同期信号を用いても構わないのはいうまでもなく、その場合には、例えば図１６のネットワーク６０８を介して自動機１と監視装置２が同期信号を送受信してもよい。このようなタイミング調整により、動画Ｍに含まれる繰り返しの初期要素を図８の状態に特定することができ、フロイドの循環検出法により繰り返し部分Ｒとして図８〜図９〜図１０〜図１１〜図１２（〜図８）の部分を検出することができる。
【００５４】
また、自動機１がなんらかの都合によって、所期の工程を実施できていない場合も考えられる。これは、例えば、図８〜図９〜図１０〜図１１〜図１２（〜図８）に相当する１サイクルを実行した後、何らかの異常動作により非常停止するような場合である。このようなケースでは、ステップＳ５５の処理では、繰り返し部分Ｒを検出できない。このように繰り返し部分Ｒを検出できない場合は、動画分割（Ｓ５６）を実行せず、処理を終了する。あるいはさらに、レコーダ２２が動画Ｍを削除不可に設定する制御を行ってもよい。このように繰り返し部分Ｒの不検出の場合、レコーダ２２が動画Ｍを削除不可に設定する制御を行うことにより、事後、ユーザが自動機１の不都合を解析しやすくなる場合がある。
【００５５】
また、繰り返し部分Ｒの検出の成否は、例えばユーザに１サイクルの工程の大まかな所要時間を入力させておき、繰り返し部分Ｒの所要時間が、ユーザが入力したものと、ほぼ同一になるか否かを判定することによって行ってもよい。
【００５６】
次に、繰り返し部分Ｒの検出が成功している場合には、ステップＳ５６を実行する。このステップＳ５６は、ステップＳ５５で取得した繰り返し部分Ｒの境で動画Ｍを分割し、それぞれ繰り返し部分Ｒに相当する部分動画を得る処理である。動画群の各動画は、図８〜図９〜図１０〜図１１〜図１２（〜図８）に相当する、自動機１の実施する１サイクル分の部分動画となる。
【００５７】
図１４は、分割された部分動画をユーザが確認（視聴）するのに適したユーザーインターフェースの一例を示している。レコーダ２２が図１６のような構成を有する場合、例えば表示装置６０５（と操作部６０４）によって図１４に示すようなＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成することができる。ただし、図１４に示すようなＧＵＩは、レコーダ２２に接続可能な、レコーダ２２ではない装置によって実施されるものであってもよい。
【００５８】
図１４のＧＵＩでは、ファイルマネージャー６１を起動し、録画フォルダ６２を開いている。ファイルマネージャー６１は、各種のＧＵＩを備えたＯＳにおいて用いられているものを流用して構わない。録画フォルダ６２には、録画フォルダ６２には、前述した演繹手法で分割した部分動画群６３が、格納されている。部分動画群６３のファイル名には、例えば同図に示すように、動画の先頭部の撮影時刻の情報を含めるようにすると、下記のようなユーザの解析作業が容易になる。なお、図１４では部分動画群６３のメタファ（ＧＵＩ表示）は文字列による、例えばファイル名の表示である。しかしながら、部分動画群６３の表示には、アイコン表示、あるいはアイコンとファイル名の組み合わせなどを用いてもよい。
【００５９】
部分動画群６３のうち、いずれかの動画をクリックすると、動画再生部６４が起動する。この動画再生部６４には、各種のＧＵＩを備えたＯＳにおいて用いられている動画再生アプリケーションを流用して構わない。このようにファイルマネージャー６１でファイルのメタファをクリックすると、そのファイルを扱うことができるアプリケーションが起動する、といった手続きも、各種のＧＵＩを備えたＯＳにおいて一般に用いられている手法である。
【００６０】
部分動画群６３の個々の部分動画は、上述のようにして繰り返し部分Ｒに相当する部分動画であるから、いずれの部分動画をクリックしても、動画６５の再生は図８の画像から始まることになる。動画６５の再生は、そのまま図９〜図１０〜図１１〜図１２の各フレームへと続き、再度の図８ないしその直前で終わる。
【００６１】
このとき、部分動画群６３の中に、自動機１の後段の工程で不良と判断された部品Ａ＋Ｂを製造した工程の、動画が含まれていたとする。さらに、当該の部品Ａ＋Ｂを製造した自動機１の工程の実施時刻が取得できるものとする。そして、既に繰り返し動作を単位として部分動画への分割が済んでいれば、図１４のようなＧＵＩを介して実施時刻に近い時刻情報を持った動画を選択し、再生させるのは極めて容易である。なお、長時間録画された生の原動画（Ｍ）であっても、時刻を特定してその位置から再生させることは不可能ではない。しかしながら、図１４に示すようなＧＵＩによれば、問題の１サイクルの部分動画の他、その前後の１ないし数個の別の１サイクルの部分動画を指定して直ちに再生させることができる。また、問題の１サイクルの部分動画の他、その前後などの関連する別の１サイクルの部分動画を同時に画面に並べて、同時再生することも極めて容易である。
【００６２】
なお、製造された部品Ａ＋Ｂにシリアルナンバーが記載されていて、シリアルナンバーから、当該の部品を製造した自動機１の工程の実施時刻が取得できる、あるいは直接製造時刻が刻印されるようになっている生産ラインは珍しくない。このような取り決めがある場合には、当該の部品を製造した自動機１の工程の実施時刻を取得するのは容易である。
【００６３】
図１４に示すようなＧＵＩによれば、ユーザは、部分動画群６３のうち、実施時刻に近い時刻情報を持った部分動画を再生することができる。従って、例えば部品Ａ＋Ｂを製造した特定の１サイクルの工程を確認したければ、容易に対応する部分動画を工程開始の時点から再生させることができる。そして、ユーザは、再生された部分動画を確認することにより、ロボット１２による部品の把持がずれていた、組み付けのビス締結が不十分だった、などの不良の原因を、容易に確認できる。
【００６４】
このように、本実施形態の自動機の監視装置によれば、撮（録）りっぱなしで撮影した長時間の原動画から、自動的な処理によって繰り返し部分を検出し、検出した繰り返し部分を単位として原動画を部分動画に分割することができる。このため、監視対象の自動機に専用の設計や改造を施さなくても、ユーザが見たい動画を見つけ易く、監視対象の解析を行うユーザの作業を好適に支援することができる。
【００６５】
なお、以上の説明では、検出した繰り返し部分を単位として原動画Ｍを部分動画に分割する処理は、図１４のファイルマネージャーの例で示したように、それぞれ別ファイルの部分動画ファイルとして生成されることを考えた。しかしながら、別ファイルの部分動画ファイルを生成するのではなく、原動画Ｍから検出した繰り返し部分を単位とするチャプタデータを作成することによって、部分動画を生成する手法を用いてもよい。この構成によると、原動画Ｍの他に別ファイルの部分動画ファイルを保存する方式に比して、外部記憶装置６０６の記憶容量を節約できる可能性がある。
【００６６】
図１５（ａ）〜（ｃ）は、学習系および判別器を用いて、原動画の繰り返し部分を検出し、動画を分割する手法を示している。このような学習制御を用いて動画を分割する手法を、以後、学習手法と呼ぶ。本実施形態の学習手法では、例えば教師あり学習のような強化学習制御の手法を用いる。具体的なソフトウェアアーキテクチャとしては、人工ニューラルネットワークに類する構成を利用することができる。また、この種の強化学習では、判別の妥当性スコアを計算するためのＱ学習テーブルなどが用いられることがある。
【００６７】
本実施形態の学習手法では、例えばカメラ２１による撮影と同時に、例えば、繰り返し部分の１サイクルの先頭の状態に相当する状態を撮影した静止画を用いて、当該の工程の先頭部分を特定することにより繰り返し部分を検出する。
【００６８】
即ち、本実施形態の学習手法では、原動画に撮影されている被写体の特定の状態を撮影した静止画群を用いた学習制御を介して、原動画から切り出した静止画から前記特定の状態に対応する特定の静止画を識別する。そして、識別した特定の静止画の前記原動画における位置に基づき、原動画の繰り返し部分を検出し、検出した繰り返し部分を単位として原動画を前記部分動画に分割する。
【００６９】
図１５（ａ）は、学習手法の第１の処理に相当する。図１５（ａ）のステップＳ７１１は、自動機１の一連の工程の開始画像を判別できる判別器を人工ニューラルネットワークとして構成する処理である。
【００７０】
図１５（ｂ）は、図１５（ａ）のステップＳ７１１で作成する判別器７２１の構成と、ステップＳ７１１で用いる教師静止画群７２２、教師出力群７２３との入出力関係を示している。
【００７１】
判別器７２１は、人工ニューラルネットワークとして構成することができる。判別器７２１は、例えば、入力層７２１ｉ、中間層７２１ｍ、出力層７２１ｏから成る。例えば、入力層７２１ｉに静止画を入力すると、中間層７２１ｍによる抽象的な情報処理を経て、出力層７２１ｏが教師出力群７２３に対してｙｅｓかｎｏの情報を出力する。判別器７２１のネットワーク形状は、要求される性能に応じて、作為的に設計しておく。なお、図１５（ｂ）の判別器７２１のネットワーク構成は一例であって、他のネットワーク構成を用いても構わない。
【００７２】
教師静止画群７２２は、予め自動機１をカメラ２１が撮影した動画Ｍから切り出した、少なくとも図８〜図１２の画像を含む静止画群である。教師静止画群７２２を取得する場合には、光や部品の条件を様々に変えながら撮影すると、ロバスト性の高い判別器７２１を取得できる可能性がある。また、教師静止画群７２２は、望ましい判別器７２１を取得するのに十分な枚数、用意する必要がある。
【００７３】
教師出力群７２３は、予め教師静止画群７２２をユーザが見て、例えば工程の先頭の図８の画像に類似する画像にはｙｅｓ、それ以外の画像にはｎｏの判別結果を回答させ、その結果を集積したデータである。もちろん、工程の先頭は必ずしも図８の画像である必要はなく、ユーザの意図により、図９〜図１２の画像を用いて教師出力群７２３が作成されていてもよい。
【００７４】
図１５の学習手法では、実際の監視工程に先立ち、教師静止画群７２２と教師出力群７２３を用いて、判別器７２１を学習させる。具体的に、教師静止画群７２２のいずれの静止画を入力しても、教師出力群７２３と等しい値が出力されるまで、判別器７２１のネットワークの接続に係る重みを操作する。この学習工程には適宜、バックプロパゲーションやオートエンコーダーといった技術を用いることができる。判別器７２１は、このような学習工程を経て、教師静止画群７２２に含まれない、新規の画像も、例えばターゲットである図８の画像に類似する画像か否か識別できるようになる。
【００７５】
図１５（ｃ）は、学習手法の第２の処理で、動画の撮影と同期して、撮影されている被写体が実行している繰り返し部分の先頭を逐次検出する手続を含む。図１５（ｃ）の処理では、第１の処理（学習工程）で作成した判別器７２１を用いて、繰り返し部分の先頭を逐次検出することにより、部分動画を分割、ないしは少なくともその分割位置を特定する。なお、図１５（ｃ）の処理は、１つの繰り返し部分に相当する部分動画を１つ撮影、記録するループ処理として記述されている。
【００７６】
まず、ステップＳ７３１において、カメラ２１およびレコーダ２２が部分動画の撮影を開始する。この学習手法では、長時間動画の全体の撮影の終了を待たずとも、動画の分割に必要な処理を実行できる。
【００７７】
次に、ステップＳ７３２において、撮影中の動画から、ほぼ最新の静止画を１枚、抽出する。この静止画を以下では静止画Ｉという。
【００７８】
続いて、ステップＳ７３３では、静止画Ｉに対して判別器７２１を適用し、静止画Ｉが１サイクルの繰り返し部分の先頭に類似する画像であるか否かを、判別させる。ステップＳ７３３で、静止画Ｉが、図８に類似すると判別されなかった場合は、ステップＳ７３２に復帰し、その場合には、例えば撮影した画像は記録しない。
【００７９】
ステップＳ７３３で、静止画Ｉが、図８の画像に類似すると判別されると、ステップＳ７３４で当該の部分動画の撮影を終了する。ステップＳ７３４で、動画Ｍの撮影は終了するが、即座にステップＳ７３１に回帰し、後続の部分動画の撮影が開始される。なお、図１５の処理においても、部分動画は部分動画ファイルとして記録してもよく、また、チャプタデータの生成によって部分動画を画成してもよい。
【００８０】
以上、説明した学習手法は、前述の演繹手法と異なり、動画Ｍに、自動機１が全工程を実施する様子が、２回以上含まれている必要がない。ここで、自動機１の実施するいずれか工程に、実施の失敗からの復帰を意図した、リトライ工程が組み込まれていたとする。リトライ工程とは、何らかの事情で、ロボット１２が部品Ａの把持に失敗した際、再度ロボット１２が部品Ａの把持に挑戦する、といった動作である。演繹手法では、輝度変化の繰り返しが大きく崩れるリトライ工程に対応し、望ましい動画の分割を実現することが容易でない。これに対して、学習手法では、自動機１がリトライ工程を実施した場合でも、予め用意した教師画像に含めた工程の先頭の状態などとの類似によって繰り返し部分の先頭を特定できるため、部分動画を生成できる可能性が高い、
【００８１】
ユーザは、図１５の学習手法により得られた部分動画群も、上述の図１４と同様のユーザーインターフェースを用いて選択し、また再生させることができる。本実施形態においても、監視対象の自動機に専用の設計や改造を施さなくても、ユーザは、見たい動画を見つけ易く、監視対象のシステムを解析するユーザを良好に支援することができる。
【００８２】
本発明は、上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８３】
また、以上では、物品を生産する生産ライン、特に生産ラインに配置された自動機を監視する構成を例示した。しかしながら、上述の原動画の繰り返し部分を検出し、検出した繰り返し部分を単位として原動画を部分動画に分割する技術は、監視対象の如何に拘らず種々の監視対象を撮影した動画に対して実施することができる。
【符号の説明】
【００８４】
１…自動機、２…監視装置、１１…ＰＬＣ、１２…ロボット、１３…供給ストッカ、１４…排出ストッカ、１５…作業台、２１…カメラ、２２…レコーダ、６０１…ＣＰＵ、６０２…ＲＯＭ、６０３…ＲＡＭ、６０４…操作部、６０５…表示装置、６０６…外部記憶装置、Ａ、Ｂ…部品。
【図１】
2020022101.tif 000003
【図２】
2020022101.tif 000004
【図３】
2020022101.tif 000005
【図４】
2020022101.tif 000006
【図５】
2020022101.tif 000007
【図６】
2020022101.tif 000008
【図７】
2020022101.tif 000009
【図８】
2020022101.tif 000010
【図９】
2020022101.tif 000011
【図１０】
2020022101.tif 000012
【図１１】
2020022101.tif 000013
【図１２】
2020022101.tif 000014
【図１３】
2020022101.tif 000015
【図１４】
2020022101.tif 000016
【図１５】
2020022101.tif 000017
【図１６】
2020022101.tif 000018