(57)【要約】      （修正有）【課題】プラントの製造ラインの設備のメンテナンスや監視業務を設備ごとに、点検ポイントを容易に抽出することができる動画記録システムを提供する。【解決手段】動画記録システム１は、プラントの製造ラインの複数の設備１００の点検時の動画を撮像して動画データを生成する撮像装置１０と、前記複数の設備のそれぞれの点検箇所をポイントするレーザポインタ１２と、前記撮像装置に接続され、前記動画データを保存する動画記録装置４０と、前記動画記録装置に接続されたときに前記動画データを取得し、前記動画データに含まれる画像に、前記レーザポインタのポイントを含むか否か判定し、前記レーザポインタのポイントを含む画像を前記動画データの部分として抽出する動画編集装置３０と、を備える。【選択図】図１
2020126329.tif 000002
【特許請求の範囲】
【請求項１】
プラントの製造ラインの複数の設備の点検時の動画を撮像して動画データを生成する撮像装置と、
前記複数の設備のそれぞれの点検箇所をポイントするレーザポインタと、
前記撮像装置に接続され、前記動画データを保存する動画記録装置と、
前記動画記録装置に接続されたときに前記動画データを取得し、
前記動画データに含まれる画像に、前記レーザポインタのポイントを含むか否か判定し、
前記レーザポインタのポイントを含む画像を前記動画データの部分として抽出する動画編集装置と、
を備えた動画記録システム。
【請求項２】
前記動画記録装置は、前記複数の設備のそれぞれを識別する識別信号を前記動画データに付与する請求項１記載の動画記録システム。
【請求項３】
前記動画記録装置は、
前記識別信号を、前記複数の設備のそれぞれの点検が開始されたときに第１識別信号を前記動画データに付与し、
前記複数の設備のそれぞれの点検が完了されたときに第２識別信号を前記動画データに付与し、
前記動画編集装置は、
前記第１識別信号と前記第２識別信号との間の動画データを判定することによって、前記複数の設備のそれぞれを識別する請求項２記載の動画記録システム。
【請求項４】
前記動画編集装置に接続されて前記動画編集装置が有するデータを保存する記憶装置
をさらに備え、
前記動画編集装置は、
前記レーザポインタのポイントを含む画像の前記動画データの抽出された部分および前記レーザポインタのポイントを含まない画像の前記動画データの部分の両方を含む編集前の動画データと、
前記レーザポインタのポイントを含む画像の前記動画データの抽出された部分を含む編集後の画像データと、
を前記記憶装置に格納し、前記記憶装置から読み出す請求項１〜３のいずれか１つに記載の動画記録システム。
【請求項５】
前記動画記録装置は、前記複数の設備のそれぞれの動画データを、前記動画データを取得した年月日および前記動画データを撮影した点検作業者に関連付けて保存する請求項１〜４のいずれか１つに記載の動画記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、プラントの製造ラインの設備や機器のメンテナンスや監視業務等の状況を動画で記録する動画記録システムに関する。
【背景技術】
【０００２】
近年、小型電子デバイスの発達により、動画撮影および記録が容易な環境になっている。古くから監視カメラのように動画撮影を活用することは当たり前のように行われており、それらはこれからさらに盛んになっていくと考えられる。
【０００３】
ところで、プラントの設備や機器等（以下、設備等という）のメンテナンスや監視業務等（以下、メンテナンス等という）では、数百から数千の設備等の健全稼働を確認する場合がある。このようなメンテナンス等の作業は、毎日、毎週、毎月、毎年など決められた周期で実施される。メンテナンス等の作業は、多数の設備等の健全性の確認作業であり、人間の目視によって行われることが多い。
【０００４】
このような目視メンテナンスに動画撮影システムを導入した自動化のアイディアはあがっているが、実用化には至っておらず、人間の目視による確認が依然として行われている。メンテナンス等の自動化が進まない理由として以下の理由が考えられる。
【０００５】
最終的な製品が基準を満たしているか否かを判断する限られた条件下の製品検査の自動化と異なり、目視メンテナンスは、対象となる設備等の数が多く、設備等に応じて着目する箇所が異なっている。そのため、自動化のアルゴリズムの確立が困難であったり、可能だとしてもコストがかかったりする。また、メンテナンス等による健全性の確認は、確認作業を行う人間の感覚に頼るところが大きく、これも自動化を阻害している要因である。
【０００６】
メンテナンス等の状況を動画撮影したところで、その数が多く膨大な動画データを持て余してしまうことが多い。メンテナンス等の確認は、プラントの設備等が異常なく、健全であることを常に確認している、という確証を残す作業の側面がある。そのため、撮影した動画データを単純に記録して再生するのでは、健全性の検証の効率が悪い。
【０００７】
また、撮影した動画データを、設備等の異常発生時の不具合状況や原因等を検討、解析するのに利用したいとの要求があるが、対象設備の確認をどこで行っているのか、膨大かつ長大な動画データから探し出すことは困難である。
【０００８】
特許文献１の技術では、撮影しやすいハードウェア構成にすることによって、ウェアラブルの動画を効率的に使用できるという利点がある。ただし、撮影開始・停止の処理は本体に取り付いたボタンがトリガーであり、この点では通常のビデオカメラと変わらない。
【０００９】
特許文献２の技術では、ウェアラブルカメラとレーザポインタを使って、製品検査の補助を行っている。製品検査には有効ではあるが、アルゴリズムの中に「マスタ画像と一致？」とあるように、「あるべき姿」という事前のモデル（今回の場合はマスタ画像）がありきである。しかしながら、精度の高い事前モデルを必須とすると、設備のメンテナンスとしては使用しにくい。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１６-１２２１１５号公報
【特許文献２】特開２０１８-５４４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
この発明の実施形態は上記のような課題を解決するためになされたものであり、プラントの製造ラインの設備のメンテナンスや監視業務を設備ごとに、点検ポイントを容易に抽出することができる動画記録システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
実施形態に係る動画記録システムは、プラントの製造ラインの複数の設備の点検時の動画を撮像して動画データを生成する撮像装置と、前記複数の設備のそれぞれの点検箇所をポイントするレーザポインタと、前記撮像装置に接続され、前記動画データを保存する動画記録装置と、前記動画記録装置に接続されたときに前記動画データを取得し、前記動画データに含まれる画像に、前記レーザポインタのポイントを含むか否か判定し、前記レーザポインタのポイントを含む画像を前記動画データの部分として抽出する動画編集装置と、を備える。
【発明の効果】
【００１３】
本実施形態では、プラントの製造ラインの設備のメンテナンスや監視業務を設備ごとに、点検ポイントを容易に抽出することができる動画記録システムが実現される。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る動画記録システムを例示する模式図なブロック図である。
【図２】第１の実施形態の動画記録システムの一部を例示する模式図である。
【図３】第１の実施形態の動画記録システムの動作を説明するための模式的なタイミングチャートである。
【図４】図４（ａ）および図４（ｂ）は、第２の実施形態の動画記録システムの一部を例示する模式図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ、本発明の実施形態について説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して詳細な説明を適宜省略する。
【００１６】
（第１の実施形態）
図１は、本実施形態に係る動画記録システムを例示する模式図なブロック図である。
図１に示すように、本実施形態の動画記録システム１は、カメラ１０と、レーザポインタ１２と、動画記録端末２０と、動画編集装置３０と、記憶装置４０と、を備える。
カメラ（撮像装置）１０は、被写体１００の動画像を撮像し、動画データに変換する。動画データは、音声データを含んでもよい。被写体１００は、プラントに設置された各種設備や機器である。なお、以下では、設備および機器をまとめて設備ということとし、設備というときには、機器を含むものとする。
【００１７】
レーザポインタ１２は、点検作業者がボタン１４を押すことによって、レーザ光線２を発出する。レーザポインタ１２は、カメラ１０と別体であってもよいが、好ましくは、この例のように、カメラ１０と一体となっている。カメラ１０およびレーザポインタ１２が一体となっている場合には、撮像の方向とレーザポインタ１２が発出するレーザ光線２との方向がほぼ一致するようにできる。カメラ１０と別体の場合には、操作者は、レーザポインタ１２に設けられたボタンを押すことによって、レーザ光線２を発出することができる。
【００１８】
レーザポインタ１２は、発出したレーザ光線２を被写体１００に照射する。被写体１００には、レーザ光線２によるポイント３が形成される。点検作業者は、設備等の必要箇所を点検するときに、レーザポインタ１２のボタン１４を押して、点検の必要箇所にレーザ光線２を照射して被写体１００にポイント３を形成させる。点検作業者は、ポイント３を形成している間、カメラ１０を被写体１００に向けて、ポイント３が動画の画面に入るようにして動画像を撮影する。
【００１９】
本実施形態の動画記録システム１では、レーザポインタ１２が発出するレーザ光線２を被写体１００に照射することによって、点検箇所を識別する。そのため、点検箇所を指差し等で識別する場合等に比べて、十分離れた設備の点検箇所を確実に識別することができる。
【００２０】
動画記録端末（動画記録装置）２０は、カメラ１０が撮影している動画データを記録して保存する。動画記録端末２０は、プログラムによって動作する処理装置およびプログラムを格納する記憶装置を内蔵する情報処理端末である。動画記録端末２０は、たとえばスマートフォンやタブレット型コンピュータ端末である。
【００２１】
動画記録端末２０は、プラントの製造ラインの点検箇所を列挙したチェックシートをアプリケーションプログラムとして有している。点検作業者は、製造ラインの設備等の点検を行うときに、該当するチェックシートを呼び出して、呼び出したチェックシートにしたがって、製造ラインの点検作業を行う。
【００２２】
図２は、本実施形態の動画記録システムの一部を例示する模式図である。
図２は、動画記録端末２０の画面２１の例であり、画面２１上に表示されるチェックシートの例が示されている。
図２に示すように、動画記録端末２０の画面２１には、該当する製造ライン（図では、ｘｘｘｘラインと製造ライン名称が示されている）のチェックシートが表示されている。動画記録端末２０には、１つの製造ラインに限らず、複数の製造ラインの点検用のチェックシートが保存され、点検作業者が複数の製造ラインの点検等のチェックシートの中から該当するものを選択できるようにしてもよい。
【００２３】
また、この例では、“（日報）”のように表示されており、該当するチェックシートが日々の点検に用いられる日報形式のチェックシートであることが示されている。動画記録端末２０には、たとえば製造ラインごとに、日報のほか、月ごとに点検する項目を列挙した月報形式のチェックシートや、１年に１度の点検に用いられるチェックシート等、複数種類が設定され、点検作業者が適切なものを選定するようにしてもよい。
【００２４】
画面２１上に表示されたチェックシートは、たとえばこの例では、年月日入力欄２２、チェック開始用チェックボックス２３およびチェック完了用チェックボックス２４を含んでいる。
【００２５】
年月日入力欄２２には、該当する点検の点検を行う年月日を点検作業者が入力する。
【００２６】
チェック開始用チェックボックス２３およびチェック完了用チェックボックス２４は、点検する項目、この例では、“設備１”、“設備２”…のように設備名称ごとに設けられている。
【００２７】
点検作業者は、点検項目ごとに、点検を開始するときに、チェック開始用チェックボックス２３にチェックを入れる。点検作業者は、点検項目ごとに点検を完了したときに、チェック完了用チェックボックス２４にチェックを入れる。このチェックシートのプログラムは、チェック開始用チェックボックス２３およびチェック完了用チェックボックス２４にチェックを入れた時刻を記録して、チェックフラグを記録した動画とともに記録する。したがって、チェックフラグの記録時刻によって、複数の設備のそれぞれに動画データを関連付けることができる。
【００２８】
図１に戻って説明を続ける。
動画編集装置３０は、動画記録端末２０から動画データを取得する。動画編集装置３０は、この例の破線で示すように、通常時には動画記録端末２０とオフラインで、動画データの転送時に動画記録端末２０と接続するようしてもよい。あるいは、動画編集装置３０は、動画記録端末２０と常時接続されており、たとえば、動画記録端末２０に保存された動画データの容量が動画記録端末２０の記録容量に近づいた場合に、動画記録端末２０が自動的に動画編集装置３０に動画データを転送する等してもよい。
【００２９】
動画編集装置３０は、動画記録端末２０から取得した動画データのうち、レーザポインタ１２のポイント３を含む画像データを検出する。動画編集装置３０は、ポイント３を含む動画データの部分を抽出する。動画編集装置３０は、抽出した動画データを編集後の動画データとして記憶装置４０に格納する。動画編集装置３０は、編集後の動画データのほか、ポイント３を含んでいない動画データの部分を含む動画データを編集前の動画データとして記憶装置４０に格納する。動画編集装置３０は、いつでも記憶装置４０の所望の動画データにアクセスすることができ、いつでも編集前の動画データおよび編集後の動画データを読み込んで再生し表示することができる。
【００３０】
記憶装置４０は、上述したように、動画編集装置３０によって編集後の動画データおよび編集前の動画データを格納する。
【００３１】
動画編集装置３０および記憶装置４０は、たとえばコンピュータ装置である。記憶装置４０は、動画編集装置３０に接続または内蔵された記憶装置であってもよいし、通信ネットワーク等によって接続されたデータサーバ等の記憶領域等であってもよい。
【００３２】
本実施形態の動画記録システムの動作について説明する。
図３は、本実施形態の動画記録システムの動作を説明するための模式的なタイミングチャートである。
図３には、編集後の動画データに関する事項が示されており、チェック信号、記録された動画データの部分、およびレーザポインタ１２のボタン１４を押したことを表す信号を、同じ時間軸上に示している。
【００３３】
チェック信号とは、図２において説明したように、動画記録端末２０の画面２１上に表示されたチェックシートにおいて、チェック開始用チェックボックス２３およびチェック完了用チェックボックス２４をチェックしたときに記録された信号である。チェック信号は、動画データの時刻と関連付けられて動画データとともに保存されている。チェック信号は、動画記録端末２０上のアプリケーションプログラムによって、点検対象の設備名称に関連付けられているので、２つのチェック信号（第１識別信号、第２識別信号）の間の動画データは、点検対象の設備の点検作業に関するものである。
【００３４】
たとえば、図２の“設備１”の点検を行う場合について説明する。
まず、“設備１”の点検を開始するときに、“設備１”のチェック開始用チェックボックス２３にチェックを入れる。動画記録端末２０は、時刻ｔ１において、チェック開始用チェックボックス２３にチェックが入ったことを表すチェック信号を記録する。
【００３５】
動画記録端末２０は、チェック信号の入力によって、カメラ１０から送られてくる動画データの記録を開始する。動画記録端末２０は、次のチェック信号の入力まで動画データを記録する。この例では、時刻ｔ６において、“設備１”のチェック完了用チェックボックス２４にチェックが入れられるとによって、チェック信号が記録され、時刻ｔ５において、“設備１”の動画の記録が終了する。
【００３６】
動画記録端末２０には、２つのチェック信号が記録された時刻の間の動画が記録されており、この例では、動画記録端末２０には、動画データの部分ａ〜ｅが記録されている。動画データの部分ａ〜ｅを含む動画データは、“設備１”および取得年月日に関連付けられて動画記録端末２０に格納される。
【００３７】
この動画データは、動画編集装置３０に転送され、記憶装置４０に格納される。他の設備についても同様に、動画データは、設備名称および取得年月日に関連付けられて動画記録端末２０に格納され、動画編集装置３０に転送され、記憶装置４０に格納される。
【００３８】
動画データの部分には、点検作業者によるレーザポインタ１２のポイントデータを含むデータおよびレーザポインタ１２のポイントデータを含まないデータが含まれている。動画データの部分ａ，ｄには、ポイント３が含まれておらず、動画データの部分ｂ，ｃ，ｅには、ポイント３が含まれている。
【００３９】
点検作業者は、“設備１”のチェックを開始すると、レーザポインタ１２のボタン１４を押して、点検箇所をポイントする。記録動画ｂ，ｃにはそのときのポイント３が示されている。点検作業者は、レーザポインタ１２のボタン１４を時刻ｔ２〜ｔ３の期間、ボタン１４を押し続けており、同一の点検箇所をチェックしている。
【００４０】
点検作業者は、時刻ｔ３の後、一旦レーザポインタ１２のボタン１４をオフにして、その後、時刻ｔ４において、“設備１”の別の点検箇所をポイントする。点検作業者は、時刻ｔ５までボタンを押し続けて、その箇所の点検を行う。
【００４１】
動画編集装置３０は、取得した動画データの画像データを解析して、レーザポインタ１２のポイント３が画像データに含まれるか否かを判定する。動画編集装置３０は、レーザポインタ１２のポイント３が画像データに含まれている期間を点検期間として、編集前の動画データにフラグデータを追加する。この例では、動画編集装置３０は、記録動画ｂ，ｃにフラグデータを追加する。また、動画編集装置３０は、記録動画ｅにフラグデータを追加する。
【００４２】
なお、動画編集装置３０は、画像データを画像解析することによって、ポイント３が画像データに含まれているか否かを判定する。一方で、カメラ１０およびレーザポインタ１２から被写体までの距離がまちまちであったり、被写体である設備が動いていたりする場合があり、ポイント３の大きさや明るさ等が大きく異なったり、変動したりすることがある。一方、点検作業では、同一の項目が繰り返し実施されるので、判定のためのデータを多数収集することが可能である。そのため、画像解析には、ディープラーニング技術等を導入することによって、さまざま変化し得る条件に対応して、正確にポイント３の有無判定できるようにすることができる。
【００４３】
動画編集装置３０は、フラグデータを追加する前の動画データを、編集前の動画データとして、記憶装置４０に格納し、フラグデータを追加した動画データを編集後の動作データとして記憶装置４０に格納する。
【００４４】
動画編集装置３０は、記憶装置４０から編集前の動画データまたは編集後の動画データを読み出して再生する。動画編集装置３０は、編集前の動画データが選択された場合には、点検した箇所であるかないかにかかわらず、動画記録端末２０に記録された全期間にわたる動画データを再生する。動画編集装置３０は、編集後の動画データが選択された場合には、ポイント３を含む動画データのみ、つまり、点検した箇所が抽出された動画データを再生する。
【００４５】
いずれの動画データにも、設備名称が点検時刻を介して関連付けられているので、適切な検索プログラムを追加することによって、所望の設備の点検状況を示す動画データの部分を迅速に検索して、再生することができる。
【００４６】
本実施形態の動画記録システム１の効果について説明する。
本実施形態の動画記録システム１では、動画記録端末２０が点検時刻と設備名称とを関連付けているので、点検対象の設備ごとに、動画データを記録し保存することができる。そのため、動画編集装置３０によって迅速に所望の設備の点検の記録を検索して再生することができる。
【００４７】
動画記録システム１では、所望の設備の点検の記録を迅速に検索し、所望の設備の点検の前後の状況を含むすべての点検記録の動画データを保存し再生することが可能である。そのため、該当の製造ラインにおける不具合の発生箇所の前後を含めた動画データを検証することによって、不具合の原因究明、原因解析等に役立てることができる。
【００４８】
動画記録システム１では、点検箇所をレーザポインタ１２でポイントし、動画編集装置３０によってポイント３を含む動画データを抽出する。抽出された動画データは、動画記録端末２０によって、点検年月日と関連付けられているので、点検年月日ごとの動画データを点検項目に関する部分のみを短時間で再生し、点検の確実性等を検証することを可能にする。
【００４９】
（第２の実施形態）
上述の実施形態では、点検作業者によらずに点検記録を保存し、動画データとして再生する。点検作業者が有するスキルによって、同一箇所の点検内容であっても、実質的に異なる点検内容である場合がある。本実施形態では、さらにメンテナンス等の自動化を進めるにあたり、点検内容や点検時の判定基準等についてディープラーニング技術を適用するためのデータを提供する。
【００５０】
図４（ａ）および図４（ｂ）は、第２の実施形態の動画記録システムの一部を例示する模式図である。
図４（ａ）は、動画記録端末２２０の画面２２１の例であり、画面２２１に表示されたチェックシートの例が示されている。本実施形態の動画記録端末２２０は、上述の他の実施形態の場合の動画記録端末２０とハードウェアは同一であるが、チェックシートを表示するアプリケーションプログラムが一部相違している。
図４（ａ）に示すように、動画記録端末２２０の画面２２１には、該当する製造ラインのチェックシートが表示されている。このチェックシートにおいては、年月日入力欄２２２、チェック開始用チェックボックス２２３およびチェック完了用チェックボックス２２４については、上述の他の実施形態の場合と同じである。
【００５１】
このチェックシートでは、点検作業を実施する実施者の名前を入力する点検作業者入力欄２２５が新たに設けられている。点検作業者入力欄２２５は、この例では、プルダウンメニューになっており、プルダウンメニューには、あらかじめ登録された点検作業を行う者の名前が一覧されている。実際に点検作業をする者は、プルダウンメニューから自身の名前を探して設定する。
【００５２】
点検作業者、点検の年月日、点検開始時刻および点検完了時刻は、設備名称ごとにすべて関連付けられる。
【００５３】
図４（ｂ）は、本実施形態の場合の動画データに関する関連付けを表すテーブルの例である。
図４（ｂ）に示すように、テーブル２４２は、点検作業者欄２４２ａ、全体動画データ欄２４２ｂおよび抽出動画データ欄２４２ｃを含んでいる。たとえば、このテーブル２４２は、設備名称ごとに生成され、動画編集装置３０によって記憶装置４０に格納される。
【００５４】
点検作業者欄２４２ａには、プルダウンメニューから選択された点検作業者名が入力されている。全体動画データ欄２４２ｂには、レーザポインタ１２のポイント３を含まない画像を含む動画データが入力されている。抽出動画データ欄２４２ｃには、レーザポインタ１２のポイント３を含む画像が抽出された動画データが入力されている。
【００５５】
本実施形態では、このように、設備ごとに、点検作業者名がすべての動画データに関連付けられて、記憶装置４０に格納される。
【００５６】
本実施形態の動画記録システムは、上述の他の実施形態の場合と同様に動作し、点検作業者に関連付けられたデータベースを構築して、記憶装置４０に格納することができる。
【００５７】
動画データには、音声データも同時に記録することができる。たとえば、点検作業者によっては、設備の点検中に、その設備あるいはその設備の周辺から異音等が生じたことを認識できる場合がある。また、動画データの画像のみでは伝わりにくい設備の異常やその前触れ等を認識して、自身の声でその内容を説明して記録することもできる。これらの状況は、点検作業者のスキルによって、認識の度合いが異なるため、一旦動画データに記録して、他者と比較等して、定量化し、自動化のためのディープラーニングプログラムを開発する場合のデータとして、利用することができる。
【００５８】
以上説明した実施形態によれば、プラントの製造ラインの設備や機器のメンテナンスや監視業務を設備および機器ごとに、点検ポイントを容易に抽出することができる動画記録システムを実現することができる。
【００５９】
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他のさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明およびその等価物の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【００６０】
１  動画記録システム、２  レーザ光線、３  ポイント、１０  カメラ、１２  、レーザポインタ、１４  ボタン、２０，２２０  動画記録端末、３０  動画編集装置、４０  記憶装置、１００  被写体
【図１】
2020126329.tif 000003
【図２】
2020126329.tif 000004
【図３】
2020126329.tif 000005
【図４】
2020126329.tif 000006