(57)【要約】【課題】外部装置を撮影した映像の中から所望する適切な時刻から映像を表示させることができるようにする。【解決手段】制御装置は、第１の外部装置を撮影した映像信号を記録手段に記録させる記録制御手段と、前記第１の外部装置が所定の動作を実行するタイミングを示す第１タイミング情報を取得する取得手段と、前記映像信号を再生して得られた画像を表示手段に表示させる表示制御手段と、を備え、前記表示制御手段は、前記第１タイミング情報が対応するタイミングを示す情報を、前記表示手段に表示させる。【選択図】図８
2020202449.tif 000002
【特許請求の範囲】
【請求項１】
第１の外部装置を撮影した映像信号を記録手段に記録させる記録制御手段と、
前記第１の外部装置が所定の動作を実行するタイミングを示す第１タイミング情報を取得する取得手段と、
前記映像信号を再生して得られた画像を表示手段に表示させる表示制御手段と、
を備え、
前記表示制御手段は、前記第１タイミング情報が対応するタイミングを示す情報を、前記表示手段に表示させることを特徴とする制御装置。
【請求項２】
ユーザからの入力を受け付ける受付手段を備え、
前記表示制御手段は、
前記表示手段に前記第１タイミング情報を示す指標画像を表示し、
ユーザにより、前記指標画像に対する所定の入力を受け付けたことに応じて、前記外部装置の前記所定の動作に対応する時刻における前記映像を表示する
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記表示制御手段は、前記映像信号の再生対象の期間と、前記映像信号の前記期間のうち前記表示手段に表示される前記画像が対応するタイミングと、前記第１タイミング情報に対応するタイミングと、を示す時刻表示バーを、前記表示手段に表示させることを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記記録制御手段は、前記第１の外部装置に所定のイベントが発生したことに応じて、前記イベントの発生時刻を含む所定の期間の映像信号を、前記記録手段に記録させることを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
【請求項５】
前記第１の外部装置に前記所定の動作を実行させる指示を出力する駆動制御手段を備え、
前記第１タイミング情報は、前記駆動制御手段が前記指示を出力したタイミングを示すことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。
【請求項６】
前記取得手段は、前記第１の外部装置と異なる第２の外部装置が所定の動作を実行するタイミングを示す第２タイミング情報を取得し、
前記表示制御手段は、前記第２タイミング情報が対応するタイミングを示す情報を、前記第１タイミング情報が対応するタイミングを示す前記情報と識別可能に前記表示手段に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
【請求項７】
前記表示制御手段は、前記外部装置の前記所定の動作に対応する時刻における前記映像を前記表示手段に表示させることを特徴とする請求項１に記載の制御装置。
【請求項８】
前記表示制御手段は、前記第１の外部装置の前記所定の動作の開始が制御された時刻から前記第１の外部装置の前記所定の動作の終了が制御された時刻までの映像を前記表示手段に表示させることを特徴とする請求項７に記載の制御装置。
【請求項９】
前記表示制御手段は、前記外部装置の動作の開始が制御された時刻から前記外部装置の動作の終了が制御された時刻までの複数の期間の映像を前記表示手段に連続して表示させることを特徴とする請求項１または２に記載の制御装置。
【請求項１０】
前記表示制御手段は、イベントが発生した場合における前記第１の外部装置の前記所定の動作の開始が制御された時刻から前記第１の外部装置の前記所定の動作の終了が制御された時刻までの映像と、前記イベントが発生していない場合における前記第１の外部装置の前記所定の動作の開始が制御された時刻から前記第１の外部装置の前記所定の動作の終了が制御された時刻までの映像とを、同時に前記表示手段に表示させることを特徴とする請求項８または９に記載の制御装置。
【請求項１１】
第１の外部装置と、
記録装置と、
表示装置と、
制御装置と、
を備える制御システムであって、
第１の外部装置を撮影した映像信号を前記記録装置に記録させる記録制御手段と、
前記第１の外部装置が所定の動作を実行するタイミングを示す第１タイミング情報を取得する取得手段と、
前記映像信号を再生して得られた画像を前記表示装置に表示させる表示制御手段と、
を備え、
前記表示制御手段は、前記第１タイミング情報が対応するタイミングを示す情報を、前記表示装置に表示させることを特徴とする制御システム。
【請求項１２】
第１の外部装置を撮影した映像信号を記録装置に記録させる記録制御工程と、
前記第１の外部装置が所定の動作を実行するタイミングを示す第１タイミング情報を取得する取得工程と、
前記映像信号を再生して得られた画像を表示装置に表示させる表示制御工程と、
を備え、
前記表示制御工程は、前記第１タイミング情報が対応するタイミングを示す情報を、前記表示装置に表示させることを特徴とする制御方法。
【請求項１３】
ユーザからの入力を受け付ける受付工程を備え、
前記表示制御工程は、
前記表示装置に前記第１タイミング情報を示す指標画像を表示し、
ユーザにより、前記指標画像に対する所定の入力を受け付けたことに応じて、前記外部装置の前記所定の動作に対応する時刻における前記映像を表示する
ことを特徴とする請求項１２に記載の制御方法。
【請求項１４】
前記表示制御工程は、前記映像信号の再生対象の期間と、前記映像信号の前記期間のうち前記表示装置に表示される前記画像が対応するタイミングと、前記第１タイミング情報に対応するタイミングと、を示す時刻表示バーを、前記表示装置に表示させることを特徴とする請求項１２または１３に記載の制御方法。
【請求項１５】
前記記録制御工程は、前記第１の外部装置に所定のイベントが発生したことに応じて、前記イベントの発生時刻を含む所定の期間の映像信号を、前記記録装置に記録させることを特徴とする請求項１２乃至１４のいずれか１項に記載の制御方法。
【請求項１６】
前記第１の外部装置に前記所定の動作を実行させる指示を出力する駆動制御工程を備え、
前記第１タイミング情報は、前記駆動制御工程が前記指示を出力したタイミングを示すことを特徴とする請求項１２乃至１５のいずれか１項に記載の制御方法。
【請求項１７】
コンピュータを、請求項１乃至１０のいずれか１項に記載された制御装置の各手段として機能させるためのプログラム。
【請求項１８】
請求項１７に記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御システム、制御方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
特許文献１には、ビデオマテリアルの情報コンテンツを定義する関連付けられた情報データに基づいて、ビデオマテリアルの再生を制御するビデオ再生装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２８１４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、監視対象である外部装置の制御が行われるタイミングに基づいて再生位置を得ることは困難である。
【０００５】
本発明の目的は、外部装置を撮影した映像の中から所望する適切な時刻から映像を表示させることができるようにすることである。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、制御装置は、第１の外部装置を撮影した映像信号を記録手段に記録させる記録制御手段と、前記第１の外部装置が所定の動作を実行するタイミングを示す第１タイミング情報を取得する取得手段と、前記映像信号を再生して得られた画像を表示手段に表示させる表示制御手段と、を備え、前記表示制御手段は、前記第１タイミング情報が対応するタイミングを示す情報を、前記表示手段に表示させる。
【発明の効果】
【０００７】
本発明によれば、外部装置を撮影した映像の中から所望する適切な時刻から映像を表示させることができる。
【図面の簡単な説明】
【０００８】
【図１】制御システムの機能構成例を示す図である。
【図２】制御装置のハードウェア構成例を示す図である。
【図３】制御システムの制御方法を示すフローチャートである。
【図４】イベントリストの例を示す図である。
【図５】対応表の例を示す図である。
【図６】スクリプトプログラムの例を示す図である。
【図７】制御システムの表示の例を示す図である。
【図８】制御装置の表示の例を示す図である。
【図９】機器の動作期間の例を示す図である。
【図１０】正常時とイベント発生時の映像の表示例を示す図である。
【図１１】状態監視システムの構成例を示す図である。
【図１２】制御装置の構成例を示す図である。
【図１３】表示装置に表示される画像を示す図である。
【発明を実施するための形態】
【０００９】
以下に、図面を参照して、この発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００１０】
（実施形態１）
図１は、実施形態１による制御システム１３０の機能構成例を示す図である。制御システム１３０は、監視装置１００と、記録装置１０１と、制御装置１０２と、複数の監視カメラ１０３と、複数の機器１０４と、プログラマブルロジックコントローラ（ＰＬＣ）１０５とを有する。
【００１１】
ＰＬＣ１０５は、機器１０４の動作を制御する。機器１０４は、外部装置であり、例えばロボットである。監視装置１００は、工場やプラントにおける監視対象である機器１０４の状態および制御情報を、直接またはＰＬＣ１０５を介して監視する。なお、機器１０４とＰＬＣ１０５は、同一の装置であってもよい。また、監視装置１００は、必要に応じて、機器１０４に対し、制御を行う。
【００１２】
監視装置１００は、蓄積部１１０を有する。蓄積部１１０は、機器１０４に対して、直接の通信またはＰＬＣ１０５を介しての通信により、機器１０４の状態信号および制御情報を取得し、機器１０４の状態信号および制御情報と関連付けられたイベントデータを蓄積する。イベントデータは、事前に定義された機器１０４のイベント情報（機器名およびイベント名）と、状態信号が変化した際の時刻情報（イベント発生時刻およびイベント終了時刻）と、機器１０４の動作が制御される制御情報を含む。制御情報は、制御情報の値と、制御情報の値が変化した制御指令時刻を含む。なお、蓄積部１１０は、常に一定時間の制御指令時刻の情報を一時記録している。ここで、機器名は、監視対象である複数の機器１０４のそれぞれを一意に特定するための機器情報である。また、イベント名は、監視装置１００において検知される、監視対象の機器１０４で発生する複数のイベントのそれぞれを一意に特定するためのイベント識別情報である。
【００１３】
さらに、蓄積部１１０は、制御装置１０２に対して、イベントデータ要求により、イベントデータを転送することができる。また、蓄積部１１０は、制御装置１０２に対して、イベントデータの更新の有無の通知や、その通知に応じた要求により更新メタ情報を含むイベントデータ更新情報（以下、更新イベントデータという）の送信を行うことができる。
【００１４】
また、監視装置１００は、表示部１１１を有する。表示部１１１は、蓄積部１１０が取得した機器１０４の状態信号に応じて、機器１０４と機器１０４の状態を示すアイコンが設置されたグラフィカルなアニメーションによるライブ状態図を表示する。また、表示部１１１は、アイコンに対するクリックイベントを受け付け、予め決められたプログラムやスクリプトを開始させることができる。
【００１５】
複数の監視カメラ１０３は、工場やプラントにおいて、機器１０４および製造ラインなどの監視用に設置され、機器１０４および製造ラインの映像を撮影する撮影装置である。記録装置１０１は、記録部であり、複数の監視カメラ１０３により撮影された映像を取得して記録する。
【００１６】
記録装置１０１は、制御装置１０２に対して、カメラ情報（複数の監視カメラ１０３のうちの１つを特定する情報（例えば、カメラ名））と録画開始および録画停止の録画情報を受け付け、監視カメラ１０３の映像の記録を行う。このカメラ情報や録画情報は、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などのフォーマットにより構成される。記録装置１０１は、制御装置１０２に対して、ＸＭＬなどのフォーマットによりカメラ情報、再生時刻情報および再生制御信号（例えば、再生、停止、コマ送り、早送り、コマ戻しおよび巻き戻し）を受け付け、監視カメラ１０３の映像を送信する。
【００１７】
複数の監視カメラ１０３の各々は、例えば、パン、チルトおよびズーム対応のカメラである。この場合、記録装置１０１は、制御装置１０２からカメラ情報とカメラ制御信号を受け付け、そのカメラ制御信号により、カメラ情報で特定される監視カメラ１０３を制御する。
【００１８】
記録装置１０１と制御装置１０２は、ネットワークを介して接続されてもよいし、同一のコンピュータにより構成してもよい。
【００１９】
制御装置１０２は、監視装置１００と記録装置１０１とを連携する装置である。制御装置１０２は、コンピュータがプログラムを実行することにより、イベントデータ表示部１２０と取得部１２１と関連付け部１２２と取得部１２３と表示部１２４の機能を実現する。
【００２０】
監視装置１００と制御装置１０２は、ネットワークを介して接続されてもよいし、同一のコンピュータにより構成してもよい。また、監視装置１００と記録装置１０１と制御装置１０２は、同一のコンピュータにより構成してもよい。
【００２１】
制御装置１０２は、イベントデータ表示部１２０、取得部１２１、関連付け部１２２、取得部１２３および映像表示部１２４を有する。
【００２２】
イベントデータ表示部１２０は、監視装置１００の蓄積部１１０へイベントデータの転送要求を例えばＳＱＬ文で出力し、蓄積部１１０からイベントデータを取得し、取得したイベントデータをリスト化し、イベントリストを表示する。ユーザは、表示されたイベントリストから過去に発生したイベントの１つを選択することができる。イベントデータ表示部１２０は、その選択されたイベントのイベントデータを取得部１２１へ出力する。また、イベントデータ表示部１２０は、監視装置１００におけるイベントデータの更新の有無を、上記の取得したイベントデータの数で判断してもよいし、蓄積部１１０のイベント更新情報を入力して判断してもよい。さらに、イベントデータ表示部１２０は、更新があったと判断した場合、監視装置１００に更新イベントデータを要求し、監視装置１００から更新イベントデータを取得し、更新イベントデータを取得部１２３へ出力する。
【００２３】
取得部１２１は、イベントデータ表示部１２０からイベントデータを入力する。そして、取得部１２１は、関連付け部１２２へイベント情報（例えば、機器名およびイベント名）を出力し、そのイベント情報に関連付けられたカメラ情報を関連付け部１２２から取得する。その後、取得部１２１は、そのカメラ情報とイベントデータに含まれる時刻情報（例えば、イベント開始時刻とイベント終了時刻）を映像表示部１２４へ出力する。取得部１２１は、イベントデータ表示部１２０からに限らず、外部からイベントデータを入力することができる。
【００２４】
関連付け部１２２は、取得部１２１または取得部１２３から入力するイベント情報に関連付けられた監視カメラ１０３のカメラ名を抽出し、抽出したカメラ名を取得部１２１または取得部１２３へ出力する。関連付け部１２２は、上記の監視カメラ１０３のカメラ名の抽出を、後述するように、図５の対応表５００と図６のスクリプトプログラム６００を用いて行う。
【００２５】
また、関連付け部１２２は、外部からイベント情報（機器名およびイベント名）を入力し、そのイベント情報に関連付けられた監視カメラ１０３のカメラ名を抽出し、そのカメラ名を外部に出力することができる。
【００２６】
取得部１２３は、イベントデータ表示部１２０からイベントデータを入力する。そして、取得部１２３は、関連付け部１２２へイベント情報（機器名およびイベント名）を出力し、そのイベント情報に関連付けられたカメラ情報を関連付け部１２２から取得する。その後、取得部１２３は、そのカメラ情報とイベントデータに含まれるイベント時刻情報に基づき、記録装置１０１に対して、監視カメラ１０３の録画開始指示と録画終了指示を行う。
【００２７】
また、取得部１２３は、外部からカメラ情報と録画開始と録画終了の情報を入力し、記録装置１０１に対して、監視カメラ１０３の録画開始指示と録画終了指示を行うことができる。
【００２８】
映像表示部１２４は、表示制御部であり、取得部１２１からのカメラ情報と時刻情報に基づき特定される映像を記録装置１０１から取得し、その取得した映像を再生して、図２の表示装置２１１に表示させる。また、映像表示部１２４は、外部からカメラ情報と時刻情報を入力し、入力したカメラ情報と時刻情報に基づき特定される映像を記録装置１０１から取得し、取得した映像を表示することができる。また、映像表示部１２４は、複数の監視カメラ１０３のうちのユーザが選択した監視カメラ１０３に対する再生制御信号またはカメラ制御信号を、記録装置１０１に出力する。
【００２９】
制御装置１０２は、監視装置１００と記録装置１０１とを連携することにより、監視装置１００により収集されるイベントデータと、記録装置１０１により制御される監視カメラ１０３とを関連付ける。記録装置１０１は、監視カメラ１０３で撮影された映像を記録媒体に記録する。制御装置１０２は、ユーザが表示されるイベントリストを用いて過去のイベントの１つを選択した際、そのイベントのイベントデータに関連付けられた監視カメラ１０３の映像を記録装置１０１から取得する。制御装置１０２は、取得した映像を始めから再生するだけでなく、イベントデータに含まれる制御情報に基づいた再生開始時刻候補から任意の時刻をユーザが選択することで、ユーザの所望の位置から映像を再生でき、意味のある映像を迅速に再生できる。また、制御装置１０２は、イベント時の映像と正常時の映像を制御情報に基づいて同期再生し、ユーザの異常解析の労力を軽減することができる。ここで、制御情報は、監視対象の機器１０４が参照し、機器１０４の動作を制御する情報である。
【００３０】
図２は、図１の制御装置１０２のハードウェア構成例を示すブロック図である。制御装置１０２は、コンピュータであり、ネットワーク回線２１０と表示装置２１１と入力装置２１２に接続される。制御装置１０２は、制御部２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部記憶装置２０４、入力インターフェース２０５、ビットムーブユニット（ＢＭＵ）２０６、ＶＲＡＭ２０７、ネットワークインターフェース２０９およびシステムバス２１２を有する。
【００３１】
制御部２０１は、ＲＯＭ２０２、ＲＡＭ２０３または外部記憶装置２０４に記憶されたプログラムを実行することにより、図２の制御装置１０２の機能を実現する。また、制御装置１０２は、図１の監視装置１００と制御装置１０２の機能を実現してもよいし、図１の監視装置１００と記録装置１０１と制御装置１０２との機能を実現してもよい。
【００３２】
すなわち、図１の監視装置１００と記録装置１０１と制御装置１０２は、単一のコンピュータで実現してもよいし、複数のコンピュータに分散して実現してもよい。複数のコンピュータで実現する場合、複数のコンピュータは、互いに通信可能なローカルエリアネットワーク（ＬＡＮ）などのネットワークで接続される。
【００３３】
制御部２０１は、例えば中央処理ユニット（ＣＰＵ）であり、制御装置１０２を制御する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２は、プログラムやパラメータを格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３は、外部記憶装置２０４などから供給されるプログラムやデータを記憶する。外部記憶装置２０４は、例えばハードディスクドライブ（ＨＤＤ）である。なお、外部記憶装置２０４は、フラッシュメモリで構成されるソリッドステートドライブ（ＳＳＤ）、またはハードディスクとフラッシュメモリを併用したハイブリッドドライブやメモリカードなどでもよい。外部記憶装置２０４は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などのプログラムを記憶する。
【００３４】
入力インターフェース２０５は、データを入力するポインティングデバイスやキーボードなどの入力装置２１２に接続される。ＢＭＵ２０６は、メモリ間（例えば、ＶＲＡＭ２０７と他のメモリとの間）や、メモリと各Ｉ／Ｏデバイス（例えば、ネットワークインターフェース２０９）間のデータ転送を制御する。ＶＲＡＭ（Ｖｉｄｅｏ  ＲＡＭ）２０７は、表示装置２１１に表示するための画像を記憶する。ＶＲＡＭ２０７は、画像を所定の規定に従って表示装置２１１に出力する。表示装置２１１は、表示部であり、その画像を表示する。ネットワークインターフェース２０９は、ネットワーク回線２１０に接続される。システムバス２１２は、制御装置１０２の各構成要素を接続する。
【００３５】
図３は、制御システム１３０の制御方法を示すフローチャートである。制御システム１３０は、監視装置１００、記録装置１０１および制御装置１０２を有する。
【００３６】
ステップＳ２００では、制御装置１０２の関連付け部１２２は、複数の機器１０４での発生が想定されるイベントと、複数の監視カメラ１０３のうちのそのイベントの機器１０４を撮影する監視カメラ１０３との関連付けを事前登録する。この関連付けについては、図５および図６を参照しながら後述する。また、制御装置１０２と監視装置１００は、この事前登録された関連付けを共有する。なお、監視装置１００が事前登録を行い、その後、制御装置１０２がその事前登録された関連付けを共有してもよい。
【００３７】
次に、ステップＳ１０１では、監視装置１００の蓄積部１１０は、直接又はＰＬＣ１０５を介して、監視対象である機器１０４の状態信号と制御情報を取得する。次に、ステップＳ１０２では、監視装置１００の蓄積部１１０は、取得した状態信号と制御情報に関連付けられ事前に定義された図４（ａ）のイベントデータ４００を生成し、イベントデータ４００を蓄積する。このステップＳ１０２の詳細は、図４（ａ）を参照しながら後述する。
【００３８】
次に、ステップＳ１０３では、監視装置１００の表示部１１１は、蓄積部１１０が取得した状態信号に基づき、機器１０４と機器１０４の状態を後述する図７のライブ状態図７２０として表示する。なお、このライブ状態図は、記録装置１０１を介して取得される監視カメラ１０３の映像ではないため、グラフィカルなアニメーションで表される。
【００３９】
次に、ステップＳ１０４では、監視装置１００の蓄積部１１０は、制御装置１０２のイベントデータ表示部１２０に対して、イベントデータの更新有りの情報を出力する。この出力は、イベントが発生した時点、およびイベントが終了した時点において行われる。具体的には、蓄積部１１０は、ＰＬＣ１０５等からイベント発生を示す状態信号を入力したときに、イベント名と機器名とイベント発生時刻からなるイベントデータを生成し、ステップＳ１０４の出力を行う。その後、蓄積部１１０は、ＰＬＣ１０５等からイベント終了を示す状態信号を受信したときに、上記のイベントデータに対してイベント終了時刻を追加し、ステップＳ１０４の出力を行う。また、蓄積部１１０は、イベント発生前後にＰＬＣ１０５等から制御指令が行われていた場合、上記のイベントデータに対して制御情報を追加し、ステップＳ１０４の出力を行う。
【００４０】
ステップＳ２０１では、イベントデータ表示部１２０は、ステップＳ１０４の出力があった場合に、イベントデータの更新が有ったと判定し、ステップＳ２０２に進む。なお、イベントデータ表示部１２０は、ステップＳ２００の事前登録がされた後、一定のタイミングで監視装置１００にイベントデータの更新の有無を問い合わせるようにしてもよい。
【００４１】
ステップＳ２０２では、イベントデータ表示部１２０は、蓄積部１１０に対して、ステップＳ１０２にて新たに蓄積又は更新されたイベントデータ（以下、更新イベントデータという）の要求を行う。ステップＳ２０３では、蓄積部１１０は、その要求に応じて、更新イベントデータをイベントデータ表示部１２０に出力する。イベントデータ表示部１２０は、その更新イベントデータを入力し、その更新イベントデータを取得部１２３へ出力する。
【００４２】
ステップＳ２０４では、取得部１２３は、更新イベントデータを解析する。取得部１２３は、この解析結果に基づき、更新イベントデータから、機器名、イベント名、イベント発生時刻および／またはイベント終了時刻を抽出する。なお、更新イベントデータの項目順は、例えば、機器名、イベント名、イベント発生時刻、およびイベント終了時刻の順番であり、ユーザによって予め設定されている。その後、取得部１２３は、抽出した機器名とイベント名を関連付け部１２２へ出力する。
【００４３】
ステップＳ２０５では、関連付け部１２２は、取得部１２３から入力した機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。この特定には、図５の対応表５００または図６のスクリプトプログラム６００が用いられる。その後、関連付け部１２２は、その特定した監視カメラ１０３のカメラ名を取得部１２３へ出力する。
【００４４】
ステップＳ２０６では、取得部１２３は、イベントデータの更新に応答して、ステップＳ２０４で抽出したイベント発生時刻またはイベント終了時刻に基づき、録画開始命令または録画終了命令を生成する。例えば、取得部１２３は、イベント発生時刻を含む録画開始命令を生成する。また、取得部１２３は、イベント終了時刻を含む録画開始命令を生成する。その後、取得部１２３は、関連付け部１２２から入力した監視カメラ１０３のカメラ名を含むカメラ情報と、生成された録画開始命令または録画終了命令を記録装置１０１に出力する。すなわち、取得部１２３は、記録制御部であり、イベント発生時刻とイベント終了時刻に対応する所定期間の映像を記録装置１０１に記録させるための録画開始命令または録画終了命令を出力する。
【００４５】
ステップＳ３０１では、記録装置１０１は、録画開始命令に含まれるイベント発生時刻より所定時間前の録画開始時刻から、入力したカメラ情報により特定される監視カメラ１０３の映像の録画を開始する。また、記録装置１０１は、録画終了命令に含まれるイベント終了時刻より所定時間後の録画終了時刻で、入力したカメラ情報により特定される監視カメラ１０３の映像の録画を終了する。このようにして、記録装置１０１は、録画開始時刻から録画終了時刻まで、監視カメラ１０３により撮影された映像を記録媒体に記録し、蓄積する。
【００４６】
記録装置１０１は、常に一定時間の監視カメラ１０３からのライブ映像をバッファに一時記録している。これにより、記録装置１０１は、イベント発生時刻の所定時間前の録画開始時刻からイベント終了時刻の所定時間後の録画終了時刻までに撮影された映像をバッファから取得して記録媒体に記録するプレ・ポスト録画を行う。記録装置１０１の記録方式は、プレ・ポスト録画に限定されない。例えば、記録装置１０１は、イベント発生時刻を含む録画開始命令の入力の後に、バッファへの映像の一時記録を開始し、イベント終了時刻を含む録画終了命令の入力の後に、バッファの映像を記録媒体に記録するポスト録画を行うようにしてもよい。記録装置１０１が少なくともイベント発生時刻からの映像を記録することにより、ユーザが過去のイベント発生中の状態を確認できればよい。記録装置１０１は、少なくともイベント発生時刻からイベント終了時刻までに撮影された映像を含む映像を記録することが好ましい。すなわち、録画開始時刻は、イベント発生時刻より前が好ましく、録画終了時刻は、イベント終了時刻より後が好ましい。なお、映像が一時記録されるバッファと、映像が記録される記録媒体（例えば、ハードディスクドライブ）は異なる。バッファに一時記録された映像は、一定時間が経過すると、自動的に、他の映像で上書きされたり、消去されたりする。記録媒体に記録された映像は、一定時間が経過しても自動的に消去されることはない。記録媒体に録画された映像は、例えば、ユーザの操作にしたがって消去される。
【００４７】
上記のステップＳ１０１〜Ｓ１０４、Ｓ２００〜Ｓ２０６およびＳ３０１は、一定サイクルで繰り返し処理される。なお、ステップＳ２０１では、イベントデータ表示部１２０は、後述のステップＳ２０７でイベントリストを生成する際に、蓄積部１１０から入力するイベントデータの数に基づき、イベントデータの更新の有無を判定してもよい。具体的には、イベントデータ表示部１２０は、前回のイベントリスト生成の際に入力したイベントデータ数より、今回のイベントリスト生成の際に入力したイベントデータ数の方が多い場合に、イベントデータの更新が有ったと判定する。
【００４８】
次に、ステップＳ２０７〜Ｓ２１４を参照しながら、制御システム１３０の映像の再生処理を説明する。
【００４９】
ステップＳ２０７では、制御装置１０２のイベントデータ表示部１２０は、蓄積部１１０に蓄積されている図４（ａ）に示すイベントデータ４００に基づき、図４（ｂ）に示すイベントリスト４０１を生成する。
【００５０】
次に、ステップＳ２０８では、イベントデータ表示部１２０は、イベントリスト４０１を基に、表示装置２１１に図７のイベントリスト７０２を表示する。なお、ステップＳ２０７で生成されるイベントリスト４０１の更新は、予め設定された所定のタイミング毎に行ってもよいし、蓄積部１１０がイベントデータ表示部１２０にステップＳ２０３で更新イベントデータを出力するタイミング毎に行ってもよい。
【００５１】
次に、ステップＳ２０９では、ユーザは、入力装置２１２を用いて、イベントリスト７０２内の複数のイベントデータの中から１つのイベントデータを選択する。イベントデータ表示部１２０は、その選択されたイベントデータを取得部１２１へ出力する。以下、イベントデータ表示部１２０が取得部１２１へ出力するイベントデータを指定イベントデータという。例えば、ユーザは、図７のイベントリスト７０２の各行に表示される複数のイベントデータの中から１つのイベントデータ７３０を選択する。すると、イベントデータ表示部１２０は、図７のように、選択されたイベントデータ７３０の行の表示を反転させる。
【００５２】
次に、ステップＳ２１０では、取得部１２１は、指定イベントデータを解析し、指定イベントデータから、機器名、イベント名、イベント発生時刻、イベント終了時刻および／または制御情報の抽出を行う。その後、取得部１２１は、その抽出した機器名とイベント名を関連付け部１２２へ出力する。なお、指定イベントデータの項目順は、例えば、機器名、イベント名、イベント発生時刻、およびイベント終了時刻の順番であり、ユーザによって予め設定されている。なお、取得部１２１は、イベントデータから、イベント発生時刻とイベント終了時刻を抽出しているが、イベント発生時刻のみを抽出してもよい。
【００５３】
次に、ステップＳ２１１では、関連付け部１２２は、取得部１２１から入力した機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。その後、関連付け部１２２は、その特定した監視カメラ１０３のカメラ名を取得部１２１へ出力する。関連付け部１２２は、図５の対応表５００または図６のスクリプトプログラム６００を用いて、監視カメラ１０３のカメラ名を特定する。
【００５４】
次に、ステップＳ２１２では、取得部１２１は、関連付け部１２２から入力したカメラ名を基に、ステップＳ２１０で抽出したイベント発生時刻からイベント終了時刻までの映像を含む録画開始時刻から録画終了時刻までの映像の取得命令を生成する。その後、映像表示部１２４は、この映像の取得命令を記録装置１０１に出力する。
【００５５】
次に、ステップＳ２１３では、記録装置１０１は、映像の取得命令に応答して、イベント発生時刻からイベント終了時刻までの映像を含む録画開始時刻から録画終了時刻までの映像を映像表示部１２４に出力する。
【００５６】
次に、ステップＳ２１４では、映像表示部１２４は、入力した映像を再生し、図８の映像８００を表示装置２１１の図７および図８のウィンドウ７０１に表示する。また、映像表示部１２４は、イベントデータ内の制御情報に基づいた映像を再生し、その映像を表示装置２１１に表示することができる。この映像の表示は、図７および図８を参照しながら後述する。
【００５７】
図４（ａ）は、イベントデータ４００の例を示す図である。ステップＳ１０２では、蓄積部１１０は、イベントデータ４００を蓄積する。図４（ｂ）は、イベントリスト４０１の例を示す図である。ステップＳ２０７では、イベントデータ表示部１２０は、蓄積部１１０に蓄積されている図４（ａ）に示すイベントデータ４００に基づき、図４（ｂ）に示すイベントリスト４０１を生成する。
【００５８】
次に、イベントデータ表示部１２０がイベントリスト４０１を生成する方法を説明する。図４（ａ）に示すように、監視装置１００の蓄積部１１０は、機器１０４の状態信号と制御情報に関連付けられた図４（ａ）のイベントデータ４００を生成し、イベントデータ４００を蓄積する。
【００５９】
イベントデータ４００は、機器名Ｄ４１０，Ｄ４３８と、イベント名Ｄ４１２，Ｄ４４０と、イベント発生時刻Ｄ４１４，Ｄ４４２と、イベント終了時刻Ｄ４１６，Ｄ４４４と、制御情報Ｄ４１８〜Ｄ４３６を有する。制御情報Ｄ４１８〜Ｄ４３６は、それぞれ、制御指令時刻および変化後の制御情報の値を有する。ここで、制御情報の値は、この値を参照する機器（ロボット）１０４が動作の種別を決定するための値である。例えば、機器１０４は、異なる種別のワークをピックする際に、その制御情報の値に基づいて、ピックするワーク種別を判断する。機器１０４は、制御情報の値が１である場合には、赤いワークを積み、制御情報の値が２である場合には、青いワークを積み、制御情報の値が０である場合には、動作を終了する。
【００６０】
イベントデータ表示部１２０は、蓄積部１１０にイベントデータ４００の要求を送信する。すると、蓄積部１１０は、その要求に応答して、イベントデータ４００をイベントデータ表示部１２０に出力する。イベントデータ表示部１２０は、イベントデータ４００を基に、予めユーザによって設定された項目順（例えば、機器名４１００、イベント名４１０１、イベント発生時刻４１０２およびイベント終了時刻４１０３の順番）に格納し、イベントリスト４０１を生成する。
【００６１】
イベント発生時刻４１０２は、例えば、異常発生時刻である。イベント終了時刻４１０３は、例えば、異常終了時刻である。
【００６２】
イベントリスト４０１は、機器名４１００、イベント名４１０１、イベント発生時刻４１０２、イベント終了時刻（イベント復帰時刻）４１０３の項目順にイベントデータが並ぶ。イベントデータ表示部１２０は、イベントリスト４０１を、図７のイベントリスト７０２として表示装置２１１に表示する。
【００６３】
なお、イベントデータ４００のイベント名Ｄ４１２およびＤ４４０は、機器１０４の異常を示す異常名を示すが、ユーザが予め記録しておきたいイベント名として登録されているイベント名であれば、異常イベントでなくてもよい。例えば、イベント名Ｄ４１２およびＤ４４０は、機器１０４により所定個数の製品が製造される毎にその旨を知らせるイベント名でもよい。この場合、イベント終了時刻は、イベント開始時刻と同一時刻である。
【００６４】
図５は、制御装置１０２の関連付け部１２２が登録する対応表５００の例を示す図である。関連付け部１２２は、対応表５００を用いて、取得部１２３が更新イベントデータから抽出した機器名とイベント名から、監視カメラ１０３のカメラ名を特定する。
【００６５】
対応表５００は、ユーザによって予め決められたものであり、機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を表す。例えば、機器名が「第１の機器」であり、イベント名が「搬送異常」である場合、監視カメラ１０３のカメラ名は、「第１のカメラ」と「第２のカメラ」の２つのカメラ名が特定される場合がある。
【００６６】
ステップＳ２０５の監視カメラ１０３のカメラ名の特定と、ステップＳ２１１の監視カメラ１０３のカメラ名の特定は、以下のように行われる。
【００６７】
ステップＳ２０４では、取得部１２３は、更新イベントデータから機器名とイベント名を抽出する。ステップＳ２０５では、関連付け部１２２は、対応表５００を用いて、取得部１２３により抽出された機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。
【００６８】
ステップＳ２１０では、取得部１２１は、指定イベントデータから機器名とイベント名を抽出する。ステップＳ２１１では、関連付け部１２２は、対応表５００を用いて、取得部１２１により抽出された機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。
【００６９】
なお、関連付け部１２２は、機器名とイベント名の組み合わせから、監視カメラ１０３のカメラ名を特定したが、これに限定されない。例えば、関連付け部１２２は、機器名とイベント名のいずれか一方のみから、監視カメラ１０３のカメラ名を特定するようにしてもよい。また、関連付け部１２２は、例えば、ソートまたはＳＱＬサーバのＳＥＬＥＣＴなどにより、監視カメラ１０３のカメラ名を特定することができる。
【００７０】
カメラ名は、例えば、複数の監視カメラ１０３のそれぞれのＩＰアドレスである。なお、カメラ名は、複数の監視カメラ１０３のそれぞれを認識するためのカメラ情報であれば、これに限定されない。
【００７１】
関連付け部１２２は、図５の対応表５００の代わりに、図６のスクリプトプログラム６００を用いて、監視カメラ１０３のカメラ名を特定してもよい。
【００７２】
図６は、関連付け部１２２が用いるスクリプトプログラム６００の例を示す図である。スクリプトプログラム６００は、プログラミング言語のＣ言語で書かれた条件分岐のｓｗｉｔｃｈ文で、機器名とイベント名に関連付けられた監視カメラ１０３のカメラ名を表す。例えば、機器名が「第１の機器」であり、イベント名が「組み付け異常」である場合、監視カメラ１０３のカメラ名は、「第１のカメラ」である。なお、スクリプトプログラム６００は、プログラムコードを記述する言語およびその記述方法が限定されない。
【００７３】
図７は、表示装置２１１に表示されるウィンドウ７００とウィンドウ７０１とイベントリスト７０２の例を示す図である。ウィンドウ７００は、制御ボタン７１０とライブ状態図７２０とを有する。
【００７４】
ステップＳ１０３では、表示部１１１は、ウィンドウ７００を表示装置２１１に表示する。ステップＳ２０８では、イベントデータ表示部１２０は、イベントリスト７０２を表示装置２１１に表示する。ステップＳ２１４では、映像表示部１２４は、ウィンドウ７０１を表示装置２１１に表示する。
【００７５】
以下、イベントリスト７０２を用いたウィンドウ７０１の表示方法について説明する。イベントデータ表示部１２０は、イベントリスト７０２を表示する。ユーザは、イベントリスト７０２内の複数のイベントデータのうちからイベントデータ７３０を選択する。複数のイベントデータの各々は、イベント発生時刻からイベント終了時刻までの期間を示す。すると、イベントデータ表示部１２０は、選択されたイベントデータ７３０の行の表示を反転させる。関連付け部１２２は、例えば、選択されたイベントデータ７３０に関連付けられた監視カメラ７２０１のカメラ名を特定する。監視カメラ７２０１は、複数の監視カメラ１０３の中の１つを表すライブ状態図である。
【００７６】
イベントリスト７０２の表示タイミングにおいて、まだ終了していないイベントについては、イベントリスト７０２内のイベントデータのイベント終了時刻が空欄になる。また、イベントリスト７０２の表示タイミングにおいて、現在も継続中のイベントについては、イベントリスト７０２内のイベントデータの行が点滅表示される。
【００７７】
映像表示部１２４は、特定された監視カメラ７２０１がイベントデータ７３０内のイベント発生時刻からイベント終了時刻までの期間において撮影した映像を含む録画開始時刻から録画終了時刻までの映像を再生し、その映像をウィンドウ７０１に表示する。
【００７８】
ウィンドウ７０１は、ウィンドウ７００とは別のウィンドウにより表示されるが、これに限定されない。例えば、ウィンドウ７００は、ライブ状態図７２０からウィンドウ７０１の映像に表示を切り替えてもよい。また、ウィンドウ７０１は、ウィンドウ７００内の一部の領域（ピクチャインピクチャ）に表示されてもよい。
【００７９】
また、関連付け部１２２が複数の監視カメラ１０３のカメラ名を特定した場合、映像表示部１２４は、特定された複数の監視カメラ１０３が撮影した複数の映像を再生して表示する。その場合、映像表示部１２４は、複数のウィンドウ７０１に複数の映像をそれぞれ表示してもよいし、１つのウィンドウ７０１内の複数の分割領域に複数の映像をそれぞれ表示してもよい。
【００８０】
表示部１１１は、ウィンドウ７００を表示する。ウィンドウ７００は、制御ボタン７１０とライブ状態図７２０を有する。制御ボタン７１０は、稼働開始ボタン７１００と稼働停止ボタン７１０１を有する。
【００８１】
稼働開始ボタン７１００は、監視装置１００の処理を開始させるためのボタンである。稼働停止ボタン７１０１は、監視装置１００の処理を停止させるためのボタンである。ユーザは、マウスのクリックにより、稼働開始ボタン７１００または稼働停止ボタン７１０１を押すことができる。稼働開始ボタン７１００と稼働停止ボタン７１０１のうち、稼働開始ボタン７１００のような模様が付されたボタンは、ユーザによりマウスでクリックされたボタンである。稼働停止ボタン７１０１のような模様が付されたボタンは、ユーザによりマウスでクリックされていないボタンである。図７の例では、制御ボタン７１０の表示により、監視装置１００が処理中であることがわかる。
【００８２】
表示部１１１は、ライブ状態図７２０を表示する。ライブ状態図７２０は、蓄積部１１０が収集した機器１０４の状態信号に応じて表示が変化するアイコン７２０３〜７２０８を有し、機器１０４および製造ラインの監視を行うための図である。
【００８３】
また、ライブ状態図７２０は、アイコン７２００〜７２０２を有する。アイコン７２００〜７２０２は、複数の監視カメラ１０３を表すアイコンである。複数の監視カメラ１０３は、複数の機器１０４と製造ラインを撮影する。複数の監視カメラ１０３は、例えば、第１の監視カメラ１０３と第２の監視カメラ１０３を含む。複数の機器１０４は、例えば、第１の機器１０４と第２の機器１０４を含む。
【００８４】
アイコン７２０３は、検査カメラ７２０５が搭載された第１の機器１０４を表すアイコンである。アイコン７２０４は、検査カメラが搭載された第２の機器１０４を表すアイコンである。アイコン７２０６は、製造ラインのうち、ベース部品７４０と完成品７６０を搬送するメイン搬送部を表すアイコンである。アイコン７２０７は、製造ラインのうち、ベース部品７４０を供給するためのベース部品供給部を表すアイコンである。アイコン７２０８は、製造ラインのうち、組み付け部品７５０を供給するための組み付け部品供給部を表すアイコンである。
【００８５】
ユーザは、複数の監視カメラ１０３を表す複数のアイコン７２００〜７２０２のうちの１つの選択等により、選択した監視カメラ１０３のカメラ情報を指定することができる。その場合、表示部１１１は、その指定されたカメラ情報を映像表示部１２４に出力する。映像表示部１２４は、そのカメラ情報に対応する監視カメラ１０３が撮影したライブ映像を記録装置１０１から取得し、そのライブ映像を表示する。これにより、ユーザは、機器１０４の状態を容易に把握することができる。
【００８６】
図８は、図７のウィンドウ７０１の拡大図である。映像表示部１２４は、ウィンドウ７０１内に、映像８００、再生バー８０１、イベント開始時刻８０２、イベント終了時刻８０３、および再生日時８０４を表示する。また、映像表示部１２４は、ウィンドウ７０１内に、再生つまみ８０５、巻き戻しボタン８０６、コマ戻しボタン８０７、再生／一時停止ボタン８０８、コマ送りボタン８０９、および早送りボタン８１０を表示する。また、映像表示部１２４は、ウィンドウ７０１内の再生バー８０１上に、制御指令時刻ジャンプ部８１１〜８１４を表示する。映像８００は、録画開始時刻から録画終了時刻までの映像であり、イベント発生時刻からイベント終了時刻までの映像を含む。
【００８７】
映像表示部１２４は、ウィンドウ７０１において、再生中の映像８００に対して、デジタルでパンとチルトとズームのうちのいずれかをユーザによる指定時に開始し、再指定時には元の映像８００の表示に戻す再生表示切替ボタンを表示してもよい。
【００８８】
また、映像表示部１２４は、再生中の上記のライブ映像に対して、監視カメラ１０３で光学パンとチルトとズームのうちのいずれかをユーザによる指定時に開始し、再指定時には元の映像８００の表示に戻すライブ表示切替ボタンを表示してもよい。
【００８９】
図９は、図４（ａ）の第１の機器のイベントデータに対応する動作の例を示す図である。時刻ｔは、左から右に流れ、録画開始時刻から録画終了時刻までを示す。時刻９０１は、イベント発生時刻である。時刻９０２は、イベント終了時刻である。動作期間９０３、９０４、９０５、９０６、９０７および９０８は、機器（ロボット）１０４の動作の開始が制御された時刻から機器１０４の動作の終了が制御された時刻までの動作期間である。時刻９１１、９１３、９１５、９１７および９１９は、機器１０４の動作の開始が制御された時刻である。時刻９１０、９１２、９１４、９１６および９１８は、機器１０４の動作の終了が制御された時刻である。
【００９０】
例えば、動作期間９０５は、機器１０４の動作の開始が制御された時刻９１３から機器１０４の動作の終了が制御された時刻９１４までの期間である。開始の時刻９１３は、図４の制御情報Ｄ４２４の動作開始の制御指令時刻である。終了の時刻９１４は、図４の制御情報Ｄ４２６の動作終了の制御指令時刻である。
【００９１】
また、動作期間９０６は、機器１０４の動作の開始が制御された時刻９１５から機器１０４の動作の終了が制御された時刻９１６までの期間である。開始の時刻９１５は、図４の制御情報Ｄ４２８の動作開始の制御指令時刻である。終了の時刻９１６は、図４の制御情報Ｄ４３０の動作終了の制御指令時刻である。
【００９２】
動作期間９０３〜９０８は、それぞれ、図８の制御指令時刻ジャンプ部８１１〜８１６に対応する。ユーザは、再生バー８０１上の制御指令時刻ジャンプ部８１１〜８１６から任意の箇所を選択することで、映像表示部１２４は、例えば、イベント発生時刻９０１の直前に現れる機器１０４の動作開始の制御指令時刻９１５から、映像８００を再生することができる。映像表示部１２４は、記録装置１０１に記録されている映像のうちの機器１０４の動作が制御された時刻に基づく時刻から映像８００を再生して表示する。
【００９３】
ユーザが制御指令時刻ジャンプ部８１１を選択すると、映像表示部１２４は、選択された制御指令時刻ジャンプ部８１１に対応する動作期間９０３の映像８００を再生して表示する。また、ユーザが制御指令時刻ジャンプ部８１２を選択すると、映像表示部１２４は、選択された制御指令時刻ジャンプ部８１２に対応する動作期間９０４の映像８００を再生して表示する。同様に、ユーザが制御指令時刻ジャンプ部８１３〜８１６のいずれかを選択すると、映像表示部１２４は、選択された制御指令時刻ジャンプ部８１３〜８１６に対応する動作期間９０５〜９０８の映像８００をそれぞれ再生して表示する。
【００９４】
また、映像表示部１２４は、選択された制御指令時刻ジャンプ部８１１〜８１６のいずれかに対応する動作期間９０３〜９０８の映像８００をリピート再生し、その映像８００を繰り返し表示することができる。
【００９５】
また、映像表示部１２４は、映像８００中の一部の期間を飛ばしたスキップ再生をすることができる。映像表示部１２４は、映像８００中の例えば、イベント発生時刻９０１が含まれている機器１０４の動作期間９０６等をその間の期間、例えば、機器１０４の動作終了の制御指令時刻９１６と動作開始の制御指令時刻９１７の間、を飛ばして再生することができる。映像表示部１２４は、複数の動作期間９０３〜９０８の映像８００を連続して再生して表示することができる。
【００９６】
図１０は、映像表示部１２４が表示するウィンドウ１０００の例を示す図である。ウィンドウ１０００は、イベント発生時の映像１００４と、正常時の映像１００３と比較するためのウィンドウである。正常時の映像１００３は、イベントが発生していない場合の映像である。映像表示部１２４は、ウィンドウ１０００内に、正常時のラベル１００１、イベント発生時のラベル１００２、正常時の映像１００３、イベント発生時の映像１００４を表示する。また、映像表示部１２４は、ウィンドウ１０００内に、共通の再生バー１００５、再生つまみ１００６、巻き戻しボタン１００７、コマ戻しボタン１００８、再生／一時停止ボタン１００９、コマ送りボタン１０１０、および早送りボタン１０１１を表示する。
【００９７】
また、映像表示部１２４は、ウィンドウ１０００内に、映像１００３に対する再生バー１０１２と、再生バー１０１２のうちの選択された再生領域１０１３を表示する。再生バー１０１２は、図８の再生バー８０１と同様である。再生領域１０１３は、図８の制御指令時刻ジャンプ部８１３および図９の正常時の動作期間９０５に対応する。映像表示部１２４は、選択された正常時の動作期間９０５の映像１００３を再生して表示する。
【００９８】
また、映像表示部１２４は、ウィンドウ１０００内に、映像１００４に対する再生バー１０１４と、再生バー１０１４のうちの選択された再生領域１０１５を有する。再生バー１０１４は、図８の再生バー８０１と同様である。再生領域１０１３は、図８の制御指令時刻ジャンプ部８１４および図９のイベント発生時（異常時）の動作期間９０６に対応する。映像表示部１２４は、選択されたイベント発生時の動作期間９０６の映像１００４を再生して表示する。
【００９９】
映像表示部１２４は、正常時の動作期間９０５の映像１００３と、イベント発生時の動作期間９０６の映像１００４とを同時に同期再生して表示する。映像表示部１２４は、複数の動作期間９０３〜９０８の映像のうちの少なくとも２つの期間の映像を同時に同期再生して表示することができる。
【０１００】
映像表示部１２４は、図８のウィンドウ７０１から図１０のウィンドウ１０００へ遷移できるようにしてもよいし、その他の方法でウィンドウ１０００を表示してもよい。ウィンドウ１０００は、２つの映像１００３および１００４の例を示すが、映像の数は限定されない。映像のラベリングは、ユーザが自由に定めることができる。
【０１０１】
ユーザは、再生バー１０１２または１０１４をクリックすることにより、再生領域１０１３または１０１５を選択することができる。また、ユーザは、機器１０４の動作期間の映像群のリストの表示の中から選択することにより、再生領域１０１３または１０１５を選択することができる。また、複数の映像１００３および１００４は、異なるウィンドウ内に表示されてもよい。
【０１０２】
例えば、機器１０４の異常が検知され、異常が検知された機器１０４の映像が記録されており、ユーザがその映像を再生して原因解析を行うとする。このとき、実際は、機器１０４の動きが正常時に比べて軌道がずれており、機器１０４が故障の前兆を示しているにも関わらず、ユーザは、映像を見ただけでは一見問題なく動いているように見えてしまい、問題を見逃してしまう可能性がある。そこで、映像表示部１２４は、図１０に示すウィンドウ１０００にて、正常時の映像１００３と異常時の映像１００４を制御情報に合わせて再生する。これにより、機器１０４に制御指令が出力されたタイミングから映像１００３および１００４が再生され、ユーザは、機器１０４の動き方の異常、およびタイミングのずれなどを認識しやすくなる。例えば、映像表示部１２４は、図９のイベント発生時刻９０１が含まれる機器１０４の動作期間９０６の映像１００４と、正常時の機器１０４の動作期間９０４または９０５の映像１００３とを並べて再生する。
【０１０３】
また、図９は、図４（ａ）に示す第１の機器のイベントデータに対応する図である。図４（ａ）では、機器１０４の動作期間９０６は、制御情報Ｄ４２８の動作開始の制御指令時刻から制御情報Ｄ４３０の動作終了の制御指令時刻までの期間に対応する。イベント発生時の映像１００４は、機器１０４の動作期間９０６の映像である。
【０１０４】
これに対し、正常時の映像１００４は、機器１０４の動作期間９０５の映像である。図４（ａ）では、機器１０４の動作期間９０５は、制御情報Ｄ４２４の動作開始の制御指令時刻から制御情報Ｄ４２６の動作終了の制御指令時刻までの期間に対応する。
【０１０５】
なお、映像表示部１２４は、制御情報の値に応じて、ラベリングし色分けをした領域を再生バー１０１２および１０１４に表示し、映像１００３および１００４の共通動作部分を識別しやすくしてもよい。
【０１０６】
以上のように、イベントデータ表示部１２０は、蓄積部１１０から更新イベントデータを取得する。関連付け部１２２は、更新イベントデータに含まれる機器名およびイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。その後、取得部１２３は、その特定されたカメラ名と更新イベントデータに含まれるイベント開始時刻およびイベント終了時刻に基づき、記録装置１０１に対して監視カメラ１０３の映像の録画開始命令および録画終了命令を出力する。これにより、記録装置１０１は、機器１０４においてイベントが発生した際、確実にそのイベントが発生した時点の映像を録画することができる。
【０１０７】
また、イベントデータ表示部１２０は、蓄積部１１０のイベントデータ４００をリスト化したイベントリスト７０２を表示する。その後、ユーザがイベントリスト７０２からイベントデータ７３０を選択すると、取得部１２１は、そのイベントデータ７３０を指定イベントデータとしてイベントデータ表示部１２０から取得する。関連付け部１２２は、その指定イベントデータに含まれる機器名およびイベント名に関連付けられた監視カメラ１０３のカメラ名を特定する。その後、映像表示部１２４は、その特定されたカメラ名と指定イベントデータに含まれるイベント開始時刻およびイベント終了時刻に基づき特定される映像８００を記録装置１０１から取得して再生する。これにより、映像表示部１２４は、機器１０４の過去の映像の中からユーザが所望するイベント発生時の映像８００を迅速に再生できる。
【０１０８】
また、映像表示部１２４は、再生位置を決めるにあたり、指定イベントデータに含まれる制御情報に基づいた再生開始候補から選択することにより、迅速に所望の再生位置から映像８００を再生できる。
【０１０９】
また、映像表示部１２４は、制御情報が変化したタイミングに合わせて複数の映像１００３および１００４を再生することにより、機器１０４が同一の動作を行っている映像１００３および１００４を同期再生できる。これにより、ユーザは、これまで見過ごす可能性があった異常を見つけることが容易になる。
【０１１０】
映像表示部１２４は、監視対象である機器１０４への制御が行われるタイミングに基づいて、映像８００の再生位置を得ることができる。映像表示部１２４は、映像８００上の変化や音の変化が小さい場合や、制御指令を受けているのに機器１０４が動かないようなエラーの場合でも、機器１０４が制御指令を入力したタイミングに基づいて、映像８００の所望の再生位置から再生できる。映像表示部１２４は、映像８００を意味がある箇所から迅速に再生することができる。
【０１１１】
本実施形態によれば、制御装置１０２は、制御情報に基づき、機器１０４の過去の映像の中の適切な時刻から映像を再生することができる。制御装置１０２は、映像中の機器１０４の動作期間など、意味のある時刻の映像を再生することができるので、ユーザの負担軽減につながる。
【０１１２】
（実施形態２）
図１１は、装置の状態監視システムの概要を示す模式図である。状態監視システムは、１以上の装置１１０１ａ〜１１０１ｃ、１以上の撮像装置１１０２ａ〜１１０２ｃ、記録装置１１０３および制御装置１１０４を備える。各装置間は、Ｅｔｈｅｒｎｅｔ（登録商標）規格に準拠した通信方式で通信が行われるとする。なお、装置間の通信方式は、上記に限らない。複数の通信方式を用いることも可能である。以下、装置１１０１ａ〜１１０１ｃを装置１１０１と表記し、撮像装置１１０２ａ〜１１０２ｃを撮像装置１１０２と表記する。入力装置１１０５および表示装置１１０６は、制御装置１１０４に接続される。
【０１１３】
装置１１０１は、制御装置１１０４からの制御信号に応じて、動作が制御される装置である。例えば、装置１１０１ａは、ワークを一方のスペースＡから他方のスペースＢに移動するためのロボットアームである。なお、制御装置１１０４からの制御信号に応じて制御される装置１１０１は、複数あってもよい。例えば、装置１１０１ｂは、図１１のスペースＡまでワークを搬送するベルトコンベヤーである。装置１１０１ｃは、スペースＢからワークを搬送するベルトコンベヤーである。以下、ロボットアーム１１０１ａを装置１１０１として説明する。
【０１１４】
撮像装置１１０２は、装置１１０１の動作に関連する撮像範囲を撮像して映像信号を取得することが可能な撮像装置である。撮像装置１１０２は、バッファメモリを備え、取得した映像信号を所定期間格納することが可能である。撮像装置１１０２は、撮像装置１１０２ａ、撮像装置１１０２ｂ、および撮像装置１１０２ｃを含む。撮像装置１１０２ａは、装置１１０１の動作範囲を撮像する。撮像装置１１０２ｂは、スペースＡに配置された装置１１０１によって移動される前のワークを撮像する。撮像装置１１０２ｃは、スペースＢに装置１１０１によって移動された後のワークを撮像する。なお、各撮像装置を区別して示す場合は、撮像装置１１０２ａ、１１０２ｂ、１１０２ｃと符号を付して表記する。撮像装置全体に共通する制御について示す場合は、撮像装置１１０２として表記する。
【０１１５】
撮像装置１１０２は、取得した映像信号を都度、制御装置１１０４に出力する。また、撮像装置１１０２は、制御装置１１０４からの要求に応じて、当該要求に応じた期間に対応する映像信号を、制御装置１１０４に出力する。記録装置１１０３は、撮像装置１１０２が取得した映像信号を記録する記録装置である。また、記録装置１１０３は、記録された映像信号が撮像装置１１０２によって取得された期間において、装置１１０１が所定の動作を実行したタイミングを示す情報を、映像信号と関連付けて記録する。
【０１１６】
制御装置１１０４は、状態監視システムの全体の制御を行う制御装置である。制御装置１１０４は、装置１１０１、撮像装置１１０２、および記録装置１１０３の動作を制御する。
【０１１７】
図１２は、制御装置１１０４の構成例を示す図である。制御装置１１０４は、制御部１２０１、システムメモリ１２０２、一時メモリ１２０３、ネットワークインターフェース１２０４、入力インターフェース１２０５および表示制御メモリ１２０６を備える。
【０１１８】
制御部１２０１は、プログラムを実行することによって制御装置１１０４の動作を制御するプロセッサである。制御部１２０１は、例えばＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）であるとする。なお、制御部１２０１は、２以上のプロセッサで構成されていてもよい。また、制御部１２０１は、後述する機能の１以上を実行可能な電子回路を含んでいてもよい。制御部１２０１は、状態監視システムの他の装置の制御も行う。
【０１１９】
システムメモリ１２０２は、制御部１２０１が実行するプログラムや、制御部１２０１の動作に用いるパラメータを格納する不揮発性の記憶媒体である。一時メモリ１２０３は、制御部１２０１が制御装置１１０４の動作の制御に用いるデータを一時的に格納する読み書き可能な記憶媒体である。
【０１２０】
ネットワークインターフェース１２０４は、装置１１０１、撮像装置１１０２、および記録装置１１０３と通信を行うインターフェースである。ネットワークインターフェース１２０４は、記録装置１１０３と接続して、記録装置１１０３と映像信号および制御タイミング情報の送受信を行うインターフェースである。
【０１２１】
ネットワークインターフェース１２０４は、装置１１０１と接続して、制御指令や動作の実行タイミングに関する情報の送受信を行うインターフェースである。表示制御メモリ１２０６は、表示装置１１０６に表示する画像データを格納する記憶媒体である。表示装置１１０６は、表示制御メモリ１２０６の画像データを読み出して画像を表示する。なお、表示制御メモリ１２０６は、表示装置１１０６が画像データを読み出し可能な記憶媒体でなく、表示装置１１０６に画像データを出力する出力インターフェースであってもよい。
【０１２２】
入力インターフェース１２０５は、受付部であり、入力装置１１０５と接続して、ユーザからの指示を受け付けるインターフェースである。入力装置１１０５は、マウスやキーボード等の入力部材であるとする。また、入力装置１１０５は、表示装置１１０６に設けられたタッチパネルであってもよい。
【０１２３】
制御部１２０１は、駆動制御部であり、装置１１０１に所定の動作を実行させるための制御命令（指示）を、ネットワークインターフェース１２０４を介して、装置１１０１に出力する駆動制御処理を実行する。制御命令は、装置１１０１が動作する制御の内容を示す情報である。制御命令は、制御を実行する時刻またはタイミングを示す情報を含んでいてもよい。この時刻またはタイミングは、制御部１２０１が制御命令を出力するタイミングである。
【０１２４】
制御部１２０１は、ネットワークインターフェース１２０４を介して、装置１１０１から装置１１０１の状態を示す状態信号を取得する取得処理を実行する。状態信号は、例えば、装置１１０１に設けられた不図示の温度センサの出力値、装置１１０１にかかる負荷の検出値、または、装置１１０１の駆動電流値である。制御部１２０１は、取得した状態信号を、ログデータとしてネットワークインターフェース１２０４を介して、記録装置１１０３に記録する記録制御処理を実行する。ログデータは、時刻と状態信号の値とを関連付けたデータである。
【０１２５】
制御部１２０１は、装置１１０１が所定の動作を実行するタイミングを示す制御タイミング情報を、ネットワークインターフェース１２０４を介して、記録装置１１０３に記録する記録制御処理を実行する。制御部１２０１は、装置１１０１に所定の動作の実行を指示する制御命令を出力したタイミングを示す情報を制御タイミング情報として記録する。所定の動作は、ロボットアームである装置１１０１が、スペースＡのワークを保持する動作（ピック動作）、ワークを持ち上げる動作（アップ動作）、保持したワークをスペースＢ側に移動する動作（ムーブ動作）、およびワークをスペースＢの目標位置に配置する動作（プレース動作）である。なお、所定の動作は、上述の動作のうち、いずれかであってもよい。所定の動作は、装置１１０１の種類や、システムの内容によって任意に決定することが可能である。
【０１２６】
制御部１２０１は、装置１１０１に所定の動作を実行するタイミングを示す情報を出力した場合は、当該タイミングを示す情報を制御タイミング情報として記録してもよい。また、制御装置１０１は、装置１０１から所定の動作を実行したタイミングを示す情報を、ネットワークインターフェース１２０４を介して受信して、記録装置１１０３に制御タイミング情報として記録するものであってもよい。つまり、制御タイミング情報は、後述する映像信号の再生時に、装置１１０１が所定の動作を実行するタイミングに関連するタイミングをユーザ（管理者）が映像信号の再生タイミングとして用いることが可能であればよい。
【０１２７】
制御部１２０１は、撮像装置１１０２から映像信号を取得し、異常状態が発生しているか否かを判定する判定処理を実行する。制御部１２０１は、撮像装置１１０２が取得したライブビュー画像を解析し、あらかじめ定められた判定条件を満たす場合に、異常状態が発生していると判定する。例えば、判定条件は、スペースＢに移動されたワークが、所定の配置位置から所定量以上はみ出すことであるとする。制御部１２０１は、撮像装置１１０２ｃから取得したライブビュー画像を解析して、判定条件を満たす場合に、異常状態が発生していると判定する。なお、制御部１２０１は、状態信号が所定の範囲に含まれるか否かに基づいて異常状態の発生を判定してもよい。
【０１２８】
制御部１２０１は、異常状態が発生したと判定されたことに応じて、当該判定がなされたタイミングを含む所定の期間の撮像装置１１０２ａ、１１０２ｂ、および１１０２ｃがそれぞれ取得した映像信号を、記録装置１１０３に記録する記録制御を実行する。本実施形態では、制御部１２０１は、撮像装置１１０２と記録装置１１０３とに、プレ記録処理と、ポスト記録処理とを実行させる。プレ記録処理は、制御部１２０１が、異常状態が発生したと判定したタイミングから所定のプレ期間さかのぼった期間に取得された映像信号の記録（プレ記録）を行う処理である。ポスト記録処理は、制御部１２０１が、異常状態が発生したと判定したタイミングから所定のポスト期間が経過する間に取得された映像信号の記録（ポスト記録）を行う処理である。プレ期間とポスト期間とを合わせた記録対象の期間を、本実施形態において記録期間と呼ぶ。なお、プレ記録処理とポスト記録処理とはいずれか一方であってもよい。
【０１２９】
記録制御において、記録装置１１０３に記録される映像信号は、撮像装置１１０２から記録装置１１０３に入力される。制御部１２０１は、撮像装置１１０２に、撮像装置１１０２のバッファメモリに格納されている映像信号のうち記録期間に取得された映像信号を記録装置１１０３に出力する指示を送信する。また、制御部１２０１は、撮像装置１１０２から入力された映像信号を記録するように、記録装置１１０３に指示を送信する。
【０１３０】
なお、記録制御において、制御部１２０１は、映像信号の記録のトリガーとなった異常状態の詳細を示す情報（イベント情報）を、対応する映像信号と関連付けて記録装置１１０３に記録する。イベント情報は、異常状態と判定された際の判定条件に対応するステータスを示す。
【０１３１】
次に、記録装置１１０３に記録された映像信号をユーザが確認する場合の動作について説明する。ユーザは、記録装置１１０３に記録された異常発生前後の映像信号を確認することにより、異常発生の原因の解析や対策の検討を行うことができる。
【０１３２】
制御部１２０１は、表示装置１１０６に、記録装置１１０３に記録された映像信号を選択するためのグラフィカルユーザーインターフェース（ＧＵＩ）を表示する。ＧＵＩは、記録装置１１０３に記録された映像信号を示す情報として、トリガーとなった異常状態の名称と異常状態が発生した時刻を示す情報を含む。
【０１３３】
ユーザは、入力装置１１０５を用いて、表示されたＧＵＩを操作して、表示装置１１０６に表示する映像信号を選択する。制御部１２０１は、選択された映像信号に基づいて、表示用の画像データを生成する。
【０１３４】
図１３は、選択された映像信号に基づいて、表示装置１１０６に表示される画像１３００を示す模式図である。
【０１３５】
制御部１２０１は、領域１３０１と、領域１３０２とを少なくとも含むように、画像データを生成する。領域１３０１には、選択された映像信号に基づく画像が表示される。領域１３０２には、選択された映像信号の記録期間のうち表示される映像信号のタイミングを示すユーザーインターフェース画像（ＵＩ画像）が表示される。このとき、制御部１２０１は、選択された映像信号の記録期間において、装置１１０１が所定の動作を実行する制御タイミングが含まれる場合、ＵＩ画像に当該制御タイミングを示す指標（マーク）１３０３を表示する。
【０１３６】
ここで、領域１３０２には、映像信号の記録期間の全体と、記録期間のうち再生されている映像信号のタイミングを示す指標１３０４と、記録期間のうち装置１１０１が所定の動作を実行する制御タイミングを示す指標１３０３と、を示す時刻表示バーが表示される。時刻表示バーは、映像信号の再生対象の期間を示す。指標１３０４は、表示される画像が対応するタイミングを示す。指標１３０３は、対応する動作を示す情報を併せて表示してもよい。本実施形態では、ユーザがマウスのカーソルを指標１３０３に合わせることによって、対応する動作を示す情報がポップアップで表示される。また、制御部１２０１は、時刻表示バーに表示中の映像信号を記録するトリガーとなった異常状態が発生したタイミングを示す指標１３０５を表示してもよい。
【０１３７】
制御部１２０１は、表示されたＵＩ画像の制御タイミングを示す指標に対して、ユーザから所定の入力がなされた場合に、当該制御タイミングに対応する時刻から、映像信号の再生を開始する。所定の入力は、マウスを指標に合わせてクリックすることによる入力である。なお、所定の入力は、ダブルクリックでもよい。
【０１３８】
上述の制御装置１１０３の処理によれば、映像信号の再生時に、記録期間内に実行された装置１１０１の所定の動作のタイミングを示す情報を表示することが可能となる。これによりユーザは、装置１１０１が動作したタイミングを指定して映像信号の再生を実行させることが容易となる。装置１１０１や、装置１１０１が動作するシステムにおいて、異常が発生した場合に、原因を解析するうえでは、装置１１０１がなんらかの動作を実行する前後で異常が起こる可能性が高い。本実施形態の制御によれば、ユーザは、装置１１０１の動作が実行されるタイミングにおける状況を容易に確認することが可能となる。
【０１３９】
なお、領域１３０２に示す制御タイミングは、複数の装置１１０１の動作を示すものであってもよい。例えば、制御装置１１０４は、複数の装置１１０１を制御可能である。複数の装置１１０１は、スペースＡから他方のスペースＢにワークを移動するためのロボットアーム１１０１ａ、スペースＡまでワークを搬送するベルトコンベヤー１１０１ｂ、スペースＢからワークを搬送するベルトコンベヤー１１０１ｃを含む。このとき、制御部１２０１は、領域１３０２に、各装置の制御タイミングに対応する指標をそれぞれ識別可能に表示する。例えば、制御部１２０１は、装置ごとに、指標の色を変えて表示する。例えば、制御部１２０１は、ベルトコンベヤー１１０１ａおよび１１０１ｃのそれぞれの搬送速度が変化するタイミングを制御タイミングとして表示する。例えば、図１３の指標１３０３は、ロボットアーム１１０１ａの制御に関するタイミングを示す指標であり、指標１３０６はベルトコンベヤー１１０１ｂの速度変更の動作が実行されたタイミングを示す指標である。指標１３０３および１３０６は、指標画像である。これにより、ユーザは、発生した異常状態に関連する可能性が高い装置１１０１を判断して、関連する可能性が高い動作のタイミングにおける映像を確認することが可能となる。
【０１４０】
さらに、制御部１２０１は、映像信号の再生が指示された場合に、選択された映像信号の画角に含まれる装置１１０１の制御タイミングを選択して表示する。例えば、撮像装置１１０２ａが撮影した映像信号では、上述の複数の装置１１０１がすべて画角に含まれることから、複数の装置１１０１の全ての制御タイミングを示す指標を、領域１３０２に表示する。しかし、撮像装置１１０２ｂが撮影した映像信号が選択された場合、ベルトコンベヤー１１０１ｃは、選択された映像信号の画角には含まれない。したがって、制御部１２０１は、ロボットアーム１１０１ａおよびベルトコンベヤー１１０１ｂの制御タイミングを示す指標を表示し、ベルトコンベヤー１１０１ｃの制御タイミングを示す指標は表示しないように、画像データを生成する。このように制御することにより、ユーザは、確認している映像に含まれる装置１１０１の動作に関連する映像を確認しやすくなる。
【０１４１】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。記録媒体は、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１４２】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１４３】
１００  監視装置、１０１  記録装置、１０２  制御装置、１０３  監視カメラ、１０４  機器、１２０  イベントデータ表示部、１２１  取得部、１２２  関連付け部、１２３  取得部、１２４  映像表示部
【図１】
2020202449.tif 000003
【図２】
2020202449.tif 000004
【図３】
2020202449.tif 000005
【図４】
2020202449.tif 000006
【図５】
2020202449.tif 000007
【図６】
2020202449.tif 000008
【図７】
2020202449.tif 000009
【図８】
2020202449.tif 000010
【図９】
2020202449.tif 000011
【図１０】
2020202449.tif 000012
【図１１】
2020202449.tif 000013
【図１２】
2020202449.tif 000014
【図１３】
2020202449.tif 000015