(57)【特許請求の範囲】
【請求項１】
映像データを構成する画像から監視対象が表示されている複数の特徴画像を抽出するデータ処理部と、
前記データ処理部により前記映像データを構成する画像から抽出された複数の前記特徴画像を合成して合成画像を生成する表示生成部とを備え、
前記データ処理部は、
前記映像データを構成する画像が撮像された時間における前記監視対象の状態を示すイベント情報を外部装置から取得する取得部と、
前記取得部により取得された前記イベント情報には、前記外部装置により制御されている装置の異常または故障の検出に応じて生成されたアラーム情報が含まれ、このアラーム情報に基づいて、前記映像データを構成する画像を選択し、選択した画像から前記特徴画像を抽出する抽出部とを備えることを特徴とするデータ処理装置。
【請求項２】
前記取得部で取得した前記イベント情報の選択を受け付ける操作部を備え、
前記抽出部は、前記操作部が受け付けた前記イベント情報に基づいて、前記映像データを構成する画像を選択し、選択した画像から前記特徴画像を抽出することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記取得部は、前記特徴画像を加工する加工情報を取得し、
前記データ処理部は、前記加工情報に基づいて、前記特徴画像を加工する加工部を備えることを特徴とする請求項１または２に記載のデータ処理装置。
【請求項４】
前記データ処理部は、
前記取得部で取得された前記イベント情報を画像に変換してイベント情報画像を生成する画像生成部と、
前記イベント情報画像を前記特徴画像に追加する追加部とを備えることを特徴とする請求項１，２または３に記載のデータ処理装置。
【請求項５】
前記データ処理部は、
前記映像データを構成する画像が撮像された時間における前記監視対象の状態を示すイベント情報を取得する取得部と、
前記取得部で取得された前記イベント情報を画像に変換してイベント情報画像を生成する画像生成部と、
前記イベント情報画像を前記特徴画像に追加する追加部とを備えることを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
前記データ処理部は、
前記映像データを構成する画像が撮像された時間における前記監視対象の状態を示すイベント情報を取得する取得部と、
前記取得部で取得された前記イベント情報を画像に変換してイベント情報画像を生成する画像生成部とを備え、
前記表示生成部は、前記合成画像に含まれている前記特徴画像に前記イベント情報画像を追加する追加部を備えることを特徴とする請求項１に記載のデータ処理装置。
【請求項７】
前記取得部は、前記特徴画像に前記イベント情報画像を追加するときの方法を指示する指示情報を取得し、
前記追加部は、前記指示情報に基づいて、前記イベント情報画像を前記特徴画像に追加することを特徴とする請求項４，５または６に記載のデータ処理装置。
【請求項８】
請求項１から７のいずれか一項に記載のデータ処理装置を備えることを特徴とするプログラマブル表示器。
【請求項９】
映像データを構成する画像から監視対象が表示されている複数の特徴画像を抽出するデータ処理工程と、
前記データ処理工程により前記映像データを構成する画像から抽出された複数の前記特徴画像を合成して合成画像を生成する表示生成工程とを備え、
前記データ処理工程は、
前記映像データを構成する画像が撮像された時間における前記監視対象の状態を示すイベント情報を外部装置から取得する取得工程と、
前記取得工程により取得された前記イベント情報には、前記外部装置により制御されている装置の異常または故障の検出に応じて生成されたアラーム情報が含まれ、このアラーム情報に基づいて、前記映像データを構成する画像を選択し、選択した画像から前記特徴画像を抽出する抽出工程とを備えることを特徴とするデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データの処理を行うデータ処理装置、プログラマブル表示器およびデータ処理方法に関する。
【背景技術】
【０００２】
従来、撮像された時間の異なる複数の画像を階層的に提示し、長時間にわたって動的に変化する被写体の動きを監視する技術がある。監視を効率的に行うためには、再生時間の短縮が望まれる。【０００３】
例えば、特許文献１には、監視対象に基づいて入力画像を撮像するか判定し、撮像すると判定された画像を記憶することにより、監視対象のみを撮像するように撮像間隔を制御する画像記憶装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２２４５４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の画像記憶装置では、再生時間の短縮は図られているものの、撮像した映像をすべて再生しないと監視対象の状態を確認することができず、特に撮像時間が長い場合には、監視対象の確認に時間を要してしまう。【０００６】
本発明は、上記に鑑みてなされたものであって、監視対象を確認する時間を短縮することができるデータ処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、映像データを構成する画像から監視対象が表示されている複数の特徴画像を抽出するデータ処理部と、データ処理部により映像データを構成する画像から抽出された複数の特徴画像を合成して合成画像を生成する表示生成部とを備え、データ処理部は、映像データを構成する画像が撮像された時間における監視対象の状態を示すイベント情報を外部装置から取得する取得部と、取得部により取得されたイベント情報には、外部装置により制御されている装置の異常または故障の検出に応じて生成されたアラーム情報が含まれ、このアラーム情報に基づいて、映像データを構成する画像を選択し、選択した画像から特徴画像を抽出する抽出部とを備える。
【発明の効果】
【０００８】
本発明にかかるデータ処理装置は、監視対象を確認する時間を短縮することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態におけるデータ処理装置の構成を示す図
【図２】実施の形態における合成画像の一例を示す図
【図３】実施の形態におけるデータ処理部の構成を示す図
【図４】実施の形態における映像データを構成する画像から特徴画像を抽出する具体例についての説明に供する図
【図５】実施の形態におけるイベント情報を取得する手順を示すフローチャート
【図６】実施の形態における映像データを構成する画像から特徴画像を抽出する手順を示すフローチャート
【図７】実施の形態におけるイベント情報を選択する手順についての説明に供する図
【図８】実施の形態における特徴画像にイベント情報画像を追加する手順についての説明に供する図
【図９】実施の形態における映像データが選択されてから、合成画像が表示されるまでの手順を示すフローチャート
【図１０】実施の形態におけるデータ処理装置の表示生成部の構成を示す図
【図１１】実施の形態における映像データを選択する画面の一例を示す図
【図１２】実施の形態における映像データの構成の一例を示す図
【図１３】実施の形態における抽出部により画像から抽出された特徴画像の一例を示す図
【図１４】実施の形態における追加部により特徴画像にイベント情報画像を追加する一例を示す図
【図１５】実施の形態における合成画像の一例を示す図
【図１６】実施の形態における映像データの構成の一例を示す図
【図１７】実施の形態における映像データの構成の一例を示す図
【図１８】実施の形態における抽出部により画像から抽出された特徴画像の一例を示す図
【図１９】実施の形態における抽出部により画像から抽出された特徴画像の一例を示す図
【図２０】実施の形態における追加部により特徴画像にイベント情報画像を追加する一例を示す図
【図２１】実施の形態における追加部により特徴画像にイベント情報画像を追加する一例を示す図
【図２２】実施の形態における合成画像の一例を示す図
【図２３】実施の形態におけるデータ処理装置のハードウェアの構成例を示す図
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態にかかるデータ処理装置、プログラマブル表示器およびデータ処理方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００１１】
実施の形態．
図１は、本発明の実施の形態におけるデータ処理装置１の構成を示す図である。データ処理装置１は、プログラマブル表示器により実現される。プログラマブル表示器は、画像を表示する表示部と、ユーザの操作を受け付ける操作部と、外部装置を接続する接続部と、データを記憶する記憶部とを備え、外部装置の動作状況の表示と、外部装置に対して値の入力とを行う電子式操作表示器である。
【００１２】
データ処理装置１は、撮像装置により一定時間の間に録画された映像データを構成する複数の画像から監視対象が表示されている特徴画像を抽出し、抽出した複数の特徴画像を合成して合成画像を生成する。本発明の実施の形態では、監視対象とは、監視場所において移動する物体、設備機器などである。また、本発明の実施の形態では、特徴画像は、映像データを構成する画像と同じ大きさであるとして説明するが、画像に表示されている監視対象と同じ大きさであってもよい。すなわち、特徴画像は、映像データを構成し、監視対象が表示されている画像を複数領域に分けた一部であってもよい。以下に、データ処理装置１の具体的な動作と構成について説明する。
【００１３】
データ処理装置１は、ユーザの操作を受け付ける操作部１１と、外部装置２が接続される外部装置接続部１２と、撮像装置３が接続される撮像装置接続部１３とを備える。
【００１４】
データ処理装置１は、映像データを構成する画像から監視対象が表示されている部分の画像である特徴画像を抽出するデータ処理部１４と、映像データと特徴画像とを記憶する記憶部１５とを備える。
【００１５】
データ処理装置１は、データ処理部１４により映像データを構成する複数の画像それぞれから抽出された複数の特徴画像を合成して合成画像を生成する表示生成部１６と、表示生成部１６で生成された合成画像を表示する表示部１７とを備える。
【００１６】
操作部１１は、キーボードまたはタッチパネルにより構成されており、ユーザの操作を受け付ける。具体的には、操作部１１は、付加情報を入力する操作と、再生対象の映像データを選択する操作とを受け付ける。操作部１１は、受け付けた操作に応じた操作信号を生成し、生成した操作信号をデータ処理部１４に出力する。
【００１７】
外部装置接続部１２は、外部装置２が接続されるインターフェイスである。外部装置接続部１２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタまたはＲＳ−２３２Ｃコネクタにより構成される。
【００１８】
外部装置２は、例えば、産業用機械を制御するＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｃｏｎｔｒｏｌｌｅｒ）、または、製品の検査を行うセンシング装置である。ＰＬＣは、制御対象である産業用機械に記憶されているデバイスＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を保持する。デバイスＩＤとは、産業用機械を識別するための情報である。
【００１９】
ＰＬＣは、接続されている産業用機械の動作を制御する。また、ＰＬＣは、産業用機械が動作している状態を監視する。ＰＬＣは、産業用機械の異常または故障を検出するとアラーム情報を生成し、生成したアラーム情報をデータ処理装置１に出力する。アラーム情報には、異常または故障の内容と、異常または故障が発生した時刻情報とが含まれている。
【００２０】
また、センシング装置は、例えば、製品の外観を検査する外観検査、または、製品の部品が所望の位置に配置されているかどうかを検査する位置検査を行う。センシング装置は、製品の検査を行い、検査の結果であるセンサ情報を生成し、生成したセンサ情報をデータ処理装置１に出力する。センサ情報には、検査の結果と、検査の時刻情報とが含まれている。
【００２１】
外部装置接続部１２は、外部装置２から入力された情報をデータ処理部１４に出力する。外部装置２から入力された情報とは、外部装置２がＰＬＣの場合には、デバイスＩＤおよびアラーム情報である。また、外部装置２から入力された情報とは、外部装置２がセンシング機器の場合には、センサ情報である。以下では、デバイスＩＤとアラーム情報とセンサ情報とをイベント情報という。また、イベント情報は、例えば、製品を生産する工程において、ベルトコンベアにより搬送される製品の移動状況を示す情報、段取り替えの作業の情報などでもよい。ベルトコンベアにより搬送される製品の移動状況を示す情報とは、製品の出庫時間および入庫時間を示す情報、または、製品が予め定めた箇所を通過した時間を示す情報などである。また、段取り替えの作業の情報とは、機械設備に設定されているパラメータの変更を示す情報である。
【００２２】
なお、イベント情報は、映像データを構成する画像に関する情報として与えられる。すなわち、イベント情報は、映像データを構成する、ある画像が撮影された時間および発生要因に対応して得られる情報である。なお、画像は、ヘッダ部、ペイロード部、インデックス部などから構成される画像ファイル形式で保存される。イベント情報は、例えば、インデックス部に格納される。
【００２３】
撮像装置接続部１３は、撮像装置３が接続されるインターフェイスである。撮像装置接続部１３は、例えば、ＵＳＢコネクタまたはイーサネット（登録商標）用の通信コネクタである。
【００２４】
撮像装置３は、一定の時間間隔で撮像した後に、または、撮像装置接続部１３から送信されるトリガ信号により撮像した後に、撮像した映像データをデータ処理装置１に出力する。撮像装置接続部１３は、撮像装置３から入力された映像データをデータ処理部１４に出力する。
【００２５】
データ処理部１４は、撮像装置接続部１３から映像データが入力され、当該映像データを構成する画像から監視対象が表示されている画像である特徴画像を抽出する。映像データを構成する画像から特徴画像を抽出する手順の詳細については、後述する。
【００２６】
映像データは、撮像装置３からデジタル形式で入力されるが、アナログ形式で入力されてもよい。アナログ形式で映像データが入力された場合には、撮像装置接続部１３は、Ａ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）変換により、アナログ形式の映像データをデジタル形式の映像データに変換する。
【００２７】
表示生成部１６は、データ処理部１４で抽出された監視対象が表示されている部分の画像である特徴画像と、監視対象の背景が表示されている画像とを合成することにより合成画像を生成する。
【００２８】
例えば、表示生成部１６は、図２に示すように、監視対象Ｂ１が表示されている特徴画像ａ２と、監視対象の背景が表示されている背景画像ａ１とを合成して合成画像Ｄを生成する。
【００２９】
なお、本実施の形態は、工場で製品が生産される場合の生産ラインを監視する分野に適用できる。よって、例えば、図２に示すように、監視対象は、生産される商品であり、背景画像は、ベルトコンベアなどの生産ラインである。
【００３０】
表示部１７は、液晶表示装置または有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置により構成される。操作部１１と表示部１７とは、ユーザによる操作を受け付ける操作機能と、操作画面を表示する表示機能とが一体化した操作表示部により構成されてもよい。
【００３１】
本実施の形態では、データ処理装置１は、映像データが選択され、選択された映像データを構成する複数の画像それぞれから抽出された特徴画像を合成して合成画像を生成するので、複数の特徴画像を一つの合成画像に集約して示すことができる。
【００３２】
ユーザは、複数の特徴画像が合成された合成画像を確認することにより、映像データをすべて再生することなく、監視対象の移動状況を把握することができるので、監視対象の確認作業を短時間で済ますことができる。
【００３３】
ここで、データ処理部１４の具体的な構成について説明する。図３は、データ処理部１４の構成を示す図である。図４は、映像データを構成する画像から特徴画像を抽出する具体例についての説明に供する図である。データ処理部１４は、映像データが撮像された時または映像データが撮像された後に監視対象の状態を示すイベント情報を取得する取得部２１と、取得部２１により取得されたイベント情報に基づいて、映像データを構成する画像を選択し、選択した画像から特徴画像を抽出する抽出部２２とを備える。
【００３４】
具体的には、抽出部２２は、イベント情報を取得した時刻と同じ時刻に撮像された画像を選択する。つまり、抽出部２２は、イベント情報を取得した時刻に基づいて画像を検索し、検索した画像の中から画像を選択する。また、抽出部２２は、撮像装置接続部１３から送信されるトリガ信号により撮像を行った場合、トリガ信号に基づいて画像を検索し、検索した画像の中から画像を選択してもよい。抽出部２２は、図４に示すように、選択した画像Ａ１から監視対象Ｂ１が表示されている部分の画像である特徴画像ａ１を抽出する。また、抽出部２２は、映像データと、特徴画像と、イベント情報とを記憶部１５に出力する。記憶部１５は、映像データと、特徴画像と、イベント情報とを関連付けて保存する。
【００３５】
ここで、取得部２１によりイベント情報を取得する手順について、図５に示すフローチャートを用いて説明する。
【００３６】
ステップＳ１において、操作部１１は、設定情報を受け付ける。設定情報とは、イベント情報を取得するタイミングを示す情報である。取得部２１がイベント情報を取得するタイミングは、設定情報の内容によって任意に設定することができる。例えば、取得するタイミングは、撮像装置３による映像データの撮像を開始する時刻、映像データの撮像を行っている時刻、映像データの撮像が終了した時刻、予め定めた周期、複数ビット条件などが考えられる。なお、複数ビット条件とは、ＰＬＣ等の外部装置２において予め設定された複数のビットの立上りおよび立下り状態であるビットの変化を監視し、当該複数のビットを用いた論理演算で得られる結果によりイベント情報を取得するタイミングを定める条件である。例えば、ＰＬＣ等の外部装置２が上述した論理演算を行い、データ処理装置１の取得部２１は、ＰＬＣ等の外部装置２から取得した論理演算の結果に基づいて、イベント情報を取得するタイミングを定めてもよい。また、データ処理装置１の取得部２１は、ＰＬＣ等の外部装置２から複数のビットを受信し、受信した複数のビットを用いて論理演算を行い、当該論理演算の結果に基づいて、イベント情報を取得するタイミングを定めてもよい。操作部１１は、設定情報を取得部２１に出力する。
【００３７】
ステップＳ２において、取得部２１は、設定情報を記憶部１５に出力する。
【００３８】
ステップＳ３において、取得部２１は、設定情報に基づいて、イベント情報を取得するタイミングになったかどうかを判断する。取得部２１は、イベント情報を取得するタイミングになったと判断した場合（ステップＳ３  Ｙｅｓ）には、ステップＳ４に進み、イベント情報を取得するタイミングになっていないと判断した場合（ステップＳ３  Ｎｏ）には、ステップＳ３の工程を繰り返す。
【００３９】
ステップＳ４において、取得部２１は、外部装置２にイベント情報の送信を要求し、外部装置２からイベント情報を取得する。
【００４０】
つぎに、抽出部２２により映像データを構成する画像から特徴画像を抽出する手順について、図６に示すフローチャートを用いて説明する。
【００４１】
ステップＳ１１において、撮像装置３は、撮像装置接続部１３を介して映像データを抽出部２２に出力する。映像データは、複数の画像により構成されている。
【００４２】
ステップＳ１２において、抽出部２２は、取得部２１で取得されたイベント情報に基づいて、映像データを構成する画像を選択する。
【００４３】
ステップＳ１３において、抽出部２２は、選択した画像に基づいて、画像内の動きのある画像領域を特定する。画像は、複数の画素により構成されている。
【００４４】
ここで、画像内の動きのある画像領域の特定は、例えば、特開昭５４−１２４９２７号公報に記載されているように、動きベクトルを利用する方法がある。
【００４５】
特開昭５４−１２４９２７号公報に記載の方法では、映像データを構成する画像Ａにおいて任意の大きさのブロックａを定め、画像Ａのひとつ前の画像Ｂの任意の場所にブロックａと同じ大きさのブロックｂを定め、ブロックｂを構成する画素の輝度値とブロックａを構成する画素の輝度値との差分を算出する。また、ブロックｂの場所を画像Ｂ内で順次変更し、変更した場所におけるブロックｂを構成する画素の輝度値とブロックａを構成する画素の輝度値との差分を算出する。算出した差分の中で最も小さい差分のブロックｂを特定する。特定したブロックｂは、画像Ａのブロックａと同じ画像部分であると推定できる。そして、特定したブロックｂの位置ベクトルと、ブロックａの位置ベクトルとの差に基づいて、動きベクトルを算出する。
【００４６】
抽出部２２は、動きベクトルに基づいて動きのある画像領域を特定する。例えば、抽出部２２は、算出した動きベクトルの大きさが一定の値よりも大きい場合には、動きのある画像領域であると特定してもよい。特定された画像領域には、監視対象が含まれている。
【００４７】
ステップＳ１４において、抽出部２２は、特定された画像領域に基づいて、画像から特徴画像を抽出する。
【００４８】
なお、上述では、イベント情報を取得したタイミングに対応する画像から特徴画像を抽出する動作について説明したが、当該動作に限定されない。例えば、本実施の形態の変形例として、データ処理装置１は、イベント情報を選択し、選択したイベント情報に基づいて画像を選択し、選択した画像から特徴画像を抽出し、抽出した特徴画像を合成して合成画像を生成する構成でもよい。具体的には、取得部２１によって取得されたイベント情報の一覧は、記憶部１５に記憶されている。表示部１７は、イベント情報の一覧を表示する。ユーザは、表示部１７に表示されているイベント情報の一覧に基づき、操作部１１を操作して任意のイベント情報を選択する。抽出部２２は、選択されたイベント情報に基づいて対応する画像を抽出する。
【００４９】
操作部１１は、取得部２１によって取得されたイベント情報の選択を受け付ける。図７は、表示部１７に複数のイベント情報、すなわち、記憶部１５に記憶されているイベント情報の一覧が表示されている様子を示している。撮像装置３は、映像データとともに、映像データを撮像した時刻の情報、撮像装置３が設置されている場所の情報、および撮像装置３に付与されている固有のＩＤをデータ処理装置１に送信してもよい。また、表示部１７には、イベント情報だけでなく、映像データを撮像した時刻の情報、撮像装置３が設置されている場所の情報、および撮像装置３に付与されている固有のＩＤも表示されてよい。
【００５０】
具体的には、ユーザは、表示部１７に表示されている画面に基づいて、操作部１１を操作して、一または複数のイベント情報を選択する。
【００５１】
抽出部２２は、操作部１１が受け付けたイベント情報に基づいて、映像データを構成する画像を選択し、選択した画像から特徴画像を抽出する。
【００５２】
具体的には、抽出部２２は、選択されたイベント情報に関連付けられている映像データを記憶部１５から読み出し、イベント情報に基づいて、読み出した映像データを構成する画像の中から画像を選択し、選択した画像から特徴画像を抽出する。抽出部２２は、抽出した特徴画像を表示生成部１６に出力する。
【００５３】
なお、抽出部２２は、選択されたイベント情報に対応する特徴画像を直接記憶部１５から読み出し、読み出した特徴画像を表示生成部１６に出力する構成でもよい。
【００５４】
表示生成部１６は、複数の特徴画像を合成して合成画像を生成する。
【００５５】
よって、データ処理装置１は、ユーザが任意に選択したイベント情報に基づいて、複数の特徴画像が合成された合成画像を生成するので、特定の監視対象の移動状況を把握することができ、特定の監視対象の確認作業を短時間で済ますことができる。
【００５６】
また、取得部２１は、特徴画像を加工する加工情報を取得する。具体的には、ユーザは、操作部１１を操作して映像データを選択し、選択した映像データに加工情報を設定する。取得部２１は、操作部１１から設定された加工情報を取得する。なお、加工情報は、外部装置接続部１２に接続された外部装置２である端末装置から入力されてもよい。取得部２１は、取得した加工情報を記憶部１５に出力する。記憶部１５は、加工情報を対応する映像データに関連付けて保存する。
【００５７】
加工情報とは、特徴画像の監視対象を画像処理によって加工する内容を示す情報である。加工情報には、監視対象の濃淡を補正する濃淡補正値、監視対象の色調を補正する色調補正値、および動きベクトルの大きさを示す値のいずれか一つまたは複数が含まれる。
【００５８】
データ処理部１４は、加工情報に基づいて、特徴画像を加工する加工部２３を備える。
【００５９】
ここで、加工部２３の具体的な動作について説明する。加工部２３は、操作部１１により再生対象の映像データの選択を受け付けた場合、当該映像データに関連付けられている特徴画像と加工情報とを記憶部１５から読み出す。
【００６０】
加工部２３は、加工情報に濃淡補正値が含まれている場合には、当該濃淡補正値に基づいて、監視対象の濃淡を補正する。
【００６１】
また、加工部２３は、加工情報に色調補正値が含まれている場合には、当該色調補正値に基づいて、監視対象の色調を補正する。
【００６２】
また、加工部２３は、加工情報に動きベクトルの大きさを示す値が含まれている場合には、特徴画像の中から、当該値を超える大きさの動きベクトルの特徴画像を選択する。
【００６３】
また、データ処理部１４は、記憶部１５からイベント情報を読み出し、読み出したイベント情報を画像に変換してイベント情報画像を生成する画像生成部２４と、イベント情報画像を特徴画像の監視対象に追加する追加部２５とを備える。
【００６４】
例えば、イベント情報は、上述したように、画像を構成するインデックス部に格納されている。画像生成部２４は、画像を構成するインデックス部からイベント情報を読み出し、読み出したイベント情報を画像に変換してイベント情報画像を生成する。追加部２５は、イベント情報を読み出した画像から抽出された特徴画像にイベント情報画像を追加する。
【００６５】
具体的には、画像生成部２４は、操作部１１により再生対象の映像データの選択を受け付けた場合、当該映像データに関連付けられているイベント情報を記憶部１５から読み出す。画像生成部２４は、テキストデータであるイベント情報を画像に変換し、イベント情報画像を生成する。
【００６６】
また、取得部２１は、特徴画像の監視対象にイベント情報画像を追加するときの方法を指示する指示情報を取得する。追加部２５は、指示情報に基づいて、イベント情報画像を特徴画像の監視対象に追加する。
【００６７】
例えば、指示情報が「監視対象の上側にイベント情報画像を追加する」の場合には、追加部２５は、図８に示すように、監視対象Ｂの上側にイベント情報画像Ｃを追加する。なお、イベント情報画像を追加する位置は、監視対象の上側に限らず、監視対象の右側、監視対象の左側、または監視対象の下側などでもよいし、監視対象の正面に重畳させてもよい。また、図８では、イベントＩＤと時刻情報とが含まれているイベント情報画像を示しているが、一例であって、他の情報が含まれていてもよい。また、ユーザが操作部１１を操作して、イベント情報画像に含まれる情報を任意に選択できてもよい。
【００６８】
ここで、操作部１１により映像データが選択されてから、合成画像が表示部１７に表示されるまでの手順について、図９に示すフローチャートを用いて説明する。
【００６９】
ステップＳ２１において、操作部１１は、映像データの選択を受け付ける。具体的には、ユーザは、操作部１１を操作して、表示部１７に表示されている複数の映像データの中から一または複数の映像データを選択する。
【００７０】
ステップＳ２２において、加工部２３は、受け付けた映像データに関連付けられている特徴画像と、イベント情報と、加工情報とを記憶部１５から読み出す。
【００７１】
ステップＳ２３において、加工部２３は、加工情報に基づいて特徴画像を加工する。加工部２３は、加工情報に濃淡補正値が含まれている場合には、当該濃淡補正値に基づいて、監視対象の濃淡を補正する。加工部２３は、加工情報に色調補正値が含まれている場合には、当該色調補正値に基づいて、監視対象の色調を補正する。加工部２３は、加工情報に動きベクトルの大きさを示す値が含まれている場合には、当該値を超える大きさの動きベクトルに対応する特徴画像を選択する。
【００７２】
加工情報に濃淡補正値と色調補正値と動きベクトルの大きさを示す値とのすべてが含まれている場合には、追加部２５は、当該値を超える大きさの動きベクトルに対応する特徴画像を選択する。そして、追加部２５は、濃淡補正値に基づいて、選択した特徴画像の監視対象の濃淡を補正する。追加部２５は、色調補正値に基づいて、選択した特徴画像の監視対象の色調を補正する。
【００７３】
ステップＳ２４において、画像生成部２４は、ステップＳ２１の工程により選択を受け付けた映像データに関連付けられているイベント情報を記憶部１５から読み出し、読み出したイベント情報を画像に変換してイベント情報画像を生成する。
【００７４】
ステップＳ２５において、追加部２５は、特徴画像の監視対象にイベント情報画像を追加する。加工情報に指示情報が含まれている場合には、追加部２５は、指示情報に基づいて、特徴画像の監視対象にイベント情報画像を追加する。なお、加工情報に指示情報が含まれていない場合には、追加部２５は、予め定められている位置にイベント情報画像を追加する。予め定められている位置とは、例えば、監視対象の右側である。
【００７５】
また、ステップＳ２１の工程において、操作部１１により複数の映像データの選択を受け付けた場合には、受け付けた映像データごとにステップＳ２２の工程からステップＳ２５の工程を繰り返す。
【００７６】
ステップＳ２６において、表示生成部１６は、ステップＳ２５の工程でイベント情報画像が追加された特徴画像と、監視対象の背景が表示されている画像とを合成することにより合成画像を生成する。
【００７７】
よって、データ処理装置１は、映像データが選択され、選択された映像データを構成する画像から、イベント情報画像が追加された特徴画像を合成して合成画像を生成するので、イベント情報画像が追加された特徴画像を一つの合成画像に集約して示すことができる。
【００７８】
ユーザは、合成画像を確認することにより、映像データをすべて再生することなく監視対象の移動状況を把握することができるので、監視対象の確認作業を短時間で済ますことができる。
【００７９】
なお、本実施の形態においては、特徴画像にイベント情報画像を追加した後に、合成画像を生成する動作について説明したが、当該動作に限定されない。表示生成部１６は、複数の特徴画像を合成して合成画像を生成し、その後、合成画像に含まれている特徴画像にイベント情報画像を追加してもよい。具体的には、この場合、データ処理装置１は、図１０に示すように、合成画像を生成する表示生成部３１を備える。表示生成部３１は、複数の特徴画像を合成して合成画像を生成する合成部３２と、合成部３２により合成された合成画像に含まれている特徴画像にイベント情報画像を追加する追加部２５を備える。つまり、図１０に示した構成例では、データ処理部１４は、追加部２５を備えない構成になる。
【００８０】
つぎに、映像データが選択され、イベント情報画像が特徴画像に追加されて、合成画像が生成されるまでの手順について説明する。
【００８１】
図１１は、表示部１７に複数の映像データの見本用画像が表示されている様子を示している。映像データの見本用画像とは、映像データを構成する一つの画像のサイズを縮小して生成された画像である。
【００８２】
ユーザは、表示部１７に表示されている見本用画像に基づいて、操作部１１を操作して、一または複数の映像データを選択する。以下では、映像データＥ１が選択された場合を想定して説明する。
【００８３】
映像データＥ１は、図１２に示すように、複数の画像Ａ１１，Ａ１２，Ａ１３により構成されており、監視対象Ｂ１，Ｂ２，Ｂ３がベルトコンベアＸ上を搬送される様子が撮像されている映像データである。なお、監視対象Ｂ１，Ｂ２，Ｂ３は、ベルトコンベアＸ上を搬送される同一の製品である。
【００８４】
図１３は、複数の特徴画像により構成される特徴画像群Ｅ１′を示す。抽出部２２は、図１３に示すように、イベント情報に基づいて画像Ａ１１から監視対象Ｂ１が表示されている部分の画像である特徴画像ａ１１を抽出し、イベント情報に基づいて画像Ａ１２から監視対象Ｂ２が表示されている部分の画像である特徴画像ａ１２を抽出し、イベント情報に基づいて画像Ａ１３から監視対象Ｂ３が表示されている部分の画像である特徴画像ａ１３を抽出する。
【００８５】
図１４は、イベント情報画像が追加された複数の特徴画像により構成される特徴画像群Ｅ１′を示す。追加部２５は、図１４に示すように、特徴画像ａ１１の監視対象Ｂ１にイベント情報画像Ｃ１を追加し、特徴画像ａ１２の監視対象Ｂ２にイベント情報画像Ｃ２を追加し、特徴画像ａ１３の監視対象Ｂ３にイベント情報画像Ｃ３を追加する。
【００８６】
表示生成部１６は、特徴画像ａ１１と、特徴画像ａ１２と、特徴画像ａ１３と、監視対象の背景が表示されている画像とを合成することにより合成画像Ｄを生成する。合成画像Ｄには、図１５に示すように、イベント情報画像Ｃ１が追加された監視対象Ｂ１と、イベント情報画像Ｃ２が追加された監視対象Ｂ２と、イベント情報画像Ｃ３が追加された監視対象Ｂ３とが含まれている。
【００８７】
よって、データ処理装置１は、映像データが選択され、選択された映像データを構成する画像から、監視対象にイベント情報画像が追加された特徴画像を合成して合成画像を生成するので、特徴画像を一つの合成画像に集約して示すことができる。
【００８８】
ユーザは、合成画像を確認することにより、映像データをすべて再生することなく監視対象の移動状況を把握することができるので、監視対象の確認作業を短時間で済ますことができる。
【００８９】
つぎに、複数の映像データが選択されて、合成画像が生成されるまでの手順について説明する。なお、以下では、監視対象を撮像するときの撮像装置３の撮像角度は同じであるが、異なるベルトコンベア上を搬送される監視対象をそれぞれ撮像した映像データＥ２と映像データＥ３とが選択された場合を想定して説明する。映像データＥ２は、図１６に示すように、複数の画像Ａ１１，Ａ１２，Ａ１３により構成されており、ベルトコンベアＸ１からベルトコンベアＸ２へ監視対象Ｂ１１，Ｂ１２，Ｂ１３が搬送される様子が撮像されている映像データである。なお、監視対象Ｂ１１，Ｂ１２，Ｂ１３は、ベルトコンベアＸ１，Ｘ２上を搬送される同一の製品である。
【００９０】
映像データＥ３は、図１７に示すように、複数の画像Ａ２１，Ａ２２，Ａ２３により構成されており、ベルトコンベアＸ３からベルトコンベアＸ２へ監視対象Ｂ２１，Ｂ２２，Ｂ２３が搬送される様子が撮像されている映像データである。なお、監視対象Ｂ２１，Ｂ２２，Ｂ２３は、ベルトコンベアＸ２，Ｘ３上を搬送される同一の製品である。
【００９１】
図１８は、複数の特徴画像により構成される特徴画像群Ｅ２′を示す。抽出部２２は、図１８に示すように、イベント情報に基づいて画像Ａ１１から監視対象Ｂ１１が表示されている部分の画像である特徴画像ａ１１を抽出し、イベント情報に基づいて画像Ａ１２から監視対象Ｂ１２が表示されている部分の画像である特徴画像ａ１２を抽出し、イベント情報に基づいて画像Ａ１３から監視対象Ｂ１３が表示されている部分の画像である特徴画像ａ１３を抽出する。
【００９２】
図１９は、複数の特徴画像により構成される特徴画像群Ｅ３′を示す。また、抽出部２２は、図１９に示すように、イベント情報に基づいて画像Ａ２１から監視対象Ｂ２１が表示されている部分の画像である特徴画像ａ２１を抽出し、イベント情報に基づいて画像Ａ２２から監視対象Ｂ２２が表示されている部分の画像である特徴画像ａ２２を抽出し、イベント情報に基づいて画像Ａ２３から監視対象Ｂ２３が表示されている部分の画像である特徴画像ａ２３を抽出する。
【００９３】
図２０は、イベント情報画像が追加された複数の特徴画像により構成される特徴画像群Ｅ２′を示す。追加部２５は、図２０に示すように、特徴画像ａ１１の監視対象Ｂ１１にイベント情報画像Ｃ１１を追加し、特徴画像ａ１２の監視対象Ｂ１２にイベント情報画像Ｃ１２を追加し、特徴画像ａ１３の監視対象Ｂ１３にイベント情報画像Ｃ１３を追加する。
【００９４】
図２１は、イベント情報画像が追加された複数の特徴画像により構成される特徴画像群Ｅ３′を示す。追加部２５は、図２１に示すように、特徴画像ａ２１の監視対象Ｂ２１にイベント情報画像Ｃ２１を追加し、特徴画像ａ２２の監視対象Ｂ２２にイベント情報画像Ｃ２２を追加し、特徴画像ａ２３の監視対象Ｂ２３にイベント情報画像Ｃ２３を追加する。
【００９５】
表示生成部１６は、特徴画像ａ１１と、特徴画像ａ１２と、特徴画像ａ１３と、特徴画像ａ２１と、特徴画像ａ２２と、特徴画像ａ２３と、監視対象の背景が表示されている画像とを合成することにより合成画像Ｄを生成する。合成画像Ｄには、図２２に示すように、イベント情報画像Ｃ１１が追加された監視対象Ｂ１１と、イベント情報画像Ｃ１２が追加された監視対象Ｂ１２と、イベント情報画像Ｃ１３が追加された監視対象Ｂ１３と、イベント情報画像Ｃ２１が追加された監視対象Ｂ２１と、イベント情報画像Ｃ２２が追加された監視対象Ｂ２２と、イベント情報画像Ｃ２３が追加された監視対象Ｂ２３とが含まれている。
【００９６】
なお、上述では、二つの映像データＥ２，Ｅ３から一つの合成画像Ｄを生成する手順について説明したが、三つ以上の映像データから一つの合成画像を生成してもよい。
【００９７】
よって、データ処理装置１は、複数の映像データが選択され、選択された複数の映像データを構成する画像から、イベント情報画像が追加された特徴画像を合成して合成画像を生成するので、複数の映像データの特徴画像を一つの合成画像に集約して示すことができる。
【００９８】
ユーザは、合成画像を確認することにより、複数の映像データをそれぞれ再生することなく監視対象の移動状況を把握することができるので、監視対象の確認作業を短時間で済ますことができる。
【００９９】
また、データ処理装置１は、複数の映像データからそれぞれ生成した合成画像を合成するので、複数の映像データを並列的に表示する必要がなく、表示部１７を小型化することができ、装置全体を小規模化することができる。
【０１００】
また、データ処理装置１は、映像データから抽出した特徴画像にイベント情報を追加して合成画像を生成するので、映像データごとの差異と状況を容易に把握することができる。
【０１０１】
また、データ処理装置１は、特徴画像にイベント情報が表示されているので、状況の把握が容易になる。なお、図２２に示す例では、イベント情報画像のすべてが特徴画像に追加されているが、これに限定されない。例えば、表示画面においてイベント情報画像の一部またはすべてが非表示になっており、マウスなどのポインティングデバイスの操作にしたがって表示画面上を移動するカーソルが特徴画像に重畳されたときに、イベント情報画像がポップアップ状に表示される形態でもよい。
【０１０２】
図２３は、データ処理装置１のハードウェア構成例を示す図である。データ処理装置１は、コンピュータであり、通信回路１０１、プロセッサ１０２、メモリ１０３、表示部１０４および入力部１０５を備える。図１に示した外部装置接続部１２および撮像装置接続部１３は、通信回路１０１により実現される。
【０１０３】
図１に示したデータ処理部１４および表示生成部１６は、メモリ１０３に格納されたプログラムがプロセッサ１０２により実行されることにより実現される。図１に示した記憶部１５は、メモリ１０３により実現される。
【０１０４】
プロセッサ１０２は、例えば、ＣＰＵ、マイクロプロセッサなどであり、処理回路である。メモリ１０３は、プロセッサ１０２によりプログラムが実行される際の記憶領域としても用いられる。
【０１０５】
図１に示した操作部１１は、入力部１０５により実現される。図１に示した表示部１７は、表示部１０４により実現される。入力部１０５は、キーボード、マウスなどである。表示部１０４は、ディスプレイ、モニタなどである。表示部１０４および入力部１０５は、これらが一体化されたタッチパネルにより実現されてもよい。
【０１０６】
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
【符号の説明】
【０１０７】
１  データ処理装置、２  外部装置、３  撮像装置、１１  操作部、１２  外部装置接続部、１３  撮像装置接続部、１４  データ処理部、１５  記憶部、１６，３１  表示生成部、１７  表示部、２１  取得部、２２  抽出部、２３  加工部、２４  画像生成部、２５  追加部。
【要約】
映像データを構成する画像から監視対象が表示されている複数の特徴画像を抽出するデータ処理部（１４）と、データ処理部（１４）により映像データを構成する画像から抽出された複数の特徴画像を合成して合成画像を生成する表示生成部（１６）とを備える。監視対象とは、監視場所において移動する物体であり、例えば、製品を生産する工程において、ベルトコンベアにより搬送される製品である。当該構成によれば、時間をかけずに監視対象を確認することができる。【図１】
0006400260.tif 000002
【図２】
0006400260.tif 000003
【図３】
0006400260.tif 000004
【図４】
0006400260.tif 000005
【図５】
0006400260.tif 000006
【図６】
0006400260.tif 000007
【図７】
0006400260.tif 000008
【図８】
0006400260.tif 000009
【図９】
0006400260.tif 000010
【図１０】
0006400260.tif 000011
【図１１】
0006400260.tif 000012
【図１２】
0006400260.tif 000013
【図１３】
0006400260.tif 000014
【図１４】
0006400260.tif 000015
【図１５】
0006400260.tif 000016
【図１６】
0006400260.tif 000017
【図１７】
0006400260.tif 000018
【図１８】
0006400260.tif 000019
【図１９】
0006400260.tif 000020
【図２０】
0006400260.tif 000021
【図２１】
0006400260.tif 000022
【図２２】
0006400260.tif 000023
【図２３】
0006400260.tif 000024