(57)【特許請求の範囲】
【請求項１】
時刻を発生する時刻発生手段と、
操作装置で操作を行った操作者の画像を読み取る画像読取手段と、
上記操作装置で操作者によりなされた操作についての情報を検出する操作検出手段と、
上記画像読取手段で読み取られた画像を記憶する画像記憶手段と
上記操作検出手段で検出された操作情報および操作者が操作を行ったときの上記時刻発生手段で発生した時刻を、上記画像記憶手段に記憶された画像に関連する関連情報とともに記憶する操作情報記憶手段と、
上記画像記憶手段に前回記憶された画像と上記画像読取手段で読み取られた画像とを比較することによって、記憶画像に対する読取画像の変化量が所定値より大きいか否かを判定する変化量判定手段と、
上記変化量が所定値より大きいと判定され、かつ上記操作情報が検出されたときのみ、読取画像の上記画像記憶手段への記憶を許可する記憶許可手段とを備えていることを特徴とする操作履歴装置。
【請求項２】
上記画像記憶手段に記憶された画像と上記操作情報記憶手段に記憶された操作情報および時刻とを合成する合成手段を備えていることを特徴とする請求項１に記載の操作履歴装置。
【請求項３】
上記変化量判定手段が、画像の全画素のデータの総和で両画像を比較することを特徴とする請求項１または２に記載の操作履歴装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、操作者がした操作の履歴を保存する操作履歴装置に関するものである。
【０００２】
【従来の技術】
例えば、工場においては、制御盤などの操作部を操作者が操作することでシステムの運転が行われている。システムの運転に異常が生じた場合、正常な運転状態に復帰させるために、異常発生の原因を特定することが重要である。特に、異常発生が操作者の誤操作による可能性が高い場合、どのような操作によって異常が発生したかを明確にする必要がある。このため、操作者および操作者の操作を何らかの方法で記録しておく必要がある。
【０００３】
従来、その記録としては、例えば、ビデオカメラでプログラマブル表示器などの操作パネルを操作者とともに常時撮影し、その映像をＶＴＲなどに録画するとともに、タイムスタンプを映像と併せて記録する一方、操作パネル側で操作者がした操作の履歴を残す方法が採られていた。そして、異常が生じた場合には、タイムスタンプで特定される、異常が生じた時刻の映像をＶＴＲで再生して、その映像から、操作パネルを操作していた操作者を特定するとともに、操作パネルの操作履歴から、そのときの操作を特定する。
【０００４】
【発明が解決しようとする課題】
ところが、上記のような記録方法では、操作の履歴を録画装置と独立した操作パネル側で保存するため、録画装置での操作者の特定と、操作パネルでの操作の特定とを別個に行う必要があり、両者の特定作業が煩雑である。このため、異常発生原因の検証に時間が掛かり、特に、異常発生原因が特定できなければ正常な状態に復帰することができない場合は、復帰に要する時間が長引いて損害を増大させるという問題を招く。
【０００５】
また、上記の記録方法では、いつ発生するかわからない誤操作のために、ＶＴＲなどの録画装置を用いて長時間にわたって映像を記録しなければならない。つまり、記録された映像の大部分が利用されないことになり、必要上無駄な記録をしていることになる。このため、記録媒体が膨大な記録容量を備える必要があり、記録のためのコストが嵩むという不都合がある。
【０００６】
本発明は、上記の事情に鑑みてなされたものであって、操作者および操作内容を関連付けて記録保存することによって両者の特定作業を簡素化することを主な目的としており、さらには、操作者および操作内容の履歴を効率的に保存することを目的としている。
【０００７】
【課題を解決するための手段】
本発明の操作履歴装置は、上記の課題を解決するために、時刻を発生する時刻発生手段と、操作装置で操作を行った操作者の画像を読み取る画像読取手段と、上記操作装置で操作者によりなされた操作についての情報を検出する操作検出手段と、上記画像読取手段で読み取られた画像を記憶する画像記憶手段と上記操作検出手段で検出された操作情報および操作者が操作を行ったときの上記時刻発生手段で発生した時刻を、上記画像記憶手段に記憶された画像に関連する関連情報とともに記憶する操作情報記憶手段と、上記画像記憶手段に前回記憶された画像と上記画像読取手段で読み取られた画像とを比較することによって、記憶画像に対する読取画像の変化量が所定値より大きいか否かを判定する変化量判定手段と、上記変化量が所定値より大きいと判定され、かつ上記操作情報が検出されたときのみ、読取画像の上記画像記憶手段への記憶を許可する記憶許可手段とを備えていることを特徴としている。
【０００８】
上記の構成では、画像読取手段によって読み取られた操作者（特に操作者の顔）の画像が画像記憶手段に記憶される一方、操作検出手段によって検出された操作情報および時刻発生手段で発生した時刻が関連情報とともに操作情報記憶手段に記憶される。これにより、画像記憶手段に記憶された画像が関連情報によって操作情報および時刻によって関連付けられる。この関連情報としては、例えば、画像記憶手段が画像メモリである場合、画像メモリに対する画像データの書き込みおよび読み出しに用いられるアドレスが用いられる。上記のような関連付けにより、行われた操作内容と、その操作が行われた時刻とを、操作者の画像と併せて容易に特定することができる。さらに、上記画像記憶手段に前回記憶された画像と上記画像読取手段で読み取られた画像とを比較することによって、記憶画像に対する読取画像の変化量が所定値より大きいか否かを判定する変化量判定手段と、上記変化量が所定値より大きいと判定され、かつ上記操作情報が検出されたときのみ、読取画像の上記画像記憶手段への記憶を許可する記憶許可手段とを備えていることにより、変化量判定手段によって、記憶画像に対する読取画像の変化量が所定値より大きいと判定され、かつ操作情報が検出されたときのみ、記憶許可手段によって、読取画像が画像記憶手段に記憶される。これより、操作者が変わらず、記憶画像に対する読取画像の変化が小さい場合、読取画像が記憶されないので、変化の小さい余分な画像を記憶することがない。
【０００９】
上記の操作履歴装置は、さらに、上記画像記憶手段に記憶された画像と上記操作情報記憶手段に記憶された操作情報および時刻とを合成する合成手段を備えていることが好ましい。このように、合成手段によって、画像と操作情報および時刻とを合成するで、合成の結果得られた画像には、操作者の画像と、その操作者による操作情報およびその操作が行われた時刻とが含まれる。これにより、合成された画像を見るだけで、操作者、操作内容および操作時刻を特定することができる。
【００１０】
上記の操作履歴装置においては、上記変化量判定手段が、画像の全画素のデータの総和で両画像を比較することが好ましい。このように、全画素データの総和で比較することによって、比較対象が簡素化され、比較処理を容易に行うことができる。
【００１１】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図５に基づいて説明すれば、以下の通りである。
【００１２】
本実施の形態に係る操作履歴装置は、図１に示すように、ビデオカメラ１、画像処理部２、キー操作検出部３、ＲＴＣタイムスタンプ発生器４、画像メモリ５、履歴メモリ６、画像比較部７、ＡＮＤゲート８、アドレス発生部９、ＦＩＦＯ（First-IN First-OUT）メモリ（図中、ＦＩＦＯ）１０および画像合成部１１を備えている。
【００１３】
画像読取手段としてのビデオカメラ１は、後述する操作部２１を操作する操作者の顔を撮影するために設けられており、常時撮影した画像を読み取って、アナログのＮＴＳＣ方式やＰＡＬ方式といったビデオ信号（コンポジットビデオ信号）として出力する。また、ビデオカメラ１は、読み取った画像をデジタルデータとして出力するカメラであってもよい。
【００１４】
画像処理部２は、ビデオカメラ１からのビデオ信号に対して各種の処理を行う。その処理としては、例えば、ビデオ信号からの画像信号の抽出や、抽出された画像信号のデジタルへの変換、ビデオ信号からの水平同期信号および垂直同期信号の分離などを行うビデオデコードの処理を始めとして、画像信号に対する圧縮、縮小、特徴抽出などの処理が挙げられる。圧縮および縮小処理は、画像を圧縮または縮小する必要がある場合、画像メモリ５への画像データの書き込みの前段で、それらの処理を行うことによって、画像メモリ５における画像データの記憶領域を小さくすることができ有効である。また、特徴抽出処理は、例えば、画像の特徴（操作者の顔の輪郭など）を特徴データとして抽出する処理であって、画像の特徴のみを記憶する場合に用いられる。
【００１５】
画像処理部２で行う処理については、どのような形態で画像を記憶するかという設計上の仕様に応じて必要な機能が定められる。
【００１６】
操作検出手段としてのキー操作検出部３は、操作部２１で操作者が操作によるキー操作（キー、スイッチ、ボタンなどの操作）が行われたことを検出し、その検出の結果として、キー操作のタイミングでハイレベルになるキーエントリー信号ＫＥＹと、操作されたキーを表すキーコードのデータＫＥＹＣＯＤＥ（複数ビット）とを出力する。キーエントリー信号ＫＥＹは、少なくとも、キー操作の開始から後述のような１画面分の画像データの書き込みを完了するまでの所定時間アクティブ（例えばハイレベル）となる信号である。
【００１７】
操作装置としての操作部２１は、各種の装置に設けられた操作パネルなどであって、操作手段としてキーボード、操作スイッチ、操作ボタン、タッチパネル、機械スイッチなどが設けられている。操作部２１が設けられる装置は、プログラマブル表示器などの制御用の操作装置などが好適であるが、インターホンのような制御用以外の装置であってもよい。
【００１８】
時刻発生手段としてのＲＴＣタイムスタンプ発生器４は、タイムスタンプをリアルタイムクロックによる日時（年月日および時刻）のデジタルデータとして発生する。
【００１９】
画像記憶手段としての画像メモリ５は、画像処理部２での処理を経たデジタルの画像データを蓄える半導体メモリ（例えばＤＲＡＭ）であって、データ端子ＤＡＴＡにアドレス発生部９で発生したアドレスについて画像データを書き込む。また、画像メモリ５は、表示デバイス２２への表示のタイミングに合わせて、書き込んだ画像データを読み出す。
【００２０】
操作情報記憶手段としての履歴メモリ６は、キー操作の履歴に関するデータ、すなわちキー操作検出部３からのキーコードデータＫＥＹＣＯＤＥと、ＲＴＣタイムスタンプ発生器４からのタイムスタンプデータＴＩＭＥと、アドレス発生部９で発生した上記のアドレス（画像アドレス）とを蓄える半導体メモリ（例えばＤＲＡＭ）である。この履歴メモリ６は、データ端子ＤＡＴＡから入力されたこれらのデータを書き込むとともに、表示デバイス２２への表示のタイミングに合わせて書き込んだデータを読み出す。また、履歴メモリ６は、読み出した画像アドレスを画像メモリ５に与える。画像メモリ５は、画像アドレスが与えられることによって、その画像アドレスで指定された画像データを読み出す。
【００２１】
なお、画像メモリ５および履歴メモリ６は、半導体メモリ以外のデータストレージ装置、例えばハードディスク装置で構成されていてもよい。ただし、本履歴操作装置を工場のラインなどの生産現場に設置する場合は、振動、塵埃などが発生する過酷な環境下でも安定して動作するために、機械部分を有するハードディスク装置のような装置よりも、半導体メモリの方が適している。
【００２２】
図２に示すように、履歴メモリ６には、キーコード（キーコードデータＫＥＹＣＯＤＥ）と、タイムスタンプ（タイムスタンプデータＴＩＭＥ）と、画像アドレスとが１セットとなって記憶される。画像アドレスは、画像を構成する全画素のデータ（画素データ）を１つずつ画像メモリ５に対して書き込んだり読み出したりする際に用いられる全アドレスである。この画像アドレスは、キーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥと画像データとを関連付ける関連情報としての役割を有している。キーコード、タイムスタンプおよび画像アドレスに割り当てられる記憶容量は、それぞれ２バイト、６バイトおよび４バイトである。
【００２３】
また、画像メモリ５に新たな画像データが保存されないとき、すなわちほぼ同じ画像データが入力されたときには、異なるデータセットにおいても同じ画像アドレスを含んでいる。例えば、画像が記憶されたときのデータセット“１”および画像が記憶されなかったときの“２”は、画像メモリ５に記憶された画像“１”に対応しており、同じ画像アドレスを含んでいる。また、データセット“３”は新たに記憶された画像“３”に対応している。
【００２４】
画像比較部７は、画像処理部２から入力された画像（読取画像）のデータと、画像メモリ５に前回書き込まれた画像のデータとを比較して、書込画像データに対する入力画像データの変化量が所定値以下であるときにローレベルの信号を出力する一方、上記の変化量が所定値より大きいときにハイレベルの信号を出力する。したがって、画像比較部７は、変化量が所定値より大きいか否かを判定する
変化量判定手段として機能する。
【００２５】
画像比較部７で行われる比較は、例えば、１画面分の画像データを構成する画素データの総和を上記の入力画像データと書込画像データとで比較する方法が好適である。この方法では、まず、図３（ａ）に示す入力画像における第ｉ列および第ｊ行の画素データＡijのｉ＝０〜ｎおよびｊ＝０〜ｍで表される全ての画素データＡijの総和ΣＡijと、図３（ｂ）に示す書込画像における第ｉ列および第ｊ行の画素データＢijのｉ＝０〜ｎおよびｊ＝０〜ｍで表される全ての画素データＢijの総和ΣＢijとを計算し、両者の差を所定のしきい値と比較する。本実施の形態では、この比較方法を採用しており、その詳細については後述する。
【００２６】
その他の比較としては、両画像データを１画素ずつ比較して、しきい値と比較する高精度に比較できる方法などが挙げられる。しかしながら、これらは、多くの演算処理を必要とするため、処理時間が長引く上、ハードウェアで構成する場合、回路が複雑になる。これに対し、高い精度が要求されないのであれば、図３（ａ）および（ｂ）に示す上記の方法が最も簡単に比較および大小判定を行うことができる。
【００２７】
記憶許可手段としてのＡＮＤゲート８は、画像比較部７からの出力信号と、キー操作検出部３からのキーエントリー信号ＫＥＹとの論理積を出力する論理回路である。ＡＮＤゲート８から出力される信号は、画像メモリ５の書き込みを許可する書込制御信号ＷＲＩＴＥとして用いられる。
【００２８】
アドレス発生部９は、ＡＮＤゲート８からのハイレベルの出力信号に基づいて
アドレスを発生する。このアドレス発生部９については、後に詳しく説明する。
【００２９】
ＦＩＦＯメモリ１０は、画像処理部２から出力される画像データを１画面分記憶するメモリであって、画像データを１画素単位で順次書き込み、書き込んだ順に出力端子側にシフトさせて１画素単位で読み出す。このＦＩＦＯメモリ１０は、最終段のレジスタにまで画素データがシフトされて１画面分の画素データが書き込まれたときに読出許可端子ＤＯＲ(Data Out Ready)からハイレベルの読出許可信号を出力する。
【００３０】
合成手段としての画像合成部１１は、画像メモリ５から読み出された画像データと、履歴メモリ６から読み出された各データとを合成して表示デバイス２２に出力する。合成の方法としては、表示デバイス２２に表示される１画面分の画像にタイムスタンプと操作されたキーの名称とを重ねて表示するように合成するか、あるいはタイムスタンプとキー名称とを画像の表示領域と別個に設けられた専用の表示領域に表示するように合成するといった方法が考えられる。しかしながら、合成は、これらの方法には限定されず、所望の方法が採用される。
【００３１】
表示デバイス２２は、画像合成部１１によって合成された画像を表示する表示装置である。この表示デバイス２２は、専用の表示装置として設けられてもよいが、前述のプログラマブル表示器の表示部であってもよい。
【００３２】
続いて、本操作履歴装置の画像比較部７およびアドレス発生部９について詳細に説明する。
【００３３】
画像比較部７は、図４に示すように、ＡＮＤゲート７０１、インバータ７０２、遅延回路７０３、加算器７０４、ラッチ７０５、画像ラッチ７０６・７０７、減算器７０８、補数器７０９、マルチプレクサ７１０、ラッチ７１１およびコンパレータ７１２を備えている。
【００３４】
ＡＮＤゲート７０１は、有効信号ＶＡＬＩＤと画素クロックＰＣＬＫとの論理積を出力する。図５（ａ）および（ｂ）に示すように、画素クロックＰＣＬＫは、入力画像における１画素分の画素データの入力のタイミングに同期するクロックであり、有効信号ＶＡＬＩＤは、１水平期間におけるビデオ信号から同期信号などを除いた画像のみを表す画像信号の期間（画像有効期間）でハイレベルとなる信号である。
【００３５】
インバータ７０２は、垂直同期信号ＶＳＹＮＣ（図５（ａ）参照）を反転する。垂直同期信号ＶＳＹＮＣは、ビデオカメラ１からのビデオ信号から画像処理部２のビデオデコード処理で抜き出されて画像比較部７に供給される。遅延回路７０３は、インバータ７０２からの出力信号を所定時間遅延させる回路である。
【００３６】
ＡＮＤゲート７０１は、前述のキーエントリー信号ＫＥＹと、コンパレータ７１２からの出力信号との論理積を出力する。コンパレータ７１２の出力信号は、後述するように、画像ラッチ７０６に保持された総和データ（入力画像データに対応）と、画像ラッチ７０７に保持された総和データ（書込画像データに対応）との差が所定値より越えているときにハイレベルとなる信号である。
【００３７】
加算器７０４は、入力される画素データＰＩＸ（図５（ｂ）参照）にラッチ７０５からの出力データを加算する。ラッチ７０５は、加算器７０４からの加算データをＡＮＤゲート７０１の出力パルスのタイミングでラッチして出力する。また、ラッチ７０５は、遅延回路７０３の出力パルスで１垂直期間毎にリセットされる。これにより、ラッチ７０４からは、１画面分の画素データの総和が出力される。しかも、リセットのタイミングが遅延回路７０３によって正規の垂直同期信号ＶＳＹＮＣのタイミングから遅れているので、上記の総和データが、ラッチ７０５のリセットによって消去される前に、確実に画像ラッチ７０６にラッチされる。
【００３８】
画像ラッチ７０６は、クロック端子に入力される垂直同期信号ＶＳＹＮＣの続く２つのパルスの期間、入力される上記の総和データを入力画像データの評価値ＥＳＴＡとしてラッチする。一方、画像ラッチ７０７は、画像ラッチ７０６から出力された総和データのうち、画像メモリ５へ書き込まれた画像データに対応する総和データをその画像データの評価値ＥＳＴＢとしてラッチする。この画像ラッチ７０７は、前述のＡＮＤゲート８からの書込制御信号ＷＲＩＴＥがクロック端子に入力されており、１つの画像データが画像メモリ５に書き込まれて次の画像データが画像メモリ５に書き込まれるまでの間、総和データをラッチする。したがって、その間に画像ラッチ７０６から出力された総和データは、画像ラッチ７０７にラッチされないことになる。
【００３９】
上記の画像ラッチ７０６・７０７は、ともに同じローアクティブのリセット信号ＲＳＴ* によってリセットされる。このリセット信号ＲＳＴ* は、本操作履歴装置や操作履歴装置が組み込まれる装置のシステムリセット信号が用いられ、これらの装置の起動時やリセットスイッチの操作時などに出力される。
【００４０】
減算器７０８は、画像ラッチ７０７の総和データから画像ラッチ７０６の総和データを減算して出力する。この減算器７０８は、減算結果（減算値）が負の値となるとき減算値に借りが生じたことを示すハイレベルの借り信号を借り端子ＢＯＲから出力する。
【００４１】
補数器７０９は、減算器７０８からの減算値のデータ（減算データ）の補数を演算して出力する回路であり、インバータ７０９ａと、加算器７０９ｂとを有している。この補数器７０９は、インバータ７０９ａで減算データを反転することによって減算データについての１の補数を求め、さらに加算器７０９ｂで、反転された減算データと１（５ビットの場合“００００１”）とを加算することによって減算データについての２の補数を求める。補数器７０９から出力される補数は、減算データの負の値を表している。
【００４２】
マルチプレクサ７１０は、“１”の入力端子に入力される補数器７０９の補数データまたは“０”の入力端子に入力される減算器７０８からの減算データのいずれか一方を選択して差分データとして出力する。具体的には、マルチプレクサ７１０は、上記の借り信号がハイレベルであるとき補数データを出力し、借り信号がローレベルであるとき減算データを出力する。
【００４３】
ラッチ７１１は、ＣＰＵ２３から供給されるしきい値のデータを、所定のクロックＣＬＫのタイミングでラッチしてコンパレータ７１２に出力する。そのクロックＣＬＫは、ＣＰＵ２３がラッチ７１１にアクセスしたきとのみ１クロック出力されるクロック信号である。このため、クロックＣＬＫは、ＣＰＵ２３のアドレスを図示しないアドレスデコーダでデコードされた信号と、ＣＰＵ２３がラッチ７１１にアクセスするときに出力されるアクセス信号との論理積として得られる。これにより、しきい値データは、新たなクロック入力があるまでラッチ７１１にラッチされる。また、ＣＰＵ２３は、しきい値データが更新されると、ラッ
チ７１１へ新たなしきい値データを出力するように、アクセス信号を出力する。
【００４４】
コンパレータ７１２は、入力端子Ｘに入力されるマルチプレクサ７１０からの差分データと、入力端子Ｙに入力されるラッチ７１１からのしきい値データとを比較し、差分データがしきい値データ以下であるときにローレベルの信号を出力し、差分データがしきい値データより大きいときにハイレベルの信号を出力する。
【００４５】
なお、図４に示す画像比較部７においては、上記のように、画像ラッチ７０６・７０７が、それぞれ評価値ＥＳＴＡ・ＥＳＴＢをラッチして両者を比較するという処理を行うので、図１に示したように、画像メモリ５からの前回の書込画像のデータを入力画像のデータと比較することはしていない。
【００４６】
アドレス発生部９は、加算器９１、ラッチ９２およびカウンタ９３を備えている。
【００４７】
加算器９１は、入力されるフレームサイズデータＦＳＩＺＥにラッチ９２からの出力データを加算する。ラッチ９２は、加算器９１からの加算データをＡＮＤゲート８からの書込制御ＷＲＩＴＥのタイミングでラッチして出力する。フレームサイズデータＦＳＩＺＥは、１画面分の画像データが画像メモリ５において占める容量であって、この値が１画面分の画像データを画像メモリ５に書き込む際の先頭アドレスとして用いられる。
【００４８】
上記のラッチ９２は、前述の画像ラッチ７０６・７０７と同様、リセット信号ＲＳＴ* によってリセットされる。
【００４９】
カウンタ９３は、画像メモリ５の書き込みおよび読み出しを制御するコントローラ１４に含まれている。このカウンタ９３は、クロック入力端子に入力される書込クロックＷＣＬＫをカウントするカウンタであり、ロード端子ＬＤにＦＩＦＯメモリ１０からのハイレベルの読出許可信号が入力されると、データ入力端子Ｄに入力されるラッチ９２からの出力データを設定（プリセット）し、その出力データの値の次の値からカウントを開始する。カウンタ９３の出力端子Ｑから出力されるカウントデータは、アドレスとして画像メモリ５に与えられる。書込クロックＷＣＬＫは、画像メモリ５から画像データの読み出しの間に書き込みが行われないように、カウンタ９３に供給される期間が制限されている。
【００５０】
ここで、上記のように構成される操作履歴装置の動作について説明する。
【００５１】
ビデオカメラ１は、操作部２１のスイッチなどを操作している操作者の顔を撮影している。ビデオカメラ１から取り込まれた操作者の顔の画像は、画像処理部２で所定の処理が施されて、デジタルの画像データとして画像比較部７に入力されるとともに、ＦＩＦＯメモリ１０で一旦蓄えられた後、画像メモリ５に入力される。
【００５２】
まず、始めて画像が入力されるとき、画像比較部７では、１画面分の画像データを構成する画素データＰＩＸが、１つずつ加算器７０４に入力され、ここでラッチ７０５を経た加算データと加算される。この加算が１垂直期間すなわち１画面分の画像について行われた結果、画素データＰＩＸの総和が得られ、その総和データが入力画像データの評価値ＥＳＴＡとして画像ラッチ７０６にラッチされる。このとき、画像ラッチ７０７には、総和データがラッチされていない。このため、減算器７０８では、画像ラッチ７０６の評価値ＥＳＴＡが、０である画像ラッチ７０７の評価値ＥＳＴＢから減算されると、その評価値ＥＳＴＡが負の差分データとして出力される。
【００５３】
このとき、減算器７０８の借り端子ＢＯＲがハイレベルであるので、補数器７０９によって求められた補数の差分データが、マルチプレクサ７１０を介して負の差分データとして出力される。この差分データは、コンパレータ７１２でラッチ７１１からのしきい値データと比較される。また、差分データがしきい値データより大きいので、コンパレータ７１２からハイレベルの信号が出力される。ＡＮＤゲート８には、そのハイレベルの信号が入力されるので、ＡＮＤゲート８の出力端子もハイレベルとなる。これにより、加算器９１から出力されたフレームサイズデータＦＳＩＺＥが、ラッチ９２によってラッチされる。
【００５４】
一方、上記の処理が行われている間、画素データＰＩＸがＦＩＦＯメモリ１０に順次書き込まれていく。ＦＩＦＯメモリ１０に１画面分の画素データＰＩＸが書き込まれると、読出制御端子ＤＯＲからハイレベルの読出制御信号が出力される。ＣＰＵ２３は、この読出制御信号を受けてＦＩＦＯメモリ１０に読み出しを指示する。ＦＩＦＯメモリ１０は、この指示を受けて最後のレジスタに記憶された画素データＰＩＸを読み出すとともに、それ以降の書き込まれた画素データＰＩＸを１つずつ前のレジスタにシフトさせる。
【００５５】
カウンタ９３は、上記の読出制御信号の入力によって、ラッチ９２からのフレームサイズデータＦＳＩＺＥがロードされ、フレームサイズデータＦＳＩＺＥの次の値からカウントを始めてアドレスを発生する。ロードされたフレームサイズデータＦＳＩＺＥは、書き込みの先頭アドレスとしてカウンタ９３から出力される。このとき、画像メモリ５は、ＡＮＤゲート８の出力信号すなわち書込制御信号ＷＲＩＴＥによって書き込み可能な状態にある。これにより、ＦＩＦＯメモリ１０から順次出力される画素データＰＩＸは、画像メモリ５におけるアドレスで指定された領域に書き込まれる。
【００５６】
一方、履歴メモリ６には、上記のアドレスが画像アドレスとしてキーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥとともに書き込まれる。具体的には、図２に示すように、画像“１”が画像メモリ５に書き込まれたときに、併せてデータセット“１”が履歴メモリ６に書き込まれる。
【００５７】
次いで、新たな画像が入力された場合、画像比較部７では、その画像データを構成する画素データが、加算器７０４で上記の場合と同様に１画面分加算される結果、画素データの総和、すなわち入力画像データの評価値ＥＳＴＡが得られ、画像ラッチ７０６にラッチされる。また、上記の加算が１画面分の画像について行われた後は、ラッチ７０５がリセットされて、次の画像についての加算に備える。一方、画像ラッチ７０７には、画像メモリ５に書き込まれた書込画像データについての総和データが書込画像データの評価値ＥＳＴＢとしてラッチされている。
【００５８】
減算器７０８では、上記の評価値ＥＳＴＢから評価値ＥＳＴＡが減算されて、両者の差分が得られる。その差分データが正の値である場合は、そのままマルチプレクサ７１０に入力される。このとき、減算器７０８の借り端子ＢＯＲがローレベルであるので、マルチプレクサ７１０から正の差分データが出力される。一方、差分データが負の値である場合は、差分データの補数が補数器７０９によって求められ、その結果が負の差分データとしてマルチプレクサ７１０に入力される。このとき、減算器７０８の借り端子ＢＯＲがハイレベルであるので、マルチプレクサ７１０から補数で表される負の差分データが出力される。
【００５９】
マルチプレクサ７１０からの差分データは、コンパレータ７１２でラッチ７１１からのしきい値データと比較される。その比較結果、差分データがしきい値データ以下である場合、すなわち書込画像に対する入力画像の変化が小さい場合、ローレベルの信号が出力され、ＡＮＤゲート８の出力端子もローレベルとなる。この場合は、アドレス発生部９におけるラッチ９２のクロック端子がローレベルのままとなって、加算器９１からの加算データのラッチ状態が維持されるので、ラッチ９２からの先頭アドレスが、加算器９１からの加算データの値に更新されない。
【００６０】
一方、上記の処理が行われている間、画素データＰＩＸがＦＩＦＯメモリ１０に順次書き込まれ、１画面分の画素データＰＩＸが書き込まれると、読出制御端子ＤＯＲからハイレベルの読出制御信号が出力される。すると、カウンタ９３は、ラッチ９２からの更新されない先頭アドレスがロードされて、カウントによってアドレスを発生する。このとき発生するアドレスは、前回の書き込み時に発生したアドレスと同じである。画像メモリ５は、上記のようなアドレスの入力にも関わらず、ＡＮＤゲート８からの書込制御信号ＷＲＩＴＥがローレベルであるために書き込み不能な状態にある。これにより、ＦＩＦＯメモリ１０から順次出力される画素データＰＩＸは、画像メモリ５に書き込まれない。
【００６１】
この場合、履歴メモリ６には、図２に示すように、上記の更新されなかったアドレスが画像アドレスとしてキーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥとともに書き込まれる。つまり、書込画像データに対する入力画像データの変化が小さい場合は、入力画像データは画像メモリ５に書き込まれないが、その画像に対応するキーコードデータＫＥＹＣＯＤＥ、タイムスタンプデータＴＩＭＥおよび画像アドレスは履歴メモリ６に書き込まれる。具体的には、図２に示すように、画像“１”が画像メモリ５に書き込まれたときに、併せて履歴メモリ６に書き込まれたデータセット“１”と同様に、データセット“２”が画像“１”に対応して履歴メモリ６に書き込まれる。
【００６２】
一方、コンパレータ７１２での比較の結果、差分データがしきい値データより大きい場合、すなわち書込画像に対する入力画像の変化が大きい場合、ハイレベルの信号が出力され、ＡＮＤゲート８の出力端子もハイレベルとなる。この場合は、アドレス発生部９におけるラッチ９２のクロック端子がハイレベルに変化することによって加算器９１からの新たな加算データがラッチされるので、ラッチ９２からの先頭アドレスが更新される。このため、新たな先頭アドレスからカウンタ９３がカウント動作することによって、前回の画像データの書き込み時とは異なるアドレスがカウンタ９３から出力される。したがって、ＦＩＦＯメモリ１０から読み出された画素データＰＩＸは、画像メモリ５におけるそのアドレスの領域に書き込まれる。
【００６３】
このとき、履歴メモリ６には、上記のアドレスが画像アドレスとしてキーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥとともに書き込まれる。例えば、図２に示すように、画像“３”が画像メモリ５に書き込まれたときに、併せてデータセット“３”が履歴メモリ６に書き込まれる。
【００６４】
記憶された画像を再生する場合、キーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥとともに履歴メモリ６から読み出された画像アドレスが、図１には図示しないが、画像メモリ５のアドレス端子ＡＤＤに入力されることによって、画像データが画像メモリ５から読み出される。その画像データは、画像合成部１１でキーコードデータＫＥＹＣＯＤＥおよびタイムスタンプデータＴＩＭＥと合成されて表示デバイス２２に与えられる。これにより、表示デバイス２２には、キーコードデータＫＥＹＣＯＤＥで表されるキー操作情報（操作検出手段が検出する操作情報）と、タイムスタンプデータＴＩＭＥで表される日時情報とを含む画像が表示される。
【００６５】
以上に述べたように、本操作履歴装置は、ビデオカメラ１で撮影された操作者の画像を、操作者が操作部２１で行った操作の情報と、その操作が行われた日時（時刻）の情報と併せて記憶し、これらの情報を画像とともに再生（表示）するように構成されている。これにより、記憶された画像を再生することで、どの操作者がどのような操作をいつ行ったかを再生することができる。それゆえ、生産現場などにおいては、操作者の誤操作によってシステムの異常が発生しても、記憶された画像を再生することによって、操作内容および操作日時と、その操作を行った操作者とが特定される。その結果、異常発生の原因が容易に確認され、早期に異常からの復帰のための措置をとるとともに、早期に操作者にそのような操作をした事情を確認することができる。したがって、誤操作および誤操作により生じた故障などの検証が容易になる。
【００６６】
例えば、複数のスイッチの操作の組み合わせで１つの制御指示を与えるような場合、操作されたスイッチを操作者の顔の画像とともに表示する。これにより、スイッチ操作の誤りを容易に確認することができる。
【００６７】
また、本操作履歴装置をインターホンに組み込むことによって、操作者としての訪問者がインターホンのスイッチを押すことで、訪問者の画像がスイッチの操作情報および操作日時とともに記憶される。それゆえ、その画像を再生することによって、いつ誰が訪問したかを確認することができる。この構成では、操作されるスイッチは１つであるので確認する必要はなく、訪問者の画像とともに表示しなくてもよい。
【００６８】
本操作履歴装置は、画像を画像メモリ５に記憶する際、すでに記憶された画像に対し所定の変化量より大きく変化する画像のみ記憶するように構成されている。これにより、画像メモリ５の記憶に必要な容量を削減することができる。特に、生産現場などでは、同じ操作者が短時間のうちに数々の操作を行うことがあるので、ビデオカメラ１に撮影される操作者の画像もほとんど変わることがない。したがって、同じ操作者の画像を重複して記憶することを回避することができる。
【００６９】
本操作履歴装置では、また、画像比較部７による書込画像データに対する入力画像データの変化量の検出を、両画像データを構成する全画素データＰＩＸの総和の比較に基づいて行っている。これにより、変化量の検出のための処理が全画素データＰＩＸの加算およびそれによって得られた両総和データ間の減算の簡単な演算処理で行われるので、短時間かつ簡単な回路構成で両画像データ間の変化両を検出することができる。
【００７０】
また、本実施の形態においては、画像比較部７が、論理回路（ハードウェア）によって構成されているが、これに限らず、ソフトウェアによって構成されていてもよい。この場合、加算器７０４およびラッチ７０５による全画素データＰＩＸの加算、画像ラッチ７０６・７０７による評価値ＥＳＴＡ・ＥＳＴＢの保持、減算器７０８による両評価値ＥＳＴＡ・ＥＳＴＢ間の減算およびその減算結果と所定値との大小比較がソフトウェアによる処理に置き換えられる。このような構成では、ＣＰＵ２３などのプロセッサが比較処理プログラムを実行することによって、入力されてくる画素データＰＩＸに対して上記のような処理を行う。この
処理においては、評価値ＥＳＴＡ・ＥＳＴＢの保持がＤＲＡＭなどで行われる。
【００７１】
上記のように、ソフトウェアで比較処理を行う場合、ハードウェアによる処理に比べて時間がかかるので、いつ行われるか分からない操作に対してリアルタイムに近い処理を行う必要がある場合は、ハードウェアによる構成を採用する方が望ましい。ただし、プロセッサの演算処理速度が十分に高くなれば、ソフトウェアによってもハードウェアとほぼ同等の即時性を確保できる可能性はある。
【００７２】
さらに、本実施の形態では、入力されてくる１画面分の画素データＰＩＸをＦＩＦＯメモリ１０に保持してから画像メモリ５に書き込むようにしているが、画素データＰＩＸの書き込みは、このような方法に限定されない。例えば、書込制御信号ＷＲＩＴＥがハイレベルにならなくても、入力された画像データを画像メモリ５の異なるメモリ領域に順次書き込んでいき、書き込んだ後の不要な画像データを破棄し、必要な画像データのみを保存する構成が挙げられる。
【００７３】
具体的には、書込制御信号ＷＲＩＴＥがハイレベルのとき（前回記憶された画像データからの変化量が大きいと判定されたとき）の画像データのみをそのまま保存し、書込制御信号ＷＲＩＴＥがローレベルのとき（上記の変化量が小さいと判定されたとき）の画像データを消去する。このため、画像データが消去されたメモリ領域には、次の新たな画像データが書き込まれる。このような方法を実現するには、画像メモリ５に画素データＰＩＸを書き込むためのアドレスを、入力される画像データ毎に更新していくとともに、書き込まれた画像データが消去されたメモリ領域のアドレスのみを更新せずに、次の画像データの書き込みに用いる。画像データの消去は、例えば、画像メモリ５がＤＲＡＭである場合、リフレッシュする行を指定するリフレッシュアドレスカウンタの動作を制御することによって、消去すべきメモリ領域のみリフレッシュを行わないようにして実現される。
【００７４】
このような構成では、１画面分の画像データを書き込むＦＩＦＯメモリ１０が不要になるので、操作履歴装置の低価格化を図ることができる。
【００７５】
【発明の効果】
以上のように、本発明の操作履歴装置は、時刻を発生する時刻発生手段と、操作装置で操作を行った操作者の画像を読み取る画像読取手段と、上記操作装置で操作者によりなされた操作についての情報を検出する操作検出手段と、上記画像読取手段で読み取られた画像を記憶する画像記憶手段と、上記操作検出手段で検出された操作情報および操作者が操作を行ったときの上記時刻発生手段で発生した時刻を、上記画像記憶手段に記憶された画像に関連する関連情報とともに記憶する操作情報記憶手段と、上記画像記憶手段に前回記憶された画像と上記画像読取手段で読み取られた画像とを比較することによって、記憶画像に対する読取画像の変化量が所定値より大きいか否かを判定する変化量判定手段と、上記変化量が所定値より大きいと判定され、かつ上記操作情報が検出されたときのみ、読取画像の上記画像記憶手段への記憶を許可する記憶許可手段とを備えている構成である。
【００７６】
これにより、画像記憶手段に記憶された画像が関連情報によって操作情報および時刻によって関連付けられる。その結果、行われた操作内容と、その操作が行われた時刻とを、操作者の画像と併せて容易に特定することができる。したがって、両者の特定作業が簡素化されて、異常発生原因の検証を早期に行うことができる。さらに、上記画像記憶手段に前回記憶された画像と上記画像読取手段で読み取られた画像とを比較することによって、記憶画像に対する読取画像の変化量が所定値より大きいか否かを判定する変化量判定手段と、上記変化量が所定値より大きいと判定され、かつ上記操作情報が検出されたときのみ、読取画像の上記画像記憶手段への記憶を許可する記憶許可手段とを備えていることによって、操作者が変わらず、記憶画像に対する読取画像の変化が小さい場合、読取画像が記憶されないので、変化の小さい余分な画像を記憶することがない。したがって、画像の記憶容量を小さくして、操作者および操作内容の履歴を効率的に保存することができるという効果を奏する。
【００７７】
上記の操作履歴装置は、さらに、上記画像記憶手段に記憶された画像と上記操作情報記憶手段に記憶された操作情報および時刻とを合成する合成手段を備えていることによって、合成された画像を見るだけで、操作者、操作内容および操作時刻を特定することができる。したがって、これらの特定作業をより効率的に行うことができるという効果を奏する。
【００７８】
上記の操作履歴装置においては、上記変化量判定手段が、画像の全画素のデータの総和で両画像を比較することによって、比較対象が簡素化され、比較処理を容易に行うことができる。したがって、比較処理が効率化され、いつ行われるか分からない操作に対して、比較処理の即時性を高めることができるという効果を奏する。
【図面の簡単な説明】
【図１】  本発明の実施の一形態に係る操作履歴装置の構成を示すブロック図である。
【図２】  上記操作履歴装置における画像メモリおよび履歴メモリのメモリマップを示す説明図である。
【図３】  （ａ）および（ｂ）は上記操作履歴装置における画像比較部の比較方法を説明するための説明図である。
【図４】  上記操作履歴装置の要部の構成を示す論理回路図である。
【図５】  （ａ）および（ｂ）は上記操作履歴装置に用いられる各信号を示すタイミングチャートである。
【符号の説明】
１    ビデオカメラ（画像読取手段）
３    キー操作検出部（操作検出手段）
４    ＲＴＣタイムスタンプ発生器（時刻発生手段）
５    画像メモリ（画像記憶手段）
６    履歴メモリ（操作情報記憶手段）
７    画像比較部（変化量判定手段）
８    ＡＮＤゲート（記憶許可手段）
１１    画像合成部（合成手段）
２１    操作部（操作装置）
【図１】
0003795322.tif 000002
【図２】
0003795322.tif 000003
【図３】
0003795322.tif 000004
【図４】
0003795322.tif 000005
【図５】
0003795322.tif 000006