(57)【要約】【課題】  数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された、従来であれば目視で確認するしかなかった各種表示を、上記装置類に可能な限り手を加えることなくデジタルデータとして取得して、これをモノのインターネットに向けて送信出来るようにしたい。【解決手段】  旧式の工作機械１の操作盤１０に、これを撮影するためのデジタルカメラ２０を後付けで設置しておき、このデジタルカメラ２０で前記操作盤１０を撮影し、このデジタルカメラ２０の画像を、デジタルカメラ２０が接続された画像解析処理装置２で解析処理を行ってデータ化して、現在値を取得するようにした。【選択図】図１
2017069963.tif 000002
【特許請求の範囲】
【請求項１】
工作機械等の表示盤や操作盤のような撮影対象と、この撮影対象に向けて設置したデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成る、表示盤や操作盤のデータ収集システム。
【請求項２】
更に前記画像解析処理装置が、前記画像の文字認識処理を行い現在値としての文字情報を得る文字認識処理部を備えている、請求項１に記載の表示盤や操作盤のデータ収集システム。
【請求項３】
更に前記画像解析処理装置が、前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有する、請求項１に記載の表示盤や操作盤のデータ収集システム。
【請求項４】
前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出す処理を行うものである、請求項１に記載の表示盤や操作盤のデータ収集システム。
【請求項５】
前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するものである、請求項４に記載の表示盤や操作盤のデータ収集システム。
【請求項６】
撮影対象に向けて設置されるデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成り、前記画像解析処理装置は前記画像の文字認識処理を行って現在値としての文字情報を得る文字認識処理部を備えていることを特徴とする、表示盤や操作盤のデータ収集装置。
【請求項７】
更に前記デジタルカメラまたは前記画像解析処理装置が、前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有する、請求項６に記載の表示盤や操作盤のデータ収集装置。
【請求項８】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記画像の台形補正を行う画像補正処理部である、請求項７に記載の表示盤や操作盤のデータ収集装置。
【請求項９】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記デジタルカメラの光学系に姿勢制御可能に設けた光学レンズである、請求項７に記載の表示盤や操作盤のデータ収集装置。
【請求項１０】
撮影対象に向けて設置されるデジタルカメラと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理装置とから成り、前記デジタルカメラまたは前記画像解析処理装置は前記画像の幾何学歪みの補正を行うための幾何学歪み補正処理手段を有することを特徴とする、表示盤や操作盤のデータ収集装置。
【請求項１１】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記画像の台形補正を行う画像補正処理部である、請求項１０に記載の表示盤や操作盤のデータ収集装置。
【請求項１２】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段が前記デジタルカメラの光学系に姿勢制御可能に設けた光学レンズである、請求項１０に記載の表示盤や操作盤のデータ収集装置。
【請求項１３】
前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出す処理を行うものである、請求項１０に記載の表示盤や操作盤のデータ収集装置。
【請求項１４】
前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するものである、請求項１３に記載の表示盤や操作盤のデータ収集装置。
【請求項１５】
更に文字認識処理部を備え、前記画像を前記幾何学歪み補正処理手段で補正した後の補正済み画像に付いて文字認識処理を行って現在値としての文字情報を得る、請求項１０乃至請求項１４の何れか一に記載の表示盤や操作盤のデータ収集装置。
【請求項１６】
撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで前記撮影対象を撮影するステップと、撮影された画像を画像解析処理装置の文字認識処理部で文字認識処理を行ってデータ化して、現在値としての文字情報を得るステップと、を含む表示盤や操作盤のデータ収集方法。
【請求項１７】
更に前記デジタルカメラまたは前記画像解析処理装置が幾何学歪み補正処理手段を備えており、前記撮影された画像の幾何学歪みの補正を、前記幾何学歪み補正処理手段によって行うステップを含む、請求項１６に記載の表示盤や操作盤のデータ収集方法。
【請求項１８】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記画像補正処理部にて台形補正を行うステップを含む、請求項１７に記載の表示盤や操作盤のデータ収集方法。
【請求項１９】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記デジタルカメラの光学系に設けた光学レンズの姿勢制御によって台形補正を行うステップを含む、請求項１７に記載の表示盤や操作盤のデータ収集方法。
【請求項２０】
撮影対象に向けて設置したデジタルカメラで前記撮影対象を撮影するステップと、このデジタルカメラの画像をデータ化して現在値を取得する画像解析処理ステップとを含み、前記デジタルカメラで撮影するステップまたは前記画像解析処理ステップは、前記画像の幾何学歪みの補正を行う幾何学歪み補正処理を含む、表示盤や操作盤のデータ収集方法。
【請求項２１】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記画像補正処理部にて台形補正を行うステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。
【請求項２２】
前記幾何学歪みが台形歪みであり、前記幾何学歪み補正処理手段としての前記デジタルカメラの光学系に設けた光学レンズの姿勢制御によって台形補正を行うステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。
【請求項２３】
前記画像解析処理ステップは、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前の部分から切り出すステップを含む、請求項２０に記載の表示盤や操作盤のデータ収集方法。
【請求項２４】
前記画像解析処理ステップは、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するステップを含む、請求項２３に記載の表示盤や操作盤のデータ収集方法。
【請求項２５】
更に、前記画像を前記幾何学歪み補正処理手段で補正した後の補正済み画像に付いて、文字認識処理部にて文字認識処理を行うステップを含む、請求項２０乃至請求項２４の何れか一に記載の表示盤や操作盤のデータ収集方法。
【請求項２６】
請求項１６乃至請求項２５の何れか一に記載の表示盤や操作盤のデータ収集方法をコンピュータに実行させるプログラム。
【請求項２７】
請求項１６乃至請求項２５の何れか一に記載の表示盤や操作盤のデータ収集方法をコンピュータに実行させるプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は、ネットワーク接続機能を持たない旧式の各種機械をリアルタイムで監視し得るようにしてその稼働状況をデータ化する、表示盤や操作盤のデータ収集システム、装置、方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】  近年、様々な機械類をインターネットに接続して膨大な情報の収集と解析とを行う、いわゆるモノのインターネット（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ：ＩｏＴ）が普及して来た。インターネットはあらゆるモノがコミュニケーションを行うための情報伝送路となり、これを以て機械類が備える各種センサや計測器からの膨大なデジタル情報の収集が行われている。例えばプラント監視装置では、表示盤や操作盤に表示する電圧や電流等々の数値データが情報伝送路を介して送信される。【０００３】  またこれとは別に、表示盤や操作盤に於ける監視領域の映像をそのまま伝送して、表示盤や操作盤をリモートで目視し確認することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】  しかしながら稼働状況をデータ化するためには、表示盤や操作盤に表示する電圧や電流等々の数値データを別途取得したりこの数値データを送信したりする機能が初めから装置に組み込まれていなくてはならない。従って数値情報取得機能やネットワーク接続機能を持たない旧式のプラント監視装置や旧式の製造ラインや旧式の工作機械などでは、これ等をモノのインターネットに接続することは、現状では不可能だったのである。【０００５】  一方、表示盤や操作盤の映像をそのまま目視確認するだけのものでは、それ以上の映像の活用は不可能である。【０００６】  そこでこの発明は、数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された、従来であれば目視で確認するしかなかった各種表示を、上記装置類に可能な限り手を加えることなくデジタルデータとして取得出来るようにすることを課題とする。
【課題を解決するための手段】
【０００７】  そこで当発明者は鋭意研究の結果、旧式の装置類の表示盤や操作盤を外部から撮影した映像から、電圧や電流等々の現在値を取得するようにすれば良い、と言う着想を得た。【０００８】  すなわち上記課題は、工作機械等の表示盤や操作盤と言った撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで前記撮影対象を撮影し、このデジタルカメラの画像を画像解析処理装置で解析処理を行いデータ化して現在値を取得するようにすることにより達成される。旧式の装置類の表示盤や操作盤からすれば、デジタルカメラは装置外部に設置されたものであって、両者に電気的な接続関係はない。従ってこの発明はどのような装置類に対しても適用の可能性がある。また画像解析処理装置を設けたことによって、外部カメラの画像から数値データを取り出すことが出来る。このような点にこの発明の従来にない特長が認められる。【０００９】  上述のように旧式の工作機械等を撮影するのは後付けのデジタル処理が可能なカメラであり、カメラの画像は画像解析処理装置に掛けられて上記現在値が得られる。これをインターネットなどのネットワークに接続して、上記画像解析処理装置から得られた現在値をＰＣやタブレットパソコンやスマートフォンなどから遠隔で監視したり情報処理したりすることが出来るようにするのである。なおこのデジタルカメラで撮影する画像は、静止画であっても動画であっても上記画像解析処理装置で対応し得るように設計することが可能である。【００１０】  上記デジタルカメラと画像解析処理装置とは有線あるいは無線で接続される。上記画像解析処理装置は、これを単独でインターネットに接続したり、イーサネットを介してインターネットに接続したりすることが可能である。デジタルカメラが複数である場合、これ等を１台の画像解析処理装置で処理するように設計することも、各々のカメラに付き１台の画像解析処理装置を割り当てるように設計することも可能である。後者では複数の画像解析処理装置から得られる数値データを統合する情報収集管理サーバを介して、インターネットに接続するようにすることが出来る。すなわち例えば、工場内に散在するデジタルカメラと画像解析処理装置とを上記サーバの配下として管理するのである。【００１１】  カメラの画像を上記画像解析処理装置で解析するに当たっては、好ましくは、画像の明るさを自動補正し得るようにする。指針を有する各種メータ類であれば、目盛りなどの背景を消して指針だけを残すように処理したり、背景の明るい部分や暗い部分や汚れなどを適応的閾値処理によって二値化したりする。操作盤に於けるつまみ類に関しては、色のクラスタリング処理を行ったり、二値化によって矢印の輪郭の抽出を行う。またランプの点灯／消灯でＯＮ／ＯＦＦを表すものでは、色特に輝度値により閾値を設けておき、一定以上の明るさの状態をＯＮ状態であると見做すようにする。【００１２】  また好ましくは、操作盤面に集められたＣＲＴやメータやつまみやランプの各々に関して、予め基準画像を登録しておき、上記カメラで撮影する毎に撮影画像を基準画像と比較して現在値を得るようにする。この比較に際して上記補正を行うと更に良い。【００１３】  次に、デジタ���カメラの画像がＣＲＴや液晶などのディスプレイの文字表示画面である場合、画像解析処理装置の文字認識処理部はディスプレイ画像の光学文字認識処理を行って現在値としての文字情報を得ることが出来る。この発明は旧式の装置類の表示盤や操作盤に表示される電圧や電流等の数値のみならず、旧式の装置類のディスプレイに表示される文字に付いても適用可能である。文字情報はすなわち文字データである。【００１４】  次にデジタルカメラの画像に幾何学歪みを生じている場合に、画像解析処理装置の幾何学歪み補正処理手段によって上記画像の幾何学歪み補正を行って現在値を取得することが出来る。例えばデジタルカメラの設置位置に関して、表示盤や操作盤の前にオペレータが腰かけたり立つことを考えると、この作業の邪魔にならないようにするためにはデジタルカメラを撮影対象に正対させることが出来ない場合もある。このような場合にはデジタルカメラの画像に幾何学歪みを生ずるが、これを画像解析処理装置の幾何学歪み補正処理手段によって補正して、恰も撮影対象を正面から撮影したかのごとき画像に補正した上で、画像解析処理装置によって現在値を取得するようにするのである。【００１５】  この内デジタルカメラの設置位置を、表示盤や操作盤の真正面から左右方向や上下方向にずらした、斜め方向から撮影するような位置とした場合では、画像の幾何学歪みとして台形歪みを生ずることになるのであるが、このような場合に上記幾何学歪み補正処理手段に付いて、画像の台形補正を行う画像補正処理部であるものとすることが出来る。【００１６】  また同様に幾何学歪みとして台形歪みを生ずる場合に、上記幾何学歪み補正処理手段がデジタルカメラの光学系に姿勢制御可能に設けた光学レンズであるものとすることが出来る。この場合レンズそのものをデジタルカメラの設置のずれに合わせて適切に歪ませておくことで、レンズを通過する光を屈折させて台形歪みが補正された方形の画像を得ることが可能になる。なお光学レンズの姿勢を調節し得るように設計しても良い。【００１７】  なお上記幾何学歪みには魚眼レンズや球面ミラーを介して撮影することによる球面歪み等も含まれるが、これにより生ずる画像の球面歪みなども適切に補正すれば良い。このような幾何学歪みを補正する仕組みそのものは一般的な技術であるため、説明が煩雑となるのを避けるべく省略する。【００１８】  次に前記画像解析処理装置は、前記画像中に特定の変化を捉えた場合には、その変化が起こった時の前記画像またはその変化に係る特定の箇所を別のデジタルカメラで撮影した監視画像に付いて、その変化が起こった時刻よりも所定時間だけ前に遡ってその部分から切り出す処理を行うようにすることが出来る。上記デジタルカメラは、工作機械等の表示盤や操作盤と言った撮影対象を撮影しているから、表示盤上や操作盤上で、例えば赤色のエラーランプの点灯、ＣＲＴに「開扉エラー」などの文字列の表示が起こった場合、予め定めておけば画像解析処理装置はこの変化を特定の変化として捉えることが出来る。この際に、表示盤上や操作盤上で誤操作が行われた場合に、同じ表示盤上や操作盤上でエラーランプを点灯させると言うような設定では、画像解析処理装置はエラーの発生を捉えることが出来るのと同時に、表示盤上や操作盤上で行われた誤操作そのものを画像として捉えることが出来る。【００１９】  これに対して、表示盤上や操作盤上で例えばエラーランプを点灯させるとしても、上記デジタルカメラには写らない場所で事前に決めておいた事象が発生するような場合では、これを上記デジタルカメラとは別のデジタルカメラを設置しておいて撮影するようにすれば良い。従って別のデジタルカメラの設置は別室に、別棟にと言う設計もあり得るのであり、必要に応じて自由に設計することが可能である。【００２０】  このような遡及再生用の画像は記憶装置に記録しておくと良い。またこのような仕組みを導入することによって次のようなことが実現出来る。例えば工作機械にあって、機械の内部にアクセスする際には停止ボタンを押してから扉を開くこと、とのプロシージャーが厳に決められている場合であっても、停止ボタンを押すことなく扉を開けてしまうことが起こり得る。このような場合にどこでミスをしてしまったかやなぜそのようなミスを犯してしまったかが過去に遡って分かると必要な対策が取りやすくなる。そこで画像解析処理装置は撮影された画像を保持しておき、例えば予め決めておいた箇所にある赤色のエラーランプの点灯と言う変化を捉えたならば、点灯した時間から３０秒なり１分なりその現場の状況に必要な時間を定めておいて、その時間まで遡り、その遡った時点から上記点灯までの画像を、あるいはさらにその先の画像までを、記憶部に記録するのである。【００２１】  次に前記画像解析処理装置は、前記変化が起こった時刻よりも所定時間だけ前の部分から切り出した画像に付いて、コマ数を減数するようにしても良い。すなわちコマ数を減数して再生したり、コマ数を減数した動画を生成して記憶装置に記録したりする。デジタルカメラは静止画像や動画像を撮ることが可能であるが、動画の場合にあっては、上記特定の変化が生じた時間から遡ること例えば３０秒間が保持されているので、エラーの原因を特定するのにこの３０秒間分をそのまま再生してチェックするのでは時間的な効率が悪いと言う場合も出てくる。そこでコマ数を減数し再生したり、コマ数を減数した動画として記憶装置に記録したものを後から再生したりしてチェックすることで、効率アップを実現することが出来るのである。例えばデジタルカメラで１秒間に付き３０フレームを撮影する設計であれば、１秒間に付き１／３０の１フレームにコマ数を減数する設定とするのである。なおこの減数処理で残されたフレームの間隔は等間隔であっても、例えばエラーが発生した時点に近づくほど間隔が狭まるような不等間隔であっても良い。このようなことは任意に設計し得る。【００２２】  なお上記では特定の変化に付いて赤色のエラーランプの点灯やＣＲＴの「開扉エラー」の表示を上げたが、特にこれ等に限定されない。またこれ等はデジタルカメラおよび上記画像解析処理装置で取り扱い得るデータであるが、他にもスピーカの警報音を拾うためのマイクや温度変化を監視するための温度センサと、これ等からのデータの解析処理装置を備えることで、更に幅広いエラー対応が可能になる。【００２３】  さて上記の表示盤や操作盤のデータ収集方法をコンピュータに実行��せるプログラムとして提供することが出来る。またこのプログラムを記録したコンピュータ読み取り可能な記録媒体として提供することが可能である。
【発明の効果】
【００２４】  この発明は、表示盤などの撮影対象を撮影するためのデジタルカメラを設置しておき、このデジタルカメラで撮影対象を撮影し、画像解析処理装置で撮影画像の解析処理を行いデータ化して現在値を取得する点に特徴を有する。これにより数値情報取得機能やネットワーク接続機能を持たない旧式の装置類の表示盤や操作盤に表示された従来であれば目視するしかなかった文字表示や電圧や電流等の数値を、コンピュータ処理が可能なデジタルデータとして取得することが容易に行えるようになった。このようにして取得した現在値はネットワークに向けて送信することが可能である。
【図面の簡単な説明】
【００２５】
【図１】  実施例１のシステムを模式的に表す説明図である。
【図２】  実施例１の画像解析処理装置をブロック図で表した説明図である。
【図３】  実施例１の操作盤を模式的に表す説明図である。
【図４】  実施例１の初期設定時の処理ステップを表す説明図である。
【図５】  実施例１の画像解析処理装置の処理ステップを表す説明図である。
【図６】  実施例１の情報収集管理サーバの処理ステップを表す説明図である。
【図７】  実施例１の画像解析処理により得られたデータを表す説明図である。
【図８】  実施例２の文字認識の処理ステップを表す説明図である。
【図９】  実施例３の台形補正処理を模式的に表す説明図である。
【図１０】  実施例３の台形補正の処理ステップを表す説明図である。
【図１１】  実施例４の台形補正処理を模式的に表す説明図である。
【図１２】  実施例５のメータ指針抽出補正の処理ステップを表す説明図である。
【図１３】  実施例６の遡及再生の処理ステップを表す説明図である。
【図１４】  実施例７の遡及再生の処理ステップを表す説明図である。
【発明を実施するための形態】
【００２６】  以下ではこの発明の７つの実施例を図面を用いて説明するが、この発明はこれ等の実施例に限定されるものではなく、この発明の思想の範囲内に於いて自由な設計をすることが可能であり、これ等もまたこの発明の権利範囲内のものである。
【実施例１】
【００２７】  図１乃至図７でこの実施例を説明する。この実施例のデータ収集システムは、図１の模式図で示すように、ネットワーク接続機能を持たない旧式の工作機械１の操作盤１０を、後付けのデジタル処理が可能なデジタルカメラ２０で操作盤１０の斜め上方から撮影して得られる画像を、デジタルカメラ２０が接続された画像解析処理装置２で解析することにより、図７のデータ表５で表わされる各種のデジタルデータを得ようと言うものである。このようなデジタルカメラ２０が接続された画像解析処理装置２の複数台がイーサネット３０を介して情報収集管理サーバ３に接続されており、情報収集管理サーバ３には上記データ表５が蓄積されると共に、各種のデジタルデータはスマートフォンＳなどからインターネットＮ越しに閲覧可能となるように情報収集管理サーバ３にて公開される。デジタルカメラ２２およびディスプレイ２３に付いては後述する。【００２８】  上記画像解析処理装置２には、一般的なＰＣに画像解析処理に必要な各種プログラムが図示せぬＣＤ−ＤＶＤドライブを介してＣＤ−ＲＯＭ２１（記録媒体である）からインストールされたものである。すなわち画像解析処理装置２が標準的に備えるハードディスクにはオペレーティングシステムのほか、デジタルカメラ２０を動作させる画像撮影プログラム、このデジタルカメラ２０の画像をデータ化して現在値を取得する画像解析処理プログラム、この解析結果のデジタルデータをイーサネット３０に送信するためのデータ送信プログラムが記録されている。またこのハードディスクには操作盤１０のＣＲＴやメータやランプの各々の基準画像となる画像を記録している比較画像情報記憶部が設けられている。これ等のプログラムをＣＰＵで動作させることで図２で表した画像解析処理装置４が実現される。すなわち画像解析処理装置４は、画像撮影部４０と画像解析処理部４１と比較情報記憶部４２とデータ送信部４３とから成る。ハードディスク上には所要の記憶部を設けることが出来る。なお画像撮影部４４と画像表示部４５とに付いては後述する。【００２９】  さてネットワーク接続機能を持たない旧式の工作機械１の操作盤１０を模式的に表わしたものが図３であるが、ＡはＣＲＴの文字表示エリアであり、Ｂ１〜Ｂ４はランプのＯＮ／ＯＦＦ表示エリアであり、Ｃ１、Ｃ２はメータの指示エリアである。またＤ１は実施例６で説明されるエラー表示ランプのＯＮ／ＯＦＦ表示エリアである。この操作盤１０に対して斜め上方から撮影するための後付けのデジタルカメラ２０を設置しておき、先ずは初期設定として基準画像を撮影して登録したり、エリアとその属性とを設定したりするのであるが、これを図４の処理フローで説明する。デジタルカメラ２０で操作盤１０を撮影して（ステップＳ１）、画像解析処理部４１はこの撮影画像を基準画像として登録し（ステップＳ２）、この撮影画像の内の文字表示エリアＡと、ＯＮ／ＯＦＦ表示エリアＢ１、Ｂ２、Ｂ３、Ｂ４と、メータ指示エリアＣ１、Ｃ２を監視エリアとして設定し（ステップＳ３）、各々の監視エリア毎に属性の設定を行う（ステップＳ４）。この属性の設定とは文字表示エリアＡに付いては文字認識処理を行い、ＯＮ／ＯＦＦ表示エリアＢに付いては明暗の閾値処理を行い、またメータ指示エリアＣに付いては背景除去処理を行うと言うように、取得したい情報の種類を指定することである。なお図３の各表示エリアには、初期設定時ではなく、通常動作時に於ける表示例が模式的に表されている。すなわち文字表示エリアＡではＧコードが、ＯＮ／ＯＦＦ表示エリアではＢ１、Ｂ３に於いてランプが点灯している状態が、メータ指示エリアＣではＣ１、Ｃ２で異なる目盛りを指している状態が表されている。【００３０】  次にこのデータ収集システムでデジタルデータを収集運用する段に付き、図５及び図６を用いて説明する。画像解析処理部４１は、所定の時間に旧式の工作機械１の操作盤１０をデジタルカメラ２０で撮影したデジタル画像を取得し（ステップＳ５）、この画像を登録してある上記基準画像に照らし合わせて、上記撮影画像から監視エリアを切り出して、各々の監視エリアの画像に付き適正なる補正処理を行う（ステップＳ６）。上述したように文字表示エリアＡでは画像の明るさを補正し、メータ指示エリアＣでは背景除去処理を行う。この補正処理に続き各々の監視エリアを解析して各々のデジタルデータを取得する（ステップＳ７）。すなわち文字表示エリアＡに付いては文字認識処理を行い、ＯＮ／ＯＦＦ表示エリアＢでは色（ＨＳＶ）による閾値処理を行い、メータ指示エリアＣに関しては一定長以上の線分を抽出してその傾斜角を計るようにする。この解析処理に続きこれ等のデジタルデータを上記ハードディスクに記録するとともに、イーサネット３０を介して情報収集管理サーバ３にアップロードする（ステップＳ８）。なおステップＳ５はステップＳ４に続くステップを表すものではない。【００３１】  そして情報収集管理サーバ３では、各々の画像解析処理装置２から上記デジタルデータを収集し（ステップＳ９）、これ等を図示せぬデータベースに登録し（ステップＳ１０）、またこれ等を閲覧用データに加工する（ステップＳ１１）。なおこの閲覧用データの一例を図７のデータ表５に示す。種別項は監視エリアＡ、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｃ１、Ｃ２、Ｄ１を指し、名称項は取得したい情報の種類である。認識項は各々の監視エリアに於ける画像解析処理の可否を表示し、状態項には取得したデジタルデータを表示している。これ等はこの画像解析処理装置２の現在値を表しており、このデータ表５は許可された担当者のみに向けて、この実施例ではＷＷＷ公開される。
【実施例２】
【００３２】  図８でこの実施例を説明するが、この実施例は図１の監視エリアＡの文字認識処理に関するものである。画像解析処理部４１は、デジタルカメラ２０で撮影した操作盤１０のデジタル画像を取得し（ステップＳ１２）、この撮影画像からＣＲＴエリアすなわち監視エリアＡを切り出して（ステップＳ１３）、このエリアの画像に付き文字認識処理を行って文字データを取得すると共に文字データの形態素解析処理にてキーワードを取得し（ステップＳ１４）、文字データとキーワードとを情報収集管理サーバ３にアップロードする（ステップＳ１５）。文字データやキーワードは後にビッグデータの使用に供されるものである。
【実施例３】
【００３３】  図９及び図１０でこの実施例を説明する。この実施例は台形補正処理に関するものである。上述した実施例１では、操作盤１０に対して斜め上方から撮影するための後付けのデジタルカメラ２０を設置していたが、この撮影画像は操作盤１０を真正面から撮影した場合の方形のエリアＡに対して、図９で示すように幾何学歪みとしての台形歪みを生じた撮影画像ａとなっている。従ってこれを方形の画像に補正してから文字認識処理を行うことが望ましい。【００３４】  そこでこの実施例では次のような処理を行う。画像解析処理部４１は、デジタルカメラで撮影した操作盤１０のデジタル画像を取得して（ステップＳ１６）、歪んだ撮影画像の台形補正処理を行い（ステップＳ１７）、この台形補正処理後の画像からＣＲＴエリアすなわち監視エリアＡを切り出し（ステップＳ１８）、この監視エリアＡの文字認識処理を行ってコンピュータで扱い得る文字データを取得する（ステップＳ１９）。なおデジタルカメラ自体に上記補正処理機能を備えるようなデジタルカメラを使用して、このデジタルカメラ内で上記補正処理を行い、その結果を利用して監視エリアの切り出し以降の処理を実行するように設計しても良い。
【実施例４】
【００３５】  図１１でこの実施例を説明するが、実施例３での幾何学歪みの処理がコンピュータ内で実行されるのに対して、この実施例では図示せぬモータ駆動の光学レンズを光軸に対して姿勢制御することで幾何学歪みを補正する処理を行う点に特徴を有する。【００３６】  画像解析処理部４１はデジタルカメラで撮影した操作盤１０のデジタル画像を取得し（ステップＳ２０）、この撮影画像を登録してある基準画像に照らし合わせて、撮影画像が歪んでいるか、否かの判定処理を行い（ステップＳ２１）、歪みが許容範囲内であればこの撮影画像からＣＲＴエリアすなわち監視エリアＡを切り出して（ステップＳ２２）、この監視エリアＡの文字認識処理を行い文字データを取得する（ステップＳ２３）。一方歪みが許容範囲外であると判定した場合には、例えば図９で示すように撮影画像ａのような台形歪みを生じている場合には、操作盤１０を真正面から撮影した場合の方形のエリアＡとなるように撮影画像を補正する。この補正処理には、所要の補正量を割り出し、電動モータを作動させて光学レンズの位置を変化させることを行う（ステップＳ２４）。このように光学レンズの姿勢を補正した上で、操作盤１０を撮影してデジタル画像を取得するのである（ステップＳ２０）。なお歪みが許容範囲内に収まるまでは上記ルーチンを繰り返すことになる。
【実施例５】
【００３７】  図１２でこの実施例を説明する。この実施例では指針を有する各種メータ類に付いて、目盛りなどの背景を消して指針だけを画像中に残すと言う、メータ指針抽出補正処理を行っている。画像解析処理部４１は、カメラで撮影した操作盤１０のデジタル画像を取得し、メータ指示エリアＣ１及びＣ２を切り出して（ステップＳ２５）、各々一定長以下の線分に付いては目盛りと判断し、これに対して一定長以上の線分を検出してメータ指針と見做す補正処理を行い（ステップＳ２６）、検出したメータ指針の角度データを取得する（ステップＳ２７）。
【実施例６】
【００３８】  図１３でこの実施例を説明する。この実施例では、実施例１で上げていた操作盤１０を撮影してデジタル画像を取得するデジタルカメラ２０の他に、工作機械１の異なる部位をデジタルカメラ２０とは異なる位置から撮影して監視画像を取得するデジタルカメラ２２と、この監視画像を表示するディスプレイ２３とを備える。またこの実施例では画像解析処理装置４に、実施例１で上げていた画像撮影部４０と画像解析処理部４１と比較情報記憶部４２とデータ送信部４３との他に、画像撮影部４４と画像表示部４５とを備える。画像撮影部４０はデジタルカメラ２０を制御して上記画像を撮影するが、これに対して画像撮影部４４はデジタルカメラ２２を制御して監視画像を撮影する。なお画像撮影部４０と画像撮影部４４とを一つに纏める設計もあり得る。ハードディスクには所要の記憶部を設けることが出来る。また画像表示部４５はデジタルカメラ２２の監視画像をディスプレイ２３に表示して見せることが出来る。【００３９】  画像解析処理部４１は、デジタルカメラ２０で撮影した操作盤１０のデジタル画像を取得し、登録してある基準画像に照らし合わせて、上記撮影画像から監視エリアを切り出して、各々の監視エリアの画像に付き適正なる補正処理を行った後、所要のデジタルデータを収集する。この内で特にこの実施例で重要な点は、ＯＮ／ＯＦＦ表示エリアＤ１では色（ＨＳＶ）による閾値処理を行い、この解析処理の結果Ｄ１がＯＮになったと言うデジタルデータが得られた場合には、図１３にて表した遡及再生の処理ステップを実行する。ところで上記デジタルカメラ２２は、デジタルカメラ２０とは異なる位置から工作機械の扉（図示せず）を監視していて、監視画像を上記標準的に備えるハードディスクに先入先出の形態で順次記録し消去している。【００４０】  そこで上述したようにＤ１がＯＮになったならば（ステップＳ２８）、これをトリガーとして画像解析処理部４１は、画像撮影部４４がデジタルカメラ２２を制御して撮影しハードディスクに一時的に記録していた扉周りの監視画像に付いてこれをハードディスクから取得し（ステップＳ２９）、上記Ｄ１がＯＮになった時刻から１５秒間遡った過去の時点までの画像を切り出し（ステップＳ３０）、この切り出した画像を画像表示部４５によってディスプレイ２３に表示し得るように、ハードディスクに保存する（ステップＳ３１）。この過去に遡って切り出された監視画像を監視員が目で見ることにより、現場の実際を具に観察し確認することが出来る。なおこの監視画像はイーサネット３０を介して情報収集管理サーバ３にアップロードすることが可能である。なお上述の１５秒間と言う設定は適宜変更し得る。
【実施例７】
【００４１】  次に図１４でこの実施例を説明する。Ｄ１がＯＮになったならば（ステップＳ３２）、これをトリガーとして画像解析処理部４１は、ハードディスクに一時的に記録していた扉周りの監視画像を取得し（ステップＳ３３）、Ｄ１がＯＮになった時刻から１５秒間だけ遡った時点までの画像を切り出し（ステップＳ３４）、この切り出した画像は１秒間に付き３０フレームで構成されている所、１秒間に１フレームとなるように、１５秒間の画像から各秒毎に１フレームを取り出し、すなわち各秒毎にこの１フレームに続く残りの２９フレームを間引いて、全体を３０分の１の１５フレームに減数して（ステップＳ３５）、この減数した画像を画像表示部４５によってディスプレイ２３に表示し得るようにハードディスクに記録する（ステップＳ３６）。この過去に遡って切り出された監視画像の再生は、いわゆるパラパラ漫画を見るようであるが、エラーの原因を確認するには十分である場合が多いことが分かっている。
【産業上の利用可能性】
【００４２】  この発明は、例えばオペレータがホワイトボードに手書きで書き込む時々刻々と変化するデータをコンピュータに取り込むべく、上記撮影対象をホワイトボードにするなどの利用も可能である。また工場内を移動可能に設計されたロボットなどのカメラに付いて適用することも可能である。一般家庭でもこの発明を利用する可能性がある。これ等もまたこの発明の権利範囲内にある。
【符号の説明】
【００４３】  １：工作機械
１０：操作盤
２：画像解析処理装置
２０：デジタルカメラ
２１：ＣＤ―ＲＯＭ
２２：デジタルカメラ
２３：ディスプレイ
３：情報収集管理サーバ
３０：イーサネット
４：画像解析処理装置
４０：画像撮影部
４１：画像解析処理部
４２：比較情報記憶部
４３：データ送信部
４４：画像撮影部
４５：画像表示部
５：データ表
【図１】
2017069963.tif 000003
【図２】
2017069963.tif 000004
【図３】
2017069963.tif 000005
【図４】
2017069963.tif 000006
【図５】
2017069963.tif 000007
【図６】
2017069963.tif 000008
【図７】
2017069963.tif 000009
【図８】
2017069963.tif 000010
【図９】
2017069963.tif 000011
【図１０】
2017069963.tif 000012
【図１１】
2017069963.tif 000013
【図１２】
2017069963.tif 000014
【図１３】
2017069963.tif 000015
【図１４】
2017069963.tif 000016