(57)【要約】  方法は、初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャするステップ（２０８）を含む。本方法は、ベース画像（５００、７００）を生成するために初期スクリーンショットからテキストを削除するステップ（２１２）を含む。本方法は、初期スクリーンショットの背景（領域０）を閉領域として識別するステップ（２１６）を含む。本方法は、少なくとも１つのスクリーンショットの各々について、スクリーンショットをキャプチャする時間（９７０）を記憶するステップ（２２２）と、スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別するステップ（２１２、２２６）と、初期スクリーンショットの背景とは異なるスクリーンショット中の各閉領域（領域１〜１２）と、スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別するステップ（２１６、２３０）と、各識別された閉領域のための領域色と領域ロケーションとを記憶するステップ（２２２）と、識別されたテキストのテキスト色とテキストロケーションとを記憶するステップ（２１４、２２８）とを含む。
2019509548.tif 000002
【特許請求の範囲】
【請求項１】
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャするステップ（２０８）と、
ベース画像（５００、７００）を生成するために前記初期スクリーンショットからテキストを削除するステップ（２１２）と、
前記初期スクリーンショットの背景（領域０）を閉領域として識別するステップ（２１６）と、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）を記憶するステップ（２２２）と、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別するステップ（２１２、２２６）と、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別するステップ（２１６、２３０）と、
各識別された閉領域のための前記領域色と前記領域ロケーションとを記憶するステップ（２２２）と、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを記憶するステップ（２１４、２２８）と
を含む方法。
【請求項２】
各新しい画像について、
前記ベース画像を検索するステップ（２３８）と、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索するステップ（２４２）と、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用するステップ（２４４）と、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色での前記テキストと重ね合わせるステップ（２４８）と
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成するステップ（２３８、２４０）をさらに含む、請求項１に記載の方法。
【請求項３】
特色（９８０ａ、９８０ｂ）を呈する新しい画像を識別するステップ（２５０）であって、前記特色が、少なくともしきい値量だけのフィールドデバイスデータの変化、または動作限界外で動作するフィールドデバイスデータのうちの少なくとも１つを含む、識別するステップ（２５０）と、
前記特色をハイライトするユーザインターフェースディスプレイ画面（９００、９０１）を生成するステップ（２５２）と
をさらに含む、請求項１に記載の方法。
【請求項４】
前記ディスプレイ画面の前記少なくとも１つのスクリーンショットをキャプチャするステップが、
指定された時間間隔に従って追加のスクリーンショットを周期的にキャプチャするステップ（２２４）
を含む、請求項１に記載の方法。
【請求項５】
前記スクリーンショットをグリッドに分割するステップ（２１０）と、
前記グリッドに従って前記テキストロケーションを決定するステップと、
前記グリッドに従って前記領域ロケーションを決定するステップと
をさらに含む、請求項１に記載の方法。
【請求項６】
前記スクリーンショットを前記グリッドに分割するステップが、
前記スクリーンショットに座標系（１０００）を適用するステップ、または
前記スクリーンショットを、行と列とに構成されたブロック（４００）のセットに分割するステップ
のうちの１つを含む、請求項５に記載の方法。
【請求項７】
メモリ（１１６）と、
前記メモリに結合された少なくとも１つのプロセッサ（１１４）と
を備え、前記少なくとも１つのプロセッサが、
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャすることと、
ベース画像（５００、７００）を生成するために前記初期スクリーンショットからテキストを削除することと、
前記初期スクリーンショットの背景（領域０）を閉領域として識別することと、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）を前記メモリに記憶することと、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別することと、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別することと、
各識別された閉領域のための前記領域色と前記領域ロケーションとを前記メモリに記憶することと、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを前記メモリに記憶することと
を行うように構成された、装置。
【請求項８】
前記プロセッサが、各新しい画像について、
前記ベース画像を検索することと、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索することと、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用することと、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色での前記テキストと重ね合わせることと
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成するようにさらに構成された、請求項７に記載の装置。
【請求項９】
前記プロセッサは、
特色（９８０ａ、９８０ｂ）を呈する新しい画像を識別することであって、前記特色が、少なくともしきい値量だけのフィールドデバイスデータの変化、または動作限界外で動作するフィールドデバイスデータのうちの少なくとも１つを含む、識別することと、
前記特色をハイライトするユーザインターフェースディスプレイ画面（９００、９０１）を生成することと
を行うようにさらに構成された、請求項７に記載の装置。
【請求項１０】
前記プロセッサが、
指定された時間間隔に従って追加のスクリーンショットを周期的にキャプチャすること
によって、前記ディスプレイ画面の前記少なくとも１つのスクリーンショットをキャプチャするようにさらに構成された、請求項７に記載の装置。
【請求項１１】
コンピュータプログラムを実施する非一時的コンピュータ可読媒体であって、前記コンピュータプログラムが、処理回路によって実行されたとき、前記処理回路に、
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャすること（２０８）と、
ベース画像を生成するために前記初期スクリーンショットからテキストを削除すること（２１２）と、
前記初期スクリーンショットの背景（領域０）を閉領域として識別すること（２１６）と、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）をメモリに記憶すること（２２２）と、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別すること（２１２、２２６）と、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別すること（２１６、２３０）と、
各識別された閉領域のための前記領域色と前記領域ロケーションとを記憶すること（２２２）と、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを記憶すること（２１４、２２８）と
を行わせるコンピュータ可読プログラムコードを含む、非一時的コンピュータ可読媒体。
【請求項１２】
前記コンピュータプログラムが、前記処理回路によって実行されたとき、前記処理回路に、各新しい画像について、
前記ベース画像を検索すること（２３８）と、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索すること（２４２）と、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用すること（２４４）と、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色での前記テキストと重ね合わせること（２４８）と
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成すること（２３８、２４０）を行わせるコンピュータ可読プログラムコードをさらに含む、請求項１１に記載の非一時的コンピュータ可読媒体。
【請求項１３】
前記コンピュータプログラムは、前記処理回路によって実行されたとき、前記処理回路に、
特色（９８０ａ、９８０ｂ）を呈する新しい画像を識別すること（２５０）であって、前記特色が、少なくともしきい値量だけのフィールドデバイスデータの変化、または動作限界外で動作するフィールドデバイスデータのうちの少なくとも１つを含む、識別すること（２５０）と、
前記特色をハイライトするユーザインターフェースディスプレイ画面（９００、９０１）を生成すること（２５２）と
を行わせるコンピュータ可読プログラムコードをさらに含む、請求項１１に記載の非一時的コンピュータ可読媒体。
【請求項１４】
前記コンピュータプログラムが、前記処理回路によって実行されたとき、前記処理回路に、
指定された時間間隔に従って追加のスクリーンショットを周期的にキャプチャすること（２２４）によって、前記ディスプレイ画面の前記少なくとも１つのスクリーンショットをキャプチャすること
を行わせるコンピュータ可読プログラムコードをさらに含む、請求項１１に記載の非一時的コンピュータ可読媒体。
【請求項１５】
前記コンピュータプログラムが、前記処理回路によって実行されたとき、前記処理回路に、
識別された領域内の各閉領域を下位領域（領域９．１）として識別することと、
ツリー構造を使用して各識別された領域および下位領域に領域識別を割り当てることと
を行わせるコンピュータ可読プログラムコードをさらに含む、請求項１１に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般に制御システムを対象とする。より詳細には、本開示は、光学文字認識（ＯＣＲ：Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ）とインテリジェント文字認識（ＩＣＲ：Ｉｎｔｅｌｌｉｇｅｎｔ  Ｃｈｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）とを使用したプロセス工業におけるトリップされた（ｔｒｉｐｐｅｄ）フィールドデバイスのポストモーテム（ｐｏｓｔ−ｍｏｒｔｅｍ）分析のための方法およびツールを対象とする。
【背景技術】
【０００２】
[0002]発電プラントなど、プロセスプラントは頻繁なトリッピング問題（ｔｒｉｐｐｉｎｇ  ｐｒｏｂｌｅｍ）を有するので、プロセスユニットは、複数のクリティカルアラームを生成し、時々、停止に至ることがある。トリッピングが発生したとき、オペレータは、問題を診断するために、任意の処理ユニットのクリティカルプロセスパラメータの前の値を検討することを希望し得る。たとえば、オペレータは、トリッピングがその間に発生した、任意の処理ユニットのアクティビティの最後の２０分を検討することを希望し得るが、オペレータは、トリッピング問題のポストモーテム分析を実施するために、後戻りし、プラントのコンソールステーション被監視プロセスユニットを再検査する方法を有しない。
【０００３】
[0003]コンソールステーション上でクリティカルプロセスのプロセスユニットを監視しているオペレータは、現在トリップされているデバイスを視覚的に認識することができる。認識されると、オペレータは、トリップされたデバイスのうちの１つを含む（オペレータがコンソールステーションを介して監視していた）プロセスユニットの過去の情報を閲覧するための包括的なまたは便利なツールを有しないことがある。プロセスユニットが停止に至ると、それのポストモーテム分析が必要とされることになるプロセスユニットのクリティカルデバイスを、オペレータが構成することを可能にするための便利なツールは存在しない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
[0004]本開示は、光学文字認識（ＯＣＲ）技法とインテリジェント文字認識（ＩＣＲ）技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための装置および方法を提供する。
【課題を解決するための手段】
【０００５】
[0005]第１の例では、方法は、初期スクリーンショットを含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャするステップを含む。本方法は、ベース画像を生成するために初期スクリーンショットからテキストを削除するステップを含む。本方法は、初期スクリーンショットの背景を閉領域として識別することを含む。本方法は、少なくとも１つのスクリーンショットの各々について、（ｉ）スクリーンショットをキャプチャする時間を記憶するステップと、（ｉｉ）スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別するステップと、（ｉｉｉ）初期スクリーンショットの背景とは異なるスクリーンショット中の各閉領域と、スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別するステップと、（ｉｖ）各識別された閉領域のための領域色と領域ロケーションとを記憶するステップと、（ｖ）識別されたテキストのテキスト色とテキストロケーションとを記憶するステップとを含む。
【０００６】
[0006]第２の例では、装置は、メモリと、メモリに結合された少なくとも１つのプロセッサとを含む。少なくとも１つのプロセッサは、初期スクリーンショットを含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャするように構成される。少なくとも１つのプロセッサは、ベース画像を生成するために初期スクリーンショットからテキストを削除するように構成される。少なくとも１つのプロセッサは、初期スクリーンショットの背景を閉領域として識別するように構成される。少なくとも１つのプロセッサは、少なくとも１つのスクリーンショットの各々について、（ｉ）スクリーンショットをキャプチャする時間をメモリに記憶することと、（ｉｉ）スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別することと、（ｉｉｉ）初期スクリーンショットの背景とは異なるスクリーンショット中の各閉領域と、スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別することと、（ｉｖ）各識別された閉領域のための領域色と領域ロケーションとをメモリに記憶することと、（ｖ）識別されたテキストのテキスト色とテキストロケーションとをメモリに記憶することとを行うように構成される。
【０００７】
[0007]第３の例では、コンピュータプログラムを実施する非一時的コンピュータ可読媒体が提供される。コンピュータプログラムは、処理回路によって実行されたとき、処理回路に、初期スクリーンショットを含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャさせるコンピュータ可読プログラムコードを含む。コンピュータプログラムは、処理回路によって実行されたとき、処理回路に、ベース画像を生成するために初期スクリーンショットからテキストを削除させるコンピュータ可読プログラムコードを含む。コンピュータプログラムは、処理回路によって実行されたとき、処理回路に、初期スクリーンショットの背景を閉領域として識別させるコンピュータ可読プログラムコードを含む。コンピュータプログラムは、処理回路によって実行されたとき、処理回路に、少なくとも１つのスクリーンショットの各々について、（ｉ）スクリーンショットをキャプチャする時間をメモリに記憶することと、（ｉｉ）スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別することと、（ｉｉｉ）初期スクリーンショットの背景とは異なるスクリーンショット中の各閉領域と、スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別することと、（ｉｖ）各識別された閉領域のための領域色と領域ロケーションとを記憶することと、（ｖ）識別されたテキストのテキスト色とテキストロケーションとを記憶することとを行わせるコンピュータ可読プログラムコードを含む。
【０００８】
[0008]他の技術的特徴は、以下の図、説明、および特許請求の範囲から当業者には容易に明らかであり得る。
[0009]本開示およびそれの特徴のより完全な理解のために、次に、添付の図面とともに与えられる、以下の説明が参照される。
【図面の簡単な説明】
【０００９】
【図１】[0010]本開示による、例示的な工業プロセス制御および自動化システムを示す図である。
【図２Ａ】[0011]本開示による、光学文字認識（ＯＣＲ）技法とインテリジェント文字認識（ＩＣＲ）技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための例示的なプロセスを示す図である。
【図２Ｂ】本開示による、光学文字認識（ＯＣＲ）技法とインテリジェント文字認識（ＩＣＲ）技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための例示的なプロセスを示す図である。
【図３】[0012]本開示による、プロセスユニットの選択されたクリティカルデバイスのビューを与えるオペレータコンソールディスプレイ画面の例示的なベーススクリーンショットを示す図である。
【図４】[0013]本開示による、グリッドに分割された図３のベーススクリーンショットを示す図である。
【図５】[0014]本開示による、テキストなしベーススクリーンショットを示す図である。
【図６】[0015]本開示による、図５のテキストなしベーススクリーンショットの領域および下位領域を示す図である。
【図７Ａ】[0016]本開示による、グリッドをもつ色正規化されたテキストなしベーススクリーンショットの領域および下位領域を示す図である。
【図７Ｂ】本開示による、グリッドをもつ色正規化されたテキストなしベーススクリーンショットの領域および下位領域を示す図である。
【図８Ａ】[0017]本開示による、図３の初期ベーススクリーンショットがその間にキャプチャされた時間間隔のための再構成された画像の例を示す図である。
【図８Ｂ】本開示による、図３の初期ベーススクリーンショットがその間にキャプチャされた時間間隔のための再構成された画像の例を示す図である。
【図９Ａ】[0018]本開示による、オペレータコンソール中のディスプレイ画面の根本原因分析ツールユーザインターフェース（ＵＩ）を示す図である。
【図９Ｂ】本開示による、オペレータコンソール中のディスプレイ画面の根本原因分析ツールユーザインターフェース（ＵＩ）を示す図である。
【図１０】[0019]本開示による、図３のベーススクリーンショットに適用された座標系を示す図である。
【発明を実施するための形態】
【００１０】
[0020]以下で説明される図１〜図１０、および本特許文献において本発明の原理について説明するために使用される様々な例は、例示的なものにすぎず、いかなる形でも本発明の範囲を制限するものと解釈されるべきではない。本発明の原理が、任意の好適な様式で、および任意のタイプの適切に構成されたデバイスまたはシステムにおいて実装され得ることを、当業者は理解されよう。
【００１１】
[0021]図１は、本開示による、例示的な工業プロセス制御および自動化システム１００を示す。図１に示されているように、システム１００は、少なくとも１つの製品または他の材料の生産または処理を可能にする様々な構成要素を含む。たとえば、システム１００は、１つまたは複数の工業プラント中の構成要素に対する制御を可能にするために使用され得る。各プラントは、１つまたは複数の処理設備（またはそれの１つまたは複数の部分）を表す。例示的な処理設備としては、少なくとも１つの製品または他の材料を生産するための製造プラント、化学プラント、原油精製所、鉱石処理プラント、ならびに紙またはパルプ製造および処理プラントがある。概して、各プラントは、１つまたは複数の工業プロセスを実装し得、個々にまたはまとめてプロセスシステムと呼ばれることがある。プロセスシステムは、概して、何らかの様式で１つまたは複数の製品または他の材料を処理するように構成された任意のシステムまたはそれの部分を表す。
【００１２】
[0022]図１では、システム１００は、１つまたは複数のセンサー１０２ａと１つまたは複数のアクチュエータ１０２ｂとを含む。センサー１０２ａおよびアクチュエータ１０２ｂは、多種多様な機能のいずれかを実施し得るプロセスシステム中の構成要素を表す。たとえば、センサー１０２ａは、温度、圧力、または流量など、プロセスシステムにおける多種多様な特性を測定することができる。また、アクチュエータ１０２ｂは、プロセスシステムにおける多種多様な特性を変えることができる。センサー１０２ａの各々は、プロセスシステムにおける１つまたは複数の特性を測定するための任意の好適な構造を含む。アクチュエータ１０２ｂの各々は、プロセスシステムにおける１つまたは複数の状態に作用するかまたは影響を及ぼすための任意の好適な構造を含む。例示的なアクチュエータ１０２ｂとしては、ヒーター、モーター、接触分解器、またはバルブがある。
【００１３】
[0023]少なくとも１つのネットワーク１０４がセンサー１０２ａとアクチュエータ１０２ｂとに結合される。ネットワーク１０４は、センサー１０２ａおよびアクチュエータ１０２ｂとの対話を可能にする。たとえば、ネットワーク１０４は、センサー１０２ａからの測定データをトランスポートし、アクチュエータ１０２ｂに制御信号を与えることができる。ネットワーク１０４は、任意の好適なネットワークまたはネットワークの組合せを表すことができる。特定の例として、ネットワーク１０４は、少なくとも１つのイーサネットネットワーク、（ＨＡＲＴまたはＦＯＵＮＤＡＴＩＯＮ  ＦＩＥＬＤＢＵＳネットワークなどの）電気信号ネットワーク、空気制御信号ネットワーク、あるいは他のまたは追加の（１つまたは複数の）タイプの（１つまたは複数の）ネットワークを表すことができる。
【００１４】
[0024]様々なコントローラ１０６がネットワーク１０４に直接または間接的に結合される。コントローラ１０６は、様々な機能を実施するためにシステム１００中で使用され得る。たとえば、コントローラ１０６の第１のセットは、１つまたは複数のアクチュエータ１０２ｂの動作を制御するために、１つまたは複数のセンサー１０２ａからの測定値を使用し得る。コントローラ１０６の第２のセットは、コントローラの第１のセットによって実施される制御論理または他の動作を最適化するために使用され得る。コントローラ１０６の第３のセットは、追加の機能を実施するために使用され得る。
【００１５】
[0025]コントローラ１０６は、しばしば、システム中で階層的に構成される。たとえば、個々のアクチュエータ、機械を形成するアクチュエータの集合、ユニットを形成する機械の集合、プラントを形成するユニットの集合、および企業を形成するプラントの集合を制御するために、異なるコントローラ１０６が使用され得る。コントローラ１０６の階層構成の特定の例は、プロセス制御の「パデュー（Ｐｕｒｄｕｅ）」モデルとして定義される。異なる階層レベルにあるコントローラ１０６は、１つまたは複数のネットワーク１０８および関連するスイッチ、ファイアウォール、ならびに他の構成要素を介して通信することができる。
【００１６】
[0026]各コントローラ１０６は、工業プロセスのうちの１つまたは複数の態様を制御するための任意の好適な構造を含む。コントローラ１０６のうちの少なくともいくつかは、たとえば、ロバスト多変数予測制御技術（ＲＭＰＣＴ：Ｒｏｂｕｓｔ  Ｍｕｌｔｉｖａｒｉａｂｌｅ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｎｔｒｏｌ  Ｔｅｃｈｎｏｌｏｇｙ）コントローラ、あるいはモデル予測制御（ＭＰＣ：ｍｏｄｅｌ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｎｔｒｏｌ）または他の高度予測制御（ＡＰＣ：ａｄｖａｎｃｅｄ  ｐｒｅｄｉｃｔｉｖｅ  ｃｏｎｔｒｏｌ）を実装する他のタイプのコントローラなど、多変数コントローラを表すことができる。
【００１７】
[0027]コントローラ１０６およびシステム１００の他の構成要素へのオペレータアクセスおよびそれとのオペレータ対話は、様々なオペレータコンソール１１０を介して行われ得る。上記で説明されたように、各オペレータコンソール１１０は、オペレータに情報を与えるために、およびオペレータから情報を受信するために使用され得る。たとえば、各オペレータコンソール１１０は、警告、アラーム、または工業プロセスに関連する他の状態を含む、工業プロセスの現在状態を識別する情報をオペレータに与えることができる。各オペレータコンソール１１０はまた、コントローラ１０６によって制御されるプロセス変数のための設定点を受信することによって、あるいはコントローラ１０６が工業プロセスをどのように制御するかを変えるかまたはそれに影響を及ぼす他の情報を受信することによってなど、工業プロセスがどのように制御されるかに影響を及ぼす情報を受信することができる。
【００１８】
[0028]複数のオペレータコンソール１１０が、一緒にグループ化され、１つまたは複数の制御室１１２中で使用され得る。各制御室１１２は、任意の好適な構成で任意の数のオペレータコンソール１１０を含むことができる。いくつかの実施形態では、各制御室１１２が、工業プラントの個別部分を管理するために使用されるオペレータコンソール１１０を含んでいるときなど、複数の制御室１１２が、工業プラントを制御するために使用され得る。
【００１９】
[0029]各オペレータコンソール１１０は、オペレータに情報を表示することと、オペレータと対話することとのための任意の好適な構造を含む。たとえば、各オペレータコンソール１１０は、１つまたは複数のプロセッサ、マイクロプロセッサ、マイクロコントローラ、フィールドプログラマブルゲートアレイ、特定用途向け集積回路、個別論理デバイス、あるいは他の処理または制御デバイスなど、１つまたは複数の処理デバイス１１４を含むことができる。各オペレータコンソール１１０は、（１つまたは複数の）処理デバイス１１４によって使用、生成、または収集される命令とデータとを記憶する１つまたは複数のメモリ１１６をも含むことができる。各オペレータコンソール１１０は、１つまたは複数のイーサネットインターフェースまたはワイヤレストランシーバなど、少なくとも１つのワイヤードまたはワイヤレスネットワーク上での通信を可能にする１つまたは複数のネットワークインターフェース１１８をさらに含むことができる。
【００２０】
[0030]オペレータは、一般に、工業プロセスを管理することを受け持ち、しばしば、安全で有益な動作を維持するために、迅速におよび効率的に行動する必要がある。これを行うために、オペレータは、工業プロセスの現在状態を連続的に監視し、現在状態が人間の介入を必要とするかどうかを評価し、（必要とする場合）介入を実施し、介入の結果を査定する。これらの機能をサポートするオペレータコンソール１１０は、一般に、１つまたは複数のディスプレイ画面と、１つまたは複数のキーボードと、マウスまたはトラックボールなど、ポインティングデバイスとを含む。
【００２１】
[0031]工業プロセスの現在状態が、現在トリップされているフィールドデバイスを含むとき、オペレータコンソール１１０中のディスプレイ画面のうちの１つまたは複数は、（１つまたは複数の）現在トリップされているデバイスの視覚インジケータを与える。工業プロセスのクリティカルプロセスを監視しているオペレータは、（１つまたは複数の）現在トリップされているデバイスのインジケータがクリティカルプロセスの一部であることを認識し得、（１つまたは複数の）現在トリップされているデバイスを含むそれのプロセスユニットの過去の情報を閲覧するための包括的なまたは便利なツールを望み得る。フィールドデバイスが電気機械的理由のために頻繁にトリップしている場合、プラント保守要員は、頻繁にトリップしているフィールドデバイスに関連する保守アクティビティをスケジュールすること、およびまた、デバイスのインベントリを保守することから恩恵を受けることができる。
【００２２】
[0032]プロセスシステムに対する制御を可能にするために、オペレータコンソール１１０は、フィールドアセット保守システム（ＦＡＭＳ：ｆｉｅｌｄ  ａｓｓｅｔ  ｍａｉｎｔｅｎａｎｃｅ  ｓｙｓｔｅｍ）アプリケーション１２０を含み得る。ＦＡＭＳアプリケーション１２０は、監視および／または制御されているプロセスの少なくとも一部を表すグラフィカルディスプレイを生成するための任意の好適なアプリケーションを含む。ＦＡＭＳアプリケーション１２０は、人間機械インターフェース（ＨＭＩ：ｈｕｍａｎ−ｍａｃｈｉｎｅ  ｉｎｔｅｒｆａｃｅ）アプリケーションの特徴を含むことができる。ＨＭＩアプリケーションは、概して、オペレータにコンテンツを提示するためのグラフィカルディスプレイを生成するアプリケーションを表す。グラフィカルディスプレイは、オペレータによって監視および／または制御されている１つまたは複数のプロセス（またはそれの部分）を視覚的に表す。ＨＭＩアプリケーションは、制御されるべきプロセスを図式的に示すプロセス概略図など、任意の好適なグラフィカルデータをオペレータに提示することができる。より詳細には、ＦＡＭＳアプリケーション１２０は、（１つまたは複数の）現在トリップされているデバイスを含むプロセスユニットの過去の情報のビューを与えるだけでなく、また、プロセスユニットが、クリティカルデバイスのうちの１つまたは複数のトリッピングから生じる停止など、停止に至ると、ポストモーテム分析がそれのために必要とされることになる、プロセスユニットのクリティカルデバイスを構成する、包括的なまたは便利なツールを与える。ＦＡＭＳアプリケーション１２０は、オペレータが、ビデオの形態で保守ビュー画面を再生することと、光学文字認識（ＯＣＲ）技法とインテリジェント文字認識（ＩＣＲ）技法とを使用することによって（１つまたは複数の）フィールドデバイスのトリッピングの原因を見つけることとを可能にする。ＩＣＲは高度ＯＣＲ技法であり、したがって、ＩＣＲはカスタムフォントおよびシンボルを認識する。
【００２３】
[0033]本開示によれば、ＦＡＭＳアプリケーション１２０は、１つまたは複数のコンピュータプロセッサによって実行されたとき、１つまたは複数のコンピュータプロセッサに、ＯＣＲ技法とＩＣＲ技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施させる。ＦＡＭＳアプリケーション１２０は、様々なオペレータコンソール１１０上で稼動する様々なプロセスユニットの利用可能なビューを選択するためのツールをオペレータに与える。ＦＡＭＳアプリケーション１２０は、オペレータが、選択されたプロセスユニットにおけるビューのスナップショットをキャプチャするために、プロセスユニットのクリティカルデバイスと監視頻度とを選択することを可能にする。ＦＡＭＳアプリケーション１２０は、オペレータコンソール１１０上でプロセスユニットのビューの周期スナップショットをアーカイブし、ディスクスペースを温存するために暗号化および圧縮フォーマットで周期スナップショットを保存する。ＦＡＭＳアプリケーション１２０は、アーカイビングがあまりに多くのディスクスペースを消費しないように、画像処理アルゴリズムを実装する。トリッピングが発生すると、ＦＡＭＳアプリケーション１２０は、プロセスユニットのスナップショットが連続稼動プロセスを描くかのように、スナップショットを与えることができる。ＦＡＭＳアプリケーション１２０によって与えられたスナップショットを使用することによって、オペレータは、トリッピングがそれにより発生した、すべてのクリティカルデバイスの様々なクリティカルパラメータの遷移を監視することができ、予防行為をとることができる。
【００２４】
[0034]図１は工業プロセス制御および自動化システム１００の一例を示しているが、様々な変更が図１に行われ得る。たとえば、工業制御および自動化システムには多種多様な構成がある。図１に示されているシステム１００は、プロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析がＯＣＲ技法とＩＣＲ技法とを使用して実施される、１つの例示的な動作環境を示すように意図されている。図１は、本開示を特定の構成または動作環境に制限しない。
【００２５】
[0035]図２Ａおよび図２Ｂは、本開示による、ＯＣＲ技法とＩＣＲ技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための例示的な方法２００を示す。説明を簡単にするために、図２Ａおよび図２Ｂは、処理デバイス１１４が、ＦＡＭＳアプリケーション１２０を実行することによって方法２００を実施するかのように説明される。図２Ａおよび図２Ｂに示されている方法２００の実施形態は説明のためのものにすぎない。本開示の範囲から逸脱することなく、他の実施形態が使用され得る。
【００２６】
[0036]方法２００は５つの段階を含む。段階１  ２０２は、ベース画像を準備するための初期化段階である。段階２  ２０４は、各間隔についてスクリーンショットをキャプチャするためのデータキャプチャリング段階である。データ再形成段階２０６は、段階３  ２４０と、段階４  ２５０と、段階５  ２５２とを含む。段階３  ２４０は、記憶されたデータから画像を形成する方法を含む。段階４  ２５０は、特有の挙動を有する画像およびデータを識別することを含む。段階５  ２５２は、根本原因分析（ＲＣＡ：ｒｏｏｔ  ｃａｕｓｅ  ａｎａｌｙｓｉｓ）を実施するために、ツール中の記憶されたデータを表す方法を実装することを含む。これらの５つの段階は、データを記憶するための集中型データベースに関連し得、したがって、画面データがＦＡＭＳアプリケーション１２０を通してオペレータにとってアクセス可能になる。
【００２７】
[0037]段階１  ２０２は、動作２０８〜２２０を含む。動作２０８において、処理デバイス１１４は、（図３に示されている）ベーススクリーンショット３００をキャプチャする。オペレータコンソールのディスプレイ画面のビューのこの初期画像は、ＦＡＭＳアプリケーション１２０によってキャプチャされ、後続の画像のためのベースである。
【００２８】
[0038]動作２１０において、処理デバイス１１４は、初期ベーススクリーンショット３００を（図４に示されている）グリッド４００に分割する。たとえば、ベーススクリーンショット３００は、画像サイズに基づいてブロックのセットに分割される。これは、スケーリング問題を回避するために必要とされる。スケーリング問題は、このアルゴリズムが、同じプロセスユニットについて異なる解像度の複数の画面上で実行される場合、発生し得る。たとえば、スケーリング問題は、段階１  ２０２のアルゴリズムがある画面上で実行され、段階２  ２２４のアルゴリズムが、段階１  ２０２のアルゴリズムがその上で実行された画面とは異なる解像度を有する別の画面上で実行される場合、発生し得る。グリッドパターン（たとえば、グリッド４００）は、複数の画面にわたって均一な測定を適用するために役立つ。いくつかの実施形態では、画面サイズがあらかじめ定義され、したがって、グリッド内のブロックのセットは、あらかじめ定義された量または寸法を有することができる。代替的に、グリッドパターンの代わりに、ピクセルｘ−ｙ座標が、画面解像度と要素のタイプとに基づいて使用され得る。本開示は、グリッドパターンのみまたはピクセルｘ−ｙ座標のみに限定されず、また、画像内のロケーションを識別するための任意の好適なパラメータ化が使用され得る。
【００２９】
[0039]動作２１２において、処理デバイス１１４は、初期ベーススクリーンショット３００中のテキストを識別する。また動作２１２において、処理デバイス１１４は、ベース画像を生成するためにベーススクリーンショット３００からテキストを削除する。以下でより詳細に説明されるように、図５は、テキストなしベーススクリーンショット５００、すなわち、テキストが削除されたベーススクリーンショットを示す。たとえば、処理デバイス１１４は、ＯＣＲ技法とＩＣＲ技法とを適用することによって画像中のテキストデータを見つけ、そのテキスト色を背景色に変換する。たとえば、ベーススクリーンショット３００において、テキストデータ「ウォーターボイラー」は、異なる背景色（たとえば、赤）を覆う黒のテキスト色を有し、ベース画像の生成は、テキストデータ「ウォーターボイラー」が赤のテキスト色を有するようにすることを含む。いくつかの実施形態では、ＯＣＲ技法および／またはＩＣＲ技法が、テキストデータを見つけるためにベーススクリーンショットに適用され得る。
【００３０】
[0040]動作２１４において、処理デバイス１１４は、初期ベーススクリーンショット３００に対応するテキストデータとテキストロケーション情報とを記憶する。スクリーンショットをキャプチャする時間がスクリーンショットの識別子として使用され得、したがって、スクリーンショットをキャプチャする時間は、スクリーンショットへの対応を示す方法としてスクリーンショットのテキストデータとテキストロケーションとにリンクされ得ることに留意されたい。たとえば、処理デバイス１１４は、ベーススクリーンショット中の各テキストデータのロケーションを決定し、そのロケーションを、データベースに、およびテキストデータに対応して記憶する。たとえば、ベーススクリーンショット３００中のテキストデータは、グリッドの第５の行内の列２３〜２９にかかる、「温度伝送器」という用語を形成する文字列を含むことができる。ボックスが｛行，列｝フォーマットによって識別されるとき、テキストデータ「温度伝送器」は、ボックス［５，２３］、［５，２４］、［５，２５］、［５，２６］、［５，２７］、および［５，２８］に対応する。表１は、テキストデータに対応するテキストロケーション情報をデータベースに記憶することの一例を与える。
【００３１】
【表１】
2019509548.tif 000003
【００３２】
[0041]動作２１６において、処理デバイス１１４は、ベーススクリーンショットの各領域に識別情報を割り当てる。１つまたは複数の領域は、それの閉じられた境界の内側により小さい領域を含んでいることがある。すなわち、処理デバイス１１４は、ベーススクリーンショット中の各領域と各下位領域とを見つける。領域または下位領域を見つけるために、処理デバイス１１４は、（図６において領域ＩＤ番号０によって示される）背景画像と同じではない閉領域を見つける。下位領域を見つけるために、処理デバイス１１４は、（図６において領域ＩＤ番号９によって示される）別の閉領域内の（図６において領域ＩＤ番号９．１によって示される）閉領域を見つける。以下でより詳細に説明されるように、図６は、図５のテキストなしベーススクリーンショット５００の領域および下位領域を示す。処理デバイス１１４は、各領域および下位領域に領域識別番号を割り当てる。処理デバイス１１４は、下位領域９．１をそれの子として含む親として領域９を識別するなど、ツリー構造を使用して、下位領域に識別番号を割り当て得る。
【００３３】
[0042]動作２１８において、処理デバイス１１４は、ベーススクリーンショットの一様でない色の領域を正規化する。すなわち、処理デバイス１１４は、２つ以上の色を含む各領域のための均一色を決定するために、その領域に等化方法（ｅｑｕａｌｉｚａｔｉｏｎ  ｍｅｔｈｏｄ）を適用する。たとえば、テキストなしベーススクリーンショット５００を処理することによって、処理デバイス１１４は、（左から右への方向で）領域１〜４が、白から黒に減衰する勾配色を有し、領域９．１が、黒から白に減衰する勾配色を有すると決定する。したがって、処理デバイス１１４は、領域１〜４および下位領域９．１に等化方法を適用し、これは、これらの前に多色の領域についてライトグレーが均一色であるという決定を生じる。以下でより詳細に説明されるように、図７Ａは、色正規化されたテキストなしベーススクリーンショットを示す。
【００３４】
[0043]また動作２１８において、処理デバイス１１４は各領域に色を割り当てる。各領域が均一色に正規化された実施形態では、処理デバイス１１４は、各領域および下位領域に、ＲＧＢ色フォーマットなど、単色を割り当てる。表２は、領域色に対応する領域識別番号をデータベースに記憶することの一例を与える。
【００３５】
[0044]動作２２０において、処理デバイス１１４は、ベーススクリーンショット中の各領域のロケーションを決定し、そのロケーションを、データベースに、および領域識別番号に対応して記憶する。以下でより詳細に説明されるように、図７Ｂは、図４のグリッド４００に従って分割された、色正規化されたテキストなしベーススクリーンショットを示す。たとえば、領域１は、ベーススクリーンショット中の列８の行４〜６にかかる。ボックスが｛行，列｝フォーマットによって識別されるとき、領域１は、ボックス［４，８］、［５，８］、および［６，８］に対応する。表２は、領域ロケーションに対応する領域識別番号をデータベースに記憶することの一例を与える。グリッドパターンのブロックサイズは、画面解像度と、コンソールステーションスクリーンショット中の要素および領域の間の最小距離とによって決定され得る。
【００３６】
【表２】
2019509548.tif 000004
【００３７】
[0045]方法２００は、動作２２０から動作２２２に進む。動作２２２において、処理デバイス１１４は、領域ＩＤと、領域色情報と、領域ロケーション情報と、ベース画像とをデータベースに記憶する。方法２００は、情報を情報のバッチとしてデータベースに記憶することに限定されず、個々の情報をデータベースに記憶することもできる。いくつかの実施形態では、方法２００は、領域ＩＤをデータベースに記憶するために、動作２１６から動作２２２に進み、方法２００は、ベース画像をデータベースに記憶するために、動作２１８の後に動作２２２に戻る。ベース画像、テキストデータ、および領域データがデータベースに記憶されると、方法２００は、動作２２２から段階２  ２０４に進む。段階１  ２０２中にデータベースに記憶されるベース画像、テキストデータ、および領域データは、画像を再構成するために後続の段階（すなわち、データ再形成段階２０６）において使用されることになる。いくつかの実施形態では、段階１  ２０２は、さらなる精度および性能のために、テキスト、領域、色情報とともにベース画像からのより多くのパラメータを考慮し得る。
【００３８】
[0046]段階２  ２０４は、動作２２４〜２３６を含む。方法２００は、周期的に、すなわち、間隔Ｔの頻度で段階２  ２０４を繰り返すことを含む。間隔Ｔは、ユーザ選択またはユーザ要件に基づく構成可能な値である。段階２  ２０４は、処理デバイス１１４が、段階１において、初期ベーススクリーンショット３００を処理して、表１および表２などのテキストデータと領域データとを識別し、記憶し、段階２  ２０４において、処理デバイス１１４が、追加のベーススクリーンショット３００を処理して、テキストデータと領域データとを識別し、表１および表２などに記憶するという点で、段階１  ２０２と同様である。いくつかの実施形態では、段階２  ２０４は、処理デバイス１１４が、段階１  ２０２において、初期ベーススクリーンショット３００を処理して、ベース画像７００を生成し、保存するが、処理デバイス１１４が、段階２  ２０４において、追加のベーススクリーンショット３００を保存しないことがあるという点で、段階１  ２０２とは異なり得る。段階２  ２０４のいくつかの実施形態は、各間隔Ｔのための対応するテキストデータおよび領域データに加えて、追加のベーススクリーンショット３００をデータベースに保存する動作を含むことができるが、そのような実施形態は、追加のベーススクリーンショット３００自体を記憶することなしに、各間隔Ｔのための対応するテキストデータおよび領域データを記憶する他の実施形態よりも多くのメモリを消費し得ることに留意されたい。いくつかの実施形態では、段階２  ２０４は、さらなる精度および性能のために、テキスト、領域、色情報とともにベース画像からのより多くのパラメータを考慮し得る。
【００３９】
[0047]動作２２４において、処理デバイス１１４は、追加のベーススクリーンショットをキャプチャする。オペレータコンソールのディスプレイ画面のビューのこの後続の画像は、前の画像またはスクリーンショットをキャプチャすることの完了時に開始する間隔Ｔの経過の後にＦＡＭＳアプリケーション１２０によってキャプチャされる。いくつかの状況では、間隔Ｔは、オペレータコンソール１１０中のディスプレイ画面上に示されるテキストデータの変化なしに経過し得、そのような状況では、追加のベーススクリーンショットは、前のベーススクリーンショットと同等のように見え得る。特定の例として、追加のベーススクリーンショットは、図３の初期ベーススクリーンショット３００と同等のように見えることがある。他の状況では、オペレータコンソール１１０中のディスプレイ画面上に示されるテキストデータまたは色データの変化が間隔Ｔ中に発生し得、そのような状況では、追加のベーススクリーンショットは、前のベーススクリーンショットとは異なって見え得る。
【００４０】
[0048]動作２２６において、処理デバイス１１４は、追加のベーススクリーンショット中のテキストを識別する。たとえば、処理デバイス１１４は、ＯＣＲ技法とＩＣＲ技法とを適用することによって画像中のテキストデータを見つける。
【００４１】
[0049]動作２２８において、処理デバイス１１４は、追加のベーススクリーンショットに対応するテキストデータとテキストロケーション情報とを記憶する。たとえば、処理デバイス１１４は、動作２１０と同様にして追加のベーススクリーンショットをグリッドに分割し、テキストロケーション情報を決定することができる。
【００４２】
[0050]動作２３０において、処理デバイス１１４は、追加のベーススクリーンショット中の１つまたは複数の領域を識別する。すなわち、処理デバイス１１４は、追加のベーススクリーンショット中の各領域と各下位領域とを見つける。
【００４３】
[0051]動作２３２において、処理デバイス１１４は、動作２１８の場合と同様にして、追加のベーススクリーンショットの一様でない色の領域を正規化する。動作２３４において、処理デバイス１１４は、動作２３０において識別されたかまたはさもなければ見つけられた各領域と各下位領域とに領域識別番号を割り当てる。いくつかの実施形態では、動作２３４はまた、処理デバイス１１４が、追加のベーススクリーンショット中の各領域のロケーションを決定することと、そのロケーションを、データベースに、および領域識別番号に対応して記憶することとを含む。動作２３６において、処理デバイス１１４は、動作２１８の場合と同様にして、追加のベーススクリーンショットの各領域と各下位領域とに色を割り当てる。
【００４４】
[0052]方法２００は、動作２３６から動作２２２に進む。追加のベーススクリーンショットに対応するテキストデータおよび領域データがデータベースに記憶されると、方法２００は、段階２  ２０４を繰り返すために動作２２２から動作２２４に進む。動作２２２において段階１  ２０２と段階２  ２０４との間に差異があること、すなわち、段階２  ２０４において、動作２２２の一部としてベース画像を記憶する必要がないことに留意されたい。ただし、さらなる精度および性能のために、段階２  ２０４においてもより多くの画像が記憶され得る。処理デバイス１１４が、アーカイブされた周期スクリーンショットのうちのいくつかをリプレイするためのユーザ選択を示す入力を受信すると、本方法は、動作２２２からデータ再形成段階２０６に進む。
【００４５】
[0053]データ再形成段階２０６は、動作２３８と、段階３  ２４０内の動作と、段階４  ２５０内の動作と、段階５  ２５２内の動作とを含む。動作２３８において、処理デバイス１１４はストレージからベース画像を検索する。すなわち、処理デバイス１１４は、段階１  ２０２において生成され、動作２２２において記憶された、ベース画像にアクセスする。
【００４６】
[0054]段階３  ２４０において、方法２００は、各時間間隔（Ｔ）のための新しい画像を反復的に再構成することを含む。より詳細には、段階３  ２４０において、記憶されたデータから画像を形成する方法は、処理デバイス１１４によって実装され、動作２４２において、記憶された色データを検索し、動作２４４において、検索された色データをベース画像に適用し、動作２４６において、記憶されたテキストデータを検索し、動作２４８において、検索されたテキストデータを色付きのベース画像に重ね合わせる。コンソールステーションスクリーンショットまたはベース画像において、段階１  ２０２および／または段階２  ２０４が、さらなる精度および性能のために、テキスト、領域、色情報とともに追加のパラメータを考慮する実施形態の場合、段階３  ２４０において追加のそれぞれの動作があることに留意されたい。
【００４７】
[0055]図３の初期ベーススクリーンショット３００がその間にキャプチャされた時間間隔のための新しい画像を再構成することの非限定的な例として、処理デバイス１１４は、表２に記憶された色データを検索し（動作２４２）、表２に記憶された領域ロケーション情報に従って、検索された色データをベース画像の対応する領域に適用する（動作２４４）。図７Ｂ中のベース画像７００は、表２中の正規化された色がどこでテキストなしベース画像７００に適用されるかを位置特定するためにグリッド４００が使用されることを示す。さらに、処理デバイス１１４は、表１に記憶されたテキストデータを検索し（動作２４６）、検索されたテキストデータを色付きのベース画像に重ね合わせる（動作２４８）。図８Ａおよび図８Ｂは、初期ベーススクリーンショット３００がその間にキャプチャされた時間間隔のための再構成された画像８００および８０１の例を与える。処理デバイス１１４は、表１に記憶されたテキストロケーション情報に従って、初期ベーススクリーンショット３００の表１からの各テキストデータがどこで色付きのベース画像７００と重なり合うかを位置特定するためにグリッド４００を使用する。アーカイブされた周期スクリーンショットのうちのいくつかをリプレイするためのユーザ選択に対応する時間間隔（Ｔ）の各々のための新しい画像が再構成されたとき、方法２００は段階４  ２５０に進む。
【００４８】
[0056]段階４  ２５０において、処理デバイス１１４は、特色を呈する画像およびデータを識別する。すなわち、処理デバイス１１４は、特有の挙動を有する再構成されたベース画像およびデータを識別する。処理デバイス１１４は、特有の画像および／または特有のデータを視覚的にハイライトすることによって、それらを識別することができる。特有の挙動の例としては、急に（たとえば、あるフレームから次のフレームまでに、または限られた数の連続フレーム内に）色が変化したデバイスを有する画像、急な圧力および／または体積（ＰＶ）低下を有する画像、圧力および／または体積の急な増加を有する画像、あるいは（１つまたは複数の）急なアラームを有する画像がある。いくつかの実施形態では、ユーザ選択は、色、ＰＶ、またはアラームステータスの急変がその内で発生する、限られた数の連続フレームを、特有の挙動のインジケータとして設定することができる。いくつかの実施形態では、処理デバイス１１４は、特有の挙動のインジケータとしての、色、ＰＶ、またはアラームステータスの急変がその内で発生する、所定の限られた数の連続フレームにアクセスすることができる。
【００４９】
[0057]段階５  ２５２において、処理デバイス１１４は、再構成された画像と記憶されたデータとを表す。より詳細には、処理デバイス１１４は、前の段階中に形成された記憶されたデータと再構成された画像とを含むオペレータコンソール１１０中のディスプレイ画面を与えるために、（図９Ａおよび図９Ｂに示されている）根本原因分析ツールユーザインターフェース（ＵＩ）を実装する。
【００５０】
[0058]図２Ａおよび図２Ｂは、ＯＣＲ技法とＩＣＲ技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための１つの例示的な方法２００を示しているが、様々な変更が図２Ａおよび図２Ｂに行われ得る。たとえば、図中の様々なステップは、重なり合うか、並列に行われるか、または任意の回数行われ得る。すなわち、これらの動作のうちのいくつかは、２回以上または異なる順序で実施され得るか、あるいは、いくつかの追加の指定されていない動作も、最良の性能および精度のために実施され得る。別の例として、動作２１０において、ベース画像は、各領域のおよびテキストの（図１０に示されている）ピクセルのｘ−ｙ座標値が、（図４に示されている）グリッドパターンの代替または追加として使用され得るように、分割されることになる。座標系を適用する場合、スクリーンショットの各ピクセルのロケーションは、各々が座標系の原点からの相対ロケーションに対応する、ｘ値とｙ値とによって定義され得る。
【００５１】
[0059]図３は、本開示による、プロセスユニットの選択されたクリティカルデバイスのビューを与えるオペレータコンソール１１０ディスプレイ画面の例示的なベーススクリーンショット３００を示す。ベーススクリーンショット３００は、背景と、選択されたクリティカルデバイスを含むクリティカルプロセスユニットと、クリティカルデバイスのラベルと、プロセスフローコネクタ矢印と、クリティカルデバイスに関連するブロック内のプロセス変数値と、プロセス変数値を使用してクリティカルデバイスとプロセスフローとを制御するコントローラとを描く。コントローラはプロセスユニット内の構成要素であり得るか、または、コントローラは事前プログラムされた処理デバイスであり得、簡単のために、図３は、コントローラがプロセスユニットの選択されたクリティカルデバイスであるかのように説明される。
【００５２】
[0060]図示の例では、背景３０５は、ダークグレーなど、背景色を有する。プロセスユニットの選択されたクリティカルデバイスは、バルブ３１０と、ボイラー３１５と、温度伝送器３２０と、コントローラ３２５とを含む。バルブ３１０は、たとえば、緑色を有し得、ボイラー３１５は赤色を有し得、温度伝送器３２０は赤色を有し得る。コントローラ３２５は、３つの同様のサイズの矩形ボックスおよびより長い矩形ボックスとして描かれ、それらの各々は、（左から右への方向で）白から黒に減衰する勾配色を有する。温度伝送器３２０は、クレセント、垂直方向に細長い矩形の上の円、垂直方向に細長い矩形として描かれ、それらの各々は赤色を有する。温度伝送器３２０は、さらに、円内に矩形部分３３０を含み、矩形部分３３０は、それの赤色の周囲とは異なる色である、（左から右への方向で）黒から白に減衰する勾配色を有する。テキスト、すなわち、クリティカルデバイスのラベルおよびプロセス変数値は黒である。さらに、プロセスフローコネクタ矢印は、テキストと同じ色、すなわち、黒を有する。プロセス変数値ブロック３３５ａ〜３３５ｂは、背景色と同じである色、すなわち、ダークグレーを有する。いくつかの実施形態では、プロセス工業コンソールステーション１１０は、国際計測制御学会（ＩＳＡ：Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｕｔｏｍａｔｉｏｎ）によって推奨される画像を使用するが、これは必須ではなく、非ＩＳＡ画像が使用され得る。
【００５３】
[0061]プロセスユニットにおいて、バルブ３１０は、水の入口フローを受け取り、ウォーターポンプを使用して出口フローをボイラーにポンピングすることなどによって、出口フローをウォーターボイラー３１５に与える。プロセス変数値ブロック３３５ａ内に描かれるプロセス変数値「３１％」は、バルブの開放状態のパーセントを示す。したがって、バルブ３１０は、それのスループット容量の３１％を受け取るかまたは出力する。ボイラー３１５は、バルブ３１０から受け取った流体を沸騰させ、出力フローを与える。プロセス変数値ブロック３３５ｂ内に描かれるプロセス変数値「２１℃」は、ボイラー３１５内の流体の現在温度を示す。ボイラー３１５中の流体の温度を測定し、温度測定値を温度伝送器３２０に与えるために、温度センサーがボイラー３１５に関連し得る。温度伝送器３２０は、温度センサーを使用して温度測定値をプロセス変数値「２１℃」として取得し、温度測定値をコントローラに与え、プロセス変数値を別のデバイスの受信機に送信することができる。たとえば、コントローラ３２５は、温度伝送器３２０によって与えられた温度測定値に基づいてバルブ３１０の位置を制御する。
【００５４】
[0062]図３は１つの例示的なベーススクリーンショット３００を示しているが、様々な変更が図３に行われ得る。たとえば、異なるプロセスユニットが描かれ得るか、あるいは、プロセスユニットは、より多い、より少ない、または異なるフィールドデバイスを含むことができる。
【００５５】
[0063]図４は、本開示による、グリッド４００に分割された図３のベーススクリーンショット３００を示す。図示の例では、グリッド４００は、１８個の行と３０個の列とを含む。グリッド４００は、ブロックが重なり合わないように、画像サイズに基づくブロックのセットを含む。すなわち、ベーススクリーンショット３００の各部分は、グリッド４００の１つのブロックによってカバーされる。いくつかの実施形態では、ベーススクリーンショット３００の各部分は、グリッド４００の１つのブロック全体によってカバーされ、したがって、ベーススクリーンショットのどの部分も、部分的な、ブロック全体よりも小さいブロックによってカバーされない。グリッド４００中の各ブロックは、グリッド４００中の各他のブロックにサイズが等しくなり得る。
【００５６】
[0064]図４に示されているグリッド４００の実施形態は説明のためのものにすぎない。本開示の範囲から逸脱することなく、他の実施形態が使用され得る。たとえば、他の実施形態は、グリッド中に異なる数の行または列を含むことができる。
【００５７】
[0065]図５は、本開示による、テキストなしベーススクリーンショット５００を示す。すなわち、図５は、テキストデータが削除された図３のベーススクリーンショットを示す。
【００５８】
[0066]テキストなしベーススクリーンショット５００から削除された初期ベーススクリーンショット３００のテキストデータは、クリティカルデバイスラベル、すなわち、「コントローラ」、「温度伝送器」、「ウォーターボイラー」、および「バルブ」を含む。テキストなしベーススクリーンショット５００から削除された初期ベーススクリーンショット３００のテキストデータは、プロセス変数値「２１℃」および「３１％」をさらに含む。
【００５９】
[0067]ＯＣＲ技法およびＩＣＲ技法は、プロセス変数値ブロック３３５ａ〜３３５ｂの境界を、各々が含んでいるテキストデータと区別することができることに留意されたい。したがって、テキストなしベーススクリーンショット５００はプロセス変数値ブロック３３５ａ〜３３５ｂを含む。
【００６０】
[0068]図６は、本開示による、図５のテキストなしベーススクリーンショット５００の領域および下位領域を示す。すなわち、図６に示されている領域ＩＤは、説明のためのものにすぎず、テキストなしベーススクリーンショット５００の画像の一部ではない。
【００６１】
[0069]図示の例では、テキストなしベーススクリーンショット５００は領域０〜１１と下位領域９．１とを含む。領域０は背景３０５である。領域１は、コントローラ３２５のより長い矩形ボックスである。領域２、３、および４は、コントローラ３２５の３つの同様のサイズの矩形ボックスである。領域５はボイラー３１５である。領域６は、バルブ３１０のボタン縦断面型部分であり、領域７および８は、バルブ３１０の三角部分である。領域９は、温度伝送器３２０の円部分であり、領域１０は、温度伝送器３２０の垂直方向に細長い矩形部分である。下位領域９．１は、温度伝送器３２０の円内の矩形部分３３０である。領域１１はプロセス変数値ブロック３３５ｂであり、領域１２はプロセス変数値ブロック３３５ａである。
【００６２】
[0070]図６は、テキストなしベーススクリーンショットの領域および下位領域の１つの例示的な識別を示しているが、様々な変更が図６に行われ得る。たとえば、領域は、異なる順序で識別され得るか、あるいはアルファベット順で、または英数字順で識別され得る。
【００６３】
[0071]図７Ａおよび図７Ｂは、本開示によるベース画像７００を示す。図７Ａは、ベース画像７００が、図５のテキストなしベーススクリーンショット５００に色等化を適用した、色正規化された結果であることを示す。図７Ｂは、図４のグリッド４００に従って分割された図７Ａのベース画像７００を示す。
【００６４】
[0072]非限定的な例として、領域０、１１、および１２はダークグレー色を割り当てられ得、領域１〜４および下位領域９．１はライトグレー色を割り当てられ得、領域５および９〜１０は赤色を割り当てられ得、領域６〜８は緑色を割り当てられ得る。この色規約は、説明のために使用されるにすぎない。他の事例では、各要素の健全性を表すための任意の色があり得る。
【００６５】
[0073]図７Ａおよび図７Ｂは１つの例示的なベース画像７００を示しているが、様々な変更が図７Ａおよび図７Ｂに行われ得る。たとえば、領域１〜４および下位領域９．１は、異なるシェードまたは色に正規化され得る。
【００６６】
[0074]図８Ａおよび図８Ｂは、図３の初期スクリーンショット３００がその間にキャプチャされた時間間隔のための再構成された画像８００および８０１の例を示す。図８Ａおよび図８Ｂに示されている再構成された画像８００、８０１の実施形態は説明のためのものにすぎない。本開示の範囲から逸脱することなく、他の実施形態が使用され得る。
【００６７】
[0075]オペレータコンソール１１０中のディスプレイ画面上に示されるテキストデータの変化なしに間隔Ｔが経過する状況では、再構成された画像８００は、前のベーススクリーンショットの色正規化されたバージョンのように見え得る。特定の例として、図８Ａの再構成された画像８００は、図３の初期ベーススクリーンショット３００の色正規化されたバージョンのように見えることがある。オペレータコンソール１１０中のディスプレイ画面上に示されるテキストデータまたは色データの変化が間隔Ｔ中に発生する他の状況では、再構成された画像は、前のベーススクリーンショットの色正規化されたバージョンとは異なって見え得る。
【００６８】
[0076]図８Ｂは、色の勾配の情報が動作２２２の一部として記憶されたとき、再構成された画像８０１が、色の勾配をもつ領域を有することができることを示す。いずれかの領域が２つ以上の勾配色を有する場合、およびコンソールステーション１１０のスクリーンショット３００との完全な一致のための画像再構成要件がある場合、各可能な領域画像が抽出され、（ローカルストレージになど）記憶され得、記憶された領域画像へのそれぞれのリンクが表２において与えられることになる。同様に、各領域と各テキストとのピクセルのｘ−ｙ座標が記憶され得、再構成された画像８０１は、元のコンソールステーションスクリーンショットと正確に一致するように構成されることになる。
【００６９】
[0077]図９Ａおよび図９Ｂは、本開示による、オペレータコンソール１１０中のディスプレイ画面の根本原因分析ツールユーザインターフェース（ＵＩ）を示す。ＦＡＭＳアプリケーション１２０はＲＣＡツールＵＩを含む。図９Ａは、ＲＣＡツールＵＩの画像ビュー９００を示し、図９Ｂは、ＲＣＡツールＵＩのテーブルビュー９０１を示す。ＲＣＡツールＵＩは、段階１〜４  ２０２、２０４、２４０、２５０中に形成された、記憶されたデータと再構成された画像とを示す。処理デバイス１１４は、オペレータコンソール１１０中のディスプレイ画面を制御することまたはそれと通信することによって、ＲＣＡツールＵＩの画像ビュー９００とテーブルビュー９０１とを実装することができる。
【００７０】
[0078]図９Ａに示されているように、ＲＣＡツールＵＩの画像ビュー９００は、画像表示ボックス９０５と、画像のカテゴリーごとのサムネイルのセット９１０、９１５、９２０と、画像の選択されたカテゴリーのためのタイムライン９２５と、画像の選択されたカテゴリーからの画像サムネイル９３０ａ〜９３０ｇとを含む。画像表示ボックス９０５は、現在選択されている画像をフルサイズフォーマットで表示する。たとえば、画像表示ボックス９０５は、初期ベーススクリーンショットの再構成を示すことができる。別の例として、サムネイルのセット９１０、９１５、９２０に対応する画像のカテゴリーのうちの１つのユーザ選択を受信したことに応答して、画像表示ボックス９０５は、サムネイルの選択されたセットからの画像を示すことができる。別の例として、画像サムネイル９３０ａ〜９３０ｇのうちの１つのユーザ選択を受信したことに応答して、画像表示ボックス９０５は、選択された画像サムネイルのフルサイズフォーマットを示すことができる。
【００７１】
[0079]図示の例では、画像のカテゴリーがあり、「すべての画像」カテゴリーはサムネイルのセット９１０に対応し、「特有の画像」カテゴリーはサムネイルのセット９１５に対応し、「ユーザ選択された画像」カテゴリーはサムネイルのセット９２０に対応する。サムネイルのすべての画像セット９１０は、ＯＣＲ技法とＩＣＲ技法とを使用したプロセス工業におけるトリップされたフィールドデバイスのポストモーテム分析を実施するための方法２００を使用して形成された画像のすべてを含む。
【００７２】
[0080]サムネイルの特有の画像セット９１５は、ユーザが、プロセスユニット内のフィールドデバイスのトリッピング発生の根本原因を特定するのを支援する。処理デバイス１１４は、フィールドデバイスの動作限界が超えられた１つまたは複数の画像をオペレータに示すために、段階４  ２５０の動作を実行する。サムネイルの特有の画像セット９１５は、段階４  ２５０内の動作において識別された、特色を呈する画像を含む。すなわち、サムネイルのセット９１５は、サムネイルのすべての画像セット９１０のサブセットを含む。サムネイルの特有の画像セット９１５は、画像のいずれもプロセスユニットの特有の挙動を呈しないとき、ヌルセットであり得る。
【００７３】
[0081]サムネイルのユーザ選択された画像セット９２０は、ユーザ選択によって選択された画像を含む。たとえば、ユーザは、新しいカテゴリー、すなわち、「ユーザ選択された画像」と呼ばれるカテゴリーを形成するために当該の画像を選択するための選択権を有する。ユーザは、ユーザ選択された画像カテゴリーにドラッグ／ドロップされた画像を追加するために、「すべての画像」カテゴリーまたは「特有の画像」カテゴリーからサムネイルのユーザ選択された画像セット９２０に任意の画像をドラッグアンドドロップし得る。サムネイルのユーザ選択された画像セット９２０は、画像のいずれもオペレータによって選択されていないとき、ヌルセットであり得る。
【００７４】
[0082]画像の選択されたカテゴリーのためのタイムライン９２５は、画像の選択されたカテゴリーがその間にキャプチャされた時間期間を表す。たとえば、「すべての画像」カテゴリーが選択されたとき、タイムライン９２５は、（たとえば、図９Ｂの参照番号９６０ａによって示される）開始時間から（たとえば、図９Ｂの参照番号９６０ｂによって示される）停止時間までの時間期間を表す。開始時間は、初期ベーススクリーンショットがキャプチャされた時であり得る。停止時間の例としては、限定はしないが、直近の追加のベーススクリーンショットがキャプチャされた時、ユーザ選択された時点、または、初期ベーススクリーンショットがキャプチャされた後の選択された数の間隔Ｔがある。タイムライン９２５は、さらに、開始時間と停止時間との間の特定の時点または時間の特定のサブセットを視覚的に表す、タイムラインバー９２８を含む。たとえば、タイムラインバー９２８は、画像サムネイル９３０ａ〜９３０ｇに対応する画像のキャプチャリングがその間に行われた時間のサブセットを表すことができる。
【００７５】
[0083]図示の例では、画像サムネイル９３０ａ〜９３０ｇは、「タイムライン中の画像サムネイル」とラベル付けされる。すなわち、画像の選択されたカテゴリーからの画像サムネイル９３０ａ〜９３０ｇは、タイムラインに従う順序で現れる。
【００７６】
[0084]図９ＡはＲＣＡツールＵＩの１つの例示的な画像ビュー９００を示しているが、様々な変更が図９Ａに行われ得る。たとえば、図９Ａ中の各構成要素は、任意の他のサイズ、形状、および寸法を有することができる。
【００７７】
[0085]図９Ｂに示されているように、ＲＣＡツールＵＩのテーブルビュー９０１は、特定の時間期間中のフィールドデバイスのデータのテーブル９５５と、フィールドデバイスデータをフィルタ処理するための様々なフィルタ９６０ａ〜９６０ｄと、他のステーションビューのためのテーブルを表すサムネイル画像９６５ａ〜９６５ｄとを含む。テーブル９５５は、データが記録された時間の列９７０を含む。たとえば、間隔Ｔは１秒であり得、したがって、各行は、間隔Ｔごとに記録されたフィールドデバイスデータを含むことができる。テーブル９５５は、特定のプロセスユニット中の各フィールドデバイスのための列９７５をさらに含む。特定のプロセスユニットは、圧力バルブあるいは圧力および／または体積に関連する他のデバイスなど、任意の数のフィールドデバイス（Ｄｅｖ−１−ＰＶ、Ｄｅｖ−２−ＰＶ、．．．Ｄｅｖ−ｎ−ＰＶ）を含むことができる。テーブル９５５内のセルは、異なって色付けされたセルまたは異なって強調されたフォントを表示することなどによって、特色を視覚的にハイライトすることができる。特色は、フィールドデバイスデータ内の値の注目すべき変化であり得る。すなわち、ハイライトされたデータ９８０ａ〜９８０ｂは、ユーザが、プロセスユニット内のフィールドデバイスのトリッピング発生の根本原因を特定するのを支援する。処理デバイス１１４は、フィールドデバイスの動作限界が超えられた１つまたは複数の画像をオペレータに示すために、段階４  ２５０の動作を実行する。
【００７８】
[0086]特定の非限定的な例として、フィールドデバイスＤＥＶ−３−ＰＶは、それの急な、すなわち、時間１０：０１：０４における２０の値から時間１０：０１：０５における０の値への、値の低減によって特有の挙動を呈する。値の２０単位変化または低減は、ＲＣＡツールユーザインターフェース（ＵＩ）の設定によっては、注目すべき変化（たとえば、しきい値量だけの変化）であり得る。別の例として、フィールドデバイスＤＥＶ−５−ＰＶは、それの急な、すなわち、時間１０：０１：０４における２０の値から時間１０：０１：０５における１５５の値への、値の増加によって特有の挙動を呈する。値の１３５単位変化または増加は、ＲＣＡツールユーザインターフェース（ＵＩ）の設定によっては、注目すべき変化であり得る。これらの例では、フィールドデバイスデータのための０値および１５５値は、デバイスの通常動作範囲または他の動作限界の外にあり得、したがって、特有でない値を含んでいるセルの色（たとえば、ラベンダー）とは異なる色（たとえば、赤）でセルがハイライトされる。すなわち、時間１０：０１：０５から時間１０：０１：０９まで、フィールドデバイスＤＥＶ−３−ＰＶおよびＤＥＶ−５−ＰＶは、ハイライトされたフィールドデバイスデータを有する。
【００７９】
[0087]図示の例では、ＲＣＡツールＵＩのテーブルビュー９０１は４つのフィルタを含むが、任意の好適な数のフィルタがテーブル９５５に適用され得る。フィルタの例は、開始時間フィルタ９６０ａのためのテキストボックス、停止時間フィルタ９６０ｂのためのテキストボックス、デバイスリストフィルタ９６０ｃのためのリストボックス、またはユーザ定義されたフィルタ９６０ｄのための他の好適な選択方法を使用することなど、ユーザ選択に基づいて調整される。時間の列９７０の範囲は、開始時間フィルタ９６０ａの設定としての時間１０：０１：０１と停止時間フィルタ９６０ｂの設定としての時間１０：０１：１０とによって決定される。
【００８０】
[0088]図示の例では、サムネイル画像９６５ａ〜９６５ｄは、４つの他のステーションビューのためのテーブルを表すが、任意の好適な数のサムネイル画像がＲＣＡツールＵＩのテーブルビュー９０１中に表示され得る。上記で説明されたように、ＦＡＭＳアプリケーション１２０は、様々なオペレータコンソール１１０上で稼動する様々なプロセスユニットの利用可能なビューを選択するためのツールを与え、したがって、サムネイル画像９６５ａは、１つのオペレータコンソール１１０上で稼動する第１のプロセスユニットに対応することができ、他のサムネイル画像９６５ｂ〜９６５ｄの各々は、異なるオペレータコンソール１１０上で各々が稼動する、第２〜第４のプロセスユニットに対応することができる。
【００８１】
[0089]図９ＢはＲＣＡツールＵＩの１つの例示的なテーブルビュー９０１を示しているが、様々な変更が図９Ｂに行われ得る。たとえば、図９Ｂ中の各構成要素は、任意の他のサイズ、形状、および寸法を有することができる。
【００８２】
[0090]図１０は、本開示による、図３のベーススクリーンショット３００に適用された座標系１０００を示す。さらなる精度および性能のために、処理デバイス１１４は、ベーススクリーンショット中の各テキストデータと各領域とのロケーションをパラメータ化する際に使用するために、任意の初期または後続のスクリーンショットに座標系１０００を適用することができる。座標系１０００では、スクリーンショットの各ピクセルのロケーションは、各々が座標系の原点１０１５からの相対ロケーションに対応する、ｘ値１００５とｙ値１０１０とによって定義され得る。一例として、原点１０１５はベーススクリーンショット３００の左上コーナーであり得、したがって、原点１０１５におけるピクセルは、０のｙ値と０のｘ値とを有する。
【００８３】
[0091]一例として、処理デバイス１１４は、プロセス変数値ブロック３３５ｂ、すなわち、領域１２内のテキストデータが、ピクセル１０３０において頂点を形成する左境界１０２０と上境界１０２５とを有すると決定することができる。処理デバイス１１４は、頂点ピクセル１０３０または左境界１０２０が、原点１０１５からｘ値１００５個のピクセルだけ水平方向にまたは右方向に配置されると決定することができる。処理デバイス１１４は、頂点ピクセル１０３０または上境界１０２５が、原点１０１５からｙ値１０１０個のピクセルだけ垂直方向にまたは下方向に配置されると決定することができる。処理デバイス１１４は、領域の他の境界または他のテキストデータのロケーションを決定するために、同様のプロセスを適用することができる。たとえば、処理デバイス１１４は、プロセス変数値ブロック３３５ｂ、すなわち、領域１１内のテキストデータが、ピクセル１０４５において頂点を形成する左境界１０３５と上境界１０４０とを有すると決定することができる。
【００８４】
[0092]図１０に示されているように、ピクセルのｘおよびｙ座標は、さらなる精度および性能のために使用され得る。いくつかの実施形態では、ベーススクリーンショット３００中の要素（すなわち、テキスト、領域など）をカバーする矩形のピクセルのｘ−ｙ座標値も、図４のグリッド４００よりも良好な精度のために使用され得る。
【００８５】
[0093]いくつかの実施形態では、上記で説明された様々な機能は、コンピュータ可読プログラムコードから形成され、コンピュータ可読媒体において実施される、コンピュータプログラムによって実装またはサポートされる。「コンピュータ可読プログラムコード」という句は、ソースコード、オブジェクトコード、および実行可能コードを含む、任意のタイプのコンピュータコードを含む。「コンピュータ可読媒体」という句は、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、または他のタイプのメモリなど、コンピュータによってアクセスされることが可能な任意のタイプの媒体を含む。「非一時的」コンピュータ可読媒体は、一時的な電気信号または他の信号をトランスポートする、ワイヤード、ワイヤレス、光、または他の通信リンクを除外する。非一時的コンピュータ可読媒体は、データが永続的に記憶され得るメディアと、書き換え可能な光ディスクまたは消去可能メモリデバイスなど、データが記憶され、後で上書きされ得るメディアとを含む。
【００８６】
[0094]本特許文献全体にわたって使用されるいくつかの語および句の定義を記載することが有利であり得る。「アプリケーション」および「プログラム」という用語は、１つまたは複数のコンピュータプログラム、ソフトウェア構成要素、命令のセット、プロシージャ、関数、オブジェクト、クラス、インスタンス、関係するデータ、または（ソースコード、オブジェクトコード、または実行可能コードを含む）好適なコンピュータコードにおける実装のために適応されたそれらの一部分を指す。「含む（ｉｎｃｌｕｄｅ）」および「備える、含む（ｃｏｍｐｒｉｓｅ）」という用語ならびにそれの派生語は、限定はしないが含むことを意味する。「または（ｏｒ）」という用語は包含的であり、および／または（ａｎｄ／ｏｒ）を意味する。「〜に関連する（ａｓｓｏｃｉａｔｅｄ  ｗｉｔｈ）」という句ならびにそれの派生語は、含むこと、〜内に含まれること、〜と相互接続すること、含んでいること、〜内に含まれていること、〜にまたは〜と接続すること、〜にまたは〜と結合すること、〜と通信可能であること、〜と協働すること、インターリーブすること、並置すること、〜に近接すること、〜にまたは〜と結び付けられること、有すること、〜のプロパティを有すること、〜へのまたは〜との関係を有することなどを意味し得る。「のうちの少なくとも１つ」という句は、項目の列挙とともに使用されるとき、列挙された項目のうちの１つまたは複数の異なる組合せが使用され得ること、および列挙中の１つの項目のみが必要とされ得ることを意味する。たとえば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」は、以下の組合せ、すなわち、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、ならびにＡおよびＢおよびＣのいずれをも含む。
【００８７】
[0095]本開示は、いくつかの実施形態および概して関連する方法について説明したが、これらの実施形態および方法の改変および置換は当業者にとって明らかであろう。したがって、例示的な実施形態の上記の説明は本開示を定義または制約しない。他の変更、代替、および改変も、以下の特許請求の範囲によって定義される本開示の趣旨および範囲から逸脱することなく可能である。
【図１】
2019509548.tif 000005
【図２Ａ】
2019509548.tif 000006
【図２Ｂ】
2019509548.tif 000007
【図３】
2019509548.tif 000008
【図４】
2019509548.tif 000009
【図５】
2019509548.tif 000010
【図６】
2019509548.tif 000011
【図７Ａ】
2019509548.tif 000012
【図７Ｂ】
2019509548.tif 000013
【図８Ａ】
2019509548.tif 000014
【図８Ｂ】
2019509548.tif 000015
【図９Ａ】
2019509548.tif 000016
【図９Ｂ】
2019509548.tif 000017
【図１０】
2019509548.tif 000018
【手続補正書】
【提出日】平成30年9月28日(2018.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャするステップ（２０８）と、
ベース画像（５００、７００）を生成するために前記初期スクリーンショットからテキストを削除するステップ（２１２）と、
前記初期スクリーンショットの背景（領域０）を閉領域として識別するステップ（２１６）と、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）を記憶するステップ（２２２）と、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別するステップ（２１２、２２６）と、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別するステップ（２１６、２３０）と、
各識別された閉領域のための前記領域色と前記領域ロケーションとを記憶するステップ（２２２）と、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを記憶するステップ（２１４、２２８）と
を含む方法。
【請求項２】
各新しい画像について、
前記ベース画像を検索するステップ（２３８）と、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索するステップ（２４２）と、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用するステップ（２４４）と、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色の前記テキストと重ね合わせるステップ（２４８）と
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成するステップ（２３８、２４０）をさらに含む、請求項１に記載の方法。
【請求項３】
特色（９８０ａ、９８０ｂ）を呈する新しい画像を識別するステップ（２５０）であって、前記特色が、少なくともしきい値量だけのフィールドデバイスデータの変化、または動作限界外で動作するフィールドデバイスデータのうちの少なくとも１つを含む、識別するステップ（２５０）と、
前記特色をハイライトするユーザインターフェースディスプレイ画面（９００、９０１）を生成するステップ（２５２）と
をさらに含む、請求項１に記載の方法。
【請求項４】
メモリ（１１６）と、
前記メモリに結合された少なくとも１つのプロセッサ（１１４）と
を備え、前記少なくとも１つのプロセッサが、
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャすることと、
ベース画像（５００、７００）を生成するために前記初期スクリーンショットからテキストを削除することと、
前記初期スクリーンショットの背景（領域０）を閉領域として識別することと、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）を前記メモリに記憶することと、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別することと、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別することと、
各識別された閉領域のための前記領域色と前記領域ロケーションとを前記メモリに記憶することと、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを前記メモリに記憶することと
を行うように構成された、装置。
【請求項５】
前記プロセッサが、各新しい画像について、
前記ベース画像を検索することと、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索することと、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用することと、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色での前記テキストと重ね合わせることと
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成するようにさらに構成された、請求項４に記載の装置。
【請求項６】
前記プロセッサは、
特色（９８０ａ、９８０ｂ）を呈する新しい画像を識別することであって、前記特色が、少なくともしきい値量だけのフィールドデバイスデータの変化、または動作限界外で動作するフィールドデバイスデータのうちの少なくとも１つを含む、識別することと、
前記特色をハイライトするユーザインターフェースディスプレイ画面（９００、９０１）を生成することと
を行うようにさらに構成された、請求項４に記載の装置。
【請求項７】
コンピュータプログラムを実施する非一時的コンピュータ可読媒体であって、前記コンピュータプログラムが、処理回路によって実行されたとき、前記処理回路に、
初期スクリーンショット（３００）を含むディスプレイ画面の少なくとも１つのスクリーンショットをキャプチャすること（２０８）と、
ベース画像を生成するために前記初期スクリーンショットからテキストを削除すること（２１２）と、
前記初期スクリーンショットの背景（領域０）を閉領域として識別すること（２１６）と、
前記少なくとも１つのスクリーンショットの各々について、
前記スクリーンショットをキャプチャする時間（９７０）をメモリに記憶すること（２２２）と、
前記スクリーンショット中のテキストとテキスト色とテキストロケーションとを識別すること（２１２、２２６）と、
前記初期スクリーンショットの前記背景とは異なる前記スクリーンショット中の各閉領域（領域１〜１２）と、前記スクリーンショット中の各識別された閉領域のための領域色と領域ロケーションとを識別すること（２１６、２３０）と、
各識別された閉領域のための前記領域色と前記領域ロケーションとを記憶すること（２２２）と、
前記識別されたテキストの前記テキスト色と前記テキストロケーションとを記憶すること（２１４、２２８）と
を行わせるコンピュータ可読プログラムコードを含む、非一時的コンピュータ可読媒体。
【請求項８】
前記コンピュータプログラムが、前記処理回路によって実行されたとき、前記処理回路に、各新しい画像について、
前記ベース画像を検索すること（２３８）と、
前記少なくとも１つのキャプチャされたスクリーンショットのうちの１つと、それの記憶された、キャプチャする時間とに対応して、
各識別された領域のための前記領域色と前記領域ロケーションと、前記識別されたテキストの前記テキスト色と前記テキストロケーションとを検索すること（２４２）と、
前記検索された領域ロケーションにおいて、前記検索された領域色を前記ベース画像の各領域に適用すること（２４４）と、
前記検索されたテキストロケーションにおいて、前記検索されたベース画像を前記検索されたテキスト色での前記テキストと重ね合わせること（２４８）と
によって、前記少なくとも１つのキャプチャされたスクリーンショットの再構成として少なくとも１つの新しい画像（８００、８０１）を生成すること（２３８、２４０）を行わせるコンピュータ可読プログラムコードをさらに含む、請求項７に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2019509548.tif 000019
2019509548.tif 000020