(57)【特許請求の範囲】
【請求項１】
物理システムの品質を管理する方法であって、
前記物理システム内の複数のセンサの各々から収集された未加工の時系列データを、前記未加工の時系列データから特徴を抽出することで１つまたは複数のセットの特徴系列に変換し、
前記変換に、前記特徴系列及び前記未加工の時系列データの有効な検索のために１つまたは複数の前記特徴系列にトークンを割り当てることをさらに有し、前記検索に、前記物理システムの処理速度を向上させ、メモリの必要量を減少させる、前記トークンのみを用い、
特徴ランカの集合を用いて前記特徴のそれぞれをランク付けすることで前記センサ毎に特徴ランキングスコアを生成し、
前記センサ毎に前記特徴ランキングスコアを集約し、前記集合内の各ランカからのランキングスコアを組み合わせることで結合重要度スコアを生成し、
前記結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することでシステム品質を管理し、
前記特徴ランカの集合が、前記センサ毎に前記特徴ランキングスコアを生成するために特徴インタラクションの複数の態様及びそれらの依存性を考慮する、方法。
【請求項２】
前記特徴ランカの集合は、正則化ベースのランカ、ツリーベースのランカまたは非線形ランカのうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
前記物理システムは、物理的製造システムである、請求項１に記載の方法。
【請求項４】
前記変換中に、スライディングウィンドウ技法を用いて、時間軸に沿って連続性を保ちつつ前記特徴を抽出する、請求項１に記載の方法。
【請求項５】
前記未加工の時系列から抽出された前記特徴は、予め定められたライブラリで保存され、前記ライブラリは、信号ダイナミクスの様々な態様を記述する複数の特徴の定義を含む、請求項１に記載の方法。
【請求項６】
前記様々な態様は、時間領域内の時系列の特徴、周波数領域内の時系列の特徴、個々の時系列の時間的依存性、または異なる時系列にわたる時間的依存性のうちの少なくとも１つを含む、請求項５に記載の方法。
【請求項７】
前記特徴ランキングスコアを、前記結合重要度スコアを生成する前にシグモイド関数を用いて正規化する、請求項１に記載の方法。
【請求項８】
物理システム用の品質管理エンジンであって、
前記物理システム内の複数のセンサの各々から収集された未加工の時系列データを、前記未加工の時系列データから特徴を抽出することで１つまたは複数のセットの特徴系列に変換し、前記変換に、前記特徴系列及び前記未加工の時系列データの有効な検索のために１つまたは複数の前記特徴系列にトークンを割り当てることをさらに有し、前記検索に、前記物理システムの処理速度を向上させ、メモリの必要量を減少させる、前記トークンのみを用いる時系列変換器と、
前記特徴のそれぞれをランク付けすることで前記センサ毎に特徴ランキングスコアを生成するように構成された特徴ランカの集合と、
前記センサ毎に前記特徴ランキングスコアを集約し、前記集合内の各ランカからのランキングスコアを結合することで結合重要度スコアを生成するコンバイナと、
前記結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することでシステム品質を管理するコントローラと、
を有し、
前記特徴ランカの集合が、前記センサ毎に前記特徴ランキングスコアを生成するために特徴インタラクションの複数の態様及びそれらの依存性を考慮する、品質管理エンジン。
【請求項９】
前記特徴ランカの集合は、正則化ベースのランカ、ツリーベースのランカまたは非線形ランカのうちの少なくとも１つを含む、請求項８に記載の品質管理エンジン。
【請求項１０】
前記物理システムは、物理的製造システムである、請求項８に記載の品質管理エンジン。
【請求項１１】
前記変換中に、スライディングウィンドウ技法を用いて、時間軸に沿って連続性を保ちつつ前記特徴を抽出する、請求項８に記載の品質管理エンジン。
【請求項１２】
前記未加工の時系列から抽出された前記特徴は、予め定められたライブラリで保存され、前記ライブラリは、信号ダイナミクスの様々な態様を記述する複数の特徴の定義を含む、請求項８に記載の品質管理エンジン。
【請求項１３】
前記様々な態様は、時間領域内の時系列の特徴、周波数領域内の時系列の特徴、個々の時系列の時間的依存性、または異なる時系列にわたる時間的依存性のうちの少なくとも１つを含む、請求項１２に記載の品質管理エンジン。
【請求項１４】
前記特徴ランキングスコアは、前記結合重要度スコアを生成する前にシグモイド関数を用いて正規化される、請求項８に記載の品質管理エンジン。
【請求項１５】
コンピュータ上で実行されたとき、
物理システム内の複数のセンサの各々から収集された未加工の時系列データを、前記未加工の時系列データから特徴を抽出することで１つまたは複数のセットの特徴系列に変換し、前記変換に、前記特徴系列及び前記未加工の時系列データの有効な検索のために１つまたは複数の前記特徴系列にトークンを割り当てることをさらに有し、前記検索に、前記物理システムの処理速度を向上させ、メモリの必要量を減少させる、前記トークンのみを用いるステップと、
特徴ランカの集合を用いて前記特徴のそれぞれランク付けすることで前記センサ毎に特徴ランキングスコアを生成し、前記特徴ランカの集合が、前記センサ毎に前記特徴ランキングスコアを生成するために特徴インタラクションの複数の態様及びそれらの依存性を考慮するステップと、
前記センサ毎に前記特徴ランキングスコアを集約し、前記集合内の各ランカからのランキングスコアを組み合わせることで結合重要度スコアを生成するステップと、
前記結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することでシステム品質を管理するステップと、
を前記コンピュータに実行させる前記コンピュータで読み取り可能なプログラムを含む、コンピュータで読み取り可能な記録媒体。
【請求項１６】
前記特徴ランカの集合は、正則化ベースのランカ、ツリーベースのランカまたは非線形ランカのうちの少なくとも１つを含む、請求項１５に記載のコンピュータで読み取り可能な記録媒体。
【請求項１７】
前記変換中に、スライディングウィンドウ技法を用いて、時間軸に沿って連続性を保ちつつ前記特徴を抽出する、請求項１５に記載のコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１４年１２月２日に出願された米国特許仮出願第６２／０８６３０１号を基礎とし、その開示の全てをここに取り込む。
【０００２】
本発明は、物理システムの管理に関し、特に複雑な物理システムを管理する品質管理エンジンに関する。
【背景技術】
【０００３】
ハードウェアのコストの低下及び自動管理の需要増加に伴って、近年では多くの物理システムがシステムの様々なパーツにわたって分散配置されたセンサの大規模ネットワークを備えている。物理システムの動作ステータスをモニタするセンサの測定値は時系列で連続的に収集される。現在のシステム及び方法は、統計的な分析を用いてセンサ測定値の記録をシステムのキーパフォーマンスインディケーター（ＫＰＩ）と比較する。それらのシステム及び方法では、最も疑わしいセンサを発見するために各センサを個々にテストする。多数のセンサがシステムに存在する場合、そのような方法は効率的でない。より重要なことは、上記システム及び方法では、様々なセンサの測定値間の依存性を無視しており、そのため重要なセンサを見逃す可能性がある。さらに、現在の方法では、測定値から根底にあるパターンを見つけ出すのではなく、センサ測定値の未加工（raw）値だけを考慮に入れている。したがって、最終的な結果が正確とはならない。
【０００４】
品質管理のために疑わしいセンサを発見するためにはいくつかの課題がある。第１に、システム内に大量のセンサが存在し、それらのセンサから収集したデータに相関がある可能性がある。重要度リストを得るために、センサを１つずつ手作業で調べることは不可能である。第２に、様々なセンサから収集されたデータは、システムコンポーネント及びそれらの機能の多様性により様々な挙動を示す可能性がある。例えば、品質が変化する場合、一部のセンサでは、それらの未加工値が直接変化するが、他のセンサでは、センサ測定値に大幅な周波数変化を示すことがある。全てのセンサから時系列なダイナミクスを取り込むために統一した特徴を用いることができない。また、センサデータとシステムの動作状態との依存性は非常に非線形である。例えば、あるコンポーネント内の隠れた障害は、最終的な製造品質に影響を及ぼす前に、通常、一連の非線形な物理的プロセスを経る。結果として、従来のシステム及び方法を用いた最終物は正確ではない。
【発明の概要】
【０００５】
本発明の物理システムの品質管理方法は、物理システム内の複数のセンサの各々から収集された未加工の時系列データを、該未加工の時系列から特徴を抽出することで１つまたは複数のセットの特徴系列（feature series）に変換するステップを含む。特徴ランキングスコア（feature ranking score）は、特徴ランカ（feature ranker）の集合（ensemble）を用いて各特徴をランク付けすることでセンサ毎に生成され、結合重要度スコア（fused importance score）は、センサ毎に特徴ランキングスコアを集約し、上記集合内の各ランカのランキングスコアを組み合わせることで生成される。システム品質は、結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することで管理される。
【０００６】
本発明の物理システムのための品質管理エンジンは、物理システム内の複数のセンサの各々から収集された未加工の時系列データを、該未加工の時系列から特徴を抽出することで１つまたは複数のセットの特徴系列に変換する時系列変換器を備える。特徴ランカの集合は、各特徴をランク付けすることでセンサ毎に特徴ランキングスコアを生成するように構成され、コンバイナはセンサ毎に特徴ランキングスコアを集約し、集合内の各ランカのランキングスコアを結合することで結合重要度スコアを生成する。コントローラは、結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することでシステム品質を管理する。
【０００７】
本発明のコンピュータで読み取り可能な記録媒体は、コンピュータ上で実行されたとき、物理システム内の複数のセンサの各々から収集された未加工の時系列データを、該未加工の時系列から特徴を抽出することで１つまたは複数のセットの特徴系列に変換するステップをコンピュータに実行させるコンピュータで読み取り可能なプログラムを含む。特徴ランキングスコアは、特徴ランカの集合を用いて各特徴をランク付けすることでセンサ毎に生成され、結合重要度スコアは、センサ毎に特徴ランキングスコアを集約し、上記集合内の各ランカのランキングスコアを組み合わせることで生成される。システム品質は、結合重要度スコアに基づいて品質劣化の原因であるセンサを特定することで管理される。
【０００８】
本発明のこれら及びその他の特徴は、以下の詳細な説明及び添付の図面を参照することで明らかになるであろう。
【図面の簡単な説明】
【０００９】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【００１０】
【図１】図１は、本原理の一実施形態による、本発明の原理が適用可能な処理システムの一例を示している。
【００１１】
【図２】図２は、本原理の一実施形態による、品質管理エンジンを含む複雑な物理システムの一例のハイレベル図を示している。
【００１２】
【図３】図３は、本原理の一実施形態による、キーパフォーマンスインディケーター（ＫＰＩ）及び関連する未加工の時系列の時系列グラフの一例を示している。
【００１３】
【図４】図４は、本原理の一実施形態による、品質管理エンジンを用いて物理システムの品質を管理する方法の一例を示している。
【００１４】
【図５】図５は、本原理の一実施形態による、実在する生化学的なプラントのキーパフォーマンスインディケーター（ＫＰＩ）の時系列の一例を示している。
【００１５】
【図６】図６は、本原理の一実施形態による、品質管理エンジンを用いて物理システムの品質を管理するシステムの一例を示している。
【発明を実施するための形態】
【００１６】
本原理は、様々な実施形態により、品質管理エンジンを用いて複雑な物理システムを管理するシステム及び方法を提供する。特に有用な実施形態において、本原理は、自動的で正確なセンサ位置の特定を実現するためにいくつかの機械学習技法（例えば、特徴選択及びランキング、情報結合等）を用いた物理システムにおける品質管理のための一般的なフレームワークを採用してもよい。センサから時系列データが与えられた場合、該データは複数の異なる特徴系列に変換されてもよい。
【００１７】
一実施形態において、これらの特徴は、信号ダイナミクスの様々な態様を記述する多数の特徴の定義を含む、予め定義されたライブラリから得られるものでもよく、例えばシステムダイナミクスに基づいて決定されてもよい。変換の結果として、多数の特徴系列は（例えば、物理システム内に配備された）センサから収集された未加工の時系列に基づいて取得してもよい。これらの全ての特徴系列の重要度は、複数の特徴選択技法（例えば、正則化ベースのランカ、ツリーベースのランカ、ローカライズド非線形ランカ等）を用いて、システム品質に関してランク付けされていてもよい。
【００１８】
いくつかの実施形態において、複数のランカは、線形及び非線形の両方の関係を含む非常に大きい特徴空間における特徴の重要度及びそれらの依存性の異なる見解をカバーするようにまとまって採用（例えば、結合）されてもよい。ランキングスコア結合は、全てのランカからランク付けされた出力、並びに各センサのランキングスコアを組み合わせてもよい。本原理によれば、出力として、品質の変化を説明するために使用できるセンサの最終的なランキングを生成してもよい。
【００１９】
一実施形態において、測定／受信されたセンサデータは、物理システム（例えば、物理的製造システム）の品質を管理するために活用してもよい。実際の製造システムの出力品質は、人間の操作によって調整されてもよく、多くの場合、システムは良好な製品を生成できるが、製品の品質は（例えば、人の操作で検出可能または調整可能でない）ある状態で低下することがあり、それは製造の収益に直接影響を及ぼす。したがって、将来の損失を回避するためには、システムを素早く（例えば、リアルタイムで）調整できるように、品質劣化の原因となる隠れた状態を発見することが重要である。一実施形態において、品質管理は、品質の変化の原因となる疑わしいセンサの位置を特定するために配置されたセンサからのデータを解析することで達成可能であり、その結果、本原理によれば、システム動作が（例えば、リアルタイムで）改善するように、品質劣化の根本原因を迅速に指摘する。
【００２０】
本原理は、システム品質劣化の原因となるセンサを正確に指摘する高品質な（例えば、非常に正確な）効果をもたらすことができる。そのような精度の向上は、運転コストを下げ、物理システムに高収益をもたらす。さらに、本原理によれば、出力は、例えば様々な実施形態によるシステムの問題に対処するレイテンシーを有利に減らす問題デバッグのために用いてもよい。
【００２１】
次に、同じ数字が同一または同様の要素を表す図面、まず図１を参照すると、図１には、本原理の一実施形態による、本原理に好適な処理システム１００の一例が示されている。処理システム１００は、システムバス１０２を介して他の構成要素と動作可能に接続された、少なくとも１つのプロセッサ（ＣＰＵ）１０４を含む。システムバス１０２には、キャッシュ１０６、リードオンリーメモリ（ＲＯＭ）１０８、ランダムアクセスメモリ（ＲＡＭ）１１０、入出力（Ｉ／Ｏ）アダプタ１２０、サウンドアダプタ１３０、ネットワークアダプタ１４０、ユーザインターフェースアダプタ１５０及びディスプレイアダプタ１６０が動作可能に接続されている。
【００２２】
第１のストレージデバイス１２２及び第２のストレージデバイス１２４は、Ｉ／Ｏアダプタ１２０によってシステムバス１０２に動作可能に接続されている。ストレージデバイス１２２及び１２４は、ディスク記憶装置（例えば、磁気記憶装置または光学ディスク記憶装置）、固体磁気装置等のいずれであってもよい。ストレージデバイス１２２及び１２４は、同じタイプの記憶装置であってもよく、異なるタイプの記憶装置であってもよい。
【００２３】
スピーカ１３２は、サウンドアダプタ１３０によってシステムバス１０２に動作可能に接続されている。トランシーバ１４２は、ネットワークアダプタ１４０によってシステムバス１０２に動作可能に接続されている。ディスプレイデバイス１６２は、ディスプレイアダプタ１６０によってシステムバス１０２に動作可能に接続されている。
【００２４】
第１のユーザ入力デバイス１５２、第２のユーザ入力デバイス１５４及び第３のユーザ入力デバイス１５６は、ユーザインターフェースアダプタ１５０によってシステムバス１０２に動作可能に接続されている。ユーザ入力デバイス１５２、１５４及び１５６は、キーボード、マウス、キーパッド、イメージキャプチャデバイス、モーション感知デバイス、マイクロフォンあるいはこれらのデバイスのうちの少なくとも２つのデバイスの機能が組み込まれたデバイス等のいずれであってもよい。本原理の趣旨を維持する限りにおいて、他のタイプの入力デバイスを使用してもよい。ユーザ入力デバイス１５２、１５４及び１５６は、同じタイプのユーザ入力デバイスであってもよく、異なるタイプのユーザ入力デバイスであってもよい。ユーザ入力デバイス１５２、１５４及び１５６は、システム１００に情報を入力し、システム１００から情報を出力するために使用される。
【００２５】
処理システム１００は、当業者であれば容易に思いつくような他の要素（図示せず）を含んでいてもよく、特定の要素を除いてもよい。例えば、当業者であれば容易に理解できるが、処理システム１００には、その詳細な実装に応じて他の様々な入力デバイス及び／または出力デバイスを含むことができる。例えば、無線及び／または有線による種々の入力デバイス及び／または出力デバイスを使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を使用することも可能である。処理システム１００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【００２６】
また、図２及び図６を参照すると、それぞれ後述される回路／システム／ネットワーク２００及び６００は、本発明の原理のそれぞれの実施形態を実施する回路／システム／ネットワークであることを理解されたい。処理システム１００の一部または全部は、図２及び図６に関するシステム２００及び６００の要素の１つまたは複数において実施されてもよい。
【００２７】
さらに、処理システム１００は、例えば、図４の方法４００の少なくとも一部を含む、本明細書に記載された方法の少なくとも一部を実行してもよいことを理解されたい。同様に、図４の方法４００の少なくとも一部を含む、本明細書に記載された方法の一部または全部を実行するために、図２及び図６の回路／システム／ネットワーク２００及び６００の一部または全部を用いてもよい。
【００２８】
次に図２を参照すると、図２には、本原理の一実施形態による、品質管理エンジンを含む複雑な物理システムの一例のハイレベル図が示されている。一実施形態において、本原理によれば、１つまたは複数の複雑な物理システム２０２は、品質管理エンジン２１２を用いて管理及び／またはモニタすることができる。物理システムは、様々なシステムデバイス／プロセスを検出／測定するための複数のセンサ２０４、２０６、２０８、２１０（例えば、センサ１，２，３，．．．ｎ）を含んでいてもよい。
【００２９】
一実施形態において、センサ２０４、２０６、２０８、２１０は、物理システムをモニタする、現在知られているまたは将来知られる任意のセンサ（例えば、温度センサ、圧力センサ、キーパフォーマンスインディケーター（ＫＰＩ）、ｐＨセンサなど）を備えていてもよく、本原理によれば、各センサからのデータを品質管理エンジン２１２に対する入力として用いてもよい。本原理の様々な実施形態によれば、本品質管理エンジンは、物理システムに直接接続されていてもよく、該システムの品質を遠隔で管理するように用いてもよい。本品質管理エンジンは、以下でより詳細に説明する。
【００３０】
次に図３を参照すると、図３には、本原理の一実施形態による、キーパフォーマンスインディケーター（ＫＰＩ）及び関連する未加工の時系列の時系列グラフ３００の一例が示されている。一実施形態において、システムにｎ個のセンサが与えられると、ｎ個の時系列ｘ１（ｔ），．．．，ｘｎ（ｔ）を得ることができる。ここで、ｔ＝１，．．．，Ｔは、上記システムの動作期間である。この期間において、上記システムの品質は、ｙ（ｔ）、ｔ＝１，．．．，Ｔで表される。一般に、ｙ（ｔ）は、時系列３０２で表される上記システムにおける「キーパフォーマンスインディケーター」（ＫＰＩ）と呼ばれる特別なセンサを用いて得ることができる。システム動作は、ＫＰＩ３０２の値に基づいて良好な品質の領域と不良な品質の領域とに分割されていてもよく、本原理によれば、様々な時系列ｘｉ（ｔ）は（例えば、システム品質の変化に対する働きに基づいて）ランク付けされていてもよい。
【００３１】
いくつかの実施形態において、システム品質の変化は、関連するセンサ測定値のダイナミクスの変化で表される、根底にある物理的動作の変化で起きる。しかしながら、異なる時系列のダイナミクスは、一般に異なる観点で表される。例えば、時系列３０２において、品質の変化は、この時系列の未加工値から直接推定できるのに対して、時系列３０４におけるセンサについては測定値における周波数分布が関連する。時系列３０６については、その時間的依存性の変化が上記ＫＰＩの変化を説明できる。
【００３２】
例えば、良好な品質領域では、上記時系列は依存関係ｘ（ｔ）＝ｆ（ｘ（ｔ−１），ｘ（ｔ−２），．．．）を有し、これに対して不良な品質領域では、関係をｘ（ｔ）＝ｇ（ｘ（ｔ−１），ｘ（ｔ−２），．．．）に変えてもよい。但し、ｆ（・）＝ｇ（・）である。時系列の展開を表す複数のさらなるタイプの特徴が存在するが、説明を簡単にするために上記時系列だけを一例として示していることに留意されたい。いくつかの実施形態において、本原理によれば、様々な時系列の展開パターンを読み取れる特徴のライブラリを構築してもよく、該ライブラリは以下でより詳細に説明する。いくつかの実施形態において、これらの特徴の定義は、本原理によれば、システム分野のエキスパートのフィードバックから収集されてもよく、及び／または品質管理エンジンを用いて決定されてもよい。
【００３３】
上記ライブラリに上記特徴の定義（例えば、Ｆ１，．．．，Ｆｍ）が与えられると、該特徴が個々の時系列について正しいものであることはまだ知られていなくてもよい。いくつかの実施形態において、未加工の時系列３０４、３０６、３０８は、１つまたは複数の特徴系列候補（例えば、ｘ（ｔ）→｛ｘＦ１（ｔ）．．．ｘＦｍ（ｔ）｝）に変換されてもよく、本原理によれば、機械学習における１つまたは複数の特徴選択技法が、品質の変化に対するそれらの関係にしたがってそれらの特徴を自動的にランク付けするために採用されてもよい。実際には、（例えば、未加工の時系列とともにそれらの特徴系列を含む）全体で（ｍ＋１）ｎの特徴の候補を有するため、通常、時系列の個数ｎが大きいと、非常に大きい特徴空間に遭遇する。そのような大きい特徴空間が与えられた場合、安定した方法でこれらの特徴をランク付けすることは自明なものではない。さらに、特徴とシステム品質との間の上記依存性は高非線形であり得る。
【００３４】
一実施形態において、これらの問題に対処するため、特徴ランカの集合を採用してもよい。本原理によれば、これらのランカは、例えば正則化ベースの特徴ランカ、ツリーベースの特徴ランカ及び／またはＲＥＬＩＥＦＦ特徴ランカを含んでいてもよく、他のランカを用いてもよい。いくつかの実施形態において、本原理によれば、個々のランカは、他のランカよりも重要な特徴の異なるサブセットを生成／決定してもよい。
【００３５】
例えば、正則化ベースのランカでは、特徴とシステム品質との間の回帰ベースの関係に注目してもよく、ツリーベースのランカでは、重要な特徴を検出するために情報理論ベースの基準を用いてもよく、ＲＥＬＩＥＦＦベースのランカでは、非線形の関係を検出するために各ローカル領域に注目してもよい。本原理によれば、様々なランカのパワーを組み合わせる（例えば、結合させる）ことで、完全で安定したランキングが大きい特徴空間から決定される。
【００３６】
いくつかの実施形態において、１つまたは複数の時系列３０２、３０４、３０６、３０８に基づいて特徴を変換及びランク付けした後に、全てのランキング結果を組み合わせて（例えば、ランキングスコア結合）、疑わしいセンサについてランク付けされた最終的なリストを取得してもよい。このプロセスは、ランキングスコア結合の２次元表示（two dimensional view）をカバーする。第１に、最終的な出力はセンサのランキング（例えば未加工の時系列）としてもよいため、全ての特徴ランキングスコアは、各未加工の時系列について組み合わせてもよい。第２に、異なるランカの出力は、ランキングスコア全体を決定するために組み合わせてもよい。本原理によれば、ランキングスコアの両ディメンションを組み合わせることで、システム品質の変化に対する寄与に基づく最終的なランク付けされたセンサのリストが決定されてもよい。様々なランカの変換、ランク付け及び結合は、以下でさらに詳細に説明する。
【００３７】
次に図４を参照すると、図４は、本原理の一実施形態による、品質管理エンジンを用いて物理システムの品質を管理する方法の一例を示している。一実施形態において、（例えば、複雑な物理システム内の）複数のセンサからのデータは、モニタされ、測定され、及び／または品質管理エンジン４０２の入力として受信される。本原理の様々な実施形態によれば、該品質管理エンジン４０２は、時系列変換４０４、特徴系列ランキング４０６及びランキングスコア結合４０８を実行してもよい。
【００３８】
一実施形態において、本原理によれば、入力４０１（例えば、センサデータ、時系列など）は品質管理エンジン４０２で受信され、出力４０３は該品質管理エンジン４０２で生成される。異なるセンサからのデータは、システムオペレーションに関連して異なるダイナミクスで示されてもよい。入力４０１として受信される、そのようなダイナミクスは、様々な形状、周波数、スケール等であってもよい。これらの不均一な動作を取り扱うため、各センサから収集された時系列は、本原理によれば、ブロック４０４において特徴系列のセットに変換されてもよい。これらの特徴は、未加工の時系列のダイナミクスの様々な態様をカバーしてもよく、品質の変化へ寄与するセンサの位置を特定するために使用してもよい。
【００３９】
一実施形態において、ブロック４１０において、１つまたは複数の時系列からの特徴抽出は、スライディングウィンドウ技法を用いて実行してもよい。この技法は、時間軸に沿って連続性を保ちつつ時系列から特徴を抽出するために用いてもよい。説明に役立つ実例として、特定の時系列ｘｉ（ｔ）からの特徴抽出を検討する。但し、ｉ＝１，．．．，ｎは時系列のインデックスであり、ｔ＝１，．．．，Ｔはタイムスタンプである。ウィンドウの幅はｗで示される。
【００４０】
【数１】
0006615889.tif 000002
とし、系列が
【数２】
0006615889.tif 000003
から開始した場合、幅ｗの部分列（例えば、
【数３】
0006615889.tif 000004
が得られ、潜在的な特徴値
【数４】
0006615889.tif 000005
は、部分列
【数５】
0006615889.tif 000006
から抽出される。ここで、Ｆｊは予め定義された特徴ライブラリＦ中のｊ番目の特徴を表す。この特徴
【数６】
0006615889.tif 000007
は、可能性のある全てのｌについてｘｉ（ｔ）から抽出され、長さＴ−ｗ＋１を有する対応する特徴の時系列（例えば、
【数７】
0006615889.tif 000008
）を得ることができる。本原理は、各時系列ｘｉ（ｔ）について、定義された特徴ライブラリＦ１，．．．，Ｆｍにおいて、ｍ個の特徴シーケンスを抽出するために用いてもよい。ここで、（ｉ＝１，．．．，ｎ）であり、これは未加工の時系列を含む合計で（ｍ＋１）＊ｎ個の系列を有する結果になる。
【００４１】
ブロック４１２において、本原理の様々な実施形態によれば、未加工の時系列は、例えば時間領域４１４における時系列の特性、周波数領域４１６における時系列の特性、個々の時系列の時間的依存性４１８、異なる時系列４２０にわたる依存性を含む、センサ測定値のダイナミクスの様々な態様をカバーするように、１つまたは複数の特徴系列に変換してもよい。
【００４２】
一実施形態において、各未加工の時系列を複数の特徴系列に変換するためにスライディングウィンドウ技法を用いてもよい。品質管理エンジン４０２において実現された特徴リストの一例は、説明のために以下の表１で示されるが、本原理の様々な実施形態によれば、任意の特徴を用いてもよい。
【００４３】
【表１】
0006615889.tif 000009
【００４４】
様々な実施形態において、本原理によれば、上記特徴は、例えば時間領域４１４における時系列の特性、周波数領域４１６における時系列の特性、個々の時系列の時間的依存性４１８及び異なる時系列４２０にわたる依存性の時系列の特性をカバーする。ブロック４１４において、時間領域における時系列の特性に関して、基本統計は、例えば、平均、標準偏差及び各スライディングウィンドウ内の部分列の複数の高次モーメントを含む時系列の展開の様子を反映するように、１つまたは複数の時系列から抽出してもよい。いくつかの実施形態において、本原理によれば、スライディングウィンドウにおける分布値の５％及び９５％の分位点を計算してもよい。いくつかの実施形態において、異なる特徴が時系列変動の異なるダイナミクスを取り込むため、異なる特徴は同じ時系列について抽出されてもよい。
【００４５】
ブロック４１６において、周波数領域における時系列の特性に関し、高速フーリエ変換（ＦＦＴ）を部分列に適用してもよく、パワースペクトル密度からの情報を特徴として使用してもよい。例えば、最も主要な周波数のパワー及び位置を特徴として用いてもよい。いくつかの実施形態において、上記周波数領域は、異なる帯域に分割されていてもよく、各帯域内のパワースペクトルの合計が、特徴として計算されてもよい。
【００４６】
ブロック４１８において、個々の時系列の時間的依存性に関して、自己回帰（ＡＲ）モデルをこの特性を記述するために採用してもよく、該ＡＲモデルの係数を特徴として用いてもよい。全ての時系列が強い時間的依存性を有するとは限らないことに留意されたい。一実施形態において、赤池情報量規準（ＡＩＣ）スコアを良好なＡＲモデルとして計算してもよい。このスコアが長い期間で常に低い場合、本原理によれば、その時系列のＡＲに関連した特徴は無視してもよい。
【００４７】
ブロック４２０において、異なる時系列にわたる依存性に関して、本原理は、２つ以上の時系列から特徴を抽出するために用いてもよい。例えば、２つ以上の時系列について相関係数を計算してもよく、本原理の様々な実施形態によれば、同じスライディングウィンドウに２つの時系列の部分列が存在する場合、この係数を特徴として使用してもよい。
【００４８】
ブロック４２２において、本原理によれば、適合度スコアを特徴毎に生成してもよく、特徴系列のランク付けを始める前に無関係な特徴を取り除いてもよい。一実施形態において、（例えば、未加工の時系列を特徴系列に変換することによって）特徴の時系列を抽出した後、オリジナルの時系列及び関連した特徴系列をトークンから検索できるように、トークンを特徴の時系列に割り当ててもよい（例えば、表１の右欄）。例えば、時系列「系列１」の平均特徴時系列は「平均：：系列１」と名付けてもよく、いくつかの実施形態によれば、トークンの使用は、処理速度を向上させ、メモリの必要量を減少させることができる。
【００４９】
一実施形態において、本原理によれば、特徴系列のランキングは、ブロック４０４における特徴抽出／時系列の変換後にブロック４０６において実行されてもよい。オリジナルのセンサデータは、以下のように表される拡張された時系列のセットに変換されてもよい。
【数８】
0006615889.tif 000010
該セットは、オリジナルの時系列と変換された特徴系列
【数９】
0006615889.tif 000011
の両方を含んでいてもよい。但し、ｍは特徴ライブラリの特徴の総数であり、ｎは未加工の時系列の個数である。
【００５０】
いくつかの実施形態において、ブロック２０４における特徴の変換は異なる時系列の特性を生成する機会をもたらすが、この変換は問題空間がとても大きくなるため、重要な特徴（したがって未加工の時系列）を正確に選択してランク付けする課題をもたらす。さらに、異なる特徴系列は相関を有するため、特徴系列とシステム品質との関係は線形ではなくなる。信頼できる安定した特徴系列のランキングを実現するため、本原理によれば、ＫＰＩ品質に関連した特徴インタラクション（interactions）及びそれらの依存性の全ての態様を特徴系列のランキングのために考慮してもよい。
【００５１】
したがって、単一の特徴ランキング方法に頼るのではなく、本原理によれば、特徴ランカの集合をブロック４２４において用いてもよい。本原理の様々な実施形態によれば、該特徴ランカの集合は、例えば正則化ベースのランカ４２６、ツリーベースのランカ４２８及び／または非線形のローカル構造ベースのランカ４３０を含んでいてもよい。
【００５２】
ブロック４２６において、本原理の実施形態によれば、例えば回帰ベースの関係を見出すために正則化ベースのランカを用いてもよい。様々な実施形態によれば、この特徴選択戦略は、ｌ１−正則化回帰に基づいてもよく、回帰係数に関してスパースソリューション（sparse solution）を生成してもよく、非ゼロ係数を有する特徴だけを選択してもよい。
【００５３】
出力ｙ（ｔ）は２進数でもよいため、ｌ１−正則化回帰は有効に用いることができる。条件付き確率は以下に示す公式で表してもよく、
【数１０】
0006615889.tif 000012
以下のペナルティ負対数尤度を最小にしてもよい。
【数１１】
0006615889.tif 000013
ここで、
【数１２】
0006615889.tif 000014
は、回帰係数のｌ１−ノルムであり、λ＞０は正則化パラメータである。いくつかの実施形態において、最適化問題
【数１３】
0006615889.tif 000015
は、本原理によれば、例えば座標降下法を含む様々な技法を用いて解決してもよい。
【００５４】
ｌ１−正則化回帰に関する問題は解決策が安定しない可能性がある。例えば、データがわずかに変更しただけでも、選択された特徴がいくつかの状況において大幅に異なる可能性がある。この問題に対処するため、本原理によれば、入力サンプルのサブセットがランダムに選択されてもよく、ｗは推定されてもよく、このプロセスは様々な特徴のために複数回反復されてもよい。独立した反復処理（例えば、実行）の全結果は、コンパイルされ、及び／または要約（例えば、圧縮）されてもよく、選択された特徴の最終的なランキングは、各実行中に各特徴が現れる周波数及びランクに基づいて取得されてもよい。
【００５５】
ブロック４２８において、例えば情報理論に基づいて入力特徴の重要度を推定するためにツリーベースのランカを用いてもよく、その結果、ブロック４２６における回帰ベースの特徴選択から、異なる態様において特徴の重要度が与えられる。一実施形態において、上記ツリーベースのランカは、決定木を構築するために（例えば、再帰的に）データセットを分岐（split）してもよく、全ての観察サンプルを有するデータを含む根ノードから開始してもよい。ツリー内のノードτに関し、τの最良の分岐をもたらす式２において最良の特徴ｘｆをサーチする。すなわち、ｘｆの値を最適なカット点と比較することで、オリジナルノードはｎl及びｎｒのサンプルをそれぞれ含む２つのサブノードτl及びτｒに分岐される。
【００５６】
一実施形態において、分岐の良好さは、
【数１４】
0006615889.tif 000016
の情報ゲインのメトリックに基づいていてもよい。但し、
【数１５】
0006615889.tif 000017
及び
【数１６】
0006615889.tif 000018
であり、関数ｉ（τ）はジニ不純度の測度
【数１７】
0006615889.tif 000019
を表し、本原理によれば、ｐ（ｙ＝±１｜τ）はノードτにおける正のサンプルと負のサンプルの比を表している。
【００５７】
いくつかの実施形態において、ツリーベースのランカも安定性の問題を有する。この安定性の問題に対処するため、全てのサンプルをＢ個のサブサンプルに分岐してもよく、Ｂ個の決定木は解決のためにランダムフォレスト法（例えば、アルゴリズム）を導く、これらのサブサンプルから学習してもよい。全てのツリーを学習した後、各特徴ｆの重要度は、フォレスト内の全てのＢツリーにおける全てのノードτの特徴Δｘｆ（τ，ｂ）に関連する情報のゲインを
【数１８】
0006615889.tif 000020
として蓄積することで計算してもよい。但し、τｂはツリーｂにおける全てのノードのセットである。
【００５８】
ブロック４３０において、例えばＲＥＬＩＥＦＦ特徴選択法に基づいて特徴をランク付けするために非線形ランカを用いてもよい。この方法は、本原理の一実施形態によれば、ローカルに出力された特徴と品質との間の非線形な関係を検出できる。典型的な実施形態において、式２の特徴ベクトルｘ（ｔ）における各系列ｘｆ（ｔ）は、ゼロ平均及び単位分散を有するように正規化される。特徴ベクトルのＴ個のサンプルｘ（ｔ）、ｔ＝１，．．．，Ｔは、特徴ベクトルの対応する出力ｙ（ｔ）にしたがって正のセットＸ＋と負のセットＸ−とに分割してもよい。
【００５９】
一実施形態において、特徴の重要度ベクトルｗ＝［ｗ１，．．．，ｗＮ］Ｔは、ブロック４３０におけるベクトルｘｔのこれらのＮ個の特徴に含まれてもよい。ＲＥＬＥＩＦＦ特徴選択は、反復方法として実行されてもよく、ｘ（ｔ）のＴ個のサンプル毎に１度の反復処理が実行されてもよい。ウェイトベクトルｗは、開始時に全てゼロとして初期化してもよい。一実施形態において、本原理によれば、サンプルｘ（ｔ）が与えられた場合、各Ｘ＋及びＸ−から最も近いｋ個（例えば、合計して隣接する２ｋ個）を選択してもよい。
【００６０】
典型的な実施形態において、Ｘ＋及びＸ−における各要素は、ｆ＝１，．．．，Ｎについて、それぞれ
【数１９】
0006615889.tif 000021
及び
【数２０】
0006615889.tif 000022
で表される。但し、ｌ＝１，．．．，ｋ、重要度は以下で示す
【数２１】
0006615889.tif 000023
でアップデートしてもよい。式８は、いくつかの実施形態において、任意の所与の特徴のウェイトが同じクラスの近くのインスタンス（instance）において、他のクラスの近くのインスタンスよりも特徴が異なる場合は特徴のウェイトを減少し、その逆の場合は増加することを示している。Ｔ個のサンプル全ての反復処理後、本原理によれば、特徴毎に最終的な重要度スコアを決定してもよい。
【００６１】
一実施形態において、目標はシステム品質に影響を及ぼす最も重要な時系列を特定することであり、この目標は、本原理によれば、ブロック２０８においてランキングスコアの結合を実行することで実現できる。ランキングスコア結合２０８は、特徴ランカの各結果の組み合わせを含んでいてもよい（例えば、ブロック４２４、４２６、４２８及び４３０にて説明されている）。そのような組み合わせは、ランキングスコアの少なくとも２つの態様をカバーする。ブロック４０８において、各センサに関する統合された特徴の重要度スコアだけでなく、異なるランカからのスコアランキング出力を組み合わせることも可能である。さらに、異なるランカからの特徴ランキングスコアは異なるレンジにあるため、特徴ランキングスコアはブロック４３４における結合プロセスの前にブロック４３２で正規化されてもよい。
【００６２】
一実施形態において、典型的な３つの特徴ランカ４２６、４２８、４３０は、様々な視点から全ての特徴の重要度スコアを計算してもよい。そのため、ブロック４３４における異なるランカに沿ってこれらのスコアを結合する前に、ランキングスコアは、ランキングスコアが同じレンジ内（例えば、０と１の間）にあることを確実にするために、ブロック４３２において正規化してもよい。一実施形態において、本原理によれば、特徴スコアはシグモイド関数を用いて正規化してもよい。例えば、Ｉを特定のランカの重要度スコアとすると、その正規化されたスコア
【数２２】
0006615889.tif 000024
は、
【数２３】
0006615889.tif 000025
で計算してもよい。ここで、パラメータａ及びｃは各ランカのランキングスコアの分布から決定すればよい。
【００６３】
いくつかの実施形態において、それぞれが特定のパラメータ（例えば、（ａ、ｃ））で表されるブロック４３２における正規化中のランカ（例えば、４２６、４２８、４３０）に、異なるシグモイド関数を用いてもよい。これら２つのパラメータの値はシグモイド関数の形状を反映しており、ａが正規化の位置に関連し、ｃがシグモイド関数のグラフにおける曲線の傾斜に関連する。それらの値は、キャリブレーションプロセスに基づいて決定してもよい。すなわち、周知のグラウンドトゥルース（ground truth）を伴う複数の合成データセットを生成してもよく、各ランカの（ａ、ｃ）値はオリジナルのランキングスコアを期待値までマップできるように設定してもよい。
【００６４】
一実施形態において、ブロック４３２においてランキングスコアを正規化した後、全ての特徴ランキングスコアは、品質の変化に関連した重要センサを決定するために、ブロック４３４において組み合わせても（例えば、結合しても）よい。本原理によれば、ブロック４３４における結合は、ブロック４３６におけるセンサ毎に特徴の重要度スコアを組み合わせるステップ及びブロック４３８における異なるランカからスコアランキング出力を組み合わせる（例えば、結合する）ステップを含む、独立したブランチのスコアを組み合わせる２つの主ステップを含んでいてもよい。
【００６５】
ブロック４３６において、各センサからの特徴の重要度スコアを集約してもよい。この例を下記表２で示す。
【００６６】
【表２】
0006615889.tif 000026
【００６７】
一実施形態において、ブロック４３６における集約後、結果として得られた集約された特徴の重要度スコアは、以下の表３で示す値を有していてもよい。
【００６８】
【表３】
0006615889.tif 000027
【００６９】
一実施形態において、全てのランカから（例えば表３から）集約されたスコアは、それらの結合重要度スコアにしたがってセンサの最終的なランキングを得るために組み合わせ（例えば、結合し）てもよい。この一例を以下の表４で示す。
【００７０】
【表４】
0006615889.tif 000028
【００７１】
一実施形態において、本原理によれば、ブロック４３６における集約は、以下の典型的なステップを含んでいてもよい。特定のランカについて、それぞれ
【数２４】
0006615889.tif 000029
及び
【数２５】
0006615889.tif 000030
を特徴
【数２６】
0006615889.tif 000031
の正規化された特徴の重要度スコア及び時系列ｘｉのセンサ重要度とする。Ｉ（ｘｉ）は、以下の
【数２７】
0006615889.tif 000032
で計算される。但し、
【数２８】
0006615889.tif 000033
は、オリジナルの時系列ｘｉの重要度スコアである。センサ毎に組み合わされたスコアは、本原理によれば、本質的に、その特徴のスコアの足し算で表すことができる。
【００７２】
一実施形態において、本原理によれば、ブロック４３８における組み合わせ（例えば、結合）は、以下の典型的なステップを含んでいてもよい。例えば、Ｉｌｅｇ（ｘｉ）、Ｉｔｒｅｅ（ｘｉ）及びＩｎｏｎ（ｘｉ）を、センサｘｉのセンサ重要度スコアの正則化ベースのランカ、ツリーベースのランカ及び非線形ランカとする。Ｉｆｕｓｅｄ（ｘｉ）をセンサｘｉの（結合された）重要度スコア全体を示すものとする。一実施形態において、Ｉｆｕｓｅｄは以下の
【数２９】
0006615889.tif 000034
で計算される。ここで、ｗｒ、ｗｔ及びｗｎは、各ランカに関連するウェイトである。
【００７３】
いくつかの実施形態において、本原理によれば、独立した検証データを、上記ウェイトを決定するために用いてもよい。例えば、各ランカで見つかった最上位の特徴に基づいて分類器（classifier）を構築してもよく、該分類器は評価データを評価するために用いてもよい。ｗ＊の値は、各ランカの検証精度を表している。例えば、本原理によれば、検証用の分類器としてサポートベクターマシン（ＳＶＭ）を含む様々な分類器を用いてもよい。
【００７４】
次に図５を参照すると、図５には、本原理の一実施形態による、生化学プラントのキーパフォーマンスインディケーター（ＫＰＩ）の時系列５００の一例が示されている。生化学プラントのためのＫＰＩ時系列５００は、説明を簡単にするために示したものであり、本原理は、任意の物理システムに適用してもよいことを理解されたい。
【００７５】
一実施形態において、本原理は、特定の調味料のための生化学プラントのプロセスからのデータセットに適用してもよい。このプラントのシステムは、「Ｉ」、「Ｊ」、「Ｋ」、「Ｌ」、「Ｍ」、「Ｎ」及び「Ｏ」と名付けられた７つのセンサを有する。各センサは１分毎にシステムステータスを記録する。このデータセットのＫＰＩ時系列は図５で示されており、各バンプ（bump）５０２、５０４は、ロット毎にプロセスを実行することを示し、様々な実施形態によれば、ＫＰＩ値は、製品の品質及び／またはプロセスが稼働しているか否かを示している。例えば、対応するＫＰＩが１である場合は製品が何らかの異常を有し、対応するＫＰＩが０である場合は製品が正常であり、ＫＰＩが−１である時間領域ではプロセスが非アクティブである。
【００７６】
一実施形態において、品質領域は、このＫＰＩにしたがって割り当てられてもよい。すなわち、ＫＰＩ＝０である時間領域には、良好な品質領域５０２が割り当てられ、ＫＰＩ＝１である時間領域には、不良の品質領域５０４が割り当てられる。本原理によれば、このシステムのために、物理システムの複数のセンサのうち、ＫＰＩに関連するセンサの位置が特定される。下記表５は本方法の最終結果を示しており、センサ「Ｊ」が最も重要な関連する特徴であることが分かる。実際に、これは（例えば、このプラントの特定分野の専門家によれば）重要なセンサである。しかしながら、この結果だけでは、何故このセンサが重要であるのか判別できないため、本原理によれば、各ランカの中間の特徴ランキングの結果を解析する。
【００７７】
【表５】
0006615889.tif 000035
【００７８】
一実施形態において、下記表６は、各ランカの最上位の特徴の結果を示している。
【００７９】
【表６】
0006615889.tif 000036
【００８０】
表６で示すように、本原理によれば、特徴「Kurt::J」（例えば、センサ「Ｊ」の尖度）が、この実際の物理システム（例えば、生化学的プラント）において全てのランカにとって最も重要な特徴であると判別される。特徴系列「Kurt::J」は、ＫＰＩとほぼ同時に変更してもよいが、（例えば、本原理によれば、変換、ランキング及び結合なしで）オリジナルの時系列から直接、そのような同期した変更を特定することは不可能である。
【００８１】
上記の実際例で示すように、様々な実施形態によれば、本原理は、実際の物理システム（例えば、生化学的プラント）の（例えば、ＫＰＩに関連している）最も重要な時系列及び最も重要な特徴を判別するために用いてもよい。いくつかの実施形態において、グラフィカルユーザインタフェース（ＧＵＩ）が構築されてもよく、品質管理エンジンの出力画像が示されてもよく（例えば、結果は、時系列データ及び対応するＫＰＩを入力した後に単にクリックするだけで得られる）、品質管理エンジンのＧＵＩは、本原理の様々な実施形態によれば、（例えば、品質管理エンジンの出力に基づいて）品質を改善するための、物理システムのセッティングを調節するために用いられてもよい。
【００８２】
次に図６を参照すると、図６には、本原理の一実施形態による、品質管理エンジンを用いて物理システムの品質を管理するシステムの一例が示されている。
【００８３】
説明及び明確化のためにシステム６００の多くの態様を単数形で説明しているが、システム６００は、システム６００の説明で言及するアイテムは複数のものに適用してもよい。例えば、単一のコントローラ６８０を図示しているが、本原理の趣旨を維持する限りにおいて、２つ以上のコントローラ６８０を用いてもよい。また、コントローラ６８０はシステム６００を伴った一態様であるが、本原理の精神を維持しつつ複数形に拡張されてもよいことを理解されたい。
【００８４】
本原理の様々な実施形態によるシステム６００は、バス６０１、データ収集器６１０、時系列変換器６２０、特徴シーケンス抽出器６２２、適合度スコア生成器６２４、特徴ライブラリ／記憶装置６３０、特徴系列ランカ６４０、ランキングスコア結合デバイス／データコンデンサ６５０、ノーマライザ６５２、集約器６５４、コンバイナ／結合器６５６、分類器／バリデータ６６０、ＧＵＩディスプレイ６７０及び／またはコントローラ６８０を備える。
【００８５】
一実施形態において、データ収集器６１０は、未加工データ（例えば、センサデータ、時系列、システム動作ステータス等）を収集するために用いてもよく、該未加工データは、時系列変換器６２０対する入力として受信してもよい。時系列変換器６２０は、例えば特徴ライブラリ６３０に含まれる様々な実施形態による時間領域／周波数領域における時系列の特徴、個々の時系列／異なる時系列の時間的依存性を含む、センサ測定値のダイナミクスの様々な態様をカバーするために、未加工の時系列をいくつかの特徴系列に変換してもよい。特徴シーケンス抽出器６２２は（個々の特徴値ではなく）特徴のシーケンスを抽出するためにスライディングウィンドウ技法を用いてもよく、適合度スコア生成器６２４は、特徴系列ランカ６４０を用いる前に、無関係な特徴を取り除くために特徴毎にスコアを生成してもよい。
【００８６】
一実施形態において、特徴系列ランカ６４０の集合は、本原理によれば、例えば正則化ベースのランカ、ツリーベースのランカ及び／または非線形ランカを含む、特徴依存性の全ての態様をカバーするために用いてもよい。ランキングスコア結合デバイス６５０は、本原理によれば、異なるランカからのスコアを正規化するノーマライザ６５２、センサ毎に特徴の重要度スコアを集約する集約器６５４及び／または異なるランカのスコアランキング出力を組み合わせるコンバイナ／結合器６５６を備えていてもよい。
【００８７】
一実施形態において、分類器６６０は、各ランカで見出された最上位の特徴に基づいて構築してもよく、分類器６６０は（例えば、各ランカに関連したウェイトについての）検証データを評価するために用いてもよい。本原理の様々な実施形態によれば、ＧＵＩディスプレイ６７０を設けてもよく、未加工データ、ＫＰＩ時系列等を含んでもよく、コントローラ６８０は、品質管理エンジンを含む品質管理システム６００の出力に基づいてシステムを調節するために用いてもよい。
【００８８】
本明細書に記載した実施形態は、ハードウェアで実現してもよく、ソフトウェアで実現してもよく、ハードウェアとソフトウェアの両方の要素を含んでいてもよく、限定されるものではないがファームウェア、常駐ソフトウェア、マイクロコード等を含むことを理解されたい。好ましい実施形態では、本発明はハードウェアで実現される。
【００８９】
実施形態には、コンピュータもしくは任意の命令実行システムによって使用される、または関連して使用されるプログラムコードを提供する、コンピュータで利用可能な、またはコンピュータで読み取り可能な媒体からアクセスできる、コンピュータプログラム製品が含まれてもよい。コンピュータで利用可能な、またはコンピュータで読み取り可能な媒体には、命令実行システム、装置、もしくはデバイスによって使用されるか、または関連して使用されるプログラムを格納、伝達、伝搬または転送する任意の装置を含んでもよい。該媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム（または装置もしくはデバイス）、あるいは伝搬媒体であってよい。該媒体には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスク等のコンピュータで読み取り可能な媒体を含んでいてもよい。
【００９０】
プログラムコードを記憶及び／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に接続された少なくとも１つのプロセッサを備えていてもよい。このメモリ要素には、実行中にコードがバルク記憶装置から検索される回数を減らすために、プログラムコードの実際の実行中に用いられる局所メモリ、バルク記憶装置及び少なくともいくつかのプログラムコードを一時的に記憶するキャッシュメモリを備えていてもよい。（限定されるものではないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）入出力またはＩ／Ｏデバイスは、直接またはＩ／Ｏコントローラを介してシステムに接続されてもよい。
【００９１】
ネットワークアダプタは、データ処理システムが、プライベートネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたは遠隔プリンタもしくは記憶装置に接続されることを可能にするために、上記システムに接続されてもよい。モデム、ケーブルモデム及びイーサネット（登録商標）カードは、現在利用可能なタイプのネットワークアダプタのほんの一握りのものである。
【００９２】
上記は、あらゆる観点において例示的（illustrative）かつ典型的（exemplary）であって限定的でないものと理解されるべきであり、本明細書に開示の本発明の範囲は詳細な説明から決定されるべきではなく、特許法により許容される全範囲に従って解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び精神から逸脱することなく当業者は様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。
【図１】
0006615889.tif 000037
【図２】
0006615889.tif 000038
【図３】
0006615889.tif 000039
【図４】
0006615889.tif 000040
【図５】
0006615889.tif 000041
【図６】
0006615889.tif 000042