(57)【要約】  本発明は、インフラストラクチャ、特に鉄道のインフラストラクチャを維持するためのビジュアル検査システムおよび方法に関する。このシステムはインフラストラクチャ自身の特徴的部材、例えばレールを枕木に締結する結合ロックの存在／不存在を自動的に検出するよう、全体に自動的にリアルタイムで作動できる。
2009501855.tif 000002
【特許請求の範囲】
【請求項１】
インフラストラクチャ自身の特徴部材を検出するためのインフラストラクチャの視覚的自動検査方法において、
前記インフラストラクチャの連続する部分のシーケンス内の画像を収集するステップと、
前記収集した画像から前記インフラストラクチャの幾何学的座標を抽出するステップと、
前記幾何学的座標に基づき、前記収集した画像から前記特徴部材の提供された位置に対応するサブ画像を抽出するステップと、
前記サブ画像内において前記特徴部材の存在／不存在を検出するステップとを備える、前記インフラストラクチャの視覚的自動検査方法。
【請求項２】
前記サブ画像内において、前記特徴部材の存在／不存在を検査する前記ステップは、
少なくとも１つの変換関数により、前記サブ画像を予備処理するフェーズと、
前記特徴部材の存在／不存在を決定することにより、少なくとも１つの分類子により予備処理された前記サブ画像を分類するフェーズとを備える、請求項１記載の方法。
【請求項３】
前記収集したインフラストラクチャの画像から、幾何学的座標を抽出する前記ステップは、取り扱うべきデータを低減するようにデータを低減するフェーズと、ニューラルネットワークに基づき管理された分類フェーズとを備える、請求項１または２記載の方法。
【請求項４】
前記特徴部材を含むサブ画像を抽出する前記ステップは、前記収集した画像のうちの各１つ内で前記特徴部材をサーチするフェーズを含む、請求項１から３のいずれか１つに記載の方法。
【請求項５】
前記サーチするフェーズは、網羅タイプのサーチモードを含む、請求項４記載の方法。
【請求項６】
前記サーチするフェーズは、ジャンプ状タイプの第２のサーチモードを含む、請求項４または５記載の方法。
【請求項７】
前記サーチするフェーズは、得られた結果に応じ、前記第１サーチモードと前記第２サーチモードを交互に切り換える、請求項５および６に記載の方法。
【請求項８】
少なくとも１つの変換関数により、前記サブ画像を予備処理する前記ステップは、入力データ自身に対し、二次元ウェーブレットタイプの２つの変換式を同時に適用する、請求項２から７のいずれか１つに記載の方法。
【請求項９】
二次元ウェーブレットタイプの前記２つの変換式のうちの第１の変換式は、ドブシー変換式である、請求項８記載の方法。
【請求項１０】
二次元ウェーブレットタイプの前記２つの変換式のうちの第２の変換式はハール変換式である、請求項９記載の方法。
【請求項１１】
少なくとも１つの分類子により、予備処理された前記サブ画像を分類する前記ステップは、ドブシー変換式により、前記予備処理の結果を分類する第１フェーズを提供する、請求項９記載の方法。
【請求項１２】
少なくとも１つの分類子により、予備処理された前記サブ画像を分類する前記ステップは、ハール変換式により、前記予備処理の結果を分類する第２フェーズを提供する、請求項１０または１１記載の方法。
【請求項１３】
前記第１の分類フェーズの結果と第２の分類フェーズの結果とを論理関数により組み合わせる、請求項１１および１２記載の方法。
【請求項１４】
前記論理関数は、ＡＮＤ関数である、請求項１３記載の方法。
【請求項１５】
前記少なくとも１つの分類子は、ニューラルタイプの分類子である、請求項１１および１４のうちのいずれか１つに記載の方法。
【請求項１６】
リアルタイムで作動する、請求項１から１５のいずれか１つに記載の方法。
【請求項１７】
画像収集ユニット（２）と、処理ユニット（３）とを備え、インフラストラクチャ自身の特徴部材を検出するためのインフラストラクチャの視覚的自動検査システムにおいて、
前記処理ユニット（３）は、
前記収集した画像から前記インフラストラクチャの幾何学的座標を抽出するための第１サブユニット（４）と、
前記幾何学的座標に基づき、前記収集した画像から前記特徴部材の提供された位置に対応するサブ画像を抽出するための第２予測サブユニット（５）と、
前記サブ画像における前記特徴部材の存在／不存在を決定するようになっている、第３検出サブユニット（６）とを備える、前記インフラストラクチャの視覚的自動検査システム。
【請求項１８】
前記第３検出サブユニット（６）は、少なくとも１つの変換関数により前記サブ画像を予備処理するためのモジュール（７）と、
少なくとも１つの分類子により、予備処理された前記サブ画像を分類するためのモジュール（７）とを備える、請求項１７記載のシステム。
【請求項１９】
前記予測サブユニット（５）は、データを低減するための手段と、ニューラルネットワークに基づき、前記データを分類するための手段とを備える、請求項１７または１８記載のシステム。
【請求項２０】
前記予測サブユニット（５）は、前記収集画像のうちの各１つ内の前記特徴部材をサーチするための手段を備える、請求項１７から１９のいずれか１つに記載のシステム。
【請求項２１】
前記収集画像のうちの各１つ内の前記特徴部材をサーチするための前記手段は、網羅タイプのサーチモードを実行するようになっている、請求項２０記載のシステム。
【請求項２２】
前記収集画像のうちの各１つ内の前記特徴部材をサーチするための前記手段は、ジャンプ状タイプのサーチモードを実行するようになっている、請求項２０または２１記載のシステム。
【請求項２３】
前記収集した画像の各１つ内の前記特徴部材をサーチするための前記手段は、得た結果に基づき、前記第１サーチモードと前記第２サーチモードとを交互に切り換えるようになっている、請求項２１および２２記載のシステム。
【請求項２４】
前記予備処理モジュール（７）は、同じ入力データに対し、二次元ウェーブレットタイプの２つの変換を同時に適用する手段（７’、７”）とを備える、請求項１８から２３のいずれか１つに記載のシステム。
【請求項２５】
二次元ウェーブレットタイプの前記２つの変換式のうちの第１の変換式は、ドブシー変換式である、請求項２４記載のシステム。
【請求項２６】
二次元ウェーブレットタイプの前記２つの変換式のうちの第２の変換式は、ハール変換式である、請求項２４または２５記載のシステム。
【請求項２７】
前記分類モジュール（８）は、ドブシー変換式により前記予備処理の結果の第１分類を実行するための第１手段（８’）を備える、請求項２４および２５記載のシステム。
【請求項２８】
前記分類モジュール（８）は、ハール変換式により前記予備処理の結果の第２分類を実行するための第２手段（８”）を備える、請求項２４および２６記載のシステム。
【請求項２９】
前記分類モジュール（８）は、論理関数により前記第１分類の結果と第２分類の結果を組み合わせるための手段を備える、請求項２７および２８記載のシステム。
【請求項３０】
前記論理関数はＡＮＤ関数である、請求項２９記載のシステム。
【請求項３１】
前記第１分類手段（８’）および前記第２分類手段（８”）は、ニューラルタイプの分類子である、請求項２７および２８のいずれか１つに記載のシステム。
【請求項３２】
リアルタイムで作動する、請求項１から３１のいずれか１つに記載のシステム。
【請求項３３】
リアルタイムで作動する、請求項１７から３１のいずれか１つに記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉄道のインフラストラクチャをメンテナンスするための視覚的検査システムに関し、より詳細には、本発明はレールを枕木に締結する結合ロックが存在するか存在しないかを自動的に検出するためのシステムに関するものである。
【背景技術】
【０００２】
鉄道のインフラストラクチャのメンテナンスは、危険な状況を防止するために定期的検査が必要な特定の実用分野に含まれる。通常、このメンテナンスの運用は特殊な要員によって視覚的に実行されており、この特殊な要員は、異常を一目で探しながら、鉄道のネットワークに沿って定期的に移動する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
かかるマニュアルの検査によって得られる結果は、起こり得る異常性を検出することと危険な状況の認識における観察者の能力とに厳密にリンクしているので、かかるマニュアルの検査は明らかに低速で、かつ労力がかかり、潜在的な危険性がある。
【０００４】
高速鉄道の交通量の増加と共に、世界中の会社はトラックの欠陥、枕木の異常だけでなく、結合ロックが存在しないことを認識できる自動検査システムを開発することに関心をもっている。
【０００５】
かかるシステムは、欠陥を認識し、検査時間を短縮する能力を高め、鉄道網のより頻繁なメンテナンス作業を保証できる。
【０００６】
知られているように、レールは２種類の結合ロック、すなわち六角形ヘッドのボルトまたはフックボルトを使って枕木に締結できる。
【０００７】
これら２つのロックは主に形状が異なっており、第１のロックはランダムに配向できる正六角形となっており、第２のロックは単一方向に配向できる、より複雑なフック状の形状をしている。
【０００８】
以下、八角形ヘッドボルトのケースを参照することにより、本発明について説明するが、後に明らかとなるように、本発明は他のケースにおける直接的な用途があるだけでなく、他のタイプの欠陥を検出するニーズにおいても用途がある。
【０００９】
鉄道のインフラストラクチャに関連する問題に関する文献から、下記のような装置が周知となっている。例えばC.Alippi、E.Casagrande、F.ScottiおよびV.Piuri著「鉄道のトラックのプロファイルを測定するための複合リアルタイム画像処理」、IEEE Trans.Instrumentation and Measurement、第49巻3号、559−564ページ、2000年6月に記載されているような、回転トラックのプロファイルを測定するためのシステム、またはK Sato、 H.Arai、T.ShimizuおよびM.Takada著「レベルクロスの安全性を高めるために超音波センサを使った障害物検出器」、大量トランジットシステムにおける開発に関するIEE国際会議の議事録、190−195ページ、1998年4月に記載されているような、障害物を検出するためのシステム、サイバネティクスグループ（フランス）、「IVOIRE: レール検査のためのシステム」、国際ドキュメンテーション、http://www.cybernetix.fr および／またはBenntec Systemtechnik Gmbh「RAILCHECK: レール分析のための画像処理」、国際ドキュメンテーション、http://www.benntec.comに記載されているような、トラックの欠陥を認識するためのシステム、A.Rubaai、「アムトラック鉄道のトラックシステムをモニタリングするためのニューラルネットに基づくデバイス」、工業用途に関するIEEE Trans.第39巻、第2号、374−381ページ、2003年3月−4月に記載されているような、切り換え器の状態を検査するためのシステムなどが周知となっている。
【００１０】
それにもかかわらず、現在のところ、結合部材を認識するための特定の問題を解決するシステムは存在しない。
【００１１】
わずかに存在する方法は、専ら一定の幾何学的プロファイルを有す結合部材（例えば六角形ボルト）を検討する視覚的トレードシステムだけであり、これら方法は問題を分析するために画像を認識するための幾何学的方法を使用している。
【００１２】
しかしながら、かかるシステムは極めてインタラクティブであり、最良の性能を得るためには、各閾値を較正するために人のオペレータを必要とする。従って、異なる結合部材を検査しなければならないとき、再び較正を実行しなければならない。
【００１３】
従って、本発明の目的は、独立請求項１に記載のインフラストラクチャ自身の特徴部材を検出するために、インフラストラクチャの視覚的自動検査方法を提供することにより、上記課題を解決することにある。
【００１４】
本発明の別の目的は、請求項１５に記載のインフラストラクチャ自身の特徴部材を検出するために、インフラストラクチャを視覚的に検査するための対応する自動化されたシステムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明の二次的な特徴は、それぞれの従属項に記載されている。
【００１６】
本発明は公知技術の上記問題を克服することにより、多数の明らかな利点を提供できる。
【００１７】
本発明に係わる検査システムは完全に自動的であり、オフラインモードだけでなく、好ましいリアルタイムモードでも作動でき、管理すべき部材のタイプに応じた較正フェーズを必要としない。人のオペレータは制御すべきロッキング部材の画像を選択するプロセスにしか介入しない。
【００１８】
本発明に係わる検査方法は、制御すべき部材の形状を限定せず、幾何学的なプロファイルおよび不規則なプロファイルの双方に適合できる。
【００１９】
図面を参照することにより、単なる例として示し、発明を限定するためには示していない本発明の好ましい実施例の次の詳細な説明から、本発明の別の利点だけでなく、その特徴および利用形態が明らかとなろう。
【００２０】
以下の説明では、添付図面を参照する。
【実施例】
【００２１】
図１を参照する。この図は本発明に係わる検査システム１のブロック図を示す。          
【００２２】
システム１は、画像の収集ユニット２を備える。
この収集ユニット２は、Cameralink（著作権）プロトコルを使用し、１０２４の解像ピクセル（６７kLine／秒の最大ラインレート）を特徴とするラインカメラDALSA PIRANHA 2（著作権）に基づき、更にこの収集ユニットにはPC-CAMLINK（著作権）収集カード（撮像技術CORECO（著作権））が設けられている。
【００２３】
この収集ユニット２は、本明細書に説明するアプリケーションを目的として、レール上の車両、例えば列車の下方部分に設置されている。図２は、かかる設備を示す。
この設備は、車両が移動する際にカメラがレールの連続画像を撮影できるようになっている。
【００２４】
自然の輝度の変化する条件による効果を低減するために、収集ユニット２はOSRAM（著作権）41850タイプの６つの小型ライトを装備することが好ましい人工照明装置を更に備える。このように画像収集は自然光の変化に対して強力になっている。
【００２５】
更に、データ収集を同期化するためにカメラはホイールエンコーダによって制御されており、このホイールエンコーダは所定のインターバルで収集パルスを送る。エンコーダは車両の車輪が３ｍｍ回転するごとに１つのパルスを送り、車速とは独立して３ｍｍに等しいレール方向（メイン運動方向）に沿った解像度を定めることが好ましい。その代わりに、運動方向に直交する方向に沿ったピクセル解像度は、１ｍｍに決定されている。
【００２６】
こうして収集された画像は、リアルタイムで処理ユニット３へ送信され、処理ユニット３はインフラストラクチャの特徴部材の存在／不存在を検出するように、画像シーケンスの検査を可能にしている。特に、以下レールを枕木に締結する六角ヘッドボルトの存在（または不存在）を検出するように実施される処理モードについて説明する。
【００２７】
従って、処理ユニット３はこの結果、検査したレールの状態に関する詳細なレポートを提供し、所定の場合には、問題、例えばボルトが存在しないことが識別された区域を特に検出するのに必要な表示を示す。
【００２８】
このレポートは別の検査を必要とせず、欠陥を有する区域に直接アクセスすることにより、区域のメンテナンスを可能にするよう、有利に利用できる。
【００２９】
次の図３は、機能的ブロック図により、所望する結果を得るためにユニット３によって実行される処理モードを示す。
特に収集された画像のシーケンスは入力として第１処理サブユニット４に供給され、この第１処理サブユニット４は特に検査しているレールの幾何学的座標の抽出を機能的に提供する（ＲＤ＆ＴＢブロック）。
【００３０】
計算上の高度に複雑なことを考慮すると、希望する性能を得るにはＦＰＧＡ上でハードウェアによりＲＤ＆ＴＢブロックを実施することが好ましく、以下ＦＰＧＡのより細部について説明する。
【００３１】
ＲＤ＆ＴＢブロックは、収集した画像内のトラック位置を決定するように働く。実施される技術は、EigenFacesの名称で公知となっている方法の適応技術である。この方法は、基本コンポーネント分析（ＰＣＡ）の拡張であり、２つのフェーズ、すなわち取り扱うべきデータを低減するように適当なスペース（コンポーネントスペース）内でグレイレベルをマッピングするデータ低減フェーズと、トラックを検出するためにニューラルネットワークに基づくスーパービジョン分類フェーズとから構成されている。
【００３２】
Ｉ（ｘ，ｙ）をＭ行とＮ列を有するトラック画像とする。この画像Ｉは入力画像の一部であり、ｒｉ（ｉ＝１...Ｐ，Ｐ≧Ｎ）を画像Ｉの行から抽出されたＱ＜Ｎ個のピクセルから構成され、下記のマトリックスを構成するように収集されたデータから選択されたＰ個のベクトルの集合とする。
Ａ＝［ｈ１,....,ｈＰ］                （Ｅ１）
ここで
ｈｉ＝ｒｉ−μｉ            （Ｅ２）
μｉ＝［μｉ,..,μｉ］Ｔ          （Ｅ３）
ここで、記号μｉはｒｉにおける強度の平均値を示す。
【００３３】
異なる照明条件下で取得したトラックの例を選択するように、ベクトルｒｉを選択する。
【００３４】
マトリックスＡはＮ行およびＰ列のサイズを有し、Ａから次のような共分散マトリックスを構築できる。
Ｃ＝ＡＡＴ                  （Ｅ４）
Ｎ×ＮマトリックスであるＣはトラック画像ｒｉの間の相互の関係に関する情報を含む。
【００３５】
ＰＣＡ分析によれば、Ｃの固有ベクトルｕｊ（ｊ＝１...Ｎ）はデータ間の分散が最大となる新しい基準空間を定義する。Ｃの固有値λｊは、ｕｊの各々の１つに対するデータの分散値である。
【００３６】
従って、
λｋ＞λｋ＋１（ｋ＝１，....,Ｎ−１）      （Ｅ５）
となるような座標が定められた固有ベクトルｕｊは、ｕｋへの入力データの写像の集合がｕｋ＋１に関係する分散値よりも大きい分散値を有することを意味する。従って、固有値λｊは、成分ｕｊに対する順序の関係を誘導する。
【００３７】
固有値λｊに対する閾値を設定することにより、入力データの情報内容の９０％を示すのに十分な対応する固有ベクトルＬ（Ｌ＜Ｎ）を選択することが可能となる。λｌ（ｌ＝１...Ｌ，Ｌ＜Ｎ）を選択された成分とすると、一般ベクトルｒ’を次のように表示できる。
【数１】
2009501855.tif 000003
ここで、μ’はｒ’の平均値である。計算上の見地から、次のように係数ａｉをスカラー積によって評価するマトリックスＡの特異値分解（ＳＶＤ）によってＣの固有ベクトルおよび固有値を推定できる。
ａｌ＝（ｒ’−μ’）ｕｌＴ        （Ｅ７）
【００３８】
このシナリオでは、次のベクトル
ａ’＝［ａ１,....,ａＬ］Ｔ        （Ｅ８）
をｒ’の情報の大きな部分を含む特徴と見なすことができる。
【００３９】
トラック検出フェーズはトラックおよびトラックでない例ｒｉを含むトレーニング集合での多層パーセプトロン（ＭＬＰ）をトレーニングすることに基づく。
【００４０】
このテストフェーズはサイズＱ（トラックサイズ）を有するウィンドウにより、各入力画像ラインをスキャニングすることから成る。各ウィンドウ位置に対し、サーチプロセスはベクトルｒ’を抽出し、ＭＬＰによりｒ’がトラックの中心にあるか否かを評価する。
【００４１】
１０２４個のピクセルのラインをデジタル化するカメラにより、これまで説明したように収集セットアップを行う。トラックの中心を検出するために、エッジのピクセルを除き、８００個のピクセル（Ｎ＝８００）だけのラインを検討する。レール幅は３０１個のピクセルであるので、４０１個のピクセル（５０個のエッジピクセル＋３０１個のトラックピクセル＋５０個のエッジピクセル；Ｑ＝４０１）を有するベクトルｒｉが既に構築されている。
【００４２】
ベクトルｒｉの４５０の例（Ｐ＝４５０）を使用することにより、（Ｅ１）および（Ｅ４）に従い、マトリックスＡおよびＣを誘導する。従って、固有ベクトルｕｊおよび固有値λｊが決定され、入力データの情報内容の９１％を示すのに１２個の固有ベクトル（Ｌ＝１２）で十分であるかどうかを実験的にチェックする。
【００４３】
この検出システムは、ニューロンの３つの層（入力層、隠れた層および出力層）によって構成されたＭＬＰＮＣを利用する。
【００４４】
入力層は分類しなければならないベクトルｒ’に対する（Ｅ７）によって計算された係数ａｍ＋１に対応する１２個のニューロンｎ１，ｍ（ｍ＝０...１１）によって形成される。
【００４５】
隠れた層は８個のニューロンｎ２，ｋ（ｋ＝０...７）から成る。これらニューロンは次の式によって示される第１層の伝搬から導出される。
【数２】
2009501855.tif 000004
一方、出力層の単一ニューロンｎ３，０は、次の式で示される。
【数３】
2009501855.tif 000005
ここで、ｗ１，ｍ，ｋおよびｗ２，ｋ，０は、第１／第２層と第２／第３層との間の重みである。双方の層に対し、変域］０，１［を有するアクチベーション関数ｆ（ｘ）は次のとおりである。
【数４】
2009501855.tif 000006
【００４６】
このシナリオでは、レンジ］０，１［内にある分類子ｎ３，０の出力は、ベクトルｒ’がどれだけトラック上で集中されているかに関する信頼測度を与える。
【００４７】
適応学習レートおよび８００個より多いサンプルを有するトレーニングセットを有する誤り逆伝搬技術を使ってバイアスおよび重みを計算する。
【００４８】
処理ユニット３は、略称ＰＡＢを有する、図３で識別された予測サブユニット５を更に備える。レールの幾何学的座標に関連したデータと共に、サブユニット５のＰＡＢへの入力として、収集された画像の同じシーケンスが提供される。
【００４９】
サブユニット５のＰＡＢは、六角形ヘッドボルトを含むように、サブ画像の候補を収集した画像から抽出するために、入力として受信されたデータを利用し、これらウィンドウだけが検査対象となる。
これまで説明したケースでは、２４×１００個のピクセルのサブ画像ウィンドウが提供されている。図４には、かかるウィンドウの一部の例が示されている。
【００５０】
次に、これらウィンドウは、略称ＢＤＢ（ボルト検出ブロック）とも表示されている検出サブユニット６への入力として提供され、この検出サブユニット６については後に詳細に説明する。
【００５１】
図５を参照することにより、レール構造に起因し、レールと結合ロックとの間の距離Ｄｘは一定であり、あらかじめ知られている。このように、レールを自動的に検出し、レールをトラッキングする結果、移動方向Ｘに沿ったボルトの位置を決定することが基本的なこととなる。この検出手順は、ＲＤ＆ＴＢブロックによって実行される。
【００５２】
サブユニット５のＰＡＢは動きｙに直交する方向に沿ったボルトの位置を示す。この目的を達成するために、サブ画像内部のサーチフェーズが提供される。かかるサーチフェーズに対し、２つのサーチモード、すなわち網羅的サーチおよびジャンプ状サーチを使用することが好ましい。
【００５３】
第１（網羅的）サーチのタイプでは、同時に（同じｙにて）左右のボルトの最初の発生が発見されるまで、レール位置からの（周知の）距離Ｄｘにおけるサーチ領域を検査する。このポイントにおいて、この位置（位置Ａ）を決定し、記憶し、双方のボルトの第２の発生（位置Ｂ）が識別されるまで、このように分析を続ける。従って、方向ｙに沿ったＢとＡとの間の距離を計算し、これを図５でＤｙと表示する。このポイントにおいて、サーチプロセスはジャンプ状サーチモードに移る。実際に公知のように、方向ｙに沿った２つの隣接する枕木の間の距離は固定されている。更に、ジャンプ状サーチは計算時間を短縮し、システム全体の内部での働きを加速することにより、六角形ヘッドボルトが関係するウィンドウを含むように、エリア候補内だけにジャンプするようにＤｙを使用する。
【００５４】
ジャンプ状サーチ中に、予想されている位置でサブユニット５がボルトを発見しない場合、サブユニットはログファイル内に誤り位置（アラームを発生した位置）を記憶し、再び網羅的サーチをスタートさせる。次の例によって、以下、網羅的サーチからジャンプ状サーチへの切り換えを記述する疑似的コードを示す。
【００５５】
Ｄｏ  画像シーケンススタート  ｔｏ  画像シーケンス終了
Ｒｅｐｅａｔ
網羅的サーチ；
Ｉｆ  第１の左右のボルトが発見された
この位置（Ａ）を記憶する；
ｕｎｔｉｌ  第２の左右のボルトが発見される；
この位置（Ｂ）を記憶する；
ｙに沿ったＢとＡとの間の距離を決定する；
Ｒｅｐｅａｔ
ジャンプ状サーチ；
ｕｎｔｉｌ  予測されているボルトが見つかる；
ｅｎｄ  ｄｏ
【００５６】
既に示されているように、次にボルト（ＢＤＢ）を検出するためのサブユニット６への入力として、サブユニット５のＰＡＢの出力を提供する。
【００５７】
偽陽性を検出することを防止するために、サブユニットＢＤＢは２つの異なる処理結果を組み合わせる。サブユニットは少なくとも１つの変換関数により、サブ画像の予備処理モジュール７を含む。特に、かかる予備処理モジュール７は、入力スペースサイズを大幅に低減する入力データへの２つの変換式、特に２つの離散ウェーブレット変換２−Ｄ（ＤＷＴ）を同時に利用するための手段７’、７”を備える。予備処理モジュールからのデータ、および特に２つの変換の結果は、分類モジュール８への入力として提供される。この分類モジュールは、２つの異なる分類、特にニューラルネットワークに基づく２つのそれぞれの分類子（多層パーセプトロンニューラル分類子、ＭＬＰＮＣ）を実行するための手段８’、８”を備える。
【００５８】
プロトタイプにより実行されるテストからＢＤＢは現存するボルトを検出するのに９９.６％の精度および存在しないボルトを検出するのに９５％の精度を提供し、更に結果をクロスする方策を利用することで、ビデオシーケンスの２，２５０の処理されたラインごとに１つの偽陽性しか出現させない。
【００５９】
計算の複雑さが高い場合、検出サブユニット６全体を（８.０９μｓ内でＢＤＢ処理を実行できる）ＦＰＧＡに基づくハードウェアで実行することが好ましく、予測アルゴリズム（このアルゴリズムは鉄道のインフラストラクチャの幾何学的形状を利用することにより、分析すべき数個のウィンドウを長いビデオシーケンスから抽出する）と協働し、リアルタイムの働きを可能にする。例えば２０１ｋｍ／ｈのピークで、１５２ｋｍ／ｈの平均レートで、９Ｋｍをカバーする画像の長いシーケンスを検査した。
【００６０】
本発明に係わるシステムがボルトを分類するときに使用されるプロセスは、ＭＬＰＮＣニューラルネットワークに基づく分類子に基づく。このＭＬＰＮＣの計算性能は、検査すべき画像を含むためのサーチウィンドウ候補を識別するための予測アルゴリズムおよび入力のスペースのサイズ（すなわち画像を記述する係数の数）と厳密にリンクしている。
【００６１】
このシステムは予測サブユニット５により、連続する六角形ボルトの間の距離を計算し、この情報に基づき、ボルトの存在が予想されるウィンドウの位置を予測する。
【００６２】
入力のスペースのサイズを縮小するために、システムは係数の小さい集合内の入力画像に関するすべての重要な情報を保存できる抽出アルゴリズムの特性を利用する。このアルゴリズムは、ウェーブレット離散変換２−Ｄ  ＤＷＴに基づき、ＤＷＴが定数の縮小集合内に入力画像の重要な分散値を集中することを検討する。
【００６３】
特定のケースでは、ドブシー（Ｄａｕｂｅｃｈｉｅｓ）によって導入されたコンパクトウェーブレットと、ハール（Ｈａａｒ）のＤＷＴ（ハール変換としても知られる）の双方をパラレルに使用することが望ましい。
この予備処理プロセスを作動することにより、入力ウィンドウをドブシーのＤＷＴ（ＤＤＷＴ）およびハールのＤＷＴ（ＨＤＷＴ）のそれぞれの結果である、１５０個の係数の２つの集合（すなわちＤ＿ＬＬ２およびＨ＿ＬＬ２に縮小される。
【００６４】
次に２つの集合Ｄ＿ＬＬ２およびＨ＿ＬＬ２を分類ブロック、すなわちドブシーの分類子（ＤＣ）およびハールの分類子（ＨＣ）に提供する。これら分類子の出力は、論理ＡＮＤ演算と組み合わされ、分類モジュール８（ＭＬＰＮ）の出力を提供する。
【００６５】
このことは、ボルトの存在／不存在を検出し、リアルタイムでディスプレイされる合格／警告対応する信号を提供する（図５参照）。警告（すなわちボルトが存在しない）場合、レポートファイル内に空間座標およびその他の不可欠なデータを記憶する。
【００６６】
論理ＡＮＤ関数は、偽陽性の検出をほとんど完全に防止する。
【００６７】
実行される処理モードを良好に理解するために、以下、ウェーブレット変換およびニューラル分類子の数式に関する一部の情報をレポートする。
【００６８】
ウェーブレット変換は、有限期間の単一ベース関数（ウェーブレットプロトタイプと称される）により変換された拡張／縮小バージョンを使用することにより、時間領域内で信号を分解する有名な数学的技術である。このウェーブレット変換は、無限期間のベース関数を利用する従来の変換（例えばフーリエ変換、コサイン変換など）と異なっている。信号ｘ（ｔ）の連続的単一次元（１−Ｄ）ウェーブレット変換式は次のとおりである。
【数５】
2009501855.tif 000007
ここで、
【数６】
2009501855.tif 000008
は、次の
【数７】
2009501855.tif 000009
で示されるウェーブレットタイプの共役複素数であり、ａは時間の拡張を示し、ｂは時間の変化を示す。
【００６９】
いくつかのアプリケーションの（時間内および空間内の双方における）離散的性質に起因し、これまで信号の性質、時間パラメータおよび空間パラメータに基づき、異なるウェーブレット変換式（ＤＷＴ）が提案されている。
【００７０】
二次元（２−Ｄ）の変換式ＤＷＴは、マルチレベルの分解プロセスを通して演算される。図７には一般的な２−Ｄ  ＤＷＴ分解レベルｊが示されている。この分解レベルは、４つのサブバンドＬＬｊ、ＬＨｊ、ＨＬｊおよびＨＨｊにおけるデータＬＬｊ−１の集合２−Ｄの別の分解と見なすことができる。大文字およびその位置は、単一次元のフィルタ（ローパスフィルタに対してはＬ、ハイパスフィルタに対してはＨ）のアプリケーションおよびアプリケーションの向き（水平方向に対しては最初の文字、垂直方向に対しては２番目の文字）に関連している。バンドＬＬｊは、ＬＬｊ−１のおおまかな近似であり、バンドＬＨｊおよびＨＬｊはＬＬｊ−１の水平方向および垂直方向に沿った変化をそれぞれ記憶し、一方、ＨＨｊは高周波成分を示す。双方の方向に沿った各レベルに関しては切り捨てが必要であるので、レベルｊにおける各サブバンドはＮｊ×Ｍｊ要素によって分解される。ここでＮｊ＝Ｎ０／２ｊおよびＭｊ＝Ｍ０／２ｊである。異なるフィルタＬおよびＨを使用することにより、ＤＷＴの異なる性質を強調できる。このようなフレキシビリティにより、ＤＷＴを広範なアプリケーション、組織の識別およびセグメント化、フラクタル分析、画像圧縮、レーダー対象の認識、数値分析、エッジ外挿、バイオ医学などに、成功裏に適用されている。
【００７１】
更にドブシーによって紹介されたコンパクトウェーブレット正規直交基底は有効な情報のほとんどの部分を含む少数の特徴で六角形ヘッドボルトを特徴付けるための優れたデバイスである。
【００７２】
本発明に係わるシステムの収集プロセスのセットアップの後で、サブユニット５は、サブ画像を検査するように２４×１００ピクセルのサブ画像を提供する。精度を低下することなく、この分解レベルの数を低減するために、分解レベルの数を変えることによって異なるＤＷＴをテストした。６×２５個の定数だけから構成されたサブバンドＬＬ２により最良の妥協に達した。次の章で説明する分類子を使用することにより、入力画像からボルトを認識する際に９９.９％の精度を保証する。
同時にブロックはハールのＤＷＴサブバンドＬＬ２も計算する。その理由は、２つの分類子の結果をクロスすることにより、実質的に偽陽性を検出することを回避できるからである。
【００７３】
いくつかのアプリケーション、例えばルールの発生、関数の近似、ルーティング、適応制御、リソース割り当て、作業負荷の予測および分散、衝突回避、優先評価などでニューラルネットワークが利用されている。
【００７４】
更に、これらの人気は、特に画像から情報を抽出する際の画像処理アプリケーションに起因する。実際にニューラルネットワークに基づく分類子は、幾何学的なアプローチに基づく技術に関して否定できない利点を有する。その理由は、ニューラルネットワークはオブジェクトを示すために幾何学的モデルを必要としないからである。
【００７５】
本発明によれば、２つのＭＬＰＮＣ分類子８’および８”（図３ではＤＣおよびＨＣ）を使用し、それぞれＤＤＷＴ（ドブシー）およびＨＤＷＴ（ハール）に対してトレーニングする。これら２つの分類子ＤＣおよびＨＣは同じトポロジーを有し（これらは重みの値に関してのみ異なる）、更にニューロンの３つのレベル（入力レベル、隠れたレベルおよび出力レベル）によって構成される。
【００７６】
ＤＣ［およびＨＣ］の入力レベルは、次の式で示されるサブバンドＤ＿ＬＬ２［Ｈ＿ＬＬ２］の係数Ｄ＿ＬＬ２（ｉ，ｊ）［Ｈ＿ＬＬ２（ｉ，ｊ）］に対応する１５０個のニューロン
【数８】
2009501855.tif 000010
（ｍ＝０....１４９）によって構成されている。
Ｄ＿ｎ’ｍ＝Ｄ＿ＬＬ２（ｍ／２５，ｍｍｏｄ２５）      （Ｅ１３）
Ｈ＿ｎ’ｍ＝Ｈ＿ＬＬ２（ｍ／２５，ｍｍｏｄ２５）      （Ｅ１３’）
【００７７】
ＤＣ［およびＨＣ］の隠されたレベルは１０個のニューロン
【数９】
2009501855.tif 000011
（ｋ＝０....９）から構成されており、これらニューロンは次の式で示される第１レベルの伝播から誘導される。
【数１０】
2009501855.tif 000012
【００７８】
最後に、出力レベルのユニークなニューロン
【数１１】
2009501855.tif 000013
は次の式で示される。
【数１２】
2009501855.tif 000014
ここで、Ｄ＿ｗ’ｍ，ｋおよびＤ＿ｗ''ｋ，０［Ｈ＿ｗ’ｍ，ｋ  ｅ  Ｈ＿ｗ''ｋ，０］は、第１／第２レベルと、第２／第３レベルの間の重みである。
【００７９】
双方のレベルに対し、レンジ］０，１［を有するアクティベーション関数ｆ（ｘ）は次の式で示される。
【数１３】
2009501855.tif 000015
【００８０】
このシナリオでは、
【数１４】
2009501855.tif 000016
は０から１の間の値をとり、ＤＣ［ＨＣ］に従い、現在のサーチウィンドウで検出すべきオブジェクトの存在に関する信頼性の尺度を与える。
Ｄ＿ｎ０'''とＨ＿ｎ０'''は分類子の最終結果を提供するように次のように組み合わされる。
【数１５】
2009501855.tif 000017
【００８１】
適応学習レートおよび１，０００よりも多い例のトレーニングセットを有する誤り逆伝搬アルゴリズムを使用することにより、バイアスおよび重みを計算する。
【００８２】
前に既に示したように、一部のユニットおよび／またはサブユニットはハードウェアで実現される。今日、プログラマブルロジックはいくつかの分野において戦略的な役割を果たしている。実際に、最近２０年の間に、市場に出るまでの時間をより短縮するように、柔軟性要件が強力に求められている。更に一般的に、ＦＰＧＡはシリコン技術のレベルを実現する最初のデバイスである
【００８３】
従って、当初簡単なロジックを開発するために、ＦＰＧＡが創出されたとしても、現在、これらＦＰＧＡは異なる分野、例えば精密測定システム、マルチメディア、画像処理、信号処理、医療測定、暗号学、暗号分析、パワーシステム、ビデオ圧縮、通信システム、制御システム、画像認識、指紋をリアルタイムで認識するためのデータベースなどにおけるシステムの心臓部となっている。
【００８４】
本発明に係わるシステムがリアルタイムの性能を得ることができるようにするために、ハードウェア、予備処理モジュールＤＷＴＰＢおよび分類モジュールＭＬＰＮＤＢにおいて、サブユニット６のＢＤＢで、より計算負荷の大きいブロックが実現されている。
【００８５】
プロトタイプの開発プラットフォームであるAlteraのキットとして、ＰＣＩの高速開発キットStratix（商標）のプロフェッショナル版（図９）を採用した。この開発キットは、他の特徴部品のうちでも特にデバイスStratix（商標）EP1S60F1020C6のＦＰＧＡ、２５６ＭバイトのＰＣ３３３  ＤＤＲ  ＳＤＲＡＭ、３２ビットまたは６４ビットのＰＣＩおよび８／１６ビット、８００Ｍｂｐｓまでの差分Ｉ／Ｏを有する。
【００８６】
デバイスStratix（商標）EP1S60F1020C6のＦＰＧＡには、５７，１２０のルックアップテーブル（ＬＵＴ）、１８ＤＳＰのブロックおよび１０Ｔビット／秒よりも多い全バンドで、グローバルに５，２１５，１０４ビットに達する異なるサイズの数個のメモリ素子が設けられている。
【００８７】
設計、シミュレーションおよびテストのための環境は、Quartus II（商標）である。図１０は、最大に略された図と共にQuartus II（商標）ＣＡＤツールのディスプレイを示す。
アーキテクチャはメモリとして解釈できる。
−ホストが分析すべき２４×１００ピクセルのウィンドウを書き込むときに、演算がスタートする。このフェーズでは、ホストはＩＮＰＵＴ＿ＩＮＴＥＲＦＡＣＥ内のダブルゲートメモリ（ピンアドレス［９....０］）をリコールし、３００個の６４ビットワードのフォームで、２４００バイトをデータ入力ピン［６３....０］に送る。
−マシンがその作動を完了するとすぐに、出力ラインｉｒｑは結果がレディ状態となったことの信号を発生する。このポイントにおいて、ホストはＯＵＴＰＵＴ＿ＩＮＴＥＲＦＡＣＥ内のＦＩＦＯメモリをリコールすることにより、これら結果を読み出す。
【００８８】
ＩＮＰＵＴ＿ＩＮＴＥＲＦＡＣＥブロックは、入力データを受信し、処理フェーズから入力フェーズを分離する。これは主に処理フェーズを同期化し、入力中にバスＰＣＩ上で生じ得る遅延から独立させるためである。更に、これによりＩ／Ｏ（ｃｌｋＰＣＩ信号）に対する、より高い周波数（ｃｌｋＨＷ信号）での作動が可能となる。
【００８９】
ＳＨＩＦＴＲＥＧＩＳＴＥＲＳブロックとＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲブロックとの協働により、ドブシーの２−Ｄ  ＤＷＴ予備処理を実行する。
【００９０】
リソースおよび計算時間を保護するために、浮動点での処理を廃棄し、固定点での精密な計算を採用した。更に、専らサブバンドのＬＬ２に関心があるので、これに注意を集中した。
【００９１】
ドブシーが提案した２−Ｄ  ＤＷＴフィルタは、次のような１−Ｄ  Ｌフィルタを有し、
【表１】
2009501855.tif 000018
更に、（図７に示されるような２回の単一次元ステップを提供するクラシックモードの代わりに）１回の二次元ステップでサブバンドＬＬ２を計算し、その後、行と列の双方に沿って４を切り捨てることが理解できよう。図１１は、適用した対称カーネル１６×１６を示す。
【００９２】
各レベルに対し、４つのすべてのサブバンドを計算するのに、分割可能な方法がおおいに効率的である。しかし、本発明に係わるシステムの分類プロセスはＬＬ２と別のサブバンドを必要としない。
【００９３】
更に、固定された精度を使用するとき、分割可能な方法の各ステップは異なるダイナミクスを有する結果を提供し、このように決定されたステップで使用されるハードウェアの結果、別のステップを実行するのには結果として使用できない。
【００９４】
単一ステップで発生する（固定点の精度に起因する）誤りは伝搬せず、容易に制御できる。これに反し、サブバンドＬＬ２を計算するために分割可能なアプローチを使用するとき、誤りは、４つのステップに沿って伝搬する。
【００９５】
この光学系において、ＳＨＩＦＴＲＥＧＩＳＴＥＲＳは１６×１６のマトリックスを実現し、このマトリックスは、クロックサイクルごとに、列に沿って４だけ移動することにより、２４×１００の入力ウィンドウ上にスクロールする。このことは、１６×１６マトリックスのうちのｊ番目の行（ｊ＝０....１５）が示されている図１２に表示されるようなルートで実施される。行に沿った４だけのシフトは、ＩＮＰＵＴ＿ＩＮＴＥＲＦＡＣＥによって実行され、このＩＮＰＵＴ＿ＩＮＴＥＲＦＡＣＥは（ｊ  ｍｏｄ  ４）＝（ｍ  ｍｏｄ  ４）となっている２４×１００（ｍ＝０....２３，ｎ＝０....９９）の入力ウィンドウのうちのピクセルｐ（ｍ，ｎ）だけをマトリックスのうちのｊ番目の行に挿入する。
【００９６】
クロックストロークごとにＩＮ［５１１....０］を通し、６４バイト／ｃｃ（１６ラインに対し、各ラインごとに４バイト）のレートで、ＳＨＩＦＴＲＥＧＩＳＴＥＲＳ内でパラレルな入力ウィンドウの１６の隣接する行が送られる。同時に、ＯＵＴ＿２５６バイト［２０４７....０］を通し、ＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲ内で１６×１６メモリに記憶されている２５６バイトすべてがパラレルに送られる。
【００９７】
ＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲは、セル（ｊ，ｉ）からのピクセルをセル（ｉ，ｊ）（ｊ＝０....１５，ｉ＝０....１５）からのピクセルに加えることにより、カーネルの対称性を利用（図１１）し、その後、和の積を計算し、関連するフィルタ係数を有するマトリックスの対角要素の積を計算し、最後までこれら積を累積する。
【００９８】
従って、ＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲは１係数／ｃｃのレートで、１１ｃｃｓの待ち時間の後、係数ＬＬ２を発生する。これら係数は、ダイナミックスが増加することに起因し、３５ビットで表記され、これら係数はＤ＿ＬＬ２［３４....０］を通して１ＬＥＶ＿ＭＬＰＮ＿ＣＬＡＳＳＩＦＩＥＲに入力される。
【００９９】
ハールの変換式は極めて簡単なＤＷＴであり、実際に関連する１−ＤフィルタはＬ＝［１／２，１／２］およびＨ＝［１／２，−１／２］となる。従って、次のように１回のステップで任意の係数Ｈ＿ＬＬ２（ｉ，ｊ）を計算できる。
【数１６】
2009501855.tif 000019
【０１００】
かかる係数を計算するために、ドブシーのＤＷＴに対して同じＳＨＩＦＴＲＥＧＩＳＴＥＲＳブロックを使用し、次にＨＡＡＲ＿ＬＬ２＿ＦＩＬＴＥＲブロックを使用する。このＨＡＡＲ＿ＬＬ２＿ＦＩＬＴＥＲブロックは、ＳＨＩＦＴＲＥＧＩＳＴＥＲＳによって実現されたスクロール１６×１６マトリックスを中心とする４×４ウィンドウのうちのピクセルｐ（ｍ，ｎ）の値を示すＯＵＴ＿ＴＯ＿ＨＡＡＲ＿１６バイト［２５５....０］からのデータを合計する。
【０１０１】
このようにＨＡＡＲ＿ＬＬ２＿ＦＩＬＴＥＲは２クロックサイクルの待ち時間の後、ブロックサイクルごとに１つの係数（１２ビットで示される）を発生し、この係数をＨ＿ＬＬ２［１１....０］を通して１ＬＥＶ＿ＭＬＰＮ＿ＣＬＡＳＳＩＦＩＥＲブロックへ送る。
【０１０２】
前に説明したように、ＭＬＰＮ分類子が実行しなければならない計算は、（ＤＣ分類子およびＨＣ分類子の双方に対し）次の計算である。
【数１７】
2009501855.tif 000020
【０１０３】
アクティベーション関数ｆ（ｘ）を実施するのに必要なハードウェアが高コストになることに起因し、１ＬＥＶ＿ＭＬＰＮ＿ＣＬＡＳＳＩＦＩＥＲにおいて、次の式を実施することが望ましい。
【数１８】
2009501855.tif 000021
ここで、ｋ＝０...９である。
【０１０４】
式（Ｅ２３）および（Ｅ２３’）は、（Ｅ２１）および（Ｅ２１’）のアクティベーション関数の引数に相当する。これを行うことにより、ハードウェアでかかる引数を計算し、ホストに送り、ホストはソフトウェアでｆ（Ｄ＿ｘｋ）、ｆ（Ｈ＿ｘｋ）（Ｅ２２）および（Ｅ２２’）を計算する。しかしながら、（Ｅ２３）および（Ｅ２３’）は、ソフトウェアで計算された２０の積、２０の和、２２のアクティベーション関数および閾値（Ｅ１７）との比較に対して、ハードウェアで計算された３０００個の積および３０００個の和に相当する。
【０１０５】
この演算を実行するために、１ＬＥＶ＿ＭＬＰＮ＿ＣＬＡＳＳＩＦＩＥＲには１０個の乗算器およびアキュムレータ（ＭＡＣ）の２つの組、すなわちＤ＿ＭＡＣｋおよびＨ＿ＭＡＣｋ（ｋ＝０....９）が設けられている。
【０１０６】
ＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲ［ＨＡＡＲ＿ＬＬ２＿ＦＩＬＴＥＲ］によって係数Ｄ＿ＬＬ２（ｉ，ｊ）［Ｈ＿ＬＬ２（ｉ，ｊ）］が発生されるとすぐに、乗算器Ｄ＿ＭＡＣｋ［Ｈ＿ＭＡＣｋ］は、この係数をパラレルにＤ＿ｗ’ｍ，ｋ［Ｈ＿ｗ’ｍ，ｋ］（ｍ＝２５ｉ＋ｊ，ｋ＝０....９）回数乗算し、１５０のクロックストロークの間、このように続ける。この場合、Ｄ＿ＬＬ２［Ｈ＿ＬＬ２］の１５０の係数の各１つに対し１つのクロックストローク（ｃｃ）が対応する。
【０１０７】
セットアップ中、２０個のＬＵＴ（１５０個の重みを記憶する各乗算器に対し、１つのＬＵＴが設けられている）内にあらかじめ重みＤ＿ｗ’ｍ，ｋおよびＨ＿ｗ’ｍ，ｋが記憶されている。各Ｄ＿ＭＡＣｋ［Ｈ＿ＭＡＣｋ］のアキュムレータは、Ｄ＿ｂｉａｓｋ［Ｈ＿ｂｉａｓｋ］で初期化され、このアキュムレータは、乗算器によって積が計算されるとすぐに、これら積をアキュムレートする。
【０１０８】
待ち時間に起因し、１ＬＥＶ＿ＭＬＰＮ＿ＣＬＡＳＳＩＦＩＥＲブロックの演算は、ＤＡＵＢ＿ＬＬ２＿ＦＩＬＴＥＲおよびＨＡＡＲ＿ＬＬ２＿ＦＩＬＴＥＲによって提供された最終係数Ｄ＿ＬＬ２（５，２４）およびＨ＿ＬＬ２（５，２４）から５ｃｃｓ後に終了する。この時点で、Ｄ＿ＭＡＣｋおよびＨ＿ＭＡＣｋ（ｋ＝０....９）の２０個のアキュムレータに記憶されたデータは、ダイナミックスが増加することに起因し、それぞれ６３ビットおよび４５ビットを有する。これらデータはＤＣ＿ＯＵＴ＿６３ビット＿Ｘ＿１０ニューロン［６２９....０］およびＨＣ＿ＯＵＴ＿４５ビット＿Ｘ＿１０ニューロン［４４９....０］により、ＯＵＴＰＵＴ＿ＩＮＴＥＲＦＡＣＥブロックへ送られる。
【０１０９】
これらデータはＯＵＴＰＵＴ＿ＩＮＴＥＲＦＡＣＥブロックにより符号が拡張され、６４ビットのワードによってフォーマット化される。更に、ＯＵＴＰＵＴ＿ＩＮＴＥＲＦＡＣＥはＦＩＦＯを使用することにより、これらデータをシリアル化し、結果が収集するレディ状態にあることを示すｉｒｑ信号を発生する。ホストが終了するために、これら結果（読み出された信号）を必要とし、これらをｄａｔａｒｅａｄ［６３....０］（１ワード／ｃｃ）で受信する。
【０１１０】
次の表１は、アーキテクチャが必要とするリソースエンゲージメントを合計したものである。この表はＳｔｒａｔｉｘ（商標）ＥＰ１Ｓ６０Ｆ１０２０Ｃ６  ＦＰＧＡで利用できるリソース間の比較も示している。リソースを部分的に使用する際には、同じＦＰＧＡで前に説明したＲＤ＆ＴＢブロックも実施しなければならないことを考慮すべきである。
【表２】
2009501855.tif 000022
【０１１１】
実験結果および性能の説明
本発明に係わるシステムの処理コアを設計し、これを証明するために、約９Ｋｍの間の、一連のレールの画像を収集した。
【０１１２】
まず、バイアスおよび分類子の重みを決定するために、「適応学習レート」を有する既知の誤り逆伝搬方法を使用した。分類子のニューラルネットワークをトレーニングするために採用した画像セットは、収集したビデオシーケンスから抽出した２４×１００ピクセルのウィンドウで表示された、異なる配向の六角形ボルトの３９１個の陽性の例と、７０３個の陰性の例とを含む。
【０１１３】
次のテストを実行するために残りのビデオシーケンスを使用した。
【０１１４】
予備的処理方針を定める際に、ドブシーのＤＷＴに基づくＤＣ分類子は、極めて高い検出レートに達したが（パートＶＩＩ．Ｃ参照）、この分類子は網羅的フェーズ中におけるサーチ中に所定の数の偽陽性（ｆｐ）を発生した。
【０１１５】
これら誤りを低減するために、クロス有効化フェーズを導入した。次に、稀な計算上の重みを仮定し、ハールのＤＷＴを検査した。ＨＣ分類子はハールのＤＷＴが発生するサブバンドＬＬ２で作動するニューラル分類子であり、この分類子を設計し、トレーニングした。ＨＣはいくつかのより多い偽陽性を検出した場合でも、ＤＣの同じ検出率に達した。
【０１１６】
しかしながら、ＨＣが検出した偽陽性は、ＤＣが発生した偽陽性に関して異なった特徴（ウィンドウ）から誘導される。この現象は図１３Ｃ内でアンダーラインが付けられており、図１３Ｃでは、ＤＣ（図１３Ａ）およびＨＣ（図１３Ｂ）が網羅的フェーズ（すなわちボルトのペアの間でのジャンプがないフェーズ）において、収集したビデオシーケンスの４５００本のラインを処理したときの、ＤＣおよびＨＣによって得られる検出（真の陽性および偽陽性の双方）の間で適用されるＡＮＤ関数の結果が示されている。
【０１１７】
明らかな結果として、ＤＣとＨＣのＡＮＤ関数によって得られる相互検証により、分析された４，５００本のライン（分析された９０，０００の特徴部）に対し、わずか２つの偽陽性しか検出されなかった。次の表２に、数値的な結果を示す。
【０１１８】
ＦＰ／ＴＰの関係は網羅的フェーズにリンクしていることに注目できるが、これら関係は、処理ラインのうちの９８％よりも多いラインに関係するジャンプ状サーチの間に大幅に低減される（章ＶＩＩ．Ｅを参照）。
【表３】
2009501855.tif 000023
【０１１９】
ボルトの存在／不存在を検出する際のシステムの精度を測定するために、観察者が自動検出の正確さを管理できるようにするトレースモードで浮動小数点型の精度を採用するプロトタイプの全ソフトウェアシステムを実施した。
【０１２０】
この実験は、一連の３，３５０個のボルトに対して実施した。このシステムは、次の表３に示されるように、見ることができるボルトの９９.９％、隠れたボルトの０.１％および存在しないボルトの９５％を検出した。
【表４】
2009501855.tif 000024
【０１２１】
上記テストによって得られたレポート（ファイルログ）を、ハードウェア構造で使用すべきワードのビット数を定めることを目的とする同様な実験のレポートのための比較条件として使用した。
【０１２２】
固定小数点について、ソフトウェアのプロトタイプを浮動小数点変更した。異なるバージョンのソフトウェアの手順をドブシーのフィルタの係数およびＤＣ並びにＨＣの重みの双方に対し、異なる精度（すなわち使用されるビット数）によってコンパイルした。フィルタ係数に対し、２３ビットを設定し、双方の分類子の重みに対して２５ビットを設定すると、浮動小数点の精度を使用して得られた精度よりも、見ることのできるボルトの検出の際にわずか０.３％だけ精度が低下した。このような妥協は、受け入れ可能であると見なし、これら仕様を使用することによりハードウェアを開発した。
【０１２３】
その後の実験結果は、達成した計算性能を測定するためにビデオシーケンス全体で全システム（ハードウェアおよびソフトウェア）を検査できるようにした。次の表４には、このテストの結果が示されている。
【表５】
2009501855.tif 000025
【０１２４】
これらデータは、８.０９μｓで２４×１００ウィンドウの分析を実行する、クロックサイクルが６６ＭＨｚおよび１００ＭＨｚのパートＶＩで説明したハードウェアアーキテクチャと協働する、１ＧＢのＲＡＭを有する３.２ＧＨｚのペンティアム（登録商標）ＩＶで実行された、ビジュアルＣ＋＋、バージョン６.００で開発されたソフトウェアアーキテクチャから誘導されたものである（図１４参照）。
【０１２５】
例として示し、発明を限定するために示したものではない、本発明の好ましい実施例に従って、本発明について説明した。
【０１２６】
他の実施例も想到できるが、これらは特許請求の範囲に記載した発明の保護範囲に属すと見なすべきである。
【図面の簡単な説明】
【０１２７】
【図１】本発明に係わるシステムを示すブロック図である。
【図２】ビデオ収集システムの図である。
【図３】本発明に係わるシステムのより詳細なブロック図である。
【図４】収集した画像から抽出したサブ画像ウィンドウのうちの３つの画像を示す。
【図５】本発明に係わる方法を実施するソフトウェアプログラムのビジュアルディスプレイである。
【図６】レールの幾何学的形状を示す。
【図７】二次元ウェーブレット変換の一般的な分解レベルを略図で示す。
【図８】サブ画像に対し、２つの２−Ｄ  ＤＷＴレベルを適用した結果を示す。
【図９】プロトタイプの開発プラットフォームとして使用されるカードを示す。
【図１０】図９のカードの開発システムから抽出したビジュアルディスプレイを示す。
【図１１】２−Ｄ変換の計算に使用するカーネルの図を示す。
【図１２】システムハードウェアのシフトレジスタの一般的なラインを示す。
【図１３Ａ】分析されたラインに対するメンバーの存在検出を示すグラフである。
【図１３Ｂ】分析されたラインに対するメンバーの存在検出を示すグラフである。
【図１３Ｃ】分析されたラインに対するメンバーの存在検出を示すグラフである。
【図１４】本発明に係わるシステムのシミュレーションレポートから抽出したディスプレイである。
【図１５Ａ】２つのサーチモードの間の切り換えを示すグラフである。
【図１５Ｂ】２つのサーチモードの間の切り換えを示すグラフである。
【図１】
2009501855.tif 000026
【図２】
2009501855.tif 000027
【図３】
2009501855.tif 000028
【図４】
2009501855.tif 000029
【図５】
2009501855.tif 000030
【図６】
2009501855.tif 000031
【図７】
2009501855.tif 000032
【図８】
2009501855.tif 000033
【図９】
2009501855.tif 000034
【図１０】
2009501855.tif 000035
【図１１】
2009501855.tif 000036
【図１２】
2009501855.tif 000037
【図１３Ａ】
2009501855.tif 000038
【図１３Ｂ】
2009501855.tif 000039
【図１３Ｃ】
2009501855.tif 000040
【図１４】
2009501855.tif 000041
【図１５Ａ】
2009501855.tif 000042
【図１５Ｂ】
2009501855.tif 000043
【国際調査報告】
2009501855.tif 000044
2009501855.tif 000045
2009501855.tif 000046
2009501855.tif 000047