title: Evaluation of visual inspection tests via object detection
title: A case study using the example of power transformers in the energy industry
titleType: Subtitle
Creators: name: Zech, Frederick
Publisher: name: FH Vorarlberg (Fachhochschule Vorarlberg)
Year: 2023
Subjects: subject: 600 Technik, Medizin, angewandte Wissenschaften

description: This thesis evaluates the feasibility of conducting visual inspection tests on power industry constructions using object detection techniques. The introduction provides an overview of this field’s state-of-the-art technologies and approaches. For the implementation, a case study is then conducted, which is done in collaboration with the partner company OMICRON Electronics GmbH, focusing on power transformers as an example. The objective is to develop an inspection test using photographs to identify power transformers and their subcomponents and detect existing rust spots and oil leaks within these components. Three object detection models are trained: one for power transformers and sub-components, one for rust detection, and one for oil leak detection. The training process utilizes the implementation of the YOLOv5 algorithm on a Linux-based workstation with an NVIDIA Quadro RTX 4000 GPU. The power transformer model is trained on a dataset provided by the partner company, while open-source datasets are used for rust and oil leak detection. The study highlights the need for a more powerful GPU to enhance training experiments and utilizes an Azure DevOps Pipeline to optimize the workflow. The performance of the power transformer detection model is satisfactory but influenced by image angles and an imbalance of certain sub-components in the dataset. Multi-angle video footage is a proposed solution for the inspection test to address this limitation and increase the size of the dataset, focusing on reducing the imbalance. The models trained on open-source datasets demonstrate the potential for rust and oil leak detection but lack accuracy due to their generic nature. Therefore, the datasets must be adjusted with case-specific data to achieve the desired accuracy for reliable visual inspection tests. The results of the case study have been well-received by the partner company’s management, indicating future development opportunities. This case study will likely be a foundation for implementing visual inspection tests as a product.
description: In dieser Arbeit wird die Durchführbarkeit von visuellen Inspektionstests an Konstruktionen der Energiewirtschaft mit Hilfe von Objekterkennungstechniken evaluiert. In der Einleitung wird ein Überblick über den Stand der Technik und die Ansätze in diesem Bereich gegeben. Für die Umsetzung wird dann eine Fallstudie durchgeführt, die in Zusammenarbeit mit dem PartnerUnternehmen OMICRON Electronics GmbH am Beispiel von Leistungstransformatoren durchgeführt wird. Ziel ist es, einen Inspektionstest zu entwickeln, der anhand von Fotos Stromtransformator und deren Bestandteile identifiziert, um dann vorhandene Roststellen und Öllecks in diesen Komponenten zu erkennen. Es werden drei Objekterkennungsmodelle trainiert: eines für Stromtransformator und deren Bestandteile, eines für die Rosterkennung und eines für die Erkennung von Öllecks. Der Trainingsprozess nutzt die Implementierung des YOLOv5-Algorithmus auf einer Linux-basierten Maschine, die mit einer NVIDIA Quadro RTX 4000 GPU ausgerüstet ist. Das Modell für den Stromtransformator wird anhand eines vom Partnerunternehmen bereitgestellten Datensatzes trainiert, während für die Erkennung von Rost und Öllecks Open-Source-Datensätze verwendet werden. Die Studie unterstreicht den Bedarf einer leistungsfähigeren GPU zur Verbesserung der Trainingsexperimente und nutzt eine Azure DevOps Pipeline zur Optimierung des Arbeitsablaufs. Die Leistung des Modells zur Erkennung von Stromtransformatoren ist zufriedenstellend, wird jedoch durch Bildwinkel und ein Ungleichgewicht bestimmter Unterkomponenten im Datensatz beeinflusst. Die Verwendung von Videomaterial mit mehreren Blickwinkeln ist eine vorgeschlagene Lösung für den Inspektionstest, um diese Einschränkung zu beheben, sowie die Vergrößerung des Datensatzes mit Schwerpunkt auf die Verringerung des Ungleichgewichts. Die Modelle, die auf Open-Source-Datensätzen trainiert wurden, zeigen das Potenzial für die Erkennung von Rost und Öllecks, sind aber aufgrund ihrer allgemeinen Natur nicht präzise genug. Daher müssen die Datensätze mit fallspezifischen Daten angepasst werden, um die gewünschte Genauigkeit für zuverlässige visuelle Inspektionstests zu erreichen. Die Ergebnisse der Fallstudie wurden von der Geschäftsleitung des Partnerunternehmens positiv aufgenommen, was auf zukünftige Entwicklungsmöglichkeiten hindeutet. Diese Fallstudie wird wahrscheinlich eine Grundlage für die Einführung von visuellen Inspektionstests als Produkt sein.