Dokunmatik ekranlı cihazlar için görüntü işlemeye dayalı robotik test otomasyon sistemi geliştirilmesi
Development of image processing based robotic test automation system for touch screen devices
Yazar: YİĞİT KARABULUT
Danışman: DOÇ. DR. SEZAİ TAŞKIN
Celal Bayar Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Kontrol ve Kumanda Sistemleri Bilim Dalı
Derece: Yüksek Lisans, 2016
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
Tüketici elektroniğine geniş bir açıdan baktığımız zaman, tablet ve akıllı telefonlar gibi dokunmatik ekrana sahip cihazlara olan talebin artışı, bu cihazlara ait testlerin hızlı ve güvenli bir şekilde yapılması ihtiyacını doğurmuştur. Mevcut test platformlarının yapısında insan faktörü önemli bir rol oynadığı için çalışma sırasında birçok hata oluşabilmektedir. Bu sorunları gidermek için test platformlarının, test otomasyon sistemlerine dönüştürülmesine yönelik çalışmalar yapılmıştır. Robotlu test otomasyon sistemleri günümüzde elektronik cihazların test işlemlerinde önemli bir rol oynamaktadır.
Bu çalışmada, delta robot temelli bir test otomasyon sistemi tasarlanmıştır. Tasarlanan delta robot için donanım elemanları olarak LEGO® Mindstorms® NXT 2.0 servo motorları ve kontrolörü kullanılmıştır. Yazılım olarak ise MATLAB® R2016b kullanılmıştır. Robota ait elde edilen kinematik denklemler MATLAB® üzerinde çalıştırılmış ve robot açıları ile kartezyen koordinat düzlemi arasındaki dönüşüm sağlanmıştır. Sistemin kararlı bir şekilde çalışabilmesi için bir kamera sisteme eklenmiştir. Yapay görme algoritması olarak NCC (normalize çapraz korelasyon) algoritması kullanılarak robotun dokunmatik ekran üzerinden aldığı görüntüler şablon görüntülerle karşılaştırılmış ve sisteme geri besleme olarak verilmiştir. Tasarlanan robotik tabanlı test otomasyon sisteminde delta tipi robot kullanılması sayesinde farklı boyutlardaki dokunmatik ekranlı cihazlar için kullanılabilir özellikte olması sağlanmıştır. Robot, görüntü işleme tabanlı hareket yönlendirme yaptığından farklı işletim sistemine sahip cihazlar için performans, stress vb. gibi farklı test ihtiyaçları gerektiren uygulamaların yapılabilmesine olanak sağlamaktadır. Tasarlanan robot sistemindeki hareket kontrol elemanları olarak endüstriyel ürünler kullanılması durumunda çok daha hızlı ve profesyonel çözümler ortaya konulması mümkündür.

Abstract:
When we have a wide perspective on awareness of consumer electronics, increasing the demand of touch screen devices such as tablet, smart phone etc. has created a need for making the test of these devices quickly and reliably. The human factor plays an important role on structure of existing test platforms, and creates many errors during operation. So as to overcome these problems, some solutions have been developed. Especially, robotic based test automation systems are now playing an important role on testing electronic devices.
In this study  a delta robot based test automation system is designed to perform for touch screen device testing. In order to design delta robot,  LEGO® Mindstorms® NXT 2.0 servo motors and their controller are used as hardware elements. The designed delta robot system is controlled via MATLAB® R2016b development environment. Kinematic equations of the robot are run in MATLAB® and the transformation between angles of the robot arms and cartesian coordinate plane of end effector is provided by the equations. The images taken by the camera from touch screen are compared with the template images and given as feedback to the system by using NCC ( normalized cross correlation) as computer vision algorithm. By capturing images via camera that is taken part in the system. Hence,  the whole system works more stable in this condition. The designed  delta robot can be used in different size of touch screen devices. Moreover, the robot can be used for different test methods including performance, stress etc. If professional products had been used as the motion control elements in the designed robot system, it woluld be possible to introduce much faster and more stable industrial solutions.