title: An input architecture for hand interaction in virtual reality applications based on mobile phone platforms
title: Μια αρχιτεκτονική εισόδου για αλληλεπίδραση χεριών σε εφαρμογές εικονικής πραγματικότητας που βασίζονται σε πλατφόρμες κινητής τηλεφωνίας
Creators: name: Μεθυμακης Μιχαηλ
Publisher: name: Technical University of Crete
Year: 2020

description:        The basic component of Virtual Reality equipment is the Head Mounted Display (HMD). VR headsets come with hand controllers so that the user can interact with the virtual world. In the context of this thesis, through the system implemented, users are able to interact in smartphone based VR applications, by using their hands. After many stages of evolution, the mobile phones of our age have strong hardware, fast and flexible software but also many other special features that make them able to be employed as the main user interfaces for interaction, even in VR worlds.  
       In this thesis, a system was developed for Android platforms, which utilizes some of the special traits of a smartphone, turning it into a hand controller for virtual reality applications and more. More specifically, the software consists of two applications which are installed in two or more separate devices. They connect to each other via wifi and communicate according to the client-server model. The client application was further developed, giving the user the ability to create, through a User Interface, virtual buttons, navigation joystick but also to "read" and send to the server the data of some sensors of the device. The second application (server) is able connect to more than one client and receive data from each individually. As part of this thesis, two simple Virtual Reality demo games were developed which utilize the data received by the server accordingly. Thus, users interact within the virtual environment of these two games, by using the mobile phones they hold with their hands.
description:        Το βασικό κομμάτι ενός εξοπλισμού εικονικής πραγματικότητας είναι το Head Mounted Display (HMD). Στην περίπτωση εφαρμογών που αναφέρονται σε ηλεκτρονικούς υπολογιστές, οι VR μάσκες συνοδεύονται από χειριστήρια χεριού έτσι ώστε ο χρήστης να είναι ικανός να επιδράσει μέσα στον εικονικό κόσμο μέσω αυτών. Στα πλαίσια αυτής της διπλωματικής έγινε μια προσπάθεια να δοθεί η δυνατότητα επίδρασης του χρήστη μέσα σε VR εφαρμογές, οι οποίες αναφέρονται στα σημερινά smartphones, χρησιμοποιώντας τα χεριά του. Έπειτα από πολλά στάδια εξέλιξης τα κινητά τηλεφωνά της εποχής μας έχουν δυνατό hardware, γρηγορά και ευέλικτα λογισμικά αλλά και πολλά αλλά χαρακτηριστικά τα οποία δίνουν την δυνατότητα σε αυτά να χρησιμοποιηθούν σε περιπτώσεις στις οποίες δεν προορίζονταν εξαρχής. 
       Σε αυτή την εργασία, αναπτύχθηκε ένα λογισμικό για πλατφόρμες Android, το οποίο αξιοποιεί κάποιες από τις δυνατότητες ενός smartphone, μετατρέποντας το σε ένα χειριστήριο χεριού για εφαρμογές εικονικής πραγματικότητας και όχι μόνο. Πιο συγκεκριμένα, το λογισμικό αποτελείται από δυο εφαρμογές οι οποίες εκτελούνται σε δύο η παραπάνω ξεχωριστές συσκευές, συνδέονται μέσω wifi και επικοινωνούν σύμφωνα με το μοντέλο client-server. Η εφαρμογή του client αναπτύχθηκε περαιτέρω δίνοντας στον χρήστη την δυνατότητα να δημιουργήσει, μέσω ενός User Interface, εικονικά κουμπιά, joystick πλοήγησης αλλά και να «διαβάζει» και να στέλνει στον server τα δεδομένα κάποιων αισθητήρων της συσκευής. Η δεύτερη εφαρμογή (server) μπορεί να συνδεθεί με παραπάνω από έναν client και να λαμβάνει δεδομένα από τον καθένα ξεχωριστά. Στα πλαίσια αυτού του project, αναπτυχθήκαν γύρω από τον server δυο απλά demo παιχνίδια εικονικής πραγματικότητας τα οποία αξιοποιούν αναλόγως τα δεδομένα τα οποία λαμβάνει ο server. Έτσι, ο χρήστης επιδρά μέσα στο εικονικό περιβάλλον των δυο αυτών παιχνιδιών, χρησιμοποιώντας την συσκευή την οποία έχει στο χέρι του. Διαφορετικά, ο χρήστης δεν έχει αυτήν την δυνατότητα λόγω του ότι η συσκευή η οποία εκτελεί την VR εφαρμογή βρίσκεται αποκλεισμένη μέσα στο VR headset.