Η **πολυτροπική αλληλεπίδραση** (**multimodal interaction**) παρέχει στον χρήστη ενός συστήματος διαφορετικούς τρόπους (modes) να αλληλεπιδρά με αυτό. Μια **πολυτροπική διεπιφάνεια** (**multimodal interface**) παρέχει αρκετά εργαλεία για την είσοδο και έξοδο των δεδομένων.

Πολυτροπική είσοδος
-------------------

Υπάρχουν δύο διαφορετικά είδη πολυτροπικών διεπιφανειών που έχουν συγκλίνει: αυτή των εναλλακτικών μεθόδων εισόδου και αυτή της συνδυασμένης εισόδου/εξόδου δεδομένων. Το πρώτο είδος συνδυάζει διάφορες μεθόδους εισόδου δεδομένων από τον χρήστη, εκτός των παραδοσιακών (πληκτρολόγιο, ποντίκι), όπως η ομιλία, η χρήση γραφίδας, η αφή, οι χειρονομίες, το βλέμμα και οι κινήσεις του κεφαλιού ή του σώματος. Μια κοινή διεπιφάνεια αυτού του είδους είναι ο συνδυασμός μιας οπτικής τροπικότητας (όπως μια οθόνη, ένα πληκτρολόγιο και ένα ποντίκι) με κάποια φωνητική τροπικότητα (αναγνώριση ομιλίας για είσοδο δεδομένων, σύνθεση ομιλίας και προηχογραφημένους ήχους για έξοδο). Μπορούν όμως να χρησιμοποιηθούν και άλλες τροπικότητες όπως η είσοδος με βάση τη γραφίδα ή η απτική είσοδος/έξοδος. Οι πολυτροπικές διεπιφάνειες χρήστη (multimodal user interfaces) αποτελούν αντικείμενο έρευνας του πεδίου της αλληλεπίδρασης ανθρώπου-υπολογιστή (human-computer interaction, HCI).

Το πλεονέκτημα των πολλαπλών τρόπων εισόδου/εξόδου είναι η ευχρηστία: οι αδυναμίες μιας τροπικότητας συμπληρώνονται από τα πλεονεκτήματα κάποιας άλλης. Για παράδειγμα, σε μια φορητή συσκευή με μικρή οθόνη για γραφικό περιβάλλον και μικρό πληκτρολόγιο, μια λέξη μπορεί να είναι πιο δύσκολο να γραφτεί παρά να ειπωθεί. Αυτό είναι ιδιαίτερα σημαντικό όταν αυτές οι μικρές συσκευές χρησιμοποιούνται για την πρόσβαση και αναζήτηση σε καταλόγους πολυμέσων. Ένα άλλο παράδειγμα είναι η παροχή πληροφοριών ασθενή σε μια αίθουσα χειρουργείου, όπου τα μέλη της χειρουργικής ομάδας μπορούν να τις λαμβάνουν με διάφορους οπτικούς ή ακουστικούς τρόπους ώστε να λαμβάνονται όσο το δυνατόν πιο γρήγορα και σωστά.

Οι πολυτροπικές διεπιφάνειες χρήστη μπορούν επίσης να είναι καλύτερα προσβάσιμες. Μια πολυτροπική εφαρμογή που έχει σχεδιαστεί σωστά μπορεί να χρησιμοποιηθεί από ανθρώπους με διάφορες αναπηρίες. Οι χρήστες με προβλήματα όρασης μπορούν να χρησιμοποιήσουν την τροπικότητα φωνής σε συνδυασμό με κάποιο πληκτρολόγιο. Οι χρήστες με προβλήματα ακοής μπορούν να χρησιμοποιήσουν την οπτική τροπικότητα και την φωνητική είσοδο. Χρήστες που έχουν προβλήματα λόγω της κατάστασης στην οποία βρίσκονται (για παράδειγμα όσοι χρησιμοποιούν γάντια σε περιβάλλον με θόρυβο, οδηγούν ή πρέπει να δώσουν τον κωδικό της πιστωτικής τους κάρτας ενώ είναι σε δημόσιο χώρο) μπορούν επίσης να χρησιμοποιήσουν την κατάλληλη τροπικότητα. Αν όμως μια πολυτροπική εφαρμογή απαιτεί από τον χρήστη της να χρησιμοποιεί όλους αυτούς τους τρόπους, τότε μάλλον δεν είναι σωστά σχεδιασμένη.

Μια κοινή τροπικότητα εισόδου που χρησιμοποιείται ευρέως είναι η γλώσσα σήμανσης XHTML+Voice (γνωστή και ως X+V), μια ανοιχτή προδιαγραφή από την IBM, τη Motorola και την Opera Software. Η X+V προς το παρόν εξετάζεται από W3C για τις εφαρμογές της και περιλαμβάνει μεταξύ άλλων την XHTML για την οπτική σήμανση, τη VoiceXML για σήμανση φωνής και τα XML Events, ένα πρότυπο για την ενσωμάτωση γλωσσών βασισμένων στην XML. Πολυτροπικοί περιηγητές ιστού που υποστηρίζουν την X+V είναι το IBM WebSphere Everyplace Multimodal Environment, ο Opera για Embedded Linux και Windows, και το ACCESS Systems NetFront για Windows Mobile. Η ανάπτυξη πολυτροπικών εφαρμογών μπορεί να γίνει με χρήση κάποιου κιτ ανάπτυξης λογισμικού, όπως το IBM WebSphere Multimodal Toolkit, το οποίο βασίζεται στο ανοιχτό πλαίσιο λογισμικού Eclipse, που περιλαμβάνει έναν αποσφαλματωτή X+V debugger, έναν διορθωτή και έναν προσομοιωτή.

Πολυτροπική είσοδος και έξοδος
------------------------------

Το δεύτερο είδος πολυτροπικών συστημάτων δίνει στον χρήστη ερεθίσματα πολυμέσων και πολυτροπική έξοδο, κυρίως με τη μορφή εικόνας ή ήχου. Έχει αρχίσει να γίνεται χρήση και άλλων τροπικοτήτων στη σχεδίαση διεπιφανειών, όπως η αφή και η όσφρηση. Τα πολυτροπικά συστήματα εξόδου έχουν τα εξής προτερήματα: συνέργεια (synergy) και πλεονασμός (redundancy). Η πληροφορία που παρουσιάζεται με διαφορετικούς τρόπους λειτουργεί ενιαία και αφορά διαφορετικές πλευρές της ίδιας εργασίας. Η χρήση διαφορετικών τροπικοτήτων για την επεξεργασία της ίδιας πληροφορίας έχει σαν αποτέλεσμα υψηλότερο εύρος ζώνης μεταφοράς πληροφορίας. Η πολυτροπική έξοδος χρησιμοποιείται κυρίως για να βελτιώνεται η αντιστοίχηση μεταξύ του μέσου επικοινωνίας και του περιεχομένου, και για τη διαχείριση της προσοχής (attention management) σε περιβάλλοντα με μεγάλο όγκο δεδομένων όπου οι χρήστες πρέπει να έχουν συγκεντρωμένη την προσοχή τους.

Ένα σημαντικό βήμα στη σχεδίαση πολυτροπικών διεπιφανειών είναι η δημιουργία φυσικών αντιστοιχίσεων μεταξύ τροπικοτήτων και πληροφοριών ή εργασιών. Η ακοή διαφέρει από την όραση: δεν έχει κατεύθυνση, είναι παροδική (transient) και λειτουργεί πάντα. Ειδικά η έξοδος ομιλίας, που είναι μορφή ηχητικής πληροφορίας, αποτελεί αντικείμενο μελέτης και έχουν αναπτυχθεί διάφορες τεχνικές για τη χρήση της ομιλίας. Οι Michaelis και Wiggins (1982) υποστήριξαν ότι η έξοδος ομιλίας θα έπρεπε να χρησιμοποιηθεί για απλά και σύντομα μηνύματα που δεν πρόκειται να χρειαστούν στο μέλλον. Επίσης θεώρησαν ότι θα ήταν καλύτερο η ομιλία να παράγεται όσο πιο σύντομα γίνεται και να πρέπει να απαντηθεί από τον χρήστη.

Η αίσθηση της αφής χρησιμοποιήθηκε για πρώτη φορά σαν μέσο επικοινωνίας κατά τα τέλη της δεκαετίας του 1950. Εκτός από πολλά υποσχόμενη, είναι και μοναδική. Σε αντίθεση με την ακοή και την όραση, τις δύο βασικές αισθήσεις της HCI, η αίσθηση της αφής είναι εγγύτατη (proximal): ανιχνεύει αντικείμενα που ακουμπούν στο σώμα και είναι δύο κατευθύνσεων (bidirectonal) γιατί υποστηρίζει τόσο την πρόσληψη ερεθισμάτων όσο και την παρέμβαση στο περιβάλλον.

Παραδείγματα ηχητικής αλληλεπίδρασης είναι τα ηχητικά εικονίδια των λειτουργικών συστημάτων στους ηλεκτρονικούς υπολογιστές, τα οποία σημαίνουν ενέργειες του χρήστη (όπως η διαγραφή ενός αρχείου, το άνοιγμα ενός φακέλου, ή κάποιο σφάλμα), και η έξοδος ομιλίας για τη βοήθεια κατά την πλοήγηση οχημάτων ή την προειδοποίηση του πιλότου στα σύγχρονα αεροσκάφη. Παραδείγματα σημάτων αφής είναι οι δονήσεις κατά το άναμμα του φωτός αλλαγής λωρίδας όταν υπάρχει άλλο αυτοκίνητο στη νεκρή γωνία του οδηγού, η δόνηση μιας θέσης αυτοκινήτου σαν σημάδι προειδοποίησης, και η δόνηση του μοχλού ελέγχου στα σύγχρονα αεροσκάφη σαν προειδοποίηση για επερχόμενες αναταράξεις.

Υπάρχουν αόρατοι χώροι διεπιφανειών που μπορούν να χρησιμοποιηθούν με την κατάλληλη τεχνολογία αισθητήρων, όπως οι κάμερες και οι αισθητήρες υπέρυθρου φωτός ή υπερήχων.

Δείτε επίσης
------------

* Τροπικότητα (αλληλεπίδραση ανθρώπου-υπολογιστή)
* Αναγνώριση ομιλίας
* Προσβασιμότητα Ιστού
* XHTML+Voice

Αναφορές
--------

1. ↑  Kettebekov, Sanshzar, and Rajeev Sharma (2001). "Toward Natural Gesture/Speech Control of a Large Display." ProceedingsEHCI '01 Proceedings of the 8th IFIP International Conference on Engineering for Human-Computer Interaction Pages 221-234
2. ↑  Marius Vassiliou, V. Sundareswaran, S. Chen, R. Behringer, C. Tam, M. Chan, P. Bangayan, and J. McGee (2000), "Integrated Multimodal Human-Computer Interface and Augmented Reality for Interactive Display Applications," in Darrel G. Hopper (ed.) Cockpit Displays VII: Displays for Defense Applications (Proc. SPIE. 4022), 106-115. [ISBN 0-8194-3648-8]
3. ↑  Vitense, H.S.; Jacko, J.A.; Emery, V.K. (2002). «Multimodal feedback: establishing a performance baseline for improved access by individuals with visual impairments». *ACM Conf. on Assistive Technologies*.
4. ↑  Oviatt, S. (2002), «Multimodal interfaces», στο: Jacko, J.; Sears, A, επιμ. *The Human-Computer Interaction Handbook*, Lawrence Erlbaum
5. ↑  Bauckhage, C.; Fritsch, J.; Rohlfing, K.J.; Wachsmuth, S.; Sagerer, G. (2002). «Evaluating integrated speech-and image understanding». *Int. Conf. on Multimodal Interfaces*. .
6. ↑  Ismail, N.A.; O'Brien, E.A. (2008). «Enabling Multimodal Interaction in Web-Based Personal Digital Photo Browsing». *Int. Conf. on Computer and Communication Engineering*. Αρχειοθετήθηκε από το πρωτότυπο στις 2011-07-18.. Ανακτήθηκε στις 2012-08-23.
7. 1 2 3  Sarter, N.B. (2006). «Multimodal information presentation: Design guidance and research challenges». *Int. J. of Industrial Ergonomics* **36** (5): σελ. 439-445. .
8. ↑  Geldar, F.A (1957). «Adventures in tactile literacy». *American Psychologist* **12** (3): σελ. 115-124. . [*νεκρός σύνδεσμος*]
9. ↑  Brooks, A.; Petersson, E. (2007). «SoundScapes: non-formal learning potentials from interactive VEs». *SIGGRAPH*. .

Εξωτερικοί σύνδεσμοι
--------------------

* W3C Multimodal Interaction Activity (Αγγλικά)
* XHTML+Voice Profile 1.0, W3C Note 21 December 2001 (Αγγλικά)
* Hoste, Lode, Dumas, Bruno and Signer, Beat: *Mudra: A Unified Multimodal Interaction Framework*, In Proceedings of the 13th International Conference on Multimodal Interaction (ICMI 2011), Alicante, Spain, November 2011. (Αγγλικά)


|  |  |
| --- | --- |
| CC-BY-SA Μετάφραση | Στο λήμμα αυτό έχει ενσωματωθεί κείμενο από το λήμμα Multimodal interaction  της Αγγλικής Βικιπαίδειας, η οποία διανέμεται υπό την GNU FDL και την CC-BY-SA 4.0. (ιστορικό/συντάκτες). |