Μηχανή Μετα-αναζήτησης

Ένας μηχανισμός μετα-αναζήτησης (ή συλλέκτης ) είναι ένα εργαλείο αναζήτησης που χρησιμοποιεί τα δεδομένα μιας άλλης μηχανής αναζήτησης για να παραγάγει τα δικά του αποτελέσματα από το Διαδίκτυο. Οι μηχανές μετα-αναζήτησης λαμβάνουν από έναν χρήστη πληροφορίες σχετικά με την αναζήτηση και στέλνουν ταυτόχρονα ερωτήματα σε άλλες μηχανές αναζήτησης τρίτων για να λάβουν αποτελέσματα. Συγκεντρώνονται επαρκή δεδομένα, μορφοποιούνται βάσει των βαθμολογιών τους και παρουσιάζονται στον χρήστη. Οι μηχανές μετα-αναζήτησης έχουν τα δικά τους μοναδικά προβλήματα. Όλες οι αποθηκευμένες στις μηχανές αναζήτησης ιστοσελίδες είναι διαφορετικές, κι εξαιτίας αυτού του γεγονότος αντλείται άσχετο περιεχόμενο. Προβλήματα όπως το spam μειώνουν την ακρίβεια των αποτελεσμάτων. Η διαδικασία σύντηξης (fusion) στοχεύει στην αντιμετώπιση αυτού του ζητήματος και στη βελτίωση της τεχνολογίας ενός μηχανισμού μετα-αναζήτησης.Υπάρχουν πολλοί τύποι μηχανών μετα-αναζήτησης, οι οποίες επιτρέπουν στους χρήστες να έχουν πρόσβαση σε εξειδικευμένες πληροφορίες σε ένα συγκεκριμένο τομέα.

 Το πρώτο άτομο που ενσωμάτωσε την ιδέα της πρώιμης μετα-αναζήτησης ήταν ο Daniel Dreilinger του State University του Κολοράντο . Αποκάλυψε το SearchSavvy, το οποίο επιτρέπει στους χρήστες να αναζητούν έως και σε 20 διαφορετικές μηχανές αναζήτησης και καταλόγους ταυτόχρονα. Αν και ταχύτατη, η μηχανή αναζήτησης περιοριζόταν σε απλές αναζητήσεις και έτσι δεν ήταν πολύ αξιόπιστη. Ο σπουδαστής του Πανεπιστημίου της Ουάσινγκτον Eric Selberg κυκλοφόρησε μια πιο "ενημερωμένη" έκδοση που ονομάστηκε MetaCrawler . Αυτή η μηχανή αναζήτησης βελτίωσε την ακρίβεια του SearchSavvy, προσθέτοντας "παρασκηνιακά" το δικό της συντακτικό ταιριάζοντάς το με το συντακτικό των μηχανών αναζήτησης που χρησιμοποιούσε. Το Metacrawler μείωσε το πλήθος των ερωτούμενων μηχανών αναζήτησης στις 6, αλλά παρόλο που παρήγαγε ακριβέστερα αποτελέσματα, συνέχισε να μην θεωρείται εξίσου ακριβές όσο ήταν η χρήση ερωτημάτων σε μεμονωμένες μηχανές αναζήτησης.Μια άλλη μηχανή μετα-αναζήτησης δημιουργήθηκε στις 20 Μαΐου 1996. Το HotBot, ιδιοκτησίας τότε της Wired, ήταν μια μηχανή αναζήτησης με αποτελέσματα αναζήτησης που προέρχονταν από τις βάσεις δεδομένων Inktomi και Direct Hit. Ήταν γνωστό εκείνη την εποχή για τα γρήγορα αποτελέσματα και το φανταχτερό όνομα, και ως η μηχανή αναζήτησης με την δυνατότητα αναζήτησης μέσα στα αποτελέσματα των αναζητήσεων. Με την αγορά του από τη Lycos το 1998, η ανάπτυξη της μηχανής αναζήτησης κλονίστηκε και το μερίδιο της αγοράς της μειώθηκε δραστικά. Μετά από μερικές αλλαγές, το HotBot επανασχεδιάστηκε σε μια απλοποιημένη διεπαφή αναζήτησης, με τα χαρακτηριστικά του να ενσωματώνονται στον επανασχεδιασμό της ιστοσελίδας του Lycos. Μια μηχανή μετα-αναζήτησης που ονομάστηκε Anvish αναπτύχθηκε από τους Bo Shu και Subhash Kak το 1999. Τα αποτελέσματα αναζήτησης ταξινομούνταν με τη χρήση ακαριαία εκπαιδευμένων νευρωνικών δικτύων. Το Anvish αργότερα ενσωματώθηκε σε μια άλλη μηχανή μετα-αναζήτησης, η οποία ονομάζεται Solosearch.Το Ixquick είναι μια μηχανή αναζήτησης προσφάτως πιο γνωστή για τη δήλωσή της περί της πολιτικής απορρήτου. Αναπτύχθηκε και ξεκίνησε το 1998 από τον David Bodnick και ανήκει στην εταιρεία Surfboard Holding BV από το 2000. Τον Ιούνιο του 2006, η Ixquick άρχισε να διαγράφει τις ιδιωτικές λεπτομέρειες των χρηστών της ακολουθώντας την ίδια διαδικασία με την Scroogle . Η πολιτική απορρήτου της Ixquick περιλαμβάνει την μη-καταγραφή IP διευθύνσεων των χρηστών, την μη-χρήση αναγνωριστικών cookies, την μη-συλλογή προσωπικών δεδομένων και μη κοινοποίηση προσωπικών δεδομένων σε τρίτους. Χρησιμοποιεί επίσης ένα μοναδικό σύστημα κατάταξης όπου το αποτέλεσμα κατατάσσεται αναλόγως του πλήθους αστεριών που έχει. Όσο περισσότερα αστέρια σε ένα αποτέλεσμα, τόσο περισσότερες μηχανές αναζήτησης συμφώνησαν για το αποτέλεσμα. Τον Απρίλιο του 2005, η Dogpile (ιδιοκτήτρια και υπεύθυνη λειτουργίας της ήταν τότε η InfoSpace, Inc.) συνεργάστηκε με ερευνητές του πανεπιστημίου του Πίτσμπουργκ και του Πανεπιστημίου της Πενσυλβάνιας για να μετρήσει τις διαφορές της επικάλυψης των αποτελεσμάτων και της κατάταξής τους μεταξύ των κορυφαίων μηχανών αναζήτησης το Διαδικτύου, έτσι ώστε να μπορέσει να υπολογίσει τα οφέλη από τη χρήση μιας μηχανής μετα-αναζητήσεων για αναζητήσεις στον ιστό. Οι μετρήσεις έδειξαν ότι από τα 10.316 τυχαία ερωτήματα που δόθηκαν από χρήστες στις μηχανές αναζήτησης Google, Yahoo!, και Ask Jeeves, μόνο το 3,2% των αποτελεσμάτων της πρώτης σελίδας ήταν τα ίδια σε όλες τις μηχανές αναζήτησης για ένα συγκεκριμένο ερώτημα. Μια άλλη μελέτη αργότερα στο ίδιο έτος χρησιμοποιώντας 12.570 τυχαία ερωτήματα χρηστών προς τις μηχανές αναζήτησης Google, Yahoo!, MSN Search και Ask Jeeves διαπίστωσαν ότι μόνο το 1,1% των αποτελεσμάτων της πρώτης σελίδας ήταν τα ίδια σε όλες τις μηχανές αναζήτησης για ένα δεδομένο ερώτημα. Με την αποστολή πολλαπλών ερωτημάτων σε πολλές διαφορετικές μηχανές αναζήτησης επεκτείνεται η κάλυψη αναζήτησης του θέματος και επιτρέπεται να εντοπιστούν περισσότερες πληροφορίες. Χρησιμοποιούν τους δείκτες που έχουν δημιουργηθεί από άλλες μηχανές αναζήτησης, συγκεντρώνουν και συχνά επεξεργάζονται τα αποτελέσματα με μοναδικούς τρόπους. Μια μηχανή μετα-αναζήτησης έχει πλεονέκτημα σε σχέση με μια απλή μηχανή αναζήτησης επειδή περισσότερα αποτελέσματα μπορούν να ανακτηθούν με τον ίδιο βαθμό προσπάθειας. Μειώνει επίσης το έργο των χρηστών ώστε να μην χρειάζεται να πληκτρολογούν μεμονωμένες αναζητήσεις σε διαφορετικές μηχανές αναζήτησης για να αναζητήσουν πόρους. Η χρήση μηχανών μετα-αναζήτησης παρέχει επίσης μια χρήσιμη προσέγγιση εάν ο σκοπός της αναζήτησης του χρήστη είναι να αποκτήσει επισκόπηση του θέματος ή να πάρει γρήγορες απαντήσεις. Αντί να χρειαστεί να περάσει από πολλές μηχανές αναζήτησης όπως την Yahoo! ή την Google και να συγκρίνει τα αποτελέσματα, οι μηχανές μετα-αναζήτησης είναι σε θέση να καταρτίσουν λίστες αποτελεσμάτων γρήγορα και να συνδυάσουν τα αποτελέσματα. Μπορούν να το κάνουν είτε με κατάρτιση λίστας αποτελεσμάτων από κάθε μηχανή αναζήτησης, η οποία έχει ερωτηθεί, χωρίς να πραγματοποιηθεί πρόσθετη μεταγενέστερη επεξεργασία (Dogpile) είτε με ανάλυση των αποτελεσμάτων και κατάταξή τους σύμφωνα με τους κανόνες κατάταξής τους (IxQuick, Metacrawler και Vivismo). Μια μηχανή μετα-αναζήτησης μπορεί επίσης να κρύψει την IP διεύθυνση του χρήστη από τις ερωτούμενες μηχανές αναζήτησης παρέχοντας έτσι ιδιωτικότητα στην αναζήτηση. Υπ'αυτό το πρίσμα, η γαλλική κυβέρνηση το 2018 αποφάσισε ότι όλες οι κυβερνητικές αναζητήσεις ιστού θα γίνονται χρησιμοποιώντας την Qwant, η οποία πιστεύεται ότι είναι μηχανή μετα-αναζήτησης. Οι μηχανές μετα-αναζήτησης δεν είναι σε θέση να αποκωδικοποιήσουν φόρμες ερωτήσεων ούτε είναι σε θέση να μεταφράσουν πλήρως τη σύνταξη των ερωτημάτων. Ο αριθμός των συνδέσμων που παράγονται από τις μηχανές μετα-αναζήτησης είναι περιορισμένος και συνεπώς δεν παρέχουν στον χρήστη τα πλήρη αποτελέσματα ενός ερωτήματος. Η πλειοψηφία των μηχανών μετα-αναζήτησης δεν παρέχει πάνω από δέκα συνδεδεμένα αρχεία από κάθε μηχανή αναζήτησης και γενικά δεν αλληλεπιδρούν με μεγαλύτερες μηχανές αναζήτησης για αποτελέσματα. Οι διαφημισμένες ιστοσελίδες έχουν προτεραιότητα και συνήθως εμφανίζονται πρώτα.Οι μηχανές μετα-αναζήτησης δίνουν επίσης την ψευδαίσθηση πως υπάρχει μεγαλύτερη κάλυψη του ερωτηθέντος θέματος, ειδικά εάν ο χρήστης αναζητά δημοφιλείς ή συνηθισμένες πληροφορίες. Οι αναζητήσεις είναι σύνηθες να καταλήγουν με πολλαπλά πανομοιότυπα αποτελέσματα από τις ερωτηθείσες μηχανές αναζήτησης. Είναι επίσης πιο δύσκολο για τους χρήστες να πραγματοποιούν αναζητήσεις χρησιμοποιώντας συντακτικό σύνθετης αναζήτησης, το οποίο να αποστέλλεται μαζί με το ερώτημα, επομένως τα αποτελέσματα μπορεί να μην είναι τόσο ακριβή όσο όταν ένας χρήστης χρησιμοποιεί μια διεπαφή προηγμένης αναζήτησης σε μία συγκεκριμένη μηχανή αναζήτησης. Αυτό έχει ως αποτέλεσμα πολλές μηχανές μετα-αναζήτησης να χρησιμοποιούν μόνο απλή αναζήτηση. Μια μηχανή μετα-αναζήτησης δέχεται ένα ερώτημα για αναζήτηση από το χρήστη . Αυτό το ερώτημα στη συνέχεια μεταδίδεται στη άλλη βάση δεδομένων της μηχανής αναζήτησης. Μια μηχανή μετα-αναζήτησης δεν δημιουργεί δική της βάση δεδομένων για ιστοσελίδες, αλλά δημιουργεί μια εικονική βάση δεδομένων για την ενσωμάτωση δεδομένων από πολλές πηγές. Δεδομένου ότι κάθε μηχανή αναζήτησης είναι μοναδική και έχει διαφορετικούς αλγόριθμους για την κατάταξη των δεδομένων που έχει συγκεντρώσει, γι'αυτό και θα δημιουργηθούν αντίγραφα στα αποτελέσματα των μηχανών μετα-αναζήτησης. Για να καταργηθούν τα διπλότυπα η μηχανή μετα-αναζήτησης επεξεργάζεται αυτά τα δεδομένα και εφαρμόζει τον δικό της αλγόριθμο. Μια αναθεωρημένη λίστα αποτελεσμάτων παράγεται ως έξοδος για τον χρήστη. Όταν μια μηχανή μετα-αναζήτησης έρχεται σε επικοινωνία με άλλες μηχανές αναζήτησης, αυτές οι μηχανές αναζήτησης θα απαντήσουν με τρεις τρόπους: Θα συνεργαστούν και θα παρέχουν πλήρη πρόσβαση στη διεπαφή για την μηχανή μετα-αναζήτησης, συμπεριλαμβανομένης της πρόσβασης στη βάση δεδομένων ευρετηρίου, και θα ενημερώνουν την μηχανή μετα-αναζήτησης για οποιεσδήποτε αλλαγές γίνονται στη βάση δεδομένων ευρετηρίου. Θα συμπεριφέρονται με τρόπο μη-συνεργάσιμο, χωρίς να αρνούνται ή να παρέχουν πρόσβαση στις διεπαφές. Μπορεί να είναι εντελώς εχθρικές και να αρνηθούν συνολικά την πρόσβαση της μηχανής μετα-αναζήτησης στην βάση δεδομένων τους και σε σοβαρές περιστάσεις, αναζητώντας νομικές μεθόδους. Οι ιστοσελίδες που έχουν υψηλή θέση σε πολλές μηχανές αναζήτησης ενδέχεται να είναι πιο σχετικές με την παροχή χρήσιμων πληροφοριών. Ωστόσο, όλες οι μηχανές αναζήτησης έχουν διαφορετικές βαθμολογίες κατάταξης για κάθε ιστότοπο και τις περισσότερες φορές αυτές οι βαθμολογίες δεν είναι οι ίδιες. Αυτό οφείλεται στο γεγονός ότι οι μηχανές αναζήτησης δίνουν προτεραιότητα σε διαφορετικά κριτήρια και μεθόδους βαθμολόγησης, επομένως ένας ιστότοπος μπορεί να εμφανίζεται σε υψηλή θέση σε μία μηχανή αναζήτησης και να βρίσκεται σε χαμηλή κατάταξη σε άλλη. Αυτό είναι ένα πρόβλημα επειδή οι μηχανισμοί Metasearch βασίζονται σε μεγάλο βαθμό στη συνέπεια αυτών των δεδομένων για τη δημιουργία αξιόπιστων λογαριασμών. Ένας μηχανισμός μετα-αναζήτησης χρησιμοποιεί τη διαδικασία της σύντηξης για να φιλτράρει δεδομένα για πιο αποτελεσματικά αποτελέσματα. Οι δύο κύριες μέθοδοι σύντηξης που χρησιμοποιούνται είναι: Συγχώνευση Συλλογής και Συγχώνευση Δεδομένων. Συγχώνευση Συλλογής (Collection Fusion): γνωστή και ως κατανεμημένη ανάκτηση, ασχολείται ειδικά με τις μηχανές αναζήτησης που ευρετηριάζουν άσχετα μεταξύ τους δεδομένα. Για να προσδιοριστεί πόσο πολύτιμες είναι αυτές οι πηγές, η Συγχώνευση Συλλογής εξετάζει το περιεχόμενο και στη συνέχεια ταξινομεί τα δεδομένα σχετικά με το πόσο πιθανό είναι να παρέχουν σχετικές πληροφορίες σε σχέση με το ερώτημα. Από τα παραγόμενα δεδομένα η Συγχώνευση Συλλογής είναι σε θέση να επιλέξει από την κατάταξη τους καλύτερους πόρους. Αυτοί οι επιλεγμένοι πόροι στη συνέχεια συγχωνεύονται σε μια λίστα. Συγχώνευση Δεδομένων (Data Fusion): ασχολείται με τις πληροφορίες που ανακτώνται από μηχανές αναζήτησης, οι οποίες ευρετηριάζουν κοινά σύνολα δεδομένων. Η διαδικασία είναι παρόμοια. Οι αρχικές ταξινομήσεις των δεδομένων συγχωνεύονται σε μία μόνο λίστα, και στη συνέχεια αναλύονται οι αρχικές ταξινομήσεις καθενός από τα έντυπα. Τα δεδομένα με υψηλή ταξινόμηση υποδεικνύουν υψηλό επίπεδο σχετικότητας με ένα συγκεκριμένο ερώτημα και επιλέγονται. Για την παραγωγή μιας λίστας, οι βαθμολογίες πρέπει να ομαλοποιηθούν χρησιμοποιώντας αλγορίθμους όπως ο CombSum. Αυτό γίνεται επειδή οι μηχανές αναζήτησης υιοθετούν διαφορετικές πολιτικές αλγορίθμων ταξινόμησης με αποτέλεσμα οι παραγόμενες ταξινομήσεις να είναι ασύμβατες. Το spamdexing είναι η σκόπιμη χειραγώγηση των ευρετηρίων των μηχανών αναζήτησης. Χρησιμοποιεί μια σειρά μεθόδων για να χειραγωγήσει τη συνάφεια ή την προβολή σε καλύτερη θέση των ευρετηριασμένων πόρων, με τρόπο που δεν συμμορφώνεται με την πρόθεση του συστήματος ευρετηρίασης της μηχανής αναζήτησης. Το spamdexing μπορεί να είναι πολύ ενοχλητικό για τους χρήστες και προβληματικό για τις μηχανές αναζήτησης, επειδή τα περιεχόμενα που επιστρέφονται από τις αναζητήσεις έχουν χαμηλή ακρίβεια. Αυτό τελικά, θα έχει ως συνέπεια η μηχανή αναζήτησης να γίνει αναξιόπιστη και να χάσει την εμπιστοσύνη του χρήστη. Για την αντιμετώπιση του spamdexing, οι αλγόριθμοι των ρομπότ αναζήτησης γίνονται πιο περίπλοκοι και αλλάζουν σχεδόν καθημερινά για να εξαλείψουν το πρόβλημα.Το spamdexing είναι μείζον πρόβλημα για τους μηχανισμούς μετα-αναζήτησης, επειδή παρεμποδίζει τα κριτήρια ευρετηρίασης των ρομπότ αναζήτησης, τα οποία κριτήρια εξαρτώνται σε μεγάλο βαθμό από τη δημιουργία καταλόγων κατάταξης. Με spamdexing χειραγωγείται το εγγενές σύστημα κατάταξης μιας μηχανής αναζήτησης και τοποθετούνται ιστότοποι ψηλότερα στον κατάλογο κατάταξης από ό,τι τοποθετούνται από την μηχανή αναζήτησης. Για να επιτευχθεί αυτό χρησιμοποιούνται τρεις βασικές μέθοδοι: Ως ανεπιθύμητου περιεχομένου θεωρούνται οι τεχνικές που μεταβάλλουν την λογική εικόνα που έχει μια μηχανή αναζήτησης για τα περιεχόμενα της σελίδας. Οι τεχνικές περιλαμβάνουν: Συμπλήρωση λέξεων-κλειδιών (Keyword Stuffing) - Υπολογισμένες τοποθετήσεις λέξεων-κλειδιών σε μια σελίδα για αύξηση της καταμέτρησης των υπαρκτών λέξεων-κλειδιών, της ποικιλίας και της πυκνότητας της σελίδας. Κρυφό/αόρατο κείμενο - Μη σχετιζόμενο κείμενο μεταμφιεσμένο έχοντας ίδιο χρώμα με το φόντο της σελίδας και χρησιμοποιώντας πολύ μικρό μέγεθος γραμματοσειράς ή αποκρύπτοντάς το μέσα στον κώδικα HTML της σελίδας. Συμπλήρωση μετα-ετικετών (Meta-tag Stuffing) - Eπαναλαμβάνοντας λέξεις-κλειδιά μέσα σε μετα-ετικέτες ή/και χρησιμοποιώντας λέξεις-κλειδιά που δεν σχετίζονται με το περιεχόμενο του ιστοτόπου. Σελίδες εισόδου (Doorway Pages)- Χαμηλής ποιότητας σελίδες με λίγο περιεχόμενο, αλλά σχετιζόμενες λέξεις-κλειδιά ή φράσεις. Scraper Sites - Προγράμματα, τα οποία επιτρέπουν στους ιστότοπους να αντιγράφουν περιεχόμενο από άλλους ιστότοπους και να δημιουργούν περιεχόμενο για έναν ιστότοπο. Ανακύκλωση Άρθρου (Article Spinning) - Επανεγγραφή υπαρχόντων ήδη στον ιστότοπο άρθρων σε αντίθεση με την αντιγραφή περιεχομένου από άλλους ιστότοπους. Μετάφραση με Μηχανές (Machine Translation) - Χρησιμοποιώντας μετάφραση με μηχανές για να ξαναγράψει το περιεχόμενο σε διάφορες γλώσσες, έχοντας ως αποτέλεσμα δυσανάγνωστο κείμενο. Οι ανεπιθύμητοι σύνδεσμοι είναι σύνδεσμοί μεταξύ σελίδων, και υπάρχουν για λόγους άλλους εκτός από την αξία. Οι τεχνικές περιλαμβάνουν: Λογισμικό δημιουργίας συνδέσμων - Αυτοματοποίηση της διαδικασίας βελτιστοποίησης μηχανών αναζήτησης (SEO). Φάρμες Συνδέσμων (Link Farms) - Σελίδες που αναφέρονται η μία στην άλλη μεταξύ τους (επίσης γνωστές ως κοινωνίες αμοιβαίου θαυμασμού) Κρυμμένοι σύνδεσμοι - Τοποθέτηση υπερσυνδέσμων όπου οι επισκέπτες δεν θα τους δουν ή δεν θα μπορούν να τους δουν. Sybil Attack - Πλαστογράφηση πολλαπλών ταυτοτήτων με κακόβουλη πρόθεση. Ιστολόγια spam - Ιστολόγια που δημιουργήθηκαν αποκλειστικά για εμπορική προώθηση και τη μετάβαση της εξουσιοδότησης σύνδεσης σε ιστότοπους στόχους. Κλοπή Σελίδας (Page Hijacking) - Δημιουργία αντιγράφου δημοφιλούς ιστότοπου παρόμοιου περιεχομένου, με ανακατεύθυνση των επισκεπτών της δελίδας στον ιστό σε άσχετους ή ακόμα και κακόβουλους ιστότοπους. Αγορά ληγμένων domains- Αγορά ληγμένων domains και αντικατάσταση σελίδων με συνδέσμους προς μη σχετιζόμενους ιστότοπους. Συμπλήρωση Cookies (Cookie Stuffing) - Τοποθέτηση ενός cookie παρακολούθησης στον υπολογιστή του επισκέπτη του ιστότοπου χωρίς τη γνώση του. Forum Spam - Ιστοσελίδες που μπορούν να επεξεργαστούν από χρήστες για την εισαγωγή συνδέσμων προς spam ιστότοπους. Αυτή είναι μια τεχνική SEO στην οποία αποστέλλονται διαφορετικά στοιχεία και πληροφορίες στο πρόγραμμα ανίχνευσης ιστού και στο πρόγραμμα περιήγησης ιστού. Χρησιμοποιείται συνήθως ως τεχνική spamdexing επειδή μπορεί να παραπλανήσει τις μηχανές αναζήτησης είτε να επισκεφτούν έναν ιστότοπο που ουσιαστικά διαφέρει από την περιγραφή της μηχανής αναζήτησης είτε δίνοντας σε μια συγκεκριμένη τοποθεσία υψηλότερη κατάταξη. Ενοποιημένη αναζήτηση Κατάλογος μηχανών μετα-αναζήτησης Μετα-περιήγηση Πολυαναζήτηση Συλλέκτης αναζητήσεων Βελτιστοποίηση μηχανών αναζήτησης Υβριδική μηχανή αναζήτησης