Μηχανή Μετα-αναζήτησης

Ένας μηχανισμός μετα-αναζήτησης (ή συλλέκτης ) είναι ένα εργαλείο αναζήτησης που χρησιμοποιεί τα δεδομένα μιας άλλης μηχανής αναζήτησης για να παράξει τα δικά του αποτελέσματα από το Διαδίκτυο. Οι μηχανές μετα-αναζήτησης λαμβάνουν από έναν χρήστη πληροφορίες σχετικά με την αναζήτηση  και στέλνουν ταυτόχρονα ερωτήματα σε άλλες μηχανές αναζήτησης τρίτων για να λάβουν αποτελέσματα. Συγκεντρώνονται επαρκή δεδομένα, μορφοποιούνται βάσει των βαθμολογιών τους και παρουσιάζονται στον χρήστη. 
Οι μηχανές μετα-αναζήτησης έχουν τα δικά τους μοναδικά προβλήματα. Όλες οι αποθηκευμένες στις μηχανές αναζήτησης ιστοσελίδες είναι διαφορετικές, κι εξαιτίας αυτού του γεγονότος αντλείται άσχετο περιεχόμενο. Προβλήματα όπως το spam μειώνουν την ακρίβεια των αποτελεσμάτων. Η διαδικασία σύντηξης (fusion) στοχεύει στην αντιμετώπιση αυτού του ζητήματος και στη βελτίωση της τεχνολογίας ενός μηχανισμού μετα-αναζήτησης. 
Υπάρχουν πολλοί τύποι μηχανών μετα-αναζήτησης, οι οποίες  επιτρέπουν στους χρήστες να έχουν πρόσβαση σε εξειδικευμένες πληροφορίες σε ένα συγκεκριμένο τομέα.

Ιστορία

Το πρώτο άτομο που ενσωμάτωσε την ιδέα της πρώιμης μετα-αναζήτησης ήταν ο Daniel Dreilinger του State University του Κολοράντο . Αποκάλυψε το SearchSavvy, το οποίο επιτρέπει στους χρήστες να αναζητούν έως και σε 20 διαφορετικές μηχανές αναζήτησης και καταλόγους ταυτόχρονα. Αν και ταχύτατη, η μηχανή αναζήτησης περιοριζόταν σε απλές αναζητήσεις και έτσι δεν ήταν πολύ αξιόπιστη. Ο σπουδαστής του Πανεπιστημίου της Ουάσινγκτον Eric Selberg κυκλοφόρησε μια πιο "ενημερωμένη" έκδοση που ονομάστηκε MetaCrawler . Αυτή η μηχανή αναζήτησης βελτίωσε την ακρίβεια του SearchSavvy, προσθέτοντας "παρασκηνιακά" το δικό της συντακτικό ταιριάζοντάς το με το συντακτικό των  μηχανών αναζήτησης που χρησιμοποιούσε. Το Metacrawler μείωσε το πλήθος των ερωτούμενων μηχανών αναζήτησης στις 6, αλλά παρόλο που παρήγαγε ακριβέστερα αποτελέσματα, συνέχισε να μην θεωρείται εξίσου ακριβές όσο ήταν η χρήση ερωτημάτων σε μεμονωμένες μηχανές αναζήτησης. 
Μια άλλη μηχανή μετα-αναζήτησης δημιουργήθηκε στις 20 Μαΐου 1996. Το HotBot, ιδιοκτησίας τότε της Wired, ήταν μια μηχανή αναζήτησης με αποτελέσματα αναζήτησης που προέρχονταν από τις βάσεις δεδομένων Inktomi και Direct Hit. Ήταν γνωστό εκείνη την εποχή για τα γρήγορα αποτελέσματα και το φανταχτερό όνομα, και ως  η μηχανή αναζήτησης με την δυνατότητα αναζήτησης μέσα στα αποτελέσματα των αναζητήσεων. Με την αγορά του από τη Lycos το 1998, η ανάπτυξη της μηχανής αναζήτησης κλονίστηκε και το μερίδιο της αγοράς της μειώθηκε δραστικά. Μετά από μερικές αλλαγές, το HotBot επανασχεδιάστηκε σε μια απλοποιημένη διεπαφή αναζήτησης, με τα χαρακτηριστικά του να ενσωματώνονται στον επανασχεδιασμό της ιστοσελίδας του Lycos. Μια μηχανή μετα-αναζήτησης που ονομάστηκε Anvish αναπτύχθηκε από τους Bo Shu και Subhash Kak το 1999. Τα αποτελέσματα αναζήτησης ταξινομούνταν με τη χρήση ακαριαία εκπαιδευμένων νευρωνικών δικτύων. Το Anvish αργότερα ενσωματώθηκε σε μια άλλη μηχανή μετα-αναζήτησης, η οποία  ονομάζεται Solosearch.
Το Ixquick είναι μια μηχανή αναζήτησης προσφάτως πιο γνωστή για τη δήλωσή της περί της πολιτικής απορρήτου. Αναπτύχθηκε και ξεκίνησε το 1998 από τον David Bodnick και ανήκει στην εταιρεία Surfboard Holding BV από το 2000. Τον Ιούνιο του 2006, η Ixquick άρχισε να διαγράφει τις ιδιωτικές λεπτομέρειες των χρηστών της ακολουθώντας την ίδια διαδικασία με την Scroogle . Η πολιτική απορρήτου της Ixquick περιλαμβάνει την μη-καταγραφή IP διευθύνσεων των χρηστών, την μη-χρήση αναγνωριστικών cookies, την μη-συλλογή προσωπικών δεδομένων και μη κοινοποίηση προσωπικών δεδομένων σε τρίτους. Χρησιμοποιεί επίσης ένα μοναδικό σύστημα κατάταξης όπου το αποτέλεσμα κατατάσσεται αναλόγως του πλήθους αστεριών που έχει. Όσο περισσότερα αστέρια σε ένα αποτέλεσμα, τόσο περισσότερες μηχανές αναζήτησης συμφώνησαν για το αποτέλεσμα. 
Τον Απρίλιο του 2005, η Dogpile (ιδιοκτήτρια και υπεύθυνη λειτουργίας της ήταν τότε η InfoSpace, Inc.) συνεργάστηκε με ερευνητές του πανεπιστημίου του Πίτσμπουργκ και του Πανεπιστημίου της Πενσυλβάνιας για να μετρήσει τις διαφορές της επικάλυψης των αποτελεσμάτων και της κατάταξής τους μεταξύ των κορυφαίων μηχανών αναζήτησης το Διαδικτύου, έτσι ώστε να μπορέσει να υπολογίσει τα οφέλη από τη χρήση μιας μηχανής μετα-αναζητήσεων για αναζητήσεις στον ιστό. Οι μετρήσεις έδειξαν ότι από τα 10.316 τυχαία ερωτήματα που δόθηκαν από χρήστες στις μηχανές αναζήτησης Google, Yahoo!, και Ask Jeeves, μόνο το 3,2% των αποτελεσμάτων της πρώτης σελίδας ήταν τα ίδια σε όλες τις μηχανές αναζήτησης για ένα συγκεκριμένο ερώτημα. Μια άλλη μελέτη αργότερα στο ίδιο έτος χρησιμοποιώντας 12.570 τυχαία ερωτήματα χρηστών προς τις μηχανές αναζήτησης Google, Yahoo!, MSN Search και Ask Jeeves διαπίστωσαν ότι μόνο το 1,1% των αποτελεσμάτων της πρώτης σελίδας ήταν τα ίδια σε όλες τις μηχανές αναζήτησης για ένα δεδομένο ερώτημα.

Πλεονεκτήματα

Με την αποστολή πολλαπλών ερωτημάτων σε πολλές διαφορετικές μηχανές αναζήτησης επεκτείνεται η κάλυψη αναζήτησης του θέματος και επιτρέπεται να εντοπιστούν περισσότερες πληροφορίες. Χρησιμοποιούν τους δείκτες που έχουν δημιουργηθεί από άλλες μηχανές αναζήτησης, συγκεντρώνουν και συχνά επεξεργάζονται τα αποτελέσματα με μοναδικούς τρόπους. Μια μηχανή μετα-αναζήτησης έχει πλεονέκτημα σε σχέση με μια απλή μηχανή αναζήτησης επειδή περισσότερα αποτελέσματα μπορούν να ανακτηθούν με τον ίδιο βαθμό προσπάθειας. Μειώνει επίσης το έργο των χρηστών ώστε να μην χρειάζεται να πληκτρολογούν μεμονωμένες αναζητήσεις σε διαφορετικές μηχανές αναζήτησης για να αναζητήσουν πόρους. 
Η χρήση μηχανών μετα-αναζήτησης παρέχει επίσης μια χρήσιμη προσέγγιση εάν ο σκοπός της αναζήτησης του χρήστη είναι να αποκτήσει επισκόπηση του θέματος ή να πάρει γρήγορες απαντήσεις. Αντί να χρειαστεί να περάσει από πολλές μηχανές αναζήτησης όπως την Yahoo! ή την Google και να συγκρίνει τα αποτελέσματα, οι μηχανές μετα-αναζήτησης είναι σε θέση να καταρτίσουν λίστες αποτελεσμάτων γρήγορα και να συνδυάσουν τα αποτελέσματα. Μπορούν να το κάνουν είτε με κατάρτιση λίστας αποτελεσμάτων από κάθε μηχανή αναζήτησης, η οποία έχει ερωτηθεί, χωρίς να πραγματοποιηθεί πρόσθετη μεταγενέστερη επεξεργασία (Dogpile) είτε με ανάλυση των αποτελεσμάτων και κατάταξή τους σύμφωνα με τους κανόνες κατάταξής τους (IxQuick, Metacrawler και Vivismo). 
Μια μηχανή μετα-αναζήτησης μπορεί επίσης να κρύψει την IP διεύθυνση του χρήστη από τις ερωτούμενες μηχανές αναζήτησης παρέχοντας έτσι ιδιωτικότητα στην αναζήτηση. Υπ'αυτό το πρίσμα, η γαλλική κυβέρνηση το 2018 αποφάσισε ότι όλες οι κυβερνητικές αναζητήσεις ιστού θα γίνονται χρησιμοποιώντας την Qwant, η οποία πιστεύεται ότι είναι μηχανή μετα-αναζήτησης.

Μειονεκτήματα

Οι μηχανές μετα-αναζήτησης δεν είναι σε θέση να αποκωδικοποιήσουν φόρμες ερωτήσεων ούτε είναι σε θέση να μεταφράσουν πλήρως τη σύνταξη των ερωτημάτων. Ο αριθμός των συνδέσμων που παράγονται από τις μηχανές μετα-αναζήτησης είναι περιορισμένος και συνεπώς δεν παρέχουν στον χρήστη τα πλήρη αποτελέσματα ενός ερωτήματος. Η πλειοψηφία των μηχανών μετα-αναζήτησης δεν παρέχει πάνω από δέκα συνδεδεμένα αρχεία από κάθε μηχανή αναζήτησης και γενικά δεν αλληλεπιδρούν με μεγαλύτερες μηχανές αναζήτησης για αποτελέσματα. Οι διαφημισμένες ιστοσελίδες έχουν προτεραιότητα και συνήθως εμφανίζονται πρώτα. 
Οι μηχανές μετα-αναζήτησης δίνουν επίσης την ψευδαίσθηση πως υπάρχει μεγαλύτερη κάλυψη του ερωτηθέντος θέματος, ειδικά εάν ο χρήστης αναζητά δημοφιλείς ή συνηθισμένες πληροφορίες. Οι αναζητήσεις είναι σύνηθες να καταλήγουν με πολλαπλά πανομοιότυπα αποτελέσματα από τις ερωτηθείσες μηχανές αναζήτησης. Είναι επίσης πιο δύσκολο για τους χρήστες να πραγματοποιούν αναζητήσεις χρησιμοποιώντας συντακτικό σύνθετης αναζήτησης, το οποίο να αποστέλλεται μαζί με το ερώτημα, επομένως τα αποτελέσματα μπορεί να μην είναι τόσο ακριβή όσο όταν ένας χρήστης χρησιμοποιεί μια διεπαφή προηγμένης αναζήτησης σε μία συγκεκριμένη μηχανή αναζήτησης. Αυτό έχει ως αποτέλεσμα πολλές μηχανές μετα-αναζήτησης να χρησιμοποιούν μόνο απλή αναζήτηση.

Αρχιτεκτονική της κατάταξης

Οι ιστοσελίδες που έχουν υψηλή θέση σε πολλές μηχανές αναζήτησης ενδέχεται να είναι πιο σχετικές με την παροχή χρήσιμων πληροφοριών.  Ωστόσο, όλες οι μηχανές αναζήτησης έχουν διαφορετικές βαθμολογίες κατάταξης για κάθε ιστότοπο και τις περισσότερες φορές αυτές οι βαθμολογίες δεν είναι οι ίδιες. Αυτό οφείλεται στο γεγονός ότι οι μηχανές αναζήτησης δίνουν προτεραιότητα σε διαφορετικά κριτήρια και μεθόδους βαθμολόγησης, επομένως ένας ιστότοπος μπορεί να εμφανίζεται σε υψηλή θέση σε μία μηχανή αναζήτησης και να βρίσκεται σε χαμηλή κατάταξη σε άλλη. Αυτό είναι ένα πρόβλημα επειδή οι μηχανισμοί Metasearch βασίζονται σε μεγάλο βαθμό στη συνέπεια αυτών των δεδομένων για τη δημιουργία αξιόπιστων λογαριασμών.

Spamdexing

Το spamdexing είναι η σκόπιμη χειραγώγηση των ευρετηρίων των μηχανών αναζήτησης. Χρησιμοποιεί μια σειρά μεθόδων για να χειραγωγήσει τη συνάφεια ή την προβολή σε καλύτερη θέση των ευρετηριασμένων πόρων, με τρόπο που δεν συμμορφώνεται με την πρόθεση του συστήματος ευρετηρίασης της μηχανής αναζήτησης. Το spamdexing μπορεί να είναι πολύ ενοχλητικό για τους χρήστες και προβληματικό για τις μηχανές αναζήτησης, επειδή τα περιεχόμενα που επιστρέφονται από τις αναζητήσεις έχουν χαμηλή ακρίβεια. Αυτό τελικά, θα έχει ως συνέπεια η μηχανή αναζήτησης να γίνει αναξιόπιστη και να χάσει την εμπιστοσύνη του χρήστη. Για την αντιμετώπιση του spamdexing, οι αλγόριθμοι των ρομπότ αναζήτησης γίνονται πιο περίπλοκοι και αλλάζουν σχεδόν καθημερινά για να εξαλείψουν το πρόβλημα. 
Το spamdexing είναι μείζον πρόβλημα για τους μηχανισμούς μετα-αναζήτησης, επειδή παρεμποδίζει τα κριτήρια ευρετηρίασης των ρομπότ αναζήτησης, τα οποία κριτήρια εξαρτώνται σε μεγάλο βαθμό από τη δημιουργία καταλόγων κατάταξης. Με spamdexing χειραγωγείται το εγγενές σύστημα κατάταξης μιας μηχανής αναζήτησης και τοποθετούνται ιστότοποι ψηλότερα στον κατάλογο κατάταξης από ό,τι  τοποθετούνται από την μηχανή αναζήτησης. Για να επιτευχθεί αυτό χρησιμοποιούνται τρεις βασικές μέθοδοι:

Κάλυψη

Αυτή είναι μια τεχνική SEO στην οποία αποστέλλονται διαφορετικά στοιχεία και πληροφορίες στο πρόγραμμα ανίχνευσης ιστού και στο πρόγραμμα περιήγησης ιστού. Χρησιμοποιείται συνήθως ως τεχνική spamdexing επειδή μπορεί να παραπλανήσει τις μηχανές αναζήτησης είτε να επισκεφτούν έναν ιστότοπο που ουσιαστικά διαφέρει από την περιγραφή της μηχανής αναζήτησης είτε δίνοντας σε μια συγκεκριμένη τοποθεσία υψηλότερη κατάταξη.