Ανάπτυξη μηχανισμού διάσχισης του διαδικτύου (Web Crawler) με βάση το προβαλλόμενο περιεχόμενο
Creators: name: Ναζέρ, Νιντάλ Γεωργίου (Nazer, Nintal)
Publisher: name: Aristotle University of Thessaloniki
Year: 2013
Subjects: Μηχανισμός Διάσχισης
Φυλλομετρητής με βάση το προβαλλόμενο περιεχόμενο
Μηχανές Αναζήτησης
Web Crawler
Headless browser
Search Engines

description: Το διαδίκτυο για τους χρήστες είναι στενά συνυφασμένο με τον όρο αναζήτηση. και τις μηχανές αναζήτησης. Η κατασκευή και η συντήρηση αυτών στελεχώνεται από επιστημονικές ομάδες εφαρμόζοντας μοντέλα κοινωνικά, μαθηματικά, σημασιολογικά σε συνδυασμό με τις τεχνολογίες της πληροφορικής. Η διενέργεια ενός ερωτήματος σε μια μηχανή έχει ως αποτέλεσμα την εμφάνιση των κατάλληλων αποτελεσμάτων που πληρούν τα κριτήρια αναζήτησης. Με την πάροδο του χρόνου και την αύξηση του ανταγωνισμού στο διαδικτυακό μάρκετινγκ αναπτύχθηκαν τεχνικές Search Engine Optimization ώστε να μπορέσουν ορισμένες ιστοσελίδες να αποκτήσουν ανταγωνιστικό πλεονέκτημα έναντι άλλων ώστε να μπορούν να εμφανίζονται σε υψηλότερη θέση κατάταξης για ορισμένα κριτήρια. Για να μπορέσει μια μηχανή αναζήτησης να γνωρίζει το περιεχόμενο μιας ιστοσελίδας χρησιμοποιεί τους crawlers οι οποίοι σαρώνουν μαζικά το διαδίκτυο. Επιπλέον, η εφαρμογή δυναμικών τεχνολογιών στο διαδίκτυο με σκοπό καλύτερη παρουσίαση του προβαλλόμενου περιεχομένου οδήγησε στη δημιουργία ενός χάσματος μεταξύ στο περιεχόμενο το οποίο βλέπει ένας χρήστης και σε αυτό που μια μηχανή αναζήτησης έχει ευρετηριοποιήσει για έναν ιστότοπο. Επιπλέον πολλές φορές είναι δυνατή η περιήγηση σε έναν ιστότοπο μετά από μια διαδικασία αναζήτησης ο οποίος δεν έχει νοηματική συσχέτιση με τα κριτήρια που θέσαμε στο ερώτημα που κατασκευάσαμε. Μπορούμε να πούμε ότι καθίσταται ωφέλιμη η δημιουργία ενός μηχανισμού ο οποίος μπορεί να εντοπίσει επακριβώς το προβαλλόμενο περιεχόμενο ενός ιστότοπου σε ένα χρήστη. Επαγωγικά η εντατική χρήση ενός τέτοιου μηχανισμού μπορεί να συμβάλει στην αποτελεσματικότερη και αποδοτικότερη αναζήτηση στο διαδίκτυο αν συνυπολογίσουμε το γεγονός ότι πλέον έχει δημιουργηθεί ένας ανθρωποκεντρικός μηχανισμός crawling του διαδικτύου.
description: From a user perspective, the Internet is closely related to web searching. Research in design of search engines is cutting edge, where social, mathematical and semantic models are coupled with software engineering primitives for the best possible outcome. Posting a query to a search engine should produce a result set that fulfills the search criteria as best as possible. In order for a search engine to identify the content of a web site, it employs crawlers which massively scan throughout the internet. Optimal crawling and indexing follow specific methodologies that decide the ranking of a web page based on its visitability, its content and the inbound/outgoing links from/to other web sites. Search Engine Optimization techniques try to take advantage of these crawling process mechanisms for the benefit of specific web sites. Since page visitability plays a substantial role in ranking, better presentation of the projected content is essential. This can be achieved by the use of dynamic technologies, which also allow the diversification of the content a user sees from the content that a search engine indexes. Another way of ranking higher is to deceive a search engine and link a web page to concepts frequently accessed by users. A web crawling mechanism has been developed, which discovers user displayed content rather than search engine displayed content. Systematic use of this crawler can lead to more effective and efficient web searches and can reduce the inconsistency between the search engine queries and real content. It is, thus, acceptable to say that such a mechanism leads to an anthropocentric crawling of the web.