Mesin pencari web

pada tahun 2001, mesin pencari Google berkembang besar. Keberhasilan ini didasarkan pada bagian konsep dasar dari link popularity dan PageRank. Setiap halaman diurutkan berdasarkan seberapa banyak situs yang terkait, dari sebuah "premis" bahwa situs yang diinginkan pasti lebih banyak terhubung daripada yang lain. Rangking situs (The PageRank)dari sebuah link halaman dan jumlah link dari halaman-halaman tersebut merupakan masukan bagi Rangking situs yang bersangkutan. Hal ini memungkinkan bagi Google untuk mengurutkan hasilnya berdasarkan seberapa banyak halaman situs yang menuju ke halaman yang ditemukannya. "User interface" Google sangat disukai oleh pengguna, dan hal ini berkembang ke para pesaingnya.Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halamanweb, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — "browser" web otomatis yang mengikuti setiap pranala/link yang dilihatnya. Isi setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya, kata-kata diambil dari judul, subjudul, atau "field" khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah "database" indeks untuk digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google, menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi tentang halaman web itu sendiri.