google bot gibi yapmak isteyenler derken neyi kastettin sayfalarda googlebot gibi kısıtlama olmadan gezinmeyimi?

evet kendi botunuzu ve datacenterinizi olusturmak icin nasil yapildigini bilmiyorum internetde gezerken buldum ve paylasmak istedim.

Evet biraz detay alsak

Kendi botunuzu oluşturmak için sanırım.

ben bişi anlamadım ya biraz daha açarmısın konuyu rica etsem

forumda verildimi bilmiyorum belki ilgilenen arkadaslarin isine yarar robot-id: googlebot robot-name: Googlebot robot-cover-url: http://www.googlebot.com/ robot-details-url: http://www.googlebot.com/bot.html robot-owner-name: Google Inc. robot-owner-url: http://www.google.com/ robot-owner-email: robot-status: active robot-purpose: indexing robot-type: standalone robot-platform: Linux robot-availability: none robot-exclusion: yes robot-exclusion-useragent: googlebot robot-noindex: yes robot-host: googlebot.com robot-from: yes robot-useragent: Googlebot/2. X robot-language: c++ robot-description: Google's crawler robot-history: Developed by Google Inc robot-environment: commercial modified-date: Thu Mar 29 21:00:07 PST 2001 modified-by: diger robotlar: http://www.robotstxt.org/wc/active/all. txt indirmek icin: http://www.cpan.org/modules/by-module/LWP/