Cuando se realiza esta clase de copia exacta del sistema de archivos (en inglés "mirroring") automática de un sitio web, Wget es compatible con el estándar de exclusión de robots.