理想情况下，爬虫应该能够看到你的网站，没有任何问题。如果你想要一份抓取错误报告，你可以访问Google Search Console。这份报告会告诉你哪些URL有问题。你的服务器日志文件也有这方面的信息，但初学者可能会发现访问这个日志是个挑战。 阅读更多