最近有一个爬虫面试题(http://shaoq.com:7777/exam)在圈内看起来挺火的,经常在各个爬虫群里看到它被提到,而几乎所有提到这个面试题的人在题目限制的条件下就不知道该怎么办了,但这题目其实真的并不难,甚至可以说应该只是为了在招人时再过滤一遍只会写解析,拿着Selenium和代理池硬怼的人罢了(之前招人的时候见过很多,甚至有很多2-3年经验还处于这个水平)。
造成爬虫圈子现在这个情况的原因我觉得可能是因为各种爬虫书籍/培训班/网课都没有讲到过关于逆向方面的知识,他们的教学更倾向于Python语法、正则表达式、XPath这些非常基础的东西和常见爬虫框架/工具的简单用法,而读者/学员学完之后的水平充其量也就只能爬爬豆瓣之类的简单网站,面对有点简单反爬的就一脸懵逼,只能拿着Selenium和代理池硬怼。那么为了提升一下爬虫圈内的平均水平,写点别人没讲或者不想讲的东西并分享出来就很有必要了,这个专栏也是因此而生的。