15k-30k·14薪经验3-5年/本科
移动互联网 / C轮/500-2000人
岗位职责: 1、负责相关网站、论坛、app的爬虫设计和开发,以及策略持续优化; 2、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗; 3、解决反爬疑难问题,设计及优化大型分布式爬虫系统等; 任职要求: 1、本科及以上学历,计算机软件或相关专业,三年及以上python开发经验; 2、掌握网络爬虫开发原理,熟悉互联网各种类型数据交互模式; 3、掌握HTML,JS,精通JS逆向;精通常见的反爬虫技术如文本混淆反爬虫、验证码等; 4、精通scrapy爬虫框架,对分布式爬虫、海量数据采集有深刻的理解; 5、精通app逆向,反编译及参数加密破解。对于今日头条、抖音、快手、微信、小红书app至少有两种每天大数据量爬取的经验。 6、有通用网站和论坛爬取及解析的经验如Readability、Newspaper的优先; 7、具备良好的沟通能力和团队协作能力。