GitHub repository: BtQiang/91porn_spider
Primary language: Go
Description: 91视频网站爬虫工具，可以批量或单独爬取视频。 不带参数运行程序时，进入日常爬取模式，固定每天3点爬取24小时内发布的30个评分最高的视频，评分由关键字、视频时长、作者分三项评分组成(score下的两个txt定义了关键词评分和作者评分，分数范围[-∞，100])。每周六4点会爬取本周评分最高的30个最热视频并把当周的视频整理到一个文件夹下。程序有去重机制不会重复下载同一个视频。