CrawlSpider整体爬取流程： a).爬虫文件首先根据起始url，获取该url的网页内容 b).链接提取器会根据指定提取规则将步骤a中网页内容中的链接进行提取 c).规则解析器会根据指定解析规则将链接提取器中提取到的链接中的网页内容根据指定的规则进行解析 d).将解析数据封装到item中，然后提交给管道进行持久化存储
举一反三
- 关于爬虫的实现思路，说法正确的是（ ） A: 第二步根据URL爬取指定网页的内容 B: 第四步保存数据或展示结果 C: 第三步解析页面，提取数据 D: 第一步查看网页是否具备被爬取的可行性
- Web爬虫的流程—先发送请求，然后获得网页内容，然后对网页内容进行解析，得到一个比较方便查看的数据结果，最后爬取相关内容。
- 关于聚焦爬虫的工作原理,下列描述正确的是( )。 A: 聚焦爬虫会根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接 B: 有用的链接会放入等待抓取的URL队列 C: 根据一定的搜索策略,从URL队列中选择下一步要抓取的网页URL D: 我们需要根据爬取需求定义聚焦爬虫的爬取目标,并进行相关的描述。
- Web爬虫的流程—先发送请求，然后获得网页内容，然后对网页内容进行解析，得到一个比较方便查看的数据结果，最后爬取相关内容。 A: 正确 B: 错误
- 中国大学MOOC: Web爬虫的流程—先发送请求，然后获得网页内容，然后对网页内容进行解析，得到一个比较方便查看的数据结果，最后爬取相关内容。