admin 管理员组

文章数量: 1184232

网页抓取：行为准则与挑战应对

1. 爬虫基础实现

爬虫可以使用Scrapy框架实现为一个蜘蛛（Spider）。以下是一个简单的示例代码： 

import scrapy
from scrapy.crawler import CrawlerProcess

class Spider(scrapy.Spider):
    name = 'spider'
    start_urls = ['https://blog.scrapinghub']

    def parse(self, response):
        # 查找CSS选择器 'div.prev-post > a' 并跟随链接
        pass

    @classmethod
    def close(cls, spider, reason):
        start_time = spider.crawler.stats.get_value('start_time')
        finish_time = spider.crawler.stats.get_value('finish_time')
        print("Total run time: ", finish_time - start_time)

if __name__ == "__main__":
    process = CrawlerProcess({
        'DOWNLOAD_DELAY': 5,
        'RANDOMIZED_DOWNLOAD_DELAY': False,
        'LOG_LEVEL': 'DEBUG'

本文标签： 行为准则 网页

版权声明：本文标题：11、网页抓取：行为准则与挑战应对 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/b/1759991230a3143478.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。