使用docker来创建可扩展的分布式爬虫

【上海场】中国Python开发者大会PyConChina2017

20605 人浏览

已收藏收藏

7159

微信分享

视频列表

Profiling Openstack Using Huawei CPython(Loong) Interpreter

使用docker来创建可扩展的分布式爬虫

如何搭建支持千亿级别成交量的交易系统

以太坊区块链的python客户端开发实践

用Python开发GoodERP

The Pragmatic Guide of Sequence2Sequence based on Tensorflow

高民权

6310

人工智能与即时物流：达达-京东到家的算法实践

富媒体弹性机器学习平台

服务化的工程实践

TensorFlow下的构建高性能神经网络模型的最佳实践

李嘉璇

6695

Getting Start MXNet with Python

费良宏

6638

视频介绍

课程资料

评价

嘉宾介绍

主题介绍

对于爬虫来说，抓取速度一直是一个问题。本主题是利用了docker的特性“一次build,run anywhere”与scrapy-redis 相结合，来创建一个可扩展的分布式爬虫。整个流程如下：爬虫代码编写完成后，push到仓库后，自动进行docker 镜像build，build完成后自动创建应用，可自定义容器数量（随时可以更改），这样一个自动可扩展的分布式爬虫就完成了。

未上传任何附件

说点什么

—— 点击加载更多 ——

收起

为你推荐

啊哦，暂无相关推荐