Docker版scrapy爬虫框架-为所欲为

共计 755 个字符，预计需要花费 2 分钟才能阅读完成。

提醒：本文最后更新于2026-09-10 11:26，文中所关联的信息可能已发生改变，请知悉！

说实话，手动安装scrapy简直让人抓狂，特别是window端。很多教程都有说明安装步骤，但实际上我们安装并不顺利，昨天那个手动教程，我反复安装了好几遍，十之八九是不成功的。

1. Docker版scrapy的使用方法

特点：

• 已完成编译环境，开箱即用，无需再次等待繁琐又耗时的初始化安装步骤
• 跨设备使用，基于官方python:3.7-alpine ,镜像仅为144M，安装非常快速。

运行：

通用格式：

docker run -it -v 宿主机挂载目录:/root/scrapy baiyuetribe/scrapy

示例：

• Windows宿主机挂载目录录改为：c:\\demo\\spider
• Linux宿主机挂载目录改为：/root/spider
• MAC 原理同上

使用演示：

初次运行会进入到sh命令交互端，可以正常使用linux下的操作，比如：

scrapy shell baiyue.one
....
....
>>>response.css('title')
[<Selector xpath='descendant-or-self::title' data='<title>支援部</title>'>]

其余命令都可以正常运行。

2.其它Docker版的python开发环境举例：

a.最小的python3.7镜像，仅为31M：

docker run -it python:3.7-alpine

b.适用与vs remote可扩展的镜像，相当于一台独立的linux主机环境加上vs code工具

docker run -it python:3.7  #大小为356M

c.基于python3.7的scrapy镜像，仅为141M：

docker run -it baiyuetribe/scrapy

3.Docker是什么？

一句话描述，就是一个打包好环境的linux系统，无视依赖环境，开箱即用。