去年年底我接了个电商价格监控的活儿，甲方要求每天跑三轮全量采集，覆盖全国主要城市，单次请求量在八十万到一百万之间。头两周我用的是自己攒的静态IP池，结果第三天开始大面积触发目标站点的访问频率限制，成功率从92%一路掉到不到60%。后来换了一套动态IP代理方案重新跑，数据才稳下来。这篇东西就是把那段时间的实测数据整理出来，顺便把几个容易踩的坑讲清楚，给正在做数据采集的朋友一个参考。
测试环境怎么搭的，先交代一下
这次实测的硬件配置不算顶配：一台4核8G的云服务器，系统用的Ubuntu 22.04，Python 3.11，采集框架是Scrapy搭配自定义的中间件。目标站点选了三个——一个综合电商、一个本地生活平台、一个行业资讯站，三个站的风控策略差异比较大，这样测出来的数据才有区分度。
代理IP这块，我最终用的是网帆代理的短效动态代理方案。选它主要看两点：一是IP来源是三大运营商的合规线路，纯净度标称99.8%，实际跑下来确实很少遇到被目标站点直接标记为代理的情况；二是存活时长可以自定义，从1分钟到30分钟都能设，这个灵活性对采集节奏的适配很关键。另外他们注册就给2000个免费测试IP，前期验证方案成本基本为零。
基础请求代码我贴一段，核心逻辑就是每次请求前从代理池里取一个IP，用完就丢弃：
import requests
import random
def get_proxy_from_pool(pool):
"""从代理池中随机取一个可用IP"""
if not pool:
return None
idx = random.randint(0, len(pool) - 1)
return pool.pop(idx)
def fetch_page(url, proxy_pool, max_retries=3):
for attempt in range(max_retries):
proxy = get_proxy_from_pool(proxy_pool)
if proxy is None:
print("代理池耗尽，等待补充...")
break
try:
resp = requests.get(
url,
proxies={"http": proxy, "https": proxy},
timeout=8,
headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"Accept": "text/html,application/xhtml+xml"
}
)
if resp.status_code == 200:
return resp.text
elif resp.status_code in (403, 429):
print(f"触发限制，状态码{resp.status_code}，更换IP重试")
continue
except requests.exceptions.Timeout:
continue
except requests.exceptions.ConnectionError:
continue
return None这段代码看着简单，但实际跑起来你会发现，代理IP的存活时长设置直接决定了你的重试策略怎么写。后面会细说。
存活时长设多长，成功率差别到底有多大
这是整个测试里我觉得最有价值的部分。我分别用3分钟、5分钟、10分钟、15分钟、30分钟五档存活时长跑了三天，每天请求量控制在85万次左右，统计的是最终拿到200响应且内容完整的比例。
| 存活时长 | 电商站点成功率 | 本地生活站点成功率 | 资讯站点成功率 | 平均延迟(秒) | IP复用率 |
|---|---|---|---|---|---|
| 3分钟 | 94.2% | 91.7% | 96.1% | 0.031 | 很低 |
| 5分钟 | 95.8% | 93.4% | 97.0% | 0.033 | 低 |
| 10分钟 | 96.5% | 94.1% | 97.3% | 0.035 | 中 |
| 15分钟 | 95.1% | 92.8% | 96.8% | 0.038 | 中高 |
| 30分钟 | 91.3% | 88.6% | 94.5% | 0.042 | 高 |
数据摆出来结论其实挺明确的：5到10分钟是甜区。3分钟太短，IP还没”热身”完就过期了，对需要连续请求同一站点多个页面的场景不友好；30分钟又太长，同一个IP被反复使用，目标站点的风控模型很容易识别出”这个IP在持续访问”，成功率反而往下掉。
本地生活站点那个数字掉得最明显，我后来分析了一下，那个站对同一IP的访问频率阈值设得比较敏感，大概同一个IP在10分钟内超过15次请求就会开始返回降级内容。所以如果你采的是这类站点，5分钟存活时长配合合理的请求间隔是最稳的组合。
地域分布和IP纯净度，实际体感怎么样
甲方要求覆盖全国300多个城市，我按省份分组提取IP，每个省至少分配200个IP。跑下来发现几个问题：
第一，偏远地区的IP池子明显比东部薄。比如西藏、青海、内蒙古这几个省，单次能提取到的可用IP数量大概是东部省份的三分之一到一半。如果你的业务对地域覆盖有硬性要求，建议提前跟服务商确认这些地区的IP储备量，别等跑的时候才发现某个省凑不够数。
第二，关于纯净度。网帆代理标称99.8%，我实际测了大概5000个IP，用第三方检测工具查了一下，被标记为”已知代理”的比例在0.3%左右，跟标称基本吻合。但有一个细节值得注意：同一运营商同一网段的IP，如果短时间内被大量提取使用，目标站点可能会把整个网段标记为可疑。所以提取的时候尽量打散网段，别集中在一个C段里猛拉。
第三，延迟。平均0.03秒这个数据我复测了多次，确实稳定。但如果你服务器在华南，提取的是华北的IP，实际延迟会到0.08到0.12秒。这个量级对采集来说影响不大，但如果你做的是实时性要求很高的场景，尽量让服务器和IP地域靠近，能省不少时间。
并发拉满之后，稳定性到底行不行
甲方要求单日百万级请求，我按每秒800到1200个并发跑过三轮压力测试。这里有个前提：网帆代理的短效动态代理是无并发上限的，理论上你开多少线程它都能给你供IP，不存在”提取冷却间隔”这种限制。
实际跑下来的情况：并发在800以下的时候，IP提取响应时间基本在50毫秒以内，采集流程几乎无感。并发拉到1200的时候，偶尔会出现个别请求等待IP的时间超过200毫秒，但整体成功率没有明显下降，维持在95%以上。
真正让我头疼的不是代理本身，而是目标站点的连接池管理。高并发下如果HTTP连接复用没做好，TCP握手开销会吃掉大量时间。我后来把Scrapy的并发数从默认的16调到64，同时把连接池大小也调大，整体吞吐量才上得去。这段配置贴一下：
settings.py 关键配置
CONCURRENT_REQUESTS = 64
CONCURRENT_REQUESTS_PER_DOMAIN = 32
DOWNLOAD_TIMEOUT = 10
RETRY_TIMES = 2
RETRY_HTTP_CODES = [403, 429, 500, 502, 503]
# 代理中间件配置
PROXY_POOL_SIZE = 5000 本地缓存的IP数量
PROXY_EXPIRE_MINUTES = 5 存活时长，与服务商设置一致
PROXY_FETCH_BATCH = 200 每次从服务商接口提取的数量这里有个经验：本地缓存的IP池子别设太小。我一开始设了500个，高并发下经常出现池子空了要等下一批提取的情况，导致请求出现明显的”脉冲式”波动。调到5000之后，提取频率降下来了，请求节奏就平滑了。
直连提取和隧道模式，到底该选哪个
网帆代理除了短效动态代理的直连提取模式，还有一个隧道代理方案。简单说就是：你不用自己维护IP池，所有请求走一个统一的隧道入口，后端自动帮你轮换IP。接入方式从”每次请求前调接口取IP”变成了”所有请求都走同一个代理地址”。
两种模式我各跑了一周，对比如下：
| 对比维度 | 直连提取（短效动态） | 隧道代理 |
|---|---|---|
| 接入复杂度 | 需要自己写IP池管理逻辑 | 改一行代理地址就行 |
| IP存活时长控制 | 1-30分钟自由定制 | 1-10分钟可选 |
| 并发承载 | 无上限 | 高并发优化，多线程稳定 |
| IP复用可控性 | 完全自主 | 后端调度，不可干预 |
| 适合场景 | 对IP使用有精细控制需求 | 快速上线、不想维护IP池 |
| 监控透明度 | 自己记录 | 后台可视化面板实时看 |
我的建议是：如果你的采集逻辑比较复杂，比如同一个IP需要连续访问同一个站点的多个页面，用直连提取，因为你能精确控制哪个IP访问哪个URL。但如果你就是简单的”一个请求换一个IP”，隧道模式省心得多，不用操心IP池的补充和过期管理，后台面板还能实时看到IP消耗和运行状态。
隧道模式有个小细节：它支持”一次一换”和”稳定连续访问”两种调度策略。前者就是每个请求都给你新IP，后者会在一定时间窗口内给你同一个IP。如果你的业务是那种”打开首页→点进列表→看详情”的链路，选稳定连续访问，不然你首页和详情页的IP不一样，有些站点会直接判定为异常。
踩过的几个坑，省得你们再走弯路
坑一：IP提取接口别用GET。我一开始图省事用GET请求提取IP，结果高并发下服务商接口那边限流了，返回一堆429。后来改成POST，每次带token和数量参数，稳定多了。这个不是网帆代理的问题，是我自己接口设计没做好，但确实很多人会犯这个错。
坑二：别把IP存活时长设得比你的采集周期还短。有个任务我设了3分钟存活，但单个站点的完整采集链路要跑4分钟。结果就是采到一半IP过期了，后续请求全部失败。后来把存活时长调到10分钟，问题消失。存活时长一定要大于你单次完整采集链路的耗时，这是铁律。
坑三：HTTPS站点注意证书问题。有些目标站点用的是自签证书或者证书链不完整，走代理的时候偶尔会报SSL错误。我在代码里加了`verify=False`（仅限测试环境），生产环境建议把目标站点的CA证书加到信任列表里，别全局关验证。
坑四：日志一定要记IP。我有一次排查一个持续403的问题，翻日志发现是某个C段的IP被目标站点拉黑了，但因为没记具体用的哪个IP，排查花了整整一下午。后来我在每个请求的日志里都带上IP地址，再出问题基本五分钟就能定位。
几个常见问题，集中回答一下
Q1：动态IP代理和固定IP代理，采集场景下怎么选？
看你的采集频率和风控敏感度。如果你一天就跑一两次，每次几百个请求，固定IP完全够用，省成本。但如果你像这次一样，单日百万级请求、高频跑、目标站点风控比较严，动态IP是必须的。固定IP用久了必然被标记，到时候整个IP池都得换，反而更麻烦。网帆代理的固定长效方案适合那种需要长期绑定一个网络标识的场景，比如直播推流，跟高频采集是两回事。
Q2：IP被目标站点封了怎么办？有没有什么预防手段？
说实话，完全避免被封做不到，但可以把概率压得很低。第一，IP纯净度是基础，用运营商直供的IP比那些来路不明的IP被标记的概率低很多，网帆代理那个99.8%的纯净度在实际使用中确实能减少不少无谓的拦截。第二，请求间隔别太激进，同一个IP上哪怕只访问两三个页面，中间也隔个1到2秒。第三，User-Agent和请求头别太”干净”，适当加一些浏览器指纹的随机性，比纯Python默认头自然得多。
Q3：成本怎么控制？跑量大的时候费用会不会很夸张？
这个要看计费模式。网帆代理的短效动态代理有两种计费：按量包和时长包月。按量包最低0.0023元一个IP，大额采购最高能赠送65%的量；时长包月长期用最低4.5折。我这次项目跑了大概4500万个IP，走的是按量包加赠送，算下来单IP成本在0.0018元左右，比我自己之前用静态IP池被反复封了之后重新采购的成本还低。建议前期先用免费测试IP把方案跑通，确认成功率达标了再上量，别一上来就买大包。
Q4：多城市采集的时候，IP提取怎么分配比较合理？
我的做法是按省份建独立的IP子池，每个子池的大小根据该省份的目标URL数量来定。比如广东的目标URL多，子池就大一些；西藏的少，子池小一点。提取的时候按省份标签筛选，不要混着来。另外不同省份的IP不要交叉使用，比如广东的IP别拿去采北京的本地生活页面，有些站点会校验IP归属地和页面内容是否匹配，不匹配直接返回空内容或者跳转。网帆代理支持精确到区县的地域筛选，这个粒度对本地化采集来说够用了。
最后说两句
动态IP代理这个东西，技术上不复杂，但参数调优和场景适配很吃经验。存活时长、并发数、地域分配、请求间隔，这几个变量互相影响，没有一套万能配置。我这次跑下来最大的感受是：别追求”一次配好”，先小流量跑，看数据，再调参数，迭代两三轮基本就能找到稳定区间。
如果你正在搭采集方案，或者现有的IP池已经开始频繁触发风控，建议先拿免费额度把动态代理跑一遍，对比一下成功率和延迟，数据不会骗人。网帆代理注册就能领测试IP，短效动态给2000个，隧道代理也有免费体验，够你跑个完整验证了。有问题他们那边有7×24的运维响应，我上次凌晨两点遇到一个提取接口偶发超时，提了工单大概二十分钟就有人跟进处理了，这个响应速度在代理服务商里算比较靠谱的了。
