很多朋友在跑爬虫的时候，经常会遇到一个让人头疼的问题：代码明明写得好好的，一加上代理IP就各种报错，不是连接超时就是403 Forbidden。其实遇到这种情况先别急着改代码，代理IP不能用，八成是卡在了下面这5个环节里。今天咱们就用大白话捋一捋，花一分钟时间自查，基本就能对症下药。
环节一：认证方式没搞对，直接被拒门外
用代理IP第一步就是身份认证，目前主流的认证方式有两种：账密认证和白名单认证。如果你用账密认证，账号密码填错一个字母，或者没在代码里加上认证头，那肯定连不上。如果你用白名单认证，但没把跑爬虫的那台机器的公网IP加到白名单里，代理服务器一样会拒绝你的请求。
自查方法很简单：看看报错是不是407 Proxy Authentication Required。如果是，赶紧核对账号密码，或者去代理服务商后台把本机公网IP绑定一下。需要注意的是，有些公司的网络是动态公网IP，今天加了明天可能就变了，这时候建议直接用账密认证更省心。
# 账密认证示例代码
import requests
proxy_url = "http://用户名:密码@代理服务器地址:端口"
proxies = {
"http": proxy_url,
"https": proxy_url,
}
try:
response = requests.get("http://目标网址", proxies=proxies, timeout=10)
print(response.status_code)
except Exception as e:
print(f"报错信息: {e}")环节二：协议类型对不上号，牛头不对马嘴
代理IP常用的协议有HTTP、HTTPS和SOCKS5。很多新手朋友拿了一个HTTP的代理，非要去请求HTTPS的网站，或者代码里把协议写反了，这肯定是不行的。这就好比你拿了一把开挂锁的钥匙去开电子锁，根本对不上。
咱们在写代码的时候，一定要确认目标网站是http还是https，然后去代理服务商那里提取对应协议的IP。如果服务商支持协议自动转换那就更好了，能省不少事。下面这个表格大家可以存一下，对照着看就不会错：
| 目标网站协议 | 建议使用的代理协议 | 常见报错表现 |
|---|---|---|
| HTTP | HTTP / SOCKS5 | 连接被重置、协议错误 |
| HTTPS | HTTPS / SOCKS5 | SSL证书错误、握手失败 |
环节三：并发太高把路堵死了
有些朋友跑数据的时候心急，一上来就开几十上百个线程同时往一个代理IP上发请求。你要知道，代理服务器本身也是有承载限制的，如果你用的代理IP有并发限制，或者你本地的带宽扛不住，就会出现各种超时报错。
遇到这种情况，先看看报错是不是Read timed out或者Connection timed out。解决办法很简单，把并发数降下来，或者用多几个IP来分担请求压力。如果你确实需要很高的并发，那在选代理服务的时候，就得挑那种不限制并发的产品。
环节四：IP存活周期和业务节奏不匹配
代理IP都是有寿命的，有的能用几分钟，有的能用好几个小时。如果你在跑一个需要登录、保持会话的业务，结果用了一个只能存活3分钟的短效IP，IP一失效你的会话就断了，业务自然报错。反过来，如果你只是简单抓个网页，却用很贵的长效IP，虽然能用，但成本上不划算。
这里大家要根据自己的业务节奏来选。如果是高频的数据采集，短效动态IP就足够了；如果是需要长时间保持同一网络环境的业务，就得用长效IP。
环节五：IP池本身质量太差，还没用就失效了
这是最冤的一种情况。你代码写得没问题，认证也对了，协议也对上了，但代理IP就是连不上。为啥？因为IP本身就已经失效了，或者被目标网站拉黑了。市面上有些免费的或者质量差的代理，IP存活率很低，你拿到手的时候它就已经是个死IP了。
遇到大面积连接失败、403 Forbidden，别犹豫，大概率是IP质量不行。这时候就得考虑换个靠谱的代理服务商了。像咱们网帆代理，走的是三大运营商正规直供线路，IP纯净度能达到99.8%以上，从源头上就保证了IP的可用性。
如果你不想自己费劲去维护IP池，怕提取到失效IP，可以直接用网帆代理的隧道代理。你不需要自己管IP怎么更换，只要接入统一的入口，服务器会自动帮你调度轮换，还能实时监控IP运行状态，对新手特别友好。如果你是跑高频大规模采集，网帆代理的短效动态代理也是个好选择，不仅IP储备量大，而且单秒无并发上限，平均延迟才0.03秒，跑起来非常丝滑。
常见问题QA
Q1：为什么我刚提取的代理IP，一测试就显示连接被拒绝？
A：这种情况多半是白名单没绑定，或者你绑定的白名单IP不是当前机器的公网IP（比如你在内网环境或者用了路由器NAT）。建议去代理服务商后台确认一下白名单，或者直接改用账密认证试试。
Q2：用代理IP访问目标网站，一直返回403，但不用代理就能访问，咋回事？
A：这说明你的代理IP被目标网站识别并拦截了。原因可能是这个IP之前被太多人用过，已经被拉黑了；或者是你的请求头没写对，比如User-Agent没带。建议换纯净度高的IP，比如网帆代理这种运营商直供的，同时检查一下请求头是否模拟了真实浏览器。
Q3：跑爬虫的时候，用短效IP好还是长效IP好？
A：看你的业务场景。如果你只是抓取不需要登录的公开数据，抓完一个页面就换下一个，用短效动态IP最划算，成本低效率高。如果你需要登录账号、保持购物车状态或者长时间操作同一个界面，那就必须用长效动态IP或者固定长效IP，不然IP一变，会话就断了，业务也就报错了。
