爬虫为什么要使用代理ip，由于互联网时代的到来，爬虫早已变成获取数据的不可或缺的方式，在使用爬虫频繁爬取相同网站时，时常会被网站的IP反爬虫机制给禁掉，为了更好地解决封禁IP的问题，一般 会使用以下两种方式：

1、放慢爬取速度，减少对于目标网站引起的压力，但会减少单位时间类的爬取量。

2、使用代理IP，使用代理IP以后能够 让爬虫伪装自己的真实IP。

对于python爬虫来说，有时候业务量繁重，分布式爬虫是最好的提升效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，因此 对于免费代理，确实无需考虑了，其IP可用率能高于10%就早已是谢天谢地了，使用这种质量的IP资源可以说苦不堪言。

要想有效突破反爬虫机制继续高频率爬取，使用一款优质的代理IP是不可或缺的，这里就不能不推荐芝麻HTTP代理了—价格不贵且稳定性要远远高于免费的代理IP。芝麻HTTP代理不仅有着海量的资源，而且还可以实现极速更换IP地址，是非常简单方便的代理服务器，更为重要的是能够 确保安全性。