分佈式爬蟲什麼意思

分佈式爬蟲是指在多個計算機上部署爬蟲程序，共享隊列，去重，讓多個爬蟲不爬取其他爬蟲爬取過的內容，從而實現實現聯合採集，是一種提高爬取效率的方法。

相對應的就是單機爬蟲，單機爬蟲是指只在一台服務器上部署爬蟲程序，單機爬蟲是使用本地電腦發出http請求，是一種反爬策略，可以突破ip限制。