2021-11-01

分布式数据采集框架实际工作中的去重是如何实现的-下

从上篇文末我们得知，两个simhash对应二进制(01串)取值不同的数量称为这两个simhash的海明距离，知道这点，那么就好办了 海量数据中，高效判...

2021-10-19

分布式数据采集框架实际工作中的去重是如何实现的-上

在我们实际工作中，提到分布式数据采集框架，就不免说起数据去重的问题，对于一个7*24小时不间断的爬虫框架来说，爬虫任务循环往复调度，就必须将数据去重做好，...

2021-10-09

分布式及数据同步

自站长从业的第一天起，身边的大神就告诉站长，做大数据，必须要记住并深刻理解的一个词就是分布式。工作至今，也没有写过一篇关于分布式概念的帖子，本文主要介绍...