
白色衬衫净少年
热度 89 ℃
2025-04-23
热度 89 ℃
Redis中BitMap应用场景及实现
Redis BitMap是一种高效的位操作数据结构,它将字符串看作是由二进制位组成的数组。 在Redis中,一个BitMap最大可存储2^32个位,约51...
白色衬衫净少年
热度 16860 ℃
2021-11-01
热度 16860 ℃
分布式数据采集框架实际工作中的去重是如何实现的-下
从上篇文末我们得知,两个simhash对应二进制(01串)取值不同的数量称为这两个simhash的海明距离,知道这点,那么就好办了 海量数据中,高效判...
白色衬衫净少年
热度 5891 ℃
2021-10-19
热度 5891 ℃
分布式数据采集框架实际工作中的去重是如何实现的-上
在我们实际工作中,提到分布式数据采集框架,就不免说起数据去重的问题,对于一个7*24小时不间断的爬虫框架来说,爬虫任务循环往复调度,就必须将数据去重做好,...
白色衬衫净少年
热度 13908 ℃
2021-10-09
热度 13908 ℃
分布式及数据同步
自站长从业的第一天起,身边的大神就告诉站长,做大数据,必须要记住并深刻理解的一个词就是分布式。工作至今,也没有写过一篇关于分布式概念的帖子,本文主要介绍...
白色衬衫净少年
热度 5876 ℃
2021-07-29
热度 5876 ℃