Jedis之ShardedJedis虚拟节点一致性哈希分析

Jedis之ShardedJedis一致性哈希分析

 

ShardedJedis通过一致性哈希实现的的分布式缓存。主要思路：

• redis服务器节点划分：将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)

• 将划分虚拟节点采用TreeMap存储

• 对每个redis服务器的物理连接采用LinkedHashMap存储

• 对Key or KeyTag 采用同样的hash算法，然后从TreeMap获取大于等于键hash值得节点，取最邻近节点存储；当key的hash值大于虚拟节点hash值得最大值时，存入第一个虚拟节点

• sharded采用的hash算法：MD5 和 MurmurHash两种；默认采用64位的MurmurHash算法；

 

源码：

?

1 2 3 4 5 6 7 8 9

public class Sharded<R, S extends ShardInfo<R>> {     public static final int DEFAULT_WEIGHT = 1;   private TreeMap<Long, S> nodes;   private final Hashing algo;   private final Map<ShardInfo<R>, R> resources = new LinkedHashMap<ShardInfo<R>, R>();   ........................   ........................ }

这个类维护了一致性哈希后的物理机器和虚拟节点的映射关系，看一张图你会秒懂，

 

TreeMap<Long, S> nodes，存储的是虚拟节点和key的映射关系。有了虚拟节点，还要找到真正的存储位置。

Map<ShardInfo<R>, R> resources维护了虚拟节点和真正的存储位置的映射关系。

也是说，hash(key) -> virtual node -> real node;  

 

jedis划分虚拟节点的逻辑代码，在Sharded类中，方法是initialize。这是在实例化对象池ShardedJedisPool过程中执行的划分虚拟节点。 

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

private void initialize(List<S> shards) {     nodes = new TreeMap<Long, S>();       for (int i = 0; i != shards.size(); ++i) {         final S shardInfo = shards.get(i);         if (shardInfo.getName() == null) {             for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {                 nodes.put(this.algo.hash("SHARD-" + i + "-NODE-" + n), shardInfo);             }         } else {             for (int n = 0; n < 160 * shardInfo.getWeight(); n++) {                 nodes.put(this.algo.hash(shardInfo.getName() + "*" + shardInfo.getWeight() + n), shardInfo);             }         }         resources.put(shardInfo, shardInfo.createResource());     } }

以上代码就是划分虚拟节点的逻辑。

 

那么ShardedJedis客户端是如何执行set key value呢？

通过这里可以看出还是通过Jedis客户端执行的set key value。

?

1 2 3 4

public String set(String key, String value) {   Jedis j = getShard(key);   return j.set(key, value); }

看一下代码中大体的逻辑，首先通过key得到ShardInfo，然后通过ShardInfo得到泛型Jedis客户端。

Sharded.java

?

1 2 3

public R getShard(byte[] key) {   return resources.get(getShardInfo(key)); }

?

1 2 3 4 5 6 7

public S getShardInfo(byte[] key) {   SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));   if (tail.isEmpty()) {     return nodes.get(nodes.firstKey());   }   return tail.get(tail.firstKey()); }

来看一下ShardedJedis的继承关系吧，

还有ShardInfo和JedisShardInfo继承关系，

参考：http://yychao.iteye.com/blog/1751583

 

http://my.oschina.net/xinxingegeya/blog/391713