1. 首頁 > 生活百科 > >

redis bitmap數據結構之java對等操作

生活百科

在之前的文章中，我們有說過bitmap ， bitmap在很多場景可以應用，比如黑白名單，快速判定，登錄情況等等 ?？傊琤itmap是以其高性能出名 。其基本原理是一位存儲一個標識 ， 其他衍生知道咱就不說了，而redis就是以這種原生格式存儲的 。
實際上，redis是基于string的數據結構實現了bitmap的功能 。
1. redis基本的bitmap操作命令【redis bitmap數據結構之java對等操作】最基本的，redis的bitmap有設置和讀取兩個值，即 setbit/getbit, 非常容易理解，即設置某個標識為1 ， 那么取值判定的時候，就可以得到true.
127.0.0.1:6379> setbit bm1 222 1(integer) 0127.0.0.1:6379> getbit bm1 222(integer) 1這很容易理解，也是最基本的 。當然 ， 它還提供其他的一些操作：BITCOUNT 做數據量統計, BITOP 做bitmap的交并差運算... 我們也不必過多討論它 。
2. java中的原生bitmap可以說redis的bitmap實現相當之簡單，所以java也就順便實現了一個bitmap的版本：BitSet .
@Testpublic void testJavaBitmap() {BitSet bitmap = new BitSet();bitmap.set(88);// exist = trueboolean exist = bitmap.get(88);BitSet bitmap2 = new BitSet();bitmap2.set(99);// bitmap中將包含 [88, 99]bitmap.or(bitmap2);}java中的bitmap實現，也是按位存儲 ， 但是是基于long的存儲 。
/** BitSets are packed into arrays of "words."Currently a word is* a long, which consists of 64 bits, requiring 6 address bits.* The choice of word size is determined purely by performance concerns.*/private final static int ADDRESS_BITS_PER_WORD = 6;/*** Sets the bit at the specified index to {@code true}.** @parambitIndex a bit index* @throws IndexOutOfBoundsException if the specified index is negative* @sinceJDK1.0*/public void set(int bitIndex) {if (bitIndex < 0)throw new IndexOutOfBoundsException("bitIndex < 0: " + bitIndex);int wordIndex = wordIndex(bitIndex);expandTo(wordIndex);words[wordIndex] |= (1L << bitIndex); // Restores invariantscheckInvariants();}/*** Given a bit index, return word index containing it.*/private static int wordIndex(int bitIndex) {return bitIndex >> ADDRESS_BITS_PER_WORD;}所以，我們可以得出一個淺顯的結論，bitmap很簡單，一點都不神秘 。但是，大道至簡，它高性能 ， 它自然還是有好處的，咱們該用還得用 。顯然，java版本的bitmap雖然很很好用，但是它只是應用級別的 ， 只能在進程內使用，有太多的其他問題沒考慮，所以咱們還得要依賴于redis的bitmap.
問題：如果我有很多的數字標識想要寫入redis中，然后再進行讀取判定，該怎么辦呢？
很簡單的 ， 我們可以一個個地調用 setbit 命令，依次寫入redis中 。這自然能解決問題 ， 但是明顯會帶來很多的網絡io 。
其次，我們可以使用pipeline調用setbit進行批量寫入 。這當然是一種優化方案 ， 只是仍然不是最優 。
那有沒有什么更好的辦法呢？
3. java和redis的bitmap互操作對于批量的操作，redis是基于string實現 ， 而java是基于bitset實現 。其功能都基本差不多，判定、寫入、交并差運算 。那么，除了一個個按照各自語法進行添加外，有沒有可能進行數據結構上的對等呢？
這個思路是很自然的 ， 因為我們已經完全理解了各自的實現原理，為什么不呢？直接將BitSet轉換為byte[]寫入redis，直接將redis的bitmap當作string讀出來不就可以了嗎？
事實真是如此嗎？實際上有點差別，原因是一個是大端存儲 ， 一個是小端存儲 。
比如：比如對于存儲byte值: 00000010 , redis中會解釋為偏移為6的值為1, 而在java中則會解析為數字2存在于bitmap中 。也就是說兩個的判定結果是不一樣的，一個是6，一個是2 。如果把java中的值給調換一下，變成 01000000，那么就和redis是一樣的了 。
而從redis中轉變到java中，則需要將每個byte位做一逆向操作判定，具體實現如下：
@Testpublic void testSetBitmapData2Redis() {//創建一個連接Jedis jedis = new Jedis("localhost", 6379);// 正向設置redis bitmapString testBitmapKey = "mybitmap1";jedis.set(testBitmapKey.getBytes(),genRedisBitmap(2, 55, 133, 65537, 10_0000));Assert.assertEquals("bitmap取值不正確", true,jedis.getbit(testBitmapKey, 2L));Assert.assertEquals("bitmap取值不正確", true,jedis.getbit(testBitmapKey, 133L));Assert.assertEquals("bitmap取值不正確", true,jedis.getbit(testBitmapKey, 65537L));Assert.assertEquals("bitmap取值不正確", true,jedis.getbit(testBitmapKey, 10_0000L));Assert.assertEquals("bitmap取值不正確", false,jedis.getbit(testBitmapKey, 3L));//在redis中獲取name值byte[] redisBitmapData = https://www.huyubaike.com/biancheng/jedis.get("mybitmap1".getBytes());BitSet bitSet = convertRedisBitmapToJava(redisBitmapData);Assert.assertTrue("redisBitmap反解不正確", bitSet.get(2));Assert.assertTrue("redisBitmap反解不正確", bitSet.get(133));Assert.assertTrue("redisBitmap反解不正確", bitSet.get(65537));Assert.assertTrue("redisBitmap反解不正確", bitSet.get(10_0000));Assert.assertFalse("redisBitmap反解不正確", bitSet.get(332));jedis.close();}// 將redis的bitmap轉換為java 的bitsetprivate BitSet convertRedisBitmapToJava(byte[] redisBitmapData) {int len = redisBitmapData.length;BitSet bitSet = new BitSet();// 每個 byte 8位, 所以整個bitmap 的長度為 len * 8for (int i = 0; i < len * 8; i++) {byte currentSegment = redisBitmapData[i / 8];if(currentSegment == 0) {continue;}if((currentSegment & (1 << (7 - (i % 8) ) ) ) != 0 ) {bitSet.set(i);}}return bitSet;}// 生成redis的bitmap數據private byte[] genRedisBitmap(int... items) {BitSet bitSet = new BitSet();// 2 55 133for (int k : items) {bitSet.set(k);}byte[] targetBitmap = bitSet.toByteArray();convertJavaToRedisBitmap(targetBitmap);return targetBitmap;}// 將java中的字節數組轉換為redis的bitmap數據形式private void convertJavaToRedisBitmap(byte[] bytes) {int len = bytes.length;for (int i = 0; i < len; i++) {byte b1 = bytes[i];if(b1 == 0) {continue;}byte transByte = 0;for (byte j = 0; j < 8; j++) {transByte |= (b1 & (1 << j)) >> j << (7 -j);}bytes[i] = transByte;}}

推薦閱讀