方法对比

1.自带命令redis-cli --bigkeys
该命令是redis自带,但是只能找出五种数据类型里最大的key。很明显,这并不能帮助我们去发现整个数据里的大key,所以一般不使用,执行后如下图:
2.python扫描脚本
这是根据脚本去扫描redis中的key,网上一搜就能找到,经实测发现,该脚本获取的大key准确度不高,更确切的说并不是获取的key的大小,而是key值的长度,比如hash类型,获取的是hash中的字段数,string类型,获取的是value的字符串长度,元素个数多并不能代表占用内存多。
find_bigkeys.py文件内容:
import sys import redis def check_big_key(r, k): bigKey = False length = 0 try: type = r.type(k) if type == "string": length = r.strlen(k) elif type == "hash": length = r.hlen(k) elif type == "list": length = r.llen(k) elif type == "set": length = r.scard(k) elif type == "zset": length = r.zcard(k) except: return if length > 102400: #key的长度条件,可更改该值 bigKey = True if bigKey : print db,k,type,length def find_big_key_normal(db_host, db_port, db_password, db_num): r = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num) for k in r.scan_iter(count=1000): check_big_key(r, k) def find_big_key_sharding(db_host, db_port, db_password, db_num, nodecount): r = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num) cursor = 0 for node in range(0, nodecount) : while True: iscan = r.execute_command("iscan",str(node), str(cursor), "count", "1000") for k in iscan[1]: check_big_key(r, k) cursor = iscan[0] print cursor, db, node, len(iscan[1]) if cursor == "0": break; if __name__ == '__main__': if len(sys.argv) != 4: print 'Usage: python ', sys.argv[0], ' host port password ' exit(1) db_host = sys.argv[1] db_port = sys.argv[2] db_password = sys.argv[3] r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password) nodecount = 1 keyspace_info = r.info("keyspace") for db in keyspace_info: print 'check ', db, ' ', keyspace_info[db] if nodecount > 1: find_big_key_sharding(db_host, db_port, db_password, db.replace("db",""), nodecount) else: find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))
使用方法: python find_bigkey.py IP PORT redis密码,例如: python find_bigkey.py 127.0.0.1 6379 123456,执行后如图:
3.rdb_bigkeys工具
这是用go写的一款工具,分析rdb文件,找出文件中的大key,实测发现,不管是执行时间还是准确度都是很高的,一个3G左右的rdb文件,执行完大概两三分钟,直接导出到csv文件,方便查看,个人推荐使用该工具去查找大key。
工具地址: https://github.com/weiyanwei412/rdb_bigkeys
编译方法:
mkdir /home/gocode/ export GOPATH=/home/gocode/ cd GOROOT git clone https://github.com/weiyanwei412/rdb_bigkeys.git cd rdb_bigkeys go get go build
执行完成生成可执行文件rdb_bigkeys。
使用方法: ./rdb_bigkeys --bytes 1024 --file bigkeys.csv --sep 0 --sorted --threads 4 /home/redis/dump.rdb
/home/redis/dump.rdb修改为实际的文件路径
上述命令分析dump.rdb文件中大于1024bytes的KEY, 由大到小排好序, 以CSV格式把结果输出到bigkeys.csv的文件中,文件格式如图:
每列分别为数据库编号,key类型,key名,key大小,元素数量,最大值元素名,元素大小,key过期时间。
通过比较发现,第三种方式的数据内容更丰富,更准确,个人建议采用第三种方式。各位如果觉得还有点意义,烦请点一下推荐,加个关注,互相交流。