父亲吕台，祖父吕泽是汉高祖刘邦的皇后吕后的兄长