者颇具清望的的远祖兄弟五人。建筑结构为三间二层，五马髟木结构，穿斗、抬梁结合，利用暗阁防漏。楼东西筑有风火墙，书楼周围高墙高达三米。书楼共藏书3666种，且对学者开放阅读并提供方便，有“浙东第二藏书楼”之称。1989年12月，五桂楼成为第三批浙江省文物保护单位。