六年（1588年），女祠建于清同治九年（1870年），两祠以男左女右布局，男祠由天井、前厅、戏台、二厢、穿堂、后殿组成，而女祠由门楼、天井、前进、后殿组成，装饰略逊于男祠。这种男女祠并立的格局在宁波属于孤例。潘火桥蔡氏宗祠于2017年1月成为浙江省文物保护单位。