年（1857年）毁于兵火，光绪七年（1881年）重建，更名“升庵祠”。辛亥革命后，增祀毛玉，一度更名为“杨毛二贤祠”。文化大革命期间再次被毁。1986年重建大殿，翻修两厢，平整地面。1988年竣工。1987年公布为云南省文物保护单位。升庵祠为木结构四合院式建筑，由大殿、两厢及门楼等建筑构成。大殿坐西向东，面阔5间，进深3间。通面阔19.8米，通进深10.3米，穿斗式木结构架，单檐歇山顶。檐下施斗拱。天井内有相传杨慎亲植香椽树两株。今祠已辟为“杨升庵纪念馆”。与升庵祠相连的普贤寺旧址，经重修后划入升庵祠范