因“大礼议”事件被谪戍云南，毛玉之子毛沂为其建“碧峣精舍”寓所。万历年间，云南布政使刘之龙将其改建为“太史祠”，供奉杨慎塑像。清康熙二十八年（1689年），云南总督范承勋重建。咸丰七年（1857年）毁于兵火，光绪七年（1881年）重建，更名“升庵祠”。辛亥革命后，增祀毛玉，一度更名为“杨毛二贤祠”。文化大革命期间再次被毁。1986年重建大殿，翻修两厢，平整地面。1988年竣工。1987年公布为云南省文物保护单位。升庵祠为木结构四合院式建筑，由大殿、两厢及门楼等建筑构成。大殿坐西向东，面阔5间，进深3间。