楼等建筑构成。大殿坐西向东，面阔5间，进深3间。通面阔19.8米，通进深10.3米，穿斗式木结构架，单檐歇山顶。檐下施斗拱。天井内有相传杨慎亲植香椽树两株。今祠已辟为“杨升庵纪念馆”。与升庵祠相连的普贤寺旧址，经重修后划入升庵祠范围，为纪念明代地理学家徐霞客而辟为“徐霞客纪念馆”。