年间，云南大理发生回变，杜文秀所部回族军队攻打丽江，木府连同丽江城内的解脱林、普济寺等佛寺一道被回民焚毁，木府仅存门口的一座高达6米的石牌坊（上有万历帝手书“忠义”二字，称“忠义坊”）。这座石牌坊在文化大革命中被毁。
修建.清朝光绪年间，木氏后人在土司府遗址上重修了住宅部分，但规模很小，只有三进院落。1999年，丽江地方政府使用世界银行贷款重新恢复了木府，恢复过程其实是进行了重建，新修的木府大于光绪年间重修木府的规模。