元代改宅為祠，明末毀於兵燹，清康熙四年（1665年）眉州知州趙蔥芽喺原址仿原貌重建，嘉慶十一年（1806年）擴建，加起東西廂房同方牆門道，以及重塑三蘇父子塑像，設置3座神龕。