址」、「新竹孔子庙」、「迎曦门」指定为新竹州史蹟，一同受到保存。1939年，日治时期，因林占梅家族不支持日本殖民地政府，日本人以开路为借口，于1939年拆除潜园大厝。只剩下潜园大门，与八角井等遗址。1945年，二次世界大战后，重建后的爽吟阁随同新竹神社由警备总部新竹区分队、新竹市团管部进驻，变成军事机关。后来又变成大陆地区人民新竹处理中心，即现在的新竹靖庐的一部分，二楼亭阁全毁，一楼拱门甚至成为浴室。1977年为止，潜园原址尚存有观音亭、大门、古井、香石山房、部分碧栖堂以及少数住宅建筑。1990