1895年，征台的北白川宫能久亲王曾于爽吟阁进宿，后成为御遗迹地之一，受到台湾总督府的重视和保护。其后园中的浣霞池逐渐淤积缩小，遂开辟为通过竹堑城西门的中山路。1919年（大正八年）2月，将具有北白川宫能久亲王御遗迹地地位的潜园爽吟阁拆除，移到新竹神社社域内重建。1919年，新竹州依照史蹟名胜天然纪念物保存法将位于西门的「潜园址」以及「淡水厅署址」、「新竹孔子庙」、「迎曦门」指定为新竹州史蹟，一同受到保存。1939年，日治时期，因林占梅家族不支持日本殖民地政府，日本人以开路为借口，于1939