林占梅家族起建潜园。1864年完工，佔地2甲余（约30亩），工程费18万两，位于今中山路与西大路西北角，即西门市场一带。1855年位于竹堑城北门外的北郭园建成后，民众称唿城内的潜园为「内公馆」，城外的北郭园则为「外公馆」。1895年，征台的北白川宫能久亲王曾于爽吟阁进宿，后成为御遗迹地之一，受到台湾总督府的重视和保护。其后园中的浣霞池逐渐淤积缩小，遂开辟为通过竹堑城西门的中山路。1919年（大正八年）2月，将具有北白川宫能久亲王御遗迹地地位的潜园爽吟阁拆除，移到新竹神社社域内重建。1919年