台湾银行董事长配住宿舍所辖的庭园，为台湾日治时期的1915年所建造。除了庭园设置与主要建物外，1920年，于该庭园范围内，白色洋楼东侧增建日式木造房舍。1920年，兴建了当时少见的网球场，以做为该行高级官员的住所及休闲场所。1945年，台湾迈入国民政府时期，该宿舍于1950年配给给予当时兼任台银董事长的财政部部长严家淦居住。后来严家淦担任过行政院院长，当选第四任及第五任副总统，并于1975年4月5日总统蒋中正病逝后担任总统。1964年，该庭园内兴建两层楼水泥建筑，做为严前总统任行政院长至总统任内