多散去，寺园渐渐荒芜。明万历十七年（1589年），明性和尚在长安化缘筹款后重建寺园，又兴旺了起来。在清康熙时期，寺园分离。后为黄轩的父亲，衡州知府黄兴祖买下，改名“涉园”。清干隆三十六年（1771年），黄轩考中状元，将府第修整一新，又改名“五松园”。清朝干隆皇帝曾多次游览狮子林，并题有“真趣”匾，又作《游狮子林即景杂咏》七绝三首、七律一首。在清朝末年，黄氏家道中落，园林再次荒芜。1917年，园林被上海颜料巨商贝润生（贝聿铭的叔祖父）购得。花大量金钱改造修整园林，新增了不少景点，并搜罗了大量古代碑帖置园中