但因在外地做官，无暇兼顾建筑事宜，故园林到万历末年，潘退休后才得以竣工。园林由张南阳担任设计和叠山，当时共占地70余亩，被誉为“东南名园冠”。然而之后，潘家家道衰落，在明末为潘允端孙婿张肇林所有。清朝时期，豫园被上海一些士绅改为清和书院，供以时松江知府张羽明的长生禄位。后书院尚未完工，张羽明便遭到罢免，只得停工。停工后原来园内的优美风景也早就荡然无存了。1709年，上海士绅购得城隍庙东部约2亩的土地建造庙园，即灵苑，又称东园，用于公共活动之场所。1760年，原豫园旧地由被一些富商购买后重新修建，园林在24年