当时共占地70余亩，被誉为“东南名园冠”。嘉靖四十一年（1562年），潘允端考中壬戌科进士。授刑部主事。因其父潘恩官至法曹，改调南工部榷龙江关税。历官兵部宪副分巡等职。因主持漕粮储运有功，官至四川右布政使。因权贵排挤，从任上退归故里。致仕退休后，豫园乐寿堂竣工。万历九年（1581年）卒，年七十六。
着作.着有《玉华堂日记》。
家族.曾祖潘庆，赠都察院左都御史；祖父潘奎，曾任同按察司佥事 赠都察院左都御史；父潘恩，曾任都察院左都御史。前母包氏（赠