，从任上退归故里。致仕退休后，豫园乐寿堂竣工。万历九年（1581年）卒，年七十六。
着作.着有《玉华堂日记》。
家族.曾祖潘庆，赠都察院左都御史；祖父潘奎，曾任同按察司佥事 赠都察院左都御史；父潘恩，曾任都察院左都御史。前母包氏（赠夫人）；曹氏（封夫人）。兄潘允哲。