沉船中打捞出一尊沉香木观音像。同年他在位于上海县城北部的自己宅邸内建造了一座沉香阁，原址在安仁里门楼上，用以供奉这座观音像，并在门上挂有一块“南海宝筏飞渡观音大士阁”匾额。明朝末年，该沉香阁塌毁。清代康熙年间，沉香阁得到修缮，嘉庆六年（1801年），苏松太兵备道李廷敬在现址捐款重建了沉香阁，嘉庆十年（1805年），潘允端的后裔将新建的沉香阁前捐献出来以修建前殿，嘉庆十九年（1814年）又加盖大雄宝殿。此后于道光年间屡经修葺扩建，先后建成天王殿、厢楼和鹤轩等，到同治年间时，沉香阁已经成为一座占地7.3亩的成规