现址改建并扩建，形成现有规模。文化大革命时，沉香阁内的所有佛像全部被毁，寺庙也挪用作工厂。1983年，沉香阁恢复宗教活动，并于1994年完全修复。全寺坐北朝南，共分为三进院落，其中第三进院落中的沉香观音阁中供奉有沉香观音像。1996年，沉香阁入列全国重点文物保护单位，归并到第二批全国重点文物保护单位豫园中。
历史.万历二十八年（1600年），时任四川布政使的潘允端在奉命治理淮河时，从一沉船中打捞出一尊沉香木观音像。同年他在位于上海县城北部的自己宅邸内建造了一座沉香阁，原址在安仁里门