公园内供人观赏的主要文物有础石、碑刻和古木。础石有两类,一类是覆盆式雕花柱础,在覆盆上雕有缠枝牡丹、葡萄、莲花等纹饰,流露出富贵、兴旺、祥和的寓意,从柱础形制及雕花枝法分析,应是南唐汤泉禅院或宋初惠济院的遗物,且为后来的惠济寺沿用;另一类是覆盆式素面柱础,时代略晚,有可能是惠济寺元佑三年(1088年)所建转轮藏殿的遗物。
惠济寺旧存碑刻极多,其中年代最早、且负盛名的是南唐所立《汤泉禅院之碑》,该碑为青石质地下承龟趺,碑首半圆,上有蟠龙浮雕,碑额篆题汤泉禅院之碑六字,笔力雄壮遒劲,是为名家手迹无疑。碑文系南唐文苑名流、官至光政殿学士承旨的韩熙载所撰。此碑在文革期间被炸为数段,现文博部门已收集到其中的5块,尽管碑文漫漶,只剩100余字堪可辩识,但作为稀见的南唐时代的碑刻文字,毕竟是弥足珍贵的。此外,记载建惠济寺转轮藏殿并供奉银函葬佛舍利事迹的北宋元佑三年刻石及明崇祯十六年(1643年)重建观音宝殿、清康熙二年(1663年)修大雄宝殿的题名刻石,更是后人控知惠济寺千年兴衰的实物见证。