的寺院中素负盛名，有诗称“城里三山千簇寺，夜来七塔万枝灯”。宋高宗曾以宠臣王继先被贬谪寓居于此禅院故，特地将寺院原有四见（倚云）亭赐名“还峰亭”，又御书“越山”、“环峰”刻石于寺，至今篆书残碑犹存。南宋名臣张浚曾读书于此，并将读书处命名为“绝学寮”。名臣李纲也曾游览至此。
明朝.明宣德六年（1431年）华林寺重建，正统九年（1444年），御赐匾额“华林寺”，遂改此名，一直沿用至今。明正德年间（1506年-1521年），并入附近的罗汉院、越山庵，后又增建了御书阁、环峰亭、绝学楼、胜会