居于此禅院故，特地将寺院原有四见（倚云）亭赐名“还峰亭”，又御书“越山”、“环峰”刻石于寺，至今篆书残碑犹存。南宋名臣张浚曾读书于此，并将读书处命名为“绝学寮”。名臣李纲也曾游览至此。
明朝.明宣德六年（1431年）华林寺重建，正统九年（1444年），御赐匾额“华林寺”，遂改此名，一直沿用至今。明正德年间（1506年-1521年），并入附近的罗汉院、越山庵，后又增建了御书阁、环峰亭、绝学楼、胜会亭等建筑物，华林寺规模增大。以越王山为斧扆，其范围几乎占山南的全部。名士王应山、谢肇-{