四明山1996年被批准为县级森林公园，2004年升格为省级森林公园，2014年获评为国家级森林公园。四明山上还有建于唐初的四明寺，建于明末的腾云祖始殿。
军事要地.元朝时期，詹一仔在四明山抗元。清朝时期，太平天国将领胡有禄在四明山抗清。民国时期，共产党员王佐在四明山夺枪起义。1962年，湖南省军区在四明山召开祁东邵阳祁阳东安零陵五县防空联防会议。