方岩属典型的丹霞地貌，山体平地拔起，四面如削，直耸云天，故称方岩。飞桥为上方岩唯一通道，地势险要，凿石架木为磴，盘空逶迤而上。方岩山上供奉有北宋名臣胡则，百姓称之为胡公大帝，香火常年长盛不衰，形成了绚丽多彩的胡公文化。方岩庙会异彩纷呈，以“打罗汉”、“十八蝴蝶”等民俗风情活动为主要内容。作家郁达夫游览了方岩后，写下游记《方岩纪静》感叹方岩独特的自然与人文景观。南宋干道八年（1173年）时，陈亮在此讲学，并曾请朱熹客座授课，后逐渐发展成为五峰书院。抗战期间，黄绍竑率浙江省临时政府驻于此处。Sectio