道长寇谦之的天师道场迁移至此。悬空寺建成时原名为玄空阁，后因为“悬”和“玄”谐音，以及寺庙建在了悬崖的半山腰处，遂被称为悬空寺。另一说法称北魏道武帝拓跋圭在天兴元年（398年）攻克北燕后，从中山北归平城，发兵万人凿开恒岭，通直到五百余里，此处为始基。宋朝杨业镇守三关，也屯兵于此。还有传说称悬空寺为南宋时所建，却没有确凿证据佐证。在金代之前，悬空寺已经成为了儒释道三教合一的寺庙，将孔子、老子、释迦牟尼三位合贡于寺院的最高处。该寺庙于金朝、明朝、以及清朝同治年间均有重修，现存建筑大多为明清时期重建。Se