不同说法。一种称该寺始建于北魏太和十五年（491年），是由北魏孝文帝拓跋宏下令建造的，原意是将天师道长寇谦之的天师道场迁移至此。悬空寺建成时原名为玄空阁，后因为“悬”和“玄”谐音，以及寺庙建在了悬崖的半山腰处，遂被称为悬空寺。另一说法称北魏道武帝拓跋圭在天兴元年（398年）攻克北燕后，从中山北归平城，发兵万人凿开恒岭，通直到五百余里，此处为始基。宋朝杨业镇守三关，也屯兵于此。还有传说称悬空寺为南宋时所建，却没有确凿证据佐证。在金代之前，悬空寺已经成为了儒释道三教合一的寺庙，将孔子、老子、释迦牟尼三位合贡