この地はまた、戦国大名小野寺氏庶流の小野寺甲斐守道親（高寺道親）の築営した城、高寺城のあった地とされており、高寺氏は七高山神社とともに山岳寺院を崇敬保護してきた。その山岳寺院が清岩寺（真言宗）であるのか、あるいは龍泉寺（曹洞宗）であるのかはよくわかっていない。いずれにせよ、小野寺氏は出羽国山形城に本拠を置く最上氏との抗争に敗れ、関ヶ原合戦敗戦の結果改易されたため、寺社はその保護を失って衰退した。