，庾衮又亲自统领士兵，行陈齐整，装备充足地准备好作战；贼匪试图挑战，但眼见庾衮守军坚守不动，军容严整，于是被逼撤退，这种事更发生过三次。庾衮成功保护了坞堡众人，亦因而获众当时人称许他是《论语》中「临事而惧，好谋而成」的一类人。司马冏虽击败司马伦，迎晋惠帝复位，但执政期间贪图逸乐，长期都不上朝，这令庾衮对晋朝的未来感绝望，带着妻儿隐居于林虑山，当成是新的故乡。一年后，林虑的人都归附他，称他是「庾贤」。不过，后来石勒进攻林虑，一众父老就谋求转往大头山，凭着该山的险峻及山上古人遗迹而自保。永兴元年（304年）