张辅后迁冯翊太守。太安二年（303年），太尉司马乂见河间王司马颙割据关中地区，有不臣之心，上告晋惠帝并密诏雍州刺史刘沈和秦州刺史皇甫重讨伐司马颙。但同时司马颙已拨大军给部将张方，联合成都王司马颖进攻洛阳。太安三年（304年），司马颙被刘沈击败，被逼退回长安。张辅见此，则领兵营救司马颙，将刘沈击败。司马颙十分感谢张辅，永兴二年（305年），皇甫重兵败被杀，以张辅为秦州刺史。张辅到秦州上任后，先杀天水太守封尚以树立威名，又召东羌校尉、陇西太守韩稚会议，但因分歧而未有结果。韩稚之子韩朴则领兵袭击张辅，诸羌胡