杨欣之女的车骑长史韩预贬低评级，以清风俗，得到当时议论者的称颂。连赵王司马伦的宠臣孙秀也欣赏他典雅方正的行为，不理会司马威对张辅的诬陷。张辅后迁冯翊太守。太安二年（303年），太尉司马乂见河间王司马颙割据关中地区，有不臣之心，上告晋惠帝并密诏雍州刺史刘沈和秦州刺史皇甫重讨伐司马颙。但同时司马颙已拨大军给部将张方，联合成都王司马颖进攻洛阳。太安三年（304年），司马颙被刘沈击败，被逼退回长安。张辅见此，则领兵营救司马颙，将刘沈击败。司马颙十分感谢张辅，永兴二年（305年），皇甫重兵败被杀，以张辅为秦州刺史