辅改任中正，对先前在梁州刺史杨欣遇姊丧后不久便强行迎娶杨欣之女的车骑长史韩预贬低评级，以清风俗，得到当时议论者的称颂。连赵王司马伦的宠臣孙秀也欣赏他典雅方正的行为，不理会司马威对张辅的诬陷。张辅后迁冯翊太守。太安二年（303年），太尉司马乂见河间王司马颙割据关中地区，有不臣之心，上告晋惠帝并密诏雍州刺史刘沈和秦州刺史皇甫重讨伐司马颙。但同时司马颙已拨大军给部将张方，联合成都王司马颖进攻洛阳。太安三年（304年），司马颙被刘沈击败，被逼退回长安。张辅见此，则领兵营救司马颙，将刘沈击败。司马颙十分感谢张辅，