司空张华很赏识他，迁新平郡太守。元康中，张华授以秦州（治所在甘肃省天水市）刺史。太安二年（304年）初，晋惠帝感到受到司马颙的威胁越来越大，因此下密诏给刘沈和皇甫重进攻司马颙，双方在长安交战。张辅带兵援救司马颙，刘沈等被打败。太安二年，金城郡太守游楷、陇西郡太守韩稚等人纠合秦州凉州四个郡的郡兵攻打皇甫重，多年不能克。皇甫重遣其养子皇甫昌求救于外。东海王司马越不肯出兵相救。城内的士兵知无外救，遂杀了皇甫重，向外求和。皇甫昌亦死。