时已表现出才干和器度，与表兄刘乔齐名。张辅最初为蓝田县令，当时任强弩将军的西州大族庞宗与护军赵浚自恃是当地豪强，放纵僮仆生事，困扰百姓。张辅却不畏豪强，捉拿并依法杀了两名仆童，又夺去庞宗二百多顷田地并分配给贫户，受到当地人民称许。转任山阳县令后，发现太尉陈准的家僮在当地横行不法，张辅又将他处死。张辅后迁尚书郎，封宜昌亭侯。张辅后又转任御史中丞。当时积弩将军孟观与明威将军郝彦不和，孟观则以军中事务陷害郝彦；同时，当时宠臣贾谧、潘岳和石崇等互相推许对方；义阳王司马威又被揭作虚假冒充的事。但张辅仍不因他们是重