为骑都尉，参与对蜀作战。战后改任尚书郎，因称职而获明帝所认识。后张缉以中书郎迁任东莞郡（今山东省沂水县东北）太守，期间多次向朝廷分析与东吴和蜀汉的形势。嘉平四年（252年），曹芳立张缉之女张氏为皇后，张缉任光禄大夫，位特进。不久曹魏进攻东吴，被东吴太傅诸葛恪于东兴击败；但此时张缉却向大将军司马师认为诸葛恪功高震主，不久必会被诛杀。次年诸葛恪围攻合肥，遇疫病被逼撤军后果然被孙峻杀死。司马师于是赞叹张缉比诸葛恪更聪明。张缉与中书令李丰是世交和同乡，彼此住处亦相近，李丰于是联合张缉和夏侯玄，打算推翻司马师，改