七年，迁为御史大夫。高后八年，以周勃、陈平为首的功臣集团和朱虚侯刘章为首的刘氏皇族联合，发动政变，诛除诸吕。张苍亦参加，并与功臣列侯们一同拥立汉文帝。汉文帝四年（前176年），丞相灌婴去世，张苍接任丞相。张苍为相十余年，汉文帝时鲁人公孙臣上书言「五德终始说」，称汉应当为「土德」，改服色。汉文帝下丞相议，张苍认为他说法有误。不久见「黄龙」于成纪，于是汉文帝召公孙臣为博士，并草拟土德时历制度，更元年。张苍由是自黜，称病谢免。与此同时，由于张苍推举的一个官员贪污，汉文帝借故责备张苍，张苍遂以老病正式辞职。