史中丞汪彻弹劾汤思退，孝祥受牵连被免官。不久又起知抚州。孝宗即位，出知平江府。召为中书舍人，再迁直学士院兼都督府参赞军事。干道五年（1169年），以疾请归，以显谟阁直学士致仕。是年，与虞允文在芜湖舟中饮食，中暑卒。孝祥才思足敏，词风清俊爽朗，佳处直逼苏轼。史称其“尝慕东坡，每作为诗文，必问门人曰：‘比东坡如何？’”今存《》40卷、《》1卷。中秋过洞庭调寄《》见其本领。李氏生子张同之，1971年，张同之夫妇墓于南京江浦黄叶岭被发现，出土墓志确定与嗣父张孝祥的本生父子关系。