于是桧党搜罗其父罪状下狱。孝祥本有可意者，此时无奈，娶次舅时氏女为妻，遣同居李氏入浮山为女道士（近人考证）。时氏早卒，被喻樗选为女婿。后因赞成张浚北伐，事败被革职。又为荆南湖北路安抚使，兴修水利，颇有治绩。绍兴二十九年（1159），御史中丞汪彻弹劾汤思退，孝祥受牵连被免官。不久又起知抚州。孝宗即位，出知平江府。召为中书舍人，再迁直学士院兼都督府参赞军事。干道五年（1169年），以疾请归，以显谟阁直学士致仕。是年，与虞允文在芜湖舟中饮食，中暑卒。孝祥才思足敏，词风清俊爽朗，佳处直逼苏轼。史称其“尝慕东