兴二十四年（1154年），廷试第一。唱第之时，秦桧党羽曹咏（参见《树倒猢狲散》赋）于殿廷请婚。孝祥受揖不答。于是桧党搜罗其父罪状下狱。孝祥本有可意者，此时无奈，娶次舅时氏女为妻，遣同居李氏入浮山为女道士（近人考证）。时氏早卒，被喻樗选为女婿。后因赞成张浚北伐，事败被革职。又为荆南湖北路安抚使，兴修水利，颇有治绩。绍兴二十九年（1159），御史中丞汪彻弹劾汤思退，孝祥受牵连被免官。不久又起知抚州。孝宗即位，出知平江府。召为中书舍人，再迁直学士院兼都督府参赞军事。干道五年（1169年），以疾请归，以显谟阁直