友善而遭到权臣黄潜善排挤。李纲罢相，向子湮也落职。宋高宗建炎二年，向子諲任知潭州（今长沙太守），建炎三年金兵围潭州，子諲率军民坚守八日。率军民击退围困长沙的金兵。同时代的诗人陈与义的《早春》中，对其事迹进行了赞扬：“稍喜长沙向延阁，疲兵敢犯犬羊锋。”绍兴年间，向子諲官至户部侍郎，以徽猷阁直学士知平江府事，其后，因坚决反对与金国议和，遭到秦桧等当权投降派的嫉恨，被罢官落职，以徽猷阁学士、右中奉大夫致仕，晚年遂闲居于临江（今江西清江县）直至二十三年三月去世。七月，葬于临江军清江建安乡之金泽，赠右正奉大夫。