政治缺乏警觉心，低估了韩侂冑，不久被韩侂冑排斥，韩侂冑借口赵汝愚以宗室居相位，将不利于南宋社稷。于是赵汝愚被罢，以观文殿大学士出知福州。这遭到了谏官和太学生杨宏中等的反对，但这些人皆被韩侂冑贬谪。韩侂冑为此指责赵汝愚“倡引伪徒，谋为不轨”，诏谪宁远军副节度使，贬永州。临走前，赵汝愚对着儿子们说：「只要我死了，你们就不会有事了」，代表着赵汝愚已意识到韩侂冑除非杀了自己否则不会善罢干休，为避免连累家人，已有赴死的心理准备。庆元二年（1196年）正月，赵汝愚行至衡州（今湖南衡阳），泊古酃（今湖南炎陵）。一夕发