改任左仆射，参知政事陈康伯任右仆射。绍兴三十年冬，侍御史陈俊卿谴责他内心机巧奸诈，为政多似秦桧（“挟巧诈之心，济倾之术，观其所为，多效秦桧，盖思退致身，皆桧父子恩也”）于是思退被免相，以观文殿大学士奉祠。完颜亮南侵后，汤思退被任命为临安留守，当时重病中的刘锜寓居都亭驿，当时金国聘使前来，临安留守汤思退遣人让刘锜移居他处，刘锜发怒呕血而卒。孝宗隆兴元年（1163年）张浚主导的隆兴北伐遭遇符离之败，孝宗召回思退为相兼枢密使。金元帅纥石烈士宁给宋廷写信，索取宋军先前佔领的海、泗、唐、邓四州，思退主张割弃四州议