久任参知政事。次年（1173年）十月曾怀为右丞相。淳熙元年（1174年）六月，台臣詹亢宗等议论曾怀，曾怀上书求退，但是请求辨明诬谤。于是罢相。同年七月，宋孝宗查出詹亢宗所论无据，于是复曾怀相位。十一月，曾怀因病请辞，罢除观文殿大学士、提举洞霄宫。之后以光禄大夫致仕，死后赠少保。