知政事陈俊卿弹劾曾觌与龙大渊洩漏机密，孝宗将曾、龙驱逐出朝。干道四年，龙大渊卒，孝宗又想召曾觌回朝，为大臣所阻。干道六年，陈俊卿罢相，孝宗召回曾觌，并恩宠有加。淳熙元年（1174年），官至开府仪同三司，加少保。淳熙六年（1179年），陈俊卿一再对孝宗指出朋党的危害。孝宗开始对曾觌等人稍有疏远。淳熙七年（1180年）卒。