不少辉格党员都认为年老的沃波尔已再不能够带领政府，以及处理战务，而他在国会的多数优势也已经大不如前，支持他和反对他的人士皆势均力敌，形成不相伯仲之势。在1742年，下院就威尔特郡奇彭纳姆一场补选是否遭受不法操控展开辩论，沃波尔等人遂同意借此事当作他的不信任动议。最终沃波尔在投票中被挫，事后同意从政府辞职。为了答谢其贡献，沃波尔在1742年2月6日获乔治二世晋封为奥福德伯爵，成为上院议员。五日后，沃波尔交出印信，正式辞官。
晚年.奥福德伯爵退仕后，首相一职由维明顿伯爵接任，但实权则握