野党以后，沃波尔与马尔博罗公爵遂渐成为托利党剷除及抹黑的目标。在1712年，托利党指控沃波尔在任驻陆军部大臣期间贪污受贿；尽管这些指控出于政治仇恨而非事实，但沃波尔仍然被下院弹劾，而托利党员主导的上议院更势不可挡地宣佈沃波尔罪名成立。沃波尔结果被判囚于伦敦塔六个月，而且还被驱出下院。庆幸的是，对于沃波尔的遭遇，社会大众多表同情，并认为他是不公审讯下的牺牲者，这使他很快就在1713年重新获选民选回下院。由于沃波尔被诬陷下狱一事背后由托利党的哈利（当时已为牛津伯爵）及博林布鲁克勋爵策划，沃波尔日后对两人极为憎恶