4年重新担任首相，珀西瓦尔获得留任。在任内，他怂恿对激进分子提出起诉，又对有关流放罪犯到澳洲的法例进行改革。小皮特在1806年1月逝世，在丧礼上，珀西瓦尔是其中一位佩带徽章的人士，反映他的地位日益重要。小皮特逝世后，辉格党的格伦维尔勋爵组成了所谓「贤能内阁」的联合内阁，不过由于有福克斯的加入，所以珀西瓦尔成为了新政府的反对者，并发表不少有力的演说，抨击「贤能内阁」。其中，珀西瓦尔对「贤能内阁」向爱尔兰天主教让步所作的强烈批评，更成为格伦维尔勋爵政府垮台的一大原因。在1806年，威尔斯王妃因为涉嫌通姦