表辉格党的威廉·罗斯科遂成为他的主要对手。这次选举相当激烈，塔尔顿最终以些微票选被击败。虽然在选举中落败，但下院在半年后于1807年又一次召开大选，塔尔顿旋即卷土重来，在大选中以大比数击倒罗斯科而重返下院。此外，塔尔顿在当选后于1808年还获终身荣任为贝里克及神圣岛总督（Governor of Berwick and Holy Island）。可是，塔尔顿在下院却未能再有所作为，闲时与妻子出席伦敦的社交场合，他在下院仅主要在半岛战争期间，抨击英方主将威灵顿勋爵对法国的战略方针失误，但他的抨击未能获得舆论