快就在1803年再度展开，塔尔顿原本希望会获委任为爱尔兰的总司令，但总司令一职却由卡思卡特勋爵出任，自己却只获任命为副司令。塔尔顿心有不甘，于是获批准调往指挥英格兰西部地区，一直到1809年为止。到1806年，下院再度举行大选，这时的塔尔顿已转投阵营为托利党人，并成为已故首相皮特的支持者，代表辉格党的威廉·罗斯科遂成为他的主要对手。这次选举相当激烈，塔尔顿最终以些微票选被击败。虽然在选举中落败，但下院在半年后于1807年又一次召开大选，塔尔顿旋即卷土重来，在大选中以大比数击倒罗斯科而重返下院。此外，塔尔顿在