顿随即卸任离开爱尔兰，并于同年荣任第21龙骑卫队的上校一职。英、法间的和平并不持久，战事很快就在1803年再度展开，塔尔顿原本希望会获委任为爱尔兰的总司令，但总司令一职却由卡思卡特勋爵出任，自己却只获任命为副司令。塔尔顿心有不甘，于是获批准调往指挥英格兰西部地区，一直到1809年为止。到1806年，下院再度举行大选，这时的塔尔顿已转投阵营为托利党人，并成为已故首相皮特的支持者，代表辉格党的威廉·罗斯科遂成为他的主要对手。这次选举相当激烈，塔尔顿最终以些微票选被击败。虽然在选举中落败，但下院在半年后于18