特·斯坦霍普贵女（Lady Hester Stanhope），帮他打点花园，是沃尔默的女主人。法国分别在1799年和1801年迫使俄罗斯帝国和神圣罗马帝国承认法兰西共和国，而英国则和法国签署了亚眠条约，法国大革命战争结束。1803年，英国和拿破仑法兰西帝国再起争端。尽管阿丁顿邀请了皮特加入内阁，但是皮特却改变初衷，转而加入反对党。执政党遭到皮特派和福克斯派的反对，失去多数地位。1804年4月末，阿丁顿见大势已去，决定辞去首相一职。
再任首相.1804年5月10日，皮特再度任相。