五港总督（Lord Warden of the Cinque Ports）的官邸沃尔默堡里。以前，他只会在夏末到沃尔默居住，辞职后他由春至夏都在沃尔默居住。在沃尔默期间，他参与了组织地方民兵的工作，以防法军入侵，被Trinity House任命为一个营的上校，同时兼任Trinity House（英格兰、威尔士等地一个管理灯塔的机构）的局长。除此之外，皮特还参与了修建圆型炮塔（Martello tower）、在罗姆尼湿地（Romney Marsh）开凿皇家军事运河（Royal Military Canal