Deux des frères du gouverneur sont des hommes de renom. Sir Robert Pigot (1720–1796), qui lui succède comme baronnet, commande son régiment (le ) lors des batailles de Lexington et Bunker Hill pendant la guerre d'indépendance des États-Unis. Il est devenu lieutenant général en 1782. L'autre frère, Hugh Pigot (vers 1721-1792) est marin. Après quelques années de service, il devient amiral et commandant en chef aux Antilles en 1782. L'un de ses fils est le général Sir Henry Pigot (1750-1840) et un autre est Hugh Pigot (1769-1797), un capitaine de la marine, assassiné lors d'une mutinerie en septembre 1797 alors qu'il commande le .