Edward Fenwick, som var hans opprinnelige navn, kom fra en katolsk nybyggerfamilie i Maryland. Faren hans, en velstående oberst, stilte seg på kolonienes side i revolusjonskrigen.