Fue uno de seis hermanos provenientes de una familia rica de Boston, Massachusetts, educado en la Universidad Harvard y luego en el New College, Oxford, donde conoció a John Marshall, con quien formó una relación muy cercana y duradera.