James y su esposa fueron cuáqueros/miembros de una sociedad religiosa cristiana, que adquirió parcelas de tierra en Nueva Jersey y Pensilvania.