El 24 de abril de 1874 se había casado con su prima Zerelda Mimms y tuvieron 4 hijos: Jesse Edward James (1875), futuro abogado, los gemelos Gould y Montgomery (1878), que murieron pronto, y Mary Susan James (1879; de casada, Barr).