Su madre, Jane Coleman, tuvo cinco hijos de los cuales James fue el único que sobrevivió más allá de la niñez.