Tuvo dos hermanos; el mayor era Alexander Franklin James, conocido como Frank James, y una hermana menor llamada Susan Lavenia James.