James murió de un ataque cardíaco el 24 de mayo de 1963 en Chicago, a la edad de 45 años.