Robert James viajó a California con la ilusión de alcanzar fortuna durante la denominada Fiebre del Oro, pero murió allí cuando Jesse tenía sólo tres años de edad.