Desafortunadamente Herb fue reclutado por el ejército, y a su vuelta tras dos años, su puesto estaba ocupado por Jerry Wexler, quedándose él sin nada que hacer allí, por lo que vendió parte de la compañía por 300.000 dólares y se alejó de cualquier tipo de relación con Atlantic Records.