Etter attentatet mot general Walker dro Oswald til New Orleans 25. april 1963 og ble der i fem måneder. Han fikk jobb i Reily Coffee Company i mai, men fikk sparken etter to måneder. I denne perioden vurderte Oswald å returnere til Sovjetunionen.