En 1931 la familia se trasladó a Beaumont, Texas, y James empezó a tocar con orquestas locales de baile.