Da Xavier Cugat var fem år flyttet hans familie til Cuba, der lærte han å spille fiolin. Som tenåring emigrerte han videre til USA og jobbet blant annet som akkompagnatør på turnéene til Enrico Caruso.