Mobilisé en 1940, Xavier de La Chevalerie est incorporé au d’infanterie de ligne, dit régiment de Bourgogne. À l’annonce de l’Armistice du 22 juin 1940, il assume sa désertion de l’armée française en rejoignant les Forces françaises libres.