Durante lo sbarco angloamericano in Nord Africa, iniziato l'8 novembre 1942, fu subito a favore di una alleanza con la Germania e si oppose fermamente all'ammiraglio Gabriel Auphan, che era favorevole a fermare i combattimenti tra le forze francesi e quelle americane. Quando il 27 novembre 1942 seppe dell'avvenuto autoaffondamento della flotta francese a Tolone, ordinato dall'ammiraglio Jean de Laborde in ottemperanza agli ordini ricevuti a suo tempo dall'ammiraglio Darlan, fu preso da una furia incontrollabile, tanto che il Maresciallo Pétain arrivò ad esclamare "Ma è pazzo!". Il 26 marzo 1943 Laval lo allontanò definitivamente dal governo in quanto lo trovava affetto da zelo eccessivo e mancante di buone maniere. Si avvicinò ancora di più agli ultra collaborazionisti e moltiplicò i suoi viaggi a Parigi per incontrare i funzionari tedeschi, valutando l'integrazione dei marinai francesi nella Kriegsmarine e continuando a complottare per rovesciare il governo Laval. Nel luglio 1944 fu firmatario, e portò personalmente a Pétain, una dichiarazione, firmata tra gli altri da Marcel Déat, Jean Luchaire e Fernand de Brinon, con cui si chiedeva di rimuovere Laval dal suo incarico in quanto considerano troppo tiepido di fronte dell'offensiva angloamericana lanciata in Normandia, proponendo nel contempo la sua candidatura a Presidente del Consiglio. Questo tentativo fallì e fu messo agli arresti domiciliari nella sua casa nella Gironda. Dopo la morte di Philippe Henriot incominciò a temere per la sua vita, e mandò una lettera a Bordeaux a Richard Noseck, vice di Helmut Knochen, capo della polizia di sicurezza e del servizio di sicurezza per la Francia, chiedendo loro di intervenire presso il Feldkommandantur di Libourne per aumentare le pattuglie di sorveglianza vicino a casa sua. Il 22 luglio 1944 fu catturato nella sua casa di Pujols dai maquisards dei FTP della Dordogna, appartenenti al 6º Battaglione delle Forces françaises de l'intérieur.