De là et, en apparence, retiré de toute action politique, il entreprend plusieurs voyages en Afrique du Nord où il entre en relations avec le diplomate américain Robert Murphy. Quittant définitivement le territoire métropolitain en , il se trouve à Alger lors du débarquement des Anglo-Américains. Installé aux environs de Philippeville, il reçoit à plusieurs reprises Randolph Churchill, le fils de Winston Churchill, chargé de mission auprès de Tito. Le Comité d'Alger demande son arrestation le sous l'inculpation d'intelligence avec l'ennemi. Sont également arrêtés Marcel Peyrouton, gouverneur général de l'Algérie, Pierre Boisson, gouverneur général de l'AOF, et le général d'aviation Bergeret, tous connus pour leurs engagements vichystes.