Selon l'écrivain fasciste Lucien Rebatet, la prise de distance d'Armand Petit-Jean date d'après le débarquement américain en Afrique du Nord à la fin de 1942. Rebatet décrit une rencontre quinze jours avant ce débarquement, dans un bar de la rue de Pyramides à Paris avec un Armand Petit-Jean exalté faisant l'éloge de Doriot, déclarant qu'il veut « combattre les gaullistes et les Alliés », qu'« il faut créer tout de suite une légion africaine.» « Je suis prêt à me battre pour l'Afrique, aux côtés des Allemands. On doit aller jusqu'au bout de la collaboration. » Mais, toujours selon Rebatet, « Quinze jours après, c'était Alger. Je n'ai plus jamais entendu parler d'Armand Petit-Jean. On lui avait demandé un article littéraire pour "Je suis partout". Il n'a jamais répondu ».