Mais l’occupation allemande place sa famille dans le cadre des lois antisémites et l’oblige au port de l’étoile jaune. En , la seconde rafle du Vel’ d'Hiv’ emporte ses parents en déportation, du Camp de Drancy vers Auschwitz, par le Convoi No. 37, en date du . Il doit se réfugier avec ses frères à la campagne. Supportant mal ses conditions d’hébergement, il part travailler à Aix-les-Bains comme groom avant d’être engagé, grâce à un officier allemand, dans l’administration de l’aéroport d’Avord, près de Bourges. C'est là qu’il prend le nom de Rioux, nom qu’il garde à la Libération quand il rejoint les rangs trotskisants de la Jeunesse socialiste.