Dopo l'armistizio dell'8 settembre 1943 Segre, con la moglie e la figlia, riesce a riparare in Svizzera. Gli altri suoi familiari non avranno la stessa fortuna. La madre Ida Luzzati. e la sorella Elena saranno arrestate dai nazisti a Roma durante il Rastrellamento del ghetto di Roma del 16 ottobre 1943. La madre morirà di stenti in treno durante la deportazione, la sorella Elena nelle camere a gas di Auschwitz. L'anno successivo la stessa sorte toccherà all'intera famiglia del fratello Mario Segre, epigrafista di fama mondiale.