Dopo l'8 settembre 1943 la situazione si fa drammatica. Il 16 ottobre 1943 la madre e la sorella di Segre sono vittime del Rastrellamento del ghetto di Roma. La madre morirà di stenti in treno durante la deportazione, la sorella Elena nelle camere a gas di Auschwitz. Il fratello Umberto Segre si rifugia in Svizzera con la famiglia. Mario, la moglie e il bambino trovano ospitalità presso l'Istituto svedese di studi classici a Roma, che gode dell'extraterritorialità. Il 5 aprile 1944 tuttavia i tre vengono arrestati, in seguito ad una delazione, da due agenti della polizia fascista mentre si trovano all'esterno dell'Istituto assieme a Filippo Magi, assistente per l'Archeologia classica alla Direzione Generale dei Musei Vaticani. A nulla vale l'intervento della Segreteria di Stato della Santa Sede nella persona di Giovanni Battista Montini (il futuro Papa Paolo VI), che il 15 aprile si rivolge all'Ambasciatore di Germania Ernst von Weizsäcker nel vano tentativo di salvare gli arrestati dalla deportazione e dalla morte: “Si implora dalle autorità germaniche il rilascio dell'intera famiglia Segre".