Mandel was kind van links georiënteerde (areligieuze) Joden. Vader Henri Mandel had zijn orthodoxe omgeving in Oostenrijks Polen eerst verruild voor Antwerpen, daarna (wegens de Eerste Wereldoorlog) Den Haag. Na een verblijf in Berlijn (1919), waar hij in kringen van revolutionairen verkeerde, vestigde hij zich opnieuw in Antwerpen. Moeder Rosa Mateles was een ver familielid van haar man, die bij hun ontmoeting een succesvol zakenman was geworden. Op doktersvoorschrift beviel zij van haar zoon in een gespecialiseerde kliniek te Frankfurt. Na Ernest werd nog een jongen geboren, Michel.