Lazarus fue la cuarta de los siete hijos de Moses Lazarus y Esther Cardozo, ambos de familias descendientes de judíos sefardíes portugueses cuyos miembros llevaban desde antiguo muy asentados en Nueva York, y estaba emparentada, a través de su madre, con Benjamin N.