Lillian fue la tercera de cuatro hermanos, sus padres fueron Max Wald y Minnie Schwartz, quienes eran descendientes de rabinos y mercantes en Alemania y Polonia. Los Schwartz, así como los Wald, habían dejado Alemania luego de la revolución de 1848 para finalmente instalarse en los Estados Unidos en busca de oportunidades.