Lazarus var nummer fire i en søskenflokk på syv. Foreldrene var Esther og Moses Lazarus, som var sefardiske jøder. Begge foreldrenes familier var innvandret til New York fra Portugal i kolonitiden.