La pareja tuvo tres hijas—Mary Ellin Barrett, Linda Emmett y Elizabeth Peters — y un hijo, Irving Berlin, Jr., que murió de niño un día de navidad.