Elizabeth Miller ble født 23. april 1907 i Poughkeepsie i delstaten New York i USA. Foreldrene var Florence (født MacDonald) og Theodore Miller. Elizabeth ble som barn og ung kalt Li Li, Te Te og Bettie før hun ble Lee 20 år gammel. Moren Florence var utdannet sykepleier og kom fra beskjedne kår i Ontario, Canada. Theodore var en streng og autoritær far.