Luise Rainer var datter av den fremgangsrike forretningsmann Heinrich Rainer og hans hustru Emilie, begge jøder. I løpet av barndommen flyttet hun med femilien først til Hamburg og senere til Wien. Hun hadde to brødre.