Grey ble født 22. mars 1917 i Los Angeles i California, som datter av filmregissøren Ray Grey og Florence Grey. Hun hadde to eldre søstre. Det var mange håpefulle skuespillere på besøk hos dem, og stumfilmskuespillerinnen Gloria Swanson satt barnevakt for Grey. Da Greys far døde i 1925, fikk hennes mor seg jobb som filmklipper hos Universal Pictures.