Joy Rae Brown ble født 6. april 1928 i Salt Lake City i Utah. Hun var datter av Jack Glenn Brown and Virginia Shupe Brown. Senere brukte hun navnet Joy Loveland, etter å ha tatt sin nye stefars etternavn. I 1940 flyttet familien til Los Angeles.