Rutherfords far var tenor for New York Metropolitan Opera, og hennes mor var skuespiller i stumfilmer. Da hun var ni år flyttet familien til Los Angeles. Rutherford var gift to ganger. Den 31. desember 1942, giftet hun seg med David May II, barnebarn av grunnleggeren av varehusene May Company, paret hadde en jente, Gloria, født i mai 1943. I juni 1953 ble Rutherford og May skilt i en domstol i Juarez i Mexico.