Horvitz var sønn av Oscar Freedom Horvitz og Mary Savit Horvitz, begge barn av jøder som hadde emigrert fra Europa. Faren, som het Freedom fordi han var født like før fredsavtalen etter første verdenskrig, ble påkjørt av en bil under et opphold i Washington, DC i 1942, noe som kan ha vært av avgjørende betydning for hvorfor han ikke ble innkalt til militærtjeneste under andre verdenskrig. Faren ble senere regnskapsfører, og utviklet en stor begeistring for tall, en begeistring Robert Horvitz arvet av sin far.