Robert Goolrick vokste opp på 1950-tallet i den lille universitetsbyen Lexington i Virginia. Moren hans var hjemmeværende og faren en høyskoleprofessor, og han hadde to søsken.