Holley ble født i Urbana, Illinois, og ble uteksaminert fra Urbana High School i 1938. Han fortsatte med å studere kjemi ved University of Illinois i Urbana-Champaign, derfra ble han uteksaminert i 1942, hvorpå han startet på sine doktorgradsstudier innen organisk kjemi ved Cornell University. Under andre verdenskrig arbeidet Holley under professor Vincent du Vigneaud ved Cornell University Medical College, hvor han blant annet var involvert i den første kjemiske syntese av penicillin. Holley fullførte sine doktorgradsstudier i 1947.