Høsten 1949 møtte han Bob Montgomery på Hutchison Junior High School. De delte en felles interesse i musikk og startet ganske snart å opptre som duoen Buddy and Bob. Tidlige påvirkninger var bluegrassmusikk, og de sang la seg til å synge tradisjonelle harmoniduetter i lokale klubber og var med på talentkonserter på skoler. Holleys store gjennombrudd ble da de varmet opp for Bill Haley and His Comets ved en lokal rockeforestilling som ble organisert av Eddie Crandall, som også var manager for Marty Robbins. Som et resultat av denne opptredenen, ble Holley tilbudt en kontrakt med Decca Records som soloartist, men noen tidlig suksess som soloartist ble det ikke.