Yarbrough debuteerde in 1960 in de NASCAR tijdens de "Atlanta 500" die op de Atlanta Motor Speedway gereden werd. Hij won zijn eerste race op de Savannah Speedway in 1964. Vanaf 1967 ging hij aan de slag voor het team van Junior Johnson. Het beste jaar kwam er in 1969 toen hij zeven races won waaronder de prestigieuze Daytona 500, waar hij in de laatste ronde de leiding van de race overnam van Charlie Glotzbach. In 1972 reed hij voor het laatst in de NASCAR. Hij won in zijn carrière veertien races en vertrok tien keer vanaf poleposition. Yarbrough nam in 1967, 1969 en 1970 deel aan de Indianapolis 500 maar kon geen enkele race uitrijden. Na zijn carrière had hij te maken met alcoholisme en hij overleed in 1984 op 46-jarige leeftijd aan de gevolgen van een epileptische aanval.