Yarborough vant seks løp i 1980, men tapte mesterskapet til Dale Earnhardt med 19 poeng. Etter 1980-sesongen tok Darrell Waltrip Yarboroughs plass, som annonserte at han kun ville kjøre på deltid resten av sin karriere.