Yarborough kjørte i 1981-sesongen bak rattet i M.C. Andersons #27 Valvoline Buick, og vant både Firecracker 400 og Coca-Cola 500. Denne sesongen deltok han også i 24-timersløpet i Le Mans, hvor han fullførte 13 runder før en kollisjon sørget for at han måtte bryte.