Yarborough fortsatte som fører for Wood Brothers i 1970, hvor han tok tre seire og fire pole position, men startet kun i 19 løp og endte dermed på 34.-plass sammenlagt. Etter sesongslutt forlot Yarborough Wood Brothers-teamet, og kjørte fire løp i 1971 for Ray Fox i #3 Plymouth. Påfølgende sesong, 1972, kjørte han fem løp, og det beste var på Michigan International Speedway for James Hylton. Han avsluttet sesongen med to topp-ti-plasseringer bak rattet for Hoss Ellingtons team. I 1973 kjørte Yarborough alle løp for første gang i sin karriere, bak rattet i Richard Howards #11 Kar-Kare Chevrolet, og vant fire seire samt 19 topp-ti-plasseringer, noe som plasserte han på andreplass sammenlagt.