I 1960 tok han en stilling som trener for Boston Patriots’ defensive linemen og linebackere. To år senere tok han en lignende stilling med Buffalo Bills; i løpet av sine seks år med Bills vant laget to ligatitler i American Football League. I 1968 ansatte Cleveland Browns Smith som assistant personnel director. Fra 1969 til 1970 var Smith en trener for New Orleans Saints, og året etter det ble han offensive line coach for Denver Broncos. Den 17. november 1971 sa Bostons hovedtrener Lou Saban, som også hadde vært Smiths sjef i Boston og Buffalo, opp, og Smith ble utnevnt til hans erstatning i sesongens fem siste kamper. Broncos gikk 2–3 under Smith. Ettern 1971-sesongen ble han defensive line coach for Houston Oilers ut 1972; etter en sesong returnerte han til Browns, hvor han holdt flere stillinger. Han var trener for San Diego Chargers’ defensive line fra 1977 til 1983 og var en av de som utviklet de fire spillerne Fred Dean, Leroy Jones, Louie Kelcher og Gary «Big Hands» Johnson. De fire, som ble kjent som Bruise Brothers, sørget for at Chargers ledet NFL i sacks i 1980 med 60. Dean, Kelcher og Johnson ble alle utvalgt til startere i Pro Bowl 1981.