Etter at han la opp som aktiv spiller ble han i 1975 utnevnt til teknisk direktør av Scottish Football Association. Han ble deretter trener for aldersbestemte landslag i Skottland, og ledet landets U19-landslag til finaleseier mot Tsjekkoslovakia under Europamesterskapet U-19 i 1982. Roxburghs vei mot jobben som Skottland-manager pekte seg ut i september 1985, da Jock Stein døde av hjerteinfarkt i en kamp mot . Steins assistent Alex Ferguson tok midlertidig over og ledet Skottland under VM i fotball 1986, men takket nei til å ta over jobben på permanent basis etter sluttspillet.