1929. szeptember 17-én született Londonban. Szülei is szenvedélyes autóversenyzők voltak. Apja Alfred Moss a 16. lett az 1924-es indianapolisi 500-on, húga, Pat Moss pedig rali versenyeken indult. Stirling kedvelte a lovassportokat, kezdetben még egyensúlyban voltak hajlamai a lovaglás és az autósport között. Miután megkapta Cooper 500-asát, hamar bizonyította tehetségét számos futamgyőzelmével, nemzetközi szinten is. Részt vett a Formula–3-ban, 1952-ben pedig második lett a Monte-Carlo-ralin, amelyen társa John Cooper volt. 1954-ben első külföldiként nyerte meg a Sebringi 12 órás autóversenyt.