Williams was de zoon van een RAF-squadronleider, die gelegerd was in Egypte. Williams groeide op in Engeland en ging naar dure privé-scholen. Hij ging racen voor evenementen in toerwagens als de Mini en Austin 40. Begin jaren zestig ontmoette hij op Chelsea College onder andere Frank Williams en Piers Courage en raakte betrokken bij hun autosportactiviteiten. Na enkele goede resultaten in Italiaanse races nam Enzo Ferrari hem in 1966 onder zijn hoede en liet Williams racen in de Formule 2. Eind 1967 maakte Williams zijn debuut in de Formule 1 tijdens de Mexicaanse Grand Prix als vervanger van Mike Parkes. Hij werd achtste.