Oliver cominciò a gareggiare nel 1961, quando partecipò a delle competizioni amatoriali al volante di una Mini. Negli anni successivi si dedicò alle vetture GT, passando alla Formula 3 nel 1966. Nonostante i risultati di questa sua prima esperienza in monoposto non fossero eccezionali, nel 1967 Oliver fu ingaggiato dalla Lotus per correre in Formula 2. Nello stesso anno il pilota britannico fece il suo debutto in Formula 1, partecipando al Gran Premio di Germania con una vettura di Formula 2. Oliver chiuse in quinta posizione nella classifica assoluta, ottenendo la vittoria di categoria.