1969 war nach der Verpflichtung von Jochen Rindt kein Platz mehr für Oliver bei Lotus. Er wechselte zu B.R.M. und schaffte in zwei Jahren nur vier Zielankünfte für das britische Team, davon zweimal in den Punkten. Beim Großen Preis von Mexiko 1969 wurde er Sechster und beim Großen Preis von Österreich 1970 Fünfter.