ヨッヘン・リントがロータスと契約し、オリバーはBRMに移籍した。彼はBRMでの2年間を失意の内に過ごすこととなり、それは事実上、彼のグランプリキャリアを終わらせる原因となった。2年間で完走は4回のみで、ポイントを得たのは1969年メキシコグランプリでの6位と1970年オーストリアグランプリの5位のみであった。しかしながら彼は1970年シーズン、レース・オブ・チャンピオンズでは首位を走行してジャッキー・スチュワートを抑え、オランダグランプリやイギリスグランプリでは3位を走行して激しいバトルを繰り広げた。オリバーはオーストリアで5位に入ったが、彼がこのレースで優勝しなければならなかったと考えたチームのボス、ルー・スタンリーはこれを期待外れな結果ととらえ、その後良い車はチームメイトのペドロ・ロドリゲスに与えられた。しかしながらオリバーはその後イタリアグランプリでもレースをリードして見せた。スタンリーはオリバーについて「良いけれども、彼が考えるほどには全然良くはなかった。」と語っている。BRMでのレースの大半はリタイアで終わった。メインスポンサーのヤードレーは彼が解雇されたのを知って驚き、失望した。ジャッキー・スチュワートはオリバーを大変良いグランプリおよびカンナムドライバーであると判断している。