Так как в 1969 году Lotus подписала контракт с Йохеном Риндтом, Оливер перешёл в BRM. Для него эти два года, что он провел в команде из Бурна, были очень тяжёлыми. Это уничтожило его карьеру. За это время ему удалось доехать до финиша лишь четырежды, набрав только три очка — одно за 6-е место в Гран-при Мексики 1969 года и два за 5-е место в Гран-при Австрии 1970 года. Однако, в 1970 году ему удалось лидировать в нескольких этапах серии ROC, оставив позади Стюарта и заняв высокое третье место на ГП Голландии и Великобритании. Низкий результат Гран-при Австрии боссу BRM Лу Стэнли не понравился, и он считал, что у Родригеса машина была быстрее, однако на Гран-при Италии Оливеру удавалось держаться в плотной группе лидеров, пока не отказал двигатель. Стенли описал Оливера как «хорошего гонщика, но не столь хорошего, как считает он сам». По результатам команды BRM было видно, что её время прошло. Пандиты и титульный спонсор BRM, Yardley, были удивлены тем, что Оливера уволили из команды. Джеки Стюарт оценил Оливера как хорошего гонщика Гран-при и Can-Am.