Oliver alkoi keskittyä muuhun, kuin F1-sarjaan, mm. Formula 5000 -sarjaan, mutta ajoi myös McLarenilla ja Shadowlla. Kaudella 1972 hän ajoi Britannian GP:ssä autonaan BRM, mutta hän joutui keskeyttämään kilpailun. Vuonna 1973 hän siirtyi ajamaan Shadow'n autoa, joka oli epäluotettava ja hän kykeni ajamaan sillä Kanadan osakilpailussa kolmanneksi (sateen ja monien varikkopysähdysten vuoksi hänen luultiin ensin voittaneen, mitä sekoitti lisäksi Peter Revsonin ja Emerson Fittipaldin kaksintaistelu). Hän siirtyi F1:stä kokonaan 1973 jälkeen ajamaan CanAmia Shadowlla, jonka johdosta hän oli alkanut saada vaikutusvaltaa. Oliver palasi F1:iin 1977 ajamaan hetkeksi Shadow'lla ollen Ruotsin GP:ssä yhdeksäs, mutta lähti sitten tallista monen muun johtokunnan henkilön, mm. pääsuunnittelija Tony Southgaten kanssa ja perusti uuden F1-tallin, Arrowsin.