Raby délaisse sa Gilby-BRM pour une Brabham-BRM dès 1964, mais la voiture manque de fiabilité et il ne parvient pas à prendre le départ du Grand Prix d'Italie. Avec cette même monoplace, il termine huitième au Grand Prix de Syracuse 1965, puis, il la revend avant le Grand Prix d'Italie de la même année.