Raby aloitti uransa ajamalla 1950-1960-luvuilla alemmissa autoluokissa, Formula 2 -luokissa sekä Formula 1 -sarjan ulkopuolisissa kilpailuissa. Näiltä ajoilta hänen parhaat saavutuksensa olivat 1957 Le Mansin 24 tunnin ajon 15. sija yhdessä Jack Brabhamin kanssa, 1963 Rooman GP:n kolmas sija ja Formula Junior -sarjan avauskilpailun voitto Englannin kilpailussa. Formula 1:iin hän osallistui varsinaisesti ensimmäistä kertaa vuonna 1963 kotikilpailussaan Britannian GP:ssä, jossa hän ajoi Gilbyn autolla, kunnes joutui keskeyttämään. Hän yritti päästä myös Saksan ja Italian osakilpailuihin, mutta karsiutui pois. Vastaavanlaisesti tapahtui Brabhamin autoilla vuosina 1964 ja 1965. Rabyn parhaaksi sijoitukseksi jäi 11. sija Britannian GP:stä päätöskaudellaan 1965.