Aufgrund seiner vielfältigen Aktivitäten und Erfolge gilt Elford als einer der größten Allrounder der Motorsport-Geschichte. Sein erstes Rennen bestritt er 1961 mit einem Mini von BMC, seine erste Rallye 1962 in einem DKW. Von 1968 bis einschließlich 1971 nahm er in der Formel 1 an insgesamt 13 Grand Prix teil. Sein Debüt gab er am 7. Juli 1968 beim Grand Prix von Frankreich, sein letzter Auftritt war der Grand Prix von Deutschland 1971. Insgesamt erzielte „Quick Vic“ für die Teams von Cooper, McLaren und B.R.M. acht Weltmeisterschaftspunkte. Einige Jahre später war Elford erneut in der F1-Weltmeisterschaft aktiv, 1979 als Manager des deutschen ATS-Formel-1-Teams. Innerhalb von nur drei Monaten gelang es Elford, ATS und dessen Fahrer Hans-Joachim Stuck zu Mitbewerbern um WM-Punkte zu machen, nachdem das Team zuvor Schwierigkeiten hatte, sich überhaupt für Rennen zu qualifizieren.