1949 begann Fitch mit dem Motorsport. Er hatte sich längst einen Namen in der SCCA-Sportwagenserie gemacht, als er 1951 sein erstes Rennen außerhalb der USA fuhr. Auf einem Allard-Cadillac gewann er den Peron-Grand-Prix in Buenos Aires. Dieser Erfolg brachte ihm einen Vertrag beim Rennfahrer und Rennstallbesitzer Briggs Cunningham ein. Cunningham, ein reicher Unternehmer, der Ende der 1940er-Jahre ein Rennteam aufgebaut hatte, versuchte mit einigem finanziellen Aufwand die 24 Stunden von Le Mans zu gewinnen. 1953 erreichte Fitch in Le Mans mit Phil Walters als Partner den dritten Gesamtrang. Das Fahrzeug war ein Cunningham C5-R. Im selben Jahr gewann er, wieder mit Walters als Partner, die 12 Stunden von Sebring. 1953 fuhr Fitch auch den ersten seiner zwei Formel-1-Grand-Prix. Beim Großen Preis von Italien in Monza pilotierte er einen Werks-HWM, musste das Rennen nach einem Motorschaden aber frühzeitig aufgeben.