Fitch vant en olympisk sølvmedalje i friidrett under Sommer-OL 1936 i Berlin. Han var med på det amerikanske stafettlaget som kom på andreplass på 4 × 400 meter stafett for menn, bak Storbritannia. De andre på laget var Harold Cagle, Robert Young og Edward O'Brien.