Castleman vant en olympisk sølvmedalje i friidrett under OL 1904 i St. Louis. Han kom på andreplass på 200 meter hekk med tiden 24,9 bak sin landsmann Harry Hillman som vant med 24,6.