Schwarz vant en olympisk bronsemedalje i svømming under OL 1904 i St. Louis. Han var med på det amerikanske laget som kom på tredjeplass på 4 x 50 yards fristil bak to andre amerikanske lag. De andre svømmerne på bronselaget var Amedee Reyburn, Gwynne Evans og William Orthwein.