Schwartz vant en olympisk bronsemedalje i svømming under OL 1932 i Los Angeles. Han kom på tredjeplass på 100 meter fri bak de japanske svømmerne Yasuji Miyazaki og Tatsugo Kawaishi.