Herschmann vant en olympisk sølvmedalje i svømming under OL 1896 i Athen. Han kom på andreplass bak Alfréd Hajós fra Ungarn på 100 meter fri.