Seksten år senere under OL 1912 i Stockholm vant Herschmann en olympisk sølvmedalje i fekting. Han var med på det østerrikske laget som kom på andreplass i lagkonkurransen i sabel bak Ungarn. Det var elleve lag som deltok og i finalerunden som besto av fire lag vant Østerrike to kamper og tapte en, mot gullmedaljevinnerne Ungarn. Deltakerne på det østerrikske sabellaget var Albert Bogen, Rudolf Cvetko, Friedrich Golling, Otto Herschmann, Andreas Suttner, Reinhold Trampler og Richard Verderber.