Baumann ble olympisk mester i håndball under OL 1936 i Berlin. Han var med på det tyske laget som vant håndballturneringen. Det var første gang håndball var olympisk sport. Seks lag deltok i turneringen som ble avviklet i perioden 6. til 14. august. Tyskland vant alle sine fem kamper, i finalerunden beseiret de Ungarn med 19-6, Sveits med 16-6 og Østerrike med 10-6. Baumann spilte to kamper i OL-turneringen.