Brunner vant en olympisk sølvmedalje i håndball under OL 1936 i Berlin. Han var med på det østerrikske laget som kom på andreplass i håndballturneringen bak Tyskland. Det var første gang som håndball var olympisk sport. Seks lag deltok i turneringen som ble avviklet i perioden 6. og 14. august. Østerrike vant fire av fem kamper, i finalerunden som besto av fire lag, beseiret de Sveits med 11-6 og Ungarn med 11-7 og tapte kampen mot Tyskland med 6-10. Brunner spilte to kamper i OL-turneringen.