Baumann ble valgt inn som medlem av det sveitsiske Forbundsrådet den 22. mars 1934 og han forlot denne posisjonen den 31. desember 1940, etter seks år i dette embetet. Baumann var tilknyttet Det frie demokratiske partiet i hele sin politiske karriere. I Baumanns periode som medlem av det sveitsiske Forbundsrådet tiden holdt han også flere andre, politiske posisjoner, blant annet i det sveitsiske Justisdepartementet og politidepartementet og han satt som president for den sveitsiske konføderasjonen i 1938.