Schmedeman var sønn av Heinrich Schmedeman, en tysker. I 1904 ble han innvalgt i byrådet i Madison og satt der i to perioder. I 1910 stilte han til valg for demokratene i valget til Representantenes hus, men ble slått av John M. Nelson. I 1913 ble han utnevnt til amerikansk minister i Norge, og beholdt stillingen til 1921. I 1920 tok han imot Nobels fredspris (for 1919) på president Woodrow Wilsons vegne. Han planla nå å trekke seg tilbake fra politikken, men ble valgt til borgermester i Madison. Han var borgermester fra 1926 til 1932. I 1932 ble han valgt til Wisconsins guvernør som Philip La Follettes etterfølger. Han satt i embetet i én periode (1933–35) og ble etterfulgt av La Follette.