I 1901 ble han borgermester i Delmenhorst, og i 1913 ble han overborgermester i Kassel. Han var medlem av Riksdagen fra 1919 og ble samtidig innenriksminister (til 1921). Han var også kortvarig Tysklands visekansler i 1920. Koch-Weser tilhørte i tillegg til DDP også Reichsbanner Schwarz-Rot-Gold. Mellom 1924 og 1930 var han formann for DPP, fra juni 1928 til mai 1929 riksjustisminister. Partiet hans mistet denne posten ved den nye regjeringsdannelsen det året, og han åpnet deretter en advokatpraksis i Berlin sammen med sin sønn.