Köhler var under Weimarrepublikken aktiv i DVP. Da han var gift med en jødisk kvinne ble han i 1933 av nazistene fratatt sitt arbeid og alle politiske verv. I 1945 deltok han i grunnleggelsen av CDU og var partiets leder i Hessens landdag. Köhler ble i 1949 valg til Forbundsdagens første president. Etter en tid ble han imidlertid rammet av et nervesammenbrudd og gikk av som forbundsdagspresident allerede etter ett år.