Köhler tok sin i 1963, avtjente deretter verneplikten og forpliktet seg til to år ved pansergrenaderene i Ellwangen. Han forlot hæren som løytnant i reserven. Deretter studerte han økonomi og statsvitenskap ved Universität Tübingen, hvor han tok doktorgraden og var vitenskapelig forskningsassistent ved fra 1969 til 1976, hvoretter han arbeidet i det tyske næringsdepartementet. I 1981 ble han medlem av CDU, og samme år skiftet han over til finansdepartementet.