Köhler er gift med Eva Luise Köhler, født Bohnet, som er tysklærer og tidligere aktiv i lokalpolitikk for SPD, og har to barn, Ulrike (født 1972) og Jochen Köhler (født 1977).