Horst Köhler föddes i byn Heidenstein (nuvarande Skierbieszów) i Generalguvernementet, vilket var Tysklands namn på de ockuperade polska områdena. Köhler var son till bönderna Eduard och Elisabeth Köhler vilka ursprungligen kom från norra Bessarabien. I deras hemby Rîșcani levde 1940 runt 400 tyskättande invånare och de blev i samband med den sovjetiska ockupationen (en följd av Molotov–Ribbentrop-pakten mellan Sovjetunionen och Tyskland) tillsammans med andra folktyskar omflyttade till Tyska riket. De levde under två år i ett läger. I augusti 1942 flyttade familjen till en gård i Heidenstein där Köhler föddes 1943.