Jeho rodiče žili v Besarábii (na území dnešní Moldávie). Po uzavření paktu Ribbentrop–Molotov a obsazení Besarábie Rudou armádou byli v létě 1940 v rámci výměny obyvatelstva přesídleni do Německa. Odtud se přestěhovali do Generálního gouvernementu, do Německem okupované části Polska, kde se jim narodil syn Horst. V roce 1944 byla rodina nucena utéct před postupující frontou a přestěhovala se do Markkleeberg-Zöbigkeru u Lipska. V roce 1953 se rodině Köhlerových podařilo přes západní Berlín opustit NDR a usadit se v Ludwigsburgu.