Γεννήθηκε στις 22 Φεβρουαρίου του 1943 στο Χαϊντενστάιν (σημερινό Σκιερμπιεσόφ της Πολωνίας) σαν έβδομο από οκτώ παιδιά αγροτικής οικογένειας. Οι γονείς του, Εδουάρδος και Ελισάβετ Κέλερ, ανήκαν στην γερμανική μειονότητα της ρουμανικής Βεσσαραβίας (σημερινή Μολδαβία), την οποία όμως εγκαταλείπουν αναγκαστικά το καλοκαίρι του 1940 λόγω του Σύμφωνου Μολότωφ - Ρίμπεντροπ και εγκαθίστανται στο Γερμανικό Ράιχ (στα εδάφη της τότε ακόμη κατεχόμενης Πολωνίας), όπου μένουν για λίγα χρόνια. Εκεί γεννήθηκε ο Χορστ Κέλερ.