Karl-Heinz Kunde commence sa carrière de cycliste en 1959. Cette année-là, il termine quatrième du championnat d'Allemagne sur route amateurs. En 1960, il se révèle lors du Tour d'Autriche, où il gagne la quatrième étape et termine septième et meilleur allemand du classement général. Il obtient en 1961 son premier titre national en devenant champion d'Allemagne sur route amateurs. La même année, il participe également au Tour de l'Avenir, où il termine à la quatrième place. Il a moins de réussite lors du championnat du monde sur route, où il abandonne après seulement deux tours.