Wellmann pääsi suurimpiin saavutuksiinsa vuonna 1976. Münchenin EM-hallikilpailuissa hän voitti kultaa ajalla 3.45,1. Montréalin olympialaisissa hän saavutti pronssia ajalla 3.39,33. Hänen vaimonsa Ellen Wellmann (o.s. Tittel) sijoittui Montréalissa 1 500 metrillä seitsemänneksi. San Sebastiánin EM-hallikilpailuissa 1977 Karl-Heinz Wellmann saavutti vielä hopeaa ajalla 3.46,6. Vaimo jätti Wellmannin ja avioitui jo huhtikuussa 1977 hänen parhaan ystävänsä ja kilpakumppaninsa Thomas Wessinghagen kanssa.