Under Vinter-OL i 1976 tok han bronse i 4 × 7,5 km stafett. Fire år senere vant han gullet på 10 km i Vinter-OL i 1980, og tok i tillegg sølv på 20 km og bronse på stafetten igjen. Ullrich deltok også i Vinter-OL 1984, men her måtte han nøye seg med femteplass på 20 km. På stafetten måtte Ullrich og DDR for en gangs skyld bite i gresset for blant annet Norge og Kjell Søbak på siste etappe, da fire mann var inne samtidig på siste stående skyting.