Han forsvarte VM-tittelen i Antholz-83 foran jevngamle Peter Angerer, og han var naturlig nok favoritt på sprinten under OL 1984 i Sarajevo. Kvalfoss innfridde forventningene og tok tre medaljer; gull på 10 kilometer, sølv på stafetten og bronse på 20 kilometer.