Kolejne medale wywalczył na igrzyskach olimpijskich w Lake Placid w 1980 roku, gdzie ponownie był najlepszy w slalomie i gigancie. Po pierwszym przejeździe slalomu zajmował czwarte miejsce, tracąc do prowadzącego Phila Mahre 0,58 sekundy. W drugim przejeździe był jednak wyraźniej najlepszy, zwyciężając ostatecznie z przewagą 0,50 s nad Philem Mahre i 0,80 s nad Jacquesem Lüthym ze Szwajcarii. W gigancie pierwszy przejazd ukończył na trzeciej pozycji o 0,32 s za prowadzącym Andreasem Wenzelem. Podobnie jak w slalomie w drugim przejeździe giganta osiągnął najlepszy czas, wyprzedzając pozostałych zawodników o blisko sekundę. Ostatecznie na podium wyprzedził Andreasa Wenzela i Austriaka Hansa Enna. Wywalczonych w Lake Placid tytułów nie mógł obronić na rozgrywanych cztery lata później igrzyskach w Sarajewie, ponieważ Międzynarodowy Komitet Olimpijski uznał go za profesjonalistę po tym, jak Szwed podpisał kontrakty sponsorskie z firmami, które nie były sponsorami reprezentacji narodowej. Z tego samego powodu na igrzyskach w 1984 roku nie wystartowała reprezentująca Liechtenstein Hanni Wenzel. Stenmark wystąpił za to na rozgrywanych w 1982 roku mistrzostwach świata w Schladming, zdobywając dwa medale. W slalomie był najlepszy wyprzedzając Bojana Križaja z Jugosławii oraz swego rodaka Bengta Fjällberga. W gigancie wywalczył tym razem srebrny medal, rozdzielając na podium Steve'a Mahre z USA i kolejnego reprezentanta Jugosławii, Borisa Strela. Do zwycięzcy Szwed stracił 0,51 sekundy.