I VM 1962 vant han gull i storslalåm og bronse i utfor. To år senere kronet han karrieren ved å ta gullmedaljen i utforrennet i OL 1964 i Innsbruck. Han ble østerriksk mester i utfor i 1966. Zimmermann, som var utdannet kokk, var eier av hotellet Kristberg i Lech.