I Tour de France 1981 lå Wilmann også godt an i Touren, men enda en gang ble det spolert av en stygg velt. I 1982 vant han Romandie rundt og ledet verdenscupen i sykling. Han var blant favorittene til å vinne Tour de France, men han pådro seg lungebetennelse og måtte bryte på den 19. etappen.