Han ble tatt opp som medlem i Sovjetunionens kommunistiske parti i 1974, men gikk ikke for alvor inn i politikken før perestrojkatiden. Fra 1989 til 1990 var han formann i transportkomiteen og transportminister i Den estiske sosialistiske sovjetrepublikk. Da Edgar Savisaar dannet en overgangsregjering fra sovjetisk styre i 1990, ble Vähi med videre som transportminister. Han sørget for å ta tilbake kontrollen over estiske lufthavner, jernbaner og havner idet Estland erklærte sin uavhengighet fra Sovjetunionen i 1991. Han ble også regjeringens spesialutsending til tungindustrien i det nordøstlige Estland, som var i et økonomisk uføre.