Ved parlamentsvalget i 1995 stod han i spissen for en valgallianse av Det estiske samlingspartiet, hvor han selv var formann, og Det estiske landsbygdsfolkets parti, og ble den største blokken i parlamentet. Vähi var statsminister fra 1995 til 1997, først i koalisjon med Det estiske senterpartiet, så med Det estiske reformpartiet. Vähi la seg på en noe mer forsiktig linje enn hva Mart Laar hadde gjort. Regjeringen gikk inn for jordreformer og markedsreformer for å gjøre slutt på varemangel, men måtte til slutt gå av som følge av korrupsjonsanklager.