Fra 1955 til 1963 var han Minnesotas viseguvernør under guvernørene Orville Freeman og Elmer L. Andersen. I 1962 vant Rolvaag guvernørvalget mot Andersen med mindre enn hundre stemmers overvekt, og han tiltrådte først guvernørvervet etter flere fintellinger. Han hadde ikke noe flertall for sin politikk i Minnesotas lovgivende forsamling, men han klarte å forbedre forholdene for pasientene i delstatens psykiatriske institusjoner, og bygde ut delstatscollegene. I 1966 ble han utfordret i demokratenes nominasjon og tapte guvernørvalget.