Han var kultur- og utdanningsminister i Mart Laars regjering fra 1992 til 1994. Rummo ledet Det estiske liberaldemokratiske partiet (ELDP), som i 1994 gikk opp i Det estiske reformpartiet.