Han meldte seg inn i Reformpartiet i 1998. Rõivas var politisk rådgiver for justisminister Märt Rask 1999–2002, politisk rådgiver for befolkningsminister Paul-Eerik Rummo 2003–2004 samt ordfører i den administrative bydelen Haabersti i Tallinn 2004–2005. I 2005 ble han rådgiver for statsminister og partileder Andrus Ansip. Samme år ble Rõivas innvalgt i kommunestyret i Tallinn, og i 2007 ble han innvalgt i nasjonalforsamlingen, Riigikogu.