I februar 2014 varslet Ansip sin avgang som statsminister og partileder, og EU-kommissær Siim Kallas var tiltenkt å etterfølge ham. Kallas gikk inn i forhandlinger med sosialdemokratene for å erstatte det konservative IRL som regjeringspartner. Den 12. mars erklærte Kallas at han ikke ville tiltre som statsminister likevel, og Reformpartiets ledelse utpekte umiddelbart Rõivas til Ansips etterfølger. To dager senere fikk Rõivas regjeringsoppdraget av president Toomas Hendrik Ilves, og gikk inn i forhandlinger med sosialdemokratene. Reformpartiet og sosialdemokratene presenterte en regjeringserklæring den 20. mars, og regjeringen ble formelt innsatt av presidenten den 26. mars. Med dette ble Rõivas den yngste regjeringssjefen i EU. Den 6. april samme år ble Rõivas valgt til partileder. Ved valget i mars 2015 erklærte Reformpartiet valgseier over Senterpartiet. Rõivas tapte 9. november 2016 et mistillitsvotum i Estlands parlament.