Im Oktober 1997 wurde Kaberuka zum Minister für Finanzen und Wirtschaftsplanung Ruandas ernannt. In seinen acht Amtsjahren trug er zur Stabilisierung der nationalen Wirtschaft nach dem Völkermord von 1994 maßgeblich bei. Er leitete erfolgreich das Wiederaufbau- und Wirtschaftsreformprogramm ein, das neue Systeme der politischen Steuerung und Koordinierung in strukturellen, geld, haushaltspolitischen und fiskalischen Fragen ein, wobei er die Unabhängigkeit der ruandischen Zentralbank besonders hervorhob. Diese Reformen führten zu einer wirtschaftlichen Erholung und zu nachhaltigem Wirtschaftswachstum, wodurch sich Ruanda im April 2005 für einen Schuldenerlass im Rahmen der initiative für Hochverschuldete Entwicklungsländer qualifizierte. In diesem Zeitraum stieg die Inflation, die 2000 bei ca. 3,3 % lag, 2003 8,7 % sowie 2004 auf 12,6 %. Vor allem die Energie- (Strom) und Nahrungsmittelpreise stiegen 2004 und 2005 stark.