Porvarillisen allianssin voitettua vuoden 2006 valtiopäivävaalit Borg nimitettiin Reinfeldtin hallituksen valtiovarainministeriksi. Hän jatkoi tehtävässä myös vuoden 2010 vaalien jälkeen muodostetussa porvarillisen allianssin vähemmistöhallituksessa.