Borg var analytiker i Transferator Alfred Berg AB 1995–1998, sjeføkonom i ABN AMRO Bank i Stockholm 1998–1999, avdelingssjef for økonomisk analyse i Skandinaviska Enskilda Banken AB 1999–2001 og pengepolitisk rådgiver for styret i Sveriges Riksbank 2001–2002. Han har også vært medlem av Expertgruppen för studier i offentlig ekonomi (ESO) og styremedlem i Arbetsmarknadsstyrelsen. Borg har skrevet en rekke tidsskriftsartikler, blant annet om finanspolitikk og budsjettprosesser i og om statlige inngrep og stabiliseringspolitikk i . Tidlig i 1990-årene utgav han to debattskrifter om økonomisk politikk.