Rwangombwa begynte å jobbe i Rwanda Revenue Authority (Rwandas skattemyndigheter) i 1998, der han jobbet fram til 2002. Han begynte i 2002 å jobbe i Finansdepartementet som direktør for , der han senere ble statssekretær, og i 2009 ble han landets finansminister.