Da Brofoss gikk ut av regjeringen, ble han leder for direksjonen i Norges Bank (tilsvarer posisjonen sentralbanksjef). Som leder av Norges Bank ønsket han at Finansdepartementet, ikke sentralbanken, skulle ha øverste ledelse for makroøkonomisk planlegging, mens Norges Bank til gjengjeld burde få økt innflytelse på kredittpolitikken. Han gikk av i 1970, da han ble direktør for Det internasjonale pengefondet (IMF). Den jobben hadde han frem til 1973.