Madsen ble konsulent i Økonomiavdelingen i Finansdepartementet i 1952, dvs rett etter avdelingens tilbakeflytting fra handelsdepartementet. Da i Finansdepartementet ble opprettet i januar 1963, ble Madsen dens første byråsjef for arbeidet med Statsbudsjettet. Han fungerte som ekspedisjonssjef i korte perioder i 1969 og 1971, dvs mellom lederperiodene til Bjørn Larsen og Per Schreiner.