Madsen grunnla Oslo Numismatiske Forening i 1972, og ble i 1982 tildelt æresmedlemskap for sitt grunnleggende arbeid for foreningen. Han er kjent som den «gale amerikaneren» i numismatiske kretser. Han var en av de første i Norge som baserte sin mynt og seddelsamling på statistikk. Ved å være den første til å registrere høyeste og laveste seddelnummer for hver litra pr. år og annen informasjon som signaturer, vignetter, vannmerker, etc. fikk Madsen en unik oversikt over hvilke norske sedler som var sjeldne og hvilke som var vanlige. Han ga i 1983, sammen med Mogens Christensen, ut den første katalogen med oversikt over priser i det norske seddelmarkedet, grunnet statistikken ble katalogen suksess da samlere og handlere over hele Norge kunne stole på prisvurderingene. Han bygde store deler av sin egen samling ved hjelp av Jan Olav Aamlid og Gunnar Thesen ved Oslo Mynthandel. Han solgte den største norske seddelsamlingen noensinne bygd opp i Norge til Norges Bank i 1993.