Han ble kjent som jazzmusiker på slutten av 1960-årene, særlig gjennom sitt samarbeid med Jan Garbarek. Han ble tildelt Buddyprisen i 1969. I 1982 startet han bandet Masqualero sammen med Jon Christensen, Nils Petter Molvær, Jon Balke og Tore Brunborg. Bandet eksisterte i 10 år, ga ut fire album og vant tre Spellemannpriser. Andersen vant selv Gammleng-prisen i klassen jazz i 1984.