Kayser hadde en internasjonal karriere og holdt konserter i USA, Kina og Russland, i tillegg til en stor aktivitet i Europa, hvor han spilte med blant andre Royal Philharmonic Orchestra, Birmingham Symphony Orchestra og Praha symfoniorkester. Han ble tildelt Kongens fortjenstmedalje i gull. Han var onkel til pianisten Audun Kayser.