Han fikk sin utdannelse ved musikkonservatoriet i Bergen og musikkhøyskolen i Wien og debuterte i 1953 med Oslo filharmoniske orkester etter studier med Eline Nygaard i Oslo. Han vant prinsesse Astrids musikkpris i 1961 og fikk Griegprisen sammen med Anne Bolstad og Finn Nielsen i 1978. Han samarbeidet med Harald Sæverud i nesten 40 år, noe som i 1997 førte til utgivelsen av en rikt illustrert bok om Sæverud og hans pianomusikk. I tillegg til å være Sæveruds elev, ble han også hans samarbeidspartner, og de holdt mange konserter sammen, hvor Sæverud fortalte om musikken som Kayser spilte.