Kjelstrup var elev ved 4. divisjon musikkskole i 1937, samtidig som han ble med som militærmusiker i Bergen 1937–41. Han studerte med Fritz Hofmann og spilte samtidig i Bergen Filharmoniske Orkester. Så bars det til Oslo for å studere med Oslo Filharmoniske Orkesters legendariske soloklarinettist Erling Carlsen. Senere studerte han med den franske klarinettlegenden Louis Cahuzac, og han førte Cahuzacs faglige prinsipper og spillestil til Norge.