På 1950-tallet spilte han i Pete Browns orkester, Norsk Jazzelite og Hot Saints samt ledet egne grupper. I 1962 deltok han på Moldejazz med som innbefattet også pianisten Øistein Ringstad, gitarist Frank Aasen, Bjørn Jacobsen (bassist) og Karl Otto Hoff på trommer. Opptak fra sistnevnte, sammen med opptak fra 1960, ble i 2001 presentert i Oslo Jazz Circle's plateserie «Portrait of a Norwegian jazz artist». Gram Paulsen var kjent som en av Norges fremste jazzsolister i en robust swingstil.