I tillegg til å være en talentfull skuespiller var Rolf Just Nilsen svært musikalsk og hadde fin sangstemme. Han fikk derfor også en omfattende karriere som grammofonartist. I 1963 sang han inn juleviseparodien på plate. Den ble så populær at det å høre den på radioen i julen ironisk nok har blitt fast inventar i juleritualene i mange norske hjem til dags dato. I 1964 fikk han en stor slager med (Nor-Disc NOR 94) sammen med Birgit Strøm. Melodien var skrevet av Willy Andresen og teksten av Otto Nielsen. I likhet med de fleste rollene han spilte, hadde også mange av platene hans en humoristisk snert.