Rummelhoff var også en ivrig musiker og skrev flere sanger. De meste kjente er "Sang til Arendal" og "Merdøvisa".