Karl Johansen Rosenberg tilhørte en stor slekt med mange musikere og sangere. I senere generasjoner finner vi navn som Nils Bakke, Hilmar Alexandersen, Åge Aleksandersen, Spel-Fredrik, Vilhelm Lauritsen, Lasse Johansen, Laila Yrvum og Hilmar «Bussi» Karlsen Rosenborg. På en kant, finner vi også Carl Jularbo: Jularbos farmors morfar, «hästehandlaren» Johannes Pettersson (1770–1835) i Norrtäkten i Hedemora, Sverige, var Rosenbergs halvbror/bror.