Børge Rosenbaum vokste opp i et jødisk hjem på Østerbro i København. Det musikalske talent hadde han fra hjemmet; faren, fiolinist og kongelig kapelmusikus Bernhard Rosenbaum, og moren, pianisten Frederikke Rosenbaum (født ).