Daniel Rozoum naît dans une famille juive, originaire de l'Empire russe, plus exactement d'Ukraine et de Lituanie. Ses grands-parents Razoumoff ont fui l'Empire russe lors de la révolution de 1917 en se réfugiant en France où leur nom est francisé en « Rozoum ». De famille pauvre, Abraham (1923-1987), le père de Daniel, travaille comme coupeur de fourrure dès ses 13 ans et habite rue André-Greffard à Paris mais doit se cacher en Normandie avec de faux papiers durant la Seconde guerre mondiale. Sa grand-mère lituanienne (née en 1897 à Tchernigoff) Ita Beila Margolin est dénoncée par sa concierge et arrêtée en 1942 durant la rafle du Vel' d'Hiv à Paris puis meurt en déportation à Auschwitz où elle est gazée le , comme une partie de sa famille.