Grev Valdemar er sønn av grev Christian Eduard Valdemar Jean Frederik Peter av Rosenborg og hans fraskilte kone, Karin Lüttichau. Han har en yngre søster, Marina av Rosenborg.