Woldemar ble født i Detmold som tredje barn av Leopold II og Emilie av Schwarzburg-Sondershausen. Etter at broren Leopold III døde i desember 1875 overtok Woldemar som fyrste av Lippe.