Valdemar descendía de cuatro familias muy poderosas: Su abuelo paterno, Magnus Minnisköld, pertenecía a la Casa de Bjälbo, y había caído en batalla contra la Casa de Sverker.