Valdemar døde på Vordingborg slott 12. mai 1182. Bøndene i området bar liket til St. Bendts kirke hvor han ble gravlagt. Sammen med ektefellen Sofie fikk han sønnene Knut og Valdemar Seier, samt seks døtre.