På grunn av sine utenomekteskapelige affærer reiste han til Roma i 1274 for å gjøre bot, og han fikk mer verdslige problemer da han kom tilbake. Valdemar synes å ha hatt en arvetvist gående med broren Erik som fikk støtte av stormannen Johan Filipsson. Valdemar fikk dem begge fengslet, men Erik greide å flykte og fikk da støtte av broren Magnus. Denne hendelsen førte videre til et opprør i 1275. Både Erik og Magnus fikk støtte og til og med danske soldater av kong Erik Klipping. I slaget ved Hova i Vestergøtland gikk kong Valdemar på et nedlag, og både han og hans dronning Sofia flyktet i all hast til Norge hvor Magnus Lagabøte er konge. Valdemars eldre bror Magnus Birgersson, også kalt Magnus Ladulås tok makten og ble valgt til konge.