Den nye kongen benyttet mistanken mot hertugen av Götaland i 1279 for en konfiskasjon av hans landområder, om Valdemar hadde blitt forvist eller hadde flyktet av egne vilje til Danmark er man ikke enig om i ettertiden. Han ble senere arrestert av Magnus Ladulås, trolig ved året 1288. Han ble holdt i fengsel i Nyköpingshus festning, Nyköping fram til sin død i 1302.