I 1154, etter flere år med indre fred der Svein var enekonge, gjorde Valdemar og Knud i fellesskap opprør og lot seg hylles som medkonger i Viborg landsting. Svein, som hadde gjort seg upopulær, mistet aristokratiets støtte og måtte i landflyktighet til sin svigerfar i Tyskland. To år senere vendte han tilbake med den mektige Henrik Løves støtte og tok senere øyene Fyn og Lolland.