Under disse forhold sluttet Valdemar og Knud seg sammen. Svend forsøkte å rydde Valdemar av veien, eller i det minste å uskadeliggjøre ham, ved å lokke ham i tysk fangenskap, men planen mislyktes. Eskil forlot Svein, selv mange av hans tidligere tro tilhengere vendte ham ryggen. Han måtte dermed flykte til Tyskland. Her flyttet han rundt i 3 år, uten å vinne støtte i kampen. Ved gylne løfter fikk han endelig Henrik Løve til å ruste seg. Vinteren 1156-57 tar han seg så inn til Fyn og videre til Lolland.