I 1368 måtte Valdemar flykte fra Danmark, og i mer enn ett år oppholdt han seg ved det tyske keiserhoffet. Mens han var der, avla han også besøk hos begge pavene, både i Roma og i Avignon. I Avignon tildelte paven ham utmerkelsen Den gylne rose. Valdemar fikk tillatelse til å valfarte til den hellige grav i Jerusalem og la seg slå til ridder av den hellige grav, datidens høyeste orden.