Después, el emperador invadió el ducado de Sajonia y Enrique —abandonado por sus aliados— tuvo que exiliarse en Normandía, gobernada por su suegro Enrique II de Inglaterra, y permaneció allí hasta que se le permitió regresar en 1185, pero sin sus dignidades anteriores.