Desposeído de sus ducados tras la batalla de Legnano en 1176 por el emperador Federico I Barbarroja, y reclamados sus territorios por otros príncipes del Imperio, en 1180 se exilió en la corte de su suegro Enrique II en Normandía.