Hugo fikk etter hvert mektige fiender i den italienske adelen. Berengar II av Italia (også kjent som Berengar av Ivrea), som hadde alliert seg med den tyske kong Otto I, dro med en tyskstøttet hær mot Hugo og jaget han ut av Italia i 947.