La relación con la ciudad no fueron fáciles, en 1302 hubo un breve retorno de Della Torre Mateo Visconti, durante la cual fue exiliado.