Visconti y Olgiate también se enemistaron con el duque: Olgiate era un republicano idealista, y Visconti creía que el duque había desvirgado a su hermana.