Felipe II ordenó fortificar la ciudad que estaba desguarnecida al duque Vespasiano I Gonzaga, el cual realizó unas obras de muy deficiente factura y aprovechó para llevarse numerosas esculturas romanas que aparecieron durante las obras.