Dette endte ikke Ottavios krangel med keiser Karl V. Gonzaga nektet å gi tilbake Piacenza, og truet med å okkupere Parma slik at Ottavia skulle bli drevet inn i franskmennenes armer. Julius III, som var opptatt av å etablere et godt forhold til Karl V på grunn av det sittende Konsilet i Trient, beordret Farnese til å overgi Parma til pavemakten nok en gang. Farnese nektet, noe som førte til sterk kritikk fra Paven, og Farnese ble fratatt sine romerske lensgods. Karlv V gjorde samtidig tilsvarende mot hertugene i Lombardia. En fransk armé kom for å beskytte Parma, krig brøt ut, og Gonsaga beleiret byen igjen. Men hertugen inngikk en avtale med sin svigerfar, Karl V, slik at han fikk tilbake Piacenza og sine andre lensgods. Han tilbragte resten av sitt liv rolig, hjemme, der hans ved sin visdom og styremåte gjorde at han var godt likt av folket.