El nuevo rey decidió realizar una remodelación urbana de la ciudad y entre sus varias ideas estuvo la de construir un palacio donde alojar una colección de obras de arte, la llamada colección Farnesio, iniciada por el papa Pablo III en el siglo XVI, continuada por sus descendientes y heredada por Isabel de Farnesio, madre de Carlos, que entonces estaba dividida entre Roma y Parma.