Dicho palacio fue sucesivamente ampliado y restaurado hasta su casi completa renovación por Carlos III en 1772, de manos del arquitecto italiano Francesco Sabatini.