La construcción del palacio corrió a cargo de Juan Bautista Sachetti y se prolongó hasta 1764, ya en el reinado de Carlos III, interviniendo en ella los arquitectos Sabatini y Ventura Rodríguez.