Sin embargo, el palacio continuó siendo exiguo para alojar a toda la familia real, por lo que a partir de 1772, Carlos III encomendó a Francesco Sabatini, uno de los arquitectos del Palacio Real de Madrid, la ampliación de El Pardo.