En 1742, se encargó al arquitecto italiano Vigilio Rabaglio (que luego edificaría el Riofrío) la edificación de un nuevo "cuarto" para el infante cardenal Luis Antonio.