En 1719 el rey Felipe V mandó construir una capilla en sus alrededores, «sin demoler cosa alguna de lo antiguo», lo cual explica, según Eugenio de Llaguno en su "Noticias de los arquitectos y arquitectura de España desde su Restauración", publicada treinta años tras su fallecimiento por Juan Agustín Ceán Bermúdez en 1829, «su irregularidad» y el hecho de que sea «un conjunto de añadiduras».