En 1909 Jacobo Fitz-James Stuart y Falcó, duque de Alba de Tormes y conde-duque de Olivares, fundó un panteón agregando una capilla al monasterio para la Casa de Alba, que fue obra de Juan Bautista Lázaro inspirado en el de El Escorial.