Durante la invasión napoleónica de 1808 (Guerra de la Independencia), el monasterio y el Palacio del Buen Retiro quedaron gravemente dañados por el ejército invasor.