El monasterio dio nombre a la antigua Fábrica de Tapices de Santa Isabel, representada por Velázquez en "Las hilanderas", que se localizaba en sus proximidades.