Fue fundado en su origen por Teresa de Jesús y la princesa de Éboli en 1575 bajo la advocación de Nuestra Señora del Carmen y estuvo ocupado por los carmelitas hasta la desmortización de Mendizábal en 1836.