Fue lugar de retiro de monjes y otras personalidades públicas de la época, hasta tal punto que en el siglo XVII Diego de Colmenares descubrió allí la tumba del infante Sancho de Castilla, enterrado en 1199.