A finales del siglo XIV el arzobispo Gonzalo de Mena y Roelas entregó la ermita de las Cuevas a los franciscanos, que comenzaron las gestiones para fundar un monasterio en este lugar.