Ya en tiempos de los visigodos hubo allí un cenobio dedicado a San Sebastián, que en la época del conde Fernán González fue restaurado y ampliado.