En su origen fue un monasterio dedicado a San Pelayo, aunque se supone que anteriormente se asentaba en sus cimientos un templo romano.