Secondo la leggenda, l'Abbazia fu costruita nell'anno 711 da un vescovo di Terragona di nome Prospero, il quale, per fuggire dall'invasione araba dalla Penisola Iberica, si rifugiò in questa piccola insenatura. Qui decise di istituire una piccola abbazia per proteggere le sacre spoglie del martire cristiano San Fruttuoso e dei suoi diaconi, Augurio ed Eulogio, che Prospero aveva salvato dalla furia dei Saraceni in Spagna.