Selon la légende, l'abbaye a été construite en l'an 711 par un évêque de Terragone nommé Prospero, qui, fuyant l'invasion arabe de la péninsule ibérique, se réfugia dans cette petite crique. Il décida d'y établir une petite abbaye pour protéger les restes sacrés du martyr chrétien Saint Fruttuoso et de ses diacres, Augurius et Eulogius, que Prospero avait sauvés de la fureur des Sarrasins en Espagne.