La primitiva struttura doveva essere costituita da un'unica aula absidata, preceduta da un quadriportico. Nel XII secolo venne ampliata ripartendola in tre navate tramite due file di colonne di spolio e dandole forme romaniche. Non si sa molto delle fasi più antiche della vita che vi si doveva svolgere d'intorno: prime informazioni le si hanno a partire dal 1500, grazie alle "ad limina", relazioni redatte dai vescovi o dai loro preposti, durante i propri spostamenti. Dalle descrizioni si evince che all'epoca l'area versava in uno stato di desolazione e malcostume: molto diffusi, infatti, erano brigantaggio e miseria. Nel 1644 il vescovo Carafa definiva il sito «"asperrimus"», mentre il vescovo Carlo Francesco Giocoli, nel 1720, utilizzò il termine «disastrosissimo».