Si dice che i lavori, sovvenzionati dai Benedettini, iniziarono verso la metà del 1100 ma i ritmi andarono man mano scemando, a causa dell'altalenante patrimonio dei Benedettini e anche perché questi furono costretti ad abbandonare Venosa, causa la soppressione del loro Monastero per volere del papa Bonifacio VIII nel 1297. Costui assegnò, nello stesso anno, il complesso ai "Cavalieri dell'Ordine dell'Ospedale di San Giovanni di Gerusalemme" (in seguito noti come Cavalieri di Malta), i quali persero i propri possedimenti in Palestina durante l'Ultima Crociata.