Le complexe a été agrandi par les Normands par l'ajout de la résidence épiscopale de Orso, évêque de Bénévent, pour fournir un siège adapté à la grandeur du "Montis Sancti Angeli". Elle a été par la suite modifiée par Frédéric II. L'imposant campanile octogonal a été construit à la fin du par Frédéric II en tant que tour de guet. Il a été transformé en clocher par Charles Ier d'Anjou.