À l'emplacement du château se trouvait le monastère Castellense de Cassiodore qui fut transformé en "Kastron" (forteresse) par les Byzantins. Avec l'arrivée des Normands en Italie du Sud menés par Guillaume Bras-de-Fer et Guaimar IV de Salerne, un château est édifié en 1044 sur les vestiges du kastron byzantin.