Pasando por las manos de varios señores Feudales, Brienza estuvo fuertemente vinculada con la familia Caracciolo, quienes se establecieron en esta fortaleza o castillo desde el siglo XVI, y la ampliaron, convirtiéndose en los grandes señores feudales de esta región.