Rubi (nom romain de Ruvo) tient son importance en raison de son rôle de station d'étape sur la Via Traiana. Le noyau de population de l'époque romaine est attestée autour des voies Caterina, Specchia, Modesti, Cattedrale et actuelle via Menotti. Un mur de défense ceinturait la ville déjà avant la domination normande. Le château était intégré dans ce système défensif de mur de défense. Ce château est situé à l'extrémité nord-ouest de la muraille et est cité pour la première fois dans un document de 1179 (compte de Conversano). Le château fut restructuré à l'époque de Frédéric II et est encore visible en partie (Arco Melodia) sur la Piazza Matteotti. L'actuel campanile de la cathédrale faisait alors partie du système défensif de la ville.