La famille Harvey descendant du baron Hervé de Montmorency, qui accompagnait Guillaume le Conquérant lors de la conquête de l'Angleterre. En 1169 après JC, Hervé de Montmorency, oncle de Richard de Clare, Comte de Pembroke, ayant livré ses châteaux en France à Henri II d'Angleterre, passa avec son neveu dans le comté de wexford, où, ayant obtenu avec d'autres grandes concessions de terres la baronnie de Bargy, il fit construire le château, une place forte dont une partie subsiste encore aujourd'hui.