Wie viele andere irische Burgen wurde auch Ballaghmore Castle 1647 während der Rückeroberung Irlands durch die Truppen von Oliver Cromwell beschädigt. Ein gewisser Mr "Ely" kaufte die Ruine 1836, ließ sie restaurieren und fand dabei einen Goldschatz. Ely wurde von einem verärgerten Bauern getötet und lebte daher nie auf der Burg. Das unbewohnte Gebäude diente in der Folge als Getreidespeicher und verfiel wieder, bis es 1990 der heutige Besitzer kaufte. Ballaghmore Castle ist die einzige Burg im Baronat "Upper Ossory", die heute noch bewohnbar ist.