Das Gebäude war ursprünglich ein „Plantation Castle“ das in der Plantationzeit Anfang des 17. Jahrhunderts als Verteidigungsbauwerk der Gegend diente. Das ursprüngliche Tower House, das eine Garnison beherbergte, entstand im 15. Jahrhundert als Festung der "Caviness", einem alten irischen Clan, später Barone Esmonde. Wegen der strategischen Bedeutung des Dorfes "Clonegal" während der Rückeroberung Irlands, die in dessen Lage an der Straße von Dublin nach Wexford begründet lag, wurde die Burg von den Truppen Oliver Cromwells eingenommen, als diese 1650 nach Kilkenny marschierten.