Die Familie Butler hatte 1185 ihren Namen von Fitz Walter nach Butler umändern lassen. Sie kam mit den Normannen während der normannischen Invasion nach Irland. James Butler, 3. Earl of Ormonde baute in Gowran Gowran Castle, wodurch die Familie reich wurde. 1391 kaufte er Kilkenny Castle und etablierte so seine Familie als Herrscher über die Burg und die dazugehörigen Ländereien. Die Burg wurde nun zum Hauptsitz der Earls of Ormonde, die später den Adelstitel Duke und Marquess bekamen. Dennoch wurde ein Großteil der Familie, darunter auch James Butler, 3. Earl of Ormonde, in der St. Mary's Collegiate Church in Gowran beerdigt. Weitere bekannte Mitglieder der Familie Butler waren Lady Margaret Butler (1454/1465–1539) und ihr Vater Thomas Butler, 7. Earl of Ormonde. Margaret Butler wurde auf Kilkenny Castle geboren und heiratete später Sir William Boleyn. Ihre Tochter Anne Boleyn war die zweite Frau von Heinrich VIII.