La dinastía de Mac Giolla Phádraig reinó en Osraighe cuyo gobernante recibió el nombre, a partir de los años 1540 de barón de Upper Ossory. En otra época, su territorio se extendía sobre el Reino de Ossory (incluyendo el actual Condado de Kilkenny y la mitad occidental de vecino Laois). Después de la Invasión normanda de finales del siglo XII, este poder quedó muy reducido por las actuaciones de William Marshall, conde de Pembroke y más tarde de los Butler de Ormond Butlers y otras familias Hiberno-Normandas magnates. A pesar de que su patrimonio quedó restringido a Upper Ossory, los Mac Giolla Phádraigs conservaron parte de sus propiedades. Brían Óg Mac Giolla Phádraig fue el primer noble irlandés noble en aceptar los tratados de rendición y recocesión de Enrique VIII, y como resultado en 1541, Brian fue el primero en asumir el apellido Fitzpatrick en lugar de Mac Gìolla Phádraig, por lo que fue creado Barón Upper Ossory en la Cámara de los Lores irlandesa. En el siglo XVII, los Fitzpatrick perdieron considerables territorios por su apoyo al rey Jacobo II. No obstante, la cabeza de la familia recibió un título de nobleza en 1714 cuando el Barón Gowran fue elevado a Conde de Upper Ossory en 1751. Un tercer título de Barón Castletown fue concedido en 1869. Registros de 1878 indican que las propiedades familiares abarcaban no menos de 22,000 acres (89 km²).