Bosetningen Ballyragget ble opprinnelig dannet ved et vadested ved elven Nore på dette stedet. Stedet ble opprinnelig oppkalt etter 1200-tallets anglo-normanniske grunneier Richard le Ragget, ble Ballyragget senere holdt av Mountgarret-familien. Byen er dominert av en stor middelalderborg (kjent som Ballyragget Castle) og dens tilstøtende murer. Dette tårnet dateres til slutten av 1400-tallet, og inneholder en innskrevet stein fra slutten av 1500-tallet som minnes Edmund Butler, 2. vicomte Mountgarret.