Ardglass har fire tårnhus fra middelalderen, flere enn noen annen by i Irland. Dette er et resultat av byens betydning i senmiddelalderen. Jordan's Castle, et befestet tårnhus fra 1400-tallet, og en av flere i Ardglass, som tilhører en ring av festninger som ble bygget for å forsvare havnen. Det har også flere varehus fra det 1400-tallet. Disse ble blant annet brukt i forbindelse med korneksport.