Opphavet til byen kom antagelig med grunnleggelsen av St. Mullins kloster på 600-tallet. Klosteret er dedikert til helgenen Mo Ling (614–697), også kalt Moling Luachra. I 1180 ble festningen Carlow Castle bygget av William Marshal, 1. jarl av Pembroke for å vokte det strategisk viktige krysningsstedet i elven. På 1300-tallet ble festningen Ballyloughan Castle, Ballymoon Castle, Leighlinbridge Castle («den svarte festningen») reist. St. Patrick's College ble grunnlagt i 1793.