Точная дата основания города неизвестна. Кастр образовался у аббатства бенедиктцев, которое, согласно легенде, было основано в 647 году. Название произошло от латинского "castrum" («"укрепление", "крепость"»). В XII веке город стал одним из центров у альбигойцев. Альбигойский крестовый поход присоединил город к Французскому королевству в 1229 году, а в 1317 году папа римский Иоанн XXII основал епархию, просуществовавшую до Великой Французской революции. Центром епископства был Кафедральный собор Кастра. Позже Кастр был крепостью у гугенотов и кальвинистов.