Дакладная дата заснавання горада невядома. Кастр утварыўся ля абацтва бенедыкцінцаў, якое, паводле легенды, было заснавана ў 647 годзе. Назва пайшла ад лацінскага "castrum" («"умацаванне", "крэпасць"»). У XII стагоддзі горад стаў адным з цэнтраў у альбігойцаў. Альбігойскі крыжовы паход далучыў горад да Французскага каралеўства ў 1229 годзе, а ў 1317 годзе Папа Рымскі Іаан XXII заснаваў епархію, якая праіснавала да Вялікай Французскай рэвалюцыі. Цэнтрам епіскапства быў Кафедральны сабор Кастра. Пазней Кастр быў крэпасцю ў гугенотаў і кальвіністаў.