Les textes ne signalent la tour qu'au : elle appartient alors à un certain Paul Matha, probablement à l'origine du nom de l'édifice. À cette époque, lors des guerres de Religion, 24 protestants de la ville auraient été tués dans la tour devenue prison. Cet événement daté du porte le nom de Massacre de la Saint-Barthélemy gaillacois.