Cité dès le sur les rives du Thoré, à quelques kilomètres en amont de Castres, le château d'Hauterive appartient alors à la famille de Montfort, qui s'en est emparé à travers la croisade contre les albigeois, même si l'édifice serait plus ancien encore. Il passe ensuite dans la famille d'Hautpoul lors d'une alliance entre les deux familles.