Guerras de religión de Francia
En 1518, como consecuencia del matrimonio entre la última heredera de la familia Voisins, Françoise, con Jean de Joyeuse, se inició la construcción del castillo actual; se terminó definitivamente en 1540. La familia Joyeuse contó con importantes miembros entre los intendentes del Languedoc. Guillaume III de Joyeuse, teniente general y posteriormente mariscal, jefe de la liga católica (Santa Liga de París) y organizador de la lucha contra los Montmorency y los hugonotes durante las Guerras de religión de Francia, se instaló en el castillo en 1562.